KR20070055823A - 동영상 요약 서비스 장치 및 그 방법 - Google Patents

동영상 요약 서비스 장치 및 그 방법 Download PDF

Info

Publication number
KR20070055823A
KR20070055823A KR1020050114272A KR20050114272A KR20070055823A KR 20070055823 A KR20070055823 A KR 20070055823A KR 1020050114272 A KR1020050114272 A KR 1020050114272A KR 20050114272 A KR20050114272 A KR 20050114272A KR 20070055823 A KR20070055823 A KR 20070055823A
Authority
KR
South Korea
Prior art keywords
event
video
image
importance
events
Prior art date
Application number
KR1020050114272A
Other languages
English (en)
Other versions
KR100754529B1 (ko
Inventor
정진국
문영수
황두선
엄기완
정철곤
김지연
김상균
김형국
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020050114272A priority Critical patent/KR100754529B1/ko
Priority to US11/483,847 priority patent/US20070124679A1/en
Publication of KR20070055823A publication Critical patent/KR20070055823A/ko
Application granted granted Critical
Publication of KR100754529B1 publication Critical patent/KR100754529B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/414—Specialised client platforms, e.g. receiver in car or embedded in a mobile appliance
    • H04N21/4147—PVR [Personal Video Recorder]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85—Assembly of content; Generation of multimedia applications
    • H04N21/854—Content authoring
    • H04N21/8549—Creating video summaries, e.g. movie trailer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/73—Querying
    • G06F16/738—Presentation of query results
    • G06F16/739—Presentation of query results in form of a video summary, e.g. the video summary being a video sequence, a composite still image or having synthesized frames
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/78—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/783—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/7834—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using audio features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/78—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/783—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/7844—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using original textual content or text extracted from visual content or transcript of audio data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/78—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/783—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/7847—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using low-level visual features of the video content
    • G06F16/786—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using low-level visual features of the video content using motion, e.g. object motion or camera motion
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/19—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier
    • G11B27/28—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs
    • H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs
    • H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
    • H04N21/44029—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display for generating different versions
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/454—Content or additional data filtering, e.g. blocking advertisements

Abstract

본 발명은 동영상 요약 서비스 제공 장치 및 그 방법에 관한 것으로서, 더욱 상세하게는 동영상 요약 알고리즘을 통해 상기 동영상 요약을 수행하는 장치(Device)의 리소스(Resource) 상태 및 사용자가 원하는 요약 시간을 고려하여 상기 동영상의 요약 영상을 생성하고, 상기 사용자가 원하는 재생 시간에 부합하는 요약 영상을 상기 사용자에게 제공하는 동영상 요약 서비스 제공 장치 및 그 방법에 관한 것이다. 본 발명의 동영상 요약 서비스 제공 장치 및 방법에 따르면, 디바이스(Device)의 성능 및 리소스(Resource) 상태를 고려하여 사용자가 원하는 시간 내에 사용자가 원하는 분량의 요약 영상을 사용자의 기호에 부합하도록 정확하고 신속하게 요약 영상을 생성할 수 있는 효과를 얻을 수 있다.
동영상, 요약, 알고리즘, 비디오 요약, 리소스

Description

동영상 요약 서비스 장치 및 그 방법{DEVICE FOR SUMMARIZING MOVIE AND METHOD OF OPERATING THE DEVICE}
도 1은 본 발명의 일실시예에 따른 동영상 요약 서비스 장치의 구성을 도시한 블록도.
도 2는 본 발명의 일실시예에 따라 축구 동영상 요약 알고리즘의 이벤트가 적용될 수 있는 축구 동영상의 화면을 도시한 도면.
도 3은 본 발명의 일실시예에 따라 야구 동영상 요약 알고리즘의 이벤트가 적용되는 야구 동영상의 화면을 도시한 도면.
도 4는 본 발명의 일실시예에 따라 드라마 동영상 요약 알고리즘의 이벤트가 적용되는 드라마 동영상의 화면을 도시한 도면.
도 5는 본 발명의 일실시예에 따라 축구 동영상 요약 알고리즘이 포함하는 각 이벤트의 중요도를 산출한 이벤트 중요도 테이블을 도시한 도면.
도 6은 본 발명의 일실시예에 따라 이벤트 중요도 순서로 소팅된 축구 동영상 요약 알고리즘의 이벤트를 도시한 도면.
도 7은 본 발명의 일실시예에 따른 이벤트 반환값을 도시한 도면.
도 8은 본 발명의 일실시예에 따라 축구 동영상이 포함하는 하나 이상의 분할 영상 각각에 대응하여 산출한 분할 영상 중요도가 기록된 분할 영상 중요도 테 이블.
도 9는 본 발명의 일실시예에 따른 동영상 요약 서비스 제공 방법의 흐름을 도시한 도면.
도 10은 본 발명의 일실시예에 따른 드라마 동영상의 분할 영상을 도시한 도면.
도 11은 본 발명의 일실시예에 따른 드라마 동영상의 이벤트 중요도 테이블을 도시한 도면,
도 12는 본 발명의 일실시예에 따른 드라마 동영상의 이벤트 반환값 테이블을 도시한 도면.
도 13은 본 발명의 일실시예에 따른 드라마 동영상의 분할 영상 중요도 테이블을 도시한 도면.
도 14는 본 발명의 일실시예에 따라 생성된 드라마 동영상의 요약 영상의 화면을 도시한 도면.
도 15는 본 발명에 따른 동영상 요약 서비스 제공 방법을 구현하는데 채용될 수 있는 범용 컴퓨터 시스템의 내부 블록도.
<도면의 주요 부분에 대한 부호의 설명>
100 : 동영상 요약 서비스 장치 111 : 메모리 수단
112 : 사용자 인터페이스부 113 : 샷 변환 검출부
114 : 검출 시간 산출부 115 : 이벤트 중요도 산출부
116 : 분할 영상 중요도 산출부 117 : 요약 영상 제어부
118 : 디스플레이 제어 수단 119 : 통신 모듈
본 발명은 동영상 요약 서비스 제공 장치 및 그 방법에 관한 것으로서, 더욱 상세하게는 동영상 요약 알고리즘을 통해 상기 동영상 요약을 수행하는 장치(Device)의 리소스(Resource) 상태 및 사용자가 원하는 요약 시간을 고려하여 상기 동영상의 요약 영상을 생성하고, 상기 사용자가 원하는 재생 시간에 부합하는 요약 영상을 상기 사용자에게 제공하는 동영상 요약 서비스 제공 장치 및 그 방법에 관한 것이다.
최근 들어 IT 업계는 동영상 서비스 및 기기 전쟁에 들어갔다 해도 과언이 아닐 정도로 각종 영상 매체의 보급이 활발해지고 있다. 위성 DMB 방송, 지상파 DMB 방송, 데이터 방송, 인터넷 방송 등 신규 영상 서비스가 시작되면서 통신, 인터넷 서비스, 디지털 장비 등의 IT 전분야에서 동영상 서비스 산업이 블루오션(Blueocean)으로 떠오르고 있다.
위성/지상파 DMB 방송을 계기로 '손 안의 TV 시대'가 열렸고, 각 이동 통신사들도 콘텐츠 업계와의 제휴를 통해 자사의 데이터 방송을 통한 동영상 서비스를 확대해 나가고 있다. 또한, 인터넷 포털 사이트들도 자체 제작하거나 콘텐츠 업체와의 제휴를 통해 확보한 동영상을 자사의 사이트 및 제휴 사이트 등을 통해 사용자들에게 제공하고 있다.
이외에도, TV 포털이 최근 서비스되고 있는데, TV 포털은 인터넷 TV의 전 단계로서, 포털 사이트가 제공하는 영화나 드라마 등을 사용자가 PC나 노트북, 휴대 단말기 등을 통해 주문형 비디오(VOD) 형태로 다운로드 또는 스트리밍하여 시청할 수 있는 서비스를 의미한다. 차후, 광대역 통합망을 통해 인터넷, 방송, 및 전화를 모두 인터넷 망으로 이용할 수 있는 TPS(Triple Play Service) 서비스가 본격화되면 동영상 콘텐츠에 대한 수요는 더욱 증가할 것이 자명하다.
이와 같이, 영상 문화에 익숙한 젊은 세대에게 있어 동영상은 선택 사양이 아닌 필수 사양으로 자리잡고 있어, 동영상 관련 산업은 이제 IT 업계의 최대 경쟁력이 될 것이라는 평가도 나오고 있다. 이에 따라, DMB 단말기, PMP 등의 동영상 재생 단말기 시장도 나날이 확대되어 가고 있다.
이동통신 단말기 업체들은 위성 DMB 폰 및 지상파 DMB 폰을 경쟁적으로 출시하고 있고, MP3 플레이어 업체들은 DMB 방송을 지원하는 다양한 모델의 PMP를 개발하여 출시하고 있다. 또한, 최근에는 MP3 플레이어 또한 2인치 등의 소형 LCD를 디스플레이 수단으로 장착함으로써, 동영상의 재생 기능을 지원하고 있다. 이러한 각종 동영상 지원 단말기는 각 동영상 서비스를 하나의 단말기에서 모두 지원하는 컨버전스(Convergence) 제품으로 진화할 것이 확실시 되고 있다.
이와 같이, 동영상 서비스 및 단말기의 기능이 나날이 발전함에 따라, 서비스의 편의성을 추구하는 사용자의 욕구 또한 커지고 있다. 즉, 사용자는 이제 더 이상 단순한 동영상의 재생만을 단말기에 요구하지 않고, 보다 다양한 부가 기능을 지원하는 동영상 서비스를 제공 받기를 원한다.
예로써, 요약 동영상 서비스가 있는데, 상기 요약 동영상 서비스라 함은 바쁜 일상 속에 사용자가 수 시간에 이르는 동영상을 모두 시청할 시간이 없을 경우, 상기 동영상의 요약 영상을 생성하여 사용자에게 제공하는 서비스를 의미한다. 이러한 요약 동영상 서비스는 출퇴근 시 등의 이동 중이나, 짧은 휴식 시간을 이용하여 자신의 휴대 단말기를 통해 동영상을 시청하는 바쁜 현대인의 일상에 적합하므로, 요약 동영상 서비스가 점차 확대될 것으로 예상된다.
그러나, 종래 기술에 따른 요약 동영상 서비스는 사용자 단말기의 성능이나 사용자의 욕구는 반영하지 못한 채 요약 동영상을 생성한다는 단점이 있다. 즉, 동영상의 요약을 수행하는 알고리즘이 탑재되는 단말기는 PC, 노트북, 이동통신 단말기, MP3 플레이어, PMP 등 다양하고 하나의 단말기에서 제공되는 서비스 또한 다양하다. 그러므로, 단말기의 종류 및 현재 단말기의 상태에 따라 단말기 성능에 차이가 있다. 예를 들어, 대부분의 PC 성능이 이동통신 단말기의 성능보다는 탁월할 것이고, 동일 단말기 내에서도 현재 어떠한 서비스도 수행되지 않는 상태의 단말기 성능이 게임 등의 서비스가 제공되는 상태의 단말기 성능보다 탁월할 것이다. 그런데, 상기 동영상 요약 알고리즘이 PC 환경에서 동영상 요약을 수행하던 설정과 동일한 설정으로 이동통신 단말기에서 상기 동영상 요약을 수행할 경우, 그 수행 시간은 상기 PC 환경에 비해 상당히 증가될 것이다.
또한, 현재 단말기 내에서 수행되는 서비스에 따라 단말기 성능이 다르기 때문에, 현재 단말기 상태에 따라 서비스 수행 시간이 차이가 날 것이다. 또한, 각 이동통신 단말기 별로 그 리소스 상태 및 성능이 각각 다르기 때문에, 이동통신 단 말기 별로 상기 수행 시간이 차이가 날 것이다. 또한, 종래 기술에 따른 대부분의 동영상 요약 서비스는 사용자의 취향이나 선택을 고려하지 않고 특정 기준에만 부합하는 알고리즘에 따라 요약 동영상을 생성함으로써, 정작 사용자가 원하는 영상은 배제한 요약 영상을 생성하여 제공하는 비합리성을 가지고 있다.
이와 같이, 종래 기술에 따르면, 동영상 요약 알고리즘이 탑재되는 디바이스(Device)의 성능과 사용자의 희망 설정을 고려하지 않고 동영상 요약을 수행함으로써, 바쁜 현대인의 일상에 적합하지 않고, 각자의 개성을 중요시하는 요즘의 추세에 적응하지 못한다는 문제점이 제기되고 있다. 이에, 상기 종래 기술의 문제점을 극복하고, 디바이스의 성능 및 리소스 상태에 적응적으로 최적의 요약 알고리즘을 자동 구성하여 요약 동영상을 생성할 수 있는 보다 진일보한 동영상 요약 서비스 장치 및 방법의 개발이 요구되고 있다.
본 발명은 상기와 같은 종래 기술을 개선하기 위해 안출된 것으로서, 동영상 요약을 수행하는 디바이스(Device)의 성능 또는 리소스 상태와 사용자가 요구하는 처리 시간에 따라 최적의 동영상 요약 알고리즘을 구성하여 요약 영상을 생성함으로써, 디바이스의 성능을 고려하여 사용자가 원하는 시간 내에 상기 요약 영상을 생성할 수 있는 동영상 요약 서비스 장치 및 그 방법을 제공하는 것을 목적으로 한다.
또한, 본 발명은 사용자의 요구 또는 각 동영상의 종류에 따라 미리 설정된 중요도에 따라 이벤트를 설정하고 최적화된 동영상 요약 알고리즘을 구성하여 요약 영상을 생성함으로써, 동영상의 종류에 따라 사용자가 원하는 요약 영상을 보다 정확하게 생성할 수 있는 동영상 요약 서비스 장치 및 그 방법을 제공하는 것을 목적으로 한다.
상기의 목적을 이루고 종래기술의 문제점을 해결하기 위하여, 본 발명에 따른 동영상 요약 서비스 제공 방법은, 하나 이상의 동영상 요약 알고리즘이 기록된 메모리 수단을 유지하는 단계 - 상기 각각의 동영상 요약 알고리즘은 하나 이상의 이벤트를 포함함 -; 사용자로부터 소정의 동영상에 대한 요약 영상 생성을 요청 받고, 상기 요약 영상 생성을 수행하는데 소요되는 희망 시간을 상기 사용자로부터 입력 받는 단계; 상기 동영상의 샷(Shot) 변환을 검출하여 상기 동영상을 하나 이상의 분할 영상으로 분할하는 단계; 상기 동영상에 대응하는 동영상 요약 알고리즘을 상기 메모리 수단으로부터 추출하는 단계; 상기 추출한 동영상 요약 알고리즘이 포함하는 하나 이상의 이벤트 각각에 대하여, 상기 하나 이상의 분할 영상 중 이벤트가 발생한 분할 영상을 검출하는데 소요되는 검출 시간을 이벤트 별로 각각 산출하는 단계; 상기 각각의 이벤트에 대하여 상기 검출 시간에 따른 이벤트 중요도를 산출하는 단계; 상기 이벤트 중요도, 상기 검출 시간, 및 상기 희망 시간에 따라 상기 하나 이상의 이벤트 중 K개의 이벤트를 선택하는 단계; 상기 선택한 K개의 이벤트를 이용하여 상기 하나 이상의 분할 영상 각각에 대한 분할 영상 중요도를 산출하는 단계; 및 상기 산출한 분할 영상 중요도에 따라 상기 분할 영상을 순차적으로 소팅(Sorting)하여 요약 영상을 생성하는 단계를 포함하는 것을 특징으로 한다.
이하에서는 첨부된 도면을 참조하여 본 발명의 실시예를 상세히 설명한다.
도 1은 본 발명의 일실시예에 따른 동영상 요약 서비스 장치의 구성을 도시한 블록도이다.
본 발명에 따른 동영상 요약 서비스 장치(100)는 PVR(Personal Video Recorder), 홈 서버(Home Server), 스마트 모바일 서버(Smart Mobile Server), DVD 플레이어/레코더, PC, 노트북, PDA, 또는 이동통신 단말기 중 어느 하나로 구현될 수 있다.
본 발명의 일실시예에 따른 동영상 요약 서비스 장치(100)는 메모리 수단(111), 사용자 인터페이스부(112), 샷 변환 검출부(113), 검출 시간 산출부(114), 이벤트 중요도 산출부(115), 분할 영상 중요도 산출부(116), 요약 영상 제어부(117), 디스플레이 제어 수단(118), 및 통신 모듈(119)를 포함하여 구성될 수 있다.
메모리 수단(111)에는 하나 이상의 동영상 요약 알고리즘이 기록된다. 상기 동영상 알고리즘은 각각 하나 이상의 이벤트를 포함한다. 상기 동영상 요약 알고리즘은 동영상의 종류에 따라 각각 다른 하나 이상의 이벤트를 포함할 수 있다. 상기 이벤트의 종류는 동영상의 종류에 대응하여 미리 설정될 수 있고, 사용자의 입력에 따라 설정될 수도 있다. 상기 동영상의 종류에 따라 동영상 요약 알고리즘이 포함하는 이벤트에 대해서는 도 2 내지 도 4에 도시된 각각의 실시예를 참조하여 보다 상세히 설명한다.
도 2는 본 발명의 일실시예에 따라 축구 동영상 요약 알고리즘의 이벤트가 적용될 수 있는 축구 동영상의 화면을 도시한 도면이다.
도 2에 도시된 바와 같이, 축구 동영상은 실제 축구 경기 중 발생할 수 있는 다양한 종류의 화면에 따른 이벤트를 포함할 수 있다. 예를 들어, 축구 경기 동영상에서 주로 발생할 수 있는 화면으로는 팀별 점수 자막 화면, 골 동작 화면, 슛 동작 화면, 페널티 영역 화면, 클로즈 업(Close Up) 화면, 재연(Replay) 화면, 휘슬 소리 발생 화면, 관중 함성이나 아나운서의 목소리 등 오디오가 고조된 화면 등이 있다.
상기 나열한 축구 동영상 화면은 일반적으로 축구 경기에 있어 주요 이벤트가 발생한 화면이라 할 수 있다. 따라서, 상기 축구 동영상 요약 알고리즘은 상기 각각의 화면에서 발생한 내용을 포함하는 이벤트를 포함할 수 있다. 즉, 상기 축구 동영상 요약 알고리즘은 "점수 자막 인식", "키워드(골, 슛) 인식", "페널티 영역 검출", "클로즈 업 검출", "재연 장면 검출", "휘슬 소리 검출", 및 "오디오 고조도"를 이벤트로 설정할 수 있다.
도 2에 도시된 바와 같이, 제1 화면(210)은 "페널티 영역" 또는 "골 키워드 인식"의 이벤트가 적용될 수 있는 화면이다. 제2 화면(220), 제3 화면(230), 및 제4 화면(240)은 "클로즈 업 검출"의 이벤트가 적용될 수 있는 화면이다. 제5 화면(250)은 "재연 장면 검출"의 이벤트가 적용될 수 있는 화면이다. 제6 화면(260)은 "점수 자막 인식"의 이벤트가 적용될 수 있는 화면이다.
상술한 이벤트의 종류는 본 발명에 따른 동영상 요약 알고리즘의 제작자가 미리 설정할 수도 있고, 사용자의 선택에 따라 설정될 수도 있다. 동영상 요약 알 고리즘이 포함하는 이벤트는 상기 동영상 요약 알고리즘이 적용되는 동영상의 종류에 따라 설정될 수 있다.
도 3은 본 발명의 일실시예에 따라 야구 동영상 요약 알고리즘의 이벤트가 적용되는 야구 동영상의 화면을 도시한 도면이다.
도 3에 도시된 야구 동영상의 경우, 동영상 요약 알고리즘은 "점수/볼 카운트 변화 검출", "아웃 카운트 자막 인식", "키워드(홈런, 안타) 인식", "클로즈 업 검출". "피치 뷰(Pitch view) 검출", 및 "오디오 고조도"의 이벤트를 포함할 수 있다. 상술한 바와 같이, 야구 동영상 요약 알고리즘이 포함하는 이벤트는 실제 야구 경기에 있어 시청자의 관심을 유발할 수 있는 중요한 장면으로 설정될 수 있다.
도 3에 도시된 바와 같이, 제1 화면(310)은 "피치 뷰(Pitch view) 검출"의 이벤트가 적용될 수 있는 화면이다. 제2 화면(320)은 "홈런 키워드 인식"의 이벤트가 적용될 수 있는 화면이다. 제3 화면(330), 제 4화면(340), 및 제6 화면(360)은 "클로즈 업 검출"의 이벤트가 적용될 수 있는 화면이다. 제5 화면(350)은 "점수/ 볼 카운트 변화 검출"의 이벤트가 적용될 수 있는 화면이다.
상기와 같이 본 발명에 따른 동영상 요약 알고리즘은 스포츠 중계 동영상에 바람직하게 적용될 수 있다. 또한, 상기 동영상 요약 알고리즘은 스포츠 중계 동영상뿐만 아니라, 영화나 드라마 등의 동영상에도 적용될 수 있다.
도 4는 본 발명의 일실시예에 따라 드라마 동영상 요약 알고리즘의 이벤트가 적용되는 드라마 동영상의 화면을 도시한 도면이다.
도 4에 도시된 드라마 동영상의 경우, 동영상 요약 알고리즘은 "얼굴 인식", "주인공 장면 인식", "음악 구간 검출", "클로즈 업 검출", "페이드 인/아웃(Fade in/out) 검출", 및 "액션 장면 검출"의 이벤트를 포함할 수 있다. 제1 화면(410)은 "페이드 인/아웃 검출"의 이벤트가 적용될 수 있는 화면이다. 제2 화면(420) 및 제6 화면(460)은 "음악 구간 검출"의 이벤트가 적용될 수 있는 화면이다. 제3 화면(430), 제4 화면(440), 및 제5 화면(450)은 "주인공 장면 인식"의 이벤트가 적용될 수 있는 화면이다.
상술한 바와 같이, 드라마 동영상 요약 알고리즘이 포함하는 이벤트는 대체적으로 드라마 시청자들의 관심을 유발할 수 있는 장면으로 설정될 수 있다. 상기 드라마 동영상의 경우, 드라마의 종류에 따라 각각 다른 이벤트를 포함할 수 있고, 사용자의 선택에 따라 이벤트의 종류를 설정하여 동영상 요약 알고리즘을 구성하는 방법이 바람직한 방법으로 구현될 수 있다.
다시 도 1에서, 메모리 수단(111)은 상기와 같은 하나 이상의 동영상 요약 알고리즘의 기록을 위하여, 다양한 용량의 USB 메모리와, CF 메모리, SD 메모리, 미니 SD 메모리, XD 메모리, 메모리스틱, 메모리스틱 듀오, SMC 메모리, MMC 메모리, 또는 RS-MMC를 포함하는 메모리로 구성될 수 있고, 일반적인 PC 또는 노트북에서 사용되는 하드 디스크로 구성될 수도 있다. 또, 메모리 수단(111)은 동영상 요약 서비스 장치(100)의 내부 구성에 포함되는 내장형일 수도 있고, 외부에 위치하는 외장형이 될 수도 있다. 메모리 수단(111)은 상기 설명에서 기술한 메모리 타입뿐만 아니라, 상변화 메모리(PRAM), 강유전 메모리(FRAM), 강자성 메모리(MRAM)와 같이 향후 개발되어 나타날 수 있는 모든 방식의 메모리 타입을 지원할 수 있 다.
사용자 인터페이스부(112)는 사용자로부터 소정의 동영상에 대한 요약 영상 생성을 요청 받고, 상기 요약 영상의 생성을 수행하는데 소요되는 희망 시간을 상기 사용자로부터 입력 받는다. 즉, 사용자는 사용자 인터페이스부(112)를 통해 요약 영상을 생성하고자 하는 동영상을 선택하고, 상기 동영상을 요약하는데 소요되는 희망 시간(preferred time lapse)을 입력할 수 있다. 상기 희망 시간이 갖는 의미에 대해서는 차후 이벤트 중요도 산출부(115)의 동작을 참조하여 설명하기로 한다.
샷 변환 검출부(113)는 동영상의 샷(Shot) 변환을 검출하여 상기 동영상을 하나 이상의 분할 영상으로 분할한다. 일반적으로 동영상은 스틸 사진, 즉, 프레임의 묶음이라고 할 수 있다. 하나의 샷은 유사한 내용의 프레임들로 구성될 수 있고, 일예로 하나의 촬상 수단에서 촬영되는 프레임들은 하나의 샷으로 설정할 수 있다. 예를 들어, 동영상에 있어 특정 인물들이 등장하는 10초 동안 카메라 뷰의 이동이 크지 아니하다면, 상기 10초 동안에 재생되는 프레임들이 하나의 샷, 즉, 분할 영상으로 설정될 수 있다.
이와 같이, 샷 변환 검출부(113)는 상기 동영상을 하나 이상의 분할 영상으로 분할한다. 상기 샷 변환의 검출은 당업계에서 널리 사용되는 소정의 샷 변환 검출 알고리즘으로 구현될 수 있다. 따라서, 샷 변환 검출부(113)는 상기 샷 변환 검출 알고리즘을 포함하여 구성될 수 있다.
상기 하나의 분할 영상은 하나의 키프레임을 포함한다. 상기 키프레임은 그 에 해당하는 분할 영상을 대표하는 프레임으로 구현될 수 있다. 상기 키프레임의 설정 방법은 상기 샷 변환 검출 알고리즘에 따라 당업계에서 널리 사용되는 다양한 방법을 모두 포함하여 구현될 수 있다.
검출 시간 산출부(114)는 동영상에 대응하는 동영상 요약 알고리즘을 메모리 수단(111)으로부터 추출하고, 상기 추출한 동영상 요약 알고리즘이 포함하는 하나 이상의 이벤트 각각에 대하여, 상기 하나 이상의 분할 영상 중 이벤트가 발생한 분할 영상을 검출하는데 소요되는 검출 시간을 이벤트 별로 각각 산출한다.
사용자가 사용자 인터페이스부(112)를 통해 요약 영상 생성을 원하는 동영상을 선택하면, 검출 시간 산출부(114)는 상기 사용자가 선택한 동영상에 대응하는 동영상 요약 알고리즘을 메모리 수단(111)으로부터 추출한다. 즉, 상기 동영상이 축구 동영상인 경우, 축구 동영상 알고리즘을 추출하고, 상기 동영상이 드라마 동영상인 경우, 드라마 동영상 알고리즘을 추출한다.
이후, 검출 시간 산출부(114)는 상기 추출한 동영상 요약 알고리즘이 포함하는 하나 이상의 이벤트 각각에 대한 검출 시간을 산출한다. 상기 검출 시간이라 함은 상기 동영상 요약 알고리즘을 통해 상기 동영상 중에서 특정 이벤트가 발생한 분할 영상을 검출하는데 소요되는 시간을 의미한다. 예를 들어, 검출 시간 산출부(114)는 축구 동영상 알고리즘의 경우, 상기 축구 동영상 알고리즘이 포함하는 이벤트 중 "클로즈 업" 이벤트가 발생하는 분할 영상을 상기 동영상으로부터 검출할 수 있다. 이 때, 상기 동영상 중 클로즈 업 이벤트가 발생하는 분할 영상을 검출하는데 소요되는 시간이 상기 검출 시간이 될 수 있다.
상기 검출 시간은 상기 동영상 요약 알고리즘이 탑재된 동영상 요약 서비스 장치의 성능 또는 리소스(Resource) 상태에 따라 결정될 수 있다. 또한, 상기 검출 시간은 상기 성능 또는 리소스 상태에 따라 상기 동영상 요약 서비스 장치가 1개의 프레임을 처리하는데 소요되는 시간과 상기 분할 영상의 개수의 곱으로 결정될 수 있다.
예를 들어, 상기 동영상 요약 서비스 장치가 2.8GHz CPU, 512MB Memory, 7200rpm HDD의 사양을 갖고, 현재 CPU의 점유율이 10%이며, 메모리 사용량이 420MB인 경우, 상기 동영상 요약 서비스 장치가 "클로즈 업 검출" 알고리즘을 적용하여 1개의 프레임을 처리하는데 소요되는 시간은 106ms가 산출될 수 있다. 이러한 검출 시간은 소정의 실험을 통해 미리 계산되거나, 하나의 프레임에 대해 실제 알고리즘을 수행시켜 계산될 수 있다.
상기 예에서, 상기 동영상이 포함하는 분할 영상의 개수가 300개인 경우, 상기 동영상은 총 300개의 키프레임을 갖는다. 따라서, 상기 "클로즈 업" 이벤트 검출 시간은 106ms * 300 = 31800ms 으로 산출될 수 있다. 즉, 검출 시간 산출부(114)는 각 분할 영상의 키프레임에 상기 이벤트가 적용되는지 여부를 판단하는데 소요되는 시간을 계산하여 상기 검출 시간을 산출할 수 있다. 검출 시간 산출부(114)는 상기 동영상 요약 알고리즘이 포함하는 모든 이벤트 각각에 대하여 검출 시간을 산출할 수 있다.
이벤트 중요도 산출부(115)는 상기 각각의 이벤트에 대하여 상기 산출된 검출 시간에 따른 이벤트 중요도를 산출하고, 상기 이벤트 중요도, 상기 검출 시간, 및 상기 희망 시간에 따라 상기 하나 이상의 이벤트 중 K개의 이벤트를 선택한다.
이벤트 중요도 산출부(115)는 검출 시간 산출부(114)가 산출한 각 이벤트의 검출 시간에 따라 상기 각각의 이벤트에 대한 중요도를 산출한다. 상기 이벤트 중요도는 아래의 수학식 1을 통해 산출될 수 있다.
P = C * I * F(Tg - T)/ Tg
- F(X) = 0 (X가 0이하일 경우), X (X가 0 초과일 경우)
- P: 이벤트 중요도
- C: 이벤트 신뢰도
- I: 이벤트 의미 수준
- Tg: 희망 시간
- T: 검출 시간
상기 수학식 1에서와 같이, 이벤트 중요도는 이벤트 신뢰도, 이벤트 의미 수준, 희망 시간, 및 검출 시간에 따라 산출될 수 있다. 이벤트 신뢰도는 각 이벤트 검출 알고리즘의 정확도를 의미한다. 예를 들어 클로즈 업 검출 알고리즘의 경우, 그 검출 성능이 높기 때문에 상기 알고리즘 결과의 신뢰도가 높게 설정될 수 있다. 그러나, 키워드 인식 알고리즘의 경우, 그 검출 성능이 낮기 때문에 상기 알고리즘 결과의 신뢰도가 낮게 설정될 수 있다. 즉, 성능이 낮은 알고리즘 결과보다는 성 능이 높은 알고리즘 결과가 더 믿을 수 있는 결과라는 것을 의미할 수 있다. 상기 이벤트 신뢰도는 소정의 실험을 통해 상기 동영상의 리콜(Recall) 및 프리시젼(Precision)이 동일해지는 지점에서 설정될 수 있다. 상기 이벤트 신뢰도는 상기 실험을 통해 미리 정해진 값으로 설정될 수 있다.
이벤트 의미 수준은 상기 이벤트가 속한 동영상 요약 알고리즘이 포함하는 각각의 이벤트에 대한 상대적 의미 수준을 의미한다. 예를 들어, 축구 동영상 요약 알고리즘의 경우, 상기 축구 동영상 요약 알고리즘은 "점수 자막 인식", "키워드(골, 슛) 인식", "페널티 영역 검출", "클로즈 업 검출", "재연 장면 검출", "휘슬 소리 검출", 및 "오디오 고조도"를 이벤트로 설정할 수 있다.
이 때, 상기 각각의 이벤트의 상대적인 의미 수준에 따라 수치를 설정할 수 있다. 예를 들어, "키워드(골, 슛) 인식" 이벤트에는 0.9의 의미 수준을 부여할 수 있다. 또한, "점수 자막 인식" 이벤트에는 0.8의 의미 수준을, "재연 장면 검출" 이벤트에는 0.6의 의미 수준을, "클로즈 업 검출" 이벤트 및 "오디오 고조도" 이벤트에는 0.5의 의미 수준을, "페널티 영역 검출" 이벤트에는 0.4의 의미 수준을, "휘슬 소리 검출" 이벤트에는 0.3의 의미 수준을 각각 부여할 수 있다.
이와 같이, 키워드 인식의 경우, 상기 이벤트 하나만으로도 축구 경기 중 중요한 동작이라 할 수 있는 골이나 슛 장면의 위치를 정확하게 알 수 있기 때문에 다른 이벤트에 비해 높은 의미 수준을 부여할 수 있다. 또한, 점수 자막 인식 이벤트의 경우에도 정확한 골 장면의 위치를 판단하기는 어렵지만, 점수가 바뀌기 전에 골 장면이 있다는 것을 판단할 수 있으므로, 클로즈 업, 오디오 고조도 등의 이 벤트보다 높은 의미 수준을 부여할 수 있다. 이에 반해, 휘슬 소리 검출 이벤트의 경우에는 휘슬 소리 하나만으로는 파울, 경기 시작 등 어떤 장면을 설명하는 것인지 알 수 없기 때문에 다른 이벤트에 비해 낮은 의미 수준을 부여할 수 있다. 상기 의미 수준은 사전에 미리 정해진 값으로 각각의 이벤트에 부여되어 이벤트 중요도 산출부(115)가 유지할 수 있다.
상기와 같이, 이벤트 중요도 산출부(115)는 이벤트 신뢰도 및 이벤트 중요도를 이용하여 이벤트 별 중요도를 각각 산출할 수 있다. 이는 도 5를 참조하여 보다 상세히 설명하기로 한다.
도 5는 본 발명의 일실시예에 따라 축구 동영상 요약 알고리즘이 포함하는 각 이벤트의 중요도를 산출한 이벤트 중요도 테이블을 도시한 도면이다.
이벤트 중요도 산출부(115)는 이벤트 신뢰도, 이벤트 의미 수준, 검출 시간, 및 희망 시간을 이용하여 각 이벤트의 중요도를 산출할 수 있다. 도 5에 도시된 이벤트 중요도 테이블(500)은 축구 동영상 요약 알고리즘이 포함하는 각 이벤트에 대하여 산출한 이벤트 중요도를 포함하고 있다.
도 5에 도시된 바와 같이, 축구 동영상 요약 알고리즘이 포함하는 키워드 인식 이벤트의 중요도는 0.24로 산출될 수 있다. 또한, 자막 인식 이벤트의 중요도는 0.05, 재연 장면 이벤트의 중요도는 0.33, 클로즈 업 이벤트의 중요도는 0.37, 페널티 영역 이벤트의 중요도는 0.28, 휘슬 소리 이벤트의 중요도는 0.25, 및 오디오 고조도 이벤트의 중요도는 0.44로 산출될 수 있다. 상기 각각의 이벤트 중요도는 상술한 수학식 1에 의해 산출될 수 있다.
다시 도 1에서, 이벤트 중요도 산출부(115)는 각 이벤트의 중요도가 산출되면, 상기 하나 이상의 이벤트를 중요도가 높은 순서에 따라 각각 소팅(Sorting)한다. 이후, 이벤트 중요도 산출부(115)는 사용자가 입력한 희망 시간을 참조하여 상기 소팅된 이벤트 중 K 개의 이벤트를 선택한다. 상기 이벤트의 선택은 도 6을 참조하여 상세히 설명하기로 한다.
도 6은 본 발명의 일실시예에 따라 이벤트 중요도 순서로 소팅된 축구 동영상 요약 알고리즘의 이벤트를 도시한 도면이다. 도 6에 도시된 이벤트 소팅은 도 5의 이벤트 중요도 테이블(500)과 연동되어 설정될 수 있다.
도 6에 도시된 바와 같이, 이벤트 중요도 산출부(115)는 이벤트 중요도 테이블(500)에서 이벤트 중요도가 높은 순서에 따라 상기 각각의 이벤트를 오디오 고조도(610), 클로즈 업 검출(620), 재연 장면(630), 페널티 영역(640), 휘슬 소리(650), 키워드 인식(660), 및 자막 인식(670)의 순서대로 소팅할 수 있다.
이후, 이벤트 중요도 산출부(115)는 상기 소팅된 순서에 따라 각 이벤트의 검출 시간을 합산하여 상기 희망 시간과 비교한다. 상기 비교 결과, K+1번째 이벤트까지 합산한 검출 시간이 상기 희망 시간을 초과하는 경우, 이벤트 중요도 산출부(115)는 K번째까지의 이벤트를 선택한다.
도 6을 참조하여 다시 설명하면, 이벤트 중요도 산출부(115)는 상기 소팅된 순서에 따라 이벤트 별 검출 시간을 합산한다. 상기 각 이벤트 별 검출 시간은 도 5의 이벤트 중요도 테이블(500)에 도시된 검출 시간과 동일하다.
즉, 이벤트 중요도 산출부(115)는 상기 소팅된 순서에 따라 오디오 고조도 이벤트(610)의 검출 시간인 12.0초에 클로즈 업 이벤트(620)의 검출 시간인 31.8초를 합산한 후, 상기 합산한 검출 시간 값을 사용자가 입력한 희망 시간인 150초와 비교한다. 상기 합산 검출 시간 값이 상기 희망 시간보다 작으므로, 이벤트 중요도 산출부(115)는 계속하여 후순위의 이벤트 검출 시간을 계속하여 합산한다.
상기 합산 결과, 휘슬 소리 이벤트(650)의 검출 시간까지 합산한 검출 시간 값이 139.9초이고, 키워드 인식 이벤트(660)의 검출 시간까지 합산한 검출 시간 값이 223.8초이므로, 이벤트 중요도 산출부(115)는 상기 희망 시간인 150초 이하의 값을 갖는 상기 휘슬 소리 이벤트(650)까지의 합산 검출 시간 값을 유효한 검출 시간으로 판단한다. 따라서, 이벤트 중요도 산출부(1150)는 오디오 고조도 이벤트(610), 클로즈 업 이벤트(620), 재연 장면 이벤트(630), 페널티 영역 이벤트(640), 및 휘슬 소리 이벤트(650)를 최종 요약 알고리즘(680)으로 선택할 수 있다.
이벤트 중요도 산출부(115)의 상기 동작에 따라, 동영상 요약 서비스 장치의 성능, 리소스 상태, 사용자의 희망 시간 등을 모두 고려하여, 소정의 동영상에 대해 요약 영상 생성을 수행할 이벤트를 선택하여 동영상 요약 알고리즘을 구성할 수 있다. 즉, 상기 동영상 요약 알고리즘이 탑재된 디바이스의 성능 및 현재 리소스 상태와, 사용자가 원하는 시간에 대응하는 최적화된 동영상 요약 알고리즘을 구성할 수 있다.
다시 도 1에서, 상기와 같이, 각 환경에 대응하는 최적화된 동영상 요약 알고리즘이 구성되면, 분할 영상 중요도 산출부(116)는 이벤트 중요도 산출부(115)가 선택한 상기 K 개의 이벤트를 이용하여 상기 하나 이상의 분할 영상 각각에 대한 분할 영상 중요도를 산출한다. 분할 영상 중요도 산출부(116)는 아래의 수학식 2를 통해 상기 분할 영상 중요도를 산출할 수 있다.
Q = ∑Wi*Ci
- Q: 분할 영상 중요도
- Wi: i번째 이벤트 가중치
- Ci: i번째 이벤트 반환값
상기 수학식 2에서와 같이, 분할 영상 중요도 산출부(116)는 하나의 분할 영상에 대해 이벤트 중요도 산출부(115)가 선택한 K개의 이벤트 각각의 가중치 및 반환값을 곱한 값을 모두 합산하여 상기 분할 영상의 중요도를 산출할 수 있다.
상기 분할 영상 중요도의 산출을 위하여, 메모리 수단(111)은 각 동영상 알고리즘이 포함하는 각 이벤트에 대응하는 이벤트 반환값이 기록된 이벤트 반환값 테이블을 유지할 수 있다. 상기 이벤트 반환값 테이블은 도 7을 참조하여 설명하기로 한다.
도 7은 본 발명의 일실시예에 따른 이벤트 반환값을 도시한 도면이다.
이벤트 반환값은 각 이벤트에 대하여 상기 이벤트가 포함할 수 있는 다수의 서브(Sub) 이벤트에 대한 설정값을 의미한다. 예를 들면, 도 7에 도시된 바와 같이, 키워드 인식 이벤트의 경우, 상기 키워드 이벤트는 골 키워드 또는 슛 키워드 의 서브 이벤트를 포함할 수 있다. 축구 경기에서 골 이벤트가 슛 이벤트에 비해 상대적으로 시청자의 선호도가 높은 편이므로, 상기 골 키워드 서브 이벤트에는 1의 값이 설정될 수 있고, 상기 슛 키워드 서브 이벤트에는 1/2의 값이 설정될 수 있다. 또한, 아무 키워드도 없는 경우에는 0의 값이 설정될 수 있다. 상기와 같은 방법으로 상기 각각의 이벤트에는 각 서브 이벤트에 따른 이벤트 반환값이 설정될 수 있다. 상기 이벤트 반환값은 당업자에 의해 미리 설정될 수도 있고, 사용자의 선택에 따라 설정될 수도 있다.
다시 도 1에서, 분할 영상 중요도 산출부(116)는 이벤트 중요도 산출부(115)가 선택한 K 개의 이벤트 각각에 대한 상대값을 산출한다. 상기 이벤트 상대값은 각 동영상에서 발생할 수 있는 각 이벤트에 대한 일반적인 상대적 중요도에 따라 설정될 수 있다. 예를 들어, 축구 동영상의 경우, 페널티 영역 이벤트와 휘슬 소리 이벤트가 모두 이벤트 중요도 산출부(115)에 의해 선택된 경우, 축구 경기에서 가장 중요한 골이나 슛 등은 대부분 페널티 영역에서 발생하는 이벤트이므로, 상기 페널티 영역 이벤트에 상기 휘슬 소리 이벤트보다 상대적으로 높은 상대값을 설정할 수 있다.
또한, 분할 영상 중요도 산출부(116)는 사용자 인터페이스부(112)를 통해 사용자로부터 상기 동영상에 대한 선호 이벤트 정보를 입력 받는다. 상기 선호 이벤트 정보는 상기 사용자가 선호하는 이벤트에 대한 상대값으로 설정될 수 있다. 예를 들어, 영화 동영상의 경우, 사용자가 액션 장면만을 빨리 감기 기능으로 보기를 좋아하는 경우, 상기 사용자로부터 액션 장면 검출 이벤트에 대한 선호 이벤트 정 보를 입력 받을 수 있다.
분할 영상 중요도 산출부(116)는 상기 이벤트 상대값 또는 상기 선호 이벤트 정보를 이용하여 상기 K 이벤트 각각에 대한 가중치(Weight)를 산출한다.
이후, 분할 영상 중요도 산출부(116)는 하나의 분할 영상에 대하여 상기 K 개의 이벤트 중, 각 이벤트에 대응하는 상기 이벤트 반환값과 상기 이벤트 가중치를 곱하여 각 이벤트에 대응하는 제2 값을 산출하고, 상기 K 개의 이벤트 각각에 대응하는 K 개의 제2 값을 합산하여, 상기 분할 영상에 대한 분할 영상 중요도를 산출한다. 상기 분할 영상 중요도 산출은 상술한 수학식 2를 통해 구현될 수 있다.
도 8은 본 발명의 일실시예에 따라 축구 동영상이 포함하는 하나 이상의 분할 영상 각각에 대응하여 산출한 분할 영상 중요도가 기록된 분할 영상 중요도 테이블을 도시한 도면이다.
도 8에 도시된 바와 같이, 축구 동영상이 총 10개의 분할 영상을 포함하는 경우, 분할 영상 중요도 산출부(116)는 상기 각각의 분할 영상에 대응하여 수학식 2를 통해 분할 영상 중요도를 산출할 수 있다.
이와 같이, 분할 영상 중요도가 산출되면, 요약 영상 제어부(117)는 상기 분할 영상 중요도의 순서에 따라 상기 각각의 분할 영상을 순차적으로 소팅하여 요약 영상을 생성한다. 상기 요약 영상의 생성에 있어서, 요약 영상 제어부(117)는 사용자 인터페이스부(112)를 통해 사용자로부터 요약 영상의 희망 재생 시간을 입력 받은 경우, 상기 소팅된 요약 영상으로부터 상기 희망 재생 시간에 대응하는 분할 영상만을 추출하여 요약 영상을 생성할 수 있다.
예를 들어, 도 8에 도시된 바와 같이, 요약 영상 생성 제어부(117)는 상기 분할 영상 중요도 순서에 따라 분할 영상 #2, 분할 영상 #4, 분할 영상 #9, 분할 영상 #7, 분할 영상 #10, 분할 영상 #3, 분할 영상 #6, 분할 영상 #5, 분할 영상 #1, 분할 영상 #8의 순서대로 각각의 분할 영상을 소팅할 수 있다. 이때, 사용자로부터 입력 받은 희망 재생 시간이 10분인 경우, 상기 각 분할 영상의 재생 시간을 고려하여 10분 이하의 재생 시간에 해당하는 분할 영상(예를 들어, 분할 영상 #2 및 분할 영상 #4)만을 선택하여 요약 영상으로 생성할 수 있다.
또한, 요약 영상 제어부(117)는 상기 생성한 요약 영상을 디스플레이 제어 수단(118)로 전송하고, 디스플레이 제어 수단(118)은 상기 요약 영상이 소정의 디스플레이 수단을 통해 재생되도록 상기 디스플레이 수단을 제어할 수 있다.
또한, 요약 영상 제어부(117)는 상기 생성한 요약 영상을 통신 모듈(119)을 통해 소정의 재생 장치, 단말기, 또는 서버로 전송할 수 있다. 상기 요약 영상의 전송을 위하여, 통신 모듈(119)은 WLAN(Wireless LAN), 블루투스(Bluetooth), UWB(Ultra Wide Band), IrDA(Infrared Data Association), HPNA(Home Phoneline Networking Alliance), SWAP(Shared Wireless Access Protocol), IEEE1394 등의 근거리 통신을 수행하기 위한 근거리 통신 모듈을 포함하여 구성될 수 있다. 또한, 통신 모듈(119)은 공중 교환 전화망(PSTN) 접속은 물론, 코드분할다중화접속방식(CDMA), WCDMA, ALL IP, GSM, GPRS 접속 방식, 및 현존하는 모든 이동통신 관련 접속 방식 중 하나 이상을 지원할 수 있고, H.323, MGCP(Message Gateway Control Protocol), SIP(Session Initiation Protocol), 또는 Megaco 등의 VoIP 호 연결을 위한 호 제어 프로토콜 중 하나 이상의 프로토콜을 지원하도록 구현될 수 있다.
지금까지는 도 1 내지 도 8을 참조하여 본 발명의 일실시예에 따른 동영상 요약 서비스 장치의 구성 및 동작에 의한 요약 영상 생성 방법, 특히 축구 동영상인 경우에 대하여 서술하였다. 이하에서는 도 9 내지 도 14를 참조하여, 본 발명의 일실시예에 따른 동영상 요약 서비스 제공 방법을 드라마 동영상의 경우를 예로 들어 보다 간결하게 설명하기로 한다.
도 9는 본 발명의 일실시예에 따른 동영상 요약 서비스 제공 방법의 흐름을 도시한 도면이다.
본 발명의 일실시예에 따르면, 동영상 요약 서비스 장치는 하나 이상의 동영상 요약 알고리즘이 기록된 메모리 수단을 유지한다(단계(911)). 상기 각각의 동영상 요약 알고리즘은 하나 이상의 이벤트를 포함한다. 상기 동영상 요약 서비스 장치는 사용자로부터 소정의 동영상에 대한 요약 영상 생성을 요청 받고, 상기 요약 영상 생성을 수행하는 소요되는 희망 시간을 상기 사용자로부터 입력 받는다(단계(912)). 이후, 상기 동영상 요약 서비스 장치는 상기 동영상의 샷(Shot) 변환을 검출하여 상기 동영상을 하나 이상의 분할 영상으로 분할한다(단계(913)).
단계(912)에서, 상기 사용자가 요청한 동영상이 드라마 동영상인 경우, 상기 드라마 동영상은 도 10에 도시된 바와 같이, 제1 분할 영상(1011) 내지 제10 분할 영상(1020)으로 분할될 수 있다. 도 10에 도시된 각 분할 영상의 화면은 각각의 분할 영상을 대표하는 키프레임으로 설정될 수 있다.
단계(913) 이후, 상기 동영상 요약 서비스 장치는 상기 메모리 수단으로부터 상기 드라마 동영상에 대응하는 드라마 동영상 요약 알고리즘을 추출한다(단계(914)). 상기 드라마 동영상 요약 알고리즘은 키워드 인식 이벤트, 얼굴 인식 이벤트, 페이드 인/아웃(Fade in/out) 이벤트, 클로즈 업 이벤트, 음악 구간 이벤트, 및 액션 장면 이벤트를 포함할 수 있다.
상기 동영상 요약 서비스 장치는 상기 추출한 동영상 요약 알고리즘이 포함하는 상기 각각의 이벤트에 대하여, 제1 분할 영상(1011) 내지 제10 분할 영상(1020) 중 이벤트가 발생한 분할 영상을 검출하는데 소요되는 검출 시간을 상기 각각의 이벤트 별로 산출한다(단계(915)).
상기 이벤트 별 검출 시간이 산출되면, 상기 동영상 요약 서비스 장치는 상술한 수학식 1을 통해 상기 각각의 이벤트에 대하여 상기 검출 시간에 따른 이벤트 중요도를 산출한다(단계(916)). 도 11에 도시된 이벤트 중요도 테이블(1100)에서와 같이, 상기 동영상 요약 서비스 장치는 키워드 인식 이벤트의 중요도로 0.21, 얼굴 인식 이벤트의 중요도로 0.33, 페이드 인/아웃(Fade in/out) 이벤트의 중요도로 0.30, 클로즈 업 이벤트의 중요도로 0.37, 음악 구간 이벤트의 중요도로 0.54, 및 액션 장면 이벤트의 중요도로 0.17을 각각 산출할 수 있다.
이와 같이, 각 이벤트에 대한 이벤트 중요도가 산출되면, 상기 동영상 요약 서비스 장치는 상기 이벤트 중요도, 상기 검출 시간, 및 상기 희망 시간을 고려하여, 상기 드라마 동영상 요약 알고리즘이 포함하는 모든 이벤트 중에서 K 개의 이벤트를 선택한다(단계(917)). 즉, 이벤트 중요도 테이블(1100)을 참조하면, 상기 동영상 요약 알고리즘은 상기 사용자가 입력한 희망 시간이 150초인 경우, 상기 이벤트 중요도 순서대로 소팅된 각 이벤트 중에서, 상기 150초 이내의 검출 시간의 합을 갖는 클로즈 업 이벤트, 음악 구간 이벤트, 및 얼굴 인식 이벤트를 선택하여 최종 동영상 요약 알고리즘으로 구성할 수 있다.
상기와 같이, 3개의 이벤트를 선택하여 최종 동영상 요약 알고리즘이 구성되는 경우, 상기 동영상 요약 서비스 장치는 상기 3개의 이벤트를 이용하여 제1 분할 영상(1011) 내지 제10 분할 영상(1020) 각각에 대한 분할 영상 중요도를 산출한다(단계(918)). 상기 동영상 요약 서비스 장치는 도 12에 도시된 이벤트 반환값 테이블(1200)에 기록된 상기 각 이벤트의 반환값과 사용자로부터 입력 받은 값에 따라 설정된 이벤트 가중치를 상술한 수학식 2에 대입함으로써, 상기 분할 영상 중요도를 산출할 수 있다.
도 13에 도시된 바와 같이, 제1 분할 영상(1011) 내지 제10 분할 영상(1020) 각각에 대하여 분할 영상 중요도가 산출되면, 상기 동영상 요약 서비스 장치는 상기 산출된 분할 영상 중요도의 순서에 따라 각 분할 영상을 소팅하여 요약 영상을 생성한다(단계(919)). 이 때, 상기 동영상 요약 서비스 장치는 사용자로부터 요약 영상의 희망 재생 시간을 입력 받은 경우, 상기 소팅한 분할 영상 중 상기 희망 재생 시간 이하로 소팅된 분할 영상만을 추출하여 요약 영상을 생성할 수 있다.
도 14는 본 발명의 일실시예에 따른 드라마 동영상 요약 알고리즘에 의해 생성된 요약 영상의 화면을 도시한 도면이다.
도 14에 도시된 요약 영상은 도 10에 도시된 드라마 동영상으로부터 생성된 요약 영상이다. 즉, 도 10에 도시된 각각의 분할 영상 중에서, 상기 동영상 요약 서비스 장치가 산출한 이벤트 중요도 및 분할 영상 중요도에 따라 제5 분할 영상(1015), 제1 분할 영상(1011), 제4 분할 영상(1014), 및 제8 분할 영상(1018)이 각각 제1 요약 영상(1411), 제2 요약 영상(1412), 제3 요약 영상(1413), 및 제4 요약 영상(1414)으로 설정되어 요약 영상을 구성할 수 있다.
상술한 바와 같이, 본 발명에 따른 동영상 요약 서비스 방법에 따르면, 디바이스(Device)의 성능 및 리소스(Resource) 상태를 고려하여 사용자가 원하는 시간 내에 사용자가 원하는 분량의 요약 영상을 사용자의 기호에 부합하도록 정확하고 신속하게 요약 영상을 생성할 수 있다.
본 발명에 따른 동영상 요약 서비스 제공 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 상기 매체는 프로그램 명령, 데이터 구조 등을 지정하는 신호를 전송하는 반송파를 포함하는 광 또는 금속선, 도파관 등의 전송 매체일 수도 있다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 본 발명의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
도 15는 본 발명에 따른 동영상 요약 서비스 제공 방법을 구현하는데 채용될 수 있는 범용 컴퓨터 시스템의 내부 블록도이다.
컴퓨터 시스템(1500)은 램(RAM: Random Access Memory)(1520)과 롬(ROM: Read Only Memory)(1530)을 포함하는 주기억장치와 연결되는 하나 이상의 프로세서(1510)를 포함한다. 프로세서(1510)는 중앙처리장치(CPU)로 불리기도 한다. 본 기술분야에서 널리 알려져 있는 바와 같이, 롬(1530)은 데이터(data)와 명령(instruction)을 단방향성으로 CPU에 전달하는 역할을 하며, 램(1520)은 통상적으로 데이터와 명령을 양방향성으로 전달하는 데 사용된다. 램(1520) 및 롬(1530)은 컴퓨터 판독 가능 매체의 어떠한 적절한 형태를 포함할 수 있다. 대용량 기억장치(Mass Storage)(1540)는 양방향성으로 프로세서(1510)와 연결되어 추가적인 데이터 저장 능력을 제공하며, 상기된 컴퓨터 판독 가능 기록 매체 중 어떠한 것일 수 있다. 대용량 기억장치(1540)는 프로그램, 데이터 등을 저장하는데 사용되며, 통상적으로 주기억장치보다 속도가 느린 하드디스크와 같은 보조기억장치이다. CD 롬(1560)과 같은 특정 대용량 기억장치가 사용될 수도 있다. 프로세서(1510)는 비디 오 모니터, 트랙볼, 마우스, 키보드, 마이크로폰, 터치스크린 형 디스플레이, 카드 판독기, 자기 또는 종이 테이프 판독기, 음성 또는 필기 인식기, 조이스틱, 또는 기타 공지된 컴퓨터 입출력장치와 같은 하나 이상의 입출력 인터페이스(1550)와 연결된다. 마지막으로, 프로세서(1510)는 네트워크 인터페이스(1570)를 통하여 유선 또는 무선 통신 네트워크에 연결될 수 있다. 이러한 네트워크 연결을 통하여 상기된 방법의 절차를 수행할 수 있다. 상기된 장치 및 도구는 컴퓨터 하드웨어 및 소프트웨어 기술 분야의 당업자에게 잘 알려져 있다.
지금까지 본 발명에 따른 구체적인 실시예에 관하여 설명하였으나, 본 발명의 범위에서 벗어나지 않는 한도 내에서는 여러 가지 변형이 가능함은 물론이다.
그러므로, 본 발명의 범위는 설명된 실시예에 국한되어 정해져서는 안되며, 후술하는 특허청구의 범위뿐 아니라 이 특허청구의 범위와 균등한 것들에 의해 정해져야 한다.
본 발명의 동영상 요약 서비스 장치 및 그 방법에 따르면, 동영상 요약을 수행하는 디바이스(Device)의 성능 또는 리소스 상태와 사용자가 요구하는 처리 시간에 따라 최적의 동영상 요약 알고리즘을 구성하여 요약 영상을 생성함으로써, 디바이스의 성능을 고려하여 사용자가 원하는 시간 내에 상기 요약 영상을 생성할 수 있는 효과를 얻을 수 있다.
또한, 본 발명의 동영상 요약 서비스 장치 및 그 방법에 따르면, 사용자가 요구 또는 각 동영상의 종류에 따라 미리 설정된 중요도에 따라 이벤트를 설정하고 최적화된 동영상 요약 알고리즘을 구성하여 요약 영상을 생성함으로써, 동영상의 종류에 따라 사용자가 원하는 요약 영상을 보다 정확하게 생성할 수 있는 효과를 얻을 수 있다.
이상과 같이 본 발명은 비록 한정된 실시예와 도면에 의해 설명되었으나, 본 발명은 상기의 실시예에 한정되는 것은 아니며, 이는 본 발명이 속하는 분야에서 통상의 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형이 가능하다. 따라서, 본 발명 사상은 아래에 기재된 특허청구범위에 의해서만 파악되어야 하고, 이의 균등 또는 등가적 변형 모두는 본 발명 사상의 범주에 속한다고 할 것이다.

Claims (11)

  1. 소정의 동영상에 대한 요약 동영상 작성 방법에 있어서,
    하나 이상의 동영상 요약 알고리즘이 기록된 메모리 수단을 유지하는 단계 - 상기 각각의 동영상 요약 알고리즘은 하나 이상의 이벤트를 포함함 -;
    사용자로부터 소정의 동영상에 대한 요약 영상 생성을 요청 받고, 상기 요약 영상 생성을 수행하는데 소요되는 희망 시간을 상기 사용자로부터 입력 받는 단계;
    상기 동영상의 샷(Shot) 변환을 검출하여 상기 동영상을 하나 이상의 분할 영상으로 분할하는 단계;
    상기 동영상에 대응하는 동영상 요약 알고리즘을 상기 메모리 수단으로부터 추출하는 단계;
    상기 추출한 동영상 요약 알고리즘이 포함하는 하나 이상의 이벤트 각각에 대하여, 상기 하나 이상의 분할 영상 중 이벤트가 발생한 분할 영상을 검출하는데 소요되는 검출 시간을 이벤트 별로 각각 산출하는 단계;
    상기 각각의 이벤트에 대하여 상기 검출 시간에 따른 이벤트 중요도를 산출하는 단계;
    상기 이벤트 중요도, 상기 검출 시간, 및 상기 희망 시간에 따라 상기 하나 이상의 이벤트 중 K개의 이벤트를 선택하는 단계;
    상기 선택한 K개의 이벤트를 이용하여 상기 하나 이상의 분할 영상 각각에 대한 분할 영상 중요도를 산출하는 단계; 및
    상기 산출한 분할 영상 중요도에 따라 상기 분할 영상을 순차적으로 소팅(Sorting)하여 요약 영상을 생성하는 단계
    를 포함하는 것을 특징으로 하는 동영상 요약 서비스 제공 방법.
  2. 제1항에 있어서,
    상기 분할 영상은 하나의 키프레임을 포함하고,
    상기 하나 이상의 분할 영상 중 각 이벤트가 발생한 분할 영상을 검출하는데 소요되는 검출 시간을 산출하는 상기 단계는, 상기 각각의 키프레임에서 상기 각 이벤트가 발생하였는지 여부를 검출하는데 소요되는 시간을 산출하여 상기 검출 시간을 산출하는 것을 특징으로 하는 동영상 요약 서비스 제공 방법.
  3. 제2항에 있어서,
    상기 하나 이상의 분할 영상 중 각 이벤트가 발생한 분할 영상을 검출하는데 소요되는 검출 시간을 산출하는 상기 단계는,
    상기 동영상을 재생하는 요약 동영상 생성 장치의 리소스(Resource)를 검출하는 단계;
    상기 리소스에 따라 상기 요약 동영 상 생성 장치가 하나의 프레임에서 하나의 이벤트가 발생하였는지 여부를 검출하는데 소요되는 시간을 산출하는 단계; 및
    상기 산출한 시간에 상기 키프레임의 전체 개수를 곱하여 상기 검출 시간을 산출하는 단계
    를 포함하는 것을 특징으로 하는 동영상 요약 서비스 제공 방법.
  4. 제1항에 있어서,
    상기 동영상 요약 알고리즘은 각각의 이벤트에 대한 이벤트 신뢰도 및 이벤트 의미 수준을 포함하고,
    상기 각각의 이벤트에 대하여 상기 검출 시간에 따른 이벤트 중요도를 산출하는 상기 단계는,
    상기 희망 시간으로부터 상기 검출 시간을 차감한 값을 상기 희망 시간으로 나눈 제1 값을 산출하고, 상기 제1 값에 상기 이벤트 신뢰도 값 및 상기 이벤트 의미 수준 값을 곱하여 상기 이벤트 중요도를 산출하는 것을 특징으로 하는 동영상 요약 서비스 제공 방법.
  5. 제4항에 있어서,
    상기 제1 값은 상기 희망 시간이 상기 검출 시간 이하인 경우, 0으로 산출되는 것을 특징으로 하는 동영상 요약 서비스 제공 방법.
  6. 제1항에 있어서,
    상기 이벤트 중요도, 상기 검출 시간, 및 상기 희망 시간에 따라 상기 하나 이상의 이벤트 중 K개의 이벤트를 선택하는 상기 단계는,
    상기 하나 이상의 이벤트를 이벤트 중요도가 높은 순서에 따라 순차적으로 각각 소팅(Sorting)하는 단계;
    상기 소팅된 순서에 따라 각 이벤트의 검출 시간을 합산하여 상기 희망 시간과 비교하는 단계; 및
    상기 비교 결과, K+1 번째 이벤트까지 합산한 검출 시간이 상기 희망 시간을 초과하는 경우, K 번째까지의 이벤트를 선택하는 단계
    를 포함하는 것을 특징으로 하는 동영상 요약 서비스 제공 방법.
  7. 제1항에 있어서,
    상기 각 동영상 알고리즘이 포함하는 각 이벤트에 대응하는 이벤트 반환값이 기록된 이벤트 반환값 테이블이 기록된 메모리 수단을 유지하는 단계;
    상기 선택한 K 개의 이벤트 각각에 대한 상대값을 산출하는 단계;
    사용자로부터 상기 동영상에 대한 선호 이벤트 정보를 입력 받는 단계; 및
    상기 이벤트 상대값 또는 상기 선호 이벤트 정보를 이용하여 각 이벤트의 가중치(Weight)를 산출하는 단계
    를 더 포함하고,
    상기 선택한 K개의 이벤트를 이용하여 상기 하나 이상의 분할 영상 각각에 대한 분할 영상 중요도를 산출하는 상기 단계는, 하나의 분할 영상에 대하여 상기 K 개의 이벤트 중, 각 이벤트에 대응하는 상기 이벤트 반환값과 상기 이벤트 가중치를 곱하여 각 이벤트에 대응하는 제2 값을 산출하고, 상기 K 개의 이벤트 각각에 대응하는 K 개의 제2 값을 합산하여 상기 분할 영상에 대한 분할 영상 중요도를 산출하는 것을 특징으로 하는 동영상 요약 서비스 제공 방법.
  8. 제1항에 있어서,
    상기 산출한 분할 영상 중요도에 따라 상기 분할 영상을 순차적으로 소팅하여 요약 영상을 생성하는 상기 단계는,
    상기 사용자로부터 상기 요약 영상에 대한 희망 재생 시간을 입력 받는 단계;
    상기 소팅된 요약 영상으로부터 상기 희망 재생 시간에 대응하는 요약 영상을 추출하는 단계; 및
    상기 추출한 요약 영상을 소정의 디스플레이 수단을 통해 재생하는 단계
    를 포함하는 것을 특징으로 하는 동영상 요약 서비스 제공 방법.
  9. 제1항에 있어서,
    상기 동영상 및 요약 영상은 소정의 동영상 요약 서비스 장치를 통해 재생 또는 녹화되고,
    상기 동영상 요약 서비스 장치는 PVR(Personal Video Recorder), 홈 서버(Home Server), 스마트 모바일 서버(Smart Mobile Server), DVD 플레이어/레코더, PC, 노트북, PDA, 또는 이동통신 단말기 중 어느 하나인 것을 특징으로 하는 동영상 요약 서비스 제공 방법.
  10. 제1항 내지 제9항 중 어느 한 항의 방법을 실행시키기 위한 프로그램을 기록한 컴퓨터 판독 가능한 기록 매체.
  11. 소정의 동영상에 대한 요약 동영상을 작성하는 장치에 있어서,
    하나 이상의 동영상 요약 알고리즘이 기록된 메모리 수단 - 상기 각각의 동영상 요약 알고리즘은 하나 이상의 이벤트를 포함함 -;
    사용자로부터 소정의 동영상에 대한 요약 영상 생성을 요청 받고, 상기 요약 영상 생성을 수행하는데 소요되는 희망 시간을 상기 사용자로부터 입력 받는 사용자 인터페이스부;
    상기 동영상의 샷(Shot) 변환을 검출하여 상기 동영상을 하나 이상의 분할 영상으로 분할하는 샷 변환 검출부;
    상기 동영상에 대응하는 동영상 요약 알고리즘을 상기 메모리 수단으로부터 추출하고, 상기 추출한 동영상 요약 알고리즘이 포함하는 하나 이상의 이벤트 각각에 대하여, 상기 하나 이상의 분할 영상 중 이벤트가 발생한 분할 영상을 검출하는데 소요되는 검출 시간을 이벤트 별로 각각 산출하는 검출 시간 산출부;
    상기 각각의 이벤트에 대하여 상기 검출 시간에 따른 이벤트 중요도를 산출하고, 상기 이벤트 중요도, 상기 검출 시간, 및 상기 희망 시간에 따라 상기 하나 이상의 이벤트 중 K개의 이벤트를 선택하는 이벤트 중요도 산출부;
    상기 선택한 K개의 이벤트를 이용하여 상기 하나 이상의 분할 영상 각각에 대한 분할 영상 중요도를 산출하는 분할 영상 중요도 산출부; 및
    상기 산출한 분할 영상 중요도에 따라 상기 분할 영상을 순차적으로 소팅(Sorting)하여 요약 영상을 생성하는 요약 영상 제어부
    를 포함하는 것을 특징으로 하는 동영상 요약 서비스 장치.
KR1020050114272A 2005-11-28 2005-11-28 동영상 요약 서비스 장치 및 그 방법 KR100754529B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020050114272A KR100754529B1 (ko) 2005-11-28 2005-11-28 동영상 요약 서비스 장치 및 그 방법
US11/483,847 US20070124679A1 (en) 2005-11-28 2006-07-11 Video summary service apparatus and method of operating the apparatus

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020050114272A KR100754529B1 (ko) 2005-11-28 2005-11-28 동영상 요약 서비스 장치 및 그 방법

Publications (2)

Publication Number Publication Date
KR20070055823A true KR20070055823A (ko) 2007-05-31
KR100754529B1 KR100754529B1 (ko) 2007-09-03

Family

ID=38088953

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020050114272A KR100754529B1 (ko) 2005-11-28 2005-11-28 동영상 요약 서비스 장치 및 그 방법

Country Status (2)

Country Link
US (1) US20070124679A1 (ko)
KR (1) KR100754529B1 (ko)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101028475B1 (ko) * 2009-05-18 2011-04-15 한국외국어대학교 연구산학협력단 영화 요약 장치 및 방법
US9406342B2 (en) 2014-07-18 2016-08-02 Hanwha Techwin Co., Ltd. Imaging apparatus and method of providing imaging information
WO2021261874A1 (ko) * 2020-06-22 2021-12-30 엘지전자 주식회사 디스플레이 장치 및 그의 동작 방법
KR20220138145A (ko) * 2021-04-05 2022-10-12 한밭대학교 산학협력단 동영상 검토 시스템, 방법 그리고 프로그램

Families Citing this family (38)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6934812B1 (en) * 2001-10-22 2005-08-23 Apple Computer, Inc. Media player with instant play capability
US7433546B2 (en) * 2004-10-25 2008-10-07 Apple Inc. Image scaling arrangement
US7724716B2 (en) 2006-06-20 2010-05-25 Apple Inc. Wireless communication system
US7831199B2 (en) 2006-01-03 2010-11-09 Apple Inc. Media data exchange, transfer or delivery for portable electronic devices
JP4308798B2 (ja) * 2004-06-30 2009-08-05 パナソニック株式会社 イベント重要度調整方法とその方法を実施する装置
US7706637B2 (en) * 2004-10-25 2010-04-27 Apple Inc. Host configured for interoperation with coupled portable media player device
US7536565B2 (en) 2005-01-07 2009-05-19 Apple Inc. Techniques for improved playlist processing on media devices
US8300841B2 (en) 2005-06-03 2012-10-30 Apple Inc. Techniques for presenting sound effects on a portable media player
US7930369B2 (en) 2005-10-19 2011-04-19 Apple Inc. Remotely configured media device
KR100703801B1 (ko) * 2005-10-21 2007-04-06 삼성전자주식회사 Ａｖ 태스크 계산 방법, ａｖ 태스크 계산을 위한 요약정보 제공 방법 및 이를 위한 장치
US8654993B2 (en) * 2005-12-07 2014-02-18 Apple Inc. Portable audio device providing automated control of audio volume parameters for hearing protection
US8255640B2 (en) 2006-01-03 2012-08-28 Apple Inc. Media device with intelligent cache utilization
US7673238B2 (en) * 2006-01-05 2010-03-02 Apple Inc. Portable media device with video acceleration capabilities
US20070166683A1 (en) * 2006-01-05 2007-07-19 Apple Computer, Inc. Dynamic lyrics display for portable media devices
US7848527B2 (en) * 2006-02-27 2010-12-07 Apple Inc. Dynamic power management in a portable media delivery system
US9137309B2 (en) 2006-05-22 2015-09-15 Apple Inc. Calibration techniques for activity sensing devices
US7643895B2 (en) 2006-05-22 2010-01-05 Apple Inc. Portable media device with workout support
US20070271116A1 (en) 2006-05-22 2007-11-22 Apple Computer, Inc. Integrated media jukebox and physiologic data handling application
US8073984B2 (en) 2006-05-22 2011-12-06 Apple Inc. Communication protocol for use with portable electronic devices
US8358273B2 (en) * 2006-05-23 2013-01-22 Apple Inc. Portable media device with power-managed display
KR100771244B1 (ko) * 2006-06-12 2007-10-29 삼성전자주식회사 동영상 데이터 처리 방법 및 장치
JP4835321B2 (ja) * 2006-08-21 2011-12-14 ソニー株式会社 番組提供方法、番組提供方法のプログラム、番組提供方法のプログラムを記録した記録媒体及び番組提供装置
US7913297B2 (en) 2006-08-30 2011-03-22 Apple Inc. Pairing of wireless devices using a wired medium
US7813715B2 (en) * 2006-08-30 2010-10-12 Apple Inc. Automated pairing of wireless accessories with host devices
US8341524B2 (en) 2006-09-11 2012-12-25 Apple Inc. Portable electronic device with local search capabilities
US8090130B2 (en) 2006-09-11 2012-01-03 Apple Inc. Highly portable media devices
US7729791B2 (en) * 2006-09-11 2010-06-01 Apple Inc. Portable media playback device including user interface event passthrough to non-media-playback processing
US7589629B2 (en) * 2007-02-28 2009-09-15 Apple Inc. Event recorder for portable media device
US7698101B2 (en) 2007-03-07 2010-04-13 Apple Inc. Smart garment
JP5259670B2 (ja) * 2010-09-27 2013-08-07 株式会社東芝 コンテンツ要約装置およびコンテンツ要約表示装置
US10091552B2 (en) * 2012-09-19 2018-10-02 Rovi Guides, Inc. Methods and systems for selecting optimized viewing portions
KR102217186B1 (ko) * 2014-04-11 2021-02-19 삼성전자주식회사 요약 컨텐츠 서비스를 위한 방송 수신 장치 및 방법
US10679671B2 (en) 2014-06-09 2020-06-09 Pelco, Inc. Smart video digest system and method
KR101849365B1 (ko) * 2014-11-05 2018-04-16 한화테크윈 주식회사 영상 처리 장치 및 방법
WO2016189347A1 (en) * 2015-05-22 2016-12-01 Playsight Interactive Ltd. Event based video generation
US10356456B2 (en) * 2015-11-05 2019-07-16 Adobe Inc. Generating customized video previews
KR20170098079A (ko) * 2016-02-19 2017-08-29 삼성전자주식회사 전자 장치 및 전자 장치에서의 비디오 녹화 방법
CN115834977B (zh) * 2022-11-18 2023-09-08 贝壳找房(北京)科技有限公司 视频处理的方法、电子设备、存储介质及计算机程序产品

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5664227A (en) * 1994-10-14 1997-09-02 Carnegie Mellon University System and method for skimming digital audio/video data
US6647535B1 (en) * 1999-03-18 2003-11-11 Xerox Corporation Methods and systems for real-time storyboarding with a web page and graphical user interface for automatic video parsing and browsing
US6549643B1 (en) * 1999-11-30 2003-04-15 Siemens Corporate Research, Inc. System and method for selecting key-frames of video data
US6964061B2 (en) * 2000-12-28 2005-11-08 International Business Machines Corporation Squeezable rebroadcast files
JP4532037B2 (ja) 2001-09-25 2010-08-25 株式会社リコー ダイジェスト配信システム
KR100436828B1 (ko) * 2001-10-09 2004-06-23 한국방송공사 주문형 동영상 요약 서비스 시스템
JP2004260297A (ja) 2003-02-24 2004-09-16 Ricoh Co Ltd パーソナルダイジェスト配信装置、その配信方法、その配信プログラム、およびパーソナルダイジェスト配信システム
KR100590537B1 (ko) * 2004-02-18 2006-06-15 삼성전자주식회사 복수 영상의 요약 방법 및 장치
US7616793B2 (en) * 2004-12-30 2009-11-10 Hologic, Inc. Medical image review workstation with integrated content-based resource retrieval

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101028475B1 (ko) * 2009-05-18 2011-04-15 한국외국어대학교 연구산학협력단 영화 요약 장치 및 방법
US9406342B2 (en) 2014-07-18 2016-08-02 Hanwha Techwin Co., Ltd. Imaging apparatus and method of providing imaging information
US10116910B2 (en) 2014-07-18 2018-10-30 Hanwha Techwin Co., Ltd. Imaging apparatus and method of providing imaging information
WO2021261874A1 (ko) * 2020-06-22 2021-12-30 엘지전자 주식회사 디스플레이 장치 및 그의 동작 방법
KR20220138145A (ko) * 2021-04-05 2022-10-12 한밭대학교 산학협력단 동영상 검토 시스템, 방법 그리고 프로그램

Also Published As

Publication number Publication date
KR100754529B1 (ko) 2007-09-03
US20070124679A1 (en) 2007-05-31

Similar Documents

Publication Publication Date Title
KR100754529B1 (ko) 동영상 요약 서비스 장치 및 그 방법
US11743514B2 (en) Apparatus, systems and methods for a content commentary community
US11490136B2 (en) Systems and methods for providing a slow motion video stream concurrently with a normal-speed video stream upon detection of an event
US7127736B2 (en) Content processing apparatus and content processing method for digest information based on input of a content user
US20150248918A1 (en) Systems and methods for displaying a user selected object as marked based on its context in a program
JP2016531512A (ja) 動画画面の処理方法及び装置
KR100803747B1 (ko) 요약 클립 생성 시스템 및 이를 이용한 요약 클립 생성방법
US8000578B2 (en) Method, system, and medium for providing broadcasting service using home server and mobile phone
KR20120078730A (ko) 이질적 컨텐트 소스들의 링크
JP2019165466A (ja) 相互作用視聴覚映画を再生する装置、方法およびコンピュータプログラム
JP2020522193A (ja) リバッファリングイベントの時間的配置
US8437611B2 (en) Reproduction control apparatus, reproduction control method, and program
US8234278B2 (en) Information processing device, information processing method, and program therefor
CN102034520B (zh) 电子装置及内容再现方法
US20060080591A1 (en) Apparatus and method for automated temporal compression of multimedia content
KR20060102639A (ko) 동영상 재생 시스템 및 방법
JP5544030B2 (ja) 動画シーンのクリップ構成システム、方法および記録メディア
JP2011076551A (ja) 電子機器、アクセス制御方法及びプログラム
JP5452400B2 (ja) コンテンツ再生装置および組み合わせ方法記述データ提供装置
Mate Automatic Mobile Video Remixing and Collaborative Watching Systems
Wan et al. AUTOMATIC SPORTS CONTENT ANALYSIS–STATE-OF-ART AND RECENT RESULTS
JP2011078028A (ja) 電子機器、メタデータ生成方法及びプログラム

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20120730

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20130730

Year of fee payment: 7

FPAY Annual fee payment

Payment date: 20140730

Year of fee payment: 8

LAPS Lapse due to unpaid annual fee