KR20060028307A - 실시간 개인형 동영상 요약 시스템 및 그의 동영상 요약정보 생성 장치 및 그 방법과 맞춤형 동영상 요약 정보제공 장치 및 그 방법 - Google Patents
실시간 개인형 동영상 요약 시스템 및 그의 동영상 요약정보 생성 장치 및 그 방법과 맞춤형 동영상 요약 정보제공 장치 및 그 방법 Download PDFInfo
- Publication number
- KR20060028307A KR20060028307A KR1020040077408A KR20040077408A KR20060028307A KR 20060028307 A KR20060028307 A KR 20060028307A KR 1020040077408 A KR1020040077408 A KR 1020040077408A KR 20040077408 A KR20040077408 A KR 20040077408A KR 20060028307 A KR20060028307 A KR 20060028307A
- Authority
- KR
- South Korea
- Prior art keywords
- video
- video summary
- information
- service subscriber
- summary information
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 46
- 230000000007 visual effect Effects 0.000 claims abstract description 37
- 238000001514 detection method Methods 0.000 claims abstract description 17
- 238000012958 reprocessing Methods 0.000 claims abstract description 4
- 238000012545 processing Methods 0.000 claims description 30
- 230000003044 adaptive effect Effects 0.000 claims description 19
- 230000005540 biological transmission Effects 0.000 claims description 14
- 239000000284 extract Substances 0.000 claims description 14
- 238000000605 extraction Methods 0.000 claims description 7
- 230000001149 cognitive effect Effects 0.000 claims description 3
- 241001608711 Melo Species 0.000 claims description 2
- 230000009471 action Effects 0.000 claims description 2
- 238000012905 input function Methods 0.000 claims description 2
- 230000001953 sensory effect Effects 0.000 claims description 2
- 230000006870 function Effects 0.000 description 14
- 230000008569 process Effects 0.000 description 6
- 238000011161 development Methods 0.000 description 5
- 238000010586 diagram Methods 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 4
- 238000011160 research Methods 0.000 description 3
- 238000004891 communication Methods 0.000 description 2
- 238000013475 authorization Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 230000035807 sensation Effects 0.000 description 1
- 235000019615 sensations Nutrition 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 235000019640 taste Nutrition 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/433—Content storage operation, e.g. storage operation in response to a pause request, caching operations
- H04N21/4332—Content storage operation, e.g. storage operation in response to a pause request, caching operations by placing content in organized collections, e.g. local EPG data repository
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
- H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
- H04N21/440218—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display by transcoding between formats or standards, e.g. from MPEG-2 to MPEG-4
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/47—End-user applications
- H04N21/472—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
- H04N21/85—Assembly of content; Generation of multimedia applications
- H04N21/854—Content authoring
- H04N21/8549—Creating video summaries, e.g. movie trailer
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Databases & Information Systems (AREA)
- Computer Security & Cryptography (AREA)
- Human Computer Interaction (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
Abstract
1. 청구범위에 기재된 발명이 속한 기술분야
본 발명은 실시간 개인형 동영상 요약 시스템 및 그의 동영상 요약 정보 생성 장치 및 그 방법과 맞춤형 동영상 요약 정보 제공 장치 및 그 방법에 관한 것임.
2. 발명이 해결하려고 하는 기술적 과제
본 발명은 동영상의 특성을 고려하여 동영상 요약 정보를 생성하고, 이를 사용자의 환경에 맞게 실시간으로 재가공하여 수많은 가입자들에게 대체로 만족스런 동영상 요약 서비스를 제공하기 위한 실시간 개인형 동영상 요약 시스템 및 그의 동영상 요약 정보 생성 장치 및 그 방법과 맞춤형 동영상 요약 정보 제공 장치 및 그 방법과 상기 방법들을 실현시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체를 제공하는데 그 목적이 있음.
3. 발명의 해결방법의 요지
본 발명은, 실시간 개인형 동영상 요약 시스템의 동영상 요약 정보 생성 장치에 있어서, 요약하고자 하는 동영상 데이터를 입력받기 위한 동영상 입력수단; 상기 동영상 입력수단을 통해 입력받은 동영상 데이터를 동영상 특징 추출기로 전달하여 동영상의 시각적/청각적/텍스트 특징에 따른 샷 검출 작업을 수행하고, 각 특징에 따라 나뉘어진 샷들을 재합성하여 시각적/청각적/텍스트 특징을 수용한 샷을 추출하기 위한 샷 추출수단; 및 상기 샷 추출수단을 통해 샷 추출 후, 동영상 요약 알고리즘을 이용하여 시각적 특성 벡터를 생성하고, 지식베이스의 정보를 이용하여 추출한 중요도 인자로 구성된 퍼지 멤버쉽 함수를 결합하여 퍼지 동영상 요약 알고리즘을 생성하고, 생성된 퍼지 동영상 요약 알고리즘을 적용하여 해당 동영상에 대한 동영상 요약 정보를 생성하여 동영상 요약 데이터베이스(DB)에 저장하기 위한 동영상 요약 생성수단을 포함한다.
4. 발명의 중요한 용도
본 발명은 실시간 개인형 동영상 요약 시스템 등에 이용됨.
동영상, 요약, 지식베이스, 실시간, 맞춤형, 개인화, 실시간
Description
도 1 은 본 발명에 따른 실시간 개인형 동영상 요약 시스템의 일실시예 구성도,
도 2a 및 도 2b 는 본 발명에 따른 실시간 개인형 동영상 요약 시스템의 동영상 요약 정보 생성 방법과 맞춤형 동영상 요약 정보 제공 방법에 대한 일실시예 설명도이다.
* 도면의 주요 부분에 대한 부호의 설명
10 : 백엔드(Back-End) 시스템 11 : 동영상 입력처리부
12 : 샷 추출부 13 : 동영상 특징 추출기
14 : 동영상 요약 생성부 15 : 지식베이스(Knowledge Base)
16 : 동영상 요약 DB(DataBase) 20 : 헤드엔드(Head-End) 시스템
21 : 사용자 분석부 22 : 적응적 동영상 요약 생성부
23 : 결과전송 처리부 24 : 피드백 처리부
30 : 고객관리시스템(CRMS)
본 발명은 실시간 개인형 동영상 요약 시스템 및 그의 동영상 요약 정보 생성 장치 및 그 방법과 맞춤형 동영상 요약 정보 제공 장치 및 그 방법과 상기 방법들을 실현시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체에 관한 것으로, 더욱 상세하게는 수 많은 동영상 비디오의 특성을 고려한 요약 정보를 생성하기 위하여, 이를 가입자의 환경에 맞게 재처리하여 동영상 요약 정보를 제공하기 위한 실시간 개인형 동영상 요약 시스템 및 그의 동영상 요약 정보 생성 장치 및 그 방법과 맞춤형 동영상 요약 정보 제공 장치 및 그 방법과 상기 방법들을 실현시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체에 관한 것이다.
통신 기술과 동영상 데이터 처리 기술이 빠른 속도로 발전함에 따라, 이제는 초고속 네트워크상에서 대용량의 동영상 서비스가 가능하게 되었다. 예를 들면, 인터넷, 디지털 TV, DVD, IMT-2000, 초고속 네트워크 등이 발달함에 따라, 교육, 오락, 의료, 과학 등 많은 분야에서 동영상이 제작되어, 인터넷 방송, VOD(Video On Demand), 사이버 교육 등의 다양한 응용 분야에 활용되고 있다. 이러한 동영상 서비스를 위해 수많은 동영상을 자동으로 분석하기 위한 많은 방안들이 활발하게 진행되고 있다.
그리고, 대용량 멀티미디어 데이터베이스의 증가와 통신 및 디지털 미디어 처리 기술의 발달로 인하여 대용량의 동영상을 일일이 섭렵하기 어려운 사용자들에게 동영상의 내용에 대한 요약정보를 제공함으로써, 사용자의 편의와 만족을 도모하기 위한 노력이 증대되고 있다. 그러나, 현재까지 대부분의 동영상 요약은 사람이 직접 개입하여 적절한 장면이나 이미지를 추려내는 과정을 통하여 이루어져 왔다.
이에, 최근 동영상과 관련된 다양한 형태의 사업이 전개되면서 대량의 동영상을 자동으로 분석하고자 하는 필요성이 증대되고 있으며, 이에 따라 이러한 문제를 해결하기 위한 많은 방안들이 활발하게 진행되고 있다.
현재까지, 동영상을 압축하여 그 내용을 요약하는 자동 동영상 요약 방법에는 크게 두 가지가 있다. 하나는 대표 이미지, 즉 정지영상들을 추출하여 요약정보를 구성하는 것이고, 다른 하나는 연속적인 동영상들을 모아서 요약정보를 구성하는 것이다. 두 가지 방법 모두, 동영상으로부터 의미적으로 대표되는 이미지 혹은 장면들을 추출하기 위하여, 단순히 동영상의 시/청각적 특성을 분석하는 작업과, 동영상의 내용적 의미를 파악하기 위한 논리 적용 작업을 수행한다.
초창기에는 정지영상들을 추출하여 요약정보를 구성하는 방식으로 많은 연구들이 진행되었으며, 최근에는 사용자들에게 보다 흥미를 제공하기 위하여 동영상으로 요약정보를 생성하기 위한 연구가 많이 진행중이다.
그러나, 네트워크 발전에 따른 고품질의 동영상 서비스 제공이 가능해지고, 이들 동영상 서비스가 인터넷은 물론이고 이동통신 환경에서까지 제공됨에 따라, 언제 어디서든 손쉽게 동영상 정보를 획득하고자 하는 사용자들의 요구 사항도 증대되고 있다. 이러한 배경에서, 현재 영화, 스포츠, 뉴스 등등의 다양한 장르의 동영상 컨텐츠 중 의미있는 중요한 정보들을 추출하여 적절한 요약 정보를 생성하기 위한 많은 연구들이 이루어지고 있다. 그러나, 동영상은 그 특성이나 구성이 워낙 다양한 형태로 이루어지고 있기 때문에, 임의의 한 동영상에서 적절한 요약 정보를 추출하는 방법을 다른 동영상에 적용했을 때 만족스런 결과를 얻어내기는 힘들다.
또한, 사용자의 환경이나 취향 역시 대단히 다양하기 때문에, 하나의 완성된 동영상 요약이 여러 사용자들에게 같은 만족감을 얻어내기는 더더욱 힘든 실정이다.
다시 말해, 다양한 동영상 서비스가 제공 가능한 현재의 네트워크 발전에 힘입어 수 많은 동영상 컨텐츠가 제작되고 있으며, 이 중에서 원하는 동영상을 효과적으로 선별하고자 하는 사용자의 요구가 증대되고 있다. 이를 위해 동영상의 대표적인 장면만을 뽑아서 보여주기 위한 요약 서비스에 대한 연구가 활발하다. 그러나, 동영상 서비스는 그 특성이 워낙 다양하기 때문에 수 많은 동영상 비디오에 대해 범용 요약 알고리즘을 적용하기는 어렵다. 즉, 하나의 장르에 적용되는 요약 알고리즘을 다른 장르의 동영상 컨텐츠에 적용했을 때, 만족스런 요약 정보를 얻어내기가 힘들다. 뿐만 아니라, 같은 장르의 동영상이라고 할지라도 적절한 요약 정보를 생성하기에는 어려움이 크다. 이는 대부분의 요약 알고리즘이 대체로 고정적인 특정 인자값을 사용하기 때문에, 다양한 동영상 컨텐츠의 특성을 반영하기 힘들기 때문이다.
또한, 하나의 동영상 컨텐츠를 적절히 요약한 요약정보라고 할 지라도, 이용하는 가입자의 특성에 따라 서비스 품질은 크게 차이가 날 수 있다.
본 발명은 상기 문제점을 해결하기 위하여 제안된 것으로, 동영상의 특성을 고려하여 동영상 요약 정보를 생성하고, 이를 사용자의 환경에 맞게 실시간으로 재가공하여 수많은 가입자들에게 대체로 만족스런 동영상 요약 서비스를 제공하기 위한 실시간 개인형 동영상 요약 시스템 및 그의 동영상 요약 정보 생성 장치 및 그 방법과 맞춤형 동영상 요약 정보 제공 장치 및 그 방법과 상기 방법들을 실현시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체를 제공하는데 그 목적이 있다.
본 발명의 다른 목적 및 장점들은 하기의 설명에 의해서 이해될 수 있으며, 본 발명의 실시예에 의해 보다 분명하게 알게 될 것이다. 또한, 본 발명의 목적 및 장점들은 특허 청구 범위에 나타낸 수단 및 그 조합에 의해 실현될 수 있음을 쉽게 알 수 있을 것이다.
상기 목적을 달성하기 위한 본 발명의 장치는, 실시간 개인형 동영상 요약 시스템의 동영상 요약 정보 생성 장치에 있어서, 요약하고자 하는 동영상 데이터를 입력받기 위한 동영상 입력수단; 상기 동영상 입력수단을 통해 입력받은 동영상 데이터를 동영상 특징 추출기로 전달하여 동영상의 시각적/청각적/텍스트 특징에 따른 샷 검출 작업을 수행하고, 각 특징에 따라 나뉘어진 샷들을 재합성하여 시각적/청각적/텍스트 특징을 수용한 샷을 추출하기 위한 샷 추출수단; 및 상기 샷 추출수단을 통해 샷 추출 후, 동영상 요약 알고리즘을 이용하여 시각적 특성 벡터를 생성하고, 지식베이스의 정보를 이용하여 추출한 중요도 인자로 구성된 퍼지 멤버쉽 함수를 결합하여 퍼지 동영상 요약 알고리즘을 생성하고, 생성된 퍼지 동영상 요약 알고리즘을 적용하여 해당 동영상에 대한 동영상 요약 정보를 생성하여 동영상 요약 데이터베이스(DB)에 저장하기 위한 동영상 요약 생성수단을 포함하여 이루어진 것을 특징으로 한다. 그리고, 본 발명은, 서비스 가입자의 요청에 따라, 단말 환경, 네트워크 환경, 동영상 요약 조건(서비스 가입자의 요구 사항)을 분석하기 위한 분석수단; 상기 분석수단의 분석 결과에 따라, 상기 동영상 요약 데이터베이스에 저장되어 있는 동영상 요약 정보를 추출하여, 이를 상기 서비스 가입자의 개인화 정보와 결합하고, 상기 서비스 가입자의 네트워크나 단말의 환경에 맞게 트랜스코딩하기 위한 적응적 동영상 요약 생성수단; 상기 적응적 동영상 요약 생성수단을 통해 맞춤 생성된 동영상 요약 정보를 상기 서비스 가입자에게 실시간으로 전송하기 위한 정보 전송수단; 및 상기 결과전송수단을 통해 전송된 동영상 요약 정보에 대한 사용자의 만족도 혹은 추가 요구사항을 수집하고, 이를 상기 지식베이스와 고객 관리 시스템(CRMS)에 반영하는 피드백 작업을 수행하기 위한 피드백 처리수단을 더 포함하여 이루어진 것을 특징으로 한다.
또한, 본 발명의 장치는, 실시간 개인형 동영상 요약 시스템의 맞춤형 동영상 요약 정보 제공 장치에 있어서, 서비스 가입자의 요청에 따라, 단말 환경, 네트워크 환경, 동영상 요약 조건(서비스 가입자의 요구 사항)을 분석하기 위한 분석수단; 상기 분석수단의 분석 결과에 따라, 동영상 요약 정보 생성 장치의 동영상 요약 데이터베이스(DB)에 저장되어 있는 동영상 요약 정보를 추출하여, 이를 상기 서비스 가입자의 개인화 정보와 결합하고, 상기 서비스 가입자의 네트워크나 단말의 환경에 맞게 트랜스코딩하기 위한 적응적 동영상 요약 생성수단; 상기 적응적 동영상 요약 생성수단을 통해 맞춤 생성된 동영상 요약 정보를 상기 서비스 가입자에게 실시간으로 전송하기 위한 정보 전송수단; 및 상기 결과전송수단을 통해 전송된 동영상 요약 정보에 대한 사용자의 만족도 혹은 추가 요구사항을 수집하고, 이를 지식베이스와 고객 관리 시스템(CRMS)에 반영하는 피드백 작업을 수행하기 위한 피드백 처리수단을 포함하여 이루어진 것을 특징으로 한다.
또한, 본 발명은, 실시간 개인형 동영상 요약 시스템에 있어서, 요약하고자 하는 동영상 데이터를 입력받기 위한 동영상 입력수단; 상기 동영상 입력수단을 통해 입력받은 동영상 데이터를 동영상 특징 추출기로 전달하여 동영상의 시각적/청각적/텍스트 특징에 따른 샷 검출 작업을 수행하고, 각 특징에 따라 나뉘어진 샷들을 재합성하여 시각적/청각적/텍스트 특징을 수용한 샷을 추출하기 위한 샷 추출수단; 상기 샷 추출수단을 통해 샷 추출 후, 동영상 요약 알고리즘을 이용하여 시각적 특성 벡터를 생성하고, 지식베이스의 정보를 이용하여 추출한 중요도 인자로 구성된 퍼지 멤버쉽 함수를 결합하여 퍼지 동영상 요약 알고리즘을 생성하고, 생성된 퍼지 동영상 요약 알고리즘을 적용하여 해당 동영상에 대한 동영상 요약 정보를 생성하여 동영상 요약 데이터베이스(DB)에 저장하기 위한 동영상 요약 생성수단; 서비스 가입자의 요청에 따라, 단말 환경, 네트워크 환경, 동영상 요약 조건(서비스 가입자의 요구 사항)을 분석하기 위한 분석수단; 상기 분석수단의 분석 결과에 따라, 상기 동영상 요약 데이터베이스에 저장되어 있는 동영상 요약 정보를 추출하여, 이를 상기 서비스 가입자의 개인화 정보와 결합하고, 상기 서비스 가입자의 네트워크나 단말의 환경에 맞게 트랜스코딩하기 위한 적응적 동영상 요약 생성수단; 상기 적응적 동영상 요약 생성수단을 통해 맞춤 생성된 동영상 요약 정보를 상기 서비스 가입자에게 실시간으로 전송하기 위한 정보 전송수단; 및 상기 결과전송수단을 통해 전송된 동영상 요약 정보에 대한 사용자의 만족도 혹은 추가 요구사항을 수집하고, 이를 상기 지식베이스와 고객 관리 시스템(CRMS)에 반영하는 피드백 작업을 수행하기 위한 피드백 처리수단을 포함하여 이루어진 것을 특징으로 한다.
한편, 본 발명의 방법은, 실시간 개인형 동영상 요약 시스템에 적용되는 동영상 요약 정보 생성 방법에 있어서, 요약하고자 하는 동영상 데이터를 입력받는 동영상 입력단계; 상기 동영상 데이터를 동영상 특징 추출기로 전달하여 동영상의 시각적/청각적/텍스트 특징에 따른 샷 검출 작업을 수행하고, 각 특징에 따라 나뉘어진 샷들을 재합성하여 시각적/청각적/텍스트 특징을 수용한 샷을 추출하는 샷 추출단계; 및 상기 샷 추출 후, 동영상 요약 알고리즘을 이용하여 시각적 특성 벡터를 생성하고, 지식베이스의 정보를 이용하여 추출한 중요도 인자로 구성된 퍼지 멤버쉽 함수를 결합하여 퍼지 동영상 요약 알고리즘을 생성하고, 생성된 퍼지 동영상 요약 알고리즘을 적용하여 해당 동영상에 대한 동영상 요약 정보를 생성하여 동영상 요약 데이터베이스(DB)에 저장하는 동영상 요약 생성단계를 포함하여 이루어진 것을 특징으로 한다. 그리고, 본 발명은, 서비스 가입자의 요청에 따라, 단말 환경, 네트워크 환경, 동영상 요약 조건(서비스 가입자의 요구 사항)을 분석하는 분석단계; 상기 분석 결과에 따라, 상기 동영상 요약 DB에 저장되어 있는 동영상 요약 정보를 추출하여, 이를 상기 서비스 가입자의 개인화 정보와 결합하고, 상기 서비스 가입자의 네트워크나 단말의 환경에 맞게 트랜스코딩하는 동영상 요약 생성단계; 상기 동영상 요약 생성단계를 통해 맞춤 생성된 동영상 요약 정보를 상기 서비스 가입자에게 실시간으로 전송하는 정보 전송단계; 및 상기 전송된 동영상 요약 정보에 대한 사용자의 만족도 혹은 추가 요구사항을 수집하고, 이를 상기 지식베이스와 고객 관리 시스템(CRMS)에 반영하는 피드백 작업을 수행하는 피드백 처리단계를 더 포함하여 이루어진 것을 특징으로 한다.
또한, 본 발명의 방법은, 실시간 개인형 동영상 요약 시스템에 적용되는 맞춤형 동영상 요약 정보 제공 방법에 있어서, 서비스 가입자의 요청에 따라, 단말 환경, 네트워크 환경, 동영상 요약 조건(서비스 가입자의 요구 사항)을 분석하는 분석단계; 상기 분석 결과에 따라, 동영상 요약 정보 생성 장치의 동영상 요약 데이터베이스(DB)에 저장되어 있는 동영상 요약 정보를 추출하여, 이를 상기 서비스 가입자의 개인화 정보와 결합하고, 상기 서비스 가입자의 네트워크나 단말의 환경에 맞게 트랜스코딩하는 동영상 요약 생성단계; 상기 생성된 동영상 요약 정보를 상기 서비스 가입자에게 실시간으로 전송하기 위한 정보 전송단계; 및 상기 전송된 동영상 요약 정보에 대한 사용자의 만족도 혹은 추가 요구사항을 수집하고, 이를 지식베이스와 고객 관리 시스템(CRMS)에 반영하는 피드백 작업을 수행하는 피드백 처리단계를 포함하여 이루어진 것을 특징으로 한다.
한편, 본 발명은, 프로세서를 구비한 실시간 개인형 동영상 요약 시스템에, 요약하고자 하는 동영상 데이터를 입력받는 동영상 입력기능; 상기 동영상 데이터를 동영상 특징 추출기로 전달하여 동영상의 시각적/청각적/텍스트 특징에 따른 샷 검출 작업을 수행하고, 각 특징에 따라 나뉘어진 샷들을 재합성하여 시각적/청각적/텍스트 특징을 수용한 샷을 추출하는 샷 추출기능; 및 상기 샷 추출 후, 동영상 요약 알고리즘을 이용하여 시각적 특성 벡터를 생성하고, 지식베이스의 정보를 이용하여 추출한 중요도 인자로 구성된 퍼지 멤버쉽 함수를 결합하여 퍼지 동영상 요약 알고리즘을 생성하고, 생성된 퍼지 동영상 요약 알고리즘을 적용하여 해당 동영상에 대한 동영상 요약 정보를 생성하여 동영상 요약 데이터베이스(DB)에 저장하는 동영상 요약 생성기능을 실현시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체를 제공한다.
또한, 본 발명은, 프로세서를 구비한 실시간 개인형 동영상 요약 시스템에, 서비스 가입자의 요청에 따라, 단말 환경, 네트워크 환경, 동영상 요약 조건(서비스 가입자의 요구 사항)을 분석하는 분석기능; 상기 분석 결과에 따라, 동영상 요약 정보 생성 장치의 동영상 요약 데이터베이스(DB)에 저장되어 있는 동영상 요약 정보를 추출하여, 이를 상기 서비스 가입자의 개인화 정보와 결합하고, 상기 서비스 가입자의 네트워크나 단말의 환경에 맞게 트랜스코딩하는 동영상 요약 생성기 능; 상기 생성된 동영상 요약 정보를 상기 서비스 가입자에게 실시간으로 전송하기 위한 정보 전송기능; 및 상기 전송된 동영상 요약 정보에 대한 사용자의 만족도 혹은 추가 요구사항을 수집하고, 이를 지식베이스와 고객 관리 시스템(CRMS)에 반영하는 피드백 작업을 수행하는 피드백 처리기능을 실현시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체를 제공한다.
상기한 바와 같이, 수 많은 동영상을 그 특성에 맞게 요약할 수 있도록 하기 위하여 획일적인 범용 요약 알고리즘을 적용하는 대신에, 지식베이스를 이용하여 적응적 동영상 요약 정보를 생성한다. 동영상의 특성 분석 작업을 위해서는 보통, 동영상의 시각적, 청각적 혹은 텍스트 특징을 추출하는 동영상 특징 추출기를 통하여 샷을 검출하는 작업이 선행된다. 그러나, 이러한 동영상 특징 추출 작업만으로는 동영상을 의미있는 장면으로 요약하는 데에 한계가 있다. 왜냐하면, 동영상 요약에는 인간의 인지나 감각이 반영되어야 하는데 동영상 특징 추출기만 가지고서는 이를 제대로 표현하여 구현하기가 불가능하기 때문이다.
그러므로, 인간의 인지적 특성이나 감각적 특성 혹은 동영상의 장르별 특성 등등의 다양한 특성을 고려하기 위해서는, 이들의 다양한 특성 정보를 필요시마다 활용할 수 있도록 지식화하여 지식베이스를 구축하는 방안이 필요하다. 즉, 동영상 요약 정보를 효과적으로 생성할 수 있도록 발명된 임의의 동영상 요약 생성부에, 인간의 인지적 특성 정보를 반영하는 방안에 있어서, 이러한 지식베이스를 활용하여 중요도 인자를 추출하여 적용한다면, 효과적으로 동영상의 요약 정보를 생성할 수 있게 된다. 이 때, 적용할 수 있는 동영상 요약 생성부는 후술되는 도 1과 같이 "Fuzzy OC-SVM"과 같이 확장 가능한 동영상 요약 알고리즘을 적용할 수 있으며, 향후 개선된 동영상 요약 알고리즘이 개발될 경우, 최적의 동영상 요약 알고리즘으로 대체될 수 있다.
이러한 일련의 과정들은 백-엔드(Back-end) 시스템에서 배치(batch) 작업으로 수행되어 그 결과는 동영상 요약(VS) DB에 저장되어 실시간 요약 정보 생성의 기본 자료로 활용된다.
이렇게, 동영상에 대한 의미적 요약이 완료되고 나면, 이를 이용하고자 하는 가입자 환경을 고려해야 한다. 일반적으로는 기존의 동영상 요약에 대한 타입을 미리 생성하여 동영상 요약 DB에 저장한 후, 사용자의 환경에 따라 적절한 요약을 DB로부터 꺼내와 사용자에게 보내주는 정도의 요약 서비스가 고려되어 왔다. 그러나, 이러한 방식으로는 서비스 제공 서버에서 중복된 자료를 관리해야 하는 부담 뿐만 아니라, 사용자의 환경을 일일이 고려하는 데에 한계가 발생하게 된다.
따라서, 본 발명에서는 실시간으로 사용자들에게 적합한 요약 서비스를 제공하기 위하여, 이미 저장된 확장 가능한 동영상 요약 DB를 활용하고, 사용자의 단말 환경, 네트워크 환경 및 사용자의 요구 조건 등을 고려하여 헤드엔드(Head-End) 시스템에서 실시간으로 적절한 트랜스코딩이나 확장 처리 및 기타 개인화 처리 과정을 거쳐 개인에게 적절한 동영상 요약 정보를 재생성하여 이를 사용자들에게 전송한다.
또한, 본 발명에서는, 환경에 맞게 실시간으로 생성된 동영상 요약 정보를 사용자들에게 전송한 후, 이에 대한 피드백 작업을 수행함으로써 지식베이스의 정 확도를 지속적으로 향상시킬 수 있다.
상술한 목적, 특징 및 장점은 첨부된 도면과 관련한 다음의 상세한 설명을 통하여 보다 분명해 질 것이며, 그에 따라 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 본 발명의 기술적 사상을 용이하게 실시할 수 있을 것이다. 또한, 본 발명을 설명함에 있어서 본 발명과 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에 그 상세한 설명을 생략하기로 한다. 이하, 첨부된 도면을 참조하여 본 발명에 따른 바람직한 일실시예를 상세히 설명하기로 한다.
도 1 은 본 발명에 따른 실시간 개인형 동영상 요약 시스템의 일실시예 구성도로서, 동영상 요약 정보 생성 장치(이하, 백엔드 시스템이라 함)와, 맞춤형 동영상 요약 정보 제공 장치(이하, 헤드엔드 시스템이라 함)의 구성을 나타낸 것이다.
도 1에 도시된 바와 같이, 본 발명에 따른 실시간 개인형 동영상 요약 시스템은, 동영상 비디오의 기초 요약 정보를 생성하여 이를 동영상 요약 DB(16)에 저장하기 위한 백엔드(Back-End) 시스템(10)과, 백엔드 시스템(10)을 통해 생성된 동영상 요약 정보를 적절히 가공하여 가입자가 원하는 형태로 제공하기 위한 헤드엔드(Head-End) 시스템(20)을 구비한다.
여기서, 본 발명에 따른 실시간 개인형 동영상 요약 시스템의 동영상 요약 정보 생성 장치(백엔드 시스템(10))는, 요약하고자 하는 동영상 데이터를 입력받기 위한 동영상 입력처리부(11)와, 동영상 입력처리부(11)를 통해 입력받은 동영상 데이터를 동영상 특징 추출기(13)로 전달하여 동영상의 시각적/청각적/텍스트 특징에 따른 샷 검출 작업을 수행하고, 각 특징에 따라 나뉘어진 샷들을 재합성하여 시각적/청각적/텍스트 특징을 수용한 샷을 추출하기 위한 샷 추출부(12)와, 샷 추출부(121)를 통해 샷 추출 후, 동영상 요약 알고리즘(OC-SVM)을 이용하여 시각적 특성 벡터를 생성하고, 지식베이스(15)의 정보를 이용하여 추출한 중요도 인자로 구성된 퍼지 멤버쉽(Fuzzy membership) 함수를 결합하여 퍼지 동영상 요약 알고리즘(Fuzzy OC-SVM)을 생성하고, 생성된 퍼지 동영상 요약 알고리즘을 적용하여 해당 동영상에 대한 동영상 요약 정보를 생성하여 동영상 요약(VS) DB(16)에 저장하기 위한 동영상 요약 생성부(14)를 포함한다.
백엔드 시스템(10)은 필요로 하는 동영상의 기본적인 요약 정보를 생성하고, 사용자의 요구가 들어오기 전에 미리 처리가 완료되어야 한다. 이렇게, 백엔드 시스템에서 기본적인 확장 가능형 구조의 동영상 요약 정보가 이미 생성된 후에, 헤드엔드 시스템(20)에서 사용자의 요구가 들어올 때 마다 실시간으로 여러 입력정보(단말환경, 네트워크 환경, 개인화 정보 등 사용자 환경 정보)를 통해 가장 최적의 요약 정보를 재가공해서 사용자에게 전달한다.
상기한 바와 같은 구성을 갖는 동영상 요약 정보 생성 장치(백엔드 시스템(10))의 동작 과정을 상세하게 설명하면 다음과 같다.
샷 추출부(12)는 동영상의 시각적/청각적/텍스트 특징 추출부(13)로부터 일차로 추출된 샷 경계 정보를 적절히 분석하여 샷을 추출한다.이는 일반적인 샷 검출 알고리즘을 적용하여 구현한다.
지식베이스(15)는 영화(액션, 스릴러, 멜로), 뮤직비디오, 뉴스, 스포츠, 드 라마 등의 장르에 따라 주관적으로 판단할 수 있는 중요도 정보나 러닝 타임에 따른 중요도 혹은 주 대상 이용계층이 누구인가 등에 따른 중요도를 추출할 수 있는 주관적 지식 정보들을 담고 있다. 이를 기반으로 목적하는 동영상이 어떤 특성을 가지고 있는가에 따라 적절한 중요도를 추출할 수 있도록 한다.
동영상 요약 생성부(14)는 적절한 알고리즘을 활용하여 동영상 요약 정보를 생성하는 기능을 수행한다. 예를 들어, Fuzzy OC-SVM 기반의 동영상 요약 알고리즘을 적용한 경우, OC-SVM 알고리즘을 이용하여 시각적 특성 벡터를 생성하고, 지식베이스(15)의 정보를 이용하여 추출한 중요도 인자로 구성된 퍼지 멤버쉽 함수를 결합하여 동영상 요약 정보를 생성하여 동영상 요약 DB(16)에 저장한다.
동영상 요약 DB(16)는 이렇게 생된 개별 동영상의 요약 정보를 저장, 관리한다. 여기에 저장된 동영상 요약 정보는 고정된 요약정보가 아니라 계층적 구조 등의 다양한 형태로 확장성을 보장하는 구조의 요약 정보이다.
한편, 본 발명에 따른 실시간 개인형 동영상 요약 시스템의 맞춤형 동영상 요약 정보 제공 장치(헤드엔드 시스템(20))는, 해당 가입자의 단말 환경, 네트워크 환경, 동영상 요약 조건(서비스 가입자의 요구 사항)을 분석하기 위한 사용자 분석부(21)와, 사용자 분석부(21)의 분석 결과에 따라, 동영상 요약 DB(16)에 저장되어 있는 동영상 요약 정보를 추출하여, 이를 서비스 가입자의 개인화 정보와 결합하고, 다시 서비스 가입자의 네트워크나 단말의 환경에 맞게 트랜스코딩하기 위한 적응적 동영상 요약 생성부(22)와, 적응적 동영상 요약 생성부(22)를 통해 맞춤 생성된 동영상 요약 정보를 서비스 가입자에게 실시간으로 전송하기 위한 결과전송 처 리부(23)와, 결과전송 처리부(23)를 통해 전송된 동영상 요약 정보에 대한 사용자의 만족도 혹은 추가 요구사항 등의 정보를 수집하고, 이를 지식베이스(15)와 고객 관리 시스템(CRMS : Customer Relationship Management System)(30)에 반영하는 등의 피드백 작업을 수행하기 위한 피드백 처리부(24)를 포함한다.
즉, 헤드엔드 시스템(20)은 백엔드 시스템(10)에서 생성된 동영상 요약 정보를 적절히 가공하여 가입자가 원하는 형태로 제공하는 기능을 담당한다. 즉, 다양한 단말 환경과 네트워크 환경하의 서비스 가입자로부터 원하는 동영상 요약 조건 정보를 입력받고, 동영상 요약 DB(16)에 있는 요약 정보에 이러한 조건 정보를 반영하여 가공함으로써 적절히 생성된 요약 정보를 사용자 단말에 디스플레이한다. 뿐만 아니라, 이에 대한 사용자의 반응을 수집하여 백엔드 시스템(10)의 지식베이스(15)에 피드백 처리한다.
상기한 바와 같은 구성을 갖는 맞춤형 동영상 요약 정보 제공 장치(헤드엔드 시스템(20))의 동작 과정을 상세하게 설명하면 다음과 같다.
사용자 분석부(21)는 서비스 가입자의 환경을 분석하는데 있어, 서비스 가입자의 단말 환경을 분석하여 적정한 디스플레이 크기를 진단하고, 서비스 가입자의 네트워크 환경을 분석하여 목적하는 동영상 요약 정보를 어느 정도로 압축하여 전송할지를 결정하며, 서비스 가입자가 원하는 동영상 요약 시간이 있을 경우, 이를 위한 목표 동영상 요약 시간을 설정한다.
적응적 동영상 요약 생성부(22)는 동영상 요약 DB(16)에 있는 동영상 요약 정보를 추출하여 이를 사용자의 개인화 정보와 결합하고, 다시 사용자의 네트워크 나 단말 환경에 맞게 트랜스코딩한다.
결과전송 처리부(23)는 맞춤 생성된 동영상 요약 정보를 사용자에게 전송하는 기능을 수행한다.
피드백 처리부(24)는 전송된 요약 정보에 대한 사용자의 만족도 혹은 추가 요구사항 등의 정보를 수집하고, 이를 지식베이스(15)와 고객관리시스템(30)에 반영하는 등의 피드백 작업을 수행한다.
상기한 바와 같은 구성을 갖는 본 발명에 따른 실시간 개인형 동영상 요약 시스템의 동작 과정을 상세하게 설명하면 다음과 같다.
도 2a 및 도2b 는 본 발명에 따른 확장형 비디오 특성 정보에 기반한 실시간 개인형 동영상 요약 시스템의 동영상 요약 정보 생성 방법(백엔드 시스템(10))과 맞춤형 동영상 요약 정보 제공 방법(헤드엔드 시스템(20))에 대한 일실시예 설명도이다.
먼저, 동영상에 대한 기본 요약 정보를 생성하는 백엔드 시스템(10)은 다음과 같은 순서로 동작된다.
1) 동영상 입력처리부(11)는 요약하고자 하는 동영상 데이터를 입력받는다(201).
2) 입력된 동영상에 대해 샷 추출부(전처리 과정(Pre-processing))(12)에서는 다음과 같은 작업을 수행한다(202 내지 204).
- 동영상 특징 추출기(13)의 시각적 특징 추출기로 동영상을 전달하여 동영상의 시각적 특성차에 따른 샷 검출 작업을 수행한다(202).
- 동영상 특징 추출기(13)의 청각적 특징 추출기로 동영상을 전달하여 동영상의 청각적 특성차(예를 들면, speech, silence, music 등)에 따른 샷 검출 작업을 수행한다(203).
- 동영상에 캡션 등 텍스트가 포함되어 있는 경우, 동영상 특징 추출기(13)의 텍스트 특징 추출기로 동영상을 전달하여 텍스트 분석에 따른 샷 검출 작업을 수행한다(204).
- 이렇게 각 특징에 따라 나뉘어진 샷들을 다시 적절히 재합성함으로써, 시각적, 청각적 혹은 텍스트 특징을 적절히 수용한 샷 검출 작업을 완성한다(205).
3) 기본적인 샷 검출 작업이 완료된 후, 동영상은 다시 동영상 요약 생성부(14)로 전달되고, 다음과 같이 본격적인 요약 정보를 생성한다.
- 우선 동영상의 장르 정보나 러닝 타임 혹은 주 대상 사용자 정보 등에 대한 지식베이스(15)를 활용하여 해당 동영상에 가장 적합한 중요도를 추출하는 작업을 중요도 추출부(141)가 담당한다(206).
- 상기 중요도 추출부(141)에서 추출한 중요도 요인을 반영한 퍼지 멤버쉽 함수와 일반적인 동영상 요약 알고리즘(예를 들면, OC-SVM)을 결합하여 퍼지 동영상 요약 알고리즘(Fuzzy OC-SVM)을 생성한다. 이 알고리즘은 해당 동영상의 다양한 특성 정보를 가장 잘 반영한 요약 알고리즘이 된다(208,209).
- 이렇게 생성된 퍼지 동영상 요약 알고리즘을 적용하여 해당 동영상에 대한 동영상 요약 정보를 생성하여 이를 동영상 요약 DB(16)에 저장한다(210). 이때, 적용된 동영상 요약 알고리즘이 확장성을 내포하고 있으므로, 생성된 동영상 요약 정보 역시 확장 가능한 특성을 갖는다.
다음, 동영상에 대한 실시간 요약 정보를 제공하는 헤드엔드 시스템(20)에서는 서비스 가입자로부터 준비된 동영상(동영상 요약 DB(16)에 저장되어 있는)에 대한 요약 서비스가 요청되는 경우 다음과 같은 순서로 동작된다.
1) 사용자 분석부(21)에서는 해당 가입자의 단말 환경, 네트워크 환경을 분석한다. 또한, 가입자의 특별한 요구가 있을 경우(예를 들면, 1분짜리 요약 정보를 요청하는 경우) 이러한 요청사항도 함께 분석한다. 이러한 분석을 통해 적절한 요약 정보 서비스의 품질(요약 화면 크기, 적절한 초당 프레임수, 요약 정보의 길이 등)을 결정하여 이를 적응적 동영상 요약 생성부(22)로 알려준다(211 내지 214).
2) 목표로 하는 동영상 요약정보가 설정되면, 적응적 동영상 요약 생성부(22)에서는 다음과 같이 실시간으로 가입자가 원하는 요약 정보를 생성한다(215 내지 217).
- 동영상 요약 DB(16)로부터 원래의 동영상 요약 정보를 읽어들인다.
- 서비스 가입자의 개인화 정보에 따라 동영상의 요약 정보를 1차 가공한다(즉, 필요한 부분에 대해 확장처리 작업 등을 수행함).
- 가공된 요약 정보에 대해 트랜스 코딩 작업을 수행함으로써 목표로 하는 요약 정보 생성을 완료한다.
3) 생성된 요약 정보를 서비스 가입자에게 전송한다(218).
4) 서비스를 제공받은 가입자로부터 만족도 정보를 피드백 받는다(219).
5) 피드백된 정보는 피드백 처리부(24)에 입력한다. 피드백 처리부(24)는 이러한 정보를 고객관리시스템(CRMS)에 반영하여 개인화 정보의 품질을 향상시키도록 한다(210). 또한, 이러한 정보를 다시 백엔드 시스템(10)의 지식베이스(15)의 주 대상 사용자별 특성 추출 정보에 반영하여 보다 정확한 사용자 특성 정보가 관리되도록 한다.
상술한 바와 같은 본 발명의 방법은 프로그램으로 구현되어 컴퓨터로 읽을 수 있는 형태로 기록매체(씨디롬, 램, 롬, 플로피 디스크, 하드 디스크, 광자기 디스크 등)에 저장될 수 있다. 이러한 과정은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있으므로 더 이상 상세히 설명하지 않기로 한다.
이상에서 설명한 본 발명은, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 있어 본 발명의 기술적 사상을 벗어나지 않는 범위 내에서 여러 가지 치환, 변형 및 변경이 가능하므로 전술한 실시예 및 첨부된 도면에 의해 한정되는 것이 아니다.
상기와 같은 본 발명은, 실시간으로 사용자들에게 적합한 요약 서비스를 제공하기 위하여, 이미 저장된 확장 가능한 동용성 요약 DB를 활용하고, 사용자의 단말 환경, 네트워크 환경 및 사용자의 요구 조건등을 고려하여 헤드엔드(Head-End) 시스템에서 실시간으로 적절한 트랜스코딩이나 확장 처리 및 기타 개인화 처리 과 정을 통해 개인에게 적절한 동영상 요약 서비스를 제공할 수 있는 효과가 있다.
또한, 본 발명은 개인의 환경에 맞게 실시간으로 생성된 동영상 요약 정보를 서비스 가입자들에게 전송한 후, 이에 대한 피드백 작업을 수행함으로써, 지식베이스의 정확도를 지속적으로 향상시킬 수 있는 효과가 있다.
Claims (11)
- 실시간 개인형 동영상 요약 시스템의 동영상 요약 정보 생성 장치에 있어서,요약하고자 하는 동영상 데이터를 입력받기 위한 동영상 입력수단;상기 동영상 입력수단을 통해 입력받은 동영상 데이터를 동영상 특징 추출기로 전달하여 동영상의 시각적/청각적/텍스트 특징에 따른 샷 검출 작업을 수행하고, 각 특징에 따라 나뉘어진 샷들을 재합성하여 시각적/청각적/텍스트 특징을 수용한 샷을 추출하기 위한 샷 추출수단; 및상기 샷 추출수단을 통해 샷 추출 후, 동영상 요약 알고리즘을 이용하여 시각적 특성 벡터를 생성하고, 지식베이스의 정보를 이용하여 추출한 중요도 인자로 구성된 퍼지 멤버쉽 함수를 결합하여 퍼지 동영상 요약 알고리즘을 생성하고, 생성된 퍼지 동영상 요약 알고리즘을 적용하여 해당 동영상에 대한 동영상 요약 정보를 생성하여 동영상 요약 데이터베이스(DB)에 저장하기 위한 동영상 요약 생성수단을 포함하는 동영상 요약 정보 생성 장치.
- 제 1 항에 있어서,서비스 가입자의 요청에 따라, 단말 환경, 네트워크 환경, 동영상 요약 조건(서비스 가입자의 요구 사항)을 분석하기 위한 분석수단;상기 분석수단의 분석 결과에 따라, 상기 동영상 요약 데이터베이스에 저장 되어 있는 동영상 요약 정보를 추출하여, 이를 상기 서비스 가입자의 개인화 정보와 결합하고, 상기 서비스 가입자의 네트워크나 단말의 환경에 맞게 트랜스코딩하기 위한 적응적 동영상 요약 생성수단;상기 적응적 동영상 요약 생성수단을 통해 맞춤 생성된 동영상 요약 정보를 상기 서비스 가입자에게 실시간으로 전송하기 위한 정보 전송수단; 및상기 결과전송수단을 통해 전송된 동영상 요약 정보에 대한 사용자의 만족도 혹은 추가 요구사항을 수집하고, 이를 상기 지식베이스와 고객 관리 시스템(CRMS)에 반영하는 피드백 작업을 수행하기 위한 피드백 처리수단을 더 포함하는 동영상 요약 정보 생성 장치.
- 실시간 개인형 동영상 요약 시스템에 적용되는 동영상 요약 정보 생성 방법에 있어서,요약하고자 하는 동영상 데이터를 입력받는 동영상 입력단계;상기 동영상 데이터를 동영상 특징 추출기로 전달하여 동영상의 시각적/청각적/텍스트 특징에 따른 샷 검출 작업을 수행하고, 각 특징에 따라 나뉘어진 샷들을 재합성하여 시각적/청각적/텍스트 특징을 수용한 샷을 추출하는 샷 추출단계; 및상기 샷 추출 후, 동영상 요약 알고리즘을 이용하여 시각적 특성 벡터를 생성하고, 지식베이스의 정보를 이용하여 추출한 중요도 인자로 구성된 퍼지 멤버쉽 함수를 결합하여 퍼지 동영상 요약 알고리즘을 생성하고, 생성된 퍼지 동영상 요약 알고리즘을 적용하여 해당 동영상에 대한 동영상 요약 정보를 생성하여 동영상 요약 데이터베이스(DB)에 저장하는 동영상 요약 생성단계를 포함하는 동영상 요약 정보 생성 방법.
- 제 3 항에 있어서,서비스 가입자의 요청에 따라, 단말 환경, 네트워크 환경, 동영상 요약 조건(서비스 가입자의 요구 사항)을 분석하는 분석단계;상기 분석 결과에 따라, 상기 동영상 요약 DB에 저장되어 있는 동영상 요약 정보를 추출하여, 이를 상기 서비스 가입자의 개인화 정보와 결합하고, 상기 서비스 가입자의 네트워크나 단말의 환경에 맞게 트랜스코딩하는 동영상 요약 생성단계;상기 동영상 요약 생성단계를 통해 맞춤 생성된 동영상 요약 정보를 상기 서비스 가입자에게 실시간으로 전송하는 정보 전송단계; 및상기 전송된 동영상 요약 정보에 대한 사용자의 만족도 혹은 추가 요구사항을 수집하고, 이를 상기 지식베이스와 고객 관리 시스템(CRMS)에 반영하는 피드백 작업을 수행하는 피드백 처리단계를 더 포함하는 동영상 요약 정보 생성 방법.
- 실시간 개인형 동영상 요약 시스템의 맞춤형 동영상 요약 정보 제공 장치에 있어서,서비스 가입자의 요청에 따라, 단말 환경, 네트워크 환경, 동영상 요약 조건(서비스 가입자의 요구 사항)을 분석하기 위한 분석수단;상기 분석수단의 분석 결과에 따라, 동영상 요약 정보 생성 장치의 동영상 요약 데이터베이스(DB)에 저장되어 있는 동영상 요약 정보를 추출하여, 이를 상기 서비스 가입자의 개인화 정보와 결합하고, 상기 서비스 가입자의 네트워크나 단말의 환경에 맞게 트랜스코딩하기 위한 적응적 동영상 요약 생성수단;상기 적응적 동영상 요약 생성수단을 통해 맞춤 생성된 동영상 요약 정보를 상기 서비스 가입자에게 실시간으로 전송하기 위한 정보 전송수단; 및상기 결과전송수단을 통해 전송된 동영상 요약 정보에 대한 사용자의 만족도 혹은 추가 요구사항을 수집하고, 이를 지식베이스와 고객 관리 시스템(CRMS)에 반영하는 피드백 작업을 수행하기 위한 피드백 처리수단을 포함하는 맞춤형 동영상 요약 정보 제공 장치.
- 제 5 항에 있어서,상기 동영상 요약 정보 생성 장치는,인간의 인지적 특성이나 감각적 특성 혹은 동영상의 장르별 특성을 고려하기 위하여, 기본적인 확장 가능형 구조의 퍼지 동영상 요약 알고리즘을 적용하여 동영 상 요약 정보를 미리 생성한 후에, 사용자의 요구가 있을 때마다 실시간으로 여러 입력정보(단말환경, 네트워크 환경, 개인화 정보등 사용자 환경 정보)를 통해 가장 최적의 요약 정보를 재가공해서 사용자에게 전달하는 것을 특징으로 하는 맞춤형 동영상 요약 정보 제공 장치.
- 제 5 항에 있어서,상기 지식베이스는,장르(영화(액션, 스릴러, 멜로), 뮤직비디오, 뉴스, 스포츠, 드라마)에 따라 주관적으로 판단할 수 있는 중요도 정보나 러닝 타임에 따른 중요도 혹은 주 대상 이용계층이 누구인가에 따른 중요도를 추출할 수 있는 주관적 지식 정보들을 저장하며, 이를 기반으로 목적하는 동영상이 어떤 특성을 가지고 있는가에 따라 적절한 중요도를 추출하는 것을 특징으로 하는 맞춤형 동영상 요약 정보 제공 장치.
- 실시간 개인형 동영상 요약 시스템에 적용되는 맞춤형 동영상 요약 정보 제공 방법에 있어서,서비스 가입자의 요청에 따라, 단말 환경, 네트워크 환경, 동영상 요약 조건(서비스 가입자의 요구 사항)을 분석하는 분석단계;상기 분석 결과에 따라, 동영상 요약 정보 생성 장치의 동영상 요약 데이터 베이스(DB)에 저장되어 있는 동영상 요약 정보를 추출하여, 이를 상기 서비스 가입자의 개인화 정보와 결합하고, 상기 서비스 가입자의 네트워크나 단말의 환경에 맞게 트랜스코딩하는 동영상 요약 생성단계;상기 생성된 동영상 요약 정보를 상기 서비스 가입자에게 실시간으로 전송하기 위한 정보 전송단계; 및상기 전송된 동영상 요약 정보에 대한 사용자의 만족도 혹은 추가 요구사항을 수집하고, 이를 지식베이스와 고객 관리 시스템(CRMS)에 반영하는 피드백 작업을 수행하는 피드백 처리단계을 포함하는 맞춤형 동영상 요약 정보 제공 방법.
- 실시간 개인형 동영상 요약 시스템에 있어서,요약하고자 하는 동영상 데이터를 입력받기 위한 동영상 입력수단;상기 동영상 입력수단을 통해 입력받은 동영상 데이터를 동영상 특징 추출기로 전달하여 동영상의 시각적/청각적/텍스트 특징에 따른 샷 검출 작업을 수행하고, 각 특징에 따라 나뉘어진 샷들을 재합성하여 시각적/청각적/텍스트 특징을 수용한 샷을 추출하기 위한 샷 추출수단;상기 샷 추출수단을 통해 샷 추출 후, 동영상 요약 알고리즘을 이용하여 시각적 특성 벡터를 생성하고, 지식베이스의 정보를 이용하여 추출한 중요도 인자로 구성된 퍼지 멤버쉽 함수를 결합하여 퍼지 동영상 요약 알고리즘을 생성하고, 생성 된 퍼지 동영상 요약 알고리즘을 적용하여 해당 동영상에 대한 동영상 요약 정보를 생성하여 동영상 요약 데이터베이스(DB)에 저장하기 위한 동영상 요약 생성수단;서비스 가입자의 요청에 따라, 단말 환경, 네트워크 환경, 동영상 요약 조건(서비스 가입자의 요구 사항)을 분석하기 위한 분석수단;상기 분석수단의 분석 결과에 따라, 상기 동영상 요약 데이터베이스에 저장되어 있는 동영상 요약 정보를 추출하여, 이를 상기 서비스 가입자의 개인화 정보와 결합하고, 상기 서비스 가입자의 네트워크나 단말의 환경에 맞게 트랜스코딩하기 위한 적응적 동영상 요약 생성수단;상기 적응적 동영상 요약 생성수단을 통해 맞춤 생성된 동영상 요약 정보를 상기 서비스 가입자에게 실시간으로 전송하기 위한 정보 전송수단; 및상기 결과전송수단을 통해 전송된 동영상 요약 정보에 대한 사용자의 만족도 혹은 추가 요구사항을 수집하고, 이를 상기 지식베이스와 고객 관리 시스템(CRMS)에 반영하는 피드백 작업을 수행하기 위한 피드백 처리수단을 포함하는 실시간 개인형 동영상 요약 시스템.
- 프로세서를 구비한 실시간 개인형 동영상 요약 시스템에,요약하고자 하는 동영상 데이터를 입력받는 동영상 입력기능;상기 동영상 데이터를 동영상 특징 추출기로 전달하여 동영상의 시각적/청각적/텍스트 특징에 따른 샷 검출 작업을 수행하고, 각 특징에 따라 나뉘어진 샷들을 재합성하여 시각적/청각적/텍스트 특징을 수용한 샷을 추출하는 샷 추출기능; 및상기 샷 추출 후, 동영상 요약 알고리즘을 이용하여 시각적 특성 벡터를 생성하고, 지식베이스의 정보를 이용하여 추출한 중요도 인자로 구성된 퍼지 멤버쉽 함수를 결합하여 퍼지 동영상 요약 알고리즘을 생성하고, 생성된 퍼지 동영상 요약 알고리즘을 적용하여 해당 동영상에 대한 동영상 요약 정보를 생성하여 동영상 요약 데이터베이스(DB)에 저장하는 동영상 요약 생성기능을 실현시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체.
- 프로세서를 구비한 실시간 개인형 동영상 요약 시스템에,서비스 가입자의 요청에 따라, 단말 환경, 네트워크 환경, 동영상 요약 조건(서비스 가입자의 요구 사항)을 분석하는 분석기능;상기 분석 결과에 따라, 동영상 요약 정보 생성 장치의 동영상 요약 데이터베이스(DB)에 저장되어 있는 동영상 요약 정보를 추출하여, 이를 상기 서비스 가입자의 개인화 정보와 결합하고, 상기 서비스 가입자의 네트워크나 단말의 환경에 맞게 트랜스코딩하는 동영상 요약 생성기능;상기 생성된 동영상 요약 정보를 상기 서비스 가입자에게 실시간으로 전송하기 위한 정보 전송기능; 및상기 전송된 동영상 요약 정보에 대한 사용자의 만족도 혹은 추가 요구사항을 수집하고, 이를 지식베이스와 고객 관리 시스템(CRMS)에 반영하는 피드백 작업 을 수행하는 피드백 처리기능을 실현시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020040077408A KR20060028307A (ko) | 2004-09-24 | 2004-09-24 | 실시간 개인형 동영상 요약 시스템 및 그의 동영상 요약정보 생성 장치 및 그 방법과 맞춤형 동영상 요약 정보제공 장치 및 그 방법 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020040077408A KR20060028307A (ko) | 2004-09-24 | 2004-09-24 | 실시간 개인형 동영상 요약 시스템 및 그의 동영상 요약정보 생성 장치 및 그 방법과 맞춤형 동영상 요약 정보제공 장치 및 그 방법 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR20060028307A true KR20060028307A (ko) | 2006-03-29 |
Family
ID=37139102
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020040077408A KR20060028307A (ko) | 2004-09-24 | 2004-09-24 | 실시간 개인형 동영상 요약 시스템 및 그의 동영상 요약정보 생성 장치 및 그 방법과 맞춤형 동영상 요약 정보제공 장치 및 그 방법 |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR20060028307A (ko) |
Cited By (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR100785076B1 (ko) * | 2006-06-15 | 2007-12-12 | 삼성전자주식회사 | 스포츠 동영상에서의 실시간 이벤트 검출 방법 및 그 장치 |
| KR100956739B1 (ko) * | 2007-07-11 | 2010-05-06 | 에스케이 텔레콤주식회사 | 동영상 요약 서비스 시스템 및 그 방법 |
| KR101028475B1 (ko) * | 2009-05-18 | 2011-04-15 | 한국외국어대학교 연구산학협력단 | 영화 요약 장치 및 방법 |
| KR101396345B1 (ko) * | 2007-10-17 | 2014-05-19 | 삼성전자주식회사 | 디지털 영상 처리장치 및 그 제어방법 |
| KR20150086723A (ko) | 2014-01-20 | 2015-07-29 | 한화테크윈 주식회사 | 영상 기록 시스템 |
| KR20160005552A (ko) | 2014-07-07 | 2016-01-15 | 한화테크윈 주식회사 | 비디오써머리를 제공하는 영상재생장치 및 영상재생장치에서 비디오써머리를 제공하는 방법 |
| KR20160010218A (ko) | 2014-07-18 | 2016-01-27 | 한화테크윈 주식회사 | 영상재생장치 및 영상재생장치에서 영상정보 제공 방법 |
| CN107529098A (zh) * | 2014-09-04 | 2017-12-29 | 英特尔公司 | 实时视频摘要 |
-
2004
- 2004-09-24 KR KR1020040077408A patent/KR20060028307A/ko not_active Application Discontinuation
Cited By (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR100785076B1 (ko) * | 2006-06-15 | 2007-12-12 | 삼성전자주식회사 | 스포츠 동영상에서의 실시간 이벤트 검출 방법 및 그 장치 |
| KR100956739B1 (ko) * | 2007-07-11 | 2010-05-06 | 에스케이 텔레콤주식회사 | 동영상 요약 서비스 시스템 및 그 방법 |
| KR101396345B1 (ko) * | 2007-10-17 | 2014-05-19 | 삼성전자주식회사 | 디지털 영상 처리장치 및 그 제어방법 |
| KR101028475B1 (ko) * | 2009-05-18 | 2011-04-15 | 한국외국어대학교 연구산학협력단 | 영화 요약 장치 및 방법 |
| KR20150086723A (ko) | 2014-01-20 | 2015-07-29 | 한화테크윈 주식회사 | 영상 기록 시스템 |
| US9667908B2 (en) | 2014-01-20 | 2017-05-30 | Hanwha Techwin Co., Ltd. | Image recording system |
| KR20160005552A (ko) | 2014-07-07 | 2016-01-15 | 한화테크윈 주식회사 | 비디오써머리를 제공하는 영상재생장치 및 영상재생장치에서 비디오써머리를 제공하는 방법 |
| KR20160010218A (ko) | 2014-07-18 | 2016-01-27 | 한화테크윈 주식회사 | 영상재생장치 및 영상재생장치에서 영상정보 제공 방법 |
| CN107529098A (zh) * | 2014-09-04 | 2017-12-29 | 英特尔公司 | 实时视频摘要 |
| US10755105B2 (en) | 2014-09-04 | 2020-08-25 | Intel Corporation | Real time video summarization |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP6935523B2 (ja) | メディアアセットに関するコンテクスト上関係する情報を表示するための方法およびシステム | |
| US8605958B2 (en) | Method and apparatus for generating meta data of content | |
| Chang et al. | Video adaptation: concepts, technologies, and open issues | |
| JP2007520900A (ja) | デジタル放送プログラムサービスを提供するための拡張メタデータとこれを用いた適応プログラムサービス提供システム及びその方法 | |
| CN105681912A (zh) | 一种视频播放方法和装置 | |
| KR101500500B1 (ko) | 사용자 선호 콘텐츠 추천 시스템 및 방법 | |
| US20220107978A1 (en) | Method for recommending video content | |
| US11979641B2 (en) | Relevance-based search and discovery of media content | |
| US20120042041A1 (en) | Information processing apparatus, information processing system, information processing method, and program | |
| Tavakoli et al. | Subjective quality assessment of an adaptive video streaming model | |
| US20090064229A1 (en) | Recommendation from stochastic analysis | |
| Mujtaba et al. | Client-driven personalized trailer framework using thumbnail containers | |
| KR20060028307A (ko) | 실시간 개인형 동영상 요약 시스템 및 그의 동영상 요약정보 생성 장치 및 그 방법과 맞춤형 동영상 요약 정보제공 장치 및 그 방법 | |
| IES20030840A2 (en) | Multimedia management | |
| WO2018011688A1 (en) | Method and system for displaying interactive questions during streaming of real-time and adaptively assembled video | |
| CN114631324A (zh) | 在流内容中实时递送目标内容的系统和方法 | |
| JP2014130536A (ja) | 情報管理装置、サーバ及び制御方法 | |
| WO2015114036A1 (en) | Method for automatically selecting a real-time video stream among a plurality of available real-time video streams, and associated system | |
| Wales et al. | IPTV-The revolution is here | |
| US20090307725A1 (en) | Method for providing contents information in vod service and vod system implemented with the same | |
| Lim et al. | Semantic transcoding of video based on regions of interest | |
| Carbune et al. | On-demand content generation and insertion during content consumption | |
| Sillberg et al. | A model of evaluation: Computational performance and usability benchmarks on video stream context analysis | |
| Andersson et al. | Video quality encoding characterization and comparison | |
| Kim et al. | Intelligent Adaptation Model Based on MPEG-21 Framework |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A201 | Request for examination | ||
| E902 | Notification of reason for refusal | ||
| E601 | Decision to refuse application |