KR101934109B1 - 방송 컨텐츠 및 방송 연관 데이터를 이용한 클러스터 방법 및 상기 방법을 수행하는 사용자 단말 - Google Patents

방송 컨텐츠 및 방송 연관 데이터를 이용한 클러스터 방법 및 상기 방법을 수행하는 사용자 단말 Download PDF

Info

Publication number
KR101934109B1
KR101934109B1 KR1020160009764A KR20160009764A KR101934109B1 KR 101934109 B1 KR101934109 B1 KR 101934109B1 KR 1020160009764 A KR1020160009764 A KR 1020160009764A KR 20160009764 A KR20160009764 A KR 20160009764A KR 101934109 B1 KR101934109 B1 KR 101934109B1
Authority
KR
South Korea
Prior art keywords
broadcast
scene
scenes
story
association
Prior art date
Application number
KR1020160009764A
Other languages
English (en)
Other versions
KR20170027252A (ko
Inventor
손정우
김선중
박원주
이상윤
류원
김상권
김승희
정우석
Original Assignee
한국전자통신연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전자통신연구원 filed Critical 한국전자통신연구원
Priority to US15/253,309 priority Critical patent/US20170061215A1/en
Publication of KR20170027252A publication Critical patent/KR20170027252A/ko
Application granted granted Critical
Publication of KR101934109B1 publication Critical patent/KR101934109B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/845—Structuring of content, e.g. decomposing content into time segments
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/845—Structuring of content, e.g. decomposing content into time segments
    • H04N21/8456—Structuring of content, e.g. decomposing content into time segments by decomposing the content in the time domain, e.g. in time segments
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85—Assembly of content; Generation of multimedia applications

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Television Signal Processing For Recording (AREA)

Abstract

본 발명은 방송 컨텐츠 및 방송 연관 데이터를 이용한 클러스터 방법 및 상기 방법을 수행하는 사용자 단말에 관한 것으로, 클러스터 방법은 방송 컨텐츠 및 방송 연관 데이터를 이용하여 방송 컨텐츠에 대한 복수의 장면들 각각에 대해 스토리 그래프를 생성하고, 생성된 스토리 그래프를 이용하여 장면에 대한 클러스터를 생성한다.

Description

방송 컨텐츠 및 방송 연관 데이터를 이용한 클러스터 방법 및 상기 방법을 수행하는 사용자 단말{CLUSTER METHOD FOR USING BROADCAST CONTENTS AND BROADCAST RELATIONAL DATA AND USER APPARATUS FOR PERFORMING THE METHOD}
아래의 설명은 방송 컨텐츠 및 방송 연관 데이터를 이용한 클러스터 방법 및 상기 방법을 수행하는 사용자 단말에 관한 것으로 구체적으로는 방송 컨텐츠를 구성하는 물리적인 샷(shot) 또는 장면(scene)을 기반으로 방송 컨텐츠를 스토리 단위의 클러스터로 분할하는 클러스터 방법 및 방법을 수행하는 사용자 단말에 관한 것이다.
Netflix, Hulu, Amazon FireTV와 같은 국제적인 OTT 사업자의 성장과 국내 IPTV 및 CATV의 확산은 종래 방송 컨텐츠의 단방향 소비 형태를 변화시키고 있다. 다시 말해, 종래에는 방송국에서 시간에 맞춰 송출하는 컨텐츠를 시청자가 소비하였다면, 최근의 시청자는 요구에 따라 방송 컨텐츠를 선택적으로 소비하게 된다. 이와 같은 소비 형태의 변화는 방송 서비스의 변화를 촉진시키고 있다.
특히, 기존에는 방송 컨텐츠의 일부를 시청하기 위해 수동적으로 시청자가 기다렸다면, 웹 서비스나 IPTV의 VoD 서비스에서는 시청자가 원하는 일부분을 이동하여 시청하거나, 일부 컨텐츠의 경우, 특정 단위로 분할하여 서비스되고 있다. 이러한 서비스의 실현을 위한 주요 기반 기술 중 하나로, 방송 컨텐츠에 대한 분할 기술이 있으며, 이에 따라 수동, 반자동, 자동 분할 기술을 제안하고 있으며, 분할된 컨텐츠는 서비스의 기본 단위 컨텐츠로 사용되고 있다.
여기서, 기존의 방송 컨텐츠 분할은 컨텐츠의 물리적 변화에 기반한 방법으로 소리 정보가 급격하게 변화하거나, 화면이 변화하는 경우를 고려하여 이를 장면(scene)으로 분할한다. 이와 같은 종래의 기술은 물리적인 속성의 변화에 기반하기 때문에, 서로 다른 장소로 이동하며 이어지는 내용이나, 하나의 사건에 대해 여러 장소나 인물이 관여하고 있는 장소 등, 동일한 스토리 라인 내에서 나타나는 서로 다른 장면들을 연결할 수 없는 문제가 있다.
최근에는 이러한 서로 다른 장면들 간의 연결 문제를 해결하기 위하여 사람이 직접 방송 컨텐츠를 분할하거나, 자동 분할된 컨텐츠에 대한 검수함으로써, 서로 다른 장면 간의 연결 문제를 해결하였다. 그러나, 이러한 방법은 사람이 직접 분할 및 검수함에 따라 서로 다른 장면을 연결하는 데에 많은 시간과 비용을 할애하고 있다.
따라서, 방송 컨텐츠의 장면뿐만 아니라, 스토리를 고려하여 방송 컨텐츠의 장면에 대한 클러스터를 수행하는 방법이 필요하다.
본 발명은 방송 컨텐츠에 대한 영상, 음성 및 연관 비정형 데이터를 분석하여 방송 컨텐츠를 구성하는 스토리 단위의 클러스터를 생성하는 클러스터 방법 및 상기 방법을 수행하는 사용자 단말을 제공할 수 있다.
본 발명은 스토리 단위의 클러스터를 수행하기 위하여 물리적 변화를 기반으로 장면에 대해 스토리 그래프를 구축하고, 스토리 그래프 간 일관성을 측정함으로써, 방송 컨텐츠를 계층화하여 클러스터를 생성하는 클러스터 방법 및 상기 방법을 수행하는 사용자 단말을 제공할 수 있다.
일실시예에 따른 클러스터링 방법은 방송 컨텐츠 및 방송 연관 데이터를 수신하는 단계; 상기 방송 컨텐츠와 방송 연관 데이터를 이용하여 상기 방송 컨텐츠에 대한 복수의 장면을 결정하는 단계; 상기 결정된 복수의 장면들 각각에 대해 스토리 그래프를 생성하는 단계; 및 상기 생성된 스토리 그래프를 이용하여 장면에 대한 클러스터를 생성하는 단계를 포함할 수 있다.
일실시예에 따른 장면을 결정하는 단계는 상기 방송 컨텐츠에 대한 샷을 추출하는 단계; 상기 추출된 샷으로부터 복수의 제1 장면들 간의 제1 장면 연관성을 결정하는 단계; 방송 연관 데이터로부터 추출된 복수의 제2 장면들 간의 제2 장면 연관성을 결정하는 단계; 및 상기 제1 장면 연관성과 제2 장면 연관성이 매칭되는 장면을 생성하는 단계를 포함할 수 있다.
일실시예에 따른 방송 컨텐츠에 대한 샷을 추출하는 단계는 상기 방송 컨텐츠를 구성하는 복수의 프레임들 간의 유사도에 기초하여 상기 방송 컨텐츠에 대한 샷을 추출할 수 있다.
일실시예에 따른 장면을 생성하는 단계는 상기 복수의 제1 장면들과 상기 제2 복수의 장면들 간의 유사성을 기반으로 제1 장면 연관성과 제2 장면 연관성이 매칭되는 장면을 생성할 수 있다.
일실시예에 따른 스토리 그래프를 결정하는 단계는 방송 연관 데이터로부터 키워드를 추출하는 단계; 및 상기 키워드에 대응하는 노드, 상기 키워드의 연관성에 대응하는 엣지로 구성된 스토리 그래프를 생성하는 단계를 포함할 수 있다.
일실시예에 따른 노드와 엣지는 상기 방송 컨텐츠에 대한 방송 시간으로부터 추출된 가중치를 가질 수 있다.
일실시예에 따른 스토리 그래프는 상기 엣지의 가중치 변화를 나타내는 행렬과 노드의 가중치 변화를 나타내는 행렬로 표현될 수 있다.
일실시예에 따른 클러스터를 생성하는 단계는 상기 장면들 각각의 스토리 그래프에 대한 일관성을 결정하는 단계; 및 상기 결정된 일관성에 기초하여 상기 장면들 각각의 스토리 그래프를 결합하는 단계를 포함할 수 있다.
일실시예에 따른 일관성을 결정하는 단계는 2 개의 스토리 그래프가 공유하는 서브 그래프의 크기를 기반으로 장면들 각각의 스토리 그래프에 대한 일관성을 결정할 수 있다.
일실시예에 따른 서브 그래프는 2개의 스토리 그래프가 겹쳐지는 중첩 영역을 의미하며, 상기 중첩 영역에서의 일관성은 2 개의 스토리 그래프가 공유하는 서브 그래프의 크기 및 공유된 서브 그래프의 밀도에 의해 결정될 수 있다.
일실시예에 따른 장면에 대한 클러스터는 상기 스토리 그래프에 따른 비연속적인 장면으로 구성되어, 하나의 트리 형태로 표현될 수 있다.
일실시예에 따른 클러스터링 방법은 방송 컨텐츠 및 방송 연관 데이터를 수신하는 단계; 상기 방송 컨텐츠를 구성하는 복수의 프레임들 간의 유사도에 기초하여 상기 방송 컨텐츠에 대한 샷을 추출하는 단계; 상기 추출한 샷을 기반으로 상기 방송 컨텐츠 및 방송 연관 데이터에 따른 복수의 장면을 결정하는 단계; 및 상기 장면들 각각의 스토리 그래프에 대한 일관성을 고려하여 장면에 대한 클러스터를 생성하는 단계를 포함할 수 있다.
일실시예에 따른 복수의 장면을 결정하는 단계는 상기 추출된 샷으로부터 복수의 초기 장면을 생성하는 단계; 상기 복수의 초기 장면들 간의 제1 장면 연관성을 결정하는 단계; 방송 연관 데이터로부터 추출된 장면에 대한 정보를 이용하여 상기 방송 연관 데이터 내의 장면간의 제2 장면 연관성을 결정하는 단계; 상기 제1 장면 연관성과 제2 장면 연관성이 매칭되는 장면을 생성하는 단계를 포함할 수 있다.
일실시예에 따른 장면을 생성하는 단계는 상기 복수의 초기 장면들과 상기 방송 연관 데이터로부터 추출된 장면 간의 유사성을 기반으로 제1 장면 연관성과 제2 장면 연관성이 매칭되는 장면을 생성할 수 있다.
일실시예에 따른 클러스터를 생성하는 단계는 상기 방송 연관 데이터로부터 추출된 키워드에 대응하는 노드, 상기 키워드의 연관성에 대응하는 엣지로 구성되는 장면들 각각의 스토리 그래프를 이용할 수 있다.
일실시예에 따른 노드와 엣지는 상기 방송 컨텐츠에 대한 방송 시간으로부터 추출된 가중치를 가질 수 있다.
일실시예에 따른 스토리 그래프는 상기 엣지의 가중치 변화를 나타내는 행렬과 노드의 가중치 변화를 나타내는 행렬로 표현될 수 있다.
일실시예에 따른 장면들 각각의 스토리 그래프에 대한 일관성은 2 개의 스토리 그래프가 공유하는 서브 그래프의 크기에 의해 결정될 수 있다.
일실시예에 따른 서브 그래프는 2개의 스토리 그래프가 겹쳐지는 중첩 영역을 의미하며, 상기 중첩 영역에서의 일관성은 2 개의 스토리 그래프가 공유하는 서브 그래프의 크기 및 공유된 서브 그래프의 밀도에 의해 결정될 수 있다.
본 발명의 일실시예에 따른 클러스터 방법 및 상기 방법을 수행하는 사용자 단말은 방송 컨텐츠에 대하여 스토리 단위의 클러스터를 생성함으로써, 장면 단위로 방송 서비스를 제공하기 위한 시간 및 비용이 절감될 뿐만 아니라, 스토리 단위의 방송 컨텐츠를 제공함에 따라 서비스 범위를 확장할 수 있다.
도 1은 일실시예에 따른 방송 컨텐츠를 스토리 단위의 클러스터로 분할하는 사용자 단말의 전반적인 구성을 도시한 도면이다.
도 2는 일실시예에 따른 방송 컨텐츠에 대한 복수의 장면을 결정하는 동작을 설명하기 위한 도면이다.
도 3은 일실시예에 따른 방송 컨텐츠에 대한 복수의 장면의 저장 형태를 도시한 도면이다.
도 4는 일실시예에 따른 방송 컨텐츠의 스토리 그래프를 추출하기 위한 절차를 도시한 도면이다.
도 5는 일실시예에 따른 장면들 각각의 스토리 그래프의 형태를 도시한 도면이다.
도 6은 일실시예에 따른 장면에 대한 클러스터를 생성하는 절차를 도시한 도면이다.
도 7은 일실시예에 따른 클러스터 방법을 설명하기 위한 흐름도이다.
이하, 본 발명의 실시예를 첨부된 도면을 참조하여 상세하게 설명한다.
도 1은 일실시예에 따른 방송 컨텐츠를 스토리 단위의 클러스터로 분할하는 사용자 단말의 전반적인 구성을 도시한 도면이다.
도 1을 참고하면, 사용자 단말(100)은 방송 컨텐츠와 방송 연관 데이터를 이용하여 상기 방송 컨텐츠에 대한 복수의 장면을 결정하고, 결정된 복수의 장면들 각각에 대한 스토리 그래프를 이용하여 장면에 대한 클러스터를 생성할 수 있다. 여기서, 사용자 단말(100)은 사용자 단말(100)의 화면을 통해 방송 컨텐츠를 디스플레이하는 장치일 수 있다. 또는 사용자 단말(100)은 외부로부터 방송 컨텐츠를 수신하고, 별도의 디스플레이 장치로 수신한 방송 컨텐츠를 제공하는 장치일 수 있다. 또한, 사용자 단말(100)은 방송 컨텐츠를 입력으로 연관된 데이터를 수집, 가공, 분석하여 시맨틱 클러스터를 추출하는 동작을 수행하는 장치를 포함할 수 있다. 일례로, 사용자 단말(100)은 텔레비전, 셋톱 박스, 데스크 탑 등 디스플레이 또는 별도의 장치를 통해 방송 컨텐츠를 디스플레이 할 수 있는 장치를 포함할 수 있다.
사용자 단말(100)은 영상 기반 샷 추출부(110), 샷 기반 장면 추출부(120), 스토리 그래프 추출부(130) 및 클러스터 생성부(140)를 포함할 수 있다.
영상 기반 샷 추출부(110)는 방송 컨텐츠(210) 및 방송 연관 데이터(220)를 수신할 수 있다. 영상 기반 샷 추출부(110)는 프레임 간 유사도에 기반하여 방송 컨텐츠(210)의 샷을 추출할 수 있다. 프레임 간 유사도는 프레임을 구성하는 객체 또는 배경 등의 색상, 텍스쳐, 영역 등의 차이를 기반으로 계산되는 결과를 나타낼 수 있다. 일례로, 프레임 간 유사도는 "프레임"으로부터 추출된 색상 히스토그램, 모션 등의 특징 벡터를 기반으로 코사인 유사도, 유클리디안 디스턴스 등을 이용하여 계산될 수 있다.
결국, 영상 기반 샷 추출부(110)는 프레임 간의 유사도를 기반으로 방송 컨텐츠(210)의 샷을 추출하고, 이를 통해 방송 컨텐츠는 샷의 시퀀스로 표현될 수 있다.
그리고, 방송 연관 데이터(220)는 방송 컨텐츠(210)와 연관된 자막, 대본 등의 정보를 포함할 수 있다. 영상 기반 샷 추출부(110)는 방송 컨텐츠를 구성하는 복수의 프레임들 간의 유사도에 기초하여 방송 컨텐츠에 대한 샷을 추출할 수 있다.
구체적으로, 영상 기반 샷 추출부(110)는 방송 컨텐츠(210)에 대한 물리적인 변화를 고려하여 방송 컨텐츠에 대한 샷을 추출할 수 있다. 이를 위해, 영상 기반 샷 추출부(110)는 방송 컨텐츠(210)로부터 음성 특징과 영상 특징을 추출할 수 있다. 영상 기반 샷 추출부(110)는 추출한 영상 특징을 기반으로 물리적인 변화에 따른 방송 컨텐츠에 대한 샷을 추출할 수 있다.
샷 기반 장면 추출부(120)은 방송 컨텐츠와 방송 연관 데이터를 이용하여 방송 컨텐츠에 대한 복수의 장면을 결정할 수 있다. 샷 기반 장면 추출부(120)은 추출한 샷의 시간적 연관성과 방송 연관 데이터로부터 추출한 장면에 대한 정보를 기반으로 방송 컨텐츠에 대한 복수의 장면을 결정할 수 있다.
구체적으로, 샷 기반 장면 추출부(120)은 추출된 샷으로부터 복수의 제1 장면들 간의 제1 장면 연관성을 결정할 수 있다. 여기서, 제1 장면들은 샷으로부터 복수의 초기 장면을 의미할 수 있으며, 샷 기반 장면 추출부(120)은 복수의 초기 장면 간의 제1 장면 연관성을 결정할 수 있다. 즉, 제1 장면 연관성은 방송 컨텐츠의 샷 간의 연관성을 나타낼 수 있다.
샷 기반 장면 추출부(120)은 방송 연관 데이터로부터 추출된 복수의 제2 장면들 간의 제2 장면 연관성을 결정할 수 있다. 여기서, 제2 장면들은 방송 연관 데이터로부터 추출된 장면에 대한 정보를 의미할 수 있으며, 샷 기반 장면 추출부(120)은 추출된 장면에 대한 정보를 이용하여 방송 연관 데이터 내의 장면간의 제2 장면 연관성을 결정할 수 있다. 샷 기반 장면 추출부(120)은 제1 장면 연관성과 제2 장면 연관성이 매칭되는 장면을 생성함으로써, 방송 컨텐츠에 대한 복수의 장면을 결정할 수 있다. 여기서, 샷 기반 장면 추출부(120)은 제1 장면 연관성과 제2 장면 연관성이 최대한 매칭되는 장면을 생성하는 것으로써, 방송 컨텐츠와 방송 연관 데이터 간에 연관성을 나타내는 다수의 데이터가 존재한다고 가정할 때, 최대한 매칭되는 장면은 다수의 데이터 중 제1 장면 연관성과 제2 장면 연관성에 따른 관련성이 가장 높게 매칭되는 장면을 의미할 수 있다.
스토리 그래프 추출부(130)는 결정된 복수의 장면들 각각에 대해 스토리 그래프를 생성할 수 있다. 구체적으로, 스토리 그래프 추출부(130)는 방송 연관 데이터로부터 키워드를 추출할 수 있다. 그리고, 스토리 그래프 추출부(130)는 키워드에 대응하는 노드, 상기 키워드의 연관성에 대응하는 엣지로 구성된 스토리 그래프를 생성할 수 있다. 여기서, 노드와 엣지는, 상기 방송 컨텐츠에 대한 방송 시간으로부터 추출된 가중치를 나타낼 수 있으며, 스토리 그래프는, 상기 엣지의 가중치 변화를 나타내는 행렬과 노드의 가중치 변화를 나타내는 행렬로 표현될 수 있다.
클러스터 생성부(140)는 생성된 스토리 그래프를 이용하여 장면에 대한 클러스터를 생성할 수 있다. 여기서, 클러스터 생성부(140)는 스토리 그래프의 의미적 일관성을 고려하여 장면에 대한 클러스터를 생성할 수 있으며, 장면에 대한 클러스터는 스토리 그래프에 따른 비연속적인 장면으로 다계층의 시맨틱 클러스터이며, 하나의 트리 형태로 표현일 수 있다.
결국, 본 발명에서 제안하는 클러스터 방법은 방송 컨텐츠(210), 방송연관 데이터(220)를 수신하고, 수신한 방송 컨텐츠(210), 방송연관 데이터(220)를 기반으로 스토리 단위의 시맨틱 클러스터를 생성할 수 있다. 그리고, 클러스터 방법을 통해 생성된 스토리 단위의 시맨틱 클러스터는 클러스터 저장소(150)에 저장 및 보관될 수 있다.
본 발명에서 제안하는 클러스터 방법은 방송 컨텐츠에 대한 스토리 단위의 분할 기술을 제안하는 것으로 본 발명에서 제안하는 스토리 단위의 분할이란, 방송 컨텐츠를 이루는 다수의 스토리 라인을 보여줄 수 있도록 장면을 나누는 것을 의미할 수 있다. 이를 위해, 본 발명에서 제안하는 클러스터 방법은 방송 컨텐츠에 따른 프레임 간의 유사도에 따라 추출된 샷을 기반으로 나뉘어진 장면으로부터 장면의 스토리를 표현하는 스토리 그래프를 생성하고, 생성된 스토리 그래프의 의미적 일관성에 기반하여 장면들을 계층화하여 결합할 수 있다. 그리고, 본 발명에서는 최종적으로 스토리 단위로 분할된 방송 컨텐츠를 “시맨틱 클러스터“라고 표현할 수 있다.
도 2는 일실시예에 따른 방송 컨텐츠에 대한 복수의 장면을 결정하는 동작을 설명하기 위한 도면이다.
도 2를 참고하면, 샷 기반 장면 추출부(120)는 방송 컨텐츠와 방송 연관 데이터를 이용하여 상기 방송 컨텐츠에 대한 복수의 장면을 결정할 수 있다. 구체적으로, 샷 기반 장면 추출부(120)는 방송 컨텐츠와 방송 연관 데이터 각각에 대응하여 장면에 대한 연관성을 추출하고, 추출된 연관성에 따른 방송 컨텐츠에 대한 복수의 장면을 결정할 수 있다.
(1) 방송 컨텐츠
샷 기반 장면 추출부(120)는 방송 컨텐츠를 기반으로 장면에 대한 연관성을 추출할 수 있다. 상세하게, 샷 기반 장면 추출부(120)는 영상 기반 샷 추출부(110)로부터 추출된 샷으로부터 복수의 제1 장면들 간의 제1 장면 연관성을 결정할 수 있다. 여기서, 샷 기반 장면 추출부(120)는 방송 컨텐츠의 샷 간의 유사도를 기반으로 초기 장면을 생성할 수 있다. 이 때, 초기 장면은 제1 장면 연관성을 결정하기 위해 사용되는 장면을 의미할 수 있다.
샷 기반 장면 추출부(120)는 생성된 복수의 초기 장면들 간의 제1 장면 연관성을 결정할 수 있다. 즉, 샷 기반 장면 추출부(120)는 초기 장면 간 연관성 측정을 통해 구축된 장면 간의 연관성을 계산할 수 있다. 샷 기반 장면 추출부(120)는 샷을 추출한 이후, 샷 구간에 해당하는 방송 컨텐츠의 영상 특징, 음성 특징 등을 추출할 수 있다. 그리고, 샷 기반 장면 추출부(120)는 종래의 벡터 유사도 계산 기법(코사인 유사도, 유클리디안 디스턴스 등)을 이용하여 추출된 특징 벡터를 비교함으로써 샷 간 연관성을 측정할 수 있다.
(2) 방송 연관 데이터
샷 기반 장면 추출부(120)는 방송 연관 데이터를 분석하여 복수의 제2 장면들 간의 제2 장면 연관성을 결정할 수 있다. 상세하게, 샷 기반 장면 추출부(120)는 방송 연관 데이터로부터 복수의 장면과 관련된 정보를 추출하고, 추출된 정보를 바탕으로 비정형 데이터 기반 장면간 연관성 측정 기능을 이용하여 방송 연관 데이터 내의 장면 간 제2 장면 연관성을 추출할 수 있다. 샷 기반 장면 추출부(120)는 방송 연관 데이터(대본, 자막)를 분석하여 연관 데이터에 존재하는 장면의 연관성을 추출할 수 있다. 예컨데, 샷 기반 장면 추출부(120)는 자막의 경우 장면에 존재하는 자막을 추출하여 비교하거나, 대본의 경우 대본 상의 장면을 추출하여 단어를 비교함으로써 방송 컨텐츠를 구성하는 장면 간의 연관성 정보를 추출할 수 있다.
이후, 샷 기반 장면 추출부(120)는 제1 장면 연관성과 제2 장면 연관성이 매칭되는 장면을 생성할 수 있다. 구체적으로, 샷 기반 장면 추출부(120)는 복수의 제1 장면들과 상기 제2 복수의 장면들 간의 유사성을 기반으로 제1 장면 연관성과 제2 장면 연관성이 매칭되는 장면을 생성할 수 있다. 즉, 샷 기반 장면 추출부(120)는 1) 방송 컨텐츠로부터 추출된 제1 장면들과 방송 연관 데이터로부터 추출된 제2 장면들 간의 직접적인 유사성과 2) 측정된 제1 장면들과 제2 장면들간의 연관성이 매칭되도록 방송 컨텐츠에 대한 복수의 장면을 결정할 수 있다.
결과적으로, 샷 기반 장면 추출부(120)는 연관성 매칭을 통한 방송 컨텐츠에 대한 복수의 장면, 방송 컨텐츠의 장면 및 방송 연관 데이터로부터 얻어진 해당 장면에 대한 정보가 함께 구축될 수 있다. 장면에 대한 정보는 연관성 매칭을 위해 사용된 정보로써, 제1 장면 연관성과 제2 장면 연관성에 대한 정보를 포함할 수 있다.
도 3은 일실시예에 따른 방송 컨텐츠에 대한 복수의 장면의 저장 형태를 도시한 도면이다.
도 3을 참고하면, 샷 기반 장면 추출부(120)는 복수의 제1 장면들과 상기 제2 복수의 장면들 간의 유사성을 기반으로 제1 장면 연관성과 제2 장면 연관성이 매칭되는 방송 컨텐츠에 대한 복수의 장면을 생성할 수 있다. 그리고, 샷 기반 장면 추출부(120)는 생성된 방송 컨텐츠에 대한 복수의 장면을 저장하기 위한 데이터 구조를 나타낼 수 있다.
구체적으로, 방송 컨텐츠는 복수의 장면들로 구성된 집합이며, 이는 C = {S1, S2, S3, ..., Sm}으로 표현 되며, Si는 i번째 샷을 의미하며 시작 프레임 번호(Bi)와 종료 프레임 번호(Ei)를 가질 수 있다. 그리고, 복수의 장면들 각각은 하나 이상의 프레임들로 구성된 집합일 수 있으며, 방송 컨텐츠를 구성하는 하나의 장면은 시작 프레임과 마지막 프레임을 포함하며, 장면의 영상 특징 벡터와 음성 특징 벡터를 포함할 수 있다. 방송 컨텐츠를 구성하는 하나의 장면은 해당 장면과 연결된 연관 데이터를 가지며, 연관 데이터는 키워드로 구성될 수 있다.
또한, 연관 데이터는 방송 연관 데이터를 통해 추출되는 키워드를 표현하기 위하여 키워드간의 관계를 표현하는 그래프, 트리 등으로 변환하여 구현될 수 있다. 여기서, 연관 데이터는 추출된 장면에 따른 스토리 그래프로 변환되기 위한 정보로 활용될 수 있다.
도 4는 일실시예에 따른 방송 컨텐츠의 스토리 그래프를 추출하기 위한 절차를 도시한 도면이다.
도 4를 참고하면, 스토리 그래프 추출부(130)는 결정된 복수의 장면들 각각에 대해 스토리 그래프를 생성할 수 있다. 구체적으로, 스토리 그래프 추출부(130)는 방송 연관 데이터로부터 키워드를 추출할 수 있다. 여기서, 방송 연관 데이터로부터 추출된 키워드는 연관 데이터로 구현될 수 있으며, 이는 추출된 장면에 따른 스토리 그래프로 변환되기 위한 정보로 활용될 수 있다.
다시 말해, 방송 연관 데이터로부터 추출된 키워드를 포함하는 연관 데이터는 각 장면에 대한 스토리 그래프로 변환될 수 있다. 즉, 스토리 그래프 추출부(130)는 키워드에 대응하는 노드, 상기 키워드의 연관성에 대응하는 엣지로 구성된 스토리 그래프를 생성할 수 있다. 스토리 그래프는 1) 노드, 엣지 및 노드, 2) 노드 및 엣지에 대한 가중치로 정의될 수 있다.
노드는 연관 데이터로부터 추출된 키워드이며, 엣지는 키워드간 연관성을 의미할 수 있다. 그리고, 노드와 엣지는 방송 컨텐츠에 대한 방송 시간으로부터 추출된 가중치를 포함할 수 있다. 따라서 본 발명에서 제안한 노드 및 엣지로 구성된 스토리 그래프는 N × N 형렬로 표현될 수 있다. 여기서, N은 노드의 수이며, 행렬의 값은 엣지가 가지는 연관성을 수치화한 것 일 수 있다.
결국, 스토리 그래프 추출부(130)는 엣지의 가중치 변화를 나타내는 행렬과 노드의 가중치 변화를 나타내는 행렬로 표현할 수 있으며, 이에 따라 표현된 행렬은 도 5과 같은 형태를 가질 수 있으며, 이는 클러스터 저장소에 저장 및 관리될 수 있다. 자세한 구성은 도 5를 통해 설명하도록 한다.
도 5는 일실시예에 따른 장면들 각각의 스토리 그래프의 형태를 도시한 도면이다.
도 5를 참고하면, 스토리 그래프 추출부(130)는 노드와 엣지에 대한 정보를 기반으로 노드 구축 기능과 엣지 구축 기능을 수행할 수 있다. 그리고, 스토리 그래프 추출부(130)는 노드 구축 기능과 엣지 구축 기능을 포함하여 추가적으로 시간 t에 따른 가중치를 각 노드와 엣지에 부가시킬 수 있다.
다시 말해, 스토리 그래프 추출부(130)는 장면이 갖는 시간적인 흐름을 고려하여 스토리 그래프에 대하여 시간 t에 따른 가중치를 각 노드와 엣지에 부가할 수 있다. 따라서, 스토리 그래프는 엣지의 가중치 변화를 담기 위한 N × N × T 행렬(도 5의 (a))과 노드의 가중치 변화를 표현하는 N × T 행렬(도 5의 (b))로 정의될 수 있다.
또한, 스토리 그래프 추출부(130)는 각 노드와 엣지에 시간에 따른 가중치를 부가하기 위하여 시간에 따른 가중치는 survival function, forgetting curve 등의 기술을 통해 계산될 수 있다.
도 6은 일실시예에 따른 장면에 대한 클러스터를 생성하는 절차를 도시한 도면이다.
도 6을 참고하면, 클러스터 생성부(140)는 생성된 스토리 그래프를 기반으로 일관성을 측정하여 장면을 결합해나가는 기능을 수행할 수 있다. 다시 말해, 클러스터 생성부(140)는 생성된 스토리 그래프를 이용하여 장면에 대한 클러스터를 생성할 수 있다. 이를 위해, 클러스터 생성부(140)는 시맨틱 클러스터를 생성하기 위하여 스토리 일관성을 측정하는 기능과 스토리 그래프를 결합하는 기능을 반복적으로 수행할 수 있다.
구체적으로, 클러스터 생성부(140)는 장면들 각각의 스토리 그래프에 대한 일관성을 결정할 수 있다. 여기서, 클러스터 생성부(140)는 2 개의 스토리 그래프가 공유하는 서브 그래프의 크기를 기반으로 장면들 각각의 스토리 그래프에 대한 일관성을 결정할 수 있다. 이 때, 스토리 그래프의 결합을 위한 일관성은 스토리 그래프의 겹침 정도를 측정하여 측정된 값으로부터 얻어지는 결과를 의미할 수 있다. 즉, 스토리 그래프의 결합을 위한 일관성은 두 개의 그래프가 공유하는 서브 그래프의 크기를 기반으로 측정되는 값을 의미할 수 있다.
여기서, 서브 그래프는 스토리 그래프의 겹침에 있어, 가장 크게 겹치는 하나의 영역을 의미하며, 해당 영역의 스토리 일관성은 그래프의 겹친 크기와 겹쳐진 서브그래프의 밀도를 통해 계산될 수 있다. 크기는 2 개의 스토리 그래프에 의한 클러스터 간의 공유하는 엔티티를 의미하며, 밀도는 공유하는 엔티티 간의 관계를 의미할 수 있다. 즉, 스토리 일관성이란 동일한 엔티티(예컨대, 인물, 장소, 사건 등)가 동일한 관계를 가지는 정도를 측정하는 것을 의미할 수 있다.
클러스터 생성부(140)는 결정된 복수의 장면들 각각에 대해 생성된 모든 스토리 그래프 중, 스토리 일관성이 가장 큰 하나를 선택하고, 선택된 스토리 그래프를 결합하는 과정에 대하여 하나의 최상위 클러스터가 남을 때까지 반복적으로 수행할 수 있다. 이를 통해 하나의 방송 컨텐츠는 시맨틱 클러스터 트리로 표현되고, 트리의 각 노드는 연계된 스토리를 담고 있으며, 스토리는 결합된 그래프의 형태로 표현될 수 있다. 결국, 시맨틱 클러스터를 이용하여 방송 컨텐츠가 하나의 시맨틱 클러스터 트리로 구성되면, 해당 결과는 시맨틱 클러스터 저장소(150)에 저장될 수 있다.
도 7은 일실시예에 따른 클러스터 방법을 설명하기 위한 흐름도이다.
단계(701)에서 사용자 단말은 방송 컨텐츠를 입력 받을 수 있다.
단계(702)에서 사용자 단말은 방송 연관 데이터를 입력 받을 수 있다.
단계(703)에서 사용자 단말은 입력된 방송 컨텐츠를 기반으로 장면에 대한 음성 특징을 추출할 수 있다.
단계(704)에서 사용자 단말은 입력된 방송 컨텐츠를 기반으로 장면에 대한 영상 특징을 추출하고, 단계(706)를 통해 추출된 영상 특징을 기반으로 방송 컨텐츠의 샷을 추출할 수 있다. 다시 말해, 사용자 단말은 방송 컨텐츠(210)에 대한 물리적인 변화를 고려하여 방송 컨텐츠에 대한 샷을 추출할 수 있다. 그리고, 사용자 단말은 추출된 샷으로부터 복수의 제1 장면들 간의 제1 장면 연관성을 결정할 수 있다
단계(705)에서 사용자 단말은 방송 연관 데이터로부터 키워드를 추출하고, 단계(707)을 통해 추출된 키워드를 기반으로 추출된 복수의 제2 장면들 간의 제2 장면 연관성을 결정할 수 있다.
단계(708)에서 사용자 단말은 제1 장면 연관성과 제2 장면 연관성이 매칭되는 장면을 생성함으로써, 복수의 장면을 결정할 수 있다. 다시 말해, 사용자 단말은 방송 컨텐츠로부터 추출된 음성 특징, 제1 장면 연관성 및 방송 연관 데이터로부터 추출된 제2 장면 연관성을 기반으로 방송 컨텐츠에 대한 복수의 장면을 결정할 수 있다.
단계(709)에서 사용자 단말은 결정된 복수의 장면들 각각에 대해 스토리 그래프를 생성할 수 있다. 다시 말해, 사용자 단말은 방송 연관 데이터로부터 키워드를 추출하고, 추출된 키워드에 대응하는 노드, 상기 키워드의 연관성에 대응하는 엣지로 구성된 스토리 그래프를 생성할 수 있다.
단계(710)에서 사용자 단말은 생성된 스토리 그래프를 이용하여 장면에 대한 클러스터를 생성할 수 있다.
본 발명의 실시 예에 따른 방법들은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다.
이상과 같이 본 발명은 비록 한정된 실시예와 도면에 의해 설명되었으나, 본 발명은 상기의 실시예에 한정되는 것은 아니며, 본 발명이 속하는 분야에서 통상의 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형이 가능하다.
그러므로, 본 발명의 범위는 설명된 실시예에 국한되어 정해져서는 아니 되며, 후술하는 특허청구범위뿐 아니라 이 특허청구범위와 균등한 것들에 의해 정해져야 한다.
100: 사용자 단말
110: 영상 기반 샷 추출
120: 샷 기반 장면 추출
130: 스토리 그래프 추출
140: 클러스터 생성
150: 클러스터 저장소
210: 방송 컨텐츠
220: 방송 연관 데이터

Claims (20)

  1. 방송 컨텐츠 및 방송 연관 데이터를 수신하는 단계;
    상기 방송 컨텐츠와 방송 연관 데이터를 이용하여 상기 방송 컨텐츠에 대한 복수의 장면을 결정하는 단계;
    상기 결정된 복수의 장면들 각각에 대해 스토리 그래프를 생성하는 단계; 및
    상기 생성된 스토리 그래프를 이용하여 장면에 대한 클러스터를 생성하는 단계
    를 포함하고,
    상기 스토리 그래프를 결정하는 단계는
    방송 연관 데이터로부터 키워드를 추출하는 단계; 및
    상기 키워드에 대응하는 노드, 상기 키워드의 연관성에 대응하는 엣지로 구성된 스토리 그래프를 생성하는 단계
    를 포함하고,
    상기 노드와 엣지는,
    상기 방송 컨텐츠에 대한 방송 시간으로부터 추출된 가중치를 가지며,
    상기 스토리 그래프는,
    상기 엣지의 가중치 변화를 나타내는 행렬과 노드의 가중치 변화를 나타내는 행렬로 표현되는 클러스터링 방법.
  2. 제1항에 있어서,
    상기 장면을 결정하는 단계는,
    상기 방송 컨텐츠에 대한 샷을 추출하는 단계;
    상기 추출된 샷으로부터 복수의 제1 장면들 간의 제1 장면 연관성을 결정하는 단계;
    방송 연관 데이터로부터 추출된 복수의 제2 장면들 간의 제2 장면 연관성을 결정하는 단계; 및
    상기 제1 장면 연관성과 제2 장면 연관성이 매칭되는 장면을 생성하는 단계
    를 포함하는 클러스터링 방법.
  3. 제2항에 있어서,
    상기 방송 컨텐츠에 대한 샷을 추출하는 단계는,
    상기 방송 컨텐츠를 구성하는 복수의 프레임들 간의 유사도에 기초하여 상기 방송 컨텐츠에 대한 샷을 추출하는 클러스터링 방법.
  4. 제2항에 있어서,
    상기 장면을 생성하는 단계는,
    상기 복수의 제1 장면들과 상기 복수의 제2 장면들 간의 유사성을 기반으로 제1 장면 연관성과 제2 장면 연관성이 매칭되는 장면을 생성하는 클러스터링 방법.
  5. 삭제
  6. 삭제
  7. 삭제
  8. 제1항에 있어서,
    상기 클러스터를 생성하는 단계는,
    상기 장면들 각각의 스토리 그래프에 대한 일관성을 결정하는 단계; 및
    상기 결정된 일관성에 기초하여 상기 장면들 각각의 스토리 그래프를 결합하는 단계
    를 포함하는 클러스터링 방법.
  9. 제8항에 있어서,
    상기 일관성을 결정하는 단계는,
    2 개의 스토리 그래프가 공유하는 서브 그래프의 크기를 기반으로 장면들 각각의 스토리 그래프에 대한 일관성을 결정하는 클러스터링 방법.
  10. 제9항에 있어서,
    상기 서브 그래프는,
    2개의 스토리 그래프가 겹쳐지는 중첩 영역을 의미하며,
    상기 중첩 영역에서의 일관성은,
    2 개의 스토리 그래프가 공유하는 서브 그래프의 크기 및 공유된 서브 그래프의 밀도에 의해 결정되는 클러스터링 방법.
  11. 제1항에 있어서,
    상기 장면에 대한 클러스터는,
    상기 스토리 그래프에 따른 비연속적인 장면으로 구성되어, 하나의 트리 형태로 표현되는 클러스터링 방법.
  12. 방송 컨텐츠 및 방송 연관 데이터를 수신하는 단계;
    상기 방송 컨텐츠를 구성하는 복수의 프레임들 간의 유사도에 기초하여 상기 방송 컨텐츠에 대한 샷을 추출하는 단계;
    상기 추출한 샷을 기반으로 상기 방송 컨텐츠 및 방송 연관 데이터에 따른 복수의 장면을 결정하는 단계; 및
    상기 장면들 각각의 스토리 그래프에 대한 일관성을 고려하여 장면에 대한 클러스터를 생성하는 단계
    를 포함하고,
    상기 스토리 그래프는,
    방송 연관 데이터로부터 추출된 키워드에 대응하는 노드, 상기 키워드의 연관성에 대응하는 엣지로 구성되고,
    상기 노드와 엣지는,
    상기 방송 컨텐츠에 대한 방송 시간으로부터 추출된 가중치를 가지며,
    상기 스토리 그래프는,
    상기 엣지의 가중치 변화를 나타내는 행렬과 노드의 가중치 변화를 나타내는 행렬로 표현되는 클러스터링 방법.
  13. 제12항에 있어서,
    상기 복수의 장면을 결정하는 단계는,
    상기 추출된 샷으로부터 복수의 초기 장면을 생성하는 단계;
    상기 복수의 초기 장면들 간의 제1 장면 연관성을 결정하는 단계;
    방송 연관 데이터로부터 추출된 장면에 대한 정보를 이용하여 상기 방송 연관 데이터 내의 장면간의 제2 장면 연관성을 결정하는 단계; 및
    상기 제1 장면 연관성과 제2 장면 연관성이 매칭되는 장면을 생성하는 단계
    를 포함하는 클러스터링 방법.
  14. 제13항에 있어서,
    상기 장면을 생성하는 단계는,
    상기 복수의 초기 장면들과 상기 방송 연관 데이터로부터 추출된 장면 간의 유사성을 기반으로 제1 장면 연관성과 제2 장면 연관성이 매칭되는 장면을 생성하는 클러스터링 방법.
  15. 삭제
  16. 삭제
  17. 삭제
  18. 제12항에 있어서,
    상기 장면들 각각의 스토리 그래프에 대한 일관성은,
    2 개의 스토리 그래프가 공유하는 서브 그래프의 크기에 의해 결정되는 클러스터링 방법.
  19. 제18항에 있어서,
    상기 서브 그래프는,
    2개의 스토리 그래프가 겹쳐지는 중첩 영역을 의미하며,
    상기 중첩 영역에서의 일관성은,
    2 개의 스토리 그래프가 공유하는 서브 그래프의 크기 및 공유된 서브 그래프의 밀도에 의해 결정되는 클러스터링 방법.
  20. 제1항 내지 제4항, 제8항 내지 제14항, 제18항 내지 제19항 중 어느 한 항의 방법을 실행하기 위한 프로그램이 기록된 컴퓨터에서 판독 가능한 기록 매체.
KR1020160009764A 2015-09-01 2016-01-27 방송 컨텐츠 및 방송 연관 데이터를 이용한 클러스터 방법 및 상기 방법을 수행하는 사용자 단말 KR101934109B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US15/253,309 US20170061215A1 (en) 2015-09-01 2016-08-31 Clustering method using broadcast contents and broadcast related data and user terminal to perform the method

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR20150123716 2015-09-01
KR1020150123716 2015-09-01

Publications (2)

Publication Number Publication Date
KR20170027252A KR20170027252A (ko) 2017-03-09
KR101934109B1 true KR101934109B1 (ko) 2018-12-31

Family

ID=58402833

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020160009764A KR101934109B1 (ko) 2015-09-01 2016-01-27 방송 컨텐츠 및 방송 연관 데이터를 이용한 클러스터 방법 및 상기 방법을 수행하는 사용자 단말

Country Status (1)

Country Link
KR (1) KR101934109B1 (ko)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030028901A1 (en) * 2001-06-14 2003-02-06 International Business Machines Corporation Periodic broadcast and location of evolving media content with application to seminar and stroke media
WO2012137493A1 (ja) * 2011-04-07 2012-10-11 パナソニック株式会社 画像処理装置、画像処理方法、画像処理プログラム及び集積回路

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5708767A (en) * 1995-02-03 1998-01-13 The Trustees Of Princeton University Method and apparatus for video browsing based on content and structure
US6580437B1 (en) * 2000-06-26 2003-06-17 Siemens Corporate Research, Inc. System for organizing videos based on closed-caption information

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030028901A1 (en) * 2001-06-14 2003-02-06 International Business Machines Corporation Periodic broadcast and location of evolving media content with application to seminar and stroke media
WO2012137493A1 (ja) * 2011-04-07 2012-10-11 パナソニック株式会社 画像処理装置、画像処理方法、画像処理プログラム及び集積回路

Also Published As

Publication number Publication date
KR20170027252A (ko) 2017-03-09

Similar Documents

Publication Publication Date Title
US8995823B2 (en) Method and system for content relevance score determination
US8879788B2 (en) Video processing apparatus, method and system
US9654845B2 (en) Electronic apparatus of generating summary content and method thereof
KR101816113B1 (ko) 컴퓨터 실행 방법, 시스템 및 컴퓨터 판독 가능 매체
US9002175B1 (en) Automated video trailer creation
US8873861B2 (en) Video processing apparatus and method
US10264329B2 (en) Descriptive metadata extraction and linkage with editorial content
CN105163139B (zh) 信息推送方法、信息推送服务器和智能电视
KR20140043070A (ko) 카메라-가용 장치를 사용하여 배경에 있는 비디오 디스플레이로부터 비디오 신호를 검출, 인덱싱, 및 비교하기 위한 장치, 시스템, 방법 및 매체
US10694263B2 (en) Descriptive metadata extraction and linkage with editorial content
CN109408672A (zh) 一种文章生成方法、装置、服务器及存储介质
CN107247919A (zh) 一种视频情感内容的获取方法及系统
WO2007066924A1 (en) Real-time digital video identification system and method using scene information
KR102298066B1 (ko) 영상 콘텐츠 제공 방법 및 영상 콘텐츠 제공 장치
JP2014068290A (ja) 画像処理装置、画像処理方法、およびプログラム
US10924637B2 (en) Playback method, playback device and computer-readable storage medium
US20170061215A1 (en) Clustering method using broadcast contents and broadcast related data and user terminal to perform the method
KR101934109B1 (ko) 방송 컨텐츠 및 방송 연관 데이터를 이용한 클러스터 방법 및 상기 방법을 수행하는 사용자 단말
WO2014103374A1 (ja) 情報管理装置、サーバ及び制御方法
US10349093B2 (en) System and method for deriving timeline metadata for video content
KR101989878B1 (ko) 방송 컨텐츠의 다중 특징을 활용한 장면 경계 검출 방법 및 상기 방법을 수행하는 사용자 단말
CN104396262A (zh) 同步电影概要
KR101924642B1 (ko) 콘텐츠에 토픽을 태깅하는 장치 및 방법
JP5276609B2 (ja) 画像処理装置及びプログラム
Wang et al. Information-theoretic content selection for automated home video editing

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant