KR100319158B1 - 사건구간 기반 동영상 자료 생성방법 및 동영상 검색 방법 - Google Patents

Abstract

본 발명은 동영상 검색 방법에 관한 것으로서, 사용자가 동영상을 검색하는데 있어서, 동영상의 사건전개에 중심이 되는 등장인물들 간의 관계와 그 관계변화를 중심으로 동영상을 검색하거나, 등장인물과 장소와의 관계 조건등을 이용해서 특정 사건을 검색하였을 때, 그 사건의 내용을 요약하여 보여줄 수 있도록 하는 동영상 데이타의 자료 생성방법과, 이 자료를 이용한 동영상 검색 방법에 관한 것이다.

본 발명은 도1과 같이, 동영상의 의미적인 정보를 기술하는 시맨틱DS(104)의 이벤트DS(107)에 선택된 사건에 대한 요약 정보를 디스플레이 하기 위한 비주얼DS(102)로의 연결정보(111)와, 그 선택된 사건에 대한 실제 구간을 디스플레이 하기 위한 신택틱DS(103)에 포함된 세그먼트로의 연결정보(110)를 포함하는 동영상 자료를 가지고, 선택된 사건에 해당하는 동영상 구간을 하일라이트 또는 키프레임 기반으로 요약 디스플레이 한다.

Description

사건구간 기반 동영상 자료 생성방법 및 동영상 검색 방법{VIDEO BROWSING SYSTEM BASED ON EVENT}

본 발명은 동영상 검색 시스템에 관한 것으로서, 사용자가 동영상을 검색하는데 있어서, 동영상의 사건전개에 중심이 되는 등장인물들 간의 관계와 그 관계변화를 중심으로 동영상을 검색하거나, 등장인물과 장소와의 관계 조건등을 이용해서 특정 사건을 검색하였을 때, 그 사건의 내용을 요약하여 보여줄 수 있도록 하는 동영상 데이타의 자료 생성방법과, 이 자료를 이용한 동영상 검색 방법에 관한 것이다.

종래의 영화나 드라마의 시청 방법은 방송국에서 방송하는 영상 및 음성신호를 그대로 수신해서 보거나, 영화관에서 상영하는 영화를 관람하는 방식으로 시청하였다.

그러나, 사용자는 자신이 원하는 영화나 드라마 혹은 특정 부분(구간)만을 시청하고자 하는 의도를 가질 수 있으며, 각종 영상매체와 기술의 발달로 이와같이 사용자가 원하는 영화나 드라마 혹은 특정 부분만을 선택하여 시청하게 하는 다양한 기술들이 제시되고 있다.

예를 들면, 각종 비디오 자료를 형태군, 색인군, 매체군, 분절군, 대상군, 표현군의 단위로 표현하고, 대상군과 표현군에서 각종 등장인물이나 사물에 대한 정보(대상의 명칭, 화면위에서의 위치, 비디오 자료상에서 그 대상이 나타나는 부분에 대한 수치적인 정보 등)를 나타내어, 사용자가 원할때 그 대상군의 표를 통하여 대상을 선택하면 그 대상이 나타나는 비디오상에서의 특정 부분을 재생시켜 주는 기술이 있다.

또다른 종래의 기술로는, 비디오 자료에 대한 각종 부가적인 정보를 비디오 자료의 제작전에, 혹은 제작중에, 혹은 제작후에 획득하여 이 부가정보들에 대한 표를 구성하여 제공하는 기술이 있다.

상기 부가정보 표에는 배우가 나오는 위치, 그 배우의 배역이 나오는 위치, 소품이 나오는 위치 등을 기록하였으며, 사용자가 그 대상을 상기 부가정보 표로부터 원하는 내용을 선택하면 원하는 장면을 재생해 주고, 원하는 대상이 소품이면 그 소품에 대한 정보(제작사, 가격 등)를 표시하고, 나아가서 그 소품의 제작/판매사로의 네트워크 연결이 가능하게 하는 기술로서 제시되었다.

또다른 종래의 기술로는, 비디오 자료 각 부분에 대한 정보를 담은 비디오 부분지도를 제시하는 기술이 있다.

즉, 비디오 부분지도에는 비디오의 각 부분에 대한 정보(폭력성의 정도, 선정성의 정도, 내용상의 중요도, 등장인물, 위치, 이해의 난이도에 대한 정보)를 표시하고, 사용자는 프로그램 내용 지도의 비디오 부분지도의 해당하는 항목에 대한 선호도를 기입하여, 비디오 자료의 원하는 부분만 재생시키거나, 혹은 확인되지 않은 사용자에게 특정 내용을 전송시키지 않도록 제한하는 방법을 나타내었다.

또다른 종래기술로는, 동영상의 샷(Shot)들의 시간적인 연결 그래프를 나타내주는 기술이 있다.

그러나, 동영상의 샷들의 시간적인 연결 그래프를 보는 것 만으로는, 대표장면 몇몇을 가지고 동영상 내용 자체를 이해하기를 요구하는 것이나 다름없어서 실제로 그 동영상의 내용전개를 일목요연하게 이해하기 어렵다.

앞에서 설명한 종래의 동영상 검색기술들은 주로 영화나 드라마에 나타나는 대상에 대하여 단순하게 여러 정보들을 나열한 항목을 보여주고 있으며, 사용자의 선택을 받아들여 그에 대한 응답을 수행하는 방법을 도입하고 있다.

그러나, 영화나 드라마의 내용전개는 등장인물과 등장인물 사이에서 이루어지고, 또 그들이 등장하는 장소와, 인물-장소-사건-각각의 관계 및 그 변화 등에 따라서 이해되어야 하므로, 영화나 드라마와 같은 동영상 내용을 쉽게 검색하기 위해서는 단순히 나열된 여러개의 항목중의 하나를 선택하여 보는 정도로는 동영상 전개의 내용검색이 일목요연할 수 없고, 동영상의 내용을 실질적으로 이끌어가는 사건전개에 따른 등장인물들의 관계와 그 변화, 사건 전개의 배경이 되는 장소와의 관계를 중심으로 하는 동영상 이해가 어렵다.

본 발명은 동영상 검색을 수행함에 있어서, 사건 전개에 중심이 되는 동영상내의 등장인물과 등장인물들 사이의 관계와 그 관계의 변화로써 동영상을 검색하거나, 등장인물과 장소와의 관계 조건 등을 이용해서 특정한 사건을 검색했을 때, 그 사건 내용을 요약하는 정보를 디스플레이할 수 있도록 하는 동영상 자료 생성방법을 제공한다.

또한 본 발명은 상기 동영상 자료를 이용해서 특정 사건 내용을 요약하여 디스플레이 해주기 위한 동영상 검색 방법을 제공한다.

또한 본 발명에서는 실제 동영상 구간을 의미하는 신택틱DS(Syntactic Description Scheme), 의미적인 정보를 기술하는 시맨틱DS(Semantic DS), 동영상 전체 혹은 일부를 요약하여 디스플레이 하기 위한 정보를 기술하는 비주얼DS(Visualization DS)를 가지며, 상기 각각의 묘사정보(DS) 사이의 연결정보를 가지고 동영상 자료를 구성함으로써, 사건구간을 기반으로 하는 동영상 요약 검색 브라우징이 가능하록 한 동영상 자료 생성방법 및 동영상 검색 방법을 제공한다.

또한 본 발명에서는 상기 동영상 자료를 이용해서 동영상을 브라우징함에 있어서, 동영상 사건 전개의 중심이 되는 등장인물들 사이의 관계와 관계의 변화로부터 해당 사건 구간을 요약하여 디스플레이할 수 있도록 한 동영상 검색 방법을 제공한다.

또한 본 발명에서는 상기 동영상 자료를 이용해서 동영상을 브라우징함에 있어서, 동영상 사건 전개의 요소가 되는 인물과 장소와의 관계로부터 해당 사건 구간을 요약하여 디스플레이할 수 있도록 한 동영상 검색 방법을 제공한다.

도1은 본 발명의 사건구간 기반 동영상 자료의 일예를 나타낸 도면

도2의 (a),(b)는 본 발명의 사건구간 기반 동영상 자료에서 하일라이트 묘사정보 구조의 일예를 나타낸 도면

도3의 (a) 내지 (e)는 본 발명의 사건구간 기반 동영상 자료에서 의미정보(Semantic Structure DS)와 요약정보(Visulation DS)를 연결하기 위한 구조의 일예를 나타낸 도면

도4는 본 발명의 동영상 자료구조를 이용한 동영상 검색 브라우저를 나타낸 도면

도5는 본 발명의 동영상 자료구조를 이용한 동영상 검색 브라우저의 다른 실시예를 나타낸 도면

본 발명의 사건구간 기반 동영상 자료 생성방법과 그 자료를 이용한 동영상 검색 방법에 대하여 설명하면 다음과 같다.

먼저, 본 발명의 사건구간 기반 동영상 자료에 대하여 설명한다.

본 발명의 사건구간 기반 동영상 자료는; 사용자가 동영상을 검색하는데 있어서, 동영상의 사건전개에 중심이 되는 등장인물들 사이의 관계와 그 관계의 변화를 이용하거나, 혹은 등장인물과 장소와의 관계 조건 등을 이용해서 특정한 사건을 검색했을 때, 그 사건 내용을 요약하는 정보를 디스플레이하기 위하여;

(a). 동영상의 의미적인 정보를 기술하는 시맨틱DS, 동영상의 실제구간을 기술하는 신택틱DS, 동영상 전체 또는 일부를 요약하여 디스플레이 하기 위한 정보를 기술하는 비주얼DS를 가지며,

(b). 상기 시맨틱DS는 사건정보를 기술하는 이벤트DS를 가지며,

(c). 상기 이벤트DS에는 선택된 사건에 대한 요약정보를 디스플레이 하기 위한 비주얼DS로의 연결정보와, 선택된 사건에 대한 실재 구간을 디스플레이 하기 위한 신택틱DS에 포함된 세그먼트로의 연결정보; 를 포함하여 선택된 사건구간의 요약정보를 디스플레이 하는 것을 특징으로 하는 사건구간 기반 동영상 자료 생성방법이다.

또한 본 발명의 사건구간 기반 동영상 자료에서, 상기 시맨틱DS는 적어도 오브젝트와 장소, 사건과의 관계나, 등장인물들 사이의 관계나 그 관계변화를 표현하는 하나 이상의 관계 정보(이벤트/오브젝트 관계DS)을 가지는 것을 특징으로 한다.

또한 본 발명의 사건구간 기반 동영상 자료에서, 상기 오브젝트와 장소, 사건과의 관계를 표현하기 위하여, 상기 이벤트/오브젝트 관계DS는 하나 이상의 오브젝트와 하나 이상의 사건을 링크(link)하는 정보로 구성되고, 각 오브젝트는 장소인지 혹은 인물 등의 주체인지를 구분할 수 있는 오브젝트 타입으로 구성됨을 특징으로 한다.

또한 본 발명의 사건구간 기반 동영상 자료에서, 상기 오브젝트와 장소, 사건과의 관계를 표현하기 위하여, 상기 이벤트/오브젝트 관계DS는 하나 이상의 오브젝트와 하나의 장소, 하나 이상의 사건을 링크하는 정보로 구성됨을 특징으로 한다.

또한 본 발명의 사건구간 기반 동영상 자료에서, 상기 이벤트/오브젝트 관계DS는 등장인물과 등장인물들 사이의 관계 및 그 관계의 변화를 표현하고 해당 관계나 관계변화를 만족하는 사건과의 관계를 표현하기 위해 둘 이상의 오브젝트와 관계이름, 관계유형을 포함하는 것을 특징으로 한다.

또한 본 발명의 사건구간 기반 동영상 자료에서, 상기 비주얼DS는 동영상 전체나 일부를 요약하여 디스플레이 하기 위한 정보로서; 요약 디스플레이를 하기 위하여 연속 디스플레이에 사용될 세그먼트들을 연결하는 하나 이상의 세그먼트 연결정보와, 키프레임 기반의 요약 디스플레이를 하기 위한 키프레임 정보와, 하일라이트 형태로 요약 디스플레이를 하기 위한 하일라이트 정보 중에서 어느 하나 또는 그 이상을 포함하는 것을 특징으로 한다.

또한 본 발명의 사건구간 기반 동영상 자료에서, 상기 하일라이트 정보는 요약의 자세한 정도에 따라 다중레벨로 이루어지고, 하나의 레벨에 해당하는 요약정보는 하일라이트에 사용될 세그먼트들을 연결하는 세그먼트들의 집합과, 하일라이트에 사용될 구간의 시간정보들의 집합 중에서 어느 하나로 이루어지는 것을 특징으로 한다.

또한 본 발명의 사건구간 기반 동영상 자료에서, 상기 의미정보인 시맨틱DS와 요약정보인 비주얼DS를 연결하기 위한 정보로서; 특정 사건을 요약하기 위한 상기 하일라이트 정보로의 연결정보를 포함하는 것을 특징으로 한다.

또한 본 발명의 사건구간 기반 동영상 자료에서, 상기 의미정보인 시맨틱DS와 요약정보인 비주얼DS를 연결하기 위한 정보로서; 특정 사건을 요약하기 위한 키프레임 정보로의 연결정보를 포함하는 것을 특징으로 한다.

또한 본 발명의 사건구간 기반 동영상 자료에서, 상기 의미정보인 시맨틱DS와 요약정보인 비주얼DS를 연결하기 위한 정보로서; 특정 사건을 기술하는 상기 요약구간에 해당하는 하나 이상의 시간정보로의 연결정보를 포함하는 것을 특징으로 한다.

또한 본 발명의 사건구간 기반 동영상 자료에서, 상기 의미정보인 시맨틱DS와 요약정보인 비주얼DS를 연결하기 위한 정보로서; 특정 사건을 기술하는 상기 요약구간에 해당하는 하나 이상의 세그먼트를 연결하는 정보를 포함하는 것을 특징으로 한다.

또한 본 발명의 사건구간 기반 동영상 자료에서, 상기 의미정보인 시맨틱DS와 요약정보인 비주얼DS를 연결하기 위한 정보로서; 특정 사건을 기술하는 상기 요약구간에 해당하는 하나 이상의 시간정보를 포함하는 것을 특징으로 한다.

한편, 상기 사건구간 기반 동영상 자료를 이용하는 본 발명의 동영상 검색 방법은;

(a). 동영상의 주요 오브젝트와 주요장소와의 관계 그래프로부터 하나 이상의 관계가 선택되고,

(b). 상기 선택된 관계들을 만족하는 사건들이 디스플레이되고,

(c). 상기 디스플레이된 사건들 중에서 원하는 사건을 선택하면, 그 사건에 해당되는 요약정보(하일라이트, 키프레임 트리정보 등)가 디스플레이 되어,

해당 사건을 요약하는 것을 특징으로 하는 동영상 검색 방법이다.

또한, 상기 사건구간 기반 동영상 자료를 이용하는 본 발명의 동영상 검색 방법은;

(a). 동영상에 등장하는 등장인물들 사이의 관계나 그 관계의 변화를 나타내는 그래프로부터 원하는 등장인물들의 관계를 선택하고,

(b). 상기 선택된 관계나 관계변화를 만족하는 사건들이 나열되고,

(c). 상기 나열된 사건들 중에서 원하는 사건을 선택하면, 그 사건에 해당되는 요약정보(하일라이트, 키프레임 트리정보 등)가 디스플레이 되어,

해당 사건을 요약하는 것을 특징으로 하는 동영상 검색 방법이다.

또한, 본 발명의 동영상 검색 방법에서, 상기 선택된 사건의 나열은;

(a). 그 사건을 대표하는 키프레임이거나,

(b). 그 사건을 기술하는 텍스트 정보이거나,

(c). 그 사건을 대표하는 키프레임과 텍스트 정보의 조합으로 이루어지는 것을 특징으로 한다.

이하, 첨부된 도면을 참조하여 본 발명의 실시예로서 본 발명을 더욱 상세하게 설명하면 다음과 같다.

먼저, 도1 내지 도3은 본 발명의 사건구간 기반 동영상 자료 생성방법에 따른 동영상 자료구조의 실시예를 나타낸다.

도1 내지 도3을 참조하면, 본 발명의 동영상 검색 브라우징을 위한 자료는;

동영상의 등장인물들 사이의 관계와 그 관계의 변화를 등장인물 및 해당 사건구간과 연결지어 표현한 자료구조를 가지고 동영상을 검색하거나, 등장인물과 장소와의 관계조건 등을 이용해서 특정 사건을 검색함에 있어서,

(a). 시맨틱DS, 신택틱DS, 비주얼DS와 이들간의 연결 정보로 동영상 정보를 구성하고,

(b). 상기 시맨틱DS는 동영상의 의미정보를 기술하는 사건정보를 나타내는 이벤트DS, 오브젝트(Object) 정보를 나타내는 오브젝트DS, 오브젝트와 오브젝트 혹은 오브젝트와 장소와의 관계 및 그 관계를 만족하는 사건과의 관계 정보를 기술하는 오브젝트/이벤트 관계DS로 이루어지고,

(c). 상기 신택틱DS는 실제 동영상의 데이타 정보를 기술하는 정보로서 동영상을 구성하는 세그먼트들을 포함하고,

(d). 상기 비주얼DS는 동영상의 전체 혹은 일부 구간을 요약하여 디스플레이 하기 위한 데이타 구조로서 하일라이트 정보나, 키프레임 정보를 포함하고,

(e). 상기 시맨틱DS의 이벤트DS에는 선택된 사건에 대한 요약정보를 디스플레이 하기 위한 비주얼DS로의 연결정보와, 선택된 사건에 대한 실재 구간을 디스플레이 하기 위한 신택틱DS에 포함된 세그먼트로의 연결정보를 포함하는 것을 특징으로 하는 동영상 데이타 자료 생성방법이다.

또한, 본 발명의 동영상 검색 브라우징을 위한 자료에서 상기 시맨틱DS에서의 오브젝트/이벤트 관계DS는 하나 이상의 관계들로 구성됨을 특징으로 한다.

또한, 본 발명의 동영상 검색 브라우징을 위한 자료에서 하나 이상의 관계는;

(a). 오브젝트와 장소, 사건과의 관계를 표현하기 위하여, 하나 이상의 오브젝트와 하나 이상의 사건을 링크(link)하는 정보로 구성되고, 각 오브젝트는 장소인지 혹은 인물 등의 주체인지를 구분할 수 있는 오브젝트 타입으로 구성되거나,

(b). 오브젝트와 장소, 사건과의 관계를 표현하기 위하여, 하나 이상의 오브젝트와 하나의 장소, 하나 이상의 사건을 링크하는 정보로 구성되거나,

(c). 등장인물과 등장인물들 사이의 관계 및 그 관계의 변화를 표현하고 해당 관계나 관계변화를 만족하는 사건과의 관계를 표현하기 위해 둘 이상의 오브젝트와 관계이름, 관계유형을 포함하는 것을 특징으로 한다.

또한 본 발명의 동영상 검색 방법은;

(a). 동영상의 주요 오브젝트와 주요장소와의 관계 그래프로부터 하나 이상의 관계가 선택되고,

(b). 상기 선택된 관계들을 만족하는 사건들이 디스플레이되고,

(c). 상기 디스플레이된 사건들 중에서 원하는 사건을 선택하면, 그 사건에 해당되는 요약정보(하일라이트, 키프레임 트리정보 등)가 디스플레이 되어,

해당 사건을 요약하는 것을 특징으로 한다.

이때, 하일라이트나 키프레임 등의 요약정보는 사용자가 지정하거나 혹은 시스템이 사전에 지정하여 디스플레이할 수 있다.

또한 본 발명의 동영상 검색 방법은;

(a). 동영상에 등장하는 등장인물들 사이의 관계나 그 관계의 변화를 나타내는 그래프로부터 원하는 등장인물들의 관계를 선택하고,

(b). 상기 선택된 관계나 관계변화를 만족하는 사건들이 나열되고,

(c). 상기 나열된 사건들 중에서 원하는 사건을 선택하면, 그 사건에 해당되는 요약정보(하일라이트, 키프레임 트리정보 등)가 디스플레이 되어,

해당 사건을 요약하는 것을 특징으로 한다.

이때, 하일라이트나 키프레임 등의 요약정보는 사용자가 지정하거나 혹은 시스템이 사전에 지정하여 디스플레이할 수 있다.

또한 본 발명의 동영상 검색 방법에서 상기 기술된 사건의 나열은;

(a). 그 사건을 대표하는 키프레임이거나,

(b). 그 사건을 기술하는 텍스트 정보이거나,

(c). 그 사건을 대표하는 키프레임과 텍스트 정보의 조합으로 이루어지는 것을 특징으로 한다.

도1의 자료구조를 보면, 동영상 묘사정보(Visual Description Scheme)(101)는 비주얼DS(102)(Visualization DS), 신택틱DS(103)(Syntactic Structure DS), 시맨틱DS(104)(Symantic Structure DS)의 자료구조를 가진다.

비주얼DS(102)는 동영상 전체 혹은 일부를 요약하여 디스플레이 하기 위한 정보를 기술하며, 신택틱DS(103)는 실제 동영상 구간을 의미하는 정보를 기술하며, 시맨틱DS(104)는 동영상의 의미적인 정보를 기술한다.

신택틱DS(103)는 실제 동영상 구간인 세그먼트DS(Segment DS)(105)들로 이루어지며, 타임DS(Time DS)(106)를 통해 그 시간적 위치를 나타내는 데이타 구조를 이룬다.

시맨틱DS(104)는 사건을 의미하는 이벤트DS(107), 등장인물이나 장소와 같은 오브젝트 정보를 나타내는 오브젝트DS(Object DS)(108), 그리고 등장인물들 사이의 고정관계나, 변화된 관계나, 오브젝트와 장소 혹은 사건과의 관계 등을 표현하는 이벤트/오브젝트 관계DS(Event/Object Relation Graph DS)(109)를 가진다.

이벤트DS(107)는 특정한 사건이 선택되면 그 사건에 해당하는 구간 자체를 디스플레이 하기 위해서, 해당 사건을 만족하는 세그먼트를 가리키는 참조 세그먼트 정보(Reference to Segment)(110)와, 해당하는 사건 구간을 요약하여 디스플레이 하기 위한 참조 비주얼 정보(Reference to Visualization), 그리고 사건 설명을 위한 사건설명DS(Annotation DS)(112)로 이루어진다.

한편, 비주얼DS(102)는 요약 디스플레이를 하기 위해서, 연속 디스플레이에 사용될 세그먼트들을 연결하는 하나 이상의 참조 세그먼트 정보(Reference to Segment)(113), 키프레임 기반의 요약 디스플레이를 하기 위한 키프레임DS(Key Frame View DS)(114), 하일라이트 형태로 요약 디스플레이를 하기 위한 하일라이트DS(Highlight View DS)(115)를 가지고 있다.

여기서, 하일라이트DS는 도2의 (a) 또는 도2의 (b)와 같이 이루어질 수 있다.

도2의 (a)에서 하일라이트DS(201)는 요약의 자세한 정도에 따라 다중레벨(Level)(202)로 구성될 수 있으며, 하나의 레벨에 해당하는 요약정보는 하일라이트에 사용될 세그먼트들을 연결하는 세그먼트들의 집합(203)으로 구성될 수 있다.

또는, 도2의 (b)에서와 같이 하일라이트DS(204)는 요약의 자세한 정도에 따라 다중레벨(205)로 구성될 수 있으며, 하나의 레벨에 해당하는 요약정보는 하일라이트에 사용될 구간의 시간들의 집합(206)으로 구성될 수 있다.

한편, 상기 도1에서 참조 비주얼 정보(111)는 의미정보인 시맨틱DS(104)와 요약정보인 비주얼DS(102)를 연결하기 위한 것이므로, 도3의 (a) 내지 (e)에 나타낸 바와같은 구조 중에서 적어도 어느 하나, 또는 그 이상이 포함될 수 있다.

도3의 (a)는 참조 하일라이트 DS(Reference to Highlight View DS)(301)로서 특정 사건을 요약하기 위한 하일라이트DS(115)를 연결한다.

도3의 (b)는 참조 키프레임 DS(Reference to Key Frame View DS)(302)로서 특정 사건을 요약하기 위한 키프레임DS(114)를 연결한다.

도3의 (c)는 참조 타임DS(Reference to Time DS)(303)로서 특정 사건을 기술하는 요약 구간에 해당하는 하나 이상의 타임DS(106)를 연결한다.

이 경우는 하일라이트DS가 도2의 (b)와 같이 타임DS(206)로 구성될 경우 특정 사건을 기술하는 요약 구간에 해당하느 하나 이상의 타임DS를 연결하는 것이다.

도3의 (d)는 참조 세그먼트DS(Reference to Segment DS)(304)로서 특정 사건을 기술하는 요약 구간에 해당하는 하나 이상의 세그먼트DS(105)를 연결한다.

이 경우는 하일라이트DS가 도2의 (a)와 같이 세그먼트의 집합(203)으로 구성될 경우 특정 사건을 기술하는 요약 구간에 해당하는 하나 이상의 세그먼트들을 연결하는 것이다.

도3의 (e)와 같이 타임DS(304)를 직접 포함하는 경우는, 도2의 (b)와 같이타임DS로 하일라이트DS가 구성될 경우에 사용할 수 있는 것으로서, 특정 사건을 기술하는 구간에 해당하는 시간적 정보를 나타내며, 도2의 (c)에서와 같이 타임DS를 연결하는 대신 해당하는 타임DS들을 직접 포함하는 구조이다.

특정 사건에 대한 요약정보를 하일라이트로 디스플레이 할 때에는 이 시간정보를 만족하는 하일라이트DS 내의 타임DS들에 해당하는 구간을 디스플레이함으로써 원하는 사건구간의 요약 브라우징이 이루어지게 된다.

도4는 앞에서 설명한 동영상 자료구조를 이용해서 수행될 수 있는 동영상 검색 브라우저를 나타낸 도면으로서; 동영상 내용상의 등장인물들 사이의 관계와 그 관계변화 데이타 구조를 이용해서 동영상을 쉽게 이해하고 검색하는데 있어서, 그 자료구조를 이용해서 동영상을 검색하는 방법이다.

등장인물 화면(401)에는 동영상에 등장하는 전체 등장인물들을 보여주고, 관계화면(402)에는 등장인물 화면(401)에서 선택된 인물과 관계를 가지는 다른 등장인물 및 그와의 관계와 관계변화를 보여준다.

이때, 한 등장인물과 다른 등장인물의 대표 관계를 관계트리의 상단에 보여주고, 그 등장인물들 사이의 관계의 변화를 관계트리의 하단에 보여준다.

주요장면 화면(403)에는 관계화면(402)에서 선택된 등장인물과의 대표 관계나 변화관계가 나타나는 사건들에 대한 키프레임으로 사건을 보여주며, 주화면(404)에서는 주요장면 화면(403)에서 선택된 사건(키프레임으로 대표될 수 있다)에 해당하는 사건 구간을 하일라이트로 재생하여 보여준다.

도4에서는 '인물1'을 선택하였을 때, 그 '인물1'과 관계된 다른 '인물2', '인물3', '인물4'을 관계화면으로 보여주고, 여기서 '인물2'와의 '관계2'에 해당하는 사건구간을 키프레임으로 주요장면 화면(403)에서 보여주고, 여기서 선택되는 '사건6'에 해당하는 동영상 내용을 주화면에서 요약 디스플레이해 주는 일예를 보여주고 있다.

도4의 동영상 검색 브라우저는 도1 내지 도3에서 설명한 바와 같은 자료구조에 의해서 이루어지게 된다.

즉, 오브젝트DS(108)에 의해서 등장인물 화면(401)상에 등장인물들이 디스프레이되고, '인물1'을 선택하면 이벤트/오브젝트 관계DS(109)로부터 '인물1'과 관계된 다른 등장인물들과 그 관계의 변화가 인물관계 화면(402)에 디스플레이되고, 여기서 '인물2'와의 '관계2'를 선택하면 이벤트DS(107)의 참조 세그먼트 정보(110)에서 '인물1'과 '인물2'의 '관계2'에 해당하는 사건구간의 키프레임 들이 주요장면 화면(403)에 디스플레이되고, 여기서 '사건6'을 선택하면 참조 비주얼 정보(111; 도3 참조)에 의해서 해당 동영상 사건 구간에 대한 키프레임 또는 하일라이트 요약정보가 주화면(404)에 상기 비주얼DS(102)의 키프레임DS(114)나 하일라이트DS(115; 도2 참조)에 의해서 디스플레이 되는 것이다.

도5는 본 발명의 또다른 실시예로서 동영상 검색 브라우저를 보여준다.

도5의 경우는 오브젝트-장소 관계를 기반으로 하는 동영상 검색 브라우저로서, 등장인물과 주요 오브젝트와의 관계 그래프를 관계화면(501)에 키프레임으로 보여주고, 여기서 선택된 특정 관계에 해당하는 내용을 텍스트 화면(502)에 간단한 설명으로 보여주고, 그 선택된 관계에 해당하는 사건구간의 내용을 앞에서 설명한바와같이 주화면(503)에 하일라이트로 요약 디스플레이 해주는 것이다.

상기의 도4 또는 도5에서는 본 발명의 동영상 검색 브라우저의 실시예로서 특정 사건을 요약하기 위해 하일라이트 디스플레이를 수행하는 경우를 예로 들어 나타내고 또 설명하였다.

그러나, 키프레임 기반의 요약정보 등 다른 종류의 요약정보가 디스플레이 될 수도 있다.

또한, 도1은 인물 등의 중요 오브젝트와 장소를 표현하기 위하여 오브젝트DS를 사용하였지만, 이 경우 오브젝트DS 내에 오브젝트 타입(Type)을 포함시킴으로써 장소인지, 혹은 인물인지를 구별할 수도 있다.

또 다른 방법으로는, 주요 오브젝트와 장소를 구분하여 데이타를 구성하기 위하여 시맨틱DS를 오브젝트DS, 장소DS, 이벤트DS, 오브젝트와 장소 및 사건과의 관계DS로 구성할 수도 있다.

본 발명은 동영상을 의미 정보를 나타내는 부분과 동영상을 요약하는 요약정보를 나타내는 부분과 이들을 연결하는 정보로 구성함으로써, 동영상에서 특정 사건을 인물관계나 주요 오브젝트와 장소와의 관계 등을 이용해서 검색한 후, 그 검색된 사건을 기술하는 내용을 요약하는 하일라이트나 키프레임 등의 형태로 브라우징함으로써, 사건 기반으로 동영상을 검색하고 또 이해하는데 매우 효과적이다.

또한 본 발명은 드라마, 영화 등에서 스토리 전개의 중심이 되는 인물, 장소 등을 기반으로 사건을 검색한 후, 검색된 사건별로 내용을 요약하여 주기 때문에,사용자가 원하는 부분별 요약 기능을 제공하여 효과적인 동영상 검색 브라우징을 제공한다.

Claims (16)

1. (a). 동영상의 의미적인 정보를 기술하는 시맨틱DS, 동영상의 실제구간을 기술하는 신택틱DS, 동영상 전체 또는 일부를 요약하여 디스플레이 하기 위한 정보를 기술하는 비주얼DS를 생성하는 단계,

   (b). 상기 시맨틱DS는 사건정보를 기술하는 이벤트DS를 포함시키는 단계,

   (c). 상기 이벤트DS에는 선택된 사건에 대한 요약정보를 디스플레이 하기 위한 비주얼DS로의 연결정보와, 선택된 사건에 대한 실제 구간을 디스플레이 하기 위한 신택틱DS에 포함된 세그먼트로의 연결정보를 포함시키는 단계로 이루어지는 것을 특징으로 하는 사건구간 기반 동영상 자료 생성방법.
2. 제 1 항에 있어서, 상기 시맨틱DS는 적어도 오브젝트와 장소, 사건과의 관계나, 등장인물들 사이의 관계나 그 관계변화를 표현하는 하나 이상의 관계 정보(이벤트/오브젝트 관계DS)을 가지는 것을 특징으로 하는 사건구간 기반 동영상 자료 생성방법.
3. 제 2 항에 있어서, 상기 오브젝트와 장소, 사건과의 관계를 표현하기 위하여, 상기 이벤트/오브젝트 관계DS는 하나 이상의 오브젝트와 하나 이상의 사건을 링크(link)하는 정보로 구성되고, 각 오브젝트는 장소인지 혹은 인물 등의 주체인지를 구분할 수 있는 오브젝트 타입으로 구성됨을 특징으로 하는 사건구간 기반 동영상 자료 생성방법.
4. 제 2 항에 있어서, 상기 오브젝트와 장소, 사건과의 관계를 표현하기 위하여, 상기 이벤트/오브젝트 관계DS는 하나 이상의 오브젝트와 하나의 장소, 하나 이상의 사건을 링크하는 정보로 구성됨을 특징으로 하는 사건 구간 기반 동영상 자료 생성방법.
5. 제 2 항에 있어서, 상기 이벤트/오브젝트 관계DS는 등장인물과 등장인물들 사이의 관계 및 그 관계의 변화를 표현하고 해당 관계나 관계변화를 만족하는 사건과의 관계를 표현하기 위해 둘 이상의 오브젝트와 관계이름, 관계유형을 포함하는 것을 특징으로 하는 사건구간 기반 동영상 자료 생성방법.
6. 제 1 항 내지 제 5 항 중의 어느 한항에 있어서, 상기 비주얼DS는 동영상 전체나 일부를 요약하여 디스플레이 하기 위한 정보로서; 요약 디스플레이를 하기 위하여 연속 디스플레이에 사용될 세그먼트들을 연결하는 하나 이상의 세그먼트 연결정보와, 키프레임 기반의 요약 디스플레이를 하기 위한 키프레임 정보와, 하일라이트 형태로 요약 디스플레이를 하기 위한 하일라이트 정보 중에서 어느 하나 또는 그 이상을 포함하는 것을 특징으로 하는 사건구간 기반 동영상 자료 생성방법.
7. 제 6 항에 있어서, 상기 하일라이트 정보는 요약의 자세한 정도에 따라 다중레벨로 이루어지고, 하나의 레벨에 해당하는 요약정보는 하일라이트에 사용될 세그먼트들을 연결하는 세그먼트들의 집합과, 하일라이트에 사용될 구간의 시간정보들의 집합 중에서 어느 하나로 이루어지는 것을 특징으로 하는 사건구간 기반 동영상 자료 생성방법.
8. 제 1 항에 있어서, 상기 의미정보인 시맨틱DS와 요약정보인 비주얼DS를 연결하기 위한 정보로서; 특정 사건을 요약하기 위한 상기 하일라이트 정보로의 연결정보를 포함하는 것을 특징으로 하는 사건구간 기반 동영상 자료 생성방법.
9. 제 1 항에 있어서, 상기 의미정보인 시맨틱DS와 요약정보인 비주얼DS를 연결하기 위한 정보로서; 특정 사건을 요약하기 위한 키프레임 정보로의 연결정보를 포함하는 것을 특징으로 하는 사건구간 기반 동영상 자료 생성방법.
10. 제 1 항에 있어서, 상기 의미정보인 시맨틱DS와 요약정보인 비주얼DS를 연결하기 위한 정보로서; 특정 사건을 기술하는 상기 요약구간에 해당하는 하나 이상의 시간정보로의 연결정보를 포함하는 것을 특징으로 하는 사건구간 기반 동영상 자료 생성방법.
11. 제 1 항에 있어서, 상기 의미정보인 시맨틱DS와 요약정보인 비주얼DS를 연결하기 위한 정보로서; 특정 사건을 기술하는 상기 요약구간에 해당하는 하나 이상의 세그먼트를 연결하는 정보를 포함하는 것을 특징으로 하는 사건구간 기반 동영상 자료 생성방법.
12. 제 1 항에 있어서, 상기 의미정보인 시맨틱DS와 요약정보인 비주얼DS를 연결하기 위한 정보로서; 특정 사건을 기술하는 상기 요약구간에 해당하는 하나 이상의 시간정보를 포함하는 것을 특징으로 하는 사건구간 기반 동영상 자료 생성방법.
13. (a). 동영상의 주요 오브젝트와 주요장소와의 관계 그래프로부터 하나 이상의 관계를 선택하는 단계,

    (b). 상기 선택된 관계들을 만족하는 사건들을 디스플레이하는 단계,

    (c). 상기 디스플레이된 사건들 중에서 원하는 사건을 선택하면, 그 사건에 해당되는 요약정보(하일라이트, 키프레임 트리정보 등)를 디스플레이하는 단계로 이루어진 것을 특징으로 하는 동영상 검색 방법.
14. 제 13 항에 있어서, 상기 선택된 사건의 나열은;

    (a). 그 사건을 대표하는 키프레임이거나,

    (b). 그 사건을 기술하는 텍스트 정보이거나,

    (c). 그 사건을 대표하는 키프레임과 텍스트 정보의 조합으로 이루어지는 것을 특징으로 하는 동영상 검색 방법.
15. (a). 동영상에 등장하는 등장인물들 사이의 관계나 그 관계의 변화를 나타내는 그래프로부터 원하는 등장인물들의 관계를 선택하는 단계,

    (b). 상기 선택된 관계나 관계변화를 만족하는 사건들을 나열하는 단계,

    (c). 상기 나열된 사건들 중에서 원하는 사건을 선택하면, 그 사건에 해당되는 요약정보(하일라이트, 키프레임 트리정보 등)를 디스플레이하는 단계로 이루어진 것을 특징으로 하는 동영상 검색 방법.
16. 제 15 항에 있어서, 상기 선택된 사건의 나열은;

    (a). 그 사건을 대표하는 키프레임이거나,

    (b). 그 사건을 기술하는 텍스트 정보이거나,

    (c). 그 사건을 대표하는 키프레임과 텍스트 정보의 조합으로 이루어지는 것을 특징으로 하는 동영상 검색 방법.