KR20000038290A - 사건구간을 기반으로 하는 동영상 검색방법과 검색 데이타 구조 - Google Patents

Abstract

본 발명은 동영상을 검색하는 시스템에 관한 것으로서 특히, 영화나 드라마 등의 동영상의 내용을 복수개의 사건들이 상호 결합된 형태의 줄거리로 표현하여 각각의 사건 구간별로 동영상 내용을 검색하는 시스템으로서; 단위사건을 나타내는 사건문단들로 구성되는 전체 줄거리로 표현하고, 하나의 단위사건 문단이 나타내는 각각의 사건별로 실제의 동영상 구간을 나누어 그 나누어진 구간별로 동영상 내용을 요약, 검색할 수 있도록 한 사건구간을 기반으로 하는 동영상 검색방법과 검색 데이타 구조에 관한 것이다.

종래에 동영상 검색 및 동영상 내용의 요약을 위한 기술들은 대부분 방대한 내용 전체를 키프레임(Key Frame)이나 기타 기존의 내용기반 브라우징(Browsing)기법을 사용해서 표현하고 있다.

본 발명은 영화, 드라마 등의 동영상 내용을 전체 줄거리로 표현하고, 이때 전체 줄거리는 드라마나 영화의 내용전개에 따른 단위사건별로 사건문단의 형태로 표현하고, 각각의 단위사건에 해당하는 각 사건별로 실제의 동영상의 구간을 나누어 이 나누어진 구간별로는 기존의 브라우징 방법을 포함하는 검색방법들을 적절하게 적용하여 검색할 수 있도록 한 사건구간을 기반으로 하는 동영상 검색방법과 검색 데이타 구조를 제공한다.

Description

사건구간을 기반으로 하는 동영상 검색방법과 검색 데이타 구조

본 발명은 동영상을 검색하는 시스템에 관한 것으로서 특히, 영화나 드라마 등의 동영상의 내용을 복수개의 사건들이 상호 결합된 형태의 줄거리로 표현하여 각각의 사건 구간별로 동영상 내용을 검색하는 시스템으로서; 단위사건을 나타내는 사건문단들로 구성되는 전체 줄거리로 표현하고, 하나의 단위사건 문단이 나타내는 각각의 사건별로 실제의 동영상 구간을 나누어 그 나누어진 구간별로 동영상 내용을 요약, 검색할 수 있도록 한 사건구간을 기반으로 하는 동영상 검색방법과 검색 데이타 구조에 관한 것이다.

종래의 동영상 검색 및 동영상 내용의 요약을 위한 기술들은 대부분 방대한 내용 전체를 키프레임(Key Frame)이나 기타 기존의 내용기반 브라우징(Browsing)기법을 사용해서 표현하고 있다.

그러므로 영화나 드라마 등의 내용 전체를 몇개의 발췌된 키프레임이나 등장인물 중심의 내용기반 브라우징 기법으로 요약 및 검색하는 것이 어렵고 복잡할 뿐만 아니라, 대표적인 장면 몇으로부터 그 내용을 표현하는데는 모호함이 따르게 되고 정확한 정보의 제시와 검색을 어렵게 한다.

특히, 드라마나 영화 등의 동영상은 그 내용의 특성상 전체 줄거리가 단위사건의 상호 결합에 의해서 진행되는 특성을 가지고 있으므로, 이러한 단위사건들의 상호 긴밀한 결합관계를 제시하지 못한채, 단순히 키프레임 또는 등장인물 중심의 검색을 수행할 수 밖에 없었다.

종래의 동영상 검색 기술로서 동영상에서 키프레임을 추출하고 각 키프레임 간의 시간적인 관계를 그래프로 표현함으로써 전체 내용을 요약하고 검색하는 기술이 제시된다.(미합중국 특허 제 5,708,767 호: Method and apparatus for video browsing based on content and structure).

그러나 이 방법은 단순한 동영상 파일에는 가능하지만, 드라마나 영화와 같이 단위사건들이 상호 밀접한 관계를 맺고 시간에 따라 변화하는 방대한 양의 동영상 파일에 적용하기에는 한계가 있다.

즉, 어느정도 이상으로 방대한 양의 동영상의 경우는 키프레임 수도 매우 많고 또 그들간의 관계의 수는 더욱 많아지기 때문에 이렇게 많은 수의 키프레임과 관계를 그래프로 표현하기도 어려울 뿐만 아니라 표현할 경우 사용자가 그 그래프 자체를 이해하는 것조차 힘들게 된다.

종래의 동영상 검색기술로서 키프레임 기반의 동영상 요약 및 검색기능을 제공하는 것이 있다.(A Distribute System for Editing and Browsing compressed Video Over the Network; Horace J.Meng, IEEE Signal Processing Society 1997 Workshop on Mumtimedia Signal Processing, New Jersey).

이 기술은 키프레임을 어느정도 길이의 구간에서 추출했느냐에 따라 계층을 둔 기술로서, 즉 상위에는 큰 구간에서 키프레임을 추출했기 때문에 키프레임의 수가 적고, 하위 계층으로 내려올수록 작은 구간에서 추출한 키프레임들이 트리구조로 구성된다.

그러나 이 구조는 대표장면으로 전체 내용을 브라우징할 수 없고, 또한 상위 계층의 키프레임이 너무 큰 구간에서 추출되기 때문에 원하는 부분을 키프레임만으로 찾아가기가 어려운 문제점이 있다.

본 발명은 영화, 드라마 등의 동영상 내용을 전체 줄거리로 표현하고, 이때 전체 줄거리는 드라마나 영화의 내용전개에 따른 단위사건별로 사건문단의 형태로 표현하고, 각각의 단위사건에 해당하는 각 사건별로 실제의 동영상의 구간을 나누어 이 나누어진 구간별로는 기존의 브라우징 방법을 포함하는 검색방법들을 적절하게 적용하여 검색할 수 있도록 한 사건구간을 기반으로 하는 동영상 검색방법과 검색 데이타 구조를 제공한다.

본 발명은 영화나 드라마 등의 동영상 내용을 그 내용전개에 따르는 단위사건들의 상호 결합관계로부터 일목요연하게 파악할 수 있는 단위사건 문단(텍스트 또는 텍스트와 대표장면의 형태)으로 제시하고, 이러한 사건구간을 기반으로 하여 동영상 내용을 요약 및 검색할 수 있도록 함으로써, 종래에 키프레임이나 대표장면만으로 표현하는 검색시스템에 비하여 방대한 양의 동영상에 적용할 수 있고, 또 간편하며 용이하게 동영상 내용을 요약 및 검색할 수 있도록 한 사건구간을 기반으로 하는 동영상 검색방법과 검색 데이타 구조를 제공한다.

도1은 본 발명에 의한 동영상 제작과 검색기의 일실시예를 나타낸 블럭도

도2는 본 발명에서 전체 줄거리내의 단위사건을 문단으로 표현하고 그 사건의 관계를 키프레임(Key Frames)과 그들간의 시간적 관계를 그래프로 표현한 브라우저를 나타낸 도면

도3은 본 발명에서 전체 줄거리내의 단위사건을 문단으로 표현하고 그 단위사건을 대표하는 장면을 키프레임으로 표현한 브라우저를 나타낸 도면

도4는 본 발명에서 전체 줄거리내의 단위사건을 문단으로 표현하고 그 단위사건에 해당하는 인물과 장소와의 관계 및 대표장면을 표현한 브라우저를 나타낸 도면

도5는 본 발명에서 줄거리를 구성하는 각 사건문단별로 대표장면을 함께 보여주는 브라우저를 나타낸 도면

도6은 상기 도4 및 도5의 구현을 위한 검색 데이타의 구조를 나타낸 도면

도7,도8은 본 발명에서 전체 줄거리내의 단위사건을 문단으로 표현하고 그 단위사건에 해당하는 인물과 장소의 다중레벨을 설명하기 위한 브라우저를 나타낸 도면

본 발명은 동영상 내용의 전체 줄거리를 동영상을 구성하는 의미있는 사건의 단위로서 단위사건별로 구분하여 하나의 단위사건을 나타내는 사건문단의 집합으로 구성하고, 상기 각각의 사건문단에 해당하는 동영상 구간을 지시하는 정보를 설정하여 이루어짐을 특징으로 하는 사건구간을 기반으로 하는 동영상 검색 데이타 구조로서, 상기 단위사건을 나타내는 사건문단은 텍스트만으로 이루어지거나, 텍스트와 함께 대표장면으로 이루어질 수 있고, 상기의 단위사건은 최대로는 동영상 전체의 내용이고, 최소로는 프레임 레벨의 변화일 수 있다.

본 발명은 동영상 내용의 전체 줄거리를 동영상을 구성하는 의미있는 사건의 단위로서 단위사건별로 구분하여 하나의 단위사건을 나타내는 사건문단의 집합으로 구성하고, 상기 각각의 사건문단에 해당하는 동영상 구간을 지시하는 정보를 설정하는 검색정보 설정과정과, 상기 설정된 검색정보에 따른 단위사건 문단중에서 임의의 단위사건을 선택하면 그 것에 응답하여 해당 동영상 구간에 대한 정보를 표현하는 검색정보 표시과정으로 이루어짐을 특징으로 하는 사건구간을 기반으로 하는 동영상 검색방법이다.

또한 본 발명은 상기의 단위사건을 나타내는 사건문단이 텍스트만으로 표현되거나, 텍스트와 그 단위사건 구간에서의 대표장면 등 단위사건의 내용이해에 도움이 되는 다른 요소를 포함하는 형태로로 표현될 수 있다.

또한 본 발명은 상기 검색정보 표시과정이 기존의 키프레임 나열식 방법이나, 씬 트랜지션(Scene Transition)방법을 적용할 수도 있고, 오브젝트(Object)와 장소(Place)의 관계 그래프를 제시하여 오브젝트와 장소와의 관계로부터 검색하는 방법을 적용할 수도 있다.

도1은 본 발명의 동영상 검색 시스템의 전체적인 블럭도의 한가지 실시예를 나타내며 여기에 도시된 것에 의해서 본 발명이 제한되지는 않는다.

도1에서는 설명의 편의상 비디오 공급자와 사용자의 입장으로 분리하였다.

비디오 공급자는 상기한 본 발명의 사건관계 중심 동영상 검색 데이타의 구성 과정을 통해서 도2 내지 도6과 같은 검색정보를 제공하고, 사용자는 도2 내지 도6과 같은 검색정보를 이용해서 검색 브라우저에 의한 사건관계 중심의 동영상 검색을 실행할 수 있게 되는 것이다.

디지탈 비디오 데이타(101)는 입력 비디오 버퍼(102)에 저장되고, 비디오 버퍼(102)에 저장된 디지탈 비디오 데이타는 비디오 프로세싱 유닛(103)에 의해서 멀티 미디어 비디오 스트림의 파일로 콘트롤되며, 콘트롤 프로세싱 유닛(104)은 필요한 각각의 정보를 제작하거나 있는 정보를 읽어서 처리한다.

사용자 인터페이스 및 표시부(105)는 비디오 프로세싱 유닛(103) 및 콘트롤 프로세싱 유닛(104)에 의해서 처리되는 비디오 데이타의 표시는 물론, 검색 데이타 제작을 위한 사용자 정보들을 입력하기 위한 인터페이스를 제공한다.

콘트롤 프로세싱 유닛(104)에서 처리된 사건구간별 동영상 검색 데이타 구조의 해당 정보들은 비디오 정보처리 메모리(106)에 저장되고, 여기에 저장된 사건구간별 검색정보는 비디오 버퍼(102)에 수록된 비디오 데이타와 함께 적절한 포맷으로서 저장공간(107)에 저장된다.

이 저장공간(107)에 저장된 비디오 데이타 및 검색관련 정보들은 기록매체의 형태 또는 유선이나 무선 방송통신망을 통해서 사용자에게 제공된다.

사용자측에서는 상기 저장공간(107)으로부터 제공되는 비디오 데이타와 사건 구간별 검색 데이타를 검출하고 또 판독하여 사용자 요구에 응답하게 된다.

즉, 비디오 버퍼(108)에 저장되는 비디오 데이타에 대해서 비디오 프로세싱 유닛(109)과 콘트롤 프로세싱 유닛(110)의 데이타 처리가 이루어지고, 이때 사건 구간별 검색 데이타를 비디오 정보처리 메모리(112)를 이용해서 처리하여 사용자 인터페이스 및 표시부(111)로 응답하게 되는 것이다.

즉, 도1에 나타낸 사건관계 중심의 동영상 검색 시스템에 의하면, 공급자측에서는 사용자 인터페이스 및 표시부(105)를 통해서 도2 내지 도6과 같은 데이타 구조를 완성하게 되고 이렇게 완성된 정보를 적절한 저장공간에 비디오 데이타와 함께 수록하게 되며, 사용자측에서는 사용자 인터페이스 및 표시부(111)를 통해서 도2 내지 도6에 나타낸 바와같은 동영상 검색을 수행하게 되는 것이다.

상기한 바와같은 동영상 검색 시스템에서 구현되는 본 발명의 사건구간을 기반으로 하는 동영상 검색방법과 검색 데이타 구조에 따른 검색기(Browser)는 영화나 드라마 등의 동영상 내용에서 단위사건을 표현하는 사건문단들의 집합을 보여주기 위한 부분과, 상기 사건문단들의 집합 중에서 임의의 사건문단을 선택하였을 경우 그 단위사건에 해당하는 동영상 구간의 대표장면을 시간 및 사건전개에 따른 그래프의 형태나 키프레임 또는 오브젝트-장소의 관계로 보여주기 위한 부분을 포함한다.

그러므로, 상기한 바와같은 사건관계 중심의 동영상 검색 데이타는 다음과 같은 수순으로 제작된다.

먼저, 드라마나 영화 등의 동영상 전체에 대하여 연속된 사건의 줄거리로 동영상 내용을 나타낸다.

연속된 사건의 줄거리는 하나 이상의 문단들로 구성하고, 각 문단들은 사건을 텍스트 또는 텍스트와 함께 대표장면을 부가하는 형태로 기술된다.

여기서 각각의 사건문단이 의미하는 내용은 동영상의 일부 내용이므로 그 내용이 보여주는 구간은 동영상 내의 일부 구간이 되고, 그 구간은 동영상의 단위사건 구간이 된다.

따라서, 각 사건문단별로 동영상의 일부 구간을 나누고, 각각의 나누어진 동영상 구간정보를 예를 들면 프레임 번호로서 부가하며, 이렇게 나누어진 구간별로 기존의 키프레임식 나열방법이나, 씬 트랜지션 방법을 적용하거나 또는, 본 발명에서 제시할 오브젝트-장소의 관계로부터의 검색방법을 적용하여 사용자가 원하는 구간을 검색한다.

이와같이 단위사건에 대하여 내용 브라우징 방법을 적용한 결과는 단위사건의 내용을 브라우징 하므로 매우 명확한 검색결과를 제공할 수 있다.

이러한 정보들은 한가지 예로서 멀티미디어 스트림의 헤더(Header)에 수록할 수도 있다.

그러면 동영상 재생(검색)시스템에서는 멀티미디어 스트림의 헤더에 수록된 상기의 정보들을 검출하고 또 판독하여 그 동영상에 대한 사건관계 중심의 내용 검색을 수행할 수 있게 된다.

도2는 상기의 단계들을 거쳐서 구현된 사건관계 중심의 검색 브라우저의 일예를 나타낸다.

비디오 스토리 브라우저(200)로서 단위사건별로 사건문단(201a)들의 집합이 표현되는 스토리 표시부(201)를 가지며, 이 스토리 표시부(201)에서 임의의 단위사건에 해당하는 사건문단(201a)을 선택하였을 경우 그 단위사건의 동영상 구간의 내용을 대표장면(Scene1-Scene4)을 링크로 연결하는 형태의 트랜지션 그래프로서 표시하는 키프레임부(202)를 제시하고 있다.

도3은 상기의 단계들을 거쳐서 구현된 사건관계 중심의 검색 브라우저의 다른 예를 나타낸다.

비디오 스토리 브라우저(300)로서 단위사건별로 사건문단(301a)들의 집합이 표현되는 스토리 표시부(301)를 가지며, 이 스토리 표시부(301)에서 임의의 단위사건에 해당하는 사건문단(301a)을 선택하였을 경우 그 단위사건의 동영상 구간의 내용을 키프레임(Scene1-Scene7)과 각각의 키프레임에 대한 설명을 표시하는 키프레임부(302)를 제시하고 있다.

도4는 동영상 내용을 단위사건별 사건문단의 집합으로 구성되는 줄거리로 표현하고 각각의 사건 구간내에서의 내용을 오브젝트(여기서는 등장인물)과 장소와의 관계로 표현한 브라우저의 예를 나타낸다.

즉, 비디오 스토리 브라우저(400)로서 단위사건별로 사건문단(401a)들의 집합이 표현되는 스토리 표시부(401)를 가지며, 이 스토리 표시부(401)에서 임의의 단위사건 문단을 선택한 경우 그 구간내의 등장인물과 장소와의 관계 그래프 및 관계선택에 대응하는 대표장면(키프레임)을 표시하는 키프레임부(402)를 가진다.

즉, 키프레임부(402)에는 등장인물-장소 관계 그래프 화면(403)과 임의의 관계에 대응하는 대표장면부(404)가 표시된다.

예를 들어 상기 스토리 표시부(401)에서 임의의 단위사건에 해당하는 사건문단(401a)을 선택하였을 경우 그 단위사건의 동영상 구간의 내용을 그 단위사건 구간에 등장하는 인물(human A,B,C)(405,406,407)과 각각의 인물이 등장하는 장소로서 병원(408), 방안(409), 야외(410)의 관계로 표시하고, 이 중에서 인물B(406)와 병원(408)의 관계(411)를 선택하면 그 인물B가 병원에 등장하는 구간에 대한 대표장면들을 키프레임(Key Frame14, Key Frame17, Key Frame1)으로 표시하고 있다.

이와같이 단위사건별 사건문단에 해당하는 동영상 구간내의 검색을 위한 오브젝트(인물):장소의 관계에 기반하는 동영상 검색 기술에 대하여 간단히 설명한다.

먼저, 영화나 드라마 등의 동영상 내용에 대하여 주요 오브젝트와 장소를 설정하는데, 예를 들면 주요 오브젝트로는 등장인물중 사건 전개에 필요한 주요 등장인물을 설정하고, 이 등장인물과 함께 사건 전개에 필요한 주요 장소를 설정하며,

다음으로 상기 설정된 주요 오브젝트와 장소와의 관계를 설정한다.

예를 들면 주요 오브젝트로서 등장인물A, 등장인물B, 등장인물C가 설정되고, 장소로서 병원, 방안, 야외가 설정되었다면 등장인물A가 등장하는(관계있는) 장소는 병원과 방안, 등장인물B가 관계있는 장소는 방안, 야외, 등장인물C가 관계있는 장소는 야외 등과 같이 등장인물과 장소와의 관계를 설정한다.

이러한 관계는 실제로 동영상에서 그 장소에 그 오브젝트가 등장하는 구간이 될 것이므로, 이 것을 인덱싱(Indexing)하는 것이다.

다음으로는 대표장면의 설정 단계로서, 상기 설정된 오브젝트와 장소와의 관계로부터 그 장소에 관계되는 해당 오브젝트의 등장구간을 대표할 수 있는 장면을 설정하는데, 하나의 대표 프레임으로 설정하여 그 프레임 위치를 표시하는 것이다.

상기의 예에 따르면 등장인물A-병원의 관계로부터 등장인물A가 병원에 등장하는 구간을 대표하는 프레임으로 '수술장면 프레임'을 설정하고 이 프레임의 위치를 표시하는 것이다.

다음에는 상기 앞 단계들에서 얻어진 등장구간 마다 적절한 주석을 달아주는 것이다.

상기의 예에 따르면 등장인물A-병원의 관계로부터 '수술장면 프레임'을 대표 장면으로 설정해주고, 그 등장구간의 내용을 요약할 수 있는 설명을 텍스트로 부가하는 것이다.

상기한 바와같이 동영상 내용을 기반으로 하여 주요 오브젝트와 장소의 관계를 설정하고 또 등장구간의 인덱싱 및 등장구간의 대표 프레임 설정, 주석 달기(사건)를 수행함으로써 오브젝트-장소-사건-시간의 관계에 기반하는 동영상 검색의 기본 정보가 완성된다.

이러한 정보들은 한가지 예로서 멀티미디어 스트림의 헤더(Header)에 수록할 수도 있다.

그러면 동영상 재생(검색)시스템에서는 멀티미디어 스트림의 헤더에 수록된 상기의 정보들을 검출하고 또 판독하여 그 동영상에 대한 내용기반 검색을 수행할 수 있게 된다.

즉, 상기 설정된 등장인물:장소의 관계 그래프로부터 임의의 관계(411)를 선택하면 인물B(406)가 병원(408)에 등장하는 구간정보를 이용해서 해당 구간의 대표장면을 제시해주고, 그 대표장면 중에서 하나의 장면을 선택하면 그 장면으로 대표되는 소구간을 상영해 줌으로써 오브젝트(예: 인물)-장소의 관계에 기반하여 동영상 내용을 요약, 검색할 수 있게 되는 것이다.

도5는 본 발명에서 줄거리를 구성하는 각 사건문단별로 대표장면을 함께 보여주는 브라우저를 나타낸 도면이다.

즉, 비디오 스토리 브라우저(500)로서 단위사건별로 사건문단들의 집합과 함께 그 단위사건을 대표하는 키프레임(Key Frame14)이 함께 표현되는 스토리 표시부(501)를 가지며, 이 스토리 표시부(501)에서 임의의 단위사건 문단을 선택한 경우 그 구간내의 등장인물과 장소와의 관계 그래프 및 관계선택에 대응하는 대표장면(키프레임)을 표시하는 키프레임부(502)를 가진다.

즉, 키프레임부(502)에는 등장인물-장소 관계 그래프 화면(503)과 임의의 관계에 대응하는 대표장면부(504)가 표시되며, 검색방법 및 검색 결과의 표시는 상기 도4의 경우와 동일하다.

다만 도5에서는 단위사건 문단 대신 해당 키프레임을 선택하는 것만으로도 그 단위사건 구간에 대한 인물:장소의 관계 및 그 관계의 선택에 따른 대표장면의 표시와 상영이 이루어진다.

도6은 본 발명을 적용하기 위한 검색 데이타 구조의 한예로서 상기한 바와같은 인물-장소의 관계 그래프를 적용한 예를 보이고 있다.

부호 601은 전체 줄거리를 나타내는데 여기에는 단위사건별로 그 사건문단들(601a)들이 구성된다.

부호 602는 단위사건별로 그 사건구간에 대표하는 장면으로서 키프레임(위치정보)들과 각각의 사건문단마다 그 것이 의미하는 실제의 동영상 구간을 링크(604)로서 표시하고 있다.

부호 603은 동영상 구간정보(602)에 대응하여 각 구간내에서의 내용 브라우징 구조 즉, 인물(603a,603b)-장소(603c,603d)의 관계 그래프 구조를 포함하는 부분이며, 링크(605)로서 단위사건 구간에 해당하는 인물-장소의 관계정보를 제시하고 있다.

여기서는 특히 인물(603a)에 종속(의존적인) 부가정보(603b)를 그 인물에 종속되는 하위계층의 관계정보로서 부가하였으며, 장소(603c)에 대해서도 그 장소에 종속되는 하위계층의 관계정보(603d)를 더 부가하였다.

이 것은 예를 들면 '병원'이라는 장소에 대해서 종속되는 '입원실', '수술실', '병원복도' 등의 하위계층(장소) 정보를 관계짓기 위한 것이다.

도7과 도8은 이와같이 본 발명에서 장소의 다중레벨을 설명하기 위한 사용자 인터페이스의 예를 나타낸 도면이다.

먼저, 도7에서 검색 브라우저(700)는 오브젝트와 장소의 관계 표시부(701)와 단위사건별로 사건문단들의 집합이 표현되는 스토리 표시부(702)를 가지고 있고(이 스토리 표시부에는 도5와 같이 단위사건별로 그 사건을 대표하는 대표장면(키프레임)이 함께 표시될 수도 있다), 단위사건 문단에 해당하는 오브젝트와 장소의 관계 표시부(701)에는 오브젝트와 장소의 관계를 그래프로 표시하는 부분(703)과 선택된 관계에 해당하는 대표장면(Key Frame)(704) 및 그 구간의 사건내용의 설명(705)을 표시하는 부분을 가지고 있다.

도7에서는 오브젝트로서 3명의 등장인물(Character A,B,C)을 제시하고 있으며, 장소로서 병원(Hospital), 등장인물A의 집(A's house), 그리고 공원(The park)을 제시하고 있다.

또, 등장인물A는 병원과 공원에 관계짓고, 등장인물B는 병원에 관계짓고, 등장인물C는 등장인물A의 집에 관계지워져 있다.

여기서 등장인물B와 병원의 관계(706)를 선택한 경우에 등장인물B가 병원에 등장하는 구간에 대한 대표장면이 키프레임(704)으로서 제시되고 있으며 그 구간에 대한 사건설명(705)이 함께 제시되고 있음을 보인다.

한편, 상기한 바와같이 '병원'이라는 장소의 하위계층에 해당하는 레벨이 있음을 표시부-확장버튼 표식(707)으로 나타내고 있다.

이 확장버튼 표식은 메뉴로 표현될 수도 있다.

그러므로 사용자가 이 확장버튼 표식(707)을 선택하면 도8과 같이 '병원'이라는 장소의 하위계층에 해당하는 레벨에서의 오브젝트-장소 관계가 제시된다.

즉, 도8에서도 검색 브라우저(800)는 오브젝트-장소 관계 표시부(801), 스토리 표시부(802), 오브젝트-장소 관계 그래프 표시부(803), 선택된 관계에 해당하는 키프레임(804) 및 사건내용의 설명(805) 등을 가지면서, '병원'이라는 상위계층의 장소에 대하여 병원로비(The lobby of the hospital) 및 병실(The room of the hospital)이라는 하위계층의 레벨이 제시되고, 또 이 하위계층의 레벨에 대하여 등장인물B와의 관계(806a,806b)가 제시되는 것이다.

그러므로 사용자는 도8의 검색 브라우저로부터 등장인물B와 병원로비의 관계(806a) 또는 등장인물B와 병실의 관계(806b)를 선택할 수 있고, 이렇게 선택된 관계에 해당하는 키프레임(804) 및 그 설명(805)이 검색 결과로서 제시된다.

또한, 다시 상위레벨인 병원으로 가기 위해 그림처럼 병원로비와 병실을 그룹화하는 버튼 표식(807)을 두어 이 버튼 표식(807)을 선택하면 도7의 검색화면으로 돌아간다.

상기 도1 내지 도8에서 설명한 바와같이 본 발명은 동영상의 내용을 단위사건들의 관계로부터 검색할 수 있었다.

상기 도1 내지 도8에서는 하나의 비디오 파일 즉, 1편의 드라마나 1편의 영화에 대해서 설명하였다.

그러나, 본 발명의 사건구간 기반 동영상 검색 시스템의 개념을 확장 적용하여, 본 발명의 동영상 검색 브라우저에서; 복수개의 비디오 파일 전체를 하나의 단위사건을 나타내는 사건문단의 집합으로 표현하고, 또 각각의 비디오 파일의 내용에 대하여 단위사건을 나타내는 사건문단의 집합으로 표현한 구조를 모두 가지고, 전체 내용에 대한 사건문단으로부터 각각의 비디오 파일에 대한 사건문단으로, 개략적인 검색을 거쳐 세부적인 검색을 수행하는 동영상 검색 시스템도 실시 가능한 것이다.

예를 들어, 시리즈물 같은 경우 여러개의 비디오 파일로 나누어져 있다고 해도, 시리즈물의 특성상 단위사건들이 긴밀하게 서로 연관되어 여러편의 비디오 파일들이 내용전개상 연속되는 경우가 보통이므로, 이러한 경우에는 여러편의 비디오 파일의 내용을 전체적으로 하나의 비디오 파일처럼 간주하여 상기 도1 내지 도8의 사건구간 기반의 검색구조로 표현하고, 또 여기에다 각각의 비디오 파일의 내용을 상기 도1 내지 도8과 같은 사건구간 기반의 검색구조로 보다 자세한 내용을 표현함으로써, 복수개의 비디오 파일에 대한 전체적인 내용을 개략적으로 검색하고 또 하나의 비디오 파일에 대해서 세부적으로 검색하는 것이 가능하게 되는 것이다.

본 발명은 사건구간을 기반으로 하는 동영상 검색방법과 검색 데이타 구조를 제공한다.

본 발명은 드라마나 영화의 전체 줄거리가 드라마나 영화를 실질적으로 구성하는 단위사건들의 집합 형태로 표현되므로 기존의 키프레임 기반의 내용요약 및 검색방법과 같이 동영상 스토리 전개를 단순히 대표장면 만으로 표현하는데 따른 제약을 해소할 수 있고, 드라마나 영화의 내용을 단위사건과 단위사건의 결합관계로부터 일목요연하게 요약 및 검색할 수 있다.

또한, 드라마나 영화의 전체 줄거리를 단위사건별 사건문단들로 구성하여 각 문단이 의미하는 사건별로 구간을 나누고 그 구간내에서 내용을 각각 브라우징 하므로, 종래의 대부분의 방법에서 나타나는 방대한 내용 전체를 키프레임이나 기타 브라우징 방법을 사용해서 표현함으로써 발생하는 검색도구의 복잡성, 난이함 등의 문제를 해결하고, 쉽고 간편하게 동영상 내용을 요약 및 검색할 수 있다.

또한 본 발명은 드라마, 영화와 같은 종류의 동영상에 적용하여 사용자가 원하는 내용을 단위사건별로 검색할 수 있기 때문에 사건전개의 스토리를 스토리 전개의 전후관계와 함께 전체 줄거리를 배경으로 하는 부분 줄거리의 형태로 요약 및 검색할 수 있다.

또한 본 발명은 복수개의 비디오 파일들의 내용을 하나의 단위사건들의 집합관계로 표현한 구조와, 각각의 비디오 파일 내용을 하나의 단위사건들의 집합관계로 표현한 구조를 모두 가지고, 복수개의 비디오 파일 전체 내용을 전체에 대한 사건문단으로부터 개략적으로 검색하고 하나의 비디오 파일 내용은 해당 사건문단으로부터 세부적으로 검색을 수행할 수 있으므로, 복수개의 비디오 파일에 대한 일괄 검색을 가능하게 한다.

Claims (10)

1. 동영상 내용의 전체 줄거리를 동영상을 구성하는 의미있는 사건의 단위로서 단위사건별로 구분하여 하나의 단위사건을 나타내는 사건문단의 집합으로 구성하고, 상기 각각의 사건문단에 해당하는 동영상 구간을 지시하는 정보를 설정하고, 상기 동영상 구간에 해당하는 단위사건별 사건내용을 요약하는 정보를 설정하여 이루어짐을 특징으로 하는 사건구간을 기반으로 하는 동영상 검색 데이타 구조.
2. 제 1 항에 있어서, 상기 단위사건을 나타내는 사건문단은 텍스트를 포함하는 것을 특징으로 하는 사건구간을 기반으로 하는 동영상 검색 데이타 구조.
3. 제 1 항에 있어서, 상기 단위사건을 나타내는 사건문단은 해당 단위사건을 대표하는 장면을 포함하는 것을 특징으로 하는 사건구간을 기반으로 하는 동영상 검색 데이타 구조.
4. 동영상 내용의 전체 줄거리를 동영상을 구성하는 의미있는 사건의 단위로서 단위사건별로 구분하여 하나의 단위사건을 나타내는 사건문단의 집합으로 구성하고, 상기 각각의 사건문단에 해당하는 동영상 구간을 지시하는 정보를 설정하는 검색정보 설정과정과, 상기 설정된 검색정보에 따른 단위사건 문단중에서 임의의 단위사건을 선택하면 그 것에 응답하여 해당 동영상 구간에 대한 정보를 표현하는 검색정보 표시과정으로 이루어짐을 특징으로 하는 사건구간을 기반으로 하는 동영상 검색방법.
5. 제 4 항에 있어서, 상기 단위사건을 나타내는 사건문단의 집합을 복수개의 비디오 파일 전체의 줄거리를 구성하는 사건단위로서 설정함과 함께 각각의 비디오 파일의 줄거리를 구성하는 사건단위로서 설정하고, 복수개의 비디오 파일 전체에 대한 사건문단들로부터 복수개의 비디오 파일 전체에 대한 사건구간 기반의 내용검색을 수행하고 각각의 비디오 파일에 대한 사건문단들로부터 각각의 비디오 파일에 대한 사건구간 기반의 내용검색을 수행하는 것을 특징으로 하는 사건구간을 기반으로 하는 동영상 검색방법.
6. 제 4 항 또는 제 5 항에 있어서, 상기의 사건문단에 해당하는 부분을 선택하면 그 단위사건에 해당하는 구간만의 내용이 임의의 브라우징 방법에 의해서 표현되는 것을 특징으로 하는 사건구간을 기반으로 하는 동영상 검색방법.
7. 제 4 항 또는 제 5 항에 있어서, 상기의 사건문단에 해당하는 부분을 선택하면 그 단위사건에 해당하는 구간만의 내용이 키프레임 나열식 방법, 씬 트랜지션 그래프 또는 인물-장소 관계그래프의 설정된 형태로 표현되는 것을 특징으로 하는 사건구간을 기반으로 하는 동영상 검색방법.
8. 동영상 내용의 전체 줄거리를 단위사건을 나타내는 사건문단의 집합으로 표현하고, 상기 단위사건 문단중에서 임의의 단위사건 문단을 선택하면 그 것에 응답하여 해당 사건문단의 동영상 구간에 대한 정보를 표현하는 것을 특징으로 하는 사건구간을 기반으로 하는 동영상 검색 브라우저.
9. 제 8 항에 있어서, 상기 동영상 구간에 대한 정보는 임의의 브라우징 방법에 의해서 표현되는 것을 특징으로 하는 사건구간을 기반으로 하는 동영상 검색 브라우저.
10. 제 8 항 또는 제 9 항에 있어서, 상기 동영상 구간에 대한 정보는 키프레임 나열식 방법, 씬 트랜지션 그래프 또는 인물-장소 관계 그래프의 설정된 형태로 펴현되는 것을 특징으로 하는 사건구간을 기반으로하는 동영상 검색 브라우저.