KR100518846B1 - 내용기반 동영상 검색 및 브라우징을 위한 동영상 데이타 구성방법 - Google Patents

내용기반 동영상 검색 및 브라우징을 위한 동영상 데이타 구성방법 Download PDF

Info

Publication number
KR100518846B1
KR100518846B1 KR10-1999-0035687A KR19990035687A KR100518846B1 KR 100518846 B1 KR100518846 B1 KR 100518846B1 KR 19990035687 A KR19990035687 A KR 19990035687A KR 100518846 B1 KR100518846 B1 KR 100518846B1
Authority
KR
South Korea
Prior art keywords
information
event
video
relationship
describing
Prior art date
Application number
KR10-1999-0035687A
Other languages
English (en)
Other versions
KR20010019341A (ko
Inventor
송정민
이진수
Original Assignee
엘지전자 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 엘지전자 주식회사 filed Critical 엘지전자 주식회사
Priority to KR10-1999-0035687A priority Critical patent/KR100518846B1/ko
Priority to AU67383/00A priority patent/AU6738300A/en
Priority to PCT/KR2000/000967 priority patent/WO2001015015A1/en
Publication of KR20010019341A publication Critical patent/KR20010019341A/ko
Application granted granted Critical
Publication of KR100518846B1 publication Critical patent/KR100518846B1/ko

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/23412—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs for generating or manipulating the scene composition of objects, e.g. MPEG-4 objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/51—Indexing; Data structures therefor; Storage structures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/74—Browsing; Visualisation therefor
    • G06F16/745—Browsing; Visualisation therefor the internal structure of a single video sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/78—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/80—Information retrieval; Database structures therefor; File system structures therefor of semi-structured data, e.g. markup language structured data such as SGML, XML or HTML
    • G06F16/81—Indexing, e.g. XML tags; Data structures therefor; Storage structures
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/20—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video object coding
    • H04N19/25—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video object coding with scene description coding, e.g. binary format for scenes [BIFS] compression
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/235—Processing of additional data, e.g. scrambling of additional data or processing content descriptors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/435—Processing of additional data, e.g. decrypting of additional data, reconstructing software from modules extracted from the transport stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/8126—Monomedia components thereof involving additional data, e.g. news, sports, stocks, weather forecasts
    • H04N21/8133—Monomedia components thereof involving additional data, e.g. news, sports, stocks, weather forecasts specifically related to the content, e.g. biography of the actors in a movie, detailed information about an article seen in a video program
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/84—Generation or processing of descriptive data, e.g. content descriptors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/845—Structuring of content, e.g. decomposing content into time segments
    • H04N21/8456—Structuring of content, e.g. decomposing content into time segments by decomposing the content in the time domain, e.g. in time segments
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/42204—User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H04N21/4312—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations
    • H04N21/4316—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations for displaying supplemental content in a region of the screen, e.g. an advertisement in a separate window
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/482—End-user interface for program selection
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/91—Television signal processing therefor
    • H04N5/92—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N5/926—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback by pulse code modulation

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Signal Processing (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Databases & Information Systems (AREA)
  • Software Systems (AREA)
  • Library & Information Science (AREA)
  • Human Computer Interaction (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

본 발명은 영화나 드라마 등과 같은 동영상 자원에서 내용을 기반으로 하여 동영상을 검색 및 브라우징할 수 있도록 한 동영상 데이타 구성방법에 관한 것이다.
본 발명은 사용자가 동영상 내용을 보다 쉽게 검색하여 볼 수 있도록 하기 위하여, 등장인물들 사이의 관계나 사건전개에 따라 달라지는 인물들 사이의 관계변화를 제시하고, 그 관계나 관계변화를 선택하면 해당 관계나 관계변화와 관련된 구간의 동영상을 보여줄 수 있도록 하며, 또한 본 발명은 동영상을 단위 사건을 의미하는 사건 문단들의 집합인 전체 줄거리로 표현하고, 각 문단이 나타내는 부분 구간별로 내용기반 검색 및 브라우징을 실시할 수 있기 때문에, 명확하고 효과적인 검색 및 브라우징을 가능하게 하며, 또한 본 발명은 동영상의 내용을 주요 오브젝트와 장소 및 사건이라는 요소의 관계로 표현함으로써 이러한 요소들의 관계로부터 사용자가 원하는 내용을 보다 쉽게 요약하여 찾아 볼 수 있도록 하였다.

Description

내용기반 동영상 검색 및 브라우징을 위한 동영상 데이타 구성방법{VIDEO DATA CONSTRUCTION METHOD FOR VIDEO BROWSING BASED ON CONTENT}
본 발명은 동영상의 내용을 인물간의 관계 및 오브젝트와 장소, 사건이라는 관점에서 관계를 정의하여 보다 쉽게 동영상 내용을 요약하고 또 찾아볼 수 있도록 하기 위한 동영상 검색 시스템으로서; 내용기반 동영상 검색 및 브라우징을 위한 동영상 인덱싱 방법 및 데이타 구성방법에 관한 것이다.
종래의 영화나 드라마의 시청 방법은 방송국에서 방송하는 영상 및 음성신호를 그대로 수신해서 보거나, 영화관에서 상영하는 영화를 관람하는 방식으로 시청하였다.
그러나, 사용자는 자신이 원하는 영화나 드라마 혹은 특정 부분(구간)만을 시청하고자 하는 의도를 가질 수 있으며, 각종 영상매체와 기술의 발달로 이와같이 사용자가 원하는 영화나 드라마 혹은 특정 부분만을 선택하여 시청하게 하는 다양한 기술들이 제시되고 있다.
예를 들면, 각종 비디오 자료를 형태군, 색인군, 매체군, 분절군, 대상군, 표현군의 단위로 표현하고, 대상군과 표현군에서 각종 등장인물이나 사물에 대한 정보(대상의 명칭, 화면위에서의 위치, 비디오 자료상에서 그 대상이 나타나는 부분에 대한 수치적인 정보 등)를 나타내어, 사용자가 원할때 그 대상군의 표를 통하여 대상을 선택하면 그 대상이 나타나는 비디오상에서의 특정 부분을 재생시켜 주는 기술이 있다.
또다른 종래의 기술로는, 비디오 자료에 대한 각종 부가적인 정보를 비디오 자료의 제작전에, 혹은 제작중에, 혹은 제작후에 획득하여 이 부가정보들에 대한 표를 구성하여 제공하는 기술이 있다.
상기 부가정보 표에는 배우가 나오는 위치, 그 배우의 배역이 나오는 위치, 소품이 나오는 위치 등을 기록하였으며, 사용자가 그 대상을 상기 부가정보 표로부터 원하는 내용을 선택하면 원하는 장면을 재생해 주고, 원하는 대상이 소품이면 그 소품에 대한 정보(제작사, 가격 등)를 표시하고, 나아가서 그 소품의 제작/판매사로의 네트워크 연결이 가능하게 하는 기술로서 제시되었다.
또다른 종래의 기술로는, 비디오 자료 각 부분에 대한 정보를 담은 비디오 부분지도를 제시하는 기술이 있다.
즉, 비디오 부분지도에는 비디오의 각 부분에 대한 정보(폭력성의 정도, 선정성의 정도, 내용상의 중요도, 등장인물, 위치, 이해의 난이도에 대한 정보)를 표시하고, 사용자는 프로그램 내용 지도의 비디오 부분지도의 해당하는 항목에 대한 선호도를 기입하여, 비디오 자료의 원하는 부분만 재생시키거나, 혹은 확인되지 않은 사용자에게 특정 내용을 전송시키지 않도록 제한하는 방법을 나타내었다.
또다른 종래기술로는, 동영상의 샷(Shot)들의 시간적인 연결 그래프를 나타내주는 기술이 있다.
그러나, 동영상의 샷들의 시간적인 연결 그래프를 보는 것 만으로는, 대표장면 몇몇을 가지고 동영상 내용 자체를 이해하기를 요구하는 것이나 다름없어서 실제로 그 동영상의 내용전개를 일목요연하게 이해하기 어렵다.
앞에서 설명한 종래의 동영상 검색기술들은 주로 영화나 드라마에 나타나는 대상에 대하여 단순하게 여러 정보들을 나열한 항목을 보여주고 있으며, 사용자의 선택을 받아들여 그에 대한 응답을 수행하는 방법을 도입하고 있다.
그러나, 영화나 드라마의 내용전개는 등장인물과 등장인물 사이에서 이루어지고, 또 그들이 등장하는 장소와, 인물-장소-사건-각각의 관계 및 그 변화 등에 따라서 이해되어야 하므로, 영화나 드라마와 같은 동영상 내용을 쉽게 검색하기 위해서는 단순히 나열된 여러개의 항목중의 하나를 선택하여 보는 정도로는 동영상 전개의 내용검색이 일목요연할 수 없고, 동영상의 내용을 실질적으로 이끌어가는 사건전개에 따른 등장인물들의 관계와 그 변화, 사건 전개의 배경이 되는 장소와의 관계를 중심으로 하는 동영상 이해가 어렵다.
본 발명은 사용자가 동영상의 내용을 보다 쉽게 검색하고 또 이해할 수 있도록 동영상 내용을 기반으로 하는 동영상 브라우징 시스템을 제공한다.
본 발명은 동영상의 내용을 실제로 이끌어가는 주요 등장인물과 등장인물들 사이의 관계나 사건 전개에 따라 변화되는 관계를 나타내 줌으로써, 사용자가 영화나 드라마의 등장인물들 사이의 관계를 일목요연하게 파악할 수 있도록 한 내용기반 동영상 검색 및 브라우징을 위한 동영상 인덱싱 방법 및 데이타 구성방법을 제공한다.
또한, 본 발명은 동영상의 내용을 실제로 이끌어가는 주요 등장인물이나, 등장인물들 사이의 관계와 그 관계변화에 관련하여 나타나는 동영상 부분을 사용자가 쉽게 검색하여 볼 수 있도록 한 내용기반 동영상 검색 및 브라우징을 위한 동영상 인덱싱 방법 및 데이타 구성방법을 제공한다.
또한, 본 발명은 동영상의 내용을 주요 오브젝트와, 장소, 사건 이라는 요소의 관계로 표현함으로써, 동영상의 실질적 내용을 보다 쉽게 검색하여 볼 수 있도록 한 내용기반 동영상 검색 및 브라우징을 위한 동영상 인덱싱 방법 및 데이타 구성방법을 제공한다.
또한 본 발명은 동영상의 전체 내용을 요약해 주는 방법으로 사용자가 쉽게 동영상 전체 내용을 파악할 수 있고, 필요에 따라 특정 사건의 전개에 관련된 부분을 검색하여 볼 수 있도록 한 내용기반 동영상 검색 및 브라우징을 위한 동영상 인덱싱 방법 및 데이타 구성방법을 제공한다.
본 발명의 내용기반 동영상 검색 및 브라우징을 위한 동영상 데이타 구성방법은 동영상의 내용 즉, 극 전개를 실질적으로 이끌어가는데 중요한 영향을 미치는 요소들 사이의 관계를 중심으로 하여 동영상을 내용기반으로 검색하여 볼 수 있도록 하기 위하여; 동영상 내용(극 전개)을 구성하는 요소로서 (a). 오브젝트와 사건, (b), 오브젝트로서 등장인물과 사건, (c). 오브젝트와 그 오브젝트의 배경이 되는 장소, (d). 오브젝트로서 등장인물과 장소와 사건, (e). 동영상 내용의 줄거리를 의미있는 정보로 보고,
상기 각각의 요소들 사이의 관계(극전개에 따라 변화되는 관계도 고려한다)와 표현을 중심으로 하여 동영상 내용을 표현하고 이 표현된 요소 사이의 관계로부터 선택되는 해당 사건구간의 내용을 검색하여 볼 수 있도록 한다.
본 발명의 내용기반 동영상 검색 및 브라우징을 위한 동영상 데이타 구성방법은 동영상을 상기 각 요소의 '관계중심' 내용기반으로 검색 및 브라우징 하기 위하여, 동영상의 실제 구간을 나타내는 정보와 동영상 내용(상기 각 요소가 기여하는)을 나타내는 정보와, 상기 동영상 내용을 나타내는 정보에 상기 각 요소 사이를 연결하여 상기 동영상의 실제 구간을 나타내는 정보를 지시하는 연결정보를 포함하여 이루어지는 것을 특징으로 한다.
본 발명의 내용기반 동영상 검색 및 브라우징을 위한 동영상 데이타 구성방법에서는, 등장인물들 사이의 관계와 그 관계의 변화를 상기 의미정보에 포함시키고, 상기 등장인물들 사이의 관계와 그 관계의 변화에 해당하는 동영상 구간을 지시하여 연결하는 정보를 포함함으로써, 동영상 내용을 등장인물들 사이의 관계와 그 관계변화를 중심으로 하여 해당 관계가 드러나는 사건 구간을 검색하여 볼 수 있도록 하는데 그 특징이 있다.
또한 본 발명의 내용기반 동영상 검색 및 브라우징을 위한 동영상 데이타 구성방법에서는, 동영상을 구성하는 요소로서 오브젝트와 그 오브젝트가 등장하는 장소와의 관계를 표현하는 정보를 상기 의미정보에 포함시키고, 상기 오브젝트와 장소와의 관계에 해당하는 동영상 구간을 지시하여 연결하는 정보를 포함함으로써, 동영상 내용을 오브젝트와 장소와의 관계를 중심으로 하여 해당 관계가 드러나는 사건 구간을 검색하여 볼 수 있도록 하는데 그 특징이 있다.
또한 본 발명의 내용기반 동영상 검색 및 브라우징을 위한 동영상 데이타 구성방법에서는, 동영상을 구성하는 요소로서, 동영상 전체의 내용을 단위 사건에 대응하는 문단의 집합으로 표현하고, 각 사건문단에 대응하는 사건 내용을 검색하여 볼 수 있도록 하는데 그 특징이 있다.
이하, 첨부된 도면을 참조하여 본 발명의 내용기반 동영상 검색 및 브라우징을 위한 동영상 데이타 구성방법의 실시예로서 보다 상세하게 설명한다.
도1은 본 발명을 실시한 동영상 검색 브라우저를 나타낸 도면으로서; 동영상 내용상의 등장인물들 사이의 관계와 그 관계변화 데이타 구성을 이용해서 동영상을 쉽게 이해하고 검색하는 방법이다.
이 브라우저에는 인물관계 화면과, 주요 장면 화면, 주화면이 제시되는데, 등장인물 화면(101)에는 동영상에 등장하는 전체 등장인물들을 보여주고, 관계화면(102)에는 등장인물 화면(101)에서 선택된 인물과 관계를 가지는 다른 등장인물 및 그와의 관계와 관계변화를 보여준다.
이때, 한 등장인물과 다른 등장인물의 고정된 관계를 관계계층의 상단에 보여주고, 그 등장인물들 사이의 관계의 변화를 관계계층의 하단에 보여준다.
주요장면 화면(103)에는 관계화면(102)에서 선택된 등장인물과의 고정관계나 변화관계가 나타나는 사건들에 대한 키프레임으로 사건을 보여주며, 주화면(104)에서는 주요장면 화면(103)에서 선택된 사건(키프레임으로 대표될 수 있다)에 해당하는 사건 구간을 재생하여 보여준다.
도1에서는 '인물1'을 선택하였을 때, 그 '인물1'과 관계된 다른 '인물2', '인물3'을 관계화면으로 보여주고, 여기서 '인물2'와의 '관계2'에 해당하는 사건구간을 키프레임으로 주요장면 화면(103)에서 보여주고, 여기서 선택되는 '장면10'에 해당하는 동영상 내용을 주화면에서 디스플레이해 주는 일예를 보여주고 있다.
도1과 같은 동영상 검색 브라우저는 도2와 같은 동영상 데이타 데이타 구성에 의해서 구현될 수 있다.
도2는 동영상 데이타 구조를 인물관계 중심으로 표현하기 위한 데이타 구성이다.
도2의 데이타 구성을 보면, 동영상 묘사정보(Visual Description Scheme)로서 비주얼DS(201)(Visual DS)는 신택틱DS(202)(Syntactic Structure DS), 시맨틱DS (203)(Semantic Structure DS)의 데이타 구성을 포함하고 있다.
신택틱DS(202)는 실제 동영상 구간을 의미하는 정보를 기술하며, 시맨틱DS(203)는 동영상의 의미적인 정보를 기술한다.
신택틱DS(202)는 실제 동영상 구간인 세그먼트DS(Segment DS)(204)들로 이루어지며, 타임DS(Time DS)(205)를 통해 그 시간적 위치를 나타내는 데이타 구성을 이룬다.
시맨틱DS(203)는 사건을 의미하는 이벤트DS(206), 등장인물이나 장소와 같은 오브젝트 정보를 나타내는 오브젝트DS(Object DS)(207), 그리고 등장인물들 사이의 고정관계나, 변화된 관계나, 사건과의 관계 등을 표현하는 이벤트/오브젝트 관계DS(Event/Object Relation Graph DS)(208)를 가진다.
이벤트DS(206)는 특정한 사건이 선택되면 그 사건에 해당하는 구간 자체를 디스플레이 하기 위해서, 해당 사건을 만족하는 세그먼트를 가리키는 참조 세그먼트 정보(Reference to Segment)(209)를 가지고 사건과 사건의 동영상 데이타 상에서의 실제 위치를 연결하며, 사건 설명을 위한 사건설명DS(Annotation DS)(210)로 이루어진다.
오브젝트DS(207)는 등장인물의 세부정보를 기술하기 위한 오브젝트 설명DS (Annotation DS)(211)를 가지고 있다.
이벤트/오브젝트 관계DS(212)의 실재관계(Entity Relation)(212)의 재귀연결(return)은 실재관계의 계층(tree) 구조화(하나의 관계가 하위 관계를 가짐)를 가능하게 하는데, 본 발명에서는 도1의 인물관계화면을 구현하기 위해서, 계층의 상단에 등장인물들 사이의 고정관계를 기술하고, 계층의 하단에 변환관계를 기술한다.
실재관계(212)의 관계정보(213)에는 관계유형(Type)(214)과 관계명칭(Name) (215)을 표현해서, '가족관계'-'배우자'와 같은 정보를 기술한다.
그리고, 참조 오브젝트 정보(Reference to Object)(216)로서 관련 등장인물을 서로 연결하며, 참조 이벤트 정보(Reference to Event)(217)로서 특정 관계가 나타나는 사건과의 연결을 표현한다.
따라서, 도2와 같은 동영상 데이타 구성을 가지고 도1과 같은 비디오 브라우징을 수행할 수 있게 된다.
즉, 오브젝트DS(207)에 의해서 등장인물 화면(101)상에 등장인물들이 디스프레이되고, '인물1'을 선택하면 이벤트/오브젝트 관계DS(208)의 실재관계(212)-관계정보(213)-타입정보(214)-관계명칭정보(215)-참조 오브젝트정보(216)로부터 '인물1'과 관계된 다른 등장인물들과 그 관계의 변화가 인물관계 화면(102)에 디스플레이되고, 여기서 '인물2'와의 '관계2'를 선택하면 참조 이벤트 정보(217)-이벤트DS(206)로부터 '인물1'과 '인물2'의 '관계2'에 해당하는 사건구간의 키프레임 들이 주요장면 화면(103)에 디스플레이되고, 여기서 '장면10'을 선택하면 참조 세그먼트 정보(209)-세그먼트DS(204)-타임DS(205)로부터 주화면(104)에 '장면10'에 해당하는 사건구간을 상영한다.
도3은 본 발명의 또다른 실시예로서 동영상 검색 브라우저를 보여준다.
도5의 경우는 오브젝트-장소 관계를 기반으로 하는 동영상 검색 브라우저로서, 동영상을 사건 문단으로 이루어진 전체 줄거리로 표현하고, 각 문단이 가리키는 부분 구간에 대한 정보를 오브젝트와의 관계 그래프로 표현한 것을 보여주고 있다.
즉, 관계화면(301)에는 사건 문단들의 집합으로 구성된 전체 줄거리(302)에서 특별히 사용자가 선택한 사건 문단이 가리키는 부분 구간에 대한 오브젝트와 장소와의 관계 그래프를 보여주고, 여기서 선택된 특정 관계에 해당하는 내용을 텍스트 화면(303)에 키프레임과 함께 간단한 설명으로 보여주는 것이다.
도3에서 관계화면(301)의 좌측열에는 등장인물을 보여주고 있으며, 우측열에는 장소를 보여주고 있으며, 등장인물과 장소를 연결하는 선은 그 인물과 장소가 관계있다는 것을 의미하며, 여기서 선택된 적어도 하나의 관계를 만족하는 세부 사건 구간들에 대한 정보가 키프레임과 텍스트로 제시되는 실시예를 보인 것이다.
도4는 본 발명의 내용기반 동영상 검색 및 브라우징을 위한 동영상 인덱싱 방법 및 데이타 구성방법의 또다른 실시예로서, 앞에서 설명한 도3과 같은 오브젝트-장소 관계 그래프(OPRG:Object Place Relation Graph)를 실시하기 위한 데이타 구성을 보인 것이다.
비디오 정보구조(Video Structure)(401)는 신택틱 정보(402)와 시맨틱 정보(403)로 이루어지고 있는데, 신택틱 정보(402)에는 실제 동영상 구간을 의미하는 세그먼트의 집합(Segment Set)(404)을 가지고 있어서, 각각의 세그먼트 정보(405)에 대해 해당 구간의 시간정보(406)와 대표 프레임 정보(Shot)(407)로서 실재 동영상 구간의 상영을 가능하게 한다.
그리고, 시맨틱 정보(403)는 사건을 기술하는 이벤트 정보(408)와 등장인물 등을 기술하는 오브젝트 정보(409)를 포함한다.
이벤트 정보(408)는 해당 사건구간에 대한 실재 동영상 구간을 연결하기 위한 연결정보로서 참조 세그먼트 정보(410)를 가지며, 또한 해당 사건의 설명을 위한 사건설명 정보(411)를 가진다.
이벤트 정보(408)는 세부 정도가 다른 계층구조를 가질 수 있다.
오브젝트 정보(409) 또한 계층구조를 가질 수 있으며, 등장인물(오브젝트가 인물인 경우)을 해당 사건 구간과 연결하기 위한 참조 세그먼트 정보(412)를 가지고 있고, 오브젝트의 유형을 기술하는 오브젝트 타입정보(413)과 그 설명정보(414)를 가진다.
오브젝트 타입정보(413)에는 오브젝트가 인물인지 혹은 장소인지를 구분하는 정보가 기술될 수 있고, 도3과 같은 브라우징을 위해서 오브젝트와 장소, 사건 구간의 연결을 이벤트와 오브젝트에 포함된 참조 세그먼트 정보(410)(412)를 이용해서 수행할 수 있게된다.
즉, 특정 오브젝트와 장소가 같은 세그먼트를 참조하고 있으면 이들은 관계를 갖고 있는 것이다.
그러므로, 특정한 오브젝트와 장소와의 관계가 선택되면 해당 관계에 대응하는 사건 구간을 보여주기 위해서, 상기 오브젝트 참조 세그먼트 정보(412)와 이벤트 참조 세그먼트 정보(410)가 연결하는 세그먼트 정보(404)(405)(406)(407)를 이용해서 해당 오브젝트-장소 관계의 사건구간을 상영할 수 있게 되는 것이다.
도5는 본 발명의 내용기반 동영상 검색 및 브라우징을 위한 동영상 인덱싱 방법 및 데이타 구성방법의 또다른 실시예로서, 앞에서 설명한 도3과 같은 오브젝트-장소 관계 그래프(OPRG:Object Place Relation Graph)를 실시하기 위한 데이타 구성의 또다른 실시예를 보인 것이다.
비디오 정보구조(Video Structure)(501)는 신택틱 정보(502)와 시맨틱 정보(503)로 이루어지고 있는데, 신택틱 정보(502)에는 실제 동영상 구간을 의미하는 세그먼트의 집합(Segment Set)(504)을 가지고 있어서, 각각의 세그먼트 정보(505)에 대해 해당 구간의 시간정보(506)와 대표 프레임 정보(Shot)(507)로서 실재 동영상 구간의 상영을 가능하게 한다.
그리고, 시맨틱 정보(503)는 사건을 기술하는 이벤트 정보(508)와 등장인물 등을 기술하는 오브젝트 정보(509)를 포함한다.
이벤트 정보(508)는 해당 사건구간에 대한 실재 동영상 구간을 연결하기 위한 연결정보로서 참조 세그먼트 정보(510)를 가지며, 또한 해당 사건의 설명을 위한 사건설명 정보(511)를 가진다.
이벤트 정보(508)는 세부 정도가 다른 계층구조를 가질 수 있다.
오브젝트 정보(509) 또한 계층구조를 가질 수 있으며, 등장인물(오브젝트가 인물인 경우)을 해당 사건 구간과 연결하기 위한 참조 세그먼트 정보(512)를 가지고 있고, 오브젝트의 유형을 기술하는 오브젝트 타입정보(513)과 그 설명정보(514)를 가진다.
오브젝트 타입정보(513)에는 오브젝트가 인물인지 혹은 장소인지를 구분하는 정보가 기술될 수 있다.
그리고, 도4의 데이타 구성에 비하여, 오브젝트-장소와의 연결관계의 효율성을 위해서 별도의 이벤트/오브젝트 관계DS(515)를 가진다.
즉, 이벤트/오브젝트 관계DS(515)의 실재관계(516)에서, 참조 오브젝트 정보(Reference to Object)(517)로서 관련 등장인물을 서로 연결하며, 참조 이벤트 정보(Reference to Event)(518)로서 특정 관계가 나타나는 사건과의 연결을 표현함으로써, 직접 인물, 장소, 사건과의 연결관계를 표현한다.
이와같이 직접 인물,장소,사건과의 연결관계가 표현되므로 동영상 검색 브라우징을 위한 처리효율 측면에서 도3에 비하여 더 효율적일 수 있다.
그렇지만 이벤트/오브젝트 관계DS를 별도로 가지고 있기 때문에 동영상 검색 브라우징을 위한 저장공간(자료량)의 측면에서는 도3에 비하여 효율적이지 못할 수도 있다.
그러나, 도5의 동영상 데이타 구성에서는 오브젝트와 장소와의 관계 이름도 함께 명시할 수 있는 잇점을 가진다는 점에서 도4의 경우와 다르다.
도5의 동영상 데이타 구성에 의해서 오브젝트-장소 관계 브라우징을 수행한다면, 특정한 오브젝트와 장소와의 관계가 선택되면 해당 관계에 대응하는 사건 구간을 보여주기 위해서, 상기 참조 오브젝트 정보(517)와 참조 이벤트 정보(518)에 의해서 오브젝트 참조 세그먼트 정보(512)와 이벤트 참조 세그먼트 정보(510)가 연결하는 세그먼트 정보(504)(505)(506)(507)를 이용해서 해당 오브젝트-장소 관계의 사건구간을 상영할 수 있게 되는 것이다.
도6은 본 발명의 동영상 데이타 구성의 또다른 실시예로서, 동영상 내용을 단위 사건을 기술하는 사건 문단의 집합으로구성된 전체 줄거리로 표현하고, 각 사건구간을 기반으로 동영상을 검색하기 위한 기본 구성을 보이고 있다.
비디오 정보구조(Video Structure)(601)는 신택틱 정보(602)와 시맨틱 정보(603)로 이루어지고 있는데, 신택틱 정보(602)에는 실제 동영상 구간을 의미하는 세그먼트의 집합(Segment Set)(604)을 가지고 있어서, 각각의 세그먼트 정보(605)에 대해 해당 구간의 시간정보(606)와 대표 프레임 정보(Shot)(607)로서 실재 동영상 구간의 상영을 가능하게 한다.
그리고, 시맨틱 정보(603)는 사건을 기술하는 이벤트 정보(608)를 가지며, 이벤트 정보(608)는 해당 사건구간에 대한 실재 동영상 구간을 연결하기 위한 연결정보로서 참조 세그먼트 정보(609)를 가지며, 또한 해당 사건의 설명을 위한 사건설명 정보(610)를 가진다.
여기서, 이벤트 정보(608)는 세부 정도가 다른 계층구조를 가질 수 있으며, 가장 상위 레벨의 이벤트 설명들의 집합은 전체 줄거리를 구성하며, 각각의 문단(한 이벤트의 설명)은 해당 세그먼트에 연결된다.
이렇게 하면, 도3과 같이 전체 줄거리에서 선택된 해당 문단의 특정 동영상 구간이 선택될 수 있고, 동영상 구간이 선택되면 추가적으로 구성되어 있는 동영상 구간 요약정보를 이용해서(내용기반 동영상 브라우징을 위해서 필요한 나머지 데이타 구조(611)/도3에서 관계 그래프 화면(301) 및 사건설명 화면(303)을 브라우징 할 수 있는 구조를 이용해서) 그 구간의 줄거리 및 해당 구간의 동영상을 디스플레이 할 수 있게 된다.
도7은 앞에서 설명한 도6의 추가적으로 구성되어 있는 동영상 구간 요약정보로서 인물과 장소 사이의 연결관계 그래프로 표현하고 각 관계별로 세부 사건 구간을 살펴볼 수 있는 동영상 데이타 구성을 나타낸다.
도7의 데이타 구성을 보면, 동영상 묘사정보로서 비주얼DS(701)(Visual DS)는 신택틱DS(202)(Syntactic Structure DS), 시맨틱DS(703)(Semantic Structure DS)의 데이타 구성을 포함하고 있다.
신택틱DS(702)는 실제 동영상 구간을 의미하는 정보를 기술하며, 시맨틱DS(703)는 동영상의 의미적인 정보를 기술한다.
신택틱DS(702)는 실제 동영상 구간인 세그먼트DS(Segment DS)(704)들로 이루어지며, 타임DS(Time DS)(705)를 통해 그 시간적 위치를 나타내는 데이타 구성을 이룬다.
시맨틱DS(703)는 사건을 의미하는 이벤트DS(706), 등장인물이나 장소와 같은 오브젝트 정보를 나타내는 오브젝트DS(Object DS)(707), 그리고 등장인물들 사이의 고정관계나, 변화된 관계나, 사건과의 관계 등을 표현하는 이벤트/오브젝트 관계DS(Event/Object Relation Graph DS)(708)를 가진다.
이벤트DS(706)는 특정한 사건이 선택되면 그 사건에 해당하는 구간 자체를 디스플레이 하기 위해서, 해당 사건을 만족하는 세그먼트를 가리키는 참조 세그먼트 정보(Reference to Segment)(709)를 가지고 사건과 사건의 동영상 데이타 상에서의 실제 위치를 연결하며, 사건 설명을 위한 사건설명DS(Annotation DS)(710)로 이루어진다.
이와같이 세그먼트DS(704)와 이벤트DS(706)는 2레벨로 구성되어, 0레벨은 전체 줄거리를 구성하는 큰 단위의 사건과 구간을 정의하고, 1레벨은 선택된 인물, 장소와의 관계를 만족하는 세부 사건을 표현하는 사건과 구간을 정의한다.
오브젝트DS(707)는 각 인물, 장소 오브젝트를 해당 세그먼트에 연결하기 위한 연결정보로서 참조 세그먼트 정보(711)를 가지고 있으며, 오브젝트의 유형(인물인지 혹은 장소인지 등)을 기술하기 위한 오브젝트 타입정보(712)와, 오브젝트의 세부정보를 기술하기 위한 오브젝트 설명DS (Annotation DS)(713)를 가지고 있다.
이벤트/오브젝트 관계DS(708)의 실재관계(Entity Relation)(714)는 참조 오브젝트 정보(Reference to Object)(715)로서 관련 등장인물을 서로 연결하며, 참조 이벤트 정보(Reference to Event)(716)로서 특정 관계가 나타나는 사건과의 연결을 표현한다.
따라서, 도7의 동영상 데이타 구성에 의하면, 도3과 같이 전체 줄거리를 구성하는 문단 중에서 하나를 선택하면 그에 해당하는 0레벨의 세그먼트와 이벤트(사건)가 선택되고, 그 세그먼트에 연결된 오브젝트들을 사용해서 인물, 장소관계 그래프를 표시하고, 이 인물-장소와의 관계 그래프에서 하나의 관계가 선택되면 그 관계를 만족하는 1레벨의 세그먼트와 이벤트(사건)가 선택되는데, 여기서 관계의 만족이란 그 관계를 구성하는 인물과 장소가 동시에 연결하고 있는 1레벨의 세그먼트와 해당 이벤트(사건)를 의미한다.
도8은 본 발명의 동영상 데이타 구성의 또다른 실시예로서, 동영상을 등장인물들 간의 고정관계 및 사건 전개에 따른 인물간의 변환관계 중심으로 표현하고, 또는 주요 등장 오브젝트와 장소와의 관계 그래프로 표현한 후 각 관계를 만족하는 사건을 기술하고, 또는 동영상을 단위 사건을 의미하는 사건 문단의 집합인 전체 줄거리로 표현하고 각 사건 문단 단위로 구분되는 부분 구간에 대한 내용기반 검색 및 브라우징을 할 수 있는 동영상 데이타 구성을 보여준다.
도8의 데이타 구성을 보면, 동영상 묘사정보로서 비주얼DS(801)(Visual DS)는 신택틱DS(802)(Syntactic Structure DS), 시맨틱DS(803)(Semantic Structure DS)의 데이타 구성을 포함하고 있다.
신택틱DS(802)는 실제 동영상 구간을 의미하는 정보를 기술하며, 시맨틱DS(803)는 동영상의 의미적인 정보를 기술한다.
신택틱DS(802)는 실제 동영상 구간인 세그먼트DS(Segment DS)(804)들로 이루어지며, 타임DS(Time DS)(805)를 통해 그 시간적 위치를 나타내는 데이타 구성을 이룬다.
시맨틱DS(803)는 사건을 의미하며 해당 구간에 대한 연결정보를 포함하는 이벤트DS(806), 등장인물이나 장소와 같은 오브젝트와 해당 구간에 대한 연결정보를 포함하는 오브젝트DS(Object DS)(807), 그리고 등장인물들 사이의 고정관계나 변화된 관계, 혹은 주요 오브젝트와 장소의 그래프, 그리고 각 관계가 만족하는 사건과의 연결 정보등을 포함하는 이벤트/오브젝트 관계DS(Event/Object Relation Graph DS)(808)를 가진다.
이벤트DS(806)는 세부 정도가 다른 계층구조로 구성될 수 있는데, 특정한 사건이 선택되면 그 사건에 해당하는 구간을 디스플레이 하기 위해서, 해당 사건을 만족하는 세그먼트를 가리키는 참조 세그먼트 정보(Reference to Segment)(809)를 가지고 사건과 사건의 동영상 데이타 상에서의 실제 위치를 연결하며, 사건 설명을 위한 사건설명DS(Annotation DS)(810)로 이루어진다.
오브젝트DS(807)는 각 인물, 장소 오브젝트를 해당 세그먼트에 연결하기 위한 연결정보로서 참조 세그먼트 정보(811)를 가지고 있으며, 오브젝트의 유형(인물인지 혹은 장소인지 등)을 기술하기 위한 오브젝트 타입정보(812)와, 오브젝트의 세부정보를 기술하기 위한 오브젝트 설명정보(813)를 가지고 있다.
이벤트/오브젝트 관계DS(808)의 실재관계(Entity Relation)(814)의 재귀연결(return)은 실재관계의 계층(tree) 구조화(하나의 관계가 하위 관계를 가짐)를 가능하게 하는데, 예를 들면 계층의 상단에 등장인물들 사이의 고정관계를 기술하고, 계층의 하단에 변환관계를 기술한다.
실재관계(814)의 관계정보(815)에는 관계유형(Type)(816)과 관계명칭(Name) (817)을 표현해서, '가족관계'-'배우자'와 같은 정보를 기술한다.
그리고, 참조 오브젝트 정보(Reference to Object)(818)로서 관련 등장인물을 서로 연결하며, 참조 이벤트 정보(Reference to Event)(819)로서 특정 관계가 나타나는 사건과의 연결을 표현한다.
본 발명은 영화나 드라마의 등장인물과 그 관계를 중심으로 동영상을 검색할 수 있으므로 사용자가 보다 쉽게 영화나 드라마의 줄거리에 관계된 부분을 재생하여 볼 수 있다.
또한 본 발명은 동영상을 오브젝트, 장소, 사건과의 관계 그래프로 표현함으로써 동영상의 내용에 기반하는 동영상 인덱싱 및 브라우징 방법을 제시할 수 있다.
또한 본 발명은 동영상을 단위 사건을 의미하는 사건 문단들의 집합인 전체 줄거리로 표현하고, 각 문단이 나타내는 부분 구간별로 내용기반 검색 및 브라우징을 실시할 수 있기 때문에, 명확하고 효과적인 검색 및 브라우징을 가능하게 하고 있다.
또한 본 발명은 방송분야에서 VOD 시스템에 적용하여, 사용자가 원하는 부분만 전송하여 볼 수 있으므로 빠른 시간내에 관심있는 부분을 재생하여 볼 수 있고, 네트워크 자원의 활용면에서도 효율적이다.
또한 본 발명은 가정용, 방송용의 비디오 재생기에 적용하여, 저장된 영화나 드라마 또는 스포츠와 같이 다양한 종류의 동영상 자원의 원하는 부분을 쉽게 검색해 볼 수 있는 환경을 제공한다.
도1은 본 발명을 적용한 비디오 브라우저를 나타낸 도면
도2는 본 발명에서 동영상 데이타를 인물관계 중심으로 표현한 데이타 구성을 나타낸 도면
도3은 본 발명을 적용한 비디오 스토리 브라우저를 나타낸 도면
도4는 본 발명에서 동영상을 오브젝트-장소 관계 그래프로 표현하기 위한 데이타 구성을 나타낸 도면
도5는 본 발명에서 동영상을 오브젝트-장소 관계 그래프로 표현하기 위한 데이타 구성의 다른 실시예를 나타낸 도면
도6은 본 발명에서 동영상을 사건문단 집합으로 구성된 전체 줄거리로 표현한 후, 각 사건구간 기반으로 동영상 검색을 하기 위한 동영상 데이타 구성의 실시예를 나타낸 도면
도7은 본 발명에서 동영상 요약정보를 포함하는 동영상 데이타 구성의 실시예를 나타낸 도면
도8은 본 발명에서 동영상을 인물관계 중심으로 검색하기 위한 동영상 데이타 구성의 실시예를 나타낸 도면

Claims (20)

  1. (a). 동영상의 실제 구간을 기술하는 신택틱 정보와, 동영상의 의미정보를 기술하는 시맨틱 정보를 가지며,
    (b). 상기 신택틱 정보는 실제 동영상 구간인 세그먼트들로 이루어지고,
    (c). 상기 시맨틱 정보는 사건을 기술하기 위한 적어도 하나의 이벤트 정보, 오브젝트를 기술하기 위한 적어도 하나의 오브젝트 정보, 등장인물들 사이의 관계가 명시되는 이벤트/오브젝트 관계 정보를 가지고,
    (d). 상기 이벤트/오브젝트 관계 정보는; 등장인물들 사이의 고정관계 및 변환관계를 표현하고, 이 관계와 관련된 상기 이벤트 정보의 사건을 연결하는 정보를 가지고,
    상기 등장인물들 사이의 관계와 변환관계를 그래프로 표현하여, 상기 등장인물들 사이의 관계를 만족하는 동영상 구간을 검색하여 보여줄 수 있도록 한 것을 특징으로 하는 내용기반 동영상 검색 및 브라우징을 위한 동영상 데이타 구성방법.
  2. 제 1 항에 있어서, 상기 이벤트/오브젝트 관계 정보에서 표현되는 구성은 관계의 명칭을 나타내는 정보와, 관계된 등장인물들을 나타내는 정보와, 관계된 사건을 나타내는 정보로 이루어지는 것을 특징으로 하는 내용기반 동영상 검색 및 브라우징을 위한 동영상 데이타 구성방법.
  3. 제 1 항에 있어서, 상기 이벤트/오브젝트 관계 정보는 그 구조가 계층구조를 가지고, 계층구조의 상단에는 등장인물들 사이의 고정관계를 표현하고, 계층구조의 하단에는 등장인물들 사이의 변환관계를 표현하는 것을 특징으로 하는 내용기반 동영상 검색 및 브라우징을 위한 동영상 데이타 구성방법.
  4. (a). 동영상의 실제 구간을 기술하는 신택틱 정보와, 동영상의 의미정보를 기술하는 시맨틱 정보를 가지며,
    (b). 상기 신택틱 정보는 실제 동영상 구간인 세그먼트들로 이루어지고,
    (c). 상기 시맨틱 정보는 사건을 기술하기 위한 적어도 하나의 이벤트 정보를 가지며 이 이벤트 정보는 그 이벤트에 해당하는 상기 신택틱 정보의 동영상 세그먼트를 지시하는 정보를 가지고,
    (d). 상기 시맨틱 정보는 오브젝트를 기술하기 위한 적어도 하나의 오브젝트 정보를 가지며 이 오브젝트 정보는 그 오브젝트에 해당하는 상기 신택틱 정보의 동영상 세그먼트를 지시하는 정보를 가지고,
    상기 오브젝트와 장소와의 관계 그래프로 동영상을 표현하여, 상기 선택된 오브젝트와 장소와의 관계를 만족하는 동영상 구간을 검색하여 보여줄 수 있도록 한 것을 특징으로 하는 내용기반 동영상 검색 및 브라우징을 위한 동영상 데이타 구성방법.
  5. 제 4 항에 있어서, 동일한 세그먼트를 지시하고 있는 오브젝트 정보와 이벤트 정보는 연결 관계를 가지는 것을 특징으로 하는 내용기반 동영상 검색 및 브라우징을 위한 동영상 데이타 구성방법.
  6. 제 4 항에 있어서, 상기 오브젝트 정보는 오브젝트가 인물인지 혹은 장소인지를 나타내는 정보를 더 포함하는 것을 특징으로 하는 내용기반 동영상 검색 및 브라우징을 위한 동영상 데이타 구성방법.
  7. 제 4 항에 있어서, 상기 시맨틱 정보는 장소를 기술하기 위한 적어도 하나의 장소 정보를 가지며, 이 장소 정보는 상기 장소에 해당하는 상기 신택틱 정보의 동영상 세그먼트를 지시하는 정보를 가지는 것을 특징으로 하는 내용기반 동영상 검색 및 브라우징을 위한 동영상 데이타 구성방법.
  8. 제 7 항에 있어서, 상기 동일한 세그먼트를 지시하고 있는 오브젝트 정보와 이벤트 정보와 장소정보 들은 연결관계를 가지는 것을 특징으로 하는 내용기반 동영상 검색 및 브라우징을 위한 동영상 데이타 구성방법.
  9. (a). 동영상의 실제 구간을 기술하는 신택틱 정보와, 동영상의 의미정보를 기술하는 시맨틱 정보를 가지며,
    (b). 상기 신택틱 정보는 실제 동영상 구간인 세그먼트들로 이루어지고,
    (c). 상기 시맨틱 정보는 사건을 기술하기 위한 적어도 하나의 이벤트 정보, 오브젝트를 기술하기 위한 적어도 하나의 오브젝트 정보, 오브젝트와 장소 및 사건 사이의 관계가 명시되는 이벤트/오브젝트 관계 정보를 가지고,
    (d). 상기 이벤트/오브젝트 관계 정보는; 오브젝트와 장소 및 사건을 연결하는 관계를 표현하고, 이 관계와 관련된 상기 각 정보들을 연결하는 정보를 가지고,
    상기 오브젝트와 장소와의 관계 그래프로 동영상을 표현하여, 상기 선택된 오브젝트와 장소와의 관계를 만족하는 동영상 사건구간을 검색하여 보여줄 수 있도록 한 것을 특징으로 하는 내용기반 동영상 검색 및 브라우징을 위한 동영상 데이타 구성방법.
  10. 제 9 항에 있어서, 상기 이벤트/오브젝트 관계 정보에 의해서 표현되는 하나의 관계는 두개의 오브젝트를 지시하는 정보와 하나 이상의 사건을 지시하는 정보로 이루어지고, 상기 하나의 관계에 포함되어 있는 두개의 오브젝트를 지시하는 정보가 가리키는 두개의 오브젝트 중에서 하나의 오브젝트 타입은 인물 등의 주요 오브젝트를 표현하고, 다른 하나의 오브젝트 타입은 장소를 표현하는 것을 특징으로 하는 내용기반 동영상 검색 및 브라우징을 위한 동영상 데이타 구성방법.
  11. 제 9 항에 있어서, 상기 시맨틱 정보는; 사건을 기술하기 위한 적어도 하나의 이벤트 정보, 오브젝트를 기술하기 위한 적어도 하나의 오브젝트 정보, 장소를 기술하기 위한 적어도 하나의 장소 정보를 가지며, 상기 오브젝트와 장소 및 사건 사이의 관계가 명시되는 이벤트/오브젝트 관계 정보를 가지는 것을 특징으로 하는 내용기반 동영상 검색 및 브라우징을 위한 동영상 데이타 구성방법.
  12. 제 11 항에 있어서, 상기 이벤트/오브젝트 관계 정보에서 표현되는 하나의 관계는 하나의 오브젝트를 지시하는 정보와 하나의 장소를 지시하는 정보와 하나 이상의 사건을 지시하는 정보로 이루어지는 것을 특징으로 하는 내용기반 동영상 검색 및 브라우징을 위한 동영상 데이타 구성방법.
  13. (a). 동영상의 실제 구간을 기술하는 신택틱 정보와, 동영상의 의미정보를 기술하는 시맨틱 정보를 가지며,
    (b). 상기 신택틱 정보는 실제 동영상 구간인 세그먼트들로 이루어지고,
    (c). 상기 시맨틱 정보는 사건을 기술하기 위한 이벤트 정보들로 이루어지고,
    (d). 상기 하나의 이벤트 정보에는 동영상 내용을 텍스트로 기술하는 사건 문단을 나타내는 사건설명정보와, 실재 상기 신택틱 정보내의 포함된 동영상 세그먼트를 연결하는 정보를 포함하고,
    (e). 상기 상기 신택틱 정보내에 포함된 세그먼트 단위로 내용기반 브라우징을 할 수 있는 내용기반 정보를 포함하여, 동영상을 단위 사건을 나타내는 사건 문단들로 구성된 전체 줄거리로 표현하고, 하나의 사건 문단이 나타내는 사건별로 실제 동영상의 구간을 나누어 검색하여 볼 수 있도록 한 것을 특징으로 하는 내용기반 동영상 검색 및 브라우징을 위한 동영상 데이타 구성방법.
  14. (a). 동영상의 실제 구간을 기술하는 신택틱 정보와, 동영상의 의미정보를 기술하는 시맨틱 정보를 가지며,
    (b). 상기 신택틱 정보는 실제 동영상 구간인 세그먼트들로 이루어지고,
    (c). 상기 시맨틱 정보는; 사건을 기술하기 위한 적어도 하나의 이벤트 정보, 오브젝트를 기술하기 위한 적어도 하나의 오브젝트 정보, 장소를 기술하기 위한 적어도 하나의 장소 정보를 가지며, 상기 오브젝트와 장소 및 사건 사이의 관계가 명시되는 이벤트/오브젝트 관계 정보를 가지며,
    (d). 상기 이벤트/오브젝트 관계 정보는 오브젝트와 장소 및 사건을 연결하는 관계를 표현하고, 이 관계와 관련된 상기 각 정보들을 연결하는 정보를 가지고,
    (e). 상기 하나의 이벤트 정보에는 동영상 내용을 텍스트로 기술하는 사건 문단을 나타내는 사건설명정보와, 실재 상기 신택틱 정보내의 포함된 동영상 세그먼트를 연결하는 정보를 포함하고,
    (f). 상기 상기 신택틱 정보내에 포함된 세그먼트 단위로 내용기반 브라우징을 할 수 있는 내용기반 정보를 포함하여, 동영상을 단위 사건을 나타내는 사건 문단들로 구성된 전체 줄거리로 표현하고, 하나의 사건 문단이 나타내는 사건별로 실제 동영상의 구간을 나누어 검색하여 볼 수 있도록 한 것을 특징으로 하는 내용기반 동영상 검색 및 브라우징을 위한 동영상 데이타 구성방법.
  15. 제 14 항에 있어서, 상기 이벤트 정보는 사건 문단을 나타내는 상위레벨의 이벤트와 이벤트/오브젝트 관계 그래프에서 오브젝트, 장소, 사건과의 관계에 포함되는 세부적인 하위레벨의 이벤트로 구성되는 계층적 구조인 것을 특징으로 하는 내용기반 동영상 검색 및 브라우징을 위한 동영상 데이타 구성방법.
  16. (a). 동영상의 실제 구간을 기술하는 신택틱 정보와, 동영상의 의미정보를 기술하는 시맨틱 정보를 가지며,
    (b). 상기 신택틱 정보는 실제 동영상 구간인 세그먼트들로 이루어지고,
    (c). 상기 시맨틱 정보는; 사건을 기술하기 위한 적어도 하나의 이벤트 정보, 오브젝트를 기술하기 위한 적어도 하나의 오브젝트 정보를 가지며, 등장인물들 사이의 관계와, 오브젝트와 장소 및 사건 사이의 관계가 명시되는 이벤트/오브젝트 관계 정보를 가지며,
    (d). 상기 이벤트/오브젝트 관계 정보는; 오브젝트와 장소 및 사건을 연결하는 관계를 표현하고, 이 관계와 관련된 상기 각 정보들을 연결하는 정보를 가지고,
    (e). 상기 하나의 이벤트 정보에는 동영상 내용을 텍스트로 기술하는 사건 문단을 나타내는 사건설명정보와, 실재 상기 신택틱 정보내의 포함된 동영상 세그먼트를 연결하는 정보를 포함하여;
    (f). 동영상을 등장인물들 사이의 관계중심, 오브젝트와 장소와의 관계를 중심으로 하는 단위사건으로 기술, 단위 사건을 나타내는 사건 문단들로 구성된 전체 줄거리로 표현하고, 인물관계나 오브젝트와 장소관계나 사건 문단이 나타내는 사건별로 실제 동영상의 구간을 나누어 검색하여 볼 수 있도록 한 것을 특징으로 하는 내용기반 동영상 검색 및 브라우징을 위한 동영상 데이타 구성방법.
  17. 제 16 항에 있어서, 상기 이벤트/오브젝트 관계 정보에서 표현되는 하나의 관계는 두개의 오브젝트를 지시하는 정보와 하나 이상의 사건을 지시하는 정보로 이루어지고, 상기 관계를 기술하기 위한 관계타입과 관계이름을 포함하는 것을 특징으로 하는 내용기반 동영상 검색 및 브라우징을 위한 동영상 데이타 구성방법.
  18. 제 16 항에 있어서, 상기 이벤트 정보와 오브젝트 정보는 해당 동영상 구간을 연결하기 위한 상기 신택틱 정보의 동영상 세그먼트를 지시하는 정보를 가지는 것을 특징으로 하는 내용기반 동영상 검색 및 브라우징을 위한 동영상 데이타 구성방법.
  19. 제 16 항에 있어서, 상기 이벤트 정보는 동영상 내용검색의 상세 정도에 대응하여 계층적 구조를 가지는 것을 특징으로 하는 내용기반 동영상 검색 및 브라우징을 위한 동영상 데이타 구성방법.
  20. 제 16 항에 있어서, 상기 오브젝트 정보는 오브젝트가 인물인지 혹은 장소인지를 나타내는 정보를 더 포함하는 것을 특징으로 하는 내용기반 동영상 검색 및 브라우징을 위한 동영상 데이타 구성방법.
KR10-1999-0035687A 1999-08-26 1999-08-26 내용기반 동영상 검색 및 브라우징을 위한 동영상 데이타 구성방법 KR100518846B1 (ko)

Priority Applications (3)

Application Number Priority Date Filing Date Title
KR10-1999-0035687A KR100518846B1 (ko) 1999-08-26 1999-08-26 내용기반 동영상 검색 및 브라우징을 위한 동영상 데이타 구성방법
AU67383/00A AU6738300A (en) 1999-08-26 2000-08-25 Video data structure for video browsing based on content
PCT/KR2000/000967 WO2001015015A1 (en) 1999-08-26 2000-08-25 Video data structure for video browsing based on content

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR10-1999-0035687A KR100518846B1 (ko) 1999-08-26 1999-08-26 내용기반 동영상 검색 및 브라우징을 위한 동영상 데이타 구성방법

Publications (2)

Publication Number Publication Date
KR20010019341A KR20010019341A (ko) 2001-03-15
KR100518846B1 true KR100518846B1 (ko) 2005-09-30

Family

ID=19608820

Family Applications (1)

Application Number Title Priority Date Filing Date
KR10-1999-0035687A KR100518846B1 (ko) 1999-08-26 1999-08-26 내용기반 동영상 검색 및 브라우징을 위한 동영상 데이타 구성방법

Country Status (3)

Country Link
KR (1) KR100518846B1 (ko)
AU (1) AU6738300A (ko)
WO (1) WO2001015015A1 (ko)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100392257B1 (ko) * 2001-02-12 2003-07-22 한국전자통신연구원 비쥬얼 특징 기반의 스포츠 비디오 요약 생성방법
GB2374508A (en) * 2001-04-02 2002-10-16 Cedemo Ltd Integrated display of information on a screen
KR101274820B1 (ko) * 2011-02-24 2013-06-13 한국방송공사 위치정보 및 사물정보 연동형 방송 서비스 제공 장치

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5708767A (en) * 1995-02-03 1998-01-13 The Trustees Of Princeton University Method and apparatus for video browsing based on content and structure
KR20000038291A (ko) * 1998-12-05 2000-07-05 구자홍 등장인물들의 관계중심 동영상 검색 데이타 구조 및 검색방법
KR20010003386A (ko) * 1999-06-23 2001-01-15 정선종 의미 정보를 이용한 비디오 검색 장치 및 방법
KR20010004808A (ko) * 1999-06-29 2001-01-15 박웅규 의미 검색을 위한 동영상 인덱싱 방법
KR20010019343A (ko) * 1999-08-26 2001-03-15 구자홍 사건구간 기반 동영상 자료구조 및 동영상 검색 브라우저
KR20010019342A (ko) * 1999-08-26 2001-03-15 구자홍 등장인물 관계 기반 동영상 검색 브라우저

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0728689A (ja) * 1993-07-09 1995-01-31 Hitachi Ltd 情報処理装置
US5574845A (en) * 1994-11-29 1996-11-12 Siemens Corporate Research, Inc. Method and apparatus video data management

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5708767A (en) * 1995-02-03 1998-01-13 The Trustees Of Princeton University Method and apparatus for video browsing based on content and structure
KR20000038291A (ko) * 1998-12-05 2000-07-05 구자홍 등장인물들의 관계중심 동영상 검색 데이타 구조 및 검색방법
KR20010003386A (ko) * 1999-06-23 2001-01-15 정선종 의미 정보를 이용한 비디오 검색 장치 및 방법
KR20010004808A (ko) * 1999-06-29 2001-01-15 박웅규 의미 검색을 위한 동영상 인덱싱 방법
KR20010019343A (ko) * 1999-08-26 2001-03-15 구자홍 사건구간 기반 동영상 자료구조 및 동영상 검색 브라우저
KR20010019342A (ko) * 1999-08-26 2001-03-15 구자홍 등장인물 관계 기반 동영상 검색 브라우저

Also Published As

Publication number Publication date
KR20010019341A (ko) 2001-03-15
AU6738300A (en) 2001-03-19
WO2001015015A1 (en) 2001-03-01

Similar Documents

Publication Publication Date Title
KR100347710B1 (ko) 등장인물들의관계중심동영상검색데이터구성방법및검색방법
KR100350787B1 (ko) 멀티미디어 객체의 사용자 프로파일 생성방법과 사용자 프로파일을 이용한 멀티미디어 검색 및 브라우징 방법
US8892563B2 (en) Storage medium including metadata and reproduction apparatus and method therefor
KR100370247B1 (ko) 등장인물 관계 기반 동영상 검색 방법
US7181757B1 (en) Video summary description scheme and method and system of video summary description data generation for efficient overview and browsing
KR100371813B1 (ko) 효율적인 비디오 개관 및 브라우징을 위한 요약 비디오 기술구조 및 이의 기록매체, 이를 이용한 요약 비디오 기술 데이터 생성 방법 및 생성시스템, 요약 비디오 기술 데이터의 브라우징 장치 및 브라우징 방법.
JP2001320670A (ja) 合成キーフレームの生成方法及びそれを利用したビデオブラウジングシステム
JP2001157165A (ja) マルチメディアストリームのセグメント間の意味的連結情報の構成方法並びにこれを用いたビデオブラウジング方法
JP3574606B2 (ja) 映像の階層的管理方法および階層的管理装置並びに階層的管理プログラムを記録した記録媒体
JPH11288424A (ja) 映像インデックス情報を記録した記録媒体、映像インデックス情報を用いた映像情報管理方法、音声インデックス情報を記録した記録媒体および音声インデックス情報を用いた音声情報管理方法
KR100319158B1 (ko) 사건구간 기반 동영상 자료 생성방법 및 동영상 검색 방법
TWI301268B (en) Storage medium including meta information for search and device and method of playing back the storage medium
KR100518846B1 (ko) 내용기반 동영상 검색 및 브라우징을 위한 동영상 데이타 구성방법
KR100361499B1 (ko) 멀티미디어 스트림의 세그먼트간 원인/결과 관계 정보 구성 방법과 세그먼트간 원인/결과 관계 정보를 이용한 비디오 브라우징 방법
Adami et al. ToCAI: a framework for Indexing and Retrieval of Multimedia Documents
JP2001134614A (ja) 記述フレームワークを提供するために操作可能なシステム及びａｖコンテンツの概要をユーザに提供する方法
Adami et al. Multimedia documents description by ordered hierarchies: the ToCAI description scheme

Legal Events

Date Code Title Description
N231 Notification of change of applicant
A201 Request for examination
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20080618

Year of fee payment: 4

LAPS Lapse due to unpaid annual fee