KR20010028735A - 멀티미디어 스트림의 세그먼트간 요약/상세설명 관계 정보 구성 방법과 세그먼트간 요약/상세설명 관계 정보를 이용한 비디오 브라우징 방법 - Google Patents

멀티미디어 스트림의 세그먼트간 요약/상세설명 관계 정보 구성 방법과 세그먼트간 요약/상세설명 관계 정보를 이용한 비디오 브라우징 방법 Download PDF

Info

Publication number
KR20010028735A
KR20010028735A KR1019990041134A KR19990041134A KR20010028735A KR 20010028735 A KR20010028735 A KR 20010028735A KR 1019990041134 A KR1019990041134 A KR 1019990041134A KR 19990041134 A KR19990041134 A KR 19990041134A KR 20010028735 A KR20010028735 A KR 20010028735A
Authority
KR
South Korea
Prior art keywords
segment
information
detail
relationship
segments
Prior art date
Application number
KR1019990041134A
Other languages
English (en)
Other versions
KR100335817B1 (ko
Inventor
전성배
윤경로
Original Assignee
구자홍
엘지전자 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 구자홍, 엘지전자 주식회사 filed Critical 구자홍
Priority to KR1019990041134A priority Critical patent/KR100335817B1/ko
Priority to US09/666,283 priority patent/US7075591B1/en
Priority to JP2000289169A priority patent/JP2001157165A/ja
Publication of KR20010028735A publication Critical patent/KR20010028735A/ko
Application granted granted Critical
Publication of KR100335817B1 publication Critical patent/KR100335817B1/ko
Priority to JP2004238128A priority patent/JP4188889B2/ja
Priority to US11/159,165 priority patent/US8006267B2/en
Priority to US12/843,623 priority patent/US8234675B2/en
Priority to US12/843,601 priority patent/US8234674B2/en

Links

Classifications

    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/02—Editing, e.g. varying the order of information signals recorded on, or reproduced from, record carriers
    • G11B27/031—Electronic editing of digitised analogue information signals, e.g. audio or video signals
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/34—Indicating arrangements 
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
    • H04N21/440245—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display the reformatting operation being performed only on part of the stream, e.g. a region of the image or a time segment
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/84—Generation or processing of descriptive data, e.g. content descriptors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85—Assembly of content; Generation of multimedia applications
    • H04N21/854—Content authoring
    • H04N21/8549—Creating video summaries, e.g. movie trailer

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Computer Security & Cryptography (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Television Signal Processing For Recording (AREA)

Abstract

본 발명은 비디오 스트림을 효율적으로 브라우징하기 위하여 비디오 스트림의 세그먼트간 요약/상세설명 관계(abstract/detail relationships)를 기술하는 방법과 이를 이용한 효율적인 비디오 브라우징(browsing) 방법에 관한 것이다.
본 발명에서는 비디오 스트림내 또는 비디오 스트림간에 존재하는 세그먼트 또는 사건구간, 씬(scene), 샷(shot) 등간의 요약/상세설명 관계를 정의하고, 이를 비디오 스트림에 대한 내용기반 데이터 영역에 기술하는 방법과 이와 같은 방법에서 제공하는 세그먼트간 요약/상세설명 관계 정보를 이용한 비디오 브라우징 방법을 제안하여, 의미 중심의 효율적인 비디오 브라우징이 가능하며, 사용하기 쉽고, 원하는 부분을 쉽게 접근할 수 있으며, 짧은 시간내에 원하는 세그먼트들을 쉽게 브라우징할 수 있는 효율적인 비디오 브라우징 인터페이스를 제공하고자 하는 것이다.

Description

멀티미디어 스트림의 세그먼트간 요약/상세설명 관계 정보 구성 방법과 세그먼트간 요약/상세설명 관계 정보를 이용한 비디오 브라우징 방법{Method for representing abstract/detail relationship among segments in order to provide efficient browsing of video stream and video browsing method using the abstract/detail relationships among segments}
본 발명은 비디오 스트림을 효율적으로 브라우징하기 위하여 비디오 스트림의 세그먼트간 요약/상세설명 관계(abstract/detail relationships)를 기술하는 방법과 이를 이용한 효율적인 비디오 브라우징(browsing) 방법에 관한 것이다.
디지털 비디오 기술의 발달과 이미지 또는 비디오 인식 기술의 발달로 인하여 사용자들은 원하는 비디오나 비디오의 특정 세그먼트를 검색하여 쉽게 접근하고 브라우징할 수도 있으며, 요약본만을 검색하므로써, 짧은 시간내에 효율적으로 비디오의 전체내용을 이해할 수 도 있게 되었다.
전체 비디오를 요약하는 방법에는 장면을 대표할 수 있는 키프레임을 이용하여 이를 적절한 인터페이스를 이용하여 사용자에게 제공하는 방법과 요약 스트림(하이라이트)를 제공하는 방법이 있다.
키프레임을 이용하여 사용자에게 비디오에 대한 요약을 제공하는 방법은 실제의 응용에서는 한계가 있다.
즉, 너무 적은 수의 키프레임을 제공할 경우 사용자는 전체 비디오 스트림을 이해하기 매우 힘들며, 원하는 부분으로 이동하기도 쉽지 않으며, 반면 너무 많은 수의 키프레임을 제공하게 되면 많은 수의 키프레임이 오히려 저장공간이나 사용자의 브라우징 속도에 악영향을 미칠 수도 있다.
이에 여러가지 다른 접근 방식들이 시도되고 있는데, 그 예로 비디오 스트림을 계층적으로 분해(hierarchically decompose)하여 이를 표현하는 방법과 장면(scene)간의 시간축위에서의 관계(temporal relationships among scenes)를 기술하는 장면 전이 그래프(scene transition graph)를 제공하고 이를 이용하여 비디오에서 원하는 부분으로 이동하여 쉽게 원하는 부분만을 브라우징 할 수있도록 하는 사용자 인터페이스를 제공하는 방법 등이 있다.
장면 변화그래프는 비디오에 존재하는 장면간의 시간적인 변화를 기술할 수 있는 방법으로 효율적인 비디오 브라우징의 방법을 제공할 수 있지만 표현하는 장면관계가 시간 정보라는 제한적인 관계를 중심으로 표현하기 때문에 효율적인 의미 중심의 비디오 브라우징에는 적합하지 않다.
또한, 기존의 키프레임을 이용한 방식등에서 제공하는 비디오 브라우징 방법은 비디오 네비게이션(navigation)에 있어서 키프레임이 대표하는 세그먼트로의 이동만을 제공하기 때문에 세그먼트간 의미적인 관계를 이용한 효율적인 세그먼트간 네비게이션을 제공할 수 없다.
이에 본 발명에서는 비디오 스트림내 또는 비디오 스트림간에 존재하는 세그먼트 또는 사건구간, 씬(scene), 샷(shot) 등간의 요약/상세설명 관계를 정의하고, 이를 비디오 스트림에 대한 내용기반 데이터 영역에 기술하는 방법과 이와 같은 방법에서 제공하는 세그먼트간 요약/상세설명 관계 정보를 이용한 비디오 브라우징 방법을 제안하여, 의미 중심의 효율적인 비디오 브라우징이 가능하며, 사용하기 쉽고, 원하는 부분을 쉽게 접근할 수 있으며, 짧은 시간내에 원하는 세그먼트들을 쉽게 브라우징할 수 있는 효율적인 비디오 브라우징 인터페이스를 제공하고자 한 것이다.
도 1은 일반적인 비디오 스트림의 계층적 구분 방법을 나타낸 도면.
도 2는 본 발명에 있어서, 뉴스 비디오에서의 요약/상세설명 관계 표현방법의 일예를 나타낸 도면.
도 3은 본 발명에 있어서, 세그먼트간 요약/상세설명 관계 정보의 구조를 개략적으로 나타낸 블록도.
도 4는 본 발명에 있어서, 하나의 세그먼트를 예로 하여, 그 세그먼트를 중심으로한 세그먼트간 요약/상세설명 서브 그래프의 일예를 나타낸 도면.
도 5는 본 발명에 있어서, 세그먼트간 요약/상세설명 관계정보를 이용한 비디오 브라우징 인터페이스의 실시예를 나타낸 도면.
먼저, 본 발명에 있어, 멀티미디어 스트림의 세그먼트간 요약/상세설명 관계 정보 구성 방법은,
멀티미디어 스트림의 헤더 부분이나 중간중간에 또는 멀티미디어 스트림과 연결된 별도의 저장구조로 이루어진 내용 기반 데이터 영역에 세그먼트 지정정보와 지정되는 세그먼트간 관계기술정보를 포함하는 요약/상세설명 관계기술정보를 기술하여, 스트림 정보를 구성하도록 함을 특징으로 하며,
세그먼트 지정정보는 세그먼트의 위치를 알려주는 구간정보를 포함하며, 관계기술정보에는 지정되는 세그먼트간의 요약/상세설명 관계를 기술하게 된다.
이와 같은 특징을 갖는 본 발명을 첨부된 도면에 실시된 예를 들어 상세히 설명하면 다음과 같다.
도 3은 본 발명의 예로써, 세그먼트간 요약/상세설명 관계정보를 블록으로 나타낸 것으로서,
도 3에 도시된 바와 같이, 세그먼트간 요약/상세설명 관계정보는 관계지어지는 원본 세그먼트 지정정보와, 대상 세그먼트 지정정보로 구분되어지며, 이와 같이 지정된 원본 세그먼트와 대상 세그먼트와의 관계를 기술하는 관계기술정보가 포함되어 있다.
세그먼트 지정정보인 원본 세그먼트와 대상 세그먼트는 각각의 위치를 구분하기 위한 구간정보와 세그먼트가 속한 스트림을 지정하기 위한 스트림 정보가 포함되어 있다.
본 발명은 이와 같은 구성을 갖는 세그먼트의 요약/상세설명 관계정보를 멀티미디어 스트림의 내용기반 데이터 영역에 포함하여 구성하여 멀티미디어 스트림의 효율적인 브라우징이 가능하도록 하는 것으로,
첨부된 도면 등을 참조하여 그 구성방법을 상세히 설명하면 다음과 같다.
일반적으로 비디오를 분석하거나 쉽게 브라우징 하기 위한 목적으로 도 1에서와 같은 방식의 계층적 분해 방식을 사용하는 바,
개별 비디오 스트림은 복수개의 씬(Scene)으로 나뉘어지고, 또한 하나의 씬은 여러개의 샷(Shot)으로 나뉘어진다.
씬은 대개 논리적으로 같은 의미를 가지는 장면을 의미하며, 샷은 대개 카메라가 연속적으로 촬영한 구간을 의미한다.
또한, 샷은 복수개의 연속적인 프레임들이 나열된 것으로 볼 수 있으며, 상기한 비디오, 씬, 샷은, 시작위치/종료위치 또는 시작위치/길이와 같은 구간정보로 표현할 수 있으며, 여기에는 오디오 정보도 포함된다.
그리고, 프레임은 절대위치로 표현이 가능하다.
일반적으로 비디오 스트림의 세그먼트는 시간축위에서 연속적인 하나 이상의 프레임들을 배열한 것으로 볼 수 있다.
이때, 비디오 스트림의 세그먼트가 구간으로 표현될때에는 오디오 정보를 포함할 수도 있다.
그러므로 세그먼트는 씬, 샷 등을 포함하는 포괄적인 개념이며, 이러한 세그먼트는 사건 구간을 표현할 수도 있다.
여기서, 도 1에서의 'A' 방향으로 진행하는 것을 세그멘테이션(segmentation; 분할)이라고 하고, 'B'방향으로 진행하는 것을 클러스터링(clustering; 결합)이라고 한다.
도 2는 본 발명의 세그먼트간의 요약/상세설명 관계(abstract/detail relationship)를 표현하기 위하여 뉴스 비디오에 존재하는 요약/상세설명 관계를 표현한 것이다.
일반적인 뉴스에는 주요 뉴스 아이템을 요약하기 위한 주요 뉴스 요약 부분(헤드라인 뉴스, 서머리 뉴스)이 포함된다.
이러한 주요 뉴스 요약 부분은 뉴스의 시작위치에 존재할 수도 있으며, 뉴스의 마지막에도 존재할 수 있으며, 또한 이러한 요약 뉴스 이외에 실제 뉴스 아이템을 아이템별로 설명하는 상세뉴스 설명 부분이 있다.
요약 뉴스와 상세 뉴스는 하나의 비디오 스트림으로 존재할 수도 있으며, 별도의 스트림으로 존재할 수도 있다.
요약 뉴스를 헤드라인 뉴스라 하면, 헤드라인 뉴스에서는 상세 뉴스에서 설명하고자 하는 여러개의 뉴스 아이템중에서 중요한 몇몇 뉴스아이템에 대한 요약을 하게 되며, 헤드라인 뉴스가 종료되면 실제 개별 뉴스 아이템들이 위치하게 된다.
또한, 실제 뉴스 아이템은 대부분 각각 진행자(anchor; 앵커)의 뉴스 아이템 설명이 있은 후 기자가 취재를 해온 장면(에피소드 씬, 리포터 씬)들이 위치하는 전형적인 구조를 갖게 된다.
즉, 도면에서 보는 바와 같이 헤드라인 뉴스와 상세 뉴스 설명구간사이에는 요약과 상세설명관계 링크가 존재하며, 상세 뉴스 설명구간내의 각 뉴스 아이템내에서도 앵커 설명구간과 상세 뉴스 아이템 설명구간사이에 요약과 상세설명관계 링크가 존재하는 것이다.
전체 뉴스에서 소개하는 뉴스 아이템의 갯수를 n이라 하고, 헤드라인 뉴스에서 소개하는 뉴스 아이템이 m개라 하면 n??m 의 관계가 성립한다.
그러므로, 헤드라인 뉴스를 m개의 뉴스 아이템에 대한 개별 요약으로 구분할 수 있다.
헤드라인 뉴스 부분과 상세 뉴스 설명 부분은 대부분 자동 비디오 세그멘테이션 방식을 이용하여 검출할 수도 있으며 수작업에 의할 수도 있다.
헤드라인 뉴스에 뉴스 아이템 A에 대한 설명이 있다면, 상세 뉴스 설명부분에 뉴스 아이템 A에 대한 설명이 있으므로, 이러한 경우 헤드라인 뉴스의 뉴스 아이템 A에 대한 설명구간과 상세 뉴스 설명부분의 뉴스 아이템 A에 대한 설명 구간에는 요약/상세설명 관계가 존재하므로 두 세그먼트간에 요약/상세설명 관계를 도 2의 상단에서와 같이 나타낼 수 있다.
또한, 자동 비디오 세그멘테이션방식을 이용하거나 수작업을 이용하면 상세 뉴스 설명 부분에 있어서, 진행자(앵커)가 다음에 설명될 뉴스 아이템 요약하는 구간과 실제 취재되거나 분석된 화면을 보여주는 상세설명 부분을 나눌 수가 있다.
진행자가 다음에 설명될 뉴스 아이템 요약하는 구간과 실제 취재되거나 분석된 화면을 보여주는 상세설명 구간에는 앞서 설명한 바와 같이, 역시 세그먼트간 요약/상세설명 관계가 성립하게 되고, 이를 도 2의 하단부에서 나타낸 것이다.
이와 같은 관계를 이용하여 본 발명에서는 도 3에서와 같은 구조를 갖는 세그먼트간 요약/상세설명 관계 정보를 멀티미디어 스트림 정보로서 포함하여 구성하도록 한 것으로,
요약/상세설명 관계를 갖는 각각의 세그먼트가 동일한 스트림에 존재할 수도 있으며, 각기 다른 별도의 스트림으로 존재할 수도 있으므로, 세그먼트 지정정보(locator)를 사용한다.
세그먼트 지정정보는 요약/상세설명 관계를 갖는 두 세그먼트가 각기 다른 스트림에 존재하는 경우 각각의 스트림이 어떤 스트림인지를 지정하기 위한 스트림 지정저오와 스트림내에서 세그먼트의 구간정보를 표현하기 위한 구간지정정보를 갖는다.
동일한 스트림내의 세그먼트간 관계들만을 표현하기 위하여서는 원본 또는 대상 세그먼트 지정정보에서 스트림 지정정보를 빼고 구간지정정보만을 가질 수도 있다.
여기서, 구간지정정보는 구간의 최초 위치와 종료 위치를 설명하거나 최초 위치와 길이정보를 가지고 구성될 수 있다.
또한, 세그먼트간 요약/상세설명 관계가 원본 스트림을 기준으로 기술될 경우에는 원본 세그먼트 지정정보에서 스트림 지정정보가 생략될 수 있다.
또한, 세그먼트간 요약/상세설명 관계를 표현하기 위하여서는 원본 세그먼트의 구간지정정보와 대상 세그먼트의 구간지정정보, 관계기술정보가 필요하다.
만약 요약/상세설명 관계정보가 대칭적(Symmetric)일 경우만 허용하는 구조에서는 원본 세그먼트에대한 상세 또는 요약 관계정보만을 기술한다든지 하는 규약을 추가하므로써, 관계기술정보는 생략될 수도 있다.
이에 반하여 세그먼트간 요약/상세설명 관계정보가 비대칭적인 경우를 허용하는 구조에서는 관계기술정보가 필요하다.
이와 같이 본 발명에서 제공하는 비디오 스트림에 대한 내용기반 데이터 영역에 기술될 세그먼트간 요약/상세설명 관계정보에 따르면, 비디오 스트림의 세그먼트, 이벤트 구간, 씬, 샷간의 요약/상세설명 그래프를 도 4에서와 같이 구성할 수 있는 바, 도 4는 세그먼트 A를 중심으로 요약/상세설명 그래프의 일예를 나타낸 것이다.
이는 스트림내에서의 세그먼트들의 구간의 시간적 순서를 고려한 그래프일 수도 있고 아닐 수도 있는 그래프이다.
또한, 도 4에 도시된 바와 같이 그래프에서 원하는 세그먼트 중심의 링크 정보들로 부터 서브 그래프(sub-graph)를 구성하므로써, 원하는 부분만을 자세하게 요약하여 볼 수 있는 브라우징 방법을 제공할 수 있게 된다.
이러한 세그먼트간 요약/상세설명 관계는 뉴스 뿐만 아니라 일반적인 비디오(드라마, 다큐멘터리, 스포츠,....)등에도 존재하므로 이러한 그래프를 이용하여 쉽게 원하는 부분만을 상세하게 브라우징 할 수있는 방법을 제공할 수 있다.
예를 들어 도 4에서, 비디오 A는 정글의 생태에 대한 다큐멘터리 비디오이고, 비디오 B는 사자의 습성에 대한 교육용 비디오라 할 때, 비디오 A의 사자가 사냥하는 부분이 있으며 비디오 B에 사자의 사냥 행태에 대한 상세한 부분이 있으면, 비디오 A의 사자가 사냥하는 세그먼트로 부터 비디오 B의 사자의 사냥행태에 관한 세그먼트로의 상세설명 링크를 추가할 수 있다.
이와 같은 멀티미디어 스트림의 세그먼트간 요약/상세설명 관계정보를 이용하면, 사용자가 원하는 부분만을 자세하게 요약하여 볼 수 있는 브라우징 방법을 제공할 수 있는 바,
이와 같은 본 발명 멀티미디어 스트림의 세그먼트간 요약/상세설명 관계 정보를 이용한 비디오 브라우징 방법은,
비디오 디스플레이 뷰와 키프레임 또는 키영역 뷰를 포함하는 비디오 브라우징 인터페이스에 있어서, 상기한 세그먼트간 요약/상세설명 관계정보를 이용하여 세그먼트간 요약/상세설명 관계를 표시하는 영역을 갖는 인터페이스를 더 포함하고, 세그먼트간 요약/상세설명 관계를 표시하는 영역을 이용하여 비디오 브라우징이 가능하도록 하는 것을 특징으로 하는 것이다.
도 5는 이와 같이 본 발명에서 제공하는 세그먼트간 요약/상세설명 관계를 이용한 비디오 브라우징 인터페이스의 일례를 나타낸 것으로, 도 5를 참조하여 설명하면 다음과 같다.
크게 비디오 디스플레이 뷰, 키프레임/키영역 뷰, 요약/상세설명 그래프 뷰의 3부분으로 나뉘어진다.
비디오 디스플레이 뷰는 일반적인 비디오 플레이어에 있는 비디오 디스플레이 뷰와 동일한 기능으로 동영상을 디스플레이하는 부분에 해당한다.
키프레임/키영역 뷰는 비디오를 요약하기 위하여 키프레임이나 키영역을 디스플레이하기 위하여 사용자로 하여금 전체 비디오 스토리를 이해할 수 있도록 도움을 주거나 원하는 위치로 이동할 수 있는 창구를 제공하는 뷰(view)이다.
요약/상세설명 그래프 뷰는 선택된 비디오 세그먼트를 중심으로 세그먼트간 요약/상세설명 관계를 텍스트를 이용하거나 그래픽 요소를 이용하여 도시하고 여기서 특정부분을 선택하므로써, 원하는 위치로 쉽게 이동하여 효율적인 비디오 브라우징을 가능하게 하는 부분이다.
본 발명에서 제안하는 비디오 브라우징 인터페이스에서 키프레임/키영역 뷰는 다른 비디오 브라우징 인터페이스에도 존재하는 부분이지만 기능적으로는 세그먼트간 요약/상세설명 관계를 이용한 브라우징이 가능한 기능적인 추가가 있으며 요약/상세설명 그래프뷰는 상기한 세그먼트간 요약/상세설명 관계 정보를 도식화하여 보다 쉬운 비디오 네비게이션이 가능하도록 한 것이다.
사용자는 제어기능을 이용하여 비디오를 브라우징할 수 있으며, 키프레임/키영역 뷰에서 특정한 이미지(프레임 또는 영역)를 선택하므로써, 원하는 위치로 이동을 할 수 있다.
종래의 방식에서는 해당 키프레임이나 키영역이 대표하는 세그먼트로 이동할 수 있도록 하는 기능을 제공하였으나, 본 발명에서는 세그먼트간 요약/상세설명 관계 정보를 이용하여 키프레임이나 키영역을 선택한 경우 다음의 세가지 방식으로 비디오 네비게이션을 제공하게 된다.
종래의 방식과 동일하게 키프레임이나 키영역이 대표하는 세그먼트로 이동할 수 있는 기능과, 키프레임이나 키영역이 대표하는 세그먼트에 대한 상세설명 구간으로 또는 키프레임이나 키영역이 대표하는 세그먼트에 대한 요약 구간으로 이동할 수 있도록 한다.
즉, 사용자가 키프레임/키영역 뷰의 일정한 영역을 선택할 경우 이에 상기한 바와 같이 경로 선택을 묻게 되며, 이에 사용자의 선택에 따라 이동하는 것이다.
사용자는 키프레임이나 키영역을 선택하고 나서 어떠한 이동을 할 지를 선택하면 쉽게 원하는 위치로 이동할 수 있게 된다.
키프레임/키영역 뷰는 프레임들의 1차원 나열로 디스플레이 할 수 있으며, 트리구조나 그래프 구조로도 표현할 수 있다.
요약/상세설명 그래프 뷰는 본 발명에서 제안하는 요약/상세설명 관계를 표시하고, 사용자 입력에 따라 액션을 취하는 부분이다.
요약/상세설명 그래프 뷰는 현재 사용자에 의해 선택된 세그먼트를 중심으로 또는 디스플레이 뷰에서 디스플레이되는 세그먼트를 중심으로 하여 세그먼트간 요약/상세설명 관계를 노드(node)와 링크로 표현한다.
각 노드는 세그먼트를 의미하며, 키프레임이나 키영역 또는 텍스트등을 이용하여 디스플레이하고, 링크는 세그먼트간 요약/상세설명 관계를 표시한다.
사용자는 노드 또는 링크를 선택하므로써, 해당 세그먼트로 쉽게 네비게이션을 할 수 있게 하는 인터페이스이다.
따라서, 사용자는 이러한 요약/상세설명 그래프 뷰에서 노드나 링크를 선택하므로써, 원하는 비디오 시퀀스를 만들어 브라우징 할 수도 있으며, 원하는 부분만을 선택하여 연속적인 재생을 요구할 수 있다.
요약/상세설명 그래프 뷰는 일반적으로 그래프 형태로 디스플레이 되는 것이 자연스러우며, 필요에 따라서 1차원 뷰나 트리형태의 구조로 디스플레이 될 수도 있다.
사용자는 요약/상세설명 그래프 뷰에 디스플레이 될 범위를 지정할 수 있는데, 전체 비디오에 대한 요약/상세설명 그래프 뷰를 요구할 수도 있으며, 현재 선택된 세그먼트에 관련된 세그먼트들만을 디스플레이하도록 요구할 수도 있으며, 선택된 세그먼트로 부터 몇스텝까지의 링크를 요구할 수도 있다.
또한, 본 발명에서 제안하는 세그먼트간 요약/상세설명 관계를 이용하면 도 5에서와 같은 인터페이스 이외에도 다양한 방식의 인터페이스를 이용하여 비디오를 브라우징 할 수 있다.
이상에서 설명한 바와 같이, 본 발명은 비디오에 대한 내용기반 데이터 영역에 기술할 수 있는 비디오에 존재하는 세그먼트들 간의 요약/상세설명 관계를 정의하고, 이를 기술할 수 있는 효율적인 자료 구조를 제안하며, 이를 이용한 효율적인 비디오 브라우징 방법을 제공할 수 있다.
이에 따르면 본 발명은 기존의 키프레임이나 키영역을 이용한 비디오 네비게이션 보다 훨씬 더 강력한 네비게이션을 지원하게 되며, 원하는 내용이 있는 부분을 상세하게 브라우징 할 지 요약하여 브라우징 할지 사용자가 편리하게 선택할 수 있다.
또한, 본 발명은 물리적으로 동일한 스트림내에서의 세그먼트간 요약/상세설명 관계 뿐만 아니라 각기 다른 스트림내에 존재하는 세그먼트들간의 요약/상세설명 관계를 기술할 수 있도록 하므로써, 사용자에게 요약/상세설명 관계가 있는 별도의 스트림에 존재하는 세그먼트들간의 효율적인 네비게이션 방법을 제공할 수 있게 된다.
이와 같은 본 발명은 뉴스뿐만아니라 드라마, 다큐멘터리, 스포츠, 쇼프로 등 거의 모든 비디오에 적용할 수 있는 기본적인 자료 구조를 제공하므로써, 각각의 콘텐트에 알맞은 어플리케이션을 구성할 수 있는 방안이된다.

Claims (16)

  1. 멀티미디어 스트림의 내용기반 데이터 영역에, 세그먼트 지정정보와 지정되는 세그먼트간 관계기술정보를 포함하는 요약/상세설명 관계기술정보를 기술하여, 스트림 정보를 구성하도록 함을 특징으로 하는 멀티미디어 스트림의 세그먼트간 요약/상세설명 관계 정보 구성 방법.
  2. 제 1항에 있어서, 요약/상세설명 관계기술정보의 세그먼트 지정정보는 원본 세그먼트 지정정보와 대상 세그먼트 지정정보를 포함하며, 관계기술정보는 원본 세그먼트와 대상 세그먼트의 요약/상세설명 관계를 기술하도록 함을 특징으로 하는 멀티미디어 스트림의 세그먼트간 요약/상세설명 관계 정보 구성 방법.
  3. 제 1항 또는 2항에 있어서, 세그먼트 지정정보는 구간정보로서 구성되는 것을 특징으로 하는 멀티미디어 스트림의 세그먼트간 요약/상세설명 관계 정보 구성 방법.
  4. 제 3항에 있어서, 세그먼트 지정정보는 스트림 정보를 더 포함하여 구성되는 것을 특징으로 하는 멀티미디어 스트림의 세그먼트간 요약/상세설명 관계 정보 구성 방법.
  5. 제 3항에 있어서, 구간정보는 세그먼트의 시작위치와 종료위치로 기술되는 것을 특징으로 하는 멀티미디어 스트림의 세그먼트간 요약/상세설명 관계 정보 구성 방법.
  6. 제 3항에 있어서, 구간정보는 세그먼트의 시작위치와 길이정보로 기술되는 것을 특징으로 하는 멀티미디어 스트림의 세그먼트간 요약/상세설명 관계 정보 구성 방법.
  7. 제 4항에 있어서, 스트림 정보는 스트림의 상대/절대위치 정보로서 구성되는 것을 특징으로 하는 멀티미디어 스트림의 세그먼트간 요약/상세설명 관계 정보 구성 방법.
  8. 제 4항에 있어서, 스트림 정보는 스트림에 대한 고유 식별자(ID) 정보로서 구성되는 것을 특징으로 하는 멀티미디어 스트림의 세그먼트간 요약/상세설명 관계 정보 구성 방법.
  9. 제 4항에 있어서, 원본 세그먼트가 속한 스트림을 기준으로 설정하여 원본 세그먼트 지정정보에서 스트림 정보를 생략할 수 있도록 함을 특징으로 하는 멀티미디어 스트림의 세그먼트간 요약/상세설명 관계 정보 구성 방법.
  10. 비디오 디스플레이 뷰와 키프레임 또는 키영역 뷰를 포함하는 비디오 브라우징 인터페이스에 있어서,
    제 1항 내지 제 9항의 방법에 의해 제공되는 세그먼트간 요약/상세설명 관계정보를 이용하여 세그먼트간 요약/상세설명 관계를 표시하는 영역을 갖는 인터페이스를 더 포함하고, 세그먼트간 요약/상세설명 관계를 표시하는 영역을 이용하여 비디오 브라우징이 가능하도록 하는 것을 특징으로 하는 멀티미디어 스트림의 세그먼트간 요약/상세설명 관계 정보를 이용한 비디오 브라우징 방법.
  11. 제 10항에 있어서, 상기 키프레임 또는 키영역 뷰의 일정 표시영역을 선택한 경우, 선택영역의 해당 프레임 또는 선택 영역이 대표하는 세그먼트로 이동할 것인지, 해당 세그먼트의 요약 세그먼트로 이동할 것인지, 상세설명 세그먼트로 이동할 것인지에 대하여 사용자가 선택할 수 있도록 하는 인터페이스를 더 포함하는 것을 특징으로 하는 멀티미디어 스트림의 세그먼트간 요약/상세설명 관계 정보를 이용한 비디오 브라우징 방법.
  12. 제 10항에 있어서, 상기 요약/상세설명 관계를 표시하는 영역은 그래프 뷰로 나타내며, 요약/상세설명 그래프 뷰는 키프레임이나 키영역으로 세그먼트가 표시되는 노드와 각 노드의 관계를 나타내는 링크로 표시되며, 링크는 요약관계인지, 상세설명 관계인지에 따라 서로 다르게 표현되도록 함을 특징으로 하는 멀티미디어 스트림의 세그먼트간 요약/상세설명 관계 정보를 이용한 비디오 브라우징 방법.
  13. 제 12항에 있어서, 상기 요약/상세설명 그래프 뷰의 각 노드는 텍스트로 표현된 것을 특징으로 하는 멀티미디어 스트림의 세그먼트간 요약/상세설명 관계 정보를 이용한 비디오 브라우징 방법.
  14. 제 12항 내지 제 13항에 있어서, 상기 요약/상세설명 그래프 뷰의 각 노드를 선택하면 해당 세그먼트로 이동되어지도록 함을 특징으로 하는 멀티미디어 스트림의 세그먼트간 요약/상세설명 관계 정보를 이용한 비디오 브라우징 방법.
  15. 제 10항 내지 제 13항에 있어서, 요약/상세설명 관계를 나타내는 영역은 현재 재생중인 세그먼트를 중심으로 하여 세그먼트간 요약/상세설명 정보를 표시하도록 함을 특징으로 하는 멀티미디어 스트림의 세그먼트간 요약/상세설명 관계 정보를 이용한 비디오 브라우징 방법.
  16. 제 10항 내지 제 13항에 있어서, 상기 요약/상세설명 그래프 뷰는 복수개의 노드를 선택할 수 있도록 하고, 선택된 하나이상의 노드에 해당되는 세그먼트들을 자동으로 연결하여 표시(재생)하여 줄 수 있도록 함을 특징으로 하는 멀티미디어 스트림의 세그먼트간 요약/상세설명 관계 정보를 이용한 비디오 브라우징 방법.
KR1019990041134A 1999-09-22 1999-09-22 멀티미디어 스트림의 세그먼트간 요약/상세설명 관계 정보 구성 방법과 세그먼트간 요약/상세설명 관계 정보를 이용한 비디오 브라우징 방법 KR100335817B1 (ko)

Priority Applications (7)

Application Number Priority Date Filing Date Title
KR1019990041134A KR100335817B1 (ko) 1999-09-22 1999-09-22 멀티미디어 스트림의 세그먼트간 요약/상세설명 관계 정보 구성 방법과 세그먼트간 요약/상세설명 관계 정보를 이용한 비디오 브라우징 방법
US09/666,283 US7075591B1 (en) 1999-09-22 2000-09-21 Method of constructing information on associate meanings between segments of multimedia stream and method of browsing video using the same
JP2000289169A JP2001157165A (ja) 1999-09-22 2000-09-22 マルチメディアストリームのセグメント間の意味的連結情報の構成方法並びにこれを用いたビデオブラウジング方法
JP2004238128A JP4188889B2 (ja) 1999-09-22 2004-08-18 マルチメディアストリームのセグメント間の関係についての情報を用いたビデオブラウジング方法
US11/159,165 US8006267B2 (en) 1999-09-22 2005-06-23 Method of constructing information on associate meanings between segments of multimedia stream and method of browsing video using the same
US12/843,623 US8234675B2 (en) 1999-09-22 2010-07-26 Method of constructing information on associate meanings between segments of multimedia stream and method of browsing video using the same
US12/843,601 US8234674B2 (en) 1999-09-22 2010-07-26 Method of constructing information on associate meanings between segments of multimedia stream and method of browsing video using the same

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1019990041134A KR100335817B1 (ko) 1999-09-22 1999-09-22 멀티미디어 스트림의 세그먼트간 요약/상세설명 관계 정보 구성 방법과 세그먼트간 요약/상세설명 관계 정보를 이용한 비디오 브라우징 방법

Publications (2)

Publication Number Publication Date
KR20010028735A true KR20010028735A (ko) 2001-04-06
KR100335817B1 KR100335817B1 (ko) 2002-05-08

Family

ID=19612777

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1019990041134A KR100335817B1 (ko) 1999-09-22 1999-09-22 멀티미디어 스트림의 세그먼트간 요약/상세설명 관계 정보 구성 방법과 세그먼트간 요약/상세설명 관계 정보를 이용한 비디오 브라우징 방법

Country Status (1)

Country Link
KR (1) KR100335817B1 (ko)

Cited By (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20040020185A (ko) * 2002-08-30 2004-03-09 학교법인 한국정보통신학원 엑스엠엘 문서를 이용한 골프 비디오 브라우징 서비스 방법
WO2004075183A1 (en) * 2003-02-24 2004-09-02 Lg Electronics Inc. Recording medium having data structure for managing playback control and recording and reproducing methods and apparatuses
KR100479653B1 (ko) * 2000-07-01 2005-03-30 주식회사 디지트리얼테크놀로지 파노라마형 비디오 디스플레이 방법
KR100512138B1 (ko) * 2000-03-08 2005-09-02 엘지전자 주식회사 합성 키프레임을 이용한 비디오 브라우징 시스템
US7561778B2 (en) 2002-05-07 2009-07-14 Lg Electronics Inc. Method for recording and managing a multi-channel stream
US7672567B2 (en) 2002-06-24 2010-03-02 Lg Electronics Inc. Recording medium having data structure for managing reproduction of multiple reproduction path video data for at least a segment of a title recorded thereon and recording and reproducing methods and apparatuses
US7693394B2 (en) 2003-02-26 2010-04-06 Lg Electronics Inc. Recording medium having data structure for managing reproduction of data streams recorded thereon and recording and reproducing methods and apparatuses
US7769272B2 (en) 2002-11-20 2010-08-03 Lg Electronics Inc. Recording medium having data structure for managing reproduction of at least video data recorded thereon and recording and reproducing methods and apparatuses
US7809243B2 (en) 2002-06-24 2010-10-05 Lg Electronics, Inc. Recording medium having data structure including navigation control information for managing reproduction of video data recorded thereon and recording and reproducing methods and apparatuses
US7809775B2 (en) 2003-02-27 2010-10-05 Lg Electronics, Inc. Recording medium having data structure for managing playback control recorded thereon and recording and reproducing methods and apparatuses
US7813237B2 (en) 2002-10-14 2010-10-12 Lg Electronics Inc. Recording medium having data structure for managing reproduction of multiple audio streams recorded thereon and recording and reproducing methods and apparatuses
US7835622B2 (en) 2002-06-21 2010-11-16 Lg Electronics Inc. Recording medium having data structure for managing reproduction of video data recorded thereon and recording and reproducing methods and apparatuses
US7835623B2 (en) 2002-06-21 2010-11-16 Lg Electronics Inc. Recording medium having data structure for managing reproduction of video data recorded thereon
US7840121B2 (en) 2002-10-15 2010-11-23 Lg Electronics Inc. Recording medium having data structure for managing reproduction of multiple graphics streams recorded thereon and recording and reproducing methods and apparatuses
US7848619B2 (en) 2003-04-04 2010-12-07 Lg Electronics Inc. Recording medium having data structure for managing to resume reproduction of video data recorded thereon and recording and reproducing methods and apparatuses
US7912338B2 (en) 2003-02-28 2011-03-22 Lg Electronics Inc. Recording medium having data structure for managing random/shuffle reproduction of video data recorded thereon and recording and reproducing methods and apparatuses

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3403870B2 (ja) * 1995-07-31 2003-05-06 株式会社東芝 メニューストリーム作成装置
JPH09282801A (ja) * 1996-04-08 1997-10-31 Sony Corp 音声・映像データ記録・再生装置およびその方法
KR100444524B1 (ko) * 1997-09-19 2004-11-12 엘지전자 주식회사 비디오서버의대화형편집기능지원방법
JP3270398B2 (ja) * 1998-06-22 2002-04-02 株式会社東芝 情報再生装置及び情報再生方法

Cited By (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100512138B1 (ko) * 2000-03-08 2005-09-02 엘지전자 주식회사 합성 키프레임을 이용한 비디오 브라우징 시스템
KR100479653B1 (ko) * 2000-07-01 2005-03-30 주식회사 디지트리얼테크놀로지 파노라마형 비디오 디스플레이 방법
US7561778B2 (en) 2002-05-07 2009-07-14 Lg Electronics Inc. Method for recording and managing a multi-channel stream
US8406605B2 (en) 2002-05-07 2013-03-26 Lg Electronics Inc. Method for recording and managing a multi-channel stream
US7835622B2 (en) 2002-06-21 2010-11-16 Lg Electronics Inc. Recording medium having data structure for managing reproduction of video data recorded thereon and recording and reproducing methods and apparatuses
US7835623B2 (en) 2002-06-21 2010-11-16 Lg Electronics Inc. Recording medium having data structure for managing reproduction of video data recorded thereon
US7672567B2 (en) 2002-06-24 2010-03-02 Lg Electronics Inc. Recording medium having data structure for managing reproduction of multiple reproduction path video data for at least a segment of a title recorded thereon and recording and reproducing methods and apparatuses
US7949231B2 (en) 2002-06-24 2011-05-24 Lg Electronics Inc. Recording medium having data structure for managing reproduction of multiple reproduction path video data recorded thereon and recording and reproducing methods and apparatuses
US7783159B2 (en) 2002-06-24 2010-08-24 Lg Electronics Inc. Recording medium having data structure for managing reproduction of multiple reproduction path video data for at least a segment of a title recorded thereon and recording and reproducing methods and apparatuses
US7809243B2 (en) 2002-06-24 2010-10-05 Lg Electronics, Inc. Recording medium having data structure including navigation control information for managing reproduction of video data recorded thereon and recording and reproducing methods and apparatuses
KR20040020185A (ko) * 2002-08-30 2004-03-09 학교법인 한국정보통신학원 엑스엠엘 문서를 이용한 골프 비디오 브라우징 서비스 방법
US7813237B2 (en) 2002-10-14 2010-10-12 Lg Electronics Inc. Recording medium having data structure for managing reproduction of multiple audio streams recorded thereon and recording and reproducing methods and apparatuses
US7961570B2 (en) 2002-10-14 2011-06-14 Lg Electronics Inc. Recording medium having data structure for managing reproduction of multiple audio streams recorded thereon and recording and reproducing methods and apparatuses
US7840121B2 (en) 2002-10-15 2010-11-23 Lg Electronics Inc. Recording medium having data structure for managing reproduction of multiple graphics streams recorded thereon and recording and reproducing methods and apparatuses
US7769272B2 (en) 2002-11-20 2010-08-03 Lg Electronics Inc. Recording medium having data structure for managing reproduction of at least video data recorded thereon and recording and reproducing methods and apparatuses
US8886021B2 (en) 2002-11-20 2014-11-11 Lg Electronics Inc. Recording medium having data structure for managing reproduction of at least video data recorded thereon and recording and reproducing methods and apparatuses
US8831406B2 (en) 2002-11-20 2014-09-09 Lg Electronics Inc. Recording medium having data structure for managing reproduction of at least video data recorded thereon and recording and reproducing methods and apparatuses
WO2004075183A1 (en) * 2003-02-24 2004-09-02 Lg Electronics Inc. Recording medium having data structure for managing playback control and recording and reproducing methods and apparatuses
US7693394B2 (en) 2003-02-26 2010-04-06 Lg Electronics Inc. Recording medium having data structure for managing reproduction of data streams recorded thereon and recording and reproducing methods and apparatuses
US7809775B2 (en) 2003-02-27 2010-10-05 Lg Electronics, Inc. Recording medium having data structure for managing playback control recorded thereon and recording and reproducing methods and apparatuses
US7912338B2 (en) 2003-02-28 2011-03-22 Lg Electronics Inc. Recording medium having data structure for managing random/shuffle reproduction of video data recorded thereon and recording and reproducing methods and apparatuses
US7848619B2 (en) 2003-04-04 2010-12-07 Lg Electronics Inc. Recording medium having data structure for managing to resume reproduction of video data recorded thereon and recording and reproducing methods and apparatuses

Also Published As

Publication number Publication date
KR100335817B1 (ko) 2002-05-08

Similar Documents

Publication Publication Date Title
JP4188889B2 (ja) マルチメディアストリームのセグメント間の関係についての情報を用いたビデオブラウジング方法
KR100335817B1 (ko) 멀티미디어 스트림의 세그먼트간 요약/상세설명 관계 정보 구성 방법과 세그먼트간 요약/상세설명 관계 정보를 이용한 비디오 브라우징 방법
KR100411340B1 (ko) 뉴스 비디오 콘텐트의 뉴스 기사 기반 요약 및 브라우징시스템
KR100512138B1 (ko) 합성 키프레임을 이용한 비디오 브라우징 시스템
US7181757B1 (en) Video summary description scheme and method and system of video summary description data generation for efficient overview and browsing
KR100918725B1 (ko) 메타데이터 재생성 조건 설정 장치
US5532833A (en) Method and system for displaying selected portions of a motion video image
US8892563B2 (en) Storage medium including metadata and reproduction apparatus and method therefor
KR100493674B1 (ko) 멀티미디어 데이터 검색 및 브라우징 시스템
KR100370247B1 (ko) 등장인물 관계 기반 동영상 검색 방법
KR20010050596A (ko) 효율적인 비디오 개관 및 브라우징을 위한 비디오 요약기술구조와, 그 기술 구조에 따른 요약 비디오 기술데이터 생성방법 및 시스템
JP2001306599A (ja) 映像の階層的管理方法および階層的管理装置並びに階層的管理プログラムを記録した記録媒体
KR100319158B1 (ko) 사건구간 기반 동영상 자료 생성방법 및 동영상 검색 방법
KR100319160B1 (ko) 사건구간을기반으로하는동영상검색방법과검색데이타구성방법
KR100361499B1 (ko) 멀티미디어 스트림의 세그먼트간 원인/결과 관계 정보 구성 방법과 세그먼트간 원인/결과 관계 정보를 이용한 비디오 브라우징 방법
JP2006139382A (ja) 情報処理装置及びその制御方法、プログラム
KR100518846B1 (ko) 내용기반 동영상 검색 및 브라우징을 위한 동영상 데이타 구성방법
JP2006085379A (ja) 情報処理装置及びその制御方法、プログラム
JP3711993B2 (ja) 映像の連想検索装置
JP4717402B2 (ja) 情報処理装置及びその制御方法、プログラム

Legal Events

Date Code Title Description
A201 Request for examination
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment
FPAY Annual fee payment

Payment date: 20140414

Year of fee payment: 13

FPAY Annual fee payment

Payment date: 20160324

Year of fee payment: 15

FPAY Annual fee payment

Payment date: 20170314

Year of fee payment: 16

LAPS Lapse due to unpaid annual fee