KR100512138B1 - 합성 키프레임을 이용한 비디오 브라우징 시스템 - Google Patents

합성 키프레임을 이용한 비디오 브라우징 시스템 Download PDF

Info

Publication number
KR100512138B1
KR100512138B1 KR10-2000-0011565A KR20000011565A KR100512138B1 KR 100512138 B1 KR100512138 B1 KR 100512138B1 KR 20000011565 A KR20000011565 A KR 20000011565A KR 100512138 B1 KR100512138 B1 KR 100512138B1
Authority
KR
South Korea
Prior art keywords
keyframe
composite
information
key
segment
Prior art date
Application number
KR10-2000-0011565A
Other languages
English (en)
Other versions
KR20010087683A (ko
Inventor
전성배
정찬의
윤경로
Original Assignee
엘지전자 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 엘지전자 주식회사 filed Critical 엘지전자 주식회사
Priority to KR10-2000-0011565A priority Critical patent/KR100512138B1/ko
Priority to CNB01109124XA priority patent/CN1168036C/zh
Priority to JP2001065149A priority patent/JP2001320670A/ja
Priority to US09/800,999 priority patent/US20010020981A1/en
Priority to EP01302138A priority patent/EP1132835A1/en
Publication of KR20010087683A publication Critical patent/KR20010087683A/ko
Application granted granted Critical
Publication of KR100512138B1 publication Critical patent/KR100512138B1/ko
Priority to JP2005281475A priority patent/JP2006101526A/ja

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/73—Querying
    • G06F16/738—Presentation of query results
    • G06F16/739—Presentation of query results in form of a video summary, e.g. the video summary being a video sequence, a composite still image or having synthesized frames

Abstract

본 발명은 키프레임이나 키영역의 조합으로 비디오 스트림의 특정 세그먼트를 대표하기 위한 합성 키프레임(이미지)을 생성하고, 이 합성 키프레임을 이용해서 비디오 스트림의 요약과 브라우징을 할 수 있도록 한 합성 키프레임 데이터 구조와 비디오 스트림 요약 데이터 구조 및, 그 브라우징 인터페이스와 브라우징 방법에 관한 것이다.
본 발명은 키프레임이나 키영역을 조합하여 하나의 이미지로서 합성 키프레임을 논리적/물리적으로 생성하고, 비디오 스트림의 특정 세그먼트를 상기 합성 키프레임을 이용해서 요약한다.
또한 본 발명은, 키이미지 지정자와 하위계층 요약구조를 이용해서 계층적으로 비디오를 요약하고, 합성 키프레임 뷰를 브라우징을 위한 사용자 인터페이스로 제공하여, 사용자 입력에 의해 선택된 합성 키프레임에 관련된 세그먼트를 재생하거나, 합성 키프레임 내의 각 구성요소(키프레임 또는 키영역)에 관련된 세그먼트를 재생하여 비선형적인 비디오 브라우징을 수행한다.

Description

합성 키프레임을 이용한 비디오 브라우징 시스템{Video Browsing System With Synthetic Key Frame}
본 발명은 내용기반 멀티미디어 검색 시스템에서, 키프레임(Key Frame) 혹은 키영역(Key Region)의 조합으로 하나의 합성 키프레임을 논리적 혹은 물리적으로 생성하여 비디오 스트림의 특정 세그먼트를 요약하고 브라우징 할 수 있도록 한 합성 키프레임 구조와, 합성 키프레임을 이용한 멀티미디어 스트림 요약방법과, 합성 키프레임을 이용한 멀티미디어 브라우징 방법 및 그 인터페이스에 관한 것이다.
디지털 비디오 기술의 발달과 이미지/비디오 인식 기술의 발달로 인하여 사용자들은 원하는 비디오(영화, 드라마, 다큐멘터리 프로그램 등의 동영상)를 원하는 시점에 원하는 부분만을 검색(searching/filtering)하고 브라우징(browsing) 할 수 있게 되었다.
비선형적인 비디오 브라우징(non-linear video browsing)과 검색을 위하여 가장 기본이 되는 기술은 샷 분할 (Shot segmentation) 기법 과 샷 클러스터링(Shot Clustering) 기법이며 이 두 가지 기술은 멀티미디어 콘텐트를 분석하는데 있어서 가장 핵심이 되는 기술이다.
여기서, 샷(Shot)이란 방해(interruption) 없이 하나의 카메라로부터 얻어진 비디오 프레임들의 시퀀스(sequence)를 의미하며, 이는 비디오를 분석(analysis)하거나 구성(construction)하는 가장 기본이 되는 단위이다.
또한 일반적으로 비디오에는 의미적인 구성요소인 씬(scene)이 존재하며, 씬은 이야기 전개에 있어서 의미적인 구분요소로서 하나의 씬 내에는 여러개의 샷이 존재하는 것이 일반적이다.
비디오 인덱싱 기술은 비디오를 구조적으로 분석하여 샷과 씬을 검출하고, 샷과 씬을 바탕으로 하여 단위 세그먼트인 샷 또는 씬을 대표할 수 있는 키프레임들을 추출하거나, 키영역을 추출하여 각각의 샷이나 씬을 대표하도록 하여, 비디오 요약을 위한 자료로 활용하거나 원하는 위치로 이동하기 위한 수단으로 이용된다.
앞에서 설명한 바와같이 시간적인 연속성을 가진 비디오 스트림에는 도1과 같은 구조적 정보가 존재한다.
즉, 비디오 스트림은 논리적인 단위인 몇개의 씬으로 나뉘어지고, 각각의 씬은 다수의 서브 씬(sub-scene) 또는 샷들로 구성된다.
대부분의 멀티미디어 인덱싱 시스템들은 샷을 추출하고 추출된 샷을 토대로 하여 논리적인 단위인 씬들을 검출함으로써 멀티미디어 스트림의 구조적 정보를 인덱싱하게 된다.
이와같은 멀티미디어 스트림의 인덱싱/요약/브라우징을 위하여 씬이나 샷을 대표하는 키프레임(단위 세그먼트를 잘 표현하기 위해서 비디오 시퀀스에서 추출된 이미지 프레임)을 추출하여 이용하거나, 뉴스 등의 특정 어플리케이션 분야에 적용 가능한 수단으로 키영역을 이용하고 있다.
도2는 앵커 프레임과 뉴스 아이콘의 관계를 도식화한 것으로서, 앵커 샷에 존재하는 뉴스 아이콘을 키영역으로 선정하여 이를 추출하고 해당 뉴스 아이템을 대표하는 수단으로 이용하는 방법을 보이고 있다.
여기서 키영역은 텍스트, 사람 얼굴, 뉴스 아이콘 등 비디오 세그먼트의 내용을 함축하는 영역을 가리키며, 키영역은 비디오에서 텍스트를 추출하거나, 사람 얼굴을 추출하거나, 이미지에서 특정 부분의 칼라 분포 특성이나 가로/세로의 비율, 움직임 정보등을 종합적으로 사용하는 등의 방법을 이용하여 추출할 수 있다.
도3은 비선형적인 비디오 브라우징을 위한 사용자 인터페이스의 일예를 도식화한 것으로서, 비디오 스트림에 대한 목차(TOC:Table Of Content) 인터페이스 라고 한다.
도3의 사용자 인터페이스는 샷과 씬을 기반으로 구성되며, 각각의 샷과 씬은 키프레임을 이용해서 표현되고, 비디오 스트림의 구조적 정보를 사용자에게 제공하기 위하여 트리 형태로 표현하고 있다.
이와같은 목차 형태의 인터페이스에서 각각의 노드는 샷과 씬을 의미하며, 각 노드는 일반적으로 키프레임으로 대표된다.
도3의 인터페이스를 이용하면 사용자는 원하는 부분으로 쉽게 이동할 수 있으며, 비디오 스트림 전체를 시청하지 않고 스트림에서 원하는 부분만을 선택하여 브라우징할 수 있다.
앞에서 설명한 바와같이 종래에는 키프레임 혹은 키영역으로 비디오 스트림의 부분 구간을 대표하여 인덱싱/브라우징 할 수 있도록 하고 있으나, 다음과 같은 문제점이 있다.
[1]. 작은 디스플레이 공간에 많은 정보의 표현이 어렵다.
키프레임과 키영역은 비디오 스트림의 개략적인 내용을 이미지를 통해서 사용자에게 전달할 수 있는 수단이며, 비선형적인 비디오 브라우징과 UMA 응용 어플리케이션을 위하여 자주 사용된다.
그러나, 실제로 사용자는 적은 수의 키프레임 또는 키영역으로부터 비디오 스트림에 대한 전반적인 내용을 파악하기 어렵다.
즉, 장르나 프로그램의 특성에 따라 차이는 있지만 비디오 스트림에서 하나의 샷은 대략 수초 내지 수십초 정도의 분량이고, 또 이 샷들로 씬이 이루어지고 있으므로, 길이가 길거나 변화가 많은 샷을 하나의 키프레임으로 대표하면 사용자는 키프레임으로부터 전체 샷(씬)의 내용을 파악하기 매우 어렵다.
그러므로 대부분 하나의 씬 또는 샷에 대하여 복수의 키프레임을 선정할 수 있도록 허용되고 있다.
그렇지만 이러한 경우에도, 세그먼트에 표현된 전체적인 의미를 파악하기 위해서는 많은 수의 키프레임을 제공받아야 하고, 이에 따라 사용자는 많은 수의 키프레임을 브라우징해야 하며, 한번에 많은 수의 키프레임을 표시할 수 없는 TV 또는 휴대용 단말기의 경우에는 사용자의 입력장치 조작이 빈번히 요구된다.
이러한 경우에 적응하기 위해서 키프레임의 갯수를 줄이는 방안을 이용할 수 있지만, 이렇게 하면 비디오 스트림의 내용을 사용자에게 충분히 전달할 수 없는 단점이 따른다.
그러므로 제한된 디스플레이 공간에 많은 정보를 제공할 수 있는 효율적인 사용자 인터페이스 방식이 요구된다.
[2]. 대표 프레임의 선정이 어렵다.
여러 개의 샷 또는 서브 씬들로 이루어지는 씬의 내용을 함축적으로 표현할 수 있는 하나의 키프레임을 선정하기는 사실상 불가능에 가깝다.
도3과 같은 목차형 인터페이스의 경우를 보면, 해당 노드가 씬을 의미하는 경우 그 하위의 서브 씬과 샷들의 내용을 함축적으로 전달하는 키프레임을 선정하면 사용자는 하위 노드를 검색하지 않고도 상위 노드에 해당하는 키프레임 만을 브라우징 함으로써 관심있는 위치를 쉽게 선택할 수 있다.
그러나, 대부분의 경우에 있어서 여러개의 샷들로 구성된 씬의 내용을 전달할 수 있는 키프레임을 선정하는 것은 불가능하다.
그러므로 도3과 같은 목차 형태의 인터페이스를 제공함에 있어서 기존의 키프레임을 이용한 인터페이스의 단점을 극복하는, 상부 구조의 대표 프레임이 하부 구조의 내용을 잘 반영할 수 있는 비디오 요약방법이 필수적으로 요구된다.
본 발명은 기존의 키프레임이나 키영역을 이용하는 인터페이스가 제한된 디스플레이 영역에 많은 내용을 전달할 수 없고, 씬의 내용을 함축적으로 전달하는 대표 프레임의 선정이 어렵다는 단점을 극복하기 위하여, 의미적 정보를 많이 내포하고 있는 키프레임이나 키영역을 조합하여 하나의 키프레임으로 구성하는 합성 키프레임을 제공한다.
본 발명의 합성 키프레임은 적은 양의 데이터로 제한된 디스플레이 공간에 많은 양의 정보를 제공하여 비디오 스트림을 요약하고, 비선형적인 비디오 브라우징의 수단으로 이용할 수 있다.
따라서, 본 발명에서는 합성 키프레임과, 합성 키프레임을 이용한 효율적인 비디오 요약방법과, 합성 키프레임을 이용한 비디오 브라우징 인터페이스를 제공하며, 합성 키프레임을 효율적으로 관리하기 위한 데이터 관리 기법을 제공한다.
또한 본 발명에서는 합성 키프레임의 구성요소인 키프레임 또는 키영역과 관련된 세그먼트들을 쉽게 브라우징할 수 있는 비선형적인 비디오 브라우징 방법을 제공한다.
본 발명은 비디오 스트림에 대하여 의미적 정보를 가진 구간으로 구분하고, 각 구간의 내용을 함축적으로 대표하는 키프레임 이나 키영역을 가지고 해당 비디오 스트림의 특정 세그먼트를 요약하여 브라우징함에 있어서,
비디오 스트림의 내부 혹은 외부에 존재하는 키프레임/키영역을 이용하여 해당 구간의 내용을 함축적으로 대표하는 하나의 이미지 정보로서 합성하여 이루어지는 합성 키프레임을 이용하여 브라우징 하는 것을 특징으로 한다.
본 발명에서 상기 합성 키프레임은 물리적으로 저장장치에 저장되지 않고, 합성 키프레임의 구성요소인 키프레임 목록과 키영역 목록을 기술함으로써 합성 키프레임이 논리적으로 기술되거나, 키프레임과 키영역의 조합으로 생성되어 물리적으로 저장된 합성 키프레임인 것을 특징으로 한다.
또한 본 발명은 상기 비디오 스트림의 구조적 정보에 합성 키프레임을 할당하고, 키이미지 지정자와 하위 계층의 요약구조를 기술하는 정보로 구성되어, 합성 키프레임을 이용한 계층적인 비디오 요약이 가능함을 특징으로 한다.
또한 본 발명은 상기 합성 키프레임을 비디오 브라우징을 위한 사용자 인터페이스로 제공하고, 상기 합성 키프레임을 비디오 브라우징을 위하여 합성 키프레임 뷰의 형태로 제공하거나, TOC형태의 비디오 브라우징 인터페이스에서 각 노드를 합성 키프레임으로 대표 가능함을 특징으로 한다.
또한 본 발명은 상기 합성 키프레임을 비디오 브라우징을 위한 사용자 인터페이스로 제공하고, 사용자 입력에 의해 상기 합성 키프레임이 선택되면 상기 선택된 합성 키프레임이 대표하는 세그먼트를 재생 또는 해당 위치로 이동하거나 관련정보를 디스플레이 하며, 상기 사용자의 입력에 의해 선택된 키프레임 내의 각 구성 요소(키영역 또는 키프레임)와 관련된 세그먼트를 재생 또는 해당 위치로 이동하거나 관련정보를 디스플레이 하는 것을 특징으로 한다.
도4는 본 발명의 합성 키프레임에 대한 개념을 보이고 있다.
합성 키프레임이 일반적인 키프레임과 다른 점은 기존의 키프레임과는 달리 비디오 스트림에 물리적으로 존재하는 프레임이 아니라는 점이다.
합성 키프레임은 비디오 스트림에 존재하는 키프레임 또는 키영역, 또는 외부 소스(source)로부터 얻어진 키프레임이나 키영역을 조합하여 하나의 이미지(키프레임)로 생성된 것이다.
즉, 본 발명의 합성 키프레임은 비디오 스트림에서 특정 세그먼트를 대표하기 위하여 의미적 정보를 가진 영역이나, 주요 프레임 등을 조합하여 얻어진 키프레임이며, 비디오 스트림에 물리적으로 존재하지 않는 프레임임을 특징으로 한다.
도5는 합성 키프레임과 합성 키프레임을 구성하는 요소를 설명하기 위하여 필요한 세그먼트 지정자(Segment Locator)와 이미지 지정자(Image Locator)의 자료 구조의 예를 나타낸다.
세그먼트 지정자는 비디오 스트림에서 세그먼트를 지정하기 위한 수단으로서 고유 식별자(Segment ID), 실제 미디어 파일을 지정하기 위한 미디어 URL(Media URL), 또는 실제 세그먼트 데이터(Segment Data), 시작시점/종료시점 또는 시작시점/길이를 표현하기 위한 세그먼트 시간정보(Time Information), 세그먼트에 대한 주석(annotation)을 위한 묘사정보(Description), 관련된 세그먼트에 대한 목록(Related Segment List)을 보유할 수 있다.
여기서 관련 세그먼트 목록은 세그먼트간 요약, 상세 설명 관계, 원인/결과 관계 등을 표현하기 위해 사용되며, 그 구성요소는 세그먼트 지정자 또는 세그먼트 지정자를 참조하기 위한 식별자 등으로 구성된다.
이미지 지정자는 이미지를 지정하기 위한 자료구조로서, 고유 식별자(ID)와 실제 이미지 파일을 지정하기 위한 이미지 URL(Image URL) 또는 실제 이미지 데이터(Image Data), 설명을 위한 묘사정보(Description), 관련된 세그먼트 목록(Related Segment List) 등을 포함하고 있다.
도6은 본 발명의 합성 키프레임의 구성요소인 키프레임을 기술하기 위한 구조의 일예를 나타낸다.
키프레임 지정자(Key Frame Locator)는 도5에서 설명된 이미지 지정자(Image Locator)에 의해서 표현이 가능하다.
또한, 해당 키프레임이 어떤 세그먼트를 대표하는지를 나타내기 위한 대표 세그먼트 지정자(Representative Segment Locator), 해당 세그먼트를 얼마나 잘 표현 하는가에 대한 충실도 정보(Fidelity Values)가 포함된다.
도7은 본 발명의 합성 키프레임의 구성요소인 키영역을 기술하기 위한 구조의 일예를 나타낸다.
키영역 지정자(Key Region Locator)는 논리적인 키영역 기술구조 또는 물리적인 키영역 기술구조로 표현된다.
논리적인 키영역 기술구조는 고유 식별자(ID)와 해당 영역이 존재하는 이미지 지정자(Image Locator), 이미지 지정자에 의해 지정된 이미지에서의 키영역에 해당하는 영역정보(Region Area Info)가 포함된다.
또한, 해당 키영역이 어떤 세그먼트를 대표하는지를 나타내기 위한 대표 세그먼트 지정자(Representative Segment Locator), 해당 키영역이 해당 세그먼트를 얼마나 잘 표현하는가에 대한 충실도 정보(Fidelity), 기타 주석을 위한 묘사정보(Description), 그리고 관련된 세그먼트를 지정하기 위한 관련 세그먼트 목록(Related Segment List) 등이 논리적 키영역 기술구조에 포함된다.
여기서 논리적인 키영역 기술은 실제 영역 데이터가 독립적으로 존재하지 않는 경우에 메타 데이터로 키영역을 기술하기 위한 방법이며, 이와는 달리 물리적인 영역의 데이터를 가진 키영역을 기술할 수 있다.
물리적인 키영역 기술구조는 고유 식별자(ID)와 키영역에 대한 실제 데이터(Region Data)로서 기술되며, 필요에 따라 어떤 세그먼트를 대표하는지를 나타내는 대표 세그먼트 지정자(Representative Segment Locator), 충실도 정보(Fidelity), 묘사정보(Description), 관련 세그먼트 목록(Related Segment List)을 포함할 수 있다.
이와같은 합성 키프레임을 이용한 비디오 브라우징 인터페이스를 위해서는 합성 키프레임이 물리적으로 존재하거나 또는 논리적으로 기술되어 비디오 스트림에 대한 내용기반 데이터 영역에 기술되어야 한다.
도8은 본 발명의 합성 키프레임을 기술하기 위한 구조의 일예를 나타낸다.
합성 키프레임은 논리적인 기술구조 또는 물리적인 기술구조로 표현될 수 있다.
논리적 합성 키프레임 기술구조에는 고유 식별자(ID), 합성 키프레임이 대표하는 세그먼트를 지정하기 위한 대표 세그먼트 지정자(Representative Segment Locator), 합성 키프레임의 구성요소인 키프레임의 목록(Key Frame List)과 키영역의 목록(Key Region List), 합성 키프레임이 해당 세그먼트를 얼마나 잘 표현하고 있는가를 나타내는 충실도 정보(Fidelity), 그리고 합성 키프레임에서 각 구성요소들의 배열상태를 표현하기 위한 배열정보(Layout Info)가 기술된다.
물리적 합성 키프레임 기술구조에는 고유 식별자(ID), 실제 합성 키프레임을 지정하기 위한 이미지 지정자(Image Locator), 합성 키프레임이 대표하는 세그먼트를 지정하기 위한 대표 세그먼트 지정자(Representative Segment Locator), 해당 세그먼트를 얼마나 잘 표현하고 있는가를 나타내는 충실도 정보(Fidelity), 합성 키프레임에 참여하고 있는 키프레임 또는 키영역에 대한 목록(Key Region List)과 합성 키프레임에서 각 구성요소들의 배열 상태를 표현하기 위한 배열정보(Layout Info)가 기술된다.
그리고, 키프레임 목록을 구성하는 요소는 키프레임 기술 단위 구조(Key Frame Element)이며, 각각의 키프레임 단위 구조는 해당 키프레임을 지정하기 위한 키프레임 지정자(Key Frame Locator)와 해당 키프레임이 합성 키프레임 구조에서 얼마나 중요한 의미적 정보를 표현하는가에 대한 충실도 정보(Fidelity)를 포함한다.
키영역 목록을 구성하는 요소는 키영역 기술 단위 구조(Key Region Element)이며, 해당 키영역을 지정하기 위한 키영역 지정자(Key Region Locator)와, 해당 키영역이 합성 키프레임 구조에서 얼마나 중요한 의미적 정보를 표현하는가에 대한 충실도 정보(Fidelity)를 포함한다.
앞에서 설명된 충실도 정보(Fidelity)는 자동 혹은 수동에 의하여 추출이 가능한데, 자동 추출방법에 의한 충실도 정보는 영역의 지속시간, 오브젝트의 크기, 오디오 정보와의 매칭 수준 등을 고려하여 얻어질 수 있다.
도9는 합성 키프레임을 위한 구성 요소들의 배열 정보(Layout Information)를 HTML또는 XML과 같은 마크업 언어(Markup Language)로 표현한 것이다.
합성 키프레임은 해당 구성 요소들이 겹쳐서 배열될 수 있으므로 층(Layer)정보와 디스플레이될(된) 위치 정보를 포함하여 기술된다.
도10, 도11, 도12는 뉴스 비디오 브라우징 방법과 합성 키프레임 간의 관계를 설명하기 위한 도면이다.
도10은 뉴스 비디오 구조의 일례를 도식화 한 것이며, 일반적으로 뉴스 비디오는 헤드라인 뉴스 섹션과 상세 뉴스 설명 섹션, 요약(Summary) 뉴스 섹션, 날씨/스포츠 섹션 등으로 구성되며 중간에 상업 광고가 삽입되기도 한다.
각각의 섹션은 비디오 스트림의 구조중 씬에 해당하고, 또한 각각의 섹션은 여러가지 서브섹션으로 나뉘기도 하는데, 헤드라인 뉴스 섹션은 헤드라인 아이템 별로 구분이 가능하며 뉴스 섹션은 각각의 뉴스 아이템 별로 구분이 가능하다.
각각의 뉴스 아이템은 기본적으로 앵커 씬 부분과 에피소드 씬으로 나뉘어 지고 헤드라인 아이템과 에피소드 씬은 개별 샷들로 구성되는 것이 일반적이다.
도11은 뉴스 비디오의 헤드라인 부분에 대한 합성 키프레임의 예를 도식화한 것으로서, 도11의 뉴스에서 헤드라인 섹션은 크게 다섯 개의 헤드라인 아이템으로 구성되며 총 23개의 샷이 존재하고 실제 러닝 타임은 59초 정도이다.
대부분의 비디오 인덱싱 시스템에서는 개별 샷에 대하여 하나 이상의 키 프레임을 할당하는 방식을 이용하여 비디오 스트림을 요약하는 방식을 사용하고 해당 씬을 하나 이상의 키 프레임을 이용하여 요약한다.
그러나 일반 뉴스에서 전체 헤드라인 섹션을 대표할 만한 프레임을 선정하기는 매우 어렵다.
그러나 본 발명에서 제안된 합성 키 프레임을 헤드라인 섹션에 적용하면 도11에서 도시된 바와 같이 헤드라인 섹션 전체의 내용을 제한된 공간에 표현할 수 있다.
도12는 본 발명의 합성 키프레임이 뉴스 비디오에서 상세 뉴스 설명 섹션에도 적용될 수 있음을 도식화 한 것이다.
도12에서 좌측에 도시된 예제는 그 길이가 57초 정도이고 21개의 샷으로 구성된 하나의 뉴스 아이템 구간에 대한 것이며, 도12에서 우측에 도시된 예제는 그 길이가 107초이며 총 21개의 샷으로 구성된 뉴스 아이템 구간에 대한 것이다.
실제로 이러한 뉴스 아이템에 대하여 기존의 키 프레임을 이용한 요약 방법을 사용하게 되면, 많은 수의 키 프레임이 필요하게 되는데 본 발명의 합성 키프레임을 이용하면 각각의 뉴스 아이템에 대하여 하나씩의 합성 키프레임을 구성하는 것이 가능하다.
또한 이러한 합성 키프레임은 TOC 인터페이스에서 해당 노드의 대표 프레임으로 이용되어 하위 구조의 내용적 정보를 한눈에 제공할 수 있다.
도13은 스포츠 비디오에서 합성 키프레임 생성 방법을 도식화 한 것이다.
축구 비디오에서 하나의 샷은 매우 길고, 따라서 사용자에게 키프레임을 이용한 비디오 요약을 제공하고자 할 때에는 하나의 샷에 대하여 많은 수의 키 프레임이 필요하며, 여러 개의 샷이 모인 씬을 하나의 키 프레임으로 대표하여 요약하기에는 뉴스에서와 마찬가지로 어렵다.
도13의 비디오 시퀀스는 9개의 샷으로 이루어지며 그 길이가 65초 정도에 해당하는 구간이다.
각각의 샷에 대한 키프레임은 그 이미지 속성들이 매우 달라서 해당 구간을 대표하면서 내용을 동시에 전달 가능한 키프레임을 하나로 선정하기 매우 어렵다.
도13은 본 발명의 합성 키프레임을 이용하면 기존의 키 프레임에서의 이러한 문제를 쉽게 해결할 수 있음을 설명한다.
앞서 설명된 바와 같이 뉴스나 스포츠 분야에 있어서 합성 키프레임을 이용하면 효율적으로 제한된 공간에 많은 양의 정보를 제공하는 인터페이스를 구성할 수 있다.
오락용 프로그램, 다큐멘터리, 토크쇼, 교육용 프로그램, 광고, 홈쇼핑 등 모든 비디오 스트림에는 키 프레임 또는 키 영역이 존재하므로 본 발명의 합성 키프레임을 이용한 스트림 요약 방식은 모든 장르의 비디오 스트림에 대하여 적용이 가능하다.
그리고, 합성 키프레임을 구성하고 있는 각 영역이나 프레임들의 배열정보가 기술된 경우에는 사용자는 합성 키프레임 자체를 이용한 비디오 브라우징 이외에 각 구성 요소를 이용한 비 선형적인 비디오 브라우징이 가능하다.
도11의 합성 키프레임은 헤드라인 뉴스에서 키영역들을 조합하여 구성된 합성 키프레임인데, 이러한 합성 키프레임에서 영역을 선택함으로써 해당 영역과 관련된 헤드라인 구간 또는 상세 뉴스 설명구간에 대한 브라우징을 제공하는 인터페이스를 구현할 수 있다.
도14는 비디오 스트림의 구조적 정보에 대하여 합성 키프레임을 할당하여 계층적인 요약(hierarchical summary)을 제공하기 위한 방법을 도식화 한 것이다.
합성 키프레임은 일반적으로 어떠한 비디오 세그먼트에 대한 요약도 가능한 구조이지만 도14는 비디오의 계층적 구조에 합성 키프레임의 개념을 적용한 도면이다.
도14에서 각각의 노드는 프로그램, 샷, 씬을 대표하는 프레임들이다.
그 중에서 A,B,C,D 부분은 합성 키프레임을 이용하여 요약되는 구간을 의미한다.
합성 키프레임을 이용하면 도14에 나타난 것과 같이 비디오 스트림에 대하여 계층적인 요약이 가능하다.
또한 도14에서 도시된 바와 같이 하위 구조를 요약하기 위하여 하위 구조의 합성 키프레임을 위해 사용된 키영역이나 키프레임들이 상위 구조에 대한 합성 키프레임을 구성하는 요소로 사용될 수 있다.
도14에서 도시된 바와 같은 구조를 이용하면 사용자에게 사용자가 원하는 수준의 비디오 스트림에 대한 요약을 비디오의 계층적 구조와 합성 키프레임을 이용하여 제공할 수 있으며, 앞서 설명된 합성 키프레임에 대한 충실도(fidelity)정보를 이용한 비디오 요약 방식과 혼용될 수 있다.
도15는 도14의 개념을 일반화 시킨, 이미지를 이용한 비디오 스트림에 대한 계층적 요약 방식을 위한 자료구조(Hierarchical Image Summary Element : 계층 요약 구조)를 도식화 한 것이다.
이미지를 이용한 계층적 요약 방식은 재귀적 구조(Recursive Structure)를 가진다.
여기서, 키이미지 지정자(KeyImage Locator)는 키프레임, 키영역, 합성 키프레임등을 지정할 수 있는 자료구조이며, 하위 계층적 이미지 요약 단위 구조(Sub Hierarchical Image Summary Element) 목록은 하위 요약 구조를 기술하기 위한 것으로, 목록의 각각의 요소는 계층적 요약 단위구조(Hierarchical Image Summary Element)이다.
하위 계층적 이미지 요약구조(Sub Hierarchical Image Summary Element) 목록의 요소의 개수가 '0' 이면 최하위 노드로 더 이상의 하위 요약 구조가 없음을 의미한다.
또한 계층 요약구조에는 요약 레벨정보(Level)와 해당 합성 키프레임이 하위 구조를 얼마나 잘 대표할 수 있는가에 대한 충실도 정보(Fidelity)가 포함될 수 있다.
도16은 합성 키프레임과 관련된 비디오 브라우징 인터페이스의 일례이다.
도16의 비선형적 비디오 브라우징을 위한 사용자 인터페이스는 크게 비디오 디스플레이 뷰와 키프레임/키영역 뷰 그리고 합성 키프레임 뷰로 구성된다.
이중에서 디스플레이 뷰와 키프레임/키영역 뷰는 도3에서 도시된 일반적인 비선형적 비디오 브라우징 인터페이스에서와 동일한 기능을 가진다고 볼 수 있다.
도16에서 제시된 합성 키프레임 뷰는 사용자에게 의미적 정보를 제한된 디스플레이 공간에서 표현 가능한 합성 키프레임을 이용하여 키프레임 뷰와 마찬가지로 비디오 요약을 제공하는 뷰이며, 해당 구간으로 이동할 수 있는 수단을 제공한다.
사용자는 합성 키프레임을 선택함으로써 또는 합성 키프레임의 구성 요소인 키프레임이나 키영역을 선택함으로써 관련된 지점으로 이동할 수 있다.
합성 키프레임 뷰는 도16에서 도시된 바와 같이 일차원적으로 디스플레이 될 수 있으며, TOC의 형태인 트리 구조로 디스플레이 될 수 있다.
본 발명과 관련된 어플리케이션으로는 UMA 응용 어플리케이션이 있다.
사용자의 단말장치나 사용자 단말장치와 서버를 연결하는 네트워크 환경 등에 따라 사용자가 이용할 수 있는 데이터에 한계가 있을 수 있다.
즉 어떤 디바이스를 사용하는가에 따라, 정지영상은 지원되나 동영상 디스플레이는 지원되지 않을 수 있으며, 오디오는 지원되나 영상은 지원되지 않을 수도 있다.
또한 네트워크 연결 방식/매체에 따라 전송용량이 부족하여 정해진 시간 내에 전송 받을 수 있는 데이터의 양이 제한될 수 있다.
이러한 다양한 사용자의 환경의 변화에 적응하여, 어떤 멀티미디어 정보를 사용자의 환경에 가장 알맞은 형태로 가공하여 사용자의 편의를 도모하고 정보의 전달 능력을 향상시키고자 하는 모든 어플리케이션들을 UMA 어플리케이션(Universal Multimedia Access Applications) 이라고 한다.
예를 들어 디바이스/네트워크 등의 제약조건에 의해 비디오 스트림을 받아 디스플레이 할 수 없는 사용자에게 사용자의 환경이 허락하는 한도내의 축소된 크기와 개수의 키프레임으로 비디오 스트림을 변환시켜 전송함으로써, 최소한의 이해를 도모할 수 있다.
본 발명의 합성 키프레임은 UMA 어플리케이션에 적용되어, 전송될 키프레임을 개수를 줄여서 전송될 데이터의 양은 줄이면서 더 많은 의미적 정보를 제공하는 수단으로 이용될 수 있다.
도17은 합성 키프레임을 이용한 UMA 응용 어플리케이션에서의 시나리오를 도식화 한 것이다.
단말기는 서버로부터 전송된 합성 키프레임을 이용하여 자신이 브라우징하고 싶은 부분을 합성 키프레임이나 합성 키프레임의 구성요소를 선택하여 이를 서버에 알림으로써 해당 부분에 대한 오디오를 전송받아 청취하고, 만약 원하는 데이터가 아니면 해당 부분을 더 이상 브라우징 하지 않을 수 있다.
좀더 자세한 정보를 알고 싶다면 해당 구간에 대한 키프레임들을 요구하여 브라우징 할 수 있고 최종적으로 비디오 스트림도 브라우징 할 수 있다.
그러므로 이러한 어플리케이션에 합성 키프레임이 이용되면 사용자의 취사 선택에 따라 꼭 필요한 부분만을 쉽게 브라우징할 수 있으므로 통신 비용을 절약할 수 있으며, 기능이 제한된 장치에도 멀티미디어 스트림의 내용에 대한 정보를 쉽게 전송하는 서비스를 제공할 수 있다.
본 발명은 기존의 키 프레임이 하나의 샷 또는 씬을 대표하기 어려운 단점과 제한된 디스플레이 공간에 세그먼트의 내용을 함축적으로 전달하기 어려운 단점을 극복하기 위하여, 비디오 스트림의 일정 세그먼트를 대표하기 위하여 주요 프레임 또는 주요 영역을 합성함으로써 얻어지는 합성 키 프레임(Synthetic key-frame)의 개념과, 이를 효율적으로 기술하기 위한 자료 저장 기법을 제시하였다.
제안된 합성 키프레임은 기존의 키프레임 또는 키영역을 이용한 브라우징에 비하여 제한된 디스플레이 공간에 특정 세그먼트에 포함된 내용을 한 눈에 제공할 수 있는 장점이 있으며, 하나의 합성 키프레임으로 샷 또는 씬의 내용을 충분히 반영할 수 있다.
본 발명의 이러한 합성 키프레임은 비디오 스트림에 대한 일차원적인 또는 계층인 요약의 용도와, 비 선형적인 비디오 브라우징을 위한 수단으로 사용될 수 있다.
이러한 합성 키프레임은 단말장치 또는 전송장치의 성능이 제한된 UMA 등의 어플리케이션에 특히 유용하게 사용될 수 있으며, 모든 비디오 장르에 적용이 가능하다.
도1은 비디오 스트림의 구조적 정보의 일예를 나타낸 도면
도2는 앵커 프레임과 뉴스 아이콘의 관계를 설명하기 위한 도면
도3은 비선형적 비디오 브라우징 인터페이스의 일예를 나타낸 도면
도4는 본 발명의 합성 키프레임의 개념을 설명하기 위한 도면
도5는 세그먼트 지정자와 이미지 지정자의 기술 구조를 나타낸 도면
도6은 키프레임 지정자의 기술 구조를 나타낸 도면
도7은 키영역 지정자의 기술 구조를 나타낸 도면
도8은 본 발명의 합성 키프레임 정보의 기술 구조를 나타낸 도면
도9는 본 발명의 합성 키프레임의 구성요소 배열에 관한 레이아웃 기술 구조의 일예를 나타낸 도면
도10은 뉴스 비디오 구조의 일예를 나타낸 도면
도11은 뉴스의 헤드라인 부분에 대한 본 발명의 합성 키프레임의 일예를 나타낸 도면
도12는 상세 뉴스 구간에 대한 본 발명의 합성 키프레임의 일예를 나타낸 도면
도13은 축구경기 비디오에서 본 발명의 합성 키프레임 생성방법의 일예를 나타낸 도면
도14는 비디오의 구조적 정보에 본 발명의 계층적 합성 키프레임을 적용한 일예를 나타낸 도면
도15는 계층적 이미지 요약 단위 구조(Hierachical Image Summary Element)를 이용한 계층적 비디오 스트림 요약을 위한 기술 구조의 일예를 나타낸 도면
도16은 본 발명의 합성 키프레임을 이용한 비디오 브라우징 인터페이스의 일예를 나타낸 도면
도17은 UMA 응용 어플리케이션에서 본 발명의 합성 키프레임을 이용한 시나리오의 일예를 나타낸 도면

Claims (26)

  1. 비디오 스트림에 대하여 의미적 정보를 가진 구간으로 구분하고, 각 구간의 내용을 함축적으로 대표하는 키프레임이나 키영역을 가지고 해당 비디오 스트림의 특정 세그먼트를 요약하는 방법에 있어서,
    (a). 비디오 스트림의 내부 혹은 외부에 존재하는 키프레임/키영역을 추출하여, 해당 구간의 내용을 함축적으로 대표하는 이미지 정보로서 선택하는 단계, (b). 상기 선택된 키프레임들이나 키영역들, 혹은 키프레임과 키영역을 하나의 이미지로 조합하여 합성 키프레임을 구성하는 단계, (c). 상기 구성된 합성 키프레임을 이용해서 해당 비디오 스트림의 특정 세그먼트를 대표하여 요약하는 단계로 이루어지는 것을 특징으로 하는 비디오 스트림 요약방법.
  2. 비디오 스트림에 대하여 의미적 정보를 가진 구간으로 구분하고, 각 구간의 내용을 함축적으로 대표하는 키프레임이나 키영역을 하나의 이미지로 조합하여 합성 키프레임을 구성하는 방법에 있어서,
    합성 키프레임의 구성요소에 포함되는 키프레임이나 키영역, 키프레임과 키영역의 목록을 기술하는 합성 키프레임 데이터 기술 방법.
  3. 제 2 항에 있어서, 상기 합성 키프레임을 식별하기 위한 고유 식별자와, 상기 합성 키프레임이 대표하고자 하는 세그먼트에 대한 구간정보와, 상기 합성 키프레임이 대표하고자 하는 세그먼트에 대하여 의미적인 정보를 얼마나 잘 표현하는가를 나타내는 충실도 정보와, 상기 합성 키프레임의 각 구성요소인 키프레임이나 키영역이 디스플레이 될 때의 각 구성요소의 배열에 관한 정보를 더 포함하는 것을 특징으로 하는 합성 키프레임 데이터 기술방법.
  4. 제 2 항에 있어서,
    상기 합성 키프레임이 키프레임 목록을 포함할 때, 키프레임 목록의 각 구성요소는 키프레임 기술단위 구조이고 이 단위 구조는 키프레임 지정자를 포함하며,
    상기 합성 키프레임이 키영역 목록을 포함할 때, 키영역 목록의 각 구성요소는 키영역 기술단위 구조이고 이 단위 구조는 키영역 지정자를 포함하는 것을 특징으로 하는 합성 키프레임 데이터 기술방법.
  5. 제 4 항에 있어서, 상기 키프레임 지정자는,
    키프레임을 지정하기 위한 데이터로서 저장된 이미지에 대한 위치, 주석, 관련 세그먼트 등을 포함할 수 있는 이미지 지정자를 포함하거나, 해당 키프레임이 어떤 세그먼트를 대표하는가에 대한 세그먼트의 구간을 지정하는 세그먼트 지정자를 포함하는 정보를 가리키는 세그먼트 지정자를 포함하거나, 해당 키프레임이 대표하는 세그먼트를 얼마나 잘 표현해 주는가에 대한 충실도 정보를 포함하는 것을 특징으로 하는 합성 키프레임 데이터 기술방법.
  6. 제 4 항에 있어서, 상기 키영역 지정자는,
    키영역을 기술하기 위한 자료구조로서 저장된 위치 또는 세그먼트 데이터를 논리적/물리적으로 지정하는 정보이거나, 해당 키영역이 어떤 세그먼트를 대표하는가에 대한 세그먼트의 구간 정보를 가리키는 세그먼트 지정자를 포함하거나, 해당 키영역이 대표하는 세그먼트를 얼마나 잘 표현하는 가에 대한 충실도 정보를 포함하는 것을 특징으로 하는 합성 키프레임 데이터 기술방법.
  7. 제 2 항에 있어서,
    상기 합성 키프레임이 키프레임 목록을 포함할 때, 키프레임 목록의 각 구성요소는 키프레임 기술단위 구조이고 이 단위 구조는 해당 키프레임이 합성 키프레임에서 의미적인 내용을 얼마나 잘 표현하는가에 대한 충실도 정보를 포함하고,
    상기 합성 키프레임이 키영역 목록을 포함할 때, 키영역 목록의 각 구성요소는 키영역 기술단위 구조이고 이 단위 구조는 해당 키영역이 합성 키프레임에서의 의미적인 내용을 얼마나 잘 표현하는가에 대한 충실도 정보를 포함하는 것을 특징으로 하는 합성 키프레임 데이터 기술방법.
  8. 제 3 항에 있어서, 상기 각 구성요소의 배열에 관한 정보는 구성요소의 2차원적인 위치 정보를 포함하거나, 구성요소의 3차원적인 위치 정보인 층(Layer) 정보를 포함하는 것을 특징으로 하는 합성 키프레임 데이터 기술방법.
  9. 비디오 스트림에 대하여 의미적 정보를 가진 구간으로 구분하고, 각 구간의 내용을 함축적으로 대표하는 키프레임이나 키영역을 하나의 이미지로 조합하여 합성 키프레임을 구성하는 방법에 있어서,
    합성 키프레임의 구성요소에 포함되는 키프레임이나 키영역, 키프레임과 키영역의 조합을 생성하고 물리적으로 저장하여 합성 키프레임을 기술하는 것을 특징으로 하는 합성 키프레임 데이터 기술 방법.
  10. 제 9 항에 있어서, 상기 합성 키프레임을 식별하기 위한 고유 식별자와, 상기 저장된 합성 키프레임 파일을 지정하기 위한 이미지 지정자와, 상기 합성 키프레임이 대표하고자 하는 세그먼트에 대한 구간 정보와, 상기 합성 키프레임이 대표하고자 하는 세그먼트에 대하여 의미적인 정보를 얼마나 잘 표현하는가에 대한 충실도 정보와, 상기 합성 키프레임의 각 구성요소에 대한 정보를 표현하기 위한 키영역 목록과, 상기 합성 키프레임의 각 구성 요소인 키프레임과 키영역의 배열에 관한 정보를 더 포함하는 것을 특징으로 하는 합성 키프레임 데이터 기술 방법.
  11. 제 9 항에 있어서, 상기 합성 키프레임 구성요소 목록의 각 요소는 키영역 기술 단위 구조이며 단위 구조는 키영역 지정자를 포함하는 것을 특징으로 하는 합성 키프레임 데이터 기술 방법.
  12. 제 11 항에 있어서, 상기 키영역 지정자는 키영역을 기술하기 위한 자료구조로서 저장된 위치 또는 세그먼트 데이터를 논리적/물리적으로 지정하기 위한 정보이거나, 해당 키영역이 어떤 세그먼트를 대표하는가에 대한 세그먼트의 구간 정보를 가리키는 세그먼트 지정자를 포함하거나, 해당 키영역이 대표하는 세그먼트를 얼마나 잘 표현하는가에 대한 충실도 정보를 포함하는 것을 특징으로 하는 합성 키프레임 데이터 기술 방법.
  13. 제 10 항에 있어서, 상기 키영역 목록의 각 구성요소는 키영역 기술 단위 구조이며 단위 구조는 해당 키영역이 합성 키프레임에서의 의미적인 내용을 얼마나 잘 표현하는 가에 대한 충실도 정보를 포함하는 것을 특징으로 하는 합성 키프레임 데이터 기술 방법.
  14. 제 10 항에 있어서, 상기 각 구성 요소의 배열에 관한 정보는 구성요소의 2차원적인 위치 정보를 포함하거나, 구성요소의 3차원적인 위치 정보인 층 정보를 포함하는 것을 특징으로 하는 합성 키프레임 데이터 기술 방법.
  15. 비디오 스트림에 대하여 의미적 정보를 가진 구간으로 구분하고, 각 구간의 내용을 함축적으로 대표하는 키프레임이나 키영역을 가지고 해당 비디오 스트림의 특정 세그먼트를 요약하는 데이터 구조에 있어서,
    (a). 키이미지 지정자와, (b). 하위 요약 구조를 기술하기 위한 계층 요약구조 목록과, (c). 상기 비디오 스트림의 구조적 정보에 대하여 합성 키프레임을 할당하여 이루어진 것을 특징으로 하는 합성 키프레임을 이용한 계층적 비디오 요약 데이터 구조.
  16. 제 15 항에 있어서, 상기 키이미지 지정자는 키영역 지정자, 키프레임 지정자, 합성 키프레임 지정자를 이용하여 이미지를 지정하는 자료구조인 것을 특징으로 하는 합성 키프레임을 이용한 계층적 비디오 요약 데이터 구조.
  17. 제 15 항에 있어서, 상기 각각의 계층 요약 구조는 특정 세그먼트를 대표하는 이미지로 표현되는 것을 특징으로 하는 합성 키프레임을 이용한 계층적 비디오 요약 데이터 구조.
  18. 제 15 항에 있어서, 상기 하위 계층 요약 구조 목록의 각 구성 요소는 하위의 계층 요약 구조로서 계층적/재귀적인 요약 구조를 이용하는 것을 특징으로 하는 합성 키프레임을 이용한 계층적 비디오 요약 데이터 구조.
  19. 제 15 항에 있어서, 상기 계층 요약 구조가 요약 레벨 정보를 가지는 것을 특징으로 하는 합성 키프레임을 이용한 계층적 비디오 요약 데이터 구조.
  20. 제 15 항에 있어서, 상기 계층 요약 구조가 하위 계층 요약 구조 목록에 의해 표현된 부분을 얼마나 잘 표현하고 있는가에 대한 충실도 정보를 포함하는 것을 특징으로 하는 합성 키프레임을 이용한 계층적 비디오 요약 데이터 구조.
  21. 비디오 스트림에 대하여 의미적 정보를 가진 구간으로 구분하고, 각 구간의 내용을 함축적으로 대표하는 키프레임이나 키영역을 가지고 해당 비디오 스트림의 특정 세그먼트를 브라우징하는 방법에 있어서,
    제1항에 기재된 합성 키프레임을 비디오 브라우징을 위한 사용자 인터페이스로 제공하는 것을 특징으로 하는 비디오 브라우징 인터페이스.
  22. 제 21 항에 있어서, 상기 합성 키프레임을 제공함에 있어, 비디오 브라우징을 위하여 합성 키프레임 뷰의 형태로 제공하는 것을 특징으로 하는 비디오 브라우징 인터페이스.
  23. 제 21 항에 있어서, 상기 합성 키프레임이 비디오 브라우징을 위한 사용자 인터페이스로 제공됨에 있어, 상기 합성 키프레임은 시간 순서로 배열되며 또한 트리 형태로 배열되는 것을 특징으로 하는 비디오 브라우징 인터페이스.
  24. 제 21 항에 있어서, 상기 합성 키프레임이 비디오 브라우징을 위한 사용자 인터페이스로 제공됨에 있어, 상기 비디오 브라우징 인터페이스는 TOC형태의 비디오 브라우징 인터페이스에서 각 노드를 합성 키프레임으로 나타내는 것을 특징으로 하는 비디오 브라우징 인터페이스.
  25. 비디오 스트림에 대하여 의미적 정보를 가진 구간으로 구분하고, 각 구간의 내용을 함축적으로 대표하는 키프레임이나 키영역을 가지고 해당 비디오 스트림의 특정 세그먼트를 브라우징하는 방법에 있어서,
    (a). 제1항에 기재된 합성 키프레임을 비디오 브라우징을 위한 사용자 인터페이스로 제공하는 단계와, (b). 사용자 입력에 의해 상기 합성 키프레임이 선택되는 단계와, (c). 상기 선택된 합성 키프레임이 대표하는 세그먼트를 재생하는 단계로 이루어지는 것을 특징으로 하는 합성 키프레임을 이용한 비선형적인 비디오 브라우징 방법.
  26. 제 25 항에 있어서, 사용자로부터 선택된 합성 키프레임을 재생함에 있어, 상기 사용자의 입력에 의해 선택된 키프레임 내의 각 구성 요소(키영역 또는 키프레임)와 관련된 세그먼트를 재생하는 것을 특징으로 하는 합성 키프레임을 이용한 비 선형적인 비디오 브라우징 방법.
KR10-2000-0011565A 2000-03-08 2000-03-08 합성 키프레임을 이용한 비디오 브라우징 시스템 KR100512138B1 (ko)

Priority Applications (6)

Application Number Priority Date Filing Date Title
KR10-2000-0011565A KR100512138B1 (ko) 2000-03-08 2000-03-08 합성 키프레임을 이용한 비디오 브라우징 시스템
CNB01109124XA CN1168036C (zh) 2000-03-08 2001-03-08 产生合成关键帧的方法和使用该方法的视频浏览系统
JP2001065149A JP2001320670A (ja) 2000-03-08 2001-03-08 合成キーフレームの生成方法及びそれを利用したビデオブラウジングシステム
US09/800,999 US20010020981A1 (en) 2000-03-08 2001-03-08 Method of generating synthetic key frame and video browsing system using the same
EP01302138A EP1132835A1 (en) 2000-03-08 2001-03-08 Method of generating synthetic key frame and video browsing system using the same
JP2005281475A JP2006101526A (ja) 2000-03-08 2005-09-28 合成キーフレームを利用した階層ビデオ要約方法及びビデオブラウジングインターフェース

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR10-2000-0011565A KR100512138B1 (ko) 2000-03-08 2000-03-08 합성 키프레임을 이용한 비디오 브라우징 시스템

Publications (2)

Publication Number Publication Date
KR20010087683A KR20010087683A (ko) 2001-09-21
KR100512138B1 true KR100512138B1 (ko) 2005-09-02

Family

ID=36240822

Family Applications (1)

Application Number Title Priority Date Filing Date
KR10-2000-0011565A KR100512138B1 (ko) 2000-03-08 2000-03-08 합성 키프레임을 이용한 비디오 브라우징 시스템

Country Status (5)

Country Link
US (1) US20010020981A1 (ko)
EP (1) EP1132835A1 (ko)
JP (2) JP2001320670A (ko)
KR (1) KR100512138B1 (ko)
CN (1) CN1168036C (ko)

Families Citing this family (51)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100479653B1 (ko) * 2000-07-01 2005-03-30 주식회사 디지트리얼테크놀로지 파노라마형 비디오 디스플레이 방법
US7146574B2 (en) * 2001-12-21 2006-12-05 Microsoft Corporation Systems and methods for interfacing with digital history data
KR100464076B1 (ko) * 2001-12-29 2004-12-30 엘지전자 주식회사 동영상 비디오 브라우징 방법과 장치
US8250073B2 (en) * 2002-04-30 2012-08-21 University Of Southern California Preparing and presenting content
KR100493635B1 (ko) * 2002-08-31 2005-06-10 엘지전자 주식회사 멀티미디어 데이터 검색 및 브라우징 시스템
US6963378B2 (en) * 2002-11-01 2005-11-08 Motorola, Inc. Method and apparatus for reduction of visual content
US7194701B2 (en) * 2002-11-19 2007-03-20 Hewlett-Packard Development Company, L.P. Video thumbnail
US7536713B1 (en) * 2002-12-11 2009-05-19 Alan Bartholomew Knowledge broadcasting and classification system
US7082572B2 (en) * 2002-12-30 2006-07-25 The Board Of Trustees Of The Leland Stanford Junior University Methods and apparatus for interactive map-based analysis of digital video content
US7552387B2 (en) * 2003-04-30 2009-06-23 Hewlett-Packard Development Company, L.P. Methods and systems for video content browsing
US20050028213A1 (en) * 2003-07-31 2005-02-03 International Business Machines Corporation System and method for user-friendly fast forward and backward preview of video
US20050228849A1 (en) * 2004-03-24 2005-10-13 Tong Zhang Intelligent key-frame extraction from a video
US7697785B2 (en) * 2004-03-31 2010-04-13 Fuji Xerox Co., Ltd. Generating a highly condensed visual summary
US7848567B2 (en) * 2004-09-23 2010-12-07 Fuji Xerox Co., Ltd. Determining regions of interest in synthetic images
US7724959B2 (en) 2004-09-23 2010-05-25 Fuji Xerox Co., Ltd. Determining regions of interest in photographs and images
US7760956B2 (en) 2005-05-12 2010-07-20 Hewlett-Packard Development Company, L.P. System and method for producing a page using frames of a video stream
US8089563B2 (en) * 2005-06-17 2012-01-03 Fuji Xerox Co., Ltd. Method and system for analyzing fixed-camera video via the selection, visualization, and interaction with storyboard keyframes
US7904455B2 (en) * 2005-11-03 2011-03-08 Fuji Xerox Co., Ltd. Cascading cluster collages: visualization of image search results on small displays
US8032840B2 (en) 2006-01-10 2011-10-04 Nokia Corporation Apparatus, method and computer program product for generating a thumbnail representation of a video sequence
JP5212610B2 (ja) * 2006-02-08 2013-06-19 日本電気株式会社 代表画像又は代表画像群の表示システム、その方法、およびそのプログラム並びに、代表画像又は代表画像群の選択システム、その方法およびそのプログラム
US20070204238A1 (en) * 2006-02-27 2007-08-30 Microsoft Corporation Smart Video Presentation
US8756528B2 (en) * 2006-05-08 2014-06-17 Ascom (Sweden) Ab System and method of customizing video display layouts having dynamic icons
US8918714B2 (en) * 2007-04-11 2014-12-23 Adobe Systems Incorporated Printing a document containing a video or animations
US7558760B2 (en) * 2007-06-12 2009-07-07 Microsoft Corporation Real-time key frame generation
CN101540881B (zh) * 2008-03-19 2011-04-13 华为技术有限公司 实现流媒体定位播放的方法、装置及系统
EP2311257B1 (en) * 2008-08-13 2016-01-06 GVBB Holdings S.A.R.L Apparatus and method for encrypting image data, and decrypting the encrypted image data, and image data distribution system
US8831090B2 (en) 2008-11-18 2014-09-09 Avigilon Corporation Method, system and apparatus for image capture, analysis and transmission
KR101719979B1 (ko) * 2010-02-05 2017-03-27 엘지전자 주식회사 Ｕｉ 제공 방법 및 디지털 방송 수신기
JP5221576B2 (ja) * 2010-03-01 2013-06-26 日本電信電話株式会社 動画像再生表示装置，動画像再生表示方法，動画像再生表示プログラムおよびその記録媒体
CN102196001B (zh) * 2010-03-15 2014-03-19 腾讯科技（深圳）有限公司 一种影片文件下载装置及方法
US8773490B2 (en) * 2010-05-28 2014-07-08 Avaya Inc. Systems, methods, and media for identifying and selecting data images in a video stream
CN102340705B (zh) * 2010-07-19 2014-04-30 中兴通讯股份有限公司 一种获取关键帧的系统及方法
WO2012037715A1 (en) * 2010-09-20 2012-03-29 Nokia Corporation Identifying a key frame from a video sequence
CN102625155B (zh) * 2011-01-27 2014-11-26 天脉聚源(北京)传媒科技有限公司 一种视频关键帧展示方法和系统
KR102135347B1 (ko) * 2013-05-21 2020-07-17 엘지전자 주식회사 디지털 영상 녹화 장치 및 이의 동작방법
JP5818172B2 (ja) * 2013-06-21 2015-11-18 コニカミノルタ株式会社 情報表示装置及び表示制御プログラム並びに表示制御方法
CN104461222B (zh) * 2013-09-16 2019-02-05 联想(北京)有限公司 一种信息处理的方法和电子设备
CN103686402B (zh) * 2013-12-04 2019-05-21 康佳集团股份有限公司 一种基于节目信息的视频定位方法及视频播放器
JP6378503B2 (ja) * 2014-03-10 2018-08-22 国立大学法人 筑波大学 要約映像データ作成システム及び方法並びにコンピュータプログラム
CN103926785B (zh) * 2014-04-30 2017-11-03 广州视源电子科技股份有限公司 一种双摄像头实现方法及装置
CN105282560B (zh) * 2014-06-24 2019-06-04 Tcl集团股份有限公司 一种快速播放网络视频的方法及系统
US9786028B2 (en) 2014-08-05 2017-10-10 International Business Machines Corporation Accelerated frame rate advertising-prioritized video frame alignment
US9607224B2 (en) * 2015-05-14 2017-03-28 Google Inc. Entity based temporal segmentation of video streams
KR102282463B1 (ko) * 2015-09-08 2021-07-27 한화테크윈 주식회사 이벤트를 보존하는 비디오 축약 방법 및 이를 위한 장치
US10606887B2 (en) * 2016-09-23 2020-03-31 Adobe Inc. Providing relevant video scenes in response to a video search query
CN108696772B (zh) * 2017-04-11 2021-07-16 苏州谦问万答吧教育科技有限公司 一种实时视频的传输方法及装置
CN109726367B (zh) * 2017-10-27 2022-06-10 腾讯科技（北京）有限公司 一种批注展示的方法及相关装置
US10795549B2 (en) 2018-03-12 2020-10-06 International Business Machines Corporation Generating a graphical user interface to navigate video content
US11743440B2 (en) * 2021-04-19 2023-08-29 Apple Inc. Transmission and consumption of multiple image subframes via superframe
CN113542594B (zh) * 2021-06-28 2023-11-17 惠州Tcl云创科技有限公司 基于视频的高画质图像提取处理方法、装置、移动终端
CN115550684B (zh) * 2021-12-30 2023-07-25 北京国瑞数智技术有限公司 一种改进的视频内容过滤方法和系统

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05328218A (ja) * 1992-05-26 1993-12-10 Matsushita Electric Ind Co Ltd 映像生成装置
WO1998034182A2 (en) * 1997-02-03 1998-08-06 Koninklijke Philips Electronics N.V. A method and device for navigating through video matter by means of displaying a plurality of key-frames in parallel
JP2000032341A (ja) * 1998-07-14 2000-01-28 Sony Corp キーフレーム生成装置及びキーフレーム生成方法
JP2000299829A (ja) * 1999-04-13 2000-10-24 Canon Inc 画像処理装置及び方法
KR20010028735A (ko) * 1999-09-22 2001-04-06 구자홍 멀티미디어 스트림의 세그먼트간 요약/상세설명 관계 정보 구성 방법과 세그먼트간 요약/상세설명 관계 정보를 이용한 비디오 브라우징 방법

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5351067A (en) * 1991-07-22 1994-09-27 International Business Machines Corporation Multi-source image real time mixing and anti-aliasing
JPH0738845A (ja) * 1993-07-23 1995-02-07 Fujitsu Ltd ビデオ映像のシーン抽出方法
JP3374355B2 (ja) * 1994-10-18 2003-02-04 日本電信電話株式会社 映像管理表示装置
US5821945A (en) * 1995-02-03 1998-10-13 The Trustees Of Princeton University Method and apparatus for video browsing based on content and structure
JP3407840B2 (ja) * 1996-02-13 2003-05-19 日本電信電話株式会社 映像要約方法
JPH10155123A (ja) * 1996-11-21 1998-06-09 Nec Corp 圧縮復号データ表示システム
US6172672B1 (en) * 1996-12-18 2001-01-09 Seeltfirst.Com Method and system for providing snapshots from a compressed digital video stream
JP3258924B2 (ja) * 1997-02-28 2002-02-18 三洋電機株式会社 シーン管理装置、シーン管理方法及び記録媒体
JP3287814B2 (ja) * 1997-07-11 2002-06-04 三菱電機株式会社 動画再生装置
JPH1198412A (ja) * 1997-09-22 1999-04-09 Sony Corp 編集システム及び表示装置並びにコンピユータ装置
JP3613543B2 (ja) * 1997-11-11 2005-01-26 株式会社日立国際電気 動画像編集装置
US6166735A (en) * 1997-12-03 2000-12-26 International Business Machines Corporation Video story board user interface for selective downloading and displaying of desired portions of remote-stored video data objects
US6052492A (en) * 1997-12-09 2000-04-18 Sun Microsystems, Inc. System and method for automatically generating an image to represent a video sequence
US5956026A (en) * 1997-12-19 1999-09-21 Sharp Laboratories Of America, Inc. Method for hierarchical summarization and browsing of digital video
JP3405208B2 (ja) * 1998-07-03 2003-05-12 株式会社朋栄 分割マルチ画面表示装置
US6549643B1 (en) * 1999-11-30 2003-04-15 Siemens Corporate Research, Inc. System and method for selecting key-frames of video data

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05328218A (ja) * 1992-05-26 1993-12-10 Matsushita Electric Ind Co Ltd 映像生成装置
WO1998034182A2 (en) * 1997-02-03 1998-08-06 Koninklijke Philips Electronics N.V. A method and device for navigating through video matter by means of displaying a plurality of key-frames in parallel
JP2000032341A (ja) * 1998-07-14 2000-01-28 Sony Corp キーフレーム生成装置及びキーフレーム生成方法
JP2000299829A (ja) * 1999-04-13 2000-10-24 Canon Inc 画像処理装置及び方法
KR20010028735A (ko) * 1999-09-22 2001-04-06 구자홍 멀티미디어 스트림의 세그먼트간 요약/상세설명 관계 정보 구성 방법과 세그먼트간 요약/상세설명 관계 정보를 이용한 비디오 브라우징 방법

Also Published As

Publication number Publication date
US20010020981A1 (en) 2001-09-13
CN1168036C (zh) 2004-09-22
JP2001320670A (ja) 2001-11-16
CN1312643A (zh) 2001-09-12
JP2006101526A (ja) 2006-04-13
KR20010087683A (ko) 2001-09-21
EP1132835A1 (en) 2001-09-12

Similar Documents

Publication Publication Date Title
KR100512138B1 (ko) 합성 키프레임을 이용한 비디오 브라우징 시스템
KR100997599B1 (ko) 콘텐츠 처리 방법
US7181757B1 (en) Video summary description scheme and method and system of video summary description data generation for efficient overview and browsing
USRE45594E1 (en) Network distribution and management of interactive video and multi-media containers
US6573907B1 (en) Network distribution and management of interactive video and multi-media containers
KR100686521B1 (ko) 비디오 및 메타데이터의 통합을 위한 비디오 멀티미디어응용 파일 형식의 인코딩/디코딩 방법 및 시스템
US8892563B2 (en) Storage medium including metadata and reproduction apparatus and method therefor
JP4188889B2 (ja) マルチメディアストリームのセグメント間の関係についての情報を用いたビデオブラウジング方法
KR100371813B1 (ko) 효율적인 비디오 개관 및 브라우징을 위한 요약 비디오 기술구조 및 이의 기록매체, 이를 이용한 요약 비디오 기술 데이터 생성 방법 및 생성시스템, 요약 비디오 기술 데이터의 브라우징 장치 및 브라우징 방법.
CN100430921C (zh) 多媒体数据搜索和浏览系统
JP4732418B2 (ja) メタデータ処理方法
KR100518846B1 (ko) 내용기반 동영상 검색 및 브라우징을 위한 동영상 데이타 구성방법
JP2008136183A (ja) ヒント情報記述方法
EP1085756A2 (en) Description framework for audiovisual content
Meessen et al. Content browsing and semantic context viewing through JPEG 2000-based scalable video summary
Wakita et al. Extended Package-Segment Model and Adaptable Applications
Mu Applications of Multimedia & Learning Object
Lee et al. Automatic video summarizing tool using MPEG-7 descriptors for STB

Legal Events

Date Code Title Description
N231 Notification of change of applicant
A201 Request for examination
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20080618

Year of fee payment: 4

LAPS Lapse due to unpaid annual fee