KR100584280B1 - 멀티미디어 컨텐트의 재생 제어 방법 및 시스템 - Google Patents

멀티미디어 컨텐트의 재생 제어 방법 및 시스템 Download PDF

Info

Publication number
KR100584280B1
KR100584280B1 KR1020000012489A KR20000012489A KR100584280B1 KR 100584280 B1 KR100584280 B1 KR 100584280B1 KR 1020000012489 A KR1020000012489 A KR 1020000012489A KR 20000012489 A KR20000012489 A KR 20000012489A KR 100584280 B1 KR100584280 B1 KR 100584280B1
Authority
KR
South Korea
Prior art keywords
multimedia content
skip
information
user
command
Prior art date
Application number
KR1020000012489A
Other languages
English (en)
Other versions
KR20010091121A (ko
Inventor
전성배
윤경로
Original Assignee
엘지전자 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 엘지전자 주식회사 filed Critical 엘지전자 주식회사
Priority to KR1020000012489A priority Critical patent/KR100584280B1/ko
Priority to US09/803,042 priority patent/US7149411B2/en
Priority to EP01302289.2A priority patent/EP1134975B1/en
Priority to JP2001070222A priority patent/JP2001320677A/ja
Publication of KR20010091121A publication Critical patent/KR20010091121A/ko
Priority to JP2005326185A priority patent/JP4364190B2/ja
Priority to US11/271,281 priority patent/US7346264B2/en
Application granted granted Critical
Publication of KR100584280B1 publication Critical patent/KR100584280B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/40—Information retrieval; Database structures therefor; File system structures therefor of multimedia data, e.g. slideshows comprising image and additional audio data
    • G06F16/48—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/489—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using time information
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/78—Television signal recording using magnetic recording
    • H04N5/782—Television signal recording using magnetic recording on tape
    • H04N5/783—Adaptations for reproducing at a rate different from the recording rate
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/20—Adaptations for transmission via a GHz frequency band, e.g. via satellite
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/40—Information retrieval; Database structures therefor; File system structures therefor of multimedia data, e.g. slideshows comprising image and additional audio data
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/005—Reproducing at a different information rate from the information rate of recording
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/005—Reproducing at a different information rate from the information rate of recording
    • G11B27/007—Reproducing at a different information rate from the information rate of recording reproducing continuously a part of the information, i.e. repeating
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/19—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier
    • G11B27/28—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording
    • G11B27/32—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording on separate auxiliary tracks of the same or an auxiliary record carrier

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • General Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Astronomy & Astrophysics (AREA)
  • Library & Information Science (AREA)
  • Television Signal Processing For Recording (AREA)
  • Indexing, Searching, Synchronizing, And The Amount Of Synchronization Travel Of Record Carriers (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Management Or Editing Of Information On Record Carriers (AREA)
  • Signal Processing For Digital Recording And Reproducing (AREA)

Abstract

본 발명은 멀티미디어 콘텐트 인덱싱 기법에 의해 인덱싱된 콘텐트의 구조적/의미적 정보를 이용하여 비디오/오디오 프로그램에 대한 인스턴트 리플레이 기능을 포함하는 멀티미디어 스트림에 대한 비 선형적 재생 제어 방법과 이러한 재생 제어방법을 구현하기 위한 브라우징(browsing) 인터페이스 장치에 관한 것이다.
본 발명은 멀티미디어 스트림에 대한 샷(shot) 또는 씬(scene) 단위의 구조적 또는 오브젝트의 등장 또는 사라짐, 사건의 발생과 종료, 오브젝트의 상태에 관한 정보, 배경에 대한 정보의 의미적 정보를 이용하여 스트림에서의 현재 위치의 스킵(skip)할 방향(순방향 또는 역방향)을 고려하고, 이에 따라 가까운 구조적 또는 의미적 정보의 변경 지점을 스트림 재생을 재개할 지점으로 선정하여 사용자에게 불필요한 부분을 스킵하고 원하는 부분으로 부터의 재생 시작이 이루어질 수 있도록 하여, 이에 더불어, 설정된 시간적 오프셋(offset)을 더 고려하여 사용자가 원하는 재생시점에서 재생 재개가능하도록 함을 특징으로 하는 것이다.
리플레이, 멀티미디어스트림, 재생, 브라우징

Description

멀티미디어 컨텐트의 재생 제어 방법 및 시스템{Method and system for play control of multimedia contents}
도 1은 비디오 스트림의 구조적 정보를 나타낸 도면.
도 2는 멀티미디어 스트림에 대한 의미적 정보 인덱싱의 일예를 나타낸 도면.
도 3은 비디오 인덱싱 기법을 이용한 비디오 브라우징 인터페이스의 일예를 나타낸 도면.
도 4는 본 발명에 있어서, 구조적 정보를 이용한 인스턴트 리플레이 기능의 일예를 나타낸 도면.
도 5는 본 발명에 있어서, 의미적 인덱싱 정보를 이용한 인스턴트 리플레이 기능의 일예를 나타낸 도면.
도 6은 본 발명에 있어서, 구조적 정보와 의미적 정보를 동시에 이용한 인스턴트 리플레이 기능의 일예를 나타낸 도면.
도 7은 종래의 인스턴트 리플레이 제공방법과 본 발명에 있어서의 인스턴트 리플레이 제공 방식의 차이점을 나타낸 도면.
도 8a는 본 발명에 있어서, 헤드라인 브라우징 중에 인스턴트 리플레이를 요구한 경우에 있어서의 재생 재개 위치 설정을 나타낸 도면.
도8b는 본 발명에 있어서, 뉴스 아이템 브라우징 도중에 인스턴트 리플레이를 요구한 경우에 있어서의 재생 재개 위치 설정을 나타낸 도면.
도 9는 인스턴트 리플레이를 요구한 경우에 있어서 화면 구성 방법을 도시한 도면.
도 10은 본 발명에서 제안된 멀티미디어 스트림에 대한 의미적/구조적 정보를 이용한 순방향/역방향 스킵 기능을 통해 사용자가 한번의 입력장치 조작으로 새로이 재생될 위치로 선정될 수 있는 위치들을 나타낸 도면.
도 11은 본 발명에 있어서, 비선형적 재생제어를 위한 시스템의 구성을 나타낸 블록도.
본 발명은 멀티미디어 콘텐트 인덱싱 기법에 의해 인덱싱된 콘텐트의 구조적/의미적 정보를 이용하여 비디오/오디오 프로그램에 대한 인스턴트 리플레이 기능을 포함하는 멀티미디어 스트림에 대한 비 선형적 재생 제어 방법 및 시스템에 관한 것이다.
또한, 비선형적 제어를 위한 시스템에 있어서, 사용자의 요구에 따라 적응적 으로 재생제어 시점을 선정할 수 있도록 한 입력장치 인터페이스에 관한 것이다.
디지털 비디오 기술의 발달과 이미지/비디오/오디오 인식기술의 발달로 인하여 사용자들은 원하는 멀티미디어 콘텐트를 원하는 시점에 원하는 부분만을 검색(searching/filtering)하고 브라우징(browsing)할 수 있게 되었다.
아날로그와 디지털 환경에서 제공 가능한 인스턴트 리플레이(instant Replay) 기능은 사용자가 비디오 또는 오디오 프로그램을 시청/청취함에 있어, 자신이 놓친 부분을 다시 재생할 수 있는 기능으로 멀티미디어 콘텐트 브라우징에 있어서 매우 유용한 기능이다.
이러한 기능을 이용하면 사용자는 자신이 관심있는 부분을 반복하여 시청하거나 청취할 수 있고, 여러가지 사정에 의하여 놓친부분을 다시 시청하거나 청취할 수 있다.
일례로 사용자는 부재중에 방송된 부분의 시청을 위하여 인스턴트 리플레이 기능을 이용하여 시청/청취 하지 못한 부분부터 다시 프로그램을 시청/청취할 수 있다.
이러한 인스턴트 리플레이 기능은 오프라인(offline)으로 녹화/녹음된 비디오/오디오에 대하여서만 적용 가능한 것이 아니라, 근래에는 녹화/녹음과 재생이 동시에 가능한 셋탑 박스(set-top box ; ex Tivo, Replay TV)의 개발로 인하여 실시간으로 방송되거나 서비스 받는 프로그램에 대하여서도 인스턴트 리플레이 기능을 제공하는 것이 가능해졌다.
인스턴트 리플레이 기능을 제공하는 일반적인 기존의 방식은 설정된 시간적 오프셋(offset)을 이용하는 방식이다.
시간적 오프셋을설정하여 이용하는 경우는 대부분 사용자의 평균반응 시간(average user reaction time) 또는 콘텐트의 특성을 이용하여 시간적 오프셋을 설정한다.
사용자의 평균 반응시간을 이용하는 방식은 비디오 프로그램에 주로 사용되는 방식으로 사용자가 프로그램을 시청하다가 잠시 놓칠 수 있는 시간에 대한 평균치를 이용하여 인스턴트 리플레이가 요구된 시점에 대하여 대략 7~8초 이전의 시점부터 재생을 다시 시작하는 방식으로 좀 더 이전 장면부터 재생하고자 할 경우에 사용자는 몇 번 더 인스턴트 리플레이 기능을 요구하여 원하는 부분 부터의 재생을 요구하게 된다.
즉, 대부분의 사용자가 TV 또는 녹화된 프로그램을 시청하는 도중 순간적으로 놓친 부분에 대하여 그 부분을 다시 재생해줄 것을 요구하는 시점까지의 평균시간을 설정하고, 이에 맞추어 현재 재생되고 있는 시점에서 기준 시간 이전으로 점프(jump)하여 그 부분부터 재생을 시작하는 방법을 이용하는데 대부분 7~8초 범위가 기준시간으로 사용된다.
이러한 경우에 있어서는 인스턴트 리플레이 기능만으로 원하는 부분부터의 재생이 어려운 경우가 많으므로 대부분 사용자는 리와인드(rewind) 기능과 함께 사용 하게 된다.
콘텐트의 특성을 이용하는 방식은 시청도중 불필요한 부분이나 광고를 스킵하기 위하여 현재 위치에서 일정 시간만큼 떨어진 부분으로 이동하는 방법이며 주로 20초 정도의 오프셋을 이용한다.
인스턴트 리플레이 기능과 유사한 방식으로 사용되는 기존의 비 선형적인 미디어 탐색 방식에는 시간적인 데이터의 공백을 이용하는 방식, 사용자 지정 위치를 이용하는 방식, 스트림의 물리적인 저장 위치 정보를 이용하는 방식이 있다.
상기 시간적인 데이터의 공백을 이용하는 방식은 대부분 음악용 프로그램에서 사용되는 방식으로 여러 개의 음악(스트림)이 마그네틱 테이프등에 녹음된 경우 하나의 곡과 다른 곡간에는 일정 시간 간격이상의 데이터의 공백이 존재하는 특성을 이용하여, 시간적 데이터의 공백에 해당하는 구간을 탐색하여 이전 곡 또는 이후의 곡으로 이동하도록 하는 방식이다.
상기 사용자 지정에 의한 인스턴트 리플레이 기능 제공방식은 사용자가 인스턴트 리플레이를 요구하면 재생이 시작될 위치를 미리 지정한 후, 프로그램의 시청 또는 청취 도중에 인스턴트 리플레이 기능을 요구한 경우에 지정된 위치로 부터 재생을 재개하는 방식으로, 사용자가 스트림에서 특정 부분을 반복해서 청취하고자 하는 용도로 어학 테이프 등에서 주로 쓰이는 방식이다.
상기 스트림의 물리적인 저장 위치 정보를 이용하는 방식은 디스크와 같은 디지털 미디어에 사용되는 방식으로 음악용 디스크에 일반적으로 사용되는 방식이다. 즉, 디스크의 헤더 정보에 각각의 곡에 대한 물리적인 시작 위치가 기록되어 있어 사용자가 곡 단위의 네비게이션(navigation)을 요구한 경우에 반응하도록 한 방식으로 넓은 의미에서의 인스턴트 리플레이 기능 또는 비 선형적 스트림 재생 제어 방식이라 할 수 있다.
삭제
그러나, 이와 같은 종래의 비 선형적 멀티미디어 스트림 재생 제어 방법의 일예인 인스턴트 리플레이 기능은 단순히 시간적인 정보만을 이용하여 인스턴트 리플레이 기능을 구현하므로 사용자가 현재 재생되는 시점으로부터 7~8초 이전으로 가기 위하여 이 기능을 사용하는 경우에는 적합하지만 이전의 장면 변화 시점으로 이동하거나 현재 진행되고 있는 부분이 포함된 이야기 구조의 처음 시점으로 이동하는 수단으로 사용되기에는 매우 불편하다.
또한, 시간적인 데이터의 공백을 이용하는 비 선형적인 재생 제어 방식은 멀티미디어 스트림과 같은 시간적인 공백이 없는 데이터의 경우에 그 스트림 내부에서의 탐색을 위한 용도로 사용할 수 없으므로, 음악용 테이프와 같은 극히 제한적인 미디어에 저장된 제한적인(곡 단위 탐색) 용도로만 사용될 수 있으며, 제어의 단위가 매우 커서 일반적인 비디오나 오디오 프로그램에서 사용자가 요구하는 비 선형적 재생 제어 기능에 대한 대처 방법으로 사용되기 어렵다.
이러한 방식은 스트림 내부에서의 재생 제어가 아닌 스트림 단위의 재생 제어 방법이라 할 수 있다.
또한, 어학용 프로그램의 청취와 같은 특수 목적에 사용되는 사용자 지정위치를 이용하는 인스턴트 리플레이 기능 제공 방식은 사용자가 인스턴트 리플레이 기능을 요구하기 이전에 이미 재생이 시작될 위치를 지정하는 방식이므로 일반적인 오디오나 프로그램의 시청에 있어서 사용되기에는 매우 불편하다.
그리고, 스트림의 물리적인 저장 위치 정보를 이용하는 방식은 스트림 단위의 탐색을 용이하게 하는 장점이 있으나 스트림 내부의 구간별로 재생 제어를 요구하는 경우에 있어서는 대응할 수 없으며, 이러한 방식을 이용하여 비 선형적인 재생 제어 기능을 구현하게 되면 인스턴트 제어의 단위가 매우 커서 일반적인 비디오나 오디오 프로그램에 대한 재생 제어 방법으로 사용되기 어려우며 이 방식 역시 시간적인 데이터의 공백을 이용하는 방식과 마찬가지로 스트림 단위의 재생 제어 기능을 제공할 수 밖에 없는 단점이 있다.
이에 본 발명에서는 멀티미디어 스트림의 시청 또는 청취 도중에 발생하는 인스턴트 리플레이 기능을 포함한 비 선형적인 스트림 제어 기능을 제공함에 있어서, 기존 설정된 시간적 오프셋을 이용하는 방식이외에 멀티미디어 스트림의 구조적 또는 의미적 정보를 기록한 인덱싱 구조를 이용하여 사용자가 실제로 원하는 시점으로 부터 재생 제어 가능하도록 한 것이다.
본 발명의 비 선형적인 재생 제어 방법은 멀티미디어 스트림의 재생중 또는 재생의 일시 정지 중에 사용자가 단순한 조작에 의해 원하는 부분으로 이동하여 재생을 재개하도록 하는 것으로,
멀티미디어 스트림에 대한 구조적/의미적 정보를 이용하여 상기 멀티미디어 스트림에서의 현재 위치와 스킵(skip)할 방향(순방향 또는 역방향)을 고려하여, 가까운 구조적/의미적 정보의 변경 지점을 상기 멀티미디어 스트림의 재생을 재개할 지점으로 선정하여, 선정된 지점으로부터 멀티미디어의 재생이 이루어지도록 제어하는 것을 특징으로 한다.
상기 멀티미디어 스트림에 대한 의미적/구조적 정보는 비디오 인덱싱 시스템에 의해 자동 또는 수동으로 기술된 비디오 인덱싱 정보임을 특징으로 한다.
그리고, 상기 멀티미디어 스트림에 대한 의미적 정보는 오브젝트의 등장 또는 사라짐, 사건의 발생과 종료, 오브젝트의 상태에 관한 정보, 배경에 대한 정보가 시간축을 중심으로 기술된 것을 특징으로 하며, 상기 멀티미디어 스트림에 대한 구조적 정보는 멀티미디어 스트림에 존재하는 샷(shot) 또는 씬(scene)에 대한 정보가 시간축을 중심으로 기술된 것을 특징으로 한다.
삭제
여기서, 샷은 물리적으로 연속된 오디오/비디오 프레임의 시퀀스로 편집의 단위를 의미하는 것이며, 상기 씬은 멀티미디어 스트림의 이야기 구조에 있어서, 논리적인 구성 단위이며, 하나의 씬에는 다수의 서브씬 또는 샷들이 존재한다.
그리고, 상기 시간적 오프셋을 설정하고, 상기 멀티미디어 스트림에 대한 구조적/의미적 정보와 설정된 시간적 오프셋을 동시에 고려하여 재생을 재개할 시점을 선정하는 것을 특징으로 한다.
그리고, 시간적 오프셋을 고려함에 있어서, 시간적 오프셋만큼 떨어진 지점과 가장 근접한 위치에 있는 구조적/의미적 정보의 변경지점을 이동할 지점으로 선정하는 것을 특징으로 한다.
또한, 시간적 오프셋을 고려함에 있어, 시간적 오프셋에 가장 근접한 위치에 있는 구조적/의미적 정보의 변경지점과 시간적 오프셋을 이용한 지점을 비교하여 그 차가 소정의 설정된 범위내 일경우 가장 근접한 구조적/의미적 정보의 변경 지점을 이동할 지점으로 선정하고, 그 차가 소정의 설정된 범위를 벗어날 경우에는 설정된 시간적 오프셋을 고려하여 선정된 지점을 이동할 지점으로 선정하는 것을 특징으로 한다.
그리고, 상기 순방향 또는 역방향의 스킵의 단위는 구조적/의미적 정보에 대한 작은 단위로의 스킵을 제공하는 것을 특징으로 하며,
작은 단위의 스킵이 요청된 경우에는 구조적 정보를 이용하는 경우에는 샷단위의 스킵을 제공하고 의미적 정보를 이용하는 경우에는 현재 위치에서 가장 가까운 의미적 정보의 변경지점을 이동할 지점으로 선정하는 것을 특징으로 한다.
그리고, 상기 순방향/역방향 스킵의 단위는 구조적/의미적 정보에 대한 큰 단위로의 스킵을 제공하고,
큰 단위의 스킵이 요청된 경우에 구조적 정보를 이용하는 경우에는 씬 단위의 스킵을 제공하고, 의미적 정보를 이용하는 경우에는 현재 위치에서 미리 지정된 스킵 단위(갯수) 만큼 떨어진 의미적 정보의 변경지점을 이동할 지점으로 선정하는 것을 특징으로 한다.
또는 큰 단위의 스킵이 요청된 경우에 구조적 정보를 이용하는 경우에는 씬 단위의 스킵을 제공하고, 의미적 정보를 이용하는 경우에는 비교적 큰 단위의 의미적 정보 변경 지점인 사건 변경 지점 또는 배경 전환 지점을 이동할 지점으로 선정하는 것을 특징으로 한다.
이와 같은 특징을 갖는 멀티미디어 스트림의 비선형적 재생 제어를 위한 브 라우징 인터페이스는,
멀티미디어 스트림의 비 선형적 재생 제어에 있어, 멀티미디어 스트림에 대한 구조적 또는 의미적 정보나 설정된 시간적 오프셋 정보를 이용하여 스트림내에서의 현재 위치와 스킵할 방향을 고려하여 재생 재개 지점을 선정하도록 함에 있어, 재생 재개 지점 후보를 키프레임이나 키영역을 이용하여 화면에 디스플레이 하여 사용자가 이동할 지점을 선택할 수 있도록 하는 것을 특징으로 한다.
키프레임이나 키영역으로 표시되는 스킵 단위 후보는 큰 단위나 작은 단위 또는 큰단위와 작은 단위를 함께 표시하여 주는 것을 특징으로 한다.
이때, 키프레임 또는 키영역으로 표시되는 스킵 단위 후보가 큰 단위로 이루어지는 경우, 큰 단위로 이루어지는 스킵 단위 후보는 구조적 정보를 이용하는 경우에는 씬 단위로 스킵할 지점이며 의미적 정보를 이용하는 경우에는 현재 위치에서 미리 지정된 개수만큼 떨어진 의미적 정보의 변경지점을 나타내는 키프레임이나 키 영역인 것을 특징으로 한다.
또한, 키프레임 또는 키영역으로 표시되는 스킵 단위 후보가 큰 단위로 이루어지는 경우, 큰 단위로 이루어지는 스킵 단위 후보는 구조적 정보를 이용하는 경우에는 씬 단위로 스킵할 지점이며 의미적 정보를 이용하는 경우에는 비교적 큰 단위의 의미적 정보 변경 지점인 사건 변경 지점 또는 배경 전환 지점을 나타내는 키프레임이나 키 영역인 것을 특징으로 한다.
또한, 키프레임 또는 키영역으로 표시되는 스킵 단위 후보가 작은 단위로 이루어지는 경우, 그 작은 단위로 이루어지는 스킵 단위 후보는 구조적 정보를 이용할 경우에는 샷단위로 스킵할 지점이며, 의미적 정보를 이용하는 경우에는 현재 위치에서 가까운 의미적 정보의 변경지점을 나타내는 키프레임이나 키 영역인 것을 특징으로 한다.
여기서, 표시되는 큰 단위와 작은 단위의 스킵 단위 후보 구별을 위해 특정 구분자를 함께 표시하여 주는 것을 특징으로 한다.
그리고, 큰 단위와 작은 단위의 스킵 단위 후보를 동시에 화면에 표시하면서, 큰 단위와 작은 단위 후보를 별도의 구별없이 시간순서로 배열하여 표시할 수도 있다.
또한, 구조적 또는 의미적 정보를 이용하여 키프레임이나 키영역으로 표시된 추천 스킵이 잘못 제공된 경우를 대비하여 사용자가 다른 지점으로의 이동이 가능하도록 키프레임이나 키영역을 화면에 더 표시하여 줄 수 있다.
상기와 같은 특징을 갖는 멀티미디어 스트림의 비선형적 재생 제어 방법과 그 방법의 구현을 위한 브라우징 인터페이스에 대하여 첨부된 도면을 참조하여 설명하면 다음과 같다.
비선형적인 멀티미디어 콘텐트 브라우징(non-liner multimedia content browsing)과 검색을 위하여 가장 기본이 되는 기술은 샷 분할(shot segmentation) 기법과 샷 클러스터링(shot clustering) 기법이며, 이 두가지 기술은 멀티미디어 콘텐트를 구조적으로 분석하는데 있어서 가장 핵심이 되는 기술이다.
비디오에서 샷(shot)이란 방해(interruption) 없이 하나의 카메라로부터 얻어진 비디오 프레임들의 시퀀스(sequence)를 의미하며, 이는 비디오를 분석(analysis)하거나 구성(construction)하는 가장 기본이 되는 단위이다.
또한 일반적으로 비디오에는 의미적인 구성 요소인 씬(scene)이 존재한다.
씬은 이야기 전개 또는 비디오 구성에 있어서 의미적인 구분 요소이며 일반적으로 하나의 씬 내에는 여러개의 샷이 존재한다.
이러한 샷과 씬의 개념은 비디오 뿐만 아니라 오디오 프로그램에도 같은 방식으로 적용가능하다.
궁극적으로 멀티미디어 인덱싱 기법은 콘텐트에 존재하는 샷/씬 단위의 구조적인 정보를 추출하고 각각의 구조 단위별로 그 세그먼트를 대표할 수 있는 키 프레임등과 같은 주요 특징 요소를 추출하여 멀티미디어 콘텐트에 대한 구조적 정보를 인덱싱 하고, 사건(event)의 발생, 시청각 오브젝트(audio-visul object)의 등장, 오브젝트의 상태, 배경(장소) 등에 대한 의미적인 정보를 시간축 위에 기술하는 방식으로 인덱싱하여 사용자가 원하는 부분을 쉽게 브라우징 하거나 검색할 수 있도록 하는 데 그 목적이 있는 것이다.
본 발명에서는 이와 같은 멀티미디어 스트림의 구조적/의미적 정보를 이용하여 멀티미디어 스트림의 재생중 또는 재생의 일시 정지 중에 1회 또는 2회의 단순한 입력 장치 조작으로 원하는 부분으로 이동하여 재생을 재개하도록 하는 것이다.
일반적으로 시간적인 연속성을 가진 스트림 형태의 멀티미디어 콘텐트에는 구조적 정보와 의미적 정보가 동시에 존재 하는 바, 도 1은 비디오 스트림의 구조적 정보를 도식화한 도면이며, 이와 같은 구조는 오디오 스트림에 대하여서도 동일하게 적용된다.
도 1의 구조를 보면, 앞서 상기에서 설명한 바와 같이, 일반적인 멀티미디어 스트림은 계층구조(hierarchical structure)를 가지고 있다.
즉, 멀티미디어 스트림은 논리적인 단위인 몇 개의 씬으로 나뉘어지고 각각의 씬은 다수의 서브 씬(sub scene) 또는 샷 들로 구성되며 서브 씬은 씬이므로 씬의 속성을 그대로 가진다.
여기에서 샷은 연속된 오디오/비디오 프레임들의 물리적인 연속성을 가진 시퀀스로 정의된다.
대부분의 멀티미디어 인덱싱 시스템은 샷을 추출하고 추출된 샷을 토대로 하고 기타의 정보를 이용하여 논리적인 단위인 씬들을 검출하므로써, 멀티미디어 스트림의 구조적 정보를 인덱싱하게 된다.
비디오 스트림에 있어서 샷이란 방해(interuption) 없이 하나의 카메라로 부터 얻어진 비디오 프레임들의 시퀀스(sequence of frames)를 의미하며 이러한 샷과 씬의 개념은 오디오 스트림에 대하여서도 마찬가지로 적용된다.
멀티미디어 스트림의 구조적 정보는 샷과 씬을 기본 구성 단위로 기술되며 각각의 샷과 씬에는 구간 정보(시작위치와 종료위치 또는 시작위치와 길이)가 필수적으로 기술된다.
멀티미디어 스트림에는 상기와 같은 구조적 정보이외에 의미적 정보들이 존재하며 이러한 의미적 정보 또한 비디오 인덱싱 구조에 의하여 기술된다.
멀티미디어 스트림에 대한 의미적 정보는 사건(이벤트;event)의 발생, 오브젝트의 등장, 오브젝트의 상태, 배경(background)에 대한 정보 등이 시간정보와 함 께 기술된 것을 의미한다.
도 2는 이와 같은 멀티미디어 스트림의 의미적 정보 인덱싱의 일예를 나타낸 것이다.
도 2에서 보면, 하나의 오브젝트의 일예 Object1은 [S0~S1],[S2~S4],[S06~]의 구간에서 존재하는 것을 의미한다.
멀티미디어 인덱싱이란 앞서 언급된 멀티미디어 스트림의 구조적 정보와 의미적 정보를 시간정보와 관련하여 인덱싱하는 것을 의미한다.
대부분의 멀티미디어 인덱싱 시스템에서는 이러한 의미적 정보와 구조적 정보를 동시에 인덱싱한다.
또한, 인덱싱 구조의 형태는 다양한 방식으로 구성이 가능한데, 의미적 정보와 구조적 정보를 각기 분리하여 기술하는 방식이 가능하며, 의미적 정보를 기준으로 그 하위에 구조적 정보를 기술하는 방식 또는 구조적 정보를 기준으로 그 하위에 의미적 정보를 기술하는 방식이 사용될 수 있다.
멀티미디어 인덱싱을 위한 자동 인덱싱 기술은 지속적인 연구의 결과로 그 성능이 검증되었으며 현재에도 계속 발전하는 단계에 있다.
도 3은 비디오 인덱싱 시스템을 이용하여 인덱싱된 비디오 브라우징 인터페이스 일예를 나타낸 것이다.
도 3에서와 같은 인터페이스를 이용하면, 사용자는 멀티미디어 스트림에서 자신이 원하는 부분만을 쉽게 접근할 수 있으므로 디지털 비디오 브라우징 방법에 있어 매우 유용한 인터페이스이다.
현재 까지의 인덱싱 관련기술은 비디오 인덱싱 기법에 기반하여 도 3에서와 같은 목차 형태(Table of content :TOC)의 인터페이스를 제공하기 위한 것에 초점이 맞쳐져 있다.
본 발명에서는 이와 같은 멀티미디어 시스템에 의하여 기술된 멀티미디어 스트림의 구조적 정보와 의미적 정보를 이용하여 비 선형적인 멀티미디어 스트림의 재생 제어 방법을 제공하고자 하는 것이다.
도 4는 본 발명에 있어서, 콘텐트의 구조적 정보를 이용한 인스턴트 리플레이 기능 제어방법의 일예를 나타낸 도면이다.
도 4에서 현재 재생되고 있는 위치는 i번째 씬(Scenei)의 j번째 샷(Shoti_j) 내부의 특정지점이다.
이때, 사용자가 샷 단위의 인스턴트 리플레이를 요구한 경우에는 'c'지점 또는 'd' 지점으로 부터 재생을 재개하고 사용자가 씬 단위의 인스턴트 리플레이를 요구한 경우에는 'a' 지점 도는 'b'지점으로 부터 재생을 재개한다.
여기서 'c'와 'd' 중에 이동 지점의 선택이나 'a','b'중의 이동 지점의 선택은 시스템에서 지정한 방식을 사용할 수도 있으며 사용자에게 우선 'a' 또는 'c' 지점으로의 이동을 제공하고 특정한 시간이내에 다시 인스턴트 리플레이를 요구한 경우에는 'b' 또는 'd' 지점으로의 이동하도록 제어할 수도 있다.
도 4에서와 같이, 멀티미디어 스트림의 구조적 정보를 이용한 인스턴트 리플 레이 제어 방법이외에 멀티미디어 스트림에 대한 의미적 정보를 이용하여 인스턴트 리플레이 기능을 제공할 수 있는 바,
도 5는 의미적 정보를 이용한 인스턴트 리플레이 기능의 일예를 나타낸 것이다.
대부분의 멀티미디어 스트림에서는 하나이 씬 또는 샷내에서 또는 여러 샷에 걸쳐서 오브젝트(Object)가 등장 했다가 사라지거나 사건(Event)이 발생하여 종료되거나 하는 의미적인 정보의 변경이 발생하게 된다.
도 5의 S0~S7에 해당하는 지점들은 그러한 의미적 정보가 변화하는 지점을 표시한 것이다.
그러므로 도 5에서 도시된 바와 같이, 의미적인 정보를 이용한 비 선형적인 스트림 재생 제어 방법을 이용하면 원하지 않는 부분을 쉽게 스킵하고 원하는 위치부터 재생이 가능하다.
여기서, 도 4의 구조적 정보를 이용하는 경우에 있어 작은 단위로의 인스턴트 리플레이를 요구하는 경우에는 1개 또는 2개 이전의 의미적 정보 변경 지점으로 부터 재생을 재개하고, 큰 단위로의 인스턴트 리플레이 기능을 요구하는 경우에는 건너뛰는 의미적 정보 변경 지점의 갯수를 미리 정하여 이용하는 방법을 이용한다.
또는 상기와 같은 경우 큰 단위인 사건 또는 배경이 바뀌는 지점으로 부터 재생을 재개하는 방법을 적용할 수 있다.
즉, 도 5의 예에서 작은 단위의 인스턴트 리플레이 요구시에는 현재의 재생 위치에서 S6 지점으로 부터 재생을 재개하고, 큰 단위인 경우에는 사건이 바뀌는 S5 지점 또는 배경이 바뀌는 S4 지점으로 부터 재생을 재개하는 것이다.
상기와 같이 스킵 단위를 구조적 정보를 이용하거나, 의미적 정보를 이용하는 방법은 동시에 적용이 가능한 바, 도 6은 구조적 정보와 의미적 정보를 동시에 고려하여 인스턴트 리플레이 기능을 제공하는 방법을 도시한 예이다.
큰 단위의 인스턴트 리플레이 요구가 있을 경우에는 씬 단위의 점프가 발생하고 작은 단위의 인스턴트 리플레이 요구가 발생한 경우에는 의미적 정보의 변경 지점 단위 또는 샷 단위로의 점프가 발생한다.
즉, 큰 단위의 인스턴트 리플레이를 요구한 경우에는 'a' 또는 'b' 지점으로 부터 재생을 재개하고 작은 단위의 인스턴트 리플레이를 요구한 경우에는 'c' 또는 'd' 또는 'e' 지점으로 부터 재생을 재개하게 되는 것이다.
도 7은 기존에 사용자의 평균 반응 시간을 이용한 인스턴트 리플레이 기능과 의미적/구조적 정보를 이용하는 본 발명의 인스턴트 리플레이 제공 방식을 비교한 도면이다.
인스턴트 리플레이 기능을 요구한 경우에 있어서 사용자는 대부분 장면 변화 지점에서부터 다시 볼 것을 요구하게 된다.
즉, 도7에서 대부분의 사용자는 'B'또는 'C'지점 또는 'A'지점으로 재생 재개를 요구할 때 인스턴트 리플레이 기능을 사용할 경우가 많다.
그러나 기존의 제어 방식을 이용하면 A,B,C지점으로 한번에 이동할수 없다. 그러므로 여러 번 인스턴트 리플레이를 이용하거나 리와인드(rewind) 기능과 같은 다른 제어 콘트롤을 보조적으로 이용해야 실제 원하는 지점으로 이동할 수 가 있다.
반면 본 발명의 제어 방식을 이용하는 경우에는 큰단위 혹은 작은 단위의 인스턴트 리플레이(역방향 스킵)을 요구함으로써 A,B,C 지점으로 한번에 쉽게 이동하여 그 부분부터 재생이 재개될 수 있다.
기존의 설정된 시간적 오프셋을 이용하는 방식과 본 발명에서 새로 제안된 의미적/구조적 정보의 경계지점을 이용한 비 선형적인 재생 제어 방법은 함께 혼용될 수 있는데, 그 일례로 의미적/구조적 정보의 경계 지점과 설정된 시간 단위 정보를 이용하여 점프할 위치사이에 간격이 일정 범위 이내인 경우에는 점프할 위치를 가까운 의미적/구조적 정보의 경계 지점으로 설정하고 일정 범위를 넘는 경우에는 설정된 시간 단위 정보를 이용하여 그 위치로부터 재생을 재개하는 방식을 이용할 수 있다.
뉴스 비디오에서의 의미적/구조적 정보를 이용한 인스턴트 리플레이 기능 구현 방법의 일례를 나타내면 다음과 같다.
도8a와 도 8b는 뉴스 비디오의 시청중에 인스턴트 리플레이 기능을 요구한 경우에 있어서의 본 발명을 이용한 재생 제어 방식의 예를 나타낸 것으로,
도8a는 헤드라인 브라우징 중에 인스턴트 리플레이를 요구한 경우에 있어서의 재생 재개 위치 설정을 나타낸 것이며, 도8b는 뉴스 아이템 브라우징 도중에 인스턴트 리플레이를 요구한 경우에 있어서의 재생 재개 위치 설정을 나타낸 도면이 다.
여기서, 굵은 선은 큰 단위의 인스턴트 리플레이를 의미하며 가는 선은 작은 단위의 인스턴트 리플레이를 의미한다.
또한 굵은 경계선은 큰 단위의 의미적/구조적 정보 변경 지점이며 가는 선은 작은 단위의 의미적/구조적 정보 변경 지점을 의미한다.
도 8a 및 도 8b에 나타낸 바와 같이, 사용자는 헤드라인 부분을 브라우징하다가 한번 또는 두번 인스턴트 리플레이 기능을 요구하여 해당 샷(S1) 또는 이전샷(S2)의 처음으로, 해당 헤드라인 아이템의 처음(I1)으로 또는 전체 헤드라인 뉴스의 처음(I2)으로 한번에 이동할 수 있다.
또한 실제 뉴스 아이템의 시청 도중에 한번 또는 두번 인스턴트 리플레이를 요구하면 해당 샷 또는 이전 샷의 처음으로 이동할 수 있음은 물론이고 에피소드 씬의 처음(e1)으로 또는 해당 뉴스 아이템에 대하여 요약 설명이 있는 앵커 씬의 처음(a1)으로 이동하여 다시 그 뉴스아이템을 시청할 수 있다.
도 9는 인스턴트 리플레이를 요구한 경우에 있어서 화면 구성 방법을 도시한 것이다.
도 9에서 상단부 그림은 설명하고자 하는 화면 구성을 설명하기 위한 비디오 시퀀스를 나타낸 것으로, 이와 같이 비디오 시퀀스가 존재하는 경우, 사용자가 현재 위치인 'a' 지점에서 작은 단위의 인스턴트 리플레이를 요구한 경우,
도 9의 하단부 'I'에서와 같이, 해당 샷 또는 이전 샷의 처음 위치로부터 재생을 재개하는 것은 기본이며,
'II' 에서와 같이 화면 위에 일정시간 동안 건너뛸 후보 지점이 키프레임(key-frame) 또는 키영역(key-region)의 형태로 투명/반투명/불투명하게 나타났다가 사라지는(사용자의 요구가 있는 경우에는 바로 사라지는) 인터페이스를 이용할 수 있다.
'II'에서와 같이, 나타나는 각각의 키프레임 또는 키 영역은 입력 대기 상태이며 디폴트(default)로 하나가 선택된 상황일 수 있다.
또한 각각의 키프레임, 키영역은 큰 단위와 작은 단위로 분류하여 수직 또는 수평 배열을 다르게 함으로써 작은단위 후보 지점과 큰 단위 후보지점을 구분하여 디스플레이하는 인터페이스를 적용할 수 있다.
도9의 'III'에서와 같이,
디스플레이 될 화면의 크기를 조정하여 수직 또는 수평으로 후보 지점에 대한 키프레임 또는 키 영역을 디스플레이 하는 방식으로 적용할 수 있으며, 이때의 키프레임 또는 키 영역은 입력 대기 상태이며 디폴트로 하나가 선택된 상황일 수 있다.
또한 큰 단위의 후보 지점과 작은 단위의 후보지점은 수직 수평으로 분리하거나 기타의 방식을 사용하여 사용자가 알 수 있도록 제공할 수 있다.
도 9에서 설명된 이러한 화면 구성 방식은 역방향 스킵인 인스턴트 리플레이 뿐만 아니라 순방향 스킵 기능에도 동일하게 적용될 수 있다.
이러한 화면 구성 인터페이스는 단순히 의미적/구조적 정보를 이용한 순방향/역방향 스킵 기능 뿐만 아니라 시간적 오프셋을 다단계로 지정하여 사용하는 경우에도 적용이 가능하다.
본 발명에서 제안된 멀티미디어 콘텐트의 의미적/구조적 정보를 이용한 비 선형적 재생 제어 방식은 역방향 스킵(backward skip)인 "인스턴트 리플레이" 기능 이외에도 순방향 스킵(forward skip)에도 동시에 이용된다. 스킵의 단위는 기존의 방식처럼 단순히 평균 반응시간을 이용한 스킵이 아니라 비디오의 샷, 씬등의 구조적 정보와 오브젝트의 등장, 오브젝트의 상태, 사건의 발생과 종료, 배경의 변화 등과 같은 의미적 요소를 동시에 고려하여 이러한 구조적 정보 또는 의미적 정보가 변화하는 지점을 스킵후 재생을 재개할 부분으로 선정하는 것을 특징으로 한다.
또한 본 발명에서 제안된 멀티미디어 콘텐트에 대한 의미적/구조적 정보를 이용한 순방향/역방향 스킵 방식은 시간을 기준으로한 기존의 방식과 더불어 같이 혼용될 수 있다.
도 10은 본 발명에서 제안된 멀티미디어 스트림에 대한 의미적/구조적 정보를 이용한 순방향/역방향 스킵 기능을 통해 사용자가 한번의 입력장치 조작으로 새로이 재생될 위치로 선정될 수 있는 위치들을 도식화 한 것이다.
도 11은 본발명 멀티미디어 스트림의 구조적 정보와 의미적 정보를 이용한 비 선형적 재생 제어 기능 제공 방법에 있어, 순방향/역방향 스킵 기능을 제공하기 위한 시스템의 블록도를 나타낸 것이다.
시스템은 크게 재생 장치(play device)(100), 입력장치(input device)(200), 미디어 파일(media file)(300), 인덱스 파일(index structure)(400), 주제어기(main control)(500)로 구성되며,
주제어기(500)는 다시 제어 모듈(control module)(501)과 비휘발성 메모리(non-volatile memory)(502)로 구성된다.
재생 장치(100)는 멀티미디어 스트림을 재생하기 위하여 사용되며 화면 장치(display device)이거나 오디오 장치(audio device : ex speaker) 등이 이에 해당된다.
입력 장치(200)는 미디어 파일(300)을 재생 하기 위하여 사용자의 입력을 받아 제어 모듈(501)에 전달하는 장치이다.
미디어 파일(300)은 멀티미디어 스트림 데이터이며, 인덱스 파일(400)는 해당 멀티미디어 콘텐트에 대한 의미적/구조적 정보가 기술된 구조이다.
미디어 파일(300)과 인덱스 파일(400)는 시스템의 로컬 메모리 영역에 저장될 수 있으며 단순 클라이언트 장치인 경우 서버 시스템에 저장되어 유선 또는 무선 네트웍으로 연결될 수 있다.
주제어기(500)에는 제어 모듈(501)과 비 휘발성 메모리(502)가 존재한다. 비 휘발성 메모리(502)에는 미디어 파일(300)을 재생할 수 있는 소프트웨어 프로그램이 상주할 수 있으며, 입력장치(200)에 대한 여러 가지 설정(setting)이 저장될 수 있다.
입력 장치(200)에 대한 설정은 기본적인 빨리 보기, 빨리 되감기 속도, 순방향/역방향 스킵의 단위 시간, 순방향/역방향 스킵시 큰 단위와 작은 단위별로 점프 할 경계지점의 개수 등이 기록될 수 있다.
입력장치(200)를 이용한 기타의 기능은 일반적인 멀티미디어 제어 방식과 유사하므로 본 발명에서는 본 발명과 관련된 순방향/역방향 스킵 기능에 대하여서만 설명을 하기로 한다.
사용자는 버튼 조작/마우스 조작/음성 입력/제스처(gesture)입력 등의 방식을 이용하여 큰단위/작은단위의 순방향/역방향 스킵의 명령을 내릴 수 있고 이러한 명령이 제어모듈(501)에 전달되면 요구된 기능에 따라 현재의 위치와 스킵할 방향, 스킵의 단위를 고려하여 비디오 인덱스 파일(400)를 참조하고 건너뛸 위치를 계산하여 해당 지점이 얻어지면 미디어 파일의 재생 위치(파일 포인터등)를 조정하여 건너뛸 위치부터 미디어 파일을 재생하여 디스플레이 장치로 보낸다.
리모콘등의 버튼을 이용하여 순방향/역방향 재생을 요구함에 있어서 큰단위 스킵과 작은 단위 스킵에 대하여 각각 다른 버튼을 제공하는 방법을 이용할 수 있으며, 동일한 버튼에 대하여 오퍼레이션을 다르게 가함으로써 큰 단위의 스킵과 작은 단위의 스킵을 구분할 수 있다.
동일한 버튼에 대하여 각기 다른 오퍼레이션을 요구하는 예로 버튼을 더블클릭하면 큰단위 스킵으로 지정하고 한번 클릭하면 작은 단위 스킵으로 지정하는 방식을 사용할 수 있으며 그 반대의 경우도 가능하다.
또한 버튼을 짧게 누르면 작은 단위의 스킵으로 지정하고 길게 누르면 큰 단위의 스킵으로 지정하는 방식을 사용할 수 있으며 그 반대도 가능하다. 전자는 컴퓨터의 마우스 버튼에 대한 이용 방식을 응용한 것이며 후자는 전화에서 메모리 기능을 이용할 때에 사용하는 방식을 본 발명에 적용한 예이다.
본 발명에서 제안된 멀티미디어 스트림의 의미적/구조적 정보를 이용한 재생 제어 방식은 오프라인으로 녹화/녹음된 콘텐트뿐만 아니라 실시간으로 방송 또는 서비스되는 멀티미디어 콘텐트에 대하여서도 응용이 가능하다.
적용이 될 멀티미디어 콘텐트는 스트림 타입의 모든 미디어(오디오/비디오)이며 모든 오디오/비디오 장르에 적용이 가능하다.
큰 섹션과 작은 섹션 단위의 비 선형적인 멀티미디어 스트림의 재생 제어가 가능하며 상업 광고의 스킵 용도로도 응용이 가능하다. 비 선형적인 스트림 제어는 순방향 스킵(forward skip)과 역방향 스킵(backward skip : instant replay)이 있으며, 의미적 정보만을 이용하거나 구조적 정보만을 이용할 수 있으며 의미적 정보와 구조적 정보가 혼용될 수 있다. 또한 제안된 기술은 기존의 방식인 설정된 시간적 오프셋을 이용하여 스킵을 제공하는 방식과 혼용될 수 있다.
또한 본 발명은 순방향/역방향 스킵을 제공함에 있어서 단순히 스킵 기능만을 제공할 수 도 있지만 여기에 화면 인터페이스를 이용하여 사용자가 순방향/역방향 스킵을 재 요구할 경우에 대비하여 키프레임이나 키영역을 이용한 인터페이스를 동시에 제공할 수 있어서 보다 편리한 순항향/역방향 스킵 기능을 제공할 수 있다.
또한 입력의 수단은 버튼을 이용하거나 마우스 조작, 음성입력, 제스처 입력등의 여러 가지 기존의 방법이 사용 가능하며 버튼을 이용한 입력 장치에 있어서는 큰 단위의 스킵과 작은 단위의 스킵에 대하여 각기 다른 버튼을 제공할 수 있으며 버튼의 수를 줄이기 위하여 동일한 버튼에 각기 다른 오퍼레이션(한번클릭/더블클 릭, 짧게 누르기/길게 누르기)을 가할 수 있게 함으로써 입력장치를 구성할 수 있다.
이상에서 설명한 바와 같이, 비 선형적인 브라우징에 있어서 시간 단위 뿐만 아니라 물리적인 또는 의미적인 정보를 이용한 스킵을 할 수 있으므로 사용자는 본 발명에서 제안된 기능을 이용하여 편리하게 원하지 않는 부분을 스킵하고 원하는 부분만을 브라우징하기 위한 용도로도 사용될 수 있으므로 상업 광고의 스킵등의 용도로 활용이 가능하다.

Claims (41)

  1. 멀티미디어 컨텐트의 구조적 또는 의미적 정보에 상응하는 복수의 위치정보까지 상기 멀티미디어 컨텐트를 스킵할 수 있도록 하는 상기 위치정보를 저장하는 단계;
    상기 멀티미디어 컨텐트를 재생하는 단계;
    사용자로부터 상기 멀티미디어 컨텐트를 스킵하기 위한 명령을 입력받는 단계;
    상기 입력된 스킵 명령에 따라 상기 멀티미디어 컨텐트상의 다음 위치정보에 해당하는 지점에서 상기 멀티미디어 컨텐트를 재생하는 단계;
    를 포함하는 것을 특징으로 하는 멀티미디어 컨텐트의 재생 제어방법.
  2. 제 1항에 있어서, 상기 복수의 위치정보는 사용자에 의해 생성된 것을 특징으로 하는 멀티미디어 컨텐트의 재생 제어방법.
  3. 제 1항에 있어서, 상기 입력받은 스킵 명령은 정방향 스킵 명령인 것을 특징으로 하는 멀티미디어 컨텐트의 재생 제어방법.
  4. 제 1항에 있어서, 상기 입력받은 스킵 명령은 역방향 스킵 명령인 것을 특징으로 하는 멀티미디어 컨텐트의 재생 제어방법.
  5. 삭제
  6. 제 1항에 있어서, 상기 멀티미디어 컨텐트 상의 다음 위치정보는 상기 의미적 또는 구조적 정보의 스킵 단위로 다음 재생 위치를 인식하는 것을 특징으로 하는 멀티미디어 컨텐트의 재생 제어방법.
  7. 제 6항에 있어서, 상기 복수의 위치정보 중 적어도 하나는 멀티미디어 컨텐트의 세그먼트와 관련된 것임을 특징으로 하는 멀티미디어 컨텐트의 재생 제어방법.
  8. 제 6항에 있어서, 상기 의미적 또는 구조적 정보의 스킵 단위는 스킵 방향에 위치한 씬 단위 또는 샷 단위를 포함하는 것을 특징으로 하는 멀티미디어 컨텐트의 재생 제어방법.
  9. 제 6항에 있어서, 상기 의미적 정보의 스킵 단위는 스킵 방향에 위치한 상기 의미적 정보의 사건, 배경, 키 프레임, 키 영역 중 어느 하나의 변경 지점인 것을 특징으로 하는 멀티미디어 컨텐트의 재생 제어방법.
  10. 제 6항에 있어서, 상기 의미적 또는 구조적 정보의 스킵 단위는 사용자의 스킵 명령을 위해 서로 다른 단위의 후보 지점이 제공되는 것을 특징으로 하는 멀티미디어 컨텐트의 재생 제어방법.
  11. 삭제
  12. 삭제
  13. 삭제
  14. 삭제
  15. 삭제
  16. 삭제
  17. 삭제
  18. 삭제
  19. 삭제
  20. 멀티미디어 컨텐트를 재생하는 재생 장치;
    상기 재생되는 멀티미디어 컨텐트에 대한 의미적 또는 구조적 정보를 저장하는 메모리;
    사용자의 요구에 의한 상기 재생되는 멀티미디어 컨텐트의 스킵 명령을 입력받는 입력장치;
    상기 입력장치로부터 입력된 사용자의 스킵 명령에 의해, 상기 재생되는 멀티미디어 컨텐트의 현재 위치를 고려하여 상기 메모리에 저장된 의미적 또는 구조적 정보까지 스킵하도록 상기 멀티미디어 컨텐트의 재생을 제어하는 제어부;
    를 포함하는 것을 특징으로 하는 멀티미디어 컨텐트의 재생 제어 시스템.
  21. 제 20항에 있어서, 상기 입력장치로부터 순방향 또는 역방향 스킵 명령을 입력받는 것을 특징으로 하는 멀티미디어 컨텐트의 재생 제어 시스템.
  22. 제 20항에 있어서, 상기 입력장치로부터 스킵 단위가 구분되어 입력되는 것을 특징으로 하는 멀티미디어 컨텐트의 재생 제어 시스템.
  23. 삭제
  24. 삭제
  25. 삭제
  26. 삭제
  27. 멀티미디어 컨텐트의 구조적 또는 의미적 정보에 상응하는 복수의 위치정보까지 상기 멀티미디어 컨텐트를 스킵할 수 있도록 상기 위치정보를 제공하는 단계;
    상기 멀티미디어 컨텐트를 재생하는 단계;
    상기 멀티미디어 컨텐트의 제1지점에서 사용자로부터 스킵하기 위한 명령을 입력받는 단계;
    상기 사용자의 명령에 대응하여, 상기 멀티미디어 컨텐트의 제1지점으로부터 정방향 또는 역방향에 있는 상기 위치정보에 해당하는 지점에서 상기 멀티미디어 컨텐트를 재생하는 단계;
    를 포함하는 것을 특징으로 하는 멀티미디어 컨텐트의 재생 제어방법.
  28. 제 27항에 있어서, 상기 복수의 위치정보를 저장하는 단계를 더 포함하는 것을 더 포함하는 것을 특징으로 하는 멀티미디어 컨텐트의 재생 제어방법.
  29. 제 27항에 있어서, 상기 재생되는 멀티미디어 컨텐트를 수신하는 단계를 더 포함하는 것을 포함하는 것을 특징으로 하는 멀티미디어 컨텐트의 재생 제어방법.
  30. 제 27항에 있어서, 상기 복수의 위치정보는 사용자에 의해 생성된 것을 특징으로 하는 멀티미디어 컨텐트의 재생 제어방법.
  31. 제 27항에 있어서, 상기 사용자로부터 입력받은 명령은 정방향 스킵명령인 것을 특징으로 하는 멀티미디어 컨텐트의 재생 제어방법.
  32. 제 27항에 있어서, 상기 사용자로부터 입력받은 명령은 역방향 스킵명령인 것을 특징으로 하는 멀티미디어 컨텐트의 재생 제어방법.
  33. 제 27항에 있어서, 상기 복수의 위치정보중 적어도 하나는 멀티미디어 컨텐트의 세그먼트와 관련된 것임을 특징으로 하는 멀티미디어 컨텐트의 재생 제어방법.
  34. 멀티미디어 컨텐트의 구조적 또는 의미적 정보에 상응하는 복수의 위치정보까지 상기 멀티미디어 컨텐트를 스킵할 수 있도록 하는 상기 위치정보를 저장하는 단계;
    상기 멀티미디어 컨텐트를 재생하는 단계;
    상기 멀티미디어 컨텐트의 제1지점에서 사용자로부터 스킵하기 위한 명령을 입력받는 단계;
    상기 사용자의 명령이 정방향 스킵명령인지 역방향 스킵명령인지를 판단하는 단계;
    상기 사용자의 명령이 정방향 스킵명령일 경우, 상기 멀티미디어 컨텐트의 제1지점으로부터 정방향에 있는 상기 위치정보에 해당하는 지점에서 상기 멀티미디어 컨텐트를 재생하는 단계;
    를 포함하는 것을 특징으로 하는 멀티미디어 컨텐트의 재생 제어방법.
  35. 제 34항에 있어서, 상기 복수의 위치정보는 사용자에 의해 생성된 것을 특징으로 하는 멀티미디어 컨텐트의 재생 제어방법.
  36. 제 34항에 있어서, 상기 복수의 위치정보중 적어도 하나는 멀티미디어 컨텐트의 세그먼트와 관련된 것임을 특징으로 하는 멀티미디어 컨텐트의 재생 제어방법.
  37. 멀티미디어 컨텐트를 재생하는 단계;
    상기 재생되는 멀티미디어 컨텐트에 대해 사용자로부터 스킵 명령을 입력받는 단계;
    상기 입력되는 스킵 명령에 따라 상기 멀티미디어 컨텐트에 대한 의미적 또는 구조적 정보의 스킵 단위로 스킵하고, 스킵된 재생 재개 위치로부터 상기 멀티미디어 컨텐트를 재생하는 단계;
    를 포함하는 것을 특징으로 하는 멀티미디어 컨텐트의 재생 제어방법.
  38. 제 37항에 있어서, 상기 스킵 명령은 정방향 또는 역방향 스킵 명령인 것을 특징으로 하는 멀티미디어 컨텐트의 재생 제어방법.
  39. 제 37항에 있어서, 상기 스킵 단위는 서로 다른 스킵 단위의 후보 지점을 포함하는 것을 특징으로 하는 멀티미디어 컨텐트의 재생 제어방법.
  40. 제 39항에 있어서, 상기 서로 다른 스킵 단위의 후보지점이 구분되어 디스플레이되는 것을 특징으로 하는 멀티미디어 컨텐트의 재생 제어방법.
  41. 제 37항에 있어서, 상기 멀티미디어 컨텐트의 스킵 단위는, 상기 멀티미디어 컨텐트의 의미적 또는 구조적 정보를 시간 정보와 관련하여 상기 의미적 또는 구조적 정보의 샷 또는 씬들의 인덱싱 정보를 이용하는 것을 특징으로 하는 멀티미디어 컨텐트의 재생 제어방법.
KR1020000012489A 2000-03-13 2000-03-13 멀티미디어 컨텐트의 재생 제어 방법 및 시스템 KR100584280B1 (ko)

Priority Applications (6)

Application Number Priority Date Filing Date Title
KR1020000012489A KR100584280B1 (ko) 2000-03-13 2000-03-13 멀티미디어 컨텐트의 재생 제어 방법 및 시스템
US09/803,042 US7149411B2 (en) 2000-03-13 2001-03-12 Non-linear reproduction control method of multimedia stream and apparatus thereof
EP01302289.2A EP1134975B1 (en) 2000-03-13 2001-03-13 Non-linear reproduction control method of multimedia stream and apparatus thereof
JP2001070222A JP2001320677A (ja) 2000-03-13 2001-03-13 マルチメディアデータストリームの非線形的再生制御方法及びその装置
JP2005326185A JP4364190B2 (ja) 2000-03-13 2005-11-10 マルチメディアデータストリームの非線形的再生制御方法及びその装置
US11/271,281 US7346264B2 (en) 2000-03-13 2005-11-10 Non-linear reproduction control method of multimedia stream and apparatus thereof

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020000012489A KR100584280B1 (ko) 2000-03-13 2000-03-13 멀티미디어 컨텐트의 재생 제어 방법 및 시스템

Publications (2)

Publication Number Publication Date
KR20010091121A KR20010091121A (ko) 2001-10-23
KR100584280B1 true KR100584280B1 (ko) 2006-05-26

Family

ID=36074110

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020000012489A KR100584280B1 (ko) 2000-03-13 2000-03-13 멀티미디어 컨텐트의 재생 제어 방법 및 시스템

Country Status (4)

Country Link
US (2) US7149411B2 (ko)
EP (1) EP1134975B1 (ko)
JP (2) JP2001320677A (ko)
KR (1) KR100584280B1 (ko)

Families Citing this family (42)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100464076B1 (ko) * 2001-12-29 2004-12-30 엘지전자 주식회사 동영상 비디오 브라우징 방법과 장치
US7739601B1 (en) 2002-01-23 2010-06-15 Microsoft Corporation Media authoring and presentation
KR100438302B1 (ko) * 2002-04-30 2004-07-01 엘지전자 주식회사 비디오 스키밍 방법 및 장치
KR100492446B1 (ko) * 2002-07-08 2005-07-01 (주)화인에스아이 지능형 ｐｖｒ 시스템 및 그 운영방법
US7363398B2 (en) * 2002-08-16 2008-04-22 The Board Of Trustees Of The Leland Stanford Junior University Intelligent total access system
US7243078B1 (en) * 2002-09-04 2007-07-10 At&T Intellectual Property, Inc. Method of providing customer services
JP3976316B2 (ja) * 2002-10-18 2007-09-19 富士フイルム株式会社 画像再生装置
KR100555427B1 (ko) * 2002-12-24 2006-02-24 엘지전자 주식회사 비디오 재생 장치 및 지능형 스킵 방법
KR100555426B1 (ko) * 2002-12-27 2006-02-24 엘지전자 주식회사 비디오 콘텐트의 동적 탐색 방법 및 장치
KR100547335B1 (ko) * 2003-03-13 2006-01-26 엘지전자 주식회사 비디오 재생 방법 및 시스템, 이를 이용한 장치
US7194188B2 (en) * 2003-04-02 2007-03-20 Oesterreicher Richard T System and method for facilitating fast-forwarding of first-run programs
US7233316B2 (en) * 2003-05-01 2007-06-19 Thomson Licensing Multimedia user interface
JP2005051654A (ja) * 2003-07-31 2005-02-24 Sony Corp コンテンツ再生方法、コンテンツ再生装置、コンテンツ記録方法、コンテンツ記録メディア
EP1654871A4 (en) * 2003-08-12 2007-06-27 Digital Networks North America METHOD AND ARRANGEMENT FOR NAVIGATING THE CONTENTS OF A PERSONAL VIDEO RECORDER
TWI478154B (zh) * 2003-10-04 2015-03-21 Samsung Electronics Co Ltd 儲存搜尋資訊的再生方法
WO2005043901A1 (ja) * 2003-11-04 2005-05-12 Sharp Kabushiki Kaisha レジューム再生システム
JP4135689B2 (ja) * 2004-06-29 2008-08-20 ソニー株式会社 プログラム、電子機器、データ処理方法および再生装置
DE102004036013B3 (de) * 2004-07-23 2005-12-29 Loewe Opta Gmbh Verfahren zur Steuerung der Wiedergabe von in einem Speicher mit wahlfreiem Zugriff gespeicherten Bild- und/oder Ton- oder Datensignalen
WO2006022067A1 (ja) * 2004-08-23 2006-03-02 Matsushita Electric Industrial Co., Ltd. 再生装置、再生方法、再生プログラム及び再生プログラムを記録したコンピュータ読み取り可能な記録媒体
JP4278620B2 (ja) * 2005-02-14 2009-06-17 パナソニック株式会社 情報記録再生装置
JP2009503981A (ja) * 2005-07-27 2009-01-29 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ マルチメディアマテリアルの即時的なレビューを提供するための方法及び装置
JP2007058607A (ja) * 2005-08-24 2007-03-08 Fujitsu Ltd 表示装置、表示方法、および、表示プログラム
WO2007029489A1 (ja) * 2005-09-07 2007-03-15 Pioneer Corporation コンテンツリプレイ装置、コンテンツ再生装置、コンテンツリプレイ方法、コンテンツ再生方法、プログラム、および記録媒体
JP4670584B2 (ja) * 2005-10-25 2011-04-13 ソニー株式会社 表示制御装置および方法、プログラム並びに記録媒体
WO2007110813A1 (en) * 2006-03-29 2007-10-04 Koninklijke Philips Electronics N.V. Method and apparatus for navigating through a video signal
KR100757473B1 (ko) * 2006-06-13 2007-09-11 삼성전자주식회사 영상 진행상태에 대한 표시정보 제공방법 및 이를 적용한영상기기
US8184943B2 (en) * 2007-01-08 2012-05-22 Apple Inc. Transport controls for a media device
GB2449068A (en) * 2007-05-08 2008-11-12 Edgeware Ab Data streaming using stored control data
US8370876B1 (en) * 2007-08-27 2013-02-05 United Services Automobile Association (Usaa) Systems and methods for providing self-services over television
KR100903432B1 (ko) * 2008-02-01 2009-06-18 (주)토필드 디지털 방송 기록 장치 및 그 장치에서 실행되는 최종 재생위치 탐색을 통한 재생 제어 방법
JP5277779B2 (ja) * 2008-07-31 2013-08-28 富士通株式会社 ビデオ再生装置、ビデオ再生プログラム及びビデオ再生方法
US8949718B2 (en) 2008-09-05 2015-02-03 Lemi Technology, Llc Visual audio links for digital audio content
JP5241521B2 (ja) * 2009-01-06 2013-07-17 キヤノン株式会社 コンテンツ再生方法及びコンテンツ再生装置
US9183881B2 (en) * 2009-02-02 2015-11-10 Porto Technology, Llc System and method for semantic trick play
US8200602B2 (en) * 2009-02-02 2012-06-12 Napo Enterprises, Llc System and method for creating thematic listening experiences in a networked peer media recommendation environment
US9223395B2 (en) 2011-09-14 2015-12-29 Microsoft Technology Licensing, Llc Viewing presentations in a condensed animation mode
WO2013100911A1 (en) * 2011-12-27 2013-07-04 Intel Corporation Method and system to play linear video in variable time frame
KR101968526B1 (ko) * 2013-01-08 2019-04-12 엘지전자 주식회사 이동 단말기 및 그것의 제어 방법
CN103823870B (zh) * 2014-02-26 2020-05-26 联想(北京)有限公司 一种信息处理方法及电子设备
CN105763949A (zh) * 2014-12-18 2016-07-13 乐视移动智能信息技术（北京）有限公司 一种影音文件播放方法和装置
CA2916295A1 (en) * 2015-12-24 2017-06-24 Mydub Media Corporation Method and apparatus for mixing media tracks
CN108429931A (zh) * 2017-02-14 2018-08-21 优酷网络技术（北京）有限公司 一种多媒体文件播放方法及装置

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR900000494Y1 (ko) * 1986-11-25 1990-01-30 삼성전자주식회사 영상 기록 재생기의 자동 인덱스 기능회로
JPH05153552A (ja) * 1991-11-29 1993-06-18 Canon Inc マルチメデイア処理装置及びその方法
KR20020006970A (ko) * 2000-07-14 2002-01-26 구자홍 인덱스 정보의 추출과 검색이 동시에 가능한 녹화/재생장치

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5262964A (en) * 1991-04-10 1993-11-16 International Business Machines Corporation Method and apparatus for variable playback speed of multimedia data interchange within a data processing system
US5610653A (en) * 1992-02-07 1997-03-11 Abecassis; Max Method and system for automatically tracking a zoomed video image
US5377051A (en) * 1993-01-13 1994-12-27 Hitachi America, Ltd. Digital video recorder compatible receiver with trick play image enhancement
JP3536866B2 (ja) 1994-12-22 2004-06-14 ソニー株式会社 映像記録再生装置および方法
JP2985703B2 (ja) 1995-01-19 1999-12-06 日本ビクター株式会社 画像圧縮記録媒体再生装置
JP3332756B2 (ja) 1996-03-14 2002-10-07 三洋電機株式会社 テレビジョン放送信号の記録再生装置
JPH10228758A (ja) 1997-02-12 1998-08-25 Sony Corp 記録再生装置および方法
TW385436B (en) * 1997-12-12 2000-03-21 Toshiba Corp Digital recording system using variable recording rate
JPH11203051A (ja) 1998-01-16 1999-07-30 Sony Corp 情報処理装置および方法、並びに提供媒体
JP2002522976A (ja) * 1998-08-07 2002-07-23 リプレイティブィ・インコーポレーテッド ビデオ記録装置における早送りと巻き戻し方法と装置
US7437363B2 (en) * 2001-01-25 2008-10-14 International Business Machines Corporation Use of special directories for encoding semantic information in a file system

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR900000494Y1 (ko) * 1986-11-25 1990-01-30 삼성전자주식회사 영상 기록 재생기의 자동 인덱스 기능회로
JPH05153552A (ja) * 1991-11-29 1993-06-18 Canon Inc マルチメデイア処理装置及びその方法
KR20020006970A (ko) * 2000-07-14 2002-01-26 구자홍 인덱스 정보의 추출과 검색이 동시에 가능한 녹화/재생장치

Also Published As

Publication number Publication date
EP1134975B1 (en) 2017-03-01
JP4364190B2 (ja) 2009-11-11
US7346264B2 (en) 2008-03-18
JP2006129505A (ja) 2006-05-18
KR20010091121A (ko) 2001-10-23
US20010053277A1 (en) 2001-12-20
JP2001320677A (ja) 2001-11-16
EP1134975A3 (en) 2007-09-26
US20060062549A1 (en) 2006-03-23
US7149411B2 (en) 2006-12-12
EP1134975A2 (en) 2001-09-19

Similar Documents

Publication Publication Date Title
KR100584280B1 (ko) 멀티미디어 컨텐트의 재생 제어 방법 및 시스템
US8548295B2 (en) Method and system for replaying video images
KR100547317B1 (ko) 인덱스 정보의 추출과 검색이 동시에 가능한 녹화/재생장치
JP6356097B2 (ja) デジタル格納部を備えた電子番組ガイド
KR100422699B1 (ko) 비디오 콘텐트의 재생 제어방법과 장치
US7313808B1 (en) Browsing continuous multimedia content
US7293280B1 (en) Skimming continuous multimedia content
KR100411437B1 (ko) 지능형 뉴스 비디오 브라우징 시스템
US5760767A (en) Method and apparatus for displaying in and out points during video editing
US20050033758A1 (en) Media indexer
KR100370247B1 (ko) 등장인물 관계 기반 동영상 검색 방법
JPH07236099A (ja) 情報再生装置を内蔵したテレビジョン装置
KR20040058511A (ko) 비디오 콘텐트의 동적 탐색 방법 및 장치
KR100555427B1 (ko) 비디오 재생 장치 및 지능형 스킵 방법
KR100609154B1 (ko) 비디오 콘텐츠 재생 방법 및 장치
US20050232610A1 (en) User automated content deletion
KR20060102639A (ko) 동영상 재생 시스템 및 방법
JPH0779404A (ja) ビデオの代表画像一覧作成方法および装置
KR100370249B1 (ko) 샷 세그멘테이션 정보를 이용한 비디오 스키밍 시스템
KR20010104547A (ko) 부가정보를 이용한 영상신호의 재생 장치 및 방법
JP2000511736A (ja) マルチキーフレームスクリーンにビデオカーソルフレームを用いてキーフレームに基づくビデオを表示する方法及び装置

Legal Events

Date Code Title Description
N231 Notification of change of applicant
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20130424

Year of fee payment: 8

FPAY Annual fee payment

Payment date: 20140424

Year of fee payment: 9

FPAY Annual fee payment

Payment date: 20150424

Year of fee payment: 10

FPAY Annual fee payment

Payment date: 20160422

Year of fee payment: 11

FPAY Annual fee payment

Payment date: 20170414

Year of fee payment: 12

LAPS Lapse due to unpaid annual fee