KR100513290B1 - 멀티미디어 컨텐츠와 세그먼트 메타데이터간의 시간 동기화를 위한 시스템 및 방법 - Google Patents

멀티미디어 컨텐츠와 세그먼트 메타데이터간의 시간 동기화를 위한 시스템 및 방법 Download PDF

Info

Publication number
KR100513290B1
KR100513290B1 KR10-2003-0043520A KR20030043520A KR100513290B1 KR 100513290 B1 KR100513290 B1 KR 100513290B1 KR 20030043520 A KR20030043520 A KR 20030043520A KR 100513290 B1 KR100513290 B1 KR 100513290B1
Authority
KR
South Korea
Prior art keywords
value
content
metadata
time
time information
Prior art date
Application number
KR10-2003-0043520A
Other languages
English (en)
Other versions
KR20050002183A (ko
Inventor
신효섭
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR10-2003-0043520A priority Critical patent/KR100513290B1/ko
Priority to JP2004093406A priority patent/JP4369271B2/ja
Priority to EP20040253773 priority patent/EP1494430B1/en
Priority to CNB2004100501798A priority patent/CN1328724C/zh
Priority to US10/879,594 priority patent/US7428696B2/en
Publication of KR20050002183A publication Critical patent/KR20050002183A/ko
Application granted granted Critical
Publication of KR100513290B1 publication Critical patent/KR100513290B1/ko

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F15/00—Digital computers in general; Data processing equipment in general
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/234318—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements by decomposing into objects, e.g. MPEG-4 objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/1066—Session management
    • H04L65/1101—Session protocols
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60—Network streaming of media packets
    • H04L65/61—Network streaming of media packets for supporting one-way streaming services, e.g. Internet radio
    • H04L65/611—Network streaming of media packets for supporting one-way streaming services, e.g. Internet radio for multicast or broadcast
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60—Network streaming of media packets
    • H04L65/70—Media network packetisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60—Network streaming of media packets
    • H04L65/75—Media network packet handling
    • H04L65/762—Media network packet handling at the source 
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/235—Processing of additional data, e.g. scrambling of additional data or processing content descriptors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/414—Specialised client platforms, e.g. receiver in car or embedded in a mobile appliance
    • H04N21/4147—PVR [Personal Video Recorder]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/4302—Content synchronisation processes, e.g. decoder synchronisation
    • H04N21/4305—Synchronising client clock from received content stream, e.g. locking decoder clock with encoder clock, extraction of the PCR packets
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/4302—Content synchronisation processes, e.g. decoder synchronisation
    • H04N21/4307—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen
    • H04N21/43074—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen of additional data with content streams on the same device, e.g. of EPG data or interactive icon with a TV program
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/434—Disassembling of a multiplex stream, e.g. demultiplexing audio and video streams, extraction of additional data from a video stream; Remultiplexing of multiplex streams; Extraction or processing of SI; Disassembling of packetised elementary stream
    • H04N21/4345—Extraction or processing of SI, e.g. extracting service information from an MPEG stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/435—Processing of additional data, e.g. decrypting of additional data, reconstructing software from modules extracted from the transport stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/462—Content or additional data management, e.g. creating a master electronic program guide from data received from the Internet and a Head-end, controlling the complexity of a video stream by scaling the resolution or bit-rate based on the client capabilities
    • H04N21/4622—Retrieving content or additional data from different sources, e.g. from a broadcast channel and the Internet

Abstract

본 발명은 멀티미디어 컨텐츠와 세그먼트 메타데이터간의 시간 동기화를 위한 시스템 및 방법에 관한 발명으로서, 상기 시간 동기화를 위한 시스템은 제1 세그먼트 시간정보를 포함하는 멀티미디어 컨텐츠를 수신하여 저장하는 컨텐츠 처리부와, 상기 컨텐츠에 대한 제2 세그먼트 시간정보를 포함하는 세그먼트 메타데이터를 수신하여 저장하는 메타데이터 처리부와, 상기 컨텐츠의 세그먼트 요청신호에 따라 상기 메타데이터 처리부로부터 상기 세그먼트에 대한 시간정보를 추출하고, 상기 추출된 제1 세그먼트 시간정보와 상기 추출된 제2 세그먼트 시간정보로부터 각각의 기준시점을 결정하고, 상기 결정된 기준시점의 차이를 이용하여 상기 컨텐츠의 상대시점을 보정하고, 상기 보정된 상대시점을 이용하여 상기 수신한 컨텐츠와 메타데이터를 동기화하는 동기부 및 사용자의 컨텐츠 세그먼트 요청 신호를 상기 동기부로 전달하고, 상기 동기부에 의해 동기화된 컨텐츠의 다수의 세그먼트를 재생하도록 하는 컨텐츠 세그먼트 브라우저를 포함하는 것을 특징으로 한다.

Description

멀티미디어 컨텐츠와 세그먼트 메타데이터간의 시간 동기화를 위한 시스템 및 방법{System and Method for synchronizing between multimedia contents and segment metadata}
본 발명은 멀티미디어 컨텐츠와 상기 멀티미디어 컨텐츠에 대한 세그먼트 메타데이터간의 시간 동기화에 관한 것으로, 보다 상세하게는 서로 다른 전송 채널을 통하여 수신된 컨텐츠와 세그먼트 메타데이터를 동기화하기 위하여 소정의 시간정보를 이용하는 시스템 및 동기화 방법에 관한 것이다
디지털 방송의 보급이 확산됨에 따라, 멀티미디어 컨텐츠(본 발명에서는 이후 언급되는 컨텐츠는 모두 멀티미디어 컨텐츠로 본다)를 이용한 킬러 어플리케이션(killer application)을 발굴하고, 이에 대한 기술 개발의 필요성이 대두되고 있다. 예컨대, 방송되는 컨텐츠를 저장함으로써, 실시간으로 방송되는 컨텐츠에 대한 타임쉬프팅(time shifting) 기능을 제공하는 PVR(Personal Video Recorder) 응용도 그 예이다. PVR은 자동 광고 지나침(commercial advance), 즉시 되돌려 보기(instant replay), 일시정지(pause), 트릭 플레이(trick play) 등 기존에 비디오 테이프 혹은 DVD 등 기록 매체에서나 가능한 기능을 실시간으로 방송 중인 TV 프로그램에 적용했다는 점에 있어서, 시청자가 TV 를 보는 방식을 바꾸어 놓은 좋은 예가 될 것이다. PVR 응용은 방송 컨텐츠에 대한 부가정보 즉, 메타데이터를 이용함으로써, 그 기능이 더욱 강력해지고, 사용자에게 편리해 질 수 있다. 특히, 세그먼트 메타데이터(segment metadata, 본 발명에서는 이후 언급되는 메타데이터는 모두 세그먼트 메타데이터로 본다)는 컨텐츠에 대한 하이라이트(highlight), 목차(table of contents), 북마크(bookmark) 등의 부가정보를 제공할 수 있기 때문에, 방송 컨텐츠를 사용자가 원하는 방식대로, 비선형적(non-linear)으로 시청할 수 있는 기능을 제공한다. 예를 들어, 축구 경기에서 득점 주요 장면을 하이라이트로 모아서 본다든지, 야구 경기에서 현재 7회초를 시청하고 있지만, 3회말 부분이 궁금해서 그 지점으로 이동해서 다시 본다든지, 뉴스 프로그램에서 특정 분야의 뉴스 세그먼트 만을 골라서 본다든지, 쇼 프로그램에서 특정 가수의 노래를 먼저 골라서 보는 기능이 가능하게 된다. 이처럼 세그먼트 메타데이터를 이용하는 차세대 PVR은 사용자에게 더욱 편리하고, 강력한 방송 시청 방식의 툴인 컨텐츠 세그먼트 브라우저를 제공할 수 있다.
세그먼트 메타데이터를 기술하고 있는 대표적인 규격으로 TV-Anytime 포럼에서 정의하고 있는 'TV-Anytime Metadata' 규격이 있다. XML로 표현된 이 메타데이터 규격에서는 세그먼트(segment) 및 세그먼트 그룹(segment group)에 대한 메타데이터를 정의하고 있다. 도 1a은 세그먼트를 기술한 메타데이터의 한 예이다. 세그먼트는 컨텐츠의 일부 구간을 표현한 단위로서, 세그먼트 아이디, 해당 방송 프로그램의 아이디, 세그먼트에 대한 제목/시놉시스/키워드 등의 기술자, 세그먼트의 시간적 위치, 키 프레임의 시간적 위치 등의 정보가 기술된다.
도 1b는 세그먼트 그룹을 기술한 메타데이터의 한 예이다. 세그먼트 그룹은 하나 혹의 여러 개의 방송 프로그램으로부터의 하나 이상의 세그먼트들을 그룹핑한 단위를 말한다. 세그먼트들을 그룹핑하는 그룹 타입은 highlights, highlights/objects, highlights/events,bookmarks, bookmarks/objects, bookmarks/events, themeGroup, preview, preview/title, preview/slideshow, tableOfContents, synopsis, shots, insertionPoints, alternativeGroups, other 등으로 구분된다. 세그먼트 그룹에 대한 메타데이터는 상기 그룹 타입 이외에, 그룹 아이디, 하나의 방송 프로그램의 세그먼트로만 그룹이 구성될 경우에 있어서 해당 방송 프로그램 아이디, 제목/시놉시스/키워드 등의 그룹 기술자, 그룹 구간(GroupInterval), 키프레임 위치, 그룹에 속하는 세그먼트들의 아이디 등의 정보를 정의하고 있다.
TV-Anytime 의 세그먼트 메타데이터 내에 각 세그먼트들의 시점은 컨텐츠의 시작시점을 기준으로 상대 시점(relative time point)로 기술되어 진다. 따라서 메타데이터 내에 이들이 참조하는 기준 시점이 별도로 기술되어져 있어야 한다. 도 1c는 상기 기준 시점을 나타내는 메타데이터의 예이다.
이 때, 상기와 같은 메타데이터가 컨텐츠와 동일한 전송채널을 통하여 동시에 제공되지 않고, 상기 컨텐츠 제공자 또는 제3의 메타데이터 제공자가 다른 전송 채널을 통하여 메타데이터를 제공하게 되면 수신기기에서는 컨텐츠와 메타데이터 수신시 시간차가 발생할 수 있으므로 시간동기화 과정에 대한 필요성이 요청된다.
본 발명은 상기한 문제점을 해결하기 위해 안출된 것으로, 소정의 시간 정보들을 설정하고, 상기 시간 정보들간의 연산을 통하여 컨텐츠와 메타데이터 간의 시간 동기화를 수행하는 시스템 및 동기화 방법을 제안한다.
상기 목적을 달성하기 위하여, 본 발명의 실시에 따른 멀티미디어 컨텐츠와 세그먼트 메타데이터간의 시간 동기화를 위한 시스템은 제1 세그먼트 시간정보를 포함하는 멀티미디어 컨텐츠를 수신하여 저장하는 컨텐츠 처리부와, 상기 컨텐츠에 대한 제2 세그먼트 시간정보를 포함하는 세그먼트 메타데이터를 수신하여 저장하는 메타데이터 처리부와, 컨텐츠 세그먼트 요청 신호에 따라 상기 메타데이터 처리부로부터 상기 세그먼트에 대한 시간정보를 추출하고, 상기 추출된 제1 세그먼트 시간정보와 상기 추출된 제2 세그먼트 시간정보로부터 각각의 기준시점을 결정하고, 상기 결정된 기준시점의 차이를 이용하여 상기 컨텐츠의 상대시점을 보정하고, 상기 보정된 상대시점을 이용하여 상기 수신한 컨텐츠와 메타데이터를 동기화하는 동기부 및 사용자의 컨텐츠 세그먼트 요청 신호를 상기 동기부로 전달하고, 상기 동기부에 의해 동기화된 컨텐츠의 다수의 세그먼트를 재생하도록 하는 컨텐츠 세그먼트 브라우저를 포함한다.
바람직하게는 상기 시간정보는 GPS 시간정보이고, 상기 기준시점은 상기 GPS 시간정보인 것으로 하는데, 상기 동기부는 상기 컨텐츠의 GPS값이 상기 메타데이터의 GPS값보다 빠른 경우에는 상기 메타데이터 내에 있는 상대시간값에 상기 GPS값의 차이만큼을 더한 시점을 상기 컨텐츠의 상대시점으로 보정하고, 상기 컨텐츠의 GPS값이 상기 메타데이터의 GPS값보다 늦는 경우에는 상기 메타데이터 내에 있는 상대시간값에 상기 GPS값의 차이만큼을 뺀 시점을 상기 컨텐츠의 상대시점으로 보정할 수 있다.
또한, 바람직하게는 상기 시간정보는 GPS 시간정보와 DTS시간정보이고, 상기 기준시점은 상기 DTS시간정보인 것으로 하는데, 상기 컨텐츠의 GPS값이 상기 메타데이터의 GPS값보다 빠른 경우에는, 상기 동기부는, 상기 컨텐츠의 DTS시간정보값에서 상기 메타데이터의 DTS시간정보값을 뺀 값을 ΔTDTS라고 할 때, ΔTDTS > 0 인 경우에는 ΔTDTS-233을 새로운 ΔTDTS 으로 결정하고, ΔTDTS < 0 인 경우에는, ΔTDTS 을 그대로 유지하도록 하여, 상기 메타데이터 내에 있는 상대시간값에 상기 ΔTDTS값의 절대값 만큼을 더한 시점을 상기 컨텐츠의 상대시점으로 보정하고, 상기 컨텐츠의 GPS값이 상기 메타데이터의 GPS값보다 늦는 경우에는, 상기 동기부는, 상기 컨텐츠의 DTS시간정보값에서 상기 메타데이터의 DTS시간정보값을 뺀 값을 ΔTDTS라고 할 때, ΔTDTS < 0 인 경우에는 ΔTDTS+233을 새로운 ΔTDTS 으로 결정하고, ΔTDTS > 0 인 경우에는, ΔTDTS 을 그대로 유지하도록 하여, 상기 메타데이터 내에 있는 상대시간값에 상기 ΔTDTS값의 절대값 만큼을 뺀 시점을 상기 컨텐츠의 상대시점으로 보정할 수 있다.
또한, 바람직하게는 상기 시간정보는 GPS 시간정보와 PTS시간정보이고, 상기 기준시점은 상기 PTS시간정보인 것으로 하는데, 상기 컨텐츠의 GPS값이 상기 메타데이터의 GPS값보다 빠른 경우에는, 상기 동기부는, 상기 컨텐츠의 PTS시간정보값에서 상기 메타데이터의 PTS시간정보값을 뺀 값을 ΔTPTS라고 할 때, ΔTPTS > 0 인 경우에는 ΔTPTS-233을 새로운 ΔTPTS 으로 결정하고, ΔTPTS < 0 인 경우에는, ΔTPTS 을 그대로 유지하도록 하여, 상기 메타데이터 내에 있는 상대시간값에 상기 ΔTPTS값의 절대값 만큼을 더한 시점을 상기 컨텐츠의 상대시점으로 보정하고, 상기 컨텐츠의 GPS값이 상기 메타데이터의 GPS값보다 늦는 경우에는, 상기 동기부는, 상기 컨텐츠의 PTS시간정보값에서 상기 메타데이터의 PTS시간정보값을 뺀 값을 ΔTPTS라고 할 때, ΔTPTS < 0 인 경우에는 ΔTPTS+233을 새로운 ΔTPTS 으로 결정하고, ΔTPTS > 0 인 경우에는, ΔTPTS 을 그대로 유지하도록 하여, 상기 메타데이터 내에 있는 상대시간값에 상기 ΔTPTS값의 절대값 만큼을 뺀 시점을 상기 컨텐츠의 상대시점으로 보정하는 것을 포함할 수 있다.
한편, 상기 목적을 달성하기 위하여, 본 발명의 실시에 따른 멀티미디어 컨테츠와 세그먼트 메타데이터간의 시간 동기화를 위한 방법은 제1 세그먼트 시간정보를 포함하는 멀티미디어 컨텐츠와 상기 멀티미디어 컨텐츠에 대한 제2 세그먼트 시간정보를 포함하는 상기 멀티미디어 컨텐츠에 대한 세그먼트 메타데이터를 수신하는 제1단계와, 상기 수신한 컨텐츠로부터 제1 세그먼트 시간정보를 추출하고, 상기 수신한 메타데이터로부터 제2 세그먼트 시간정보를 추출하여 각각의 기준시점을 결정하는 제2단계와, 상기 결정된 기준시점의 차이를 이용하여 상기 컨텐츠의 상대시점을 보정하는 제3단계 및 상기 보정된 상대시점을 이용하여 상기 제1단계에서 수신한 컨텐츠와 메타데이터를 동기화하는 제4단계를 포함한다.
바람직하게는 상기 시간정보는 GPS 시간정보이고, 상기 기준시점은 상기 GPS 시간정보인 것으로 하는데, 상기 제3단계에서 상기 컨텐츠의 GPS값이 상기 메타데이터의 GPS값보다 빠른 경우에는, 상기 메타데이터 내에 있는 상대시간값에 상기 GPS값의 차이만큼을 더한 시점을 상기 컨텐츠의 상대시점으로 보정하고, 상기 컨텐츠의 GPS값이 상기 메타데이터의 GPS값보다 늦는 경우에는, 상기 메타데이터 내에 있는 상대시간값에 상기 GPS값의 차이만큼을 뺀 시점을 상기 컨텐츠의 상대시점으로 보정하는 것을 포함할 수 있다.
또한 바람직하게는 상기 시간정보는 GPS 시간정보와 DTS시간정보이고, 상기 기준시점은 상기 DTS시간정보인 것으로 하는데, 상기 컨텐츠의 GPS값이 상기 메타데이터의 GPS값보다 빠른 경우에는, 상기 제3단계는, 상기 컨텐츠의 DTS시간정보값에서 상기 메타데이터의 DTS시간정보값을 뺀 값을 ΔTDTS라고 할 때, ΔTDTS > 0 인 경우에는 ΔTDTS-233을 새로운 ΔTDTS 으로 결정하고, ΔTDTS < 0 인 경우에는, ΔTDTS 을 그대로 유지하도록 하는 제3-1단계와, 상기 메타데이터 내에 있는 상대시간값에 상기 ΔTDTS값의 절대값 만큼을 더한 시점을 상기 컨텐츠의 상대시점으로 보정하는 제3-2단계를 포함하고, 상기 컨텐츠의 GPS값이 상기 메타데이터의 GPS값보다 늦는 경우에는, 상기 제3단계는, 상기 컨텐츠의 DTS시간정보값에서 상기 메타데이터의 DTS시간정보값을 뺀 값을 ΔTDTS라고 할 때, ΔTDTS < 0 인 경우에는 ΔTDTS +233을 새로운 ΔTDTS 으로 결정하고, ΔTDTS > 0 인 경우에는, ΔTDTS 을 그대로 유지하도록 하는 제3-1단계와, 상기 메타데이터 내에 있는 상대시간값에 상기 ΔTDTS값의 절대값 만큼을 뺀 시점을 상기 컨텐츠의 상대시점으로 보정하는 제3-2단계를 포함할 수 있다.
또한 바람직하게는 상기 시간정보는 GPS 시간정보와 PTS시간정보이고, 상기 기준시점은 상기 PTS시간정보인 것으로 하는데, 상기 컨텐츠의 GPS값이 상기 메타데이터의 GPS값보다 빠른 경우에는, 상기 제3단계는, 상기 컨텐츠의 PTS시간정보값에서 상기 메타데이터의 PTS시간정보값을 뺀 값을 ΔTPTS라고 할 때, ΔTPTS > 0 인 경우에는 ΔTPTS-233을 새로운 ΔTPTS 으로 결정하고, ΔTPTS < 0 인 경우에는, ΔTPTS 을 그대로 유지하도록 하는 제3-1단계와, 상기 메타데이터 내에 있는 상대시간값에 상기 ΔTPTS값의 절대값 만큼을 더한 시점을 상기 컨텐츠의 상대시점으로 보정하는 제3-2단계를 포함하고, 상기 컨텐츠의 GPS값이 상기 메타데이터의 GPS값보다 늦는 경우에는, 상기 제3단계는, 상기 컨텐츠의 PTS시간정보값에서 상기 메타데이터의 PTS시간정보값을 뺀 값을 ΔTPTS라고 할 때, ΔTPTS < 0 인 경우에는 ΔTPTS +233을 새로운 ΔTPTS 으로 결정하고, ΔTPTS > 0 인 경우에는, ΔTPTS 을 그대로 유지하도록 하는 제3-1단계와, 상기 메타데이터 내에 있는 상대시간값에 상기 ΔTPTS값의 절대값 만큼을 뺀시점을 상기 컨텐츠의 상대시점으로 보정하는 제3-2단계를 포함할 수 있다.
이하, 첨부된 도면을 참조하여 본 발명의 일 실시예에 따른 멀티미디어 컨테츠와 세그먼트 메타데이터간의 시간 동기화를 위한 시스템 및 방법을 설명하면 다음과 같다.
도 2는 디지털 텔레비젼 방송 환경에서 본 발명의 실시에 따른 컨텐츠와 메타데이터의 흐름을 나타내는 예시도로서, 컨텐츠 생성자(210)가 컨텐츠를 생성하여 방송국과 같은 브로드캐스터(220)에게 제공하고, 브로드캐스터(220)는 수신한 컨텐츠를 브로드캐스트한다. 메타데이터 생성자(230)는 상기 브로드캐스트된 컨텐츠를 수신하고, 수신한 컨텐츠에 대한 메타데이터를 작성한 후, 메타데이터 제공자(240)에게 작성된 메타데이터를 전달하면, 메타데이터 제공자(240)는 상기 수신한 메타데이터를 수신자(250)에게 전송한다. 한편, 수신자(250)는 컨텐츠 전송 채널과는 별도의 채널을 통하여 브로드캐스터(220)로부터 브로드캐스트된 컨텐츠를 수신하고, 수신한 컨텐츠와 메타데이터 제공자(240)로부터 수신한 메타데이터간에 시간 동기화를 수행함으로써 세그먼트 브라우징을 수행한다. 이 때, 상기 메타데이터 생성자(230)는 작성하는 메타데이타 내에 기술되는 시간들에 대한 기준이 되는 시간 정보를 메타데이터의 일부 영역에 별도로 기록하고, 상기 수신자(250)도 상기 브로드캐스터(220)로부터 컨텐츠를 수신하여 기록할 때 컨텐츠를 기록하는 기준이 되는 시간 정보를 별도로 저장한다. 메타데이터 생성자(230)가 기록한 기준 시간과 상기 수신자(250)가 저장한 기준 시간은 서로 다를 수 있기 때문에 수신자(250)는 컨텐츠와 메타데이타의 시간적인 동기화를 위하여 상기 기준 시간에 대해 보정할 필요가 있다. 한편, 도 2에서 도시한 브로드케스터(220)와 메타데이터 제공자(240)는 동일할 수도 있고, 각각 독립적으로 별개일 수도 있으나, 컨텐츠 전송채널과 메타데이터 채널은 서로 다른 채널로서 구별될 수 있다.
도 3은 본 발명에 따라 컨텐츠와 메타데이터를 동기화하고 컨텐츠 세그먼트 브라우징을 수행하는 수신자(300)의 내부 블럭도를 나타내는 예시도로서, 메타데이터 공급자(360)로부터 메타데이터를 수신하여 제공하는 메타데이터 처리기(310)와 컨텐츠 공급자(350)로부터 컨텐츠를 수신하는 컨텐츠 재생부(325)와, 메타데이터 정보를 저장하는 내부저장 메타데이터 브라우저(315)와, 컨텐츠와 메타데이터 정보를 동기화시키는 동기부(320)와, 사용자 요청에 의해 컨텐츠 세그먼트 브라우징을 수행하는 컨텐츠 세그먼트 브라우저(305)와, 사용자로부터 브라우징 명령을 입력받아 상기 컨텐츠 세그먼트 브라우저(305)로 전달하는 사용자 인터페이스(330)로 구성된다. 이 때, 컨텐츠 공급자(350)는 상기 도 2에서 도시한 컨텐츠 생성자(210)와 브로드캐스터(220)를 모두 포함할 수 있고, 메타데이터 공급자(360)는 상기 도 2에서 도시한 메타데이터 생성자(230)와 메타데이터 제공자(240)를 포함할 수 있다. 컨텐츠 재생부(325)는 컨텐츠 공급자(350)로부터 컨텐츠를 수신하고, 수신한 컨텐츠를 재생하거나 저장하는 기능을 한다. 한편, 메타데이터 처리기(310)는 메타데이터 공급자(360)로부터 상기 컨텐츠 재생부(325)가 수신한 컨텐츠에 대한 세그먼트 메타데이터를 수신하여 내부저장 메타데이터 브라우저(315)로 전달한다. 이 때, 내부저장 메타데이터 브라우저(315)는 수신한 메타데이터를 파싱하여 필요한 필드 데이터를 추출하고, 상기 추출된 데이터를 기설정된 소정의 데이터 저장 형태로 저장한다. 컨텐츠 세그먼트 브라우저(305)는 컨텐츠 세그먼트 브라우징을 수행하는 수신자(300) 내의 어플리케이션으로서, 사용자 인터페이스(330)로부터 사용자의 명령을 전달받아 사용자가 선택한 세그먼트 또는 세그먼트 그룹에 대한 정보를 포함하는 제어신호를 동기부(320)로 전달한다. 이 때, 동기부(320)에서는 컨텐츠 재생부(325)로부터 사용자에 의해 선택된 컨텐츠를 추출하고, 내부저장 메타데이터 브라우저(315)로부터 상기 컨텐츠에 대한 메타데이터 정보를 추출하여, 상기 컨텐츠와 상기 메타데이터 정보를 동기화한 후, 상기 동기화된 정보를 컨텐츠 세그먼트 브라우저(305)에게 전달하면, 컨텐츠 세그먼트 브라우저(305)는 상기 동기화된 컨텐츠와 메타데이터 정보를 이용하여 세그먼트 브라우징을 수행한다. 본 발명은 상기와 같은 수신자(300) 구조에서 동기부(320)가 컨텐츠와 메타데이터 간에 시간 동기화를 하는 방법에 관한 것이다.
동기부(320)에서 컨텐츠와 메타데이터 간에 시간 동기화를 하기 위해서는 기준이 되는 시간 정보가 필요하다. 즉, 상기 도 2에 관하여 기술한 바와 같이 메타데이터 생성자(230)와 수신자(250)는 서로 별도의 전송채널을 통하여 컨텐츠를 수신하므로 각각의 기준 시간이 다를 수 있다. 따라서, 수신자(250)가 저장한 컨텐츠와 메타데이터 생성자(230)에 의해 생성되어 메타데이터 제공자(240)로부터 수신한 메타데이터를 상기 수신자(250)가 시간적으로 동기화시키기 위해서는 공통의 기준 시간 형식을 사용할 필요가 있다.
본 발명에서는 이러한 시간 동기화를 목적으로 사용될 기준 시간 정보로서, MPEG-2 기반 디지털 TV 방송에서 제공되는 PES패킷의 DTS/PTS 정보와 ATSC 또는 DVB와 같은 디지털 방송 규격에서 정의한 표준시간 정보들을 제시한다.
DTS(decoding time stamp)와 PTS(presentation time stamp)는 MPEG-2 PES(packetized elementary stream) 패킷 안에 삽입되는 시간 정보로서 비디오와 오디오 스트림을 동기적으로 디코딩하거나 프리젠테이션하기 위한 목적으로 사용되는 기준 시간을 나타낸다. DTS와 PTS는 33bit로 구성되며, 갱신은 초당 90,000 번 발생한다. DTS와 PTS는 모든 PES 패킷 안에 삽입되지는 않는다. 약 0.7초마다 PES 패킷 헤더 안에 포함되어 전송되는데, 그 값들은 24시간마다 리셋되어지므로 24시간 내에서만 시간 식별 정보로 사용될 수 있다.
한편, MPEG-2 시스템 규격을 바탕으로 한 디지털 방송 규격은 크게 미국형 ATSC와 유럽형 DVB로 나뉜다. ATSC 에서는 MPEG-2 시스템 내에 정의된 PSI(Program Specific Information) 섹션 내에 PSIP(Program and System Information Protocol) 규격을 확장 정의하고 있다. PSIP 규격에서는 기준 시간을 STT(System Time Table) 안에 system_time 이라는 32bit 필드값으로 전송하는데, 이 필드값은 1980년 1월 6일 0시를 기준시(이하 'GPS'로 한다)로 하여 상기 기준시 이후의 경과 시간을 초단위로 표시하고 있다. STT는 약 1초에 한 번 전송하게 되어 있으며, 정확한 시간과의 허용 오차는 +/- 4초 이내이나 1초 이하를 권고하고 있다. STT는 DTS/PTS와는 달리 실생활의 기준 시간 정보를 표현하고 있다. DVB는 ATSC와 마찬가지로 MPEG-2 시스템 규격 하에서 SI (System Information) 규격을 정의하고 있는데, 그 규격에서 기준시간을 표현하기 위하여 TDT(Time and Date Table) 및 TOT(Time Offset Table) 테이블을 정의하고 있다.
상기와 같이, MPEG-2의 DTS/PTS 시간 정보는 24시간 이내의 시간은 정확하게 시간동기화를 시킬 수 있으나, 24시간을 벗어나면 시간동기화가 불가능해지는 단점이 있다. 반면에, ATSC에서 제공하는 STT의 system_time 필드는 STT를 포함하는 해당 TS 패킷이 디코더에 도착하는 시간으로 맞추어져 있고, 오차 범위는 4초 이내로 규정되어 있기 때문에, 컨텐츠의 어느 한 지점을 정확히 지정할 수 없는 단점이 있다. 즉, 메타데이터 서버 측에서 의도한 지점에 해당되는 STT 값이, 컨텐츠를 디코딩하는 셋탑박스에서는 다른 지점을 가리킬 수 있게 된다. 따라서 본 발명에서는 시간 동기화 기준 시간으로서 ATSC 또는 DVB에서 제공하는 GPS 시간을 사용하거나 또는 사용자가 의도했던 정확한 지점을 지정하기 위하여 MPEG-2 PES 패킷 내에 존재하는 DTS, PTS 값과 상기 GPS 시간을 동시에 사용할 것을 제안한다. DTS/PTS 값이 본래 오디오 프레임과 비디오 프레임의 정확한 동기화를 위하여 사용되기 때문에 컨텐츠 내의 어떤 프레임의 정확한 지점을 지정할 수 있는 장점이 있다. 다만, DTS, PTS는 실제 시간이 아니고, 24시간마다 리셋되는 가상 시간 단위이기 때문에, 동기화시 오류를 발생시킬 수 있다. 이런 오류는 ATSC 또는 DVB 에서 제공하는 GPS 시간 정보를 활용함으로써 방지할 수 있다. 즉, 본 발명에서는 컨텐츠와 메타데이타의 동기화를 위한 기준 시간을 DTS, PTS, GPS 시간 등의 세가지 정보로 기술한다.
셋탑박스와 같은 수신자(250)는 나중에 메타데이터와의 시간 동기화를 위하여 브로드캐스터(220)로부터 수신한 컨텐츠를 저장하는 순간의 시간을 저장하는데, 이 때의 시간을 컨텐츠의 기준 시점으로 정의하고, 상기 기준 시점은 앞에서 기술한 DTS, PTS, GPS 시간의 조합으로 표현된다.
한편, 메타데이터 생성자(230)는 브로드캐스터(220)로부터 컨텐츠를 수신하고, 상기 수신한 컨텐츠에 대한 메타데이터를 작성하는 순간의 시간을 메타데이터의 일부 영역에 기록하는데, 이 때의 시간을 메타데이터의 기준 시점으로 정의하고, 상기 기준 시점은 앞에서 기술한 DTS, PTS, GPS 시간의 조합으로 표현된다. 이 때, 상기 메타데이터의 기준 시점은 다시 두가지로 분류하여 정의할 수 있는데, 첫번째 방법은 기준 시점값을 한 번 설정하고, 메타데이타 내에 기술되는 각 세그먼트들의 시작 시점은 상기 설정된 기준 시점값에 대하여 상대적인 차이값으로 표시하는 방법이다. 두번째 방법은 별도의 기준 시점을 설정하지 않고 세그먼트들의 시점들을 각각의 독립적인 기준 시점으로 표시하는 방법이다.
본 발명에 따라 컨텐츠의 기준 시점 또는 메타데이터의 기준 시점은 GPS, DTS, PTS의 세 필드를 포함하지만, 수신자(250)에서 컨텐츠와 메타데이터를 동기화할 경우에는 상기 3가지의 필드중 하나를 선택하여 기준 시점으로 사용한다. DTS와 PTS는 GPS보다 좀 더 정확한 동기화를 수행할 수 있지만, 그 값이 라운드 로빈(Round-Robin) 형태로 0부터 (233-1) 까지 증가하고 다시 0으로 리셋되는 동작을 약 24시간마다 반복하기 때문에 컨텐츠와 메타데이터의 GPS 값이 24시간 이상 차이가 날 때에는 DTS와 PTS 값을 기준 시점으로 사용하기에 적합하지 않다. 따라서 이런 경우에는 오차가 발생하더라도 GPS 만을 이용해서 시간을 보정한다. GPS 값의 차이가 24시간 이하인 경우에는 정확한 시간 보정을 위하여 DTS 혹은 PTS 중 어느 한 값을 기준 시점으로 사용한다.
상기한 바와 같이, 수신자(250)에서 기록한 컨텐츠에 대한 기준 시점과 메타데이터 생성자(230)에 의해 작성된 메타데이터의 기준시점은 서로 다를 수 있기 때문에 수신자(250)는 컨텐츠와 메타데이터를 시간적으로 동기화하기 위해 기준시점에 대한 보정이 필요하다.
본 발명에서는 컨텐츠와 메타데이터의 기준 시점의 차이를 ΔT라고 할 때, 기준 시점이 GPS인 경우에는 ΔTGPS, 기준 시점이 DTS인 경우에는 ΔTDTS, 기준 시점이 PTS인 경우에는 ΔTPTS 으로 정의한다.
즉, 기준 시점이 GPS인 경우에는, [수학식 1]과 같이 정의할 수 있고, 그 단위는 '초(second)'이다.
ΔTGPS = 컨텐츠의 GPS 기준 시점 값 - 메타 데이터의 GPS 기준 시점 값
기준 시점이 DTS 혹은 PTS인 경우에는 컨텐츠의 기준 시점이 메타데이터의 기준 시점 보다 이른지, 늦는지를 GPS 값을 통해서 판별해야 한다. 왜냐하면, DTS와 PTS는 33 bit 길이의 값이 라운드 로빈(Round-Robin) 형태로 0부터 (233-1)까지 증가하고 다시 0으로 리셋되는 동작을 반복하기 때문에 단순한 차이로는 기준 시점의 선후를 판단할 수 없기 때문이다.
도 4는 기준 시점이 DTS인 경우에 ΔTDTS를 계산하는 알고리즘을 나타내고 있는 예시도이고, 도 5는 기준 시점이 PTS인 경우에 ΔTPTS를 계산하는 알고리즘을 나타내고 있는 예시도로서, 각각의 경우는 우선 ΔTGPS 를 먼저 계산함으로써 메타데이터와 컨텐츠 간의 선후관계를 파악하고, 그 결과에 따라 각각, ΔTDTS와 ΔTPTS를 보정한 후, 각각의 ΔTDTS와 ΔTPTS를 반환하게 된다.
한편, 메타데이터 내에 기술된 각각의 세그먼트의 시점이 메타데이터의 기준 시점을 기준으로 상대적인 시점, 즉 옵셋(off-set)으로 지정되는 경우에 있어서 상대 시점을 보정하는 방법을 설명하도록 한다.
도 6a는 컨텐츠와 메타데이터의 기준시점이 일치하는 경우에 보정하는 방법을 나타내는 예시도로서, 이러한 경우에는 기준시점이 동일하기 때문에 세그먼트들의 상대 시점에 대한 보정이 필요하지 않게 된다.
도 6b는 컨텐츠의 기준시점이 메타데이터의 기준시점보다 빠른 경우에 보정하는 방법을 나타내는 예시도로서, 메타데이터 내에 기술된 각 세그먼트에 대한 메타데이터의 기준시간에 관한 상대시간 정보들, 예컨대 Ta, Tb, Tc, Td값에 ΔT의 절대값 만큼을 더한 시간을 기준으로 세그먼트 브라우징을 수행한다.
도 6c는 컨텐츠의 기준시점이 메타데이터의 기준시점보다 늦는 경우에 보정하는 방법을 나타내는 예시도로서, 메타데이터 내에 기술된 각 세그먼트에 대한 메타데이터의 기준시간에 관한 상대시간 정보들, 예컨대 Ta, Tb, Tc, Td값에 ΔT의 절대값 만큼을 뺀 시간을 기준으로 세그먼트 브라우징을 수행한다.
도 6d는 시간 구간에 오버플로우가 발생한 경우를 나타내는 예시도로서, 기준 시점이 보정된 이후 세그먼트 메타데이터에서 지정된 소정의 세그먼트의 시간적 구간이 수신기기에 저장되어 있는 컨텐츠의 시간적 구간을 넘는 경우에는 컨텐츠의 시간적 구간이 허용하는 범위까지만 표시하고 재생하게 된다.
이상에서 설명한 본 발명은, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에 있어 본 발명의 기술적 사상을 벗어나지 않는 범위 내에서 여러 가지 치환, 변형 및 변경이 가능하므로 전술한 실시예 및 첨부된 도면에 한정하는 것은 아니다.
상기한 바와 같이 이루어진 본 발명에 따르면, 소정의 컨텐츠에 대한 메타데이터를 생성할 때 발생할 수 있는 기준시점에 대한 차이를 보정함으로써, 컨텐츠와 세그먼트 메타데이터의 전송 채널이 각각 분리된 환경에서도 사용자는 상기 컨텐츠에 대한 세그먼트 브라우징을 할 수 있게 되는 효과가 있다.
도 1a은 종래의 컨텐츠 세그먼트를 기술하는 메타데이타를 나타내는 예시도
도 1b는 종래의 컨텐츠의 세그먼트 그룹을 기술하는 메타데이타를 나타내는 예시도
도 1c는 종래의 컨텐츠 세그먼트의 기준 시점을 기술하는 메타데이타를 나타내는 예시도
도 2는 디지털 텔레비젼 방송 환경에서 본 발명에 따른 컨텐츠와 메타데이터의 흐름을 나타내는 예시도
도 3은 본 발명에 따라 컨텐츠와 메타데이터를 동기화하고 컨텐츠 세그먼트 브라우징을 수행하는 수신자의 내부 블럭도를 나타내는 예시도
도 4는 본 발명에 따라 기준 시점이 DTS인 경우에 ΔTDTS를 계산하는 알고리즘을 나타내는 일 실시예 처리 흐름도
도 5는 본 발명에 따라 기준 시점이 PTS인 경우에 ΔTPTS를 계산하는 알고리즘을 나타내는 일 실시예 처리 흐름도
도 6a는 본 발명에 따라 컨텐츠와 메타데이터의 기준시점이 일치하는 경우에 보정하는 방법을 나타내는 예시도
도 6b는 본 발명에 따라 컨텐츠의 기준시점이 메타데이터의 기준시점보다 빠른 경우에 보정하는 방법을 나타내는 예시도
도 6c는 본 발명에 따라 컨텐츠의 기준시점이 메타데이터의 기준시점보다 늦는 경우에 보정하는 방법을 나타내는 예시도
도 6d는 본 발명에 따라 시간 구간에 오버플로우가 발생한 경우를 나타내는 예시도

Claims (8)

  1. 제1 세그먼트 시간정보를 포함하는 멀티미디어 컨텐츠를 수신하여 저장하는 컨텐츠 처리부;
    상기 컨텐츠에 대한 제2 세그먼트 시간정보를 포함하는 세그먼트 메타데이터를 수신하여 저장하는 메타데이터 처리부;
    컨텐츠 세그먼트 요청 신호에 따라 상기 제1 세그먼트 시간정보와 상기 제2 세그먼트 시간정보로부터 각각의 기준시점을 결정하고, 상기 결정된 기준시점의 차이를 이용하여 상기 컨텐츠의 상대시점을 보정하고, 상기 보정된 상대시점을 이용하여 상기 수신한 컨텐츠와 메타데이터를 동기화하는 동기부; 및
    상기 컨텐츠 세그먼트 요청 신호를 상기 동기부로 전달하고, 상기 동기부에 의해 동기화된 컨텐츠의 다수의 세그먼트를 재생하도록 하는 컨텐츠 세그먼트 브라우저를 포함하는데,
    상기 시간정보와 기준시점은 GPS 시간정보, DTS 시간정보 또는 PTS 시간정보를 포함하는 시간동기화 시스템.
  2. 제1항에 있어서,
    상기 시간정보는 GPS 시간정보이고, 상기 기준시점은 상기 GPS 시간정보인 것으로 하는데,
    상기 동기부는,
    상기 컨텐츠의 GPS값이 상기 메타데이터의 GPS값보다 빠른 경우에, 상기 메타데이터 내에 있는 상대시간값에 상기 GPS값의 차이만큼을 더한 시점을 상기 컨텐츠의 상대시점으로 보정하고, 상기 컨텐츠의 GPS값이 상기 메타데이터의 GPS값보다 늦는 경우에, 상기 메타데이터 내에 있는 상대시간값에 상기 GPS값의 차이만큼을 뺀 시점을 상기 컨텐츠의 상대시점으로 보정하는 것을 포함하는 시간동기화 시스템
  3. 제1항에 있어서,
    상기 시간정보는 GPS 시간정보와 DTS시간정보이고, 상기 기준시점은 상기 DTS시간정보인 것으로 하는데, 상기 컨텐츠의 GPS값이 상기 메타데이터의 GPS값보다 빠른 경우에,
    상기 동기부는, 상기 컨텐츠의 DTS시간정보값에서 상기 메타데이터의 DTS시간정보값을 뺀 값을 ΔTDTS라고 할 때, ΔTDTS > 0 인 경우에는 ΔTDTS-2 33을 새로운 ΔTDTS 으로 결정하고, ΔTDTS < 0 인 경우에는, ΔTDTS 을 그대로 유지하도록 하여, 상기 메타데이터 내에 있는 상대시간값에 상기 ΔTDTS값의 절대값 만큼을 더한 시점을 상기 컨텐츠의 상대시점으로 보정하고,
    상기 컨텐츠의 GPS값이 상기 메타데이터의 GPS값보다 늦는 경우에,
    상기 동기부는, 상기 컨텐츠의 DTS시간정보값에서 상기 메타데이터의 DTS시간정보값을 뺀 값을 ΔTDTS라고 할 때, ΔTDTS < 0 인 경우에는 ΔTDTS+233 을 새로운 ΔTDTS 으로 결정하고, ΔTDTS > 0 인 경우에는, ΔTDTS 을 그대로 유지하도록 하여, 상기 메타데이터 내에 있는 상대시간값에 상기 ΔTDTS값의 절대값 만큼을 뺀 시점을 상기 컨텐츠의 상대시점으로 보정하는 것을 포함하는 시간동기화 시스템
  4. 제1항에 있어서,
    상기 시간정보는 GPS 시간정보와 PTS시간정보이고, 상기 기준시점은 상기 PTS시간정보인 것으로 하는데, 상기 컨텐츠의 GPS값이 상기 메타데이터의 GPS값보다 빠른 경우에,
    상기 동기부는, 상기 컨텐츠의 PTS시간정보값에서 상기 메타데이터의 PTS시간정보값을 뺀 값을 ΔTPTS라고 할 때, ΔTPTS > 0 인 경우에는 ΔTPTS-2 33을 새로운 ΔTPTS 으로 결정하고, ΔTPTS < 0 인 경우에는, ΔTPTS 을 그대로 유지하도록 하여, 상기 메타데이터 내에 있는 상대시간값에 상기 ΔTPTS값의 절대값 만큼을 더한 시점을 상기 컨텐츠의 상대시점으로 보정하고,
    상기 컨텐츠의 GPS값이 상기 메타데이터의 GPS값보다 늦는 경우에,
    상기 동기부는, 상기 컨텐츠의 PTS시간정보값에서 상기 메타데이터의 PTS시간정보값을 뺀 값을 ΔTPTS라고 할 때, ΔTPTS < 0 인 경우에는 ΔTPTS+233 을 새로운 ΔTPTS 으로 결정하고, ΔTPTS > 0 인 경우에는, ΔTPTS 을 그대로 유지하도록 하여, 상기 메타데이터 내에 있는 상대시간값에 상기 ΔTPTS값의 절대값 만큼을 뺀 시점을 상기 컨텐츠의 상대시점으로 보정하는 것을 포함하는 시간동기화 시스템
  5. 제1 세그먼트 시간정보를 포함하는 멀티미디어 컨텐츠와 상기 멀티미디어 컨텐츠에 대한 제2 세그먼트 시간정보를 포함하는 상기 멀티미디어 컨텐츠에 대한 세그먼트 메타데이터를 수신하는 제1단계;
    상기 수신한 컨텐츠로부터 제1 세그먼트 시간정보를 추출하고, 상기 수신한 메타데이터로부터 제2 세그먼트 시간정보를 추출하여 각각의 기준시점을 결정하는 제2단계;
    상기 결정된 기준시점의 차이를 이용하여 상기 컨텐츠의 상대시점을 보정하는 제3단계; 및
    상기 보정된 상대시점을 이용하여 상기 제1단계에서 수신한 컨텐츠와 메타데이터를 동기화하는 제4단계를 포함하는데,
    상기 시간정보와 기준시점은 GPS 시간정보, DTS 시간정보 또는 PTS 시간정보를 포함하는 시간동기화 방법.
  6. 제5항에 있어서,
    상기 시간정보는 GPS 시간정보이고, 상기 기준시점은 상기 GPS 시간정보인 것으로 하는데,
    상기 제3단계는,
    상기 컨텐츠의 GPS값이 상기 메타데이터의 GPS값보다 빠른 경우에, 상기 메타데이터 내에 있는 상대시간값에 상기 GPS값의 차이만큼을 더한 시점을 상기 컨텐츠의 상대시점으로 보정하고, 상기 컨텐츠의 GPS값이 상기 메타데이터의 GPS값보다 늦는 경우에, 상기 메타데이터 내에 있는 상대시간값에 상기 GPS값의 차이만큼을 뺀 시점을 상기 컨텐츠의 상대시점으로 보정하는 것을 포함하는 시간동기화 방법
  7. 제5항에 있어서,
    상기 시간정보는 GPS 시간정보와 DTS시간정보이고, 상기 기준시점은 상기 DTS시간정보인 것으로 하는데, 상기 컨텐츠의 GPS값이 상기 메타데이터의 GPS값보다 빠른 경우에,
    상기 제3단계는, 상기 컨텐츠의 DTS시간정보값에서 상기 메타데이터의 DTS시간정보값을 뺀 값을 ΔTDTS라고 할 때, ΔTDTS > 0 인 경우에는 ΔTDTS-2 33을 새로운 ΔTDTS 으로 결정하고, ΔTDTS < 0 인 경우에는, ΔTDTS 을 그대로 유지하도록 하는 제3-1단계와, 상기 메타데이터 내에 있는 상대시간값에 상기 ΔTDTS값의 절대값 만큼을 더한 시점을 상기 컨텐츠의 상대시점으로 보정하는 제3-2단계를 포함하고,
    상기 컨텐츠의 GPS값이 상기 메타데이터의 GPS값보다 늦는 경우에,
    상기 제3단계는, 상기 컨텐츠의 DTS시간정보값에서 상기 메타데이터의 DTS시간정보값을 뺀 값을 ΔTDTS라고 할 때, ΔTDTS < 0 인 경우에는 ΔTDTS+233 을 새로운 ΔTDTS 으로 결정하고, ΔTDTS > 0 인 경우에는, ΔTDTS 을 그대로 유지하도록 하는 제3-1단계와, 상기 메타데이터 내에 있는 상대시간값에 상기 ΔTDTS값의 절대값 만큼을 뺀 시점을 상기 컨텐츠의 상대시점으로 보정하는 제3-2단계를 포함하는 시간동기화 방법
  8. 제5항에 있어서,
    상기 시간정보는 GPS 시간정보와 PTS시간정보이고, 상기 기준시점은 상기 PTS시간정보인 것으로 하는데, 상기 컨텐츠의 GPS값이 상기 메타데이터의 GPS값보다 빠른 경우에,
    상기 제3단계는, 상기 컨텐츠의 PTS시간정보값에서 상기 메타데이터의 PTS시간정보값을 뺀 값을 ΔTPTS라고 할 때, ΔTPTS > 0 인 경우에는 ΔTPTS-2 33을 새로운 ΔTPTS 으로 결정하고, ΔTPTS < 0 인 경우에는, ΔTPTS 을 그대로 유지하도록 하는 제3-1단계와, 상기 메타데이터 내에 있는 상대시간값에 상기 ΔTPTS값의 절대값 만큼을 더한 시점을 상기 컨텐츠의 상대시점으로 보정하는 제3-2단계를 포함하고,
    상기 컨텐츠의 GPS값이 상기 메타데이터의 GPS값보다 늦는 경우에,
    상기 제3단계는, 상기 컨텐츠의 PTS시간정보값에서 상기 메타데이터의 PTS시간정보값을 뺀 값을 ΔTPTS라고 할 때, ΔTPTS < 0 인 경우에는 ΔTPTS+2 33을 새로운 ΔTPTS 으로 결정하고, ΔTPTS > 0 인 경우에는, ΔTPTS 을 그대로 유지하도록 하는 제3-1단계와, 상기 메타데이터 내에 있는 상대시간값에 상기 ΔTPTS값의 절대값 만큼을 뺀시점을 상기 컨텐츠의 상대시점으로 보정하는 제3-2단계를 포함하는 시간동기화 방법
KR10-2003-0043520A 2003-06-30 2003-06-30 멀티미디어 컨텐츠와 세그먼트 메타데이터간의 시간 동기화를 위한 시스템 및 방법 KR100513290B1 (ko)

Priority Applications (5)

Application Number Priority Date Filing Date Title
KR10-2003-0043520A KR100513290B1 (ko) 2003-06-30 2003-06-30 멀티미디어 컨텐츠와 세그먼트 메타데이터간의 시간 동기화를 위한 시스템 및 방법
JP2004093406A JP4369271B2 (ja) 2003-06-30 2004-03-26 マルチメディアコンテンツとセグメントメタデータ間の時間同期化のためのシステム及び方法
EP20040253773 EP1494430B1 (en) 2003-06-30 2004-06-24 System and method for time synchronization between multimedia content and segment metadata
CNB2004100501798A CN1328724C (zh) 2003-06-30 2004-06-29 用于多媒体内容和段元数据之间的时间同步的系统和方法
US10/879,594 US7428696B2 (en) 2003-06-30 2004-06-30 System and method for time synchronization between multimedia content and segment metadata

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR10-2003-0043520A KR100513290B1 (ko) 2003-06-30 2003-06-30 멀티미디어 컨텐츠와 세그먼트 메타데이터간의 시간 동기화를 위한 시스템 및 방법

Publications (2)

Publication Number Publication Date
KR20050002183A KR20050002183A (ko) 2005-01-07
KR100513290B1 true KR100513290B1 (ko) 2005-09-09

Family

ID=33432442

Family Applications (1)

Application Number Title Priority Date Filing Date
KR10-2003-0043520A KR100513290B1 (ko) 2003-06-30 2003-06-30 멀티미디어 컨텐츠와 세그먼트 메타데이터간의 시간 동기화를 위한 시스템 및 방법

Country Status (5)

Country Link
US (1) US7428696B2 (ko)
EP (1) EP1494430B1 (ko)
JP (1) JP4369271B2 (ko)
KR (1) KR100513290B1 (ko)
CN (1) CN1328724C (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100631783B1 (ko) 2004-10-06 2006-10-11 삼성전자주식회사 멀티미디어 데이터와 메타데이터를 동기화하는 시스템 및방법
US8516053B2 (en) 2009-07-13 2013-08-20 Electronics And Telecommunications Research Institute Multimedia play apparatus and method

Families Citing this family (37)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7235810B1 (en) 1998-12-03 2007-06-26 Semiconductor Energy Laboratory Co., Ltd. Semiconductor device and method of fabricating the same
EP2284605A3 (en) 1999-02-23 2017-10-18 Semiconductor Energy Laboratory Co, Ltd. Semiconductor device and fabrication method thereof
US6461899B1 (en) 1999-04-30 2002-10-08 Semiconductor Energy Laboratory, Co., Ltd. Oxynitride laminate “blocking layer” for thin film semiconductor devices
TW480554B (en) 1999-07-22 2002-03-21 Semiconductor Energy Lab Semiconductor device and manufacturing method thereof
US20040034622A1 (en) * 2002-08-13 2004-02-19 Espinoza Danny Javier Applications software and method for authoring and communicating multimedia content in a multimedia object communication and handling platform
US7584420B2 (en) * 2004-02-12 2009-09-01 Lockheed Martin Corporation Graphical authoring and editing of mark-up language sequences
JP2008537371A (ja) * 2005-03-10 2008-09-11 エレクトロニクス アンド テレコミュニケーションズ リサーチ インスチチュート デジタルコンテンツ提供システムにおける広告区間識別方法
JP4473766B2 (ja) * 2005-04-04 2010-06-02 株式会社日立製作所 計算機システム、ログ収集方法、及びコンピュータプログラム
DE102005016866A1 (de) * 2005-04-12 2006-10-19 Siemens Ag Verfahren sowie Vorrichtung zum Synchronisieren von inhaltsbezogenen ersten Datensegmenten einer ersten Datendatei und inhaltsbezogenen zweiten Datensegmenten einer zweiten Datendatei
US7913157B1 (en) * 2006-04-18 2011-03-22 Overcast Media Incorporated Method and system for the authoring and playback of independent, synchronized media through the use of a relative virtual time code
EP2166730B1 (en) * 2006-05-02 2014-09-24 BlackBerry Limited Method and system for optimizing metadata passing in a push content processing protocol
US7644139B2 (en) 2006-05-02 2010-01-05 Research In Motion Limited Method and system for optimizing metadata passing in a push content processing protocol
DE102006021846A1 (de) 2006-05-10 2007-11-22 Benq Mobile Gmbh & Co. Ohg Empfangseinrichtung zum blockbasierten Empfang von Dateien, Sendeeinrichtung zum blockbasierten Übertragen von Dateien, System zur Datenübertragung, Verfahren zum blockbasierten Empfang einer Datei und Verfahren zum blockbasierten Senden einer Datei
KR100835909B1 (ko) * 2007-02-09 2008-06-09 (주)아이디스 디지털 영상 신호 처리 장치 및 이 장치의 동작 방법
US9794605B2 (en) * 2007-06-28 2017-10-17 Apple Inc. Using time-stamped event entries to facilitate synchronizing data streams
KR101401964B1 (ko) 2007-08-13 2014-05-30 삼성전자주식회사 메타데이터 인코딩/디코딩 방법 및 장치
US9465892B2 (en) 2007-12-03 2016-10-11 Yahoo! Inc. Associating metadata with media objects using time
JP5283914B2 (ja) 2008-01-29 2013-09-04 キヤノン株式会社 表示制御装置及び表示制御方法
KR20090112095A (ko) * 2008-04-23 2009-10-28 삼성전자주식회사 방송 컨텐츠의 저장 방법, 디스플레이 방법 및 그 장치
US20100070643A1 (en) * 2008-09-11 2010-03-18 Yahoo! Inc. Delivery of synchronized metadata using multiple transactions
CN102196303B (zh) * 2010-03-02 2014-03-19 中兴通讯股份有限公司 一种媒体同步的方法和系统
CN103141111B (zh) * 2010-08-04 2016-02-24 纳格拉影像股份有限公司 用于共享数据并使广播数据与附加信息同步的方法
US9549197B2 (en) 2010-08-16 2017-01-17 Dolby Laboratories Licensing Corporation Visual dynamic range timestamp to enhance data coherency and potential of metadata using delay information
WO2012174301A1 (en) 2011-06-14 2012-12-20 Related Content Database, Inc. System and method for presenting content with time based metadata
JP5121993B1 (ja) 2011-10-11 2013-01-16 株式会社東芝 コンテンツ処理装置、及びコンテンツ同期方法
KR101313592B1 (ko) * 2012-04-13 2013-10-01 애니포인트 미디어 그룹 스트리밍 재생 방법 및 이를 이용한 컴퓨팅 장치
US10783319B2 (en) 2013-03-11 2020-09-22 Coachmyvideo.Com Llc Methods and systems of creation and review of media annotations
US9497406B2 (en) 2013-03-11 2016-11-15 Coachmyvideo.Com, Llc Methods and systems of creation and catalog of media recordings
JP5641090B2 (ja) 2013-03-14 2014-12-17 ソニー株式会社 送信装置、送信方法、受信装置および受信方法
US10019517B2 (en) 2014-05-06 2018-07-10 Tivo Solutions Inc. Managing media content upload groups
EP4096228A1 (en) 2014-05-06 2022-11-30 TiVo Solutions Inc. Cloud-based media content management
US10057654B2 (en) 2016-01-29 2018-08-21 Roku, Inc. Selection and alignment of video segments for adaptive streaming
US10122781B2 (en) * 2016-01-29 2018-11-06 Roku Inc. Selection of video segments for adaptive streaming
US10218755B2 (en) 2016-01-29 2019-02-26 Roku, Inc. Extended selection and alignment of video segments for adaptive streaming
CN105847994B (zh) * 2016-05-05 2018-11-06 北京奇艺世纪科技有限公司 一种多媒体文件的播放方法和装置
US10349097B2 (en) * 2017-10-27 2019-07-09 Mti Film, Llc Metadata editor for multimedia delivery
US10587669B2 (en) * 2017-12-20 2020-03-10 Facebook, Inc. Visual quality metrics

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20010068851A (ko) * 2000-01-10 2001-07-23 구자홍 방송 프로그램 녹화 및 재생시 ａ／ｖ와 데이터간 동기화장치
KR20020063830A (ko) * 2001-01-30 2002-08-05 한국전자통신연구원 멀티미디어 컨텐츠에 동기화된 메타데이터 전송 장치 및방법
JP2003061023A (ja) * 2001-08-16 2003-02-28 Sony Corp 情報提供システム、情報処理装置および方法、記録媒体、並びにプログラム
KR20030022818A (ko) * 2001-04-19 2003-03-17 마츠시타 덴끼 산교 가부시키가이샤 메타 데이터 작성 장치, 메타 데이터 입력 단말, 메타 데이터 작성 방법 및 기록 매체
KR20040058458A (ko) * 2002-12-26 2004-07-05 한국전자통신연구원 방송 프로그램에 정보 제공을 위한 메타데이터 송/수신장치 및 그 방법

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6400996B1 (en) * 1999-02-01 2002-06-04 Steven M. Hoffberg Adaptive pattern recognition based control system and method
US5319374A (en) * 1993-02-02 1994-06-07 Trimble Navigation Limited Precise universal time for vehicles
IL121230A (en) * 1997-07-03 2004-05-12 Nds Ltd Intelligent electronic program guide
US6360234B2 (en) * 1997-08-14 2002-03-19 Virage, Inc. Video cataloger system with synchronized encoders
EP1193899B1 (en) 1999-07-14 2008-12-31 Panasonic Corporation Apparatus for providing information, information receiver and storage medium
US8302127B2 (en) * 2000-09-25 2012-10-30 Thomson Licensing System and method for personalized TV
US6990611B2 (en) * 2000-12-29 2006-01-24 Dot Hill Systems Corp. Recovering data from arrays of storage devices after certain failures
JP2002344909A (ja) 2001-05-17 2002-11-29 Nec Corp コンテンツ同期システム、コンテンツ同期方法、および、コンテンツ同期プログラム
US6741684B2 (en) * 2001-06-26 2004-05-25 Koninklijke Philips Electronics N.V. Interactive TV using remote control with built-in phone
JP3688225B2 (ja) * 2001-07-26 2005-08-24 松下電器産業株式会社 デジタルデータ再生装置
FR2834176B1 (fr) * 2001-12-26 2004-12-24 France Telecom Procede de diffusion d'un contenu a partir d'une source vers au moins un terminal, a travers un reseau de type ip, source terminal et signal associes
JP2003244139A (ja) * 2002-02-20 2003-08-29 Amano Corp 電子文書に対するタイムスタンプ押印システム、及び、そのプログラム媒体
CN1194473C (zh) * 2002-06-07 2005-03-23 威盛电子股份有限公司 数字锁相回路装置与信号产生方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20010068851A (ko) * 2000-01-10 2001-07-23 구자홍 방송 프로그램 녹화 및 재생시 ａ／ｖ와 데이터간 동기화장치
KR20020063830A (ko) * 2001-01-30 2002-08-05 한국전자통신연구원 멀티미디어 컨텐츠에 동기화된 메타데이터 전송 장치 및방법
KR20030022818A (ko) * 2001-04-19 2003-03-17 마츠시타 덴끼 산교 가부시키가이샤 메타 데이터 작성 장치, 메타 데이터 입력 단말, 메타 데이터 작성 방법 및 기록 매체
JP2003061023A (ja) * 2001-08-16 2003-02-28 Sony Corp 情報提供システム、情報処理装置および方法、記録媒体、並びにプログラム
KR20040058458A (ko) * 2002-12-26 2004-07-05 한국전자통신연구원 방송 프로그램에 정보 제공을 위한 메타데이터 송/수신장치 및 그 방법

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100631783B1 (ko) 2004-10-06 2006-10-11 삼성전자주식회사 멀티미디어 데이터와 메타데이터를 동기화하는 시스템 및방법
US8516053B2 (en) 2009-07-13 2013-08-20 Electronics And Telecommunications Research Institute Multimedia play apparatus and method

Also Published As

Publication number Publication date
US20040267738A1 (en) 2004-12-30
US7428696B2 (en) 2008-09-23
EP1494430B1 (en) 2014-09-03
KR20050002183A (ko) 2005-01-07
JP4369271B2 (ja) 2009-11-18
EP1494430A3 (en) 2006-10-25
CN1328724C (zh) 2007-07-25
JP2005027274A (ja) 2005-01-27
EP1494430A2 (en) 2005-01-05
CN1577571A (zh) 2005-02-09

Similar Documents

Publication Publication Date Title
KR100513290B1 (ko) 멀티미디어 컨텐츠와 세그먼트 메타데이터간의 시간 동기화를 위한 시스템 및 방법
JP5977760B2 (ja) 複数のリアルタイム伝送ストリームを受信する受信装置と、その送信装置およびマルチメディアコンテンツ再生方法
KR100406122B1 (ko) 디지털 데이터 방송을 위한 동기화 데이터 삽입 장치 및그 방법
KR101786051B1 (ko) 데이터 제공 방법 및 장치와 데이터 수신 방법 및 장치
US7738767B2 (en) Method, apparatus and program for recording and playing back content data, method, apparatus and program for playing back content data, and method, apparatus and program for recording content data
JP5903924B2 (ja) 受信装置および字幕処理方法
KR101828639B1 (ko) 멀티미디어 흐름을 동기화시키기 위한 방법 및 대응하는 장치
Howson et al. Second screen TV synchronization
CN103262554A (zh) 收发多媒体内容的发送装置和接收装置及其再现方法
US7685615B2 (en) Television signal reception method and module
JP2018182677A (ja) 情報処理装置、情報処理方法、プログラム、および記録媒体製造方法
WO2005104557A1 (en) Method for recording of interactive information in interactive digital television and playback thereof
JP4197078B2 (ja) 蓄積型デジタル放送における映像音声の部分再生方法及び受信装置
JP4242525B2 (ja) デジタル放送における映像音声の部分再生方法及び受信装置
KR100631783B1 (ko) 멀티미디어 데이터와 메타데이터를 동기화하는 시스템 및방법
WO2003094518A1 (en) Method of data synchronisation
KR101539776B1 (ko) 부가 타임스탬프를 이용한 방송 신호 녹화 및 재생 장치 및 방법
JP2010193209A (ja) デジタル放送受信機
JP2008236163A (ja) 再生装置、映像記録再生装置、その特殊再生方法
KR20050080829A (ko) 디지털 방송 수신 시스템의 프로그램 정보 재생방법
WO2001019078A1 (en) Method and apparatus for synchronization of separate digital and analog video streams at a viewer&#39;s premise using closed captioning
KR20140118059A (ko) 콘텐츠 재생 방법

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20120730

Year of fee payment: 8

FPAY Annual fee payment

Payment date: 20130730

Year of fee payment: 9

FPAY Annual fee payment

Payment date: 20140730

Year of fee payment: 10

FPAY Annual fee payment

Payment date: 20150730

Year of fee payment: 11

FPAY Annual fee payment

Payment date: 20160728

Year of fee payment: 12

LAPS Lapse due to unpaid annual fee