KR100631783B1 - System and method for synchronizing multimedia data with metadata - Google Patents

System and method for synchronizing multimedia data with metadata Download PDF

Info

Publication number
KR100631783B1
KR100631783B1 KR1020040079575A KR20040079575A KR100631783B1 KR 100631783 B1 KR100631783 B1 KR 100631783B1 KR 1020040079575 A KR1020040079575 A KR 1020040079575A KR 20040079575 A KR20040079575 A KR 20040079575A KR 100631783 B1 KR100631783 B1 KR 100631783B1
Authority
KR
South Korea
Prior art keywords
multimedia data
positioning system
satellite positioning
time information
metadata
Prior art date
Application number
KR1020040079575A
Other languages
Korean (ko)
Other versions
KR20060030715A (en
Inventor
강인선
신효섭
김용성
성영경
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020040079575A priority Critical patent/KR100631783B1/en
Publication of KR20060030715A publication Critical patent/KR20060030715A/en
Application granted granted Critical
Publication of KR100631783B1 publication Critical patent/KR100631783B1/en

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/4302—Content synchronisation processes, e.g. decoder synchronisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04H—BROADCAST COMMUNICATION
    • H04H60/00—Arrangements for broadcast applications with a direct linking to broadcast information or broadcast space-time; Broadcast-related systems
    • H04H60/68—Systems specially adapted for using specific information, e.g. geographical or meteorological information
    • H04H60/73—Systems specially adapted for using specific information, e.g. geographical or meteorological information using meta-information
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/238—Interfacing the downstream path of the transmission network, e.g. adapting the transmission rate of a video stream to network bandwidth; Processing of multiplex streams
    • H04N21/2387—Stream processing in response to a playback request from an end-user, e.g. for trick-play
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs
    • H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
    • H04N21/440245—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display the reformatting operation being performed only on part of the stream, e.g. a region of the image or a time segment

Abstract

본 발명은 멀티미디어 데이터와 메타데이터를 동기화하는 시스템 및 방법에 관한 것으로서, 위성 위치 확인 시스템의 시간 정보와 표현 시간 지정 정보를 멀티미디어 데이터 스트림에 삽입함으로써 오류 및 오차를 최소화한 멀티미디어 데이터와 메타데이터의 동기화를 구현하는 멀티미디어 데이터와 메타데이터를 동기화하는 시스템 및 방법에 관한 것이다. The present invention relates to a system and method for synchronizing multimedia data and metadata, and to synchronizing multimedia data and metadata with minimal errors and errors by inserting time information and presentation time designation information of a satellite positioning system into a multimedia data stream. The present invention relates to a system and method for synchronizing multimedia data and metadata.

본 발명의 실시예에 따른 멀티미디어 데이터와 메타데이터를 동기화하는 시스템은 디지털 멀티미디어 데이터의 각 프레임에 대한 위성 위치 확인 시스템의 시간 정보를 삽입하는 정보 삽입부 및 상기 위성 위치 확인 시스템의 시간 정보가 삽입된 디지털 멀티미디어 데이터를 출력하는 출력부를 포함한다.In an embodiment of the present invention, a system for synchronizing multimedia data with metadata includes an information insertion unit for inserting time information of a satellite positioning system for each frame of digital multimedia data, and a time information of the satellite positioning system. And an output unit for outputting digital multimedia data.

위성 위치 확인 시스템의 시간 정보, 표현 시간 지정 정보, 세그먼트 메타데이터, 인덱스 테이블, 트릭 플레이Satellite positioning system time information, presentation time designation information, segment metadata, index table, trick play

Description

멀티미디어 데이터와 메타데이터를 동기화하는 시스템 및 방법{System and method for synchronizing multimedia data and metadata}System and method for synchronizing multimedia data and metadata

도 1은 종래의 메타데이터 제작자에 의한 세그먼트 메타데이터의 생성 및 전달 과정을 나타낸 블록도이다.1 is a block diagram illustrating a generation and delivery process of segment metadata by a conventional metadata producer.

도 2는 종래의 세그먼트 메타데이터 처리 장치를 나타낸 블록도이다.2 is a block diagram showing a conventional segment metadata processing apparatus.

도 3은 본 발명의 실시예에 따른 메타데이터와의 동기화를 위한 멀티미디어 데이터를 출력하는 시스템을 나타낸 블록도이다.3 is a block diagram illustrating a system for outputting multimedia data for synchronization with metadata according to an embodiment of the present invention.

도 4는 본 발명의 실시예에 따른 세그먼트 메타데이터 제작 시스템을 나타낸 블록도이다.4 is a block diagram illustrating a segment metadata production system according to an embodiment of the present invention.

도 5는 본 발명의 실시예에 따른 멀티미디어 데이터와 메타데이터를 동기화하는 시스템을 나타낸 블록도이다.5 is a block diagram illustrating a system for synchronizing multimedia data and metadata according to an embodiment of the present invention.

도 6은 본 발명의 실시예에 따른 멀티미디어 데이터와 메타데이터를 동기화하는 과정을 나타낸 흐름도이다.6 is a flowchart illustrating a process of synchronizing multimedia data and metadata according to an embodiment of the present invention.

도 7은 본 발명의 실시예에 따른 위성 위치 확인 시스템의 시간 정보와 표현 시간 지정 정보를 포함하는 인덱스 테이블을 나타낸 도면이다.7 is a diagram illustrating an index table including time information and presentation time designation information of a satellite positioning system according to an embodiment of the present invention.

도 8은 본 발명의 다른 실시예에 따른 녹화 시점의 위성 위치 확인 시스템의 시간 정보만을 포함하는 인덱스 테이블을 나타낸 도면이다.8 is a diagram illustrating an index table including only time information of a satellite positioning system at the time of recording according to another embodiment of the present invention.

도 9는 본 발명의 다른 실시예에 따른 표현 시간 지정 정보가 0으로 리셋 되는 경우에 대한 테이블을 나타낸 도면이다.9 is a table illustrating a case in which the presentation time designation information is reset to 0 according to another embodiment of the present invention.

<도면의 주요 부분에 관한 부호의 설명><Explanation of symbols on main parts of the drawings>

510 : 메타데이터 핸들러 520 : 인덱스 매니저510 metadata handler 520 index manager

530 : 제어부 540 : 저장부530: control unit 540: storage unit

550 : 디스플레이부 560 : 세그먼트 브라우저550: display unit 560: segment browser

570 : 디코딩부570: decoding unit

본 발명은 멀티미디어 데이터와 메타데이터를 동기화하는 시스템 및 방법에 관한 것으로서, 더욱 상세하게는 위성 위치 확인 시스템의 시간 정보와 표현 시간 지정 정보를 멀티미디어 데이터 스트림에 삽입함으로써 오류 및 오차를 최소화한 멀티미디어 데이터와 메타데이터의 동기화를 구현하는 멀티미디어 데이터와 메타데이터를 동기화하는 시스템 및 방법에 관한 것이다.The present invention relates to a system and method for synchronizing multimedia data and metadata. More particularly, the present invention relates to multimedia data minimizing errors and errors by inserting time information and presentation time designation information of a satellite positioning system into a multimedia data stream. A system and method for synchronizing metadata with multimedia data that implements synchronization of metadata.

개인 영상 녹화기(Personal Video Recorder, 이하 PVR이라 한다)란, 하드 디스크 드라이브를 내장하여 TV 방송 컨텐츠를 디지털 방식으로 녹화하는 장치로서 기존 아날로그 테이프로 녹화하는 VCR에 비해 영상 및 음성의 손실 없이 보관 및 재생이 가능한 장치이다.A Personal Video Recorder (PVR) is a device that records TV broadcast content digitally with a built-in hard disk drive. It can be stored and played back without loss of video and audio, compared to VCRs that use analog tape. This is a possible device.

PVR은 단순히 TV 방송 컨텐츠를 녹화하고 재생하는 기능 뿐 아니라, 수신하 는 방송을 임시로 저장할 수도 있으므로, 생방송의 경우에도 일시 정지 후에 이어서 볼 수도 있다. 그리고, 재생, 일시 정지, 빨리 감기, 되감기, 느린 재생 등 기존 VCR에서 제공되었던 기능은 물론 다시 보기, 건너 뛰기, 북마크 등의 다양한 재생 및 탐색 기능을 제공한다.In addition to simply recording and playing back TV broadcast content, the PVR can also temporarily store incoming broadcasts. In addition to the functions provided in the existing VCR, such as play, pause, fast forward, rewind, and slow play, various playback and navigation functions such as replay, skip, and bookmark are provided.

한편, PVR은 TV 방송 컨텐츠에 대한 부가 정보(메타데이터)를 활용하면 더욱 다양하고 편리한 브라우징 기능을 사용자에게 제공할 수 있다. 특히, 세그먼트 메타데이터는 방송 컨텐츠에 대한 하이라이트(highlight), 방송 편성표 및 스트림의 시간 정보 등의 부가 정보를 제공함으로써, 전술한 다시 보기, 건너 뛰기 및 북마크 등의 기능을 수행할 수 있게 하며, 방송 편성표와 연계된 간편 예약, 시리즈 예약, 장르별 예약 등의 기능을 수행할 수도 있게 한다.On the other hand, the PVR may provide a user with more various and convenient browsing functions by utilizing additional information (metadata) about TV broadcast contents. In particular, the segment metadata may provide additional information such as highlights, broadcast schedules, and time information of streams of broadcast contents, thereby enabling the above-described replay, skip, and bookmark functions to be performed. You can also perform functions such as simple reservation, series reservation, and genre reservation associated with the schedule.

도 1은 종래의 메타데이터 제작자에 의한 세그먼트 메타데이터의 생성 및 전달 과정을 나타낸 블록도이다.1 is a block diagram illustrating a generation and delivery process of segment metadata by a conventional metadata producer.

프로그램 제작자(110)가 방송 컨텐츠를 제작하고, 이를 방송국(120)이 송신하면 메타데이터 제작자(130) 및 사용자(140)는 방송 컨텐츠를 수신한다. 이 때, 사용자(140)의 PVR은 수신한 방송 컨텐츠를 저장하고, 메타데이터 제작자(130)는 방송 편성표를 참조하여 수신한 방송 컨텐츠의 세그먼트 메타데이터를 생성한다. 세그먼트 메타데이터는 방송 컨텐츠의 시작 및 마지막에 대한 정의 뿐 아니라 중간의 주요 장면에 대한 정의도 되어 있는데, 사용자(140)는 메타데이터 제작자(130)가 생성한 세그먼트 메타데이터를 제공 받아 해당 방송 컨텐츠의 재생 관련 기능(재생, 빨기 감기, 되감기, 건너 뛰기 및 북마크 등, 이하 트릭 플레이라 한다)을 수행할 수 있다.When the program producer 110 produces broadcast content and the broadcast station 120 transmits it, the metadata producer 130 and the user 140 receive the broadcast content. At this time, the PVR of the user 140 stores the received broadcast content, and the metadata producer 130 generates segment metadata of the received broadcast content with reference to the broadcast schedule. Segment metadata is defined not only for the start and end of broadcast content but also for a main scene in the middle. The user 140 receives segment metadata generated by the metadata producer 130 to receive the corresponding broadcast content. Play related functions (play, fast forward, rewind, skip, and bookmarks) can be performed.

이 때, 메타데이터 제작자(130)가 생성한 세그먼트 메타데이터와 사용자(140)가 저장한 멀티미디어 데이터의 동기화가 문제가 된다. 메타데이터 제작자(130)가 세그먼트 메타데이터를 생성하는 시간과 사용자(140)가 멀티미디어 데이터를 저장하는 시간이 정확하게 일치하기를 기대하기는 어렵기 때문인데, 이 때문에 방송국은 멀티미디어 데이터에 시간 정보를 삽입하여 배포하고, 이를 이용하여 멀티미디어 데이터와 세그먼트 메타데이터를 동기화할 수 있다.At this time, the synchronization of the segment metadata generated by the metadata producer 130 and the multimedia data stored by the user 140 becomes a problem. This is because it is difficult to expect the metadata producer 130 to accurately generate the segment metadata and the time that the user 140 stores the multimedia data. Therefore, the broadcaster inserts time information into the multimedia data. And the multimedia data and the segment metadata can be synchronized using the same.

도 2는 종래의 세그먼트 메타데이터 처리 장치를 나타낸 블록도이다.2 is a block diagram showing a conventional segment metadata processing apparatus.

종래의 세그먼트 메타데이터 처리 장치는 메타데이터 핸들러(210), 인덱스 매니저(220), 레코딩부(230), 제어부(240), 저장부(250), 버퍼(260), 디스플레이부(270), 세그먼트 브라우저(280) 및 디코딩부(290)를 포함하여 구성된다.The conventional segment metadata processing apparatus includes a metadata handler 210, an index manager 220, a recording unit 230, a control unit 240, a storage unit 250, a buffer 260, a display unit 270, and a segment. It comprises a browser 280 and a decoding unit 290.

메타데이터 핸들러(210)는 메타데이터 제작자(130)로부터 세그먼트 메타데이터를 수신하여 저장부(250)에 저장하는 역할을 한다.The metadata handler 210 receives the segment metadata from the metadata producer 130 and stores the segment metadata in the storage 250.

레코딩부(230)는 방송국(120)으로부터 방송 컨텐츠를 수신하여 저장부(250)에 저장하는 역할을 한다.The recording unit 230 receives broadcasting content from the broadcasting station 120 and stores the broadcasting content in the storage 250.

인덱스 매니저(220)는 레코딩부(230)가 수신한 방송 컨텐츠를 분석하여 트릭 플레이에 사용할 정보를 저장하고 검색하는 기능을 한다.The index manager 220 analyzes the broadcast content received by the recording unit 230 and stores and retrieves information to be used for trick play.

저장부(250)는 레코딩부(230)로부터 전달 받은 방송 컨텐츠, 메타데이터 핸들러(210)로부터 전달 받은 세그먼트 메타데이터 및 인덱스 매니저(220)로부터 전달 받은 인덱스 테이블을 저장하는 역할을 한다. The storage unit 250 stores the broadcast content received from the recording unit 230, the segment metadata received from the metadata handler 210, and the index table received from the index manager 220.

버퍼(260)는 수신한 방송 컨텐츠를 임시적으로 저장하는 역할을 한다.The buffer 260 temporarily stores the received broadcast content.

디코딩부(290)는 압축된 멀티미디어 데이터를 수신하여 압축을 해제하는 역할을 한다. 여기서, 압축된 멀티미디어 데이터는 디지털 방송 사업자가 제공하는 컨텐츠로서, 일반 아날로그 방송 사업자가 제공하는 컨텐츠를 처리하고 저장하기 위해서는 아날로그 방송 컨텐츠를 디지털로 변환하고, 압축하는 전처리 과정이 필요하다.The decoding unit 290 receives and decompresses the compressed multimedia data. Here, the compressed multimedia data is content provided by a digital broadcasting company, and in order to process and store content provided by a general analog broadcasting company, a preprocessing process of converting and converting analog broadcasting content into digital is necessary.

세그먼트 브라우저(280)는 저장부(250)에 저장되어 있는 방송 컨텐츠를 세그먼트 메타데이터와 매칭하고, 사용자의 트릭 플레이 명령을 입력 받는 역할을 한다.The segment browser 280 matches the broadcast content stored in the storage unit 250 with segment metadata, and serves to receive a user's trick play command.

디스플레이부(270)는 세그먼트 브라우저(280)로부터 세그먼트 메타데이터와 매칭된 방송 컨텐츠를 전달 받고 화면 또는 스피커로 출력하는 역할을 한다.The display unit 270 receives broadcast content matched with segment metadata from the segment browser 280 and outputs the broadcast content to a screen or a speaker.

제어부(240)는 메타데이터 핸들러(210), 인덱스 매니저(220), 레코딩부(230), 저장부(250), 버퍼(260), 디스플레이부(270), 세그먼트 브라우저(280), 디코딩부(290) 및 시스템의 전반적인 제어를 수행한다.The controller 240 may include a metadata handler 210, an index manager 220, a recording unit 230, a storage unit 250, a buffer 260, a display unit 270, a segment browser 280, and a decoding unit ( 290) and overall control of the system.

저장부(250)에 저장한 방송 컨텐츠를 재생, 빨기 감기, 되감기, 건너 뛰기 및 북마크 등의 트릭 플레이 기능을 구현하기 위해 널리 사용되는 방법은 각 GOP(Group of Picture)마다 또는 프레임마다 인덱스를 첨부하는 것이다. 인덱스로는 표현 시간 지정 정보(Presentation Time Stamp)가 포함되는데, 표현 시간 지정 정보는 각 프레임에 첨부되어 프레임의 재생 순서를 결정하는 역할을 한다. 따라서, 멀티미디어 데이터와 메타데이터 간의 동기화를 위해 표현 시간 지정 정보를 사용할 경우 프레임 단위 또는 GOP 단위의 정확성을 제공한다. 그러나, 표현 시간 지정 정보는 90kHz의 속도로 33비트를 사용하여 표현되므로, 약 26시간까지만 사용할 수 있다. 다시 말해, 약 26시간이 지속되면 리셋되어 다시 0부터 시작한다. 또한, 오류에 의해 0으로 셋팅되는 경우도 있는데, 이로 인해, 차후에 사용자가 트릭 플레이를 하는 경우 동일한 인덱스를 가지고 있는 위치가 두 개 나타나므로 정확한 트릭 플레이를 수행할 수 없게 된다.A widely used method for implementing trick play functions such as playing, fast forwarding, rewinding, skipping, and bookmarking the broadcast content stored in the storage unit 250 includes an index for each group of pictures or frames. It is. The index includes presentation time stamp information. The presentation time stamp information is attached to each frame to determine a playback order of the frames. Therefore, when the presentation time designation information is used for synchronization between the multimedia data and the metadata, accuracy of a frame unit or a GOP unit is provided. However, since expression time designation information is represented using 33 bits at a rate of 90 kHz, it can be used for only about 26 hours. In other words, after about 26 hours, it is reset and starts again from zero. In addition, there is a case where it is set to 0 due to an error. Therefore, when a user plays a trick later, two positions having the same index appear, so that the correct trick play cannot be performed.

이외에도, 위성 위치 확인 시스템(Global Positioning System, 이하 GPS라 한다)의 시간 정보 또는 협정 세계시(Universal Time Coordinated)를 이용하는 방법도 있는데, 이들의 시간 오차는 1초 이상이므로, 멀티미디어 데이터 스트림과 메타데이터의 동기화에는 적합하지 않다.In addition, there is a method using the time information of the Global Positioning System (GPS) or Universal Time Coordinated. Since these time errors are 1 second or more, the multimedia data stream and metadata Not suitable for synchronization.

본 발명은 위성 위치 확인 시스템의 시간 정보와 표현 시간 지정 정보를 멀티미디어 데이터 스트림에 삽입함으로써 오류 및 오차를 최소화한 멀티미디어 데이터와 메타데이터의 동기화를 구현하는데 그 목적이 있다.An object of the present invention is to implement synchronization of multimedia data and metadata to minimize errors and errors by inserting time information and presentation time designation information of a satellite positioning system into a multimedia data stream.

본 발명의 목적은 이상에서 언급한 목적으로 제한되지 않으며, 언급되지 않은 또 다른 목적들은 아래의 기재로부터 당업자에게 명확하게 이해되어질 수 있을 것이다.The object of the present invention is not limited to the above-mentioned object, and other objects not mentioned will be clearly understood by those skilled in the art from the following description.

상기 목적을 달성하기 위하여, 본 발명의 실시예에 따른 멀티미디어 데이터와 메타데이터를 동기화하는 시스템은 방송국의 동기화 장치의 관점에서 디지털 멀 티미디어 데이터의 각 프레임에 대한 위성 위치 확인 시스템의 시간 정보를 삽입하는 정보 삽입부 및 상기 위성 위치 확인 시스템의 시간 정보가 삽입된 디지털 멀티미디어 데이터를 출력하는 출력부를 포함한다.In order to achieve the above object, a system for synchronizing multimedia data and metadata according to an embodiment of the present invention inserts time information of a satellite positioning system for each frame of digital multimedia data from the perspective of a broadcasting station synchronization device. And an output unit for outputting digital multimedia data into which time information of the satellite positioning system is inserted.

본 발명의 실시예에 따른 멀티미디어 데이터와 메타데이터를 동기화하는 시스템은 메타데이터 제작자의 동기화 장치의 관점에서 디지털 멀티미디어 데이터를 저장하는 저장부와, 상기 저장된 디지털 멀티미디어 데이터에서 각 프레임에 대한 위성 위치 확인 시스템의 시간 정보를 추출하는 정보 추출부 및 상기 추출된 시간 정보를 이용하여 세그먼트 메타데이터를 생성하는 메타데이터 생성부를 포함한다.A system for synchronizing multimedia data and metadata according to an embodiment of the present invention includes a storage unit for storing digital multimedia data from the perspective of a metadata producer's synchronization device, and a satellite positioning system for each frame in the stored digital multimedia data. And an information extracting unit for extracting time information of the data, and a metadata generating unit for generating segment metadata using the extracted time information.

본 발명의 실시예에 따른 멀티미디어 데이터와 메타데이터를 동기화하는 시스템은 PVR의 동기화 장치의 관점에서 디지털 멀티미디어 데이터, 상기 디지털 멀티미디어 데이터의 각 프레임에 부여된 위성 위치 확인 시스템의 시간 정보를 포함하는 인덱스 테이블 및 세그먼트 메타데이터를 저장하는 저장부와, 사용자의 트릭 플레이 명령을 수신하는 세그먼트 브라우저와, 상기 저장된 세그먼트 메타데이터를 참조하여 상기 트릭 플레이 명령에 따른 위성 위치 확인 시스템의 시간 정보를 추출하는 메타데이터 핸들러와, 상기 인덱스 테이블을 참조하여 상기 추출된 위성 위치 확인 시스템의 시간 정보에 해당하는 프레임을 추출하는 인덱스 매니저 및 상기 추출된 프레임을 화면에 출력하는 디스플레이부를 포함한다.A system for synchronizing multimedia data and metadata according to an embodiment of the present invention includes an index table including time information of digital multimedia data and a satellite positioning system assigned to each frame of the digital multimedia data from the perspective of a PVR synchronization device. And a storage unit for storing segment metadata, a segment browser for receiving a user's trick play command, and a metadata handler for extracting time information of a satellite positioning system according to the trick play command with reference to the stored segment metadata. And an index manager for extracting a frame corresponding to time information of the extracted satellite positioning system with reference to the index table, and a display unit for outputting the extracted frame on a screen.

본 발명의 실시예에 따른 멀티미디어 데이터와 메타데이터를 동기화하는 방법은 디지털 멀티미디어 데이터, 상기 디지털 멀티미디어 데이터의 각 프레임에 부여된 위성 위치 확인 시스템의 시간 정보를 저장하는 단계와, 사용자의 트릭 플레 이 명령을 수신하는 단계와, 상기 저장된 세그먼트 메타데이터를 참조하여 상기 트릭 플레이 명령에 따른 위성 위치 확인 시스템의 시간 정보를 추출하는 단계와, 상기 인덱스 테이블을 참조하여 상기 추출된 위성 위치 확인 시스템의 시간 정보에 해당하는 프레임을 추출하는 단계 및 상기 추출된 프레임을 화면에 출력하는 단계를 포함한다.According to an aspect of the present invention, there is provided a method for synchronizing multimedia data with metadata, including storing digital multimedia data, time information of a satellite positioning system assigned to each frame of the digital multimedia data, and trick trick command of a user. Receiving time information; extracting time information of the satellite positioning system according to the trick play command with reference to the stored segment metadata; and referring to the index table to time information of the extracted satellite positioning system. Extracting a corresponding frame and outputting the extracted frame to a screen.

기타 실시예들의 구체적인 사항들은 상세한 설명 및 도면들에 포함되어 있다.Specific details of other embodiments are included in the detailed description and the drawings.

본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하고, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다. 명세서 전체에 걸쳐 동일 참조 부호는 동일 구성 요소를 지칭한다.Advantages and features of the present invention and methods for achieving them will be apparent with reference to the embodiments described below in detail with the accompanying drawings. However, the present invention is not limited to the embodiments disclosed below, but can be implemented in various different forms, and only the embodiments make the disclosure of the present invention complete, and the general knowledge in the art to which the present invention belongs. It is provided to fully inform the person having the scope of the invention, which is defined only by the scope of the claims. Like reference numerals refer to like elements throughout.

이하, 첨부된 도면을 참조하여 본 발명의 바람직한 실시예를 상세히 설명하기로 한다.Hereinafter, exemplary embodiments of the present invention will be described in detail with reference to the accompanying drawings.

도 3은 본 발명의 실시예에 따른 메타데이터와의 동기화를 위한 멀티미디어 데이터를 출력하는 시스템을 나타낸 블록도이다.3 is a block diagram illustrating a system for outputting multimedia data for synchronization with metadata according to an embodiment of the present invention.

프로그램 제작자로부터 방송 컨텐츠를 수신한 방송국은 메타데이터와의 동기화를 위한 멀티미디어 데이터를 생성하고 출력하는데, 출력된 멀티미디어 데이터는 메타데이터 제작자 및 사용자에게 전달된다.The broadcasting station receiving the broadcast content from the program producer generates and outputs multimedia data for synchronization with the metadata, and the output multimedia data is transmitted to the metadata producer and the user.

메타데이터와의 동기화를 위한 멀티미디어 데이터를 출력하는 시스템은 입력부(310), 컨버터부(320), 인코딩부(330), 정보 삽입부(340) 및 출력부(350)를 포함하여 구성된다.The system for outputting multimedia data for synchronization with the metadata includes an input unit 310, a converter unit 320, an encoding unit 330, an information insertion unit 340, and an output unit 350.

입력부(310)는 아날로그 멀티미디어 데이터를 수신하는 역할을 한다. 입력부(310)가 수신한 아날로그 멀티미디어 데이터는 컨버터부(320)에 의하여 디지털화되고, 인코딩부(330)를 통하여 디지털 압축 된다. 압축 알고리즘으로는 MPEG-2가 바람직하나, 본 발명은 이에 국한되지 않고 MPEG-1, MPEG-4 및 H.263 등의 동영상 압축 알고리즘이 사용될 수도 있다.The input unit 310 serves to receive analog multimedia data. The analog multimedia data received by the input unit 310 is digitized by the converter 320 and digitally compressed by the encoder 330. MPEG-2 is preferable as the compression algorithm, but the present invention is not limited thereto, and a video compression algorithm such as MPEG-1, MPEG-4, and H.263 may be used.

정보 삽입부(340)는 압축된 디지털 멀티미디어 데이터의 각 프레임에 시간 정보를 삽입하는 역할을 하는데, 시간 정보에는 위성 위치 확인 시스템의 시간 정보 및 표현 시간 지정 정보가 포함된다.The information inserting unit 340 inserts time information into each frame of the compressed digital multimedia data. The time information includes time information and presentation time designation information of the satellite positioning system.

ATSC(Advanced Television Systems Committee)와 DVB(Digital Video Broadcasting)에서는 MPEG-2를 확장하여 부가 정보를 삽입한 멀티미디어 데이터를 전송하는 표준을 내놓았는데, ATSC는 멀티미디어 데이터에 위성 위치 확인 시스템의 시간 정보를 삽입하고, DVB는 멀티미디어 데이터에 협정 세계시(Universal Time Coordinated)를 삽입하였다. 정보 삽입부(340)는 ATSC의 표준인 멀티미디어 데이터에 위성 위치 확인 시스템의 시간 정보 및 각 프레임에 부여되는 표현 시간 지정 정보를 삽입한다.ATSC (Advanced Television Systems Committee) and DVB (Digital Video Broadcasting) have introduced a standard to extend MPEG-2 to transmit multimedia data with embedded additional information. ATSC inserts the time information of satellite positioning systems into multimedia data. DVB then inserted Universal Time Coordinated into the multimedia data. The information insertion unit 340 inserts time information of the satellite positioning system and presentation time designation information provided to each frame into multimedia data, which is a standard of ATSC.

출력부(350)는 위치 확인 시스템의 시간 정보 및 표현 시간 지정 정보가 포 함된 멀티미디어 데이터를 출력하여 메타데이터 제작자 및 사용자에게 전달하는 역할을 한다.The output unit 350 outputs multimedia data including time information and presentation time designation information of the positioning system and transmits the multimedia data to the metadata producer and the user.

참고로, 본 발명에서는 ATSC의 표준을 사용하여 설명하고 있으나, DVB의 표준을 적용하여 본 발명을 실시할 수 있으며, 멀티미디어 데이터의 복수의 위치에 위성 위치 확인 시스템의 시간 정보 또는 협정 세계시 등 공인된 시간을 삽입하는 다양한 방법이 사용될 수도 있다.For reference, although the present invention has been described using the standard of the ATSC, the present invention can be implemented by applying the standard of the DVB, and is authorized such as time information or coordinated universal time of the satellite positioning system at a plurality of locations of the multimedia data. Various methods of inserting time may be used.

도 4는 본 발명의 실시예에 따른 세그먼트 메타데이터 제작 시스템을 나타낸 블록도이다.4 is a block diagram illustrating a segment metadata production system according to an embodiment of the present invention.

메타데이터 제작자는 방송국으로부터 위성 위치 확인 시스템의 시간 정보 및 표현 시간 지정 정보가 포함된 멀티미디어 데이터를 수신하고, 이에 대한 세그먼트 메타데이터를 제작하고 사용자에게 전송한다. 세그먼트 메타데이터는 사람에 의한 수동 생성 방법 또는 소정의 장치에 의한 자동 생성 방법이 사용되어 생성될 수 있다.The metadata producer receives multimedia data including time information and presentation time designation information of the satellite positioning system from the broadcasting station, prepares segment metadata for the metadata, and transmits the segment metadata to the user. Segment metadata may be generated using a manual generation method by a person or an automatic generation method by a predetermined device.

세그먼트 메타데이터 제작 시스템은 저장부(410), 디코딩부(420), 디스플레이부(430), 정보 추출부(440), 메타데이터 생성부(450) 및 명령 수신부(460)를 포함하여 구성된다.The segment metadata production system includes a storage unit 410, a decoding unit 420, a display unit 430, an information extracting unit 440, a metadata generating unit 450, and a command receiving unit 460.

저장부(410)는 방송국으로부터 수신한 멀티미디어 데이터를 저장하는 역할을 한다.The storage unit 410 stores the multimedia data received from the broadcasting station.

저장된 멀티미디어 데이터는 디코딩부(420)에 의하여 압축이 해제되고, 디스플레이부(430)를 통하여 출력된다.The stored multimedia data is decompressed by the decoding unit 420 and output through the display unit 430.

명령 수신부(460)는 수동 생성 방법 또는 자동 입력 방법에 의해 입력된 멀티미디어 데이터의 특정 위치에 대한 세그먼트 구성 명령을 수신하는 역할을 하는데, 수동 생성 방법의 경우에 사용자는 디스플레이부(430)를 통하여 출력되는 화면을 통하여 명령을 입력하고, 자동 생성 방법의 경우에는 소정의 알고리즘을 가진 장치가 디코딩부(420)에서 압축이 해제된 멀티미디어 데이터를 분석하고 명령을 입력한다.The command receiving unit 460 serves to receive a segment configuration command for a specific position of the multimedia data input by the manual generation method or the automatic input method. In the case of the manual generation method, the user outputs the display through the display unit 430. In the case of the automatic generation method, a device having a predetermined algorithm analyzes the decompressed multimedia data in the decoding unit 420 and inputs a command.

정보 추출부(440)는 명령 수신부(460)로부터 전달 받은 세그먼트 구성 명령에 따라 디코딩부(420)에서 현재 압축 해제되는 프레임의 시간 정보를 추출하는 역할을 한다. 여기서, 시간 정보에는 방송국에서 멀티미디어 데이터에 삽입한 위성 위치 확인 시스템의 시간 정보 및 표현 시간 지정 정보가 포함된다.The information extracting unit 440 extracts time information of a frame currently decompressed by the decoding unit 420 according to the segment configuration command received from the command receiving unit 460. Here, the time information includes time information and presentation time designation information of the satellite positioning system inserted into the multimedia data by the broadcasting station.

메타데이터 생성부(450)는 정보 추출부(440)에서 추출한 시간 정보와 해당 프레임 등을 이용하여 세그먼트 메타데이터를 생성하는 역할을 한다.The metadata generator 450 generates segment metadata by using the time information extracted by the information extractor 440 and the corresponding frame.

도 5는 본 발명의 실시예에 따른 멀티미디어 데이터와 메타데이터를 동기화하는 시스템을 나타낸 블록도이다.5 is a block diagram illustrating a system for synchronizing multimedia data and metadata according to an embodiment of the present invention.

사용자의 PVR은 방송국으로부터 시간 정보가 포함된 멀티미디어 데이터를 수신하고, 메타데이터 제작자로부터 세그먼트 메타데이터를 수신함으로써 수신한 멀티미디어 데이터와 세그먼트 메타데이터를 동기화하여 해당 프레임을 화면에 출력한다.The user's PVR receives multimedia data including time information from a broadcasting station and synchronizes the received multimedia data with the segment metadata by outputting the corresponding frame on the screen by receiving the segment metadata from the metadata producer.

본 발명의 실시예에 따른 멀티미디어 데이터와 메타데이터를 동기화하는 시스템은 메타데이터 핸들러(510), 인덱스 매니저(520), 제어부(530), 저장부(540), 디스플레이부(550), 세그먼트 브라우저(560) 및 디코딩부(570)를 포함하여 구성된다.The system for synchronizing multimedia data with metadata according to an embodiment of the present invention includes a metadata handler 510, an index manager 520, a controller 530, a storage unit 540, a display unit 550, and a segment browser ( 560 and the decoding unit 570 is configured.

저장부(540)는 방송국으로부터 수신한 디지털 멀티미디어 데이터, 인덱스 매니저(520)로부터 전달 받은 시간 정보 그리고, 메타데이터를 저장하는 역할을 한다.The storage unit 540 stores digital multimedia data received from a broadcasting station, time information received from the index manager 520, and metadata.

세그먼트 브라우저(560)는 사용자의 트릭 플레이 명령을 수신하는 역할을 한다. 수신한 명령은 메타데이터 핸들러(510) 및 인덱스 매니저(520)에게 전달된다.Segment browser 560 is responsible for receiving a user's trick play command. The received command is transmitted to the metadata handler 510 and the index manager 520.

메타데이터 핸들러(510)는 세그먼트 브라우저(560)로부터 전달 받은 트릭 플레이 명령에 따라 저장된 세그먼트 메타데이터를 참조하여 트릭 플레이 명령의 해당 프레임에 대한 위성 위치 확인 시스템의 시간 정보와 표현 시간 지정 정보를 추출하는 역할을 한다.The metadata handler 510 extracts time information and presentation time designation information of the satellite positioning system for the corresponding frame of the trick play command by referring to the stored segment metadata according to the trick play command received from the segment browser 560. Play a role.

인덱스 매니저(520)는 방송국으로부터 수신한 디지털 멀티미디어 데이터에 포함된 시간 정보를 추출하고, 사용자의 명령에 따른 멀티미디어 데이터의 프레임을 추출하는 역할을 한다. 추출된 시간 정보에는 멀티미디어 데이터의 각 프레임에 부여된 위성 위치 확인 시스템의 시간 정보 및 표현 시간 지정 정보가 포함되어 구성되며 이는 테이블의 형태로 저장되는데, 이하 인덱스 테이블이라 한다. 그리고, 인덱스 매니저(520)는 세그먼트 브라우저(560)로부터 전달 받은 트릭 플레이 명령에 따라 메타데이터 핸들러(510)로부터 트릭 플레이 명령의 해당 프레임에 대한 위성 위치 확인 시스템의 시간 정보와 표현 시간 지정 정보를 전달 받고 저장부(540)에 저장되어 있는 인덱스 테이블을 참조하여 멀티미디어 데이터의 해당 프레임을 추출하는 역할을 한다.The index manager 520 extracts time information included in digital multimedia data received from a broadcasting station, and extracts a frame of multimedia data according to a user's command. The extracted time information includes time information and presentation time designation information of the satellite positioning system assigned to each frame of the multimedia data, which are stored in the form of a table, hereinafter referred to as an index table. The index manager 520 transmits time information and presentation time designation information of the satellite positioning system for the corresponding frame of the trick play command from the metadata handler 510 according to the trick play command received from the segment browser 560. And extracts the corresponding frame of the multimedia data by referring to the index table stored in the storage unit 540.

제어부(530)는 메타데이터 핸들러(510), 인덱스 매니저(520), 저장부(540), 디스플레이부(550), 세그먼트 브라우저(560), 디코딩부(570) 및 시스템의 전반적인 제어를 수행한다.The controller 530 performs overall control of the metadata handler 510, the index manager 520, the storage 540, the display 550, the segment browser 560, the decoder 570, and the system.

인덱스 매니저(520)에 의한 해당 프레임 추출 방법은 도 7내지 도 9를 참조하여 설명하기로 한다.A corresponding frame extraction method by the index manager 520 will be described with reference to FIGS. 7 to 9.

디스플레이부(550)는 인덱스 매니저(520)에 의해 추출된 프레임을 출력하는 역할을 한다.The display unit 550 outputs a frame extracted by the index manager 520.

도 6은 본 발명의 실시예에 따른 멀티미디어 데이터와 메타데이터를 동기화하는 과정을 나타낸 흐름도이다.6 is a flowchart illustrating a process of synchronizing multimedia data and metadata according to an embodiment of the present invention.

사용자의 PVR은 방송국으로부터 시간 정보가 포함된 멀티미디어 데이터를 수신하고 이를 저장한다(S610).The user's PVR receives and stores multimedia data including time information from a broadcasting station (S610).

수신한 멀티미디어 데이터의 각 프레임에는 위성 위치 확인 시스템의 시간 정보와 표현 시간 지정 정보가 부여되어 멀티미디어 데이터에 삽입되어 있는데, 인덱스 매니저(520)가 그 시간 정보를 추출하여 인덱스 테이블을 구성하고 저장부에 저장한다(S620). 이 때, 위성 위치 확인 시스템의 시간 정보는 멀티미디어 데이터를 수신한 때의 시간으로 구성되는 것이 바람직하다.Each frame of the received multimedia data is provided with time information and presentation time designation information of the satellite positioning system and inserted into the multimedia data. The index manager 520 extracts the time information to form an index table and Save (S620). At this time, the time information of the satellite positioning system is preferably composed of the time when the multimedia data is received.

그리고, 사용자는 PVR의 트릭 플레이 기능을 수행하기 위하여 메타데이터 제작자로부터 세그먼트 메타데이터를 수신하고 저장한다(S630). 수신한 세그먼트 메타데이터에는 세그먼트 메타데이터를 수신한 때의 위성 위치 확인 시스템의 시간 정보와 표현 시간 지정 정보가 포함되어 있다.In addition, the user receives and stores segment metadata from the metadata producer in order to perform the trick play function of the PVR (S630). The received segment metadata includes time information and presentation time designation information of the satellite positioning system at the time of receiving the segment metadata.

세그먼트 브라우저(560)가 사용자로부터 트릭 플레이 명령을 수신하면(S640), 메타데이터 핸들러(510)가 저장된 세그먼트 메타데이터를 참조하여 트릭 플레이 명령에 해당하는 프레임에 대한 위성 위치 확인 시스템의 시간 정보와 표현 시간 지정 정보를 추출한다(S650).When the segment browser 560 receives a trick play command from the user (S640), the metadata handler 510 refers to the stored segment metadata to time information and expression of the satellite positioning system for the frame corresponding to the trick play command. Time specification information is extracted (S650).

그리고, 인덱스 매니저(520)가 저장된 인덱스 테이블과 메타데이터 핸들러(510)가 추출한 위성 위치 확인 시스템의 시간 정보와 표현 시간 지정 정보를 참조하여 해당 프레임을 추출한다(S660). 해당 프레임 추출에 대한 자세한 설명은 도 7내지 도 9에서 자세히 설명하기로 한다.The index manager 520 extracts the corresponding frame by referring to the stored index table and the time information and the expression time designation information of the satellite positioning system extracted by the metadata handler 510 (S660). A detailed description of the frame extraction will be described in detail with reference to FIGS. 7 to 9.

추출된 해당 프레임은 디스플레이부(550)를 통하여 출력된다(S670).The extracted corresponding frame is output through the display unit 550 (S670).

도 7은 본 발명의 실시예에 따른 위성 위치 확인 시스템의 시간 정보와 표현 시간 지정 정보를 포함하는 인덱스 테이블을 나타낸 도면이다.7 is a diagram illustrating an index table including time information and presentation time designation information of a satellite positioning system according to an embodiment of the present invention.

인덱스 테이블은 위성 위치 확인 시스템의 시간 정보, 표현 시간 지정 정보 및 프레임의 주소를 포함하여 구성된다.The index table includes time information of the satellite positioning system, presentation time designation information, and address of a frame.

전술한 바와 같이 표현 시간 지정 정보는 각 프레임에 부여되어 프레임의 재생 순서를 결정하는 역할을 하고, 위성 위치 확인 시스템은 세계적으로 공인된 시간을 각 프레임에 부여함으로써 멀티미디어 데이터와 메타데이터를 동기화하는 역할을 한다.As described above, the presentation time designation information is assigned to each frame to determine the playback order of the frames, and the satellite positioning system synchronizes multimedia data and metadata by giving globally recognized time to each frame. Do it.

각 프레임은 고유한 표현 시간 지정 정보를 가지고 있어야 한다. 그러나 전술한 바와 같이 표현 시간 지정 정보는 90kHz의 속도로 33비트를 사용하여 표현되 므로 약 26시간 정도만 사용 가능하며, 멀티미디어 데이터 생성 시의 오류로 인하여 0으로 리셋 되는 경우도 발생할 수 있다. 이런 경우에는 서로 다른 프레임에 동일한 표현 시간 지정 정보가 부여될 수 있는데, 도 7은 A 구간과 B 구간에서 동일한 표현 시간 지정 정보가 있는 것을 보여준다.Each frame must have unique presentation time designation information. However, as described above, since expression time designation information is expressed using 33 bits at a speed of 90 kHz, only about 26 hours is available, and may be reset to 0 due to an error in generating multimedia data. In this case, the same presentation time designation information may be provided to different frames. FIG. 7 shows that the same presentation time designation information is present in section A and section B. FIG.

인덱스 매니저가 메타데이터 핸들러로부터 위성 위치 확인 시스템의 시간 정보와 표현 시간 지정 정보를 전달 받으면, 우선 전달 받은 위성 위치 확인 시스템의 시간 정보와 일치하는 표현 시간 지정 정보를 인덱스 테이블에서 확인한다. 이 때, 메타데이터 제작자와 사용자가 멀티미디어 데이터를 수신하여 녹화하는 시간차가 있을 수 있으므로, 위성 위치 확인 시스템의 시간 정보는 약간의 범위를 설정하는 것이 바람직하다. 여기서, 범위는 위성 위치 확인 시스템의 정확도인 1초 이상부터 표현 시간 지정 정보의 표현 가능 시간인 26시간 이내가 바람직하다. 도 7에서 메타데이터 핸들러로부터 전달 받은 위성 위치 확인 시스템의 시간 정보가 GPS_query이고, 표현 시간 지정 정보가 PTS_query인데, PTS_query는 A 구간과 B 구간 두 개가 존재한다. 그러나 GPS_query에 의해 설정된 범위 내에 존재하는 PTS_query는 A 구간에 있으므로, A 구간의 PTS_query에 해당하는 프레임의 주소를 알 수 있고, 이를 이용하여 저장부에 저장되어 있는 멀티미디어 데이터의 해당 프레임을 추출할 수 있다.When the index manager receives the time information and the presentation time designation information of the satellite positioning system from the metadata handler, the index manager first checks the representation time designation information corresponding to the time information of the received satellite positioning system in the index table. At this time, since there may be a time difference between the metadata producer and the user receiving and recording the multimedia data, it is preferable to set a slight range of time information of the satellite positioning system. Here, the range is preferably within 1 second or more, which is the accuracy of the satellite positioning system, and within 26 hours, which is a representationable time of the presentation time designation information. In FIG. 7, the time information of the satellite positioning system received from the metadata handler is GPS_query and the presentation time designation information is PTS_query. In PTS_query, two sections A and B exist. However, since PTS_query existing within the range set by GPS_query is in section A, the address of the frame corresponding to PTS_query in section A can be known, and the corresponding frame of the multimedia data stored in the storage can be extracted using this. .

도 8은 본 발명의 다른 실시예에 따른 녹화 시점의 위성 위치 확인 시스템의 시간 정보만을 포함하는 인덱스 테이블을 나타낸 도면이다.8 is a diagram illustrating an index table including only time information of a satellite positioning system at the time of recording according to another embodiment of the present invention.

도 8은 인덱스 테이블과 같이 사용자의 PVR은 녹화 시점에만 위성 위치 확인 시스템의 시간 정보를 저장하는 것으로 트릭 플레이를 수행할 수 있다.8, like the index table, the user's PVR stores the time information of the satellite positioning system only at the time of recording, and may perform trick play.

인덱스 테이블의 각 행이 하나의 프레임이 해당하는 시간 정보이므로, 프레임 전송률을 알고 있으면 녹화 시점에 저장된 위성 위치 확인 시스템의 시간 정보를 이용하여 특정 프레임의 위성 위치 확인 시스템의 시간 정보도 알 수 있다. 따라서 본 실시예도 전술한 도 7의 실시예와 같이 메타데이터 핸들러로부터 전달 받은 위성 위치 확인 시스템의 시간 정보인 GPS_query에 의해 설정된 범위를 녹화 시점에 저장된 위성 위치 확인 시스템의 시간 정보와 프레임 전송률로 구하고, 그 범위 내에 있는 PTS_query에 해당하는 프레임 주소를 이용하여 해당 프레임을 추출할 수 있다.Since each row of the index table is time information corresponding to one frame, if the frame rate is known, time information of the satellite positioning system of a specific frame may also be known using time information of the satellite positioning system stored at the time of recording. Accordingly, the present embodiment also obtains the range set by GPS_query, which is the time information of the satellite positioning system received from the metadata handler, as the time information and the frame rate of the satellite positioning system stored at the time of recording. The frame can be extracted using the frame address corresponding to the PTS_query within the range.

도 9는 본 발명의 다른 실시예에 따른 표현 시간 지정 정보가 0으로 리셋 되는 경우에 대한 테이블을 나타낸 도면이다.9 is a table illustrating a case in which the presentation time designation information is reset to 0 according to another embodiment of the present invention.

도 9는 표현 시간 지정 정보만 저장되어 있는 인덱스 테이블과 표현 시간 지정 정보가 0부터 계속 증가하는 구역에 대한 범위를 정의한 테이블(이하 마커 테이블이라 한다)을 나타낸다.FIG. 9 illustrates an index table in which only presentation time designation information is stored, and a table (hereinafter referred to as a marker table) defining a range for an area where the presentation time designation information continues to increase from zero.

메타데이터 핸들러로부터 전달 받은 위성 위치 확인 시스템의 시간 정보가 GPS_query이고, 표현 시간 지정 정보가 PTS_query라고 하면, 우선 GPS_query를 포함하는 GPS 범위를 찾고, 그 범위 내에 존재하는 PTS_query를 확인하여, 이 PTS_query에 해당하는 프레임의 주소를 이용하여 해당 프레임을 추출할 수 있다.If the time information of the satellite positioning system received from the metadata handler is GPS_query and the representation time designation information is PTS_query, first find a GPS range including GPS_query, check the PTS_query existing within the range, and then correspond to this PTS_query. The frame can be extracted using the address of the frame.

이상 첨부된 도면을 참조하여 본 발명의 실시예를 설명하였지만, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자는 본 발명이 그 기술적 사상이나 필수 적인 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다.Although embodiments of the present invention have been described above with reference to the accompanying drawings, those skilled in the art to which the present invention pertains may implement the present invention in other specific forms without changing the technical spirit or essential features thereof. You will understand that. Therefore, it should be understood that the embodiments described above are exemplary in all respects and not restrictive.

상기한 바와 같은 본 발명의 멀티미디어 데이터와 메타데이터를 동기화하는 시스템 및 방법에 따르면 다음과 같은 효과가 하나 혹은 그 이상 있다. According to the system and method for synchronizing multimedia data and metadata of the present invention as described above, there are one or more effects as follows.

첫째, 위성 위치 확인 시스템의 시간 정보를 멀티미디어 데이터에 삽입함으로써 표현 시간 지정 정보의 사용 제한 및 오류에 의한 리셋 등으로 인해 발생하는 트릭 플레이의 오동작을 방지할 수 있는 장점이 있다.First, by inserting time information of the satellite positioning system into the multimedia data, there is an advantage of preventing the malfunction of the trick play caused by the restriction of the use of the expression time designation information and the reset by an error.

둘째, 사용자의 멀티미디어 데이터 녹화 시간과 메타데이터 제작자의 세그먼트 메타데이터 제작 시간이 다른 경우 및 하나의 세그먼트 메타데이터에 대해 복수 개로 분할된 멀티미디어 데이터를 동기화 할 수 있는 장점도 있다. Second, there is an advantage in that the multimedia data recording time of the user and the metadata production time of the metadata producer are different, and the multimedia data divided into a plurality of segments for one segment metadata can be synchronized.

Claims (5)

디지털 멀티미디어 데이터의 각 프레임에 대한 위성 위치 확인 시스템의 시간 정보를 삽입하는 정보 삽입부; 및An information insertion unit for inserting time information of a satellite positioning system for each frame of digital multimedia data; And 상기 위성 위치 확인 시스템의 시간 정보가 삽입된 디지털 멀티미디어 데이터를 출력하는 출력부를 포함하는 멀티미디어 데이터와 메타데이터를 동기화하는 시스템.And a data output unit for outputting digital multimedia data inserted with time information of the satellite positioning system. 디지털 멀티미디어 데이터를 저장하는 저장부;A storage unit for storing digital multimedia data; 상기 저장된 디지털 멀티미디어 데이터에서 각 프레임에 대한 위성 위치 확인 시스템의 시간 정보를 추출하는 정보 추출부; 및An information extraction unit for extracting time information of the satellite positioning system for each frame from the stored digital multimedia data; And 상기 추출된 시간 정보를 이용하여 세그먼트 메타데이터를 생성하는 메타데이터 생성부를 포함하는 멀티미디어 데이터와 메타데이터를 동기화하는 시스템.And a metadata generator configured to generate segment metadata by using the extracted time information. 디지털 멀티미디어 데이터, 상기 디지털 멀티미디어 데이터의 각 프레임에 부여된 위성 위치 확인 시스템의 시간 정보를 포함하는 인덱스 테이블 및 세그먼트 메타데이터를 저장하는 저장부;A storage unit for storing digital multimedia data, an index table including time information of a satellite positioning system assigned to each frame of the digital multimedia data, and segment metadata; 사용자의 트릭 플레이 명령을 수신하는 세그먼트 브라우저;A segment browser that receives a user's trick play command; 상기 저장된 세그먼트 메타데이터를 참조하여 상기 트릭 플레이 명령에 따른 위성 위치 확인 시스템의 시간 정보를 추출하는 메타데이터 핸들러;A metadata handler for extracting time information of a satellite positioning system according to the trick play command by referring to the stored segment metadata; 상기 인덱스 테이블을 참조하여 상기 추출된 위성 위치 확인 시스템의 시간 정보에 해당하는 프레임을 추출하는 인덱스 매니저; 및An index manager for extracting a frame corresponding to time information of the extracted satellite positioning system by referring to the index table; And 상기 추출된 프레임을 화면에 출력하는 디스플레이부를 포함하는 멀티미디어 데이터와 메타데이터를 동기화하는 시스템.And a display unit for outputting the extracted frame to a screen. 디지털 멀티미디어 데이터, 상기 디지털 멀티미디어 데이터의 각 프레임에 부여된 위성 위치 확인 시스템의 시간 정보를 저장하는 단계;Storing time information of the digital multimedia data and the satellite positioning system assigned to each frame of the digital multimedia data; 사용자의 트릭 플레이 명령을 수신하는 단계;Receiving a trick play command of a user; 상기 저장된 세그먼트 메타데이터를 참조하여 상기 트릭 플레이 명령에 따른 위성 위치 확인 시스템의 시간 정보를 추출하는 단계;Extracting time information of the satellite positioning system according to the trick play command by referring to the stored segment metadata; 상기 인덱스 테이블을 참조하여 상기 추출된 위성 위치 확인 시스템의 시간 정보에 해당하는 프레임을 추출하는 단계; 및Extracting a frame corresponding to time information of the extracted satellite positioning system with reference to the index table; And 상기 추출된 프레임을 화면에 출력하는 단계를 포함하는 멀티미디어 데이터와 메타데이터를 동기화하는 방법.And outputting the extracted frames to a screen. 제 4항에 있어서,The method of claim 4, wherein 상기 추출된 위성 위치 확인 시스템의 시간 정보에 해당하는 프레임을 추출하는 단계는Extracting a frame corresponding to time information of the extracted satellite positioning system 상기 인덱스 테이블의 위성 위치 확인 시스템의 시간 정보에 소정의 범위를 설정하고, 상기 범위에 포함되는 상기 추출된 위성 위치 확인 시스템의 시간 정보 와 표현 시간 지정 정보에 해당하는 프레임을 추출하는 방식,A method of setting a predetermined range in time information of the satellite positioning system of the index table and extracting a frame corresponding to time information and presentation time specification information of the extracted satellite positioning system included in the range; 상기 인덱스 테이블이 포함하는 상기 디지털 멀티미디어 데이터의 최초 프레임에 부여된 위성 위치 확인 시스템의 시간 정보와 상기 추출된 위성 위치 확인 시스템의 시간 정보의 차이를 계산하고, 상기 차이만큼 지연된 시간에 소정의 범위를 설정하여 상기 범위에 포함되는 표현 시간 지정 정보에 해당하는 프레임을 추출하는 방식,Compute the difference between the time information of the satellite positioning system and the time information of the extracted satellite positioning system, which is applied to the first frame of the digital multimedia data included in the index table, and calculate a predetermined range at a time delayed by the difference. Setting and extracting a frame corresponding to the presentation time designation information included in the range; 표현 시간 지정 정보가 0으로 재설정되는 프레임의 위치를 기준으로 인덱스 테이블을 복수 개의 구역으로 분할하고, 상기 분할된 구역 중 상기 추출된 위성 위치 확인 시스템의 시간 정보를 포함하는 구역에서 상기 추출된 표현 시간 지정 정보에 해당하는 프레임을 추출하는 방식 중 어느 하나의 방식을 사용하는 멀티미디어 데이터와 메타데이터를 동기화하는 방법.The extracted expression time is divided into a plurality of zones based on the position of the frame in which the representation time designation information is reset to 0, and the extracted representation time is included in the zone including time information of the extracted satellite positioning system among the divided zones. A method of synchronizing metadata and multimedia data using any one of a method of extracting a frame corresponding to specified information.
KR1020040079575A 2004-10-06 2004-10-06 System and method for synchronizing multimedia data with metadata KR100631783B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020040079575A KR100631783B1 (en) 2004-10-06 2004-10-06 System and method for synchronizing multimedia data with metadata

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020040079575A KR100631783B1 (en) 2004-10-06 2004-10-06 System and method for synchronizing multimedia data with metadata

Publications (2)

Publication Number Publication Date
KR20060030715A KR20060030715A (en) 2006-04-11
KR100631783B1 true KR100631783B1 (en) 2006-10-11

Family

ID=37140661

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020040079575A KR100631783B1 (en) 2004-10-06 2004-10-06 System and method for synchronizing multimedia data with metadata

Country Status (1)

Country Link
KR (1) KR100631783B1 (en)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102344599B1 (en) 2016-05-30 2021-12-30 삼성전자주식회사 Apparatus and method for transmitting/receiving information related to media content in a multimedia system
US10349097B2 (en) * 2017-10-27 2019-07-09 Mti Film, Llc Metadata editor for multimedia delivery

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100472254B1 (en) 1999-07-14 2005-03-14 마츠시타 덴끼 산교 가부시키가이샤 Apparatus for providing information, information receiver and storage medium
KR100482287B1 (en) 2002-10-26 2005-04-14 한국전자통신연구원 Apparatus and method for injection of synchronized stream data in digital broadcasting environment
KR100513290B1 (en) 2003-06-30 2005-09-09 삼성전자주식회사 System and Method for synchronizing between multimedia contents and segment metadata

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100472254B1 (en) 1999-07-14 2005-03-14 마츠시타 덴끼 산교 가부시키가이샤 Apparatus for providing information, information receiver and storage medium
KR100482287B1 (en) 2002-10-26 2005-04-14 한국전자통신연구원 Apparatus and method for injection of synchronized stream data in digital broadcasting environment
KR100513290B1 (en) 2003-06-30 2005-09-09 삼성전자주식회사 System and Method for synchronizing between multimedia contents and segment metadata

Also Published As

Publication number Publication date
KR20060030715A (en) 2006-04-11

Similar Documents

Publication Publication Date Title
US7200321B2 (en) Method and apparatus for creating an expanded functionality digital video disc
JP4369271B2 (en) System and method for time synchronization between multimedia content and segment metadata
US7738767B2 (en) Method, apparatus and program for recording and playing back content data, method, apparatus and program for playing back content data, and method, apparatus and program for recording content data
US8290353B2 (en) Data processing device and method
US20030095790A1 (en) Methods and apparatus for generating navigation information on the fly
US20070154171A1 (en) Navigating recorded video using closed captioning
US7302697B1 (en) Broadcast pause and resume for enhanced television
JP2003521851A (en) Closed caption tagging system
US20080175568A1 (en) System and method for associating presented digital content within recorded digital stream and method for its playback from precise location
JP2005278152A (en) Video/audio playback apparatus and video/audio playback method
KR100405975B1 (en) Method for stream jump
EP1355492B1 (en) Reproducing apparatus and reproducing method
EP2101499B1 (en) Broadcast station device and recording/reproduction device
KR100631783B1 (en) System and method for synchronizing multimedia data with metadata
JP2008236180A (en) Recording device, video reproducing apparatus, and special reproduction method therefor
JP4763589B2 (en) Playback device and playback method thereof
JP4181835B2 (en) Information reproducing apparatus and information reproducing method
KR20060109571A (en) Apparatus for recording broadcast and method for searching program executable in the apparatus
KR100527843B1 (en) Apparatus and method for processing MPEG-2 audio/video transport stream, and service system and method of synchronized data using its
US8000584B1 (en) Approach for storing digital content onto digital versatile discs (DVDs)
EP2085972B1 (en) Apparatus for recording digital broadcast and method of searching for final playback location
JP4861221B2 (en) RECORDING DEVICE, RECORDING METHOD, VIDEO RECORDING / REPRODUCING DEVICE, AND RECORDING FILE PROCESSING METHOD THEREOF
JP2000175144A (en) Reproducing device
JP2000354223A (en) Disk recorder
JP2007043239A (en) Video recording and reproducing apparatus

Legal Events

Date Code Title Description
A201 Request for examination
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20120830

Year of fee payment: 7

FPAY Annual fee payment

Payment date: 20130829

Year of fee payment: 8

FPAY Annual fee payment

Payment date: 20140828

Year of fee payment: 9

FPAY Annual fee payment

Payment date: 20150828

Year of fee payment: 10

LAPS Lapse due to unpaid annual fee