WO2012077982A2 - 멀티미디어 컨텐츠를 송수신하는 송신 장치 및 수신 장치와, 그 재생 방법 - Google Patents

멀티미디어 컨텐츠를 송수신하는 송신 장치 및 수신 장치와, 그 재생 방법 Download PDF

Info

Publication number
WO2012077982A2
WO2012077982A2 PCT/KR2011/009442 KR2011009442W WO2012077982A2 WO 2012077982 A2 WO2012077982 A2 WO 2012077982A2 KR 2011009442 W KR2011009442 W KR 2011009442W WO 2012077982 A2 WO2012077982 A2 WO 2012077982A2
Authority
WO
WIPO (PCT)
Prior art keywords
data
eye image
synchronization information
information
signal
Prior art date
Application number
PCT/KR2011/009442
Other languages
English (en)
French (fr)
Other versions
WO2012077982A3 (ko
Inventor
박홍석
이재준
주유성
장용석
김희진
이대종
장문석
김용태
Original Assignee
삼성전자 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자 주식회사 filed Critical 삼성전자 주식회사
Priority to JP2013543098A priority Critical patent/JP2014504083A/ja
Priority to MX2013006515A priority patent/MX2013006515A/es
Priority to EP11846165.6A priority patent/EP2651142A4/en
Priority to BR112013013994-3A priority patent/BR112013013994A2/pt
Priority to US13/992,355 priority patent/US9628771B2/en
Priority to CN2011800592066A priority patent/CN103262554A/zh
Publication of WO2012077982A2 publication Critical patent/WO2012077982A2/ko
Publication of WO2012077982A3 publication Critical patent/WO2012077982A3/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/167—Synchronising or controlling image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/172—Processing image signals image signals comprising non-image signal components, e.g. headers or format information
    • H04N13/178—Metadata, e.g. disparity information
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/194—Transmission of image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/398—Synchronisation thereof; Control thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H04N21/2362—Generation or processing of Service Information [SI]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/4302—Content synchronisation processes, e.g. decoder synchronisation
    • H04N21/4307—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen
    • H04N21/43072—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen of multiple content streams on the same device
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/462—Content or additional data management, e.g. creating a master electronic program guide from data received from the Internet and a Head-end, controlling the complexity of a video stream by scaling the resolution or bit-rate based on the client capabilities
    • H04N21/4622—Retrieving content or additional data from different sources, e.g. from a broadcast channel and the Internet
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/816—Monomedia components thereof involving special video data, e.g 3D video
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85—Assembly of content; Generation of multimedia applications
    • H04N21/854—Content authoring
    • H04N21/8547—Content authoring involving timestamps for synchronizing content

Definitions

  • the present invention relates to a transmitting device and a receiving device for transmitting and receiving multimedia content, and more particularly, to a transmitting device and a receiving device for transmitting and receiving one multimedia content through different paths and a method for reproducing the same. .
  • the 3D content includes a left eye image and a right eye image, the size of the content is larger than that of the existing 2D content.
  • the reception apparatus synchronizes a left eye image and a right eye image with reference to a time stamp of each image, that is, a PTS. Therefore, in order for synchronization to be successful, the time stamps of the two images must match exactly.
  • the transmission apparatuses for generating the left eye image and the right eye image are separated from each other, or when the time for generating the left eye image and the right eye image is different from each other, the time stamps of the two images are difficult to exactly match. Accordingly, there is a problem that synchronization becomes difficult.
  • the present invention is directed to the above-described needs, and an object of the present invention is to transmit and receive different data through different paths, and to provide a synchronization device capable of synchronizing the data with each other so as to reproduce data; A receiver and a reproduction method thereof are provided.
  • a reception apparatus includes a first signal including a left eye image and first synchronization information, and a second signal including a right eye image and second synchronization information. And a receiver configured to receive through another path, and a signal processor configured to synchronize and reproduce the left eye image and the right eye image by using the first synchronization information and the second synchronization information.
  • the first synchronization information and the second synchronization information may include content start information indicating a start time of a content consisting of the left eye image and the right eye image.
  • the signal processor may compare a start time point of the content, a time stamp of the left eye image, and a time stamp of the right eye image, respectively, and among the time stamps of the left eye image and the time stamp of the right eye image according to a comparison result. At least one can be corrected and synchronized.
  • the first synchronization information and the second synchronization information may each include a difference value between a time stamp of the left eye image and a time stamp of the right eye image.
  • the signal processor may correct and synchronize at least one of a time stamp of the left eye image and a time stamp of the right eye image using the difference value.
  • the first synchronization information may include a frame index of the left eye image
  • the second synchronization information may include a frame index of the right eye image.
  • the signal processor may compare the frame index of the left eye image with the frame index of the right eye image, and process the left eye image and the right eye image having the same frame index to be synchronized.
  • the first synchronization information may include a time code of the left eye image
  • the second synchronization information may include a time code of the right eye image.
  • the signal processor may compare the time code of the left eye image with the time code of the right eye image, and process the left eye image and the right eye image having the same time code to be synchronized.
  • the first synchronization information and the second synchronization information may include coordinated universal time (UTC) information.
  • the signal processing unit compares the UTC information to synchronize the left eye image and the right eye image having the same UTC. Can be processed as possible.
  • the receiver may include a signal analyzer configured to analyze at least one of the first signal and the second signal to generate a lookup table, a storage unit to store the lookup table, and a left eye image matched to each other according to the lookup table. And a controller configured to control the signal processor to synchronize and reproduce the right eye image.
  • a signal analyzer configured to analyze at least one of the first signal and the second signal to generate a lookup table
  • a storage unit to store the lookup table
  • a left eye image matched to each other according to the lookup table and a left eye image matched to each other according to the lookup table.
  • a controller configured to control the signal processor to synchronize and reproduce the right eye image.
  • at least one of the first signal and the second signal may be a real time transport stream.
  • the transmission apparatus may generate data including transmission data including synchronization information for synchronizing with first data constituting the multimedia content and second data constituting the multimedia content.
  • Generation unit including a transmission unit for converting the transmission data provided by the data generation unit to a transmission signal to transmit to the receiving device.
  • the synchronization information may include at least one of content start information indicating a start point of the multimedia content, a time stamp difference value between the first data and the second data, and a frame index.
  • the data generation unit may include an input unit configured to receive the first data and signaling information, an encoding processor configured to encode the first data, and generate the synchronization information using the signaling information to add the encoded first data to the encoded first data. And a multiplexer configured to mux additional data to data generated by the encoding processor to generate the transmission data.
  • the first data may include data for at least one image frame
  • the synchronization information may be time code information of the image frame.
  • the first data may include one of a left eye image and a right eye image for configuring a 3D frame
  • the second data may include another one of the left eye image and the right eye image.
  • the first data includes at least one of video data, audio data, subtitle data, and additional data constituting the multimedia content
  • the second data includes the video data, audio data, subtitle data, and additional data. May include the remaining data.
  • a reproduction method for reproducing multimedia content includes a first signal including first data and first synchronization information constituting the multimedia content, and second data constituting the multimedia content. And receiving a second signal including second synchronization information through different paths, synchronizing the first data and the second data by using the first synchronization information and the second synchronization information, and transmitting the multimedia data. Playing the content.
  • the first synchronization information and the second synchronization information may include content start information indicating a starting point of the multimedia content, a time stamp difference value between the first data and the second data, a frame index, time code information, and UTC. At least one of the information and the frame count information may be included.
  • data may be effectively reproduced using synchronization information while overcoming transmission bandwidth limitation by transmitting and receiving different data through different paths.
  • FIG. 1 is a view showing the configuration of a multimedia content playback system according to an embodiment of the present invention
  • FIG. 2 is a view showing the configuration of a receiving apparatus according to an embodiment of the present invention.
  • 3 is a view for explaining a process of transmitting synchronization information using a PMT in a stream
  • FIG. 4 is a diagram illustrating a method of inserting synchronization information into a PMT
  • FIG. 5 is a view for explaining a method of transmitting synchronization information using a TS adaptation field
  • FIG. 6 is a view for explaining a method of transmitting synchronization information using a PES header
  • FIG. 7 is a view for explaining a method of transmitting synchronization information using an EIT table
  • FIG. 8 is a view for explaining a method of transmitting synchronization information using a private stream
  • FIG. 9 is a view showing a stream configuration in an embodiment using a frame index as synchronization information
  • FIG. 10 is a view showing an example of a method of inserting synchronization information in a storage file format
  • 11 is a view for explaining a method of providing a frame index using a separate private stream in a transport stream
  • FIG. 12 is a view for explaining a synchronization method in an embodiment using a time code as synchronization information
  • 13 is a view for explaining an example of a method of transmitting a time code
  • FIG. 14 is a view for explaining a structure in which a time code is inserted into a GoP header
  • FIG. 15 is a diagram for explaining a method of comparing and synchronizing a first signal and a second signal transmitted with a time code using a separate private stream;
  • 16 is a view showing the configuration of a receiving apparatus according to another embodiment of the present invention.
  • 17 is a view for explaining a synchronization method using a lookup table
  • FIG. 18 is a diagram illustrating a synchronization method using a lookup table in which a frame index is recorded
  • 19 to 21 are diagrams showing various configuration examples of a receiving device to synchronize using a time code
  • FIG. 22 is a diagram illustrating a configuration of a video elementary stream (ES) including a time code
  • FIG. 23 is a diagram illustrating a configuration of an audio elementary stream (ES) including a time code
  • PMT program map table
  • 25 and 26 are block diagrams illustrating a configuration of a transmitting apparatus according to an embodiment of the present invention.
  • FIG. 27 is a block diagram illustrating an example of a configuration of a transmitter for transmitting a time code using a private stream
  • FIG. 30 is a view for explaining a method of synchronizing a plurality of data using UTC or a frame count value
  • 31 and 32 are flowcharts illustrating a method of playing multimedia content according to various embodiments of the present disclosure.
  • the multimedia content reproduction system includes a plurality of transmitters 200-1 and 200-2 and a receiver 100.
  • the transmitters 1 and 2 200-1 and 200-2 transmit different signals through different paths.
  • the first transmission device 200-1 transmits a first signal through a broadcast network
  • the second transmission device 200-2 transmits a second signal through a network 10.
  • the first signal and the second signal each include different data constituting one multimedia content.
  • the left eye image and the right eye image may be included in the first signal and the second signal, respectively.
  • the video signal may be divided into video data and audio data, or may be divided into video data, subtitle data, and other data to be included in the first signal and the second signal, respectively.
  • the first signal includes first synchronization information together with the first data
  • the second signal includes second synchronization information together with the second data
  • Various information may be used as the first and second synchronization information. Specifically, at least one of content start information indicating a start point of the multimedia content, a time stamp difference value between the first data and the second data, a frame index, time code information, UTC information, and frame count information may be used as synchronization information. have.
  • a transport stream for transmitting broadcast data includes a PCR (Program Clock Reference) and a PTS (Presentation Time Stamp).
  • PCR means reference time information for adjusting the time reference to the transmitter side in a receiving apparatus (set-top box, TV, etc.) complying with the MPEG standard.
  • the receiver adjusts the value of the STC (System Time Clock) according to the PCR.
  • PTS refers to a time stamp indicating a reproduction time for synchronizing video and audio in a broadcast system according to the MPEG standard. In this specification, it is called a time stamp.
  • PCR may be different according to characteristics of the transmitting apparatuses 100-1 and 100-2. Therefore, even if playback is performed according to the time stamps set for PCR, synchronization may not be achieved.
  • the reception apparatus 200 performs synchronization by correcting a time stamp using the synchronization information or directly comparing the synchronization information.
  • the receiving device 100 includes a receiving unit 110 and a signal processing unit 120.
  • the receiver 110 receives a plurality of different signals through different paths, respectively.
  • a first signal including a left eye image and first synchronization information and a second signal including a right eye image and second synchronization information may be respectively received.
  • Both the first signal and the second signal may be a real time transport stream or may be in a storage file format such as an MP4 file.
  • the signal processor 120 synchronizes and reproduces the left eye image and the right eye image using the first synchronization information and the second synchronization information.
  • the signal processor 120 may include a demux, a decoder, a renderer, a display, and the like.
  • the signal processor 120 may configure the 3D frame in a different manner according to the type of the reception device 100. That is, in the polarization method, the signal processor 120 may alternately arrange a part of the synchronized left eye image and a part of the right eye image to configure one or two frames. Accordingly, the corresponding frame may be output through the display panel to which the lenticular lens or the parallax barrier is added.
  • the signal processor 120 may alternately arrange the synchronized left eye image and the right eye image and sequentially display the same through the display panel.
  • various pieces of information may be used as the first and second synchronization information.
  • the signal processor 120 determines the start time of the multimedia content using the content start information.
  • the time stamp of the frame included in the first data and the time stamp of the frame included in the second data are compared with the start time, respectively. According to the comparison result, a frame index of each data can be extracted and synchronization is performed using the extracted frame index.
  • n + 1 frames are generated by synchronizing the L2 frame and the R2 frame.
  • the signal processor 120 sets the time stamp interval to 30 and n times the R1 frame. Matches frame, R2 frame, to n + 1 frame.
  • the signal processor 120 corrects the time stamp of the right eye image frame or the time stamp of the left eye image frame such that the time stamps of the two matching frames are the same.
  • the right eye image frame matches the next frame of the left eye image frame.
  • the signal processor 120 corrects and synchronizes the time stamp of the right eye image frame with the time stamp of the next frame of the left eye image frame.
  • a time stamp difference value between two data may be used as synchronization information. That is, the first synchronization information and the second synchronization information may each include a difference value between the time stamp of the left eye image and the time stamp of the right eye image.
  • the signal processor 120 corrects and synchronizes at least one of a time stamp of the left eye image and a time stamp of the right eye image by reflecting the difference value.
  • the content start information and the time stamp difference value information may be recorded in an event information table (EIT), a PMT, a private stream, a transport stream header, and the like.
  • EIT event information table
  • the storage file should also be able to extract the frame index value.
  • the stts and ctts boxes provide information about the playback timing corresponding to the time stamp. This allows the playback order from the start point of the MP4 file to be obtained. Since the playback order matches the frame index, it can be used to synchronize with the frame index of the real-time transport stream.
  • frame index information may be used as synchronization information.
  • the frame index information means identification information provided for each frame.
  • the frame index information may be recorded in an event information table (EIT), a PMT, a private stream, a transport stream header, and the like of a real time transport stream.
  • the signal processor 120 may correct the time stamps of the frames having the same frame index to be the same.
  • FIG. 3 illustrates a configuration of a first signal and a second signal including a program map table (PMT).
  • PMT program map table
  • the PMT is periodically included in the first signal and the second signal and transmitted.
  • Various synchronization information such as the above-described content start information, time stamp difference value, frame index, etc. may be included in the PMT and transmitted.
  • FIG. 4 is a diagram illustrating a structure of a PMT. According to FIG. 4, various synchronization information may be transmitted using a reserved area, a new descriptor, or an extended area of an existing descriptor in the PMT.
  • FIG. 5 is a diagram for describing a method of transmitting various synchronization information using an adaptation field of a transport stream.
  • random_access_indicator, transport_private_data_flag, private_data_byte, and the like are provided in the adaptation field.
  • random_access_indicator is implemented with 1 bit, and when set to 1, indicates the start of a sequence header. In other words, it represents a random access point of the transport stream.
  • transport_private_data_flag is also implemented as 1 bit. If set to 1, it means that there is more than 1 byte of private data.
  • the private_data_byte is implemented with 4 to 5 bytes, and this part may include synchronization information such as content start information, time stamp difference value, frame index, and the like.
  • PES_private_data_flag may be set to 1 and synchronization information may be recorded in the PES_private_data part.
  • FIG. 7 illustrates a method of delivering synchronization information such as content start information, a time stamp difference value, a frame index, etc. using an event information table (EIT).
  • EIT event information table
  • a private stream in which synchronization information such as content start information, time stamp information, and frame index information is recorded may be separately included and transmitted in a program elementary stream (PES).
  • PES program elementary stream
  • the stream ID of the PES header may use a reserved value in addition to the predefined 0xBD and 0xBF.
  • time code, UTC, frame count information, or the like may also be transmitted using a private stream. This will be described later.
  • a transport stream carries video, audio, and other data.
  • Information of each program is recorded in a program map table (PMT).
  • PMT program map table
  • the frame index is inserted into the PMT.
  • the frame index may be inserted into a video stream header, an audio stream header, a TS header, and the like.
  • the frame index of the next frame is recorded in each PMT.
  • the value of Hybridstream_Info_Descriptor () is defined to point to the same frame index. If Descriptor () can be inserted in I-frame units in the multiplexer of the transmitting apparatus, data duplication can be prevented.
  • the receiving apparatus 100 may detect an index of a frame with reference to each PMT, and then synchronize the frames of the first signal and the second signal using the index.
  • the frame index may be provided in a manner different from that of FIG. 9.
  • synchronization information such as a frame index may be recorded in boxes such as stts and stsc in the MP4 file directory.
  • an additional box may be defined in the ISO media base file format 14496-12, or a time code may be provided by extending a field in a predefined box.
  • a time code may be provided by extending a box of "stss (sync sample table)" that provides random access.
  • FIGS. 9 and 10 illustrate a case where a frame index is inserted, other synchronization information may also be transmitted in the manner shown in FIGS. 9 and 10.
  • the first signal and the second signal are described, but the first signal may be referred to as a main stream and the second signal may be referred to as a hybrid stream.
  • 9 and 10 illustrate the structure of the hybrid stream, the main stream may also be composed of the stream having the same structure. In this case, it is obvious that the descriptor name of FIG. 9 may be changed.
  • FIG. 11 is a diagram illustrating a case in which a frame index is transmitted through a separate private stream.
  • a private stream may be provided separately from a multimedia stream such as video or audio in the first signal, and a frame index value synchronized with the second signal may be provided through the corresponding private stream.
  • the second signal is also a real-time transport stream having the structure as shown in FIG. 11, the frame index may be detected and synchronized from the private stream of the transport stream.
  • the frame index can be checked from the stbl box or the like of the storage file and compared with the frame index of the first signal.
  • time code Coordinated Universal Time (UTC) information
  • frame count information and the like may also be used as synchronization information.
  • a time code is a series of pulse signals produced by a time code generator and is a signal standard developed for easy editing management.
  • the same time code is used for synchronized management of left and right eye images. Therefore, the time code can maintain the same pair regardless of the time of stream generation or delivery.
  • SMPTE Society of Motion Picture and Television Engineers
  • SMPTE 12M the time code is represented in the form of "hour: minute: second: frame”.
  • the SMPTE time code may be classified into a longitude time code (LTC) or a vertical interval time code (VITC) according to a recording method.
  • LTC longitude time code
  • VITC vertical interval time code
  • the LTC is recorded according to the advancing direction of the tape.
  • a total of 80 bits of data including time information (25 bits), user information (32 bits), synchronization information (16 bits), storage area (4 bits), and frame mode display (2 bits) may be configured.
  • VITC is recorded on two horizontal lines within the vertical blanking period of the video signal.
  • SMPTE RP-188 defines an interface specification that allows LTC or VITC type timecode to be transmitted as ancillary data.
  • the time code and additional information related to the time code can be newly defined and transmitted according to this interface standard.
  • the additional information related to the time code includes a time code for another image provided when the time code of the left eye image and the right eye image do not match, 2D / 3D conversion information for indicating whether the current image is a stereoscopic image, and a stereoscopic image. There may be starting point information of the image. Such additional information may be provided through a user information area or a storage area (or an unassigned area).
  • the time code space may be extended and used in a network protocol. For example, a time code may be provided through an RTP header extension.
  • the transmitters 200-1 and 200-2 use the time code of the left eye image and the time code information of the right eye image as first synchronization information and second synchronization information, respectively, and transmit the same together with the left eye image and the right eye image.
  • the receiving device 100 may correct the time stamps of the left eye image and the right eye image by using the received time code, or directly compare the time codes and synchronize the left eye image and the right eye image having the same time code by directly detecting them. have.
  • the time code may be recorded in a video elementary stream (such as MPEG GoP), an audio elementary stream, a transport stream header, a private stream, a PMT, and the like.
  • a random access indicator When recorded in the transport stream header, a random access indicator, a Transport_private_data_flag area, a Private_data_byte area, and the like may be used.
  • FIG. 13 shows the configuration of an MPEG stream in which a time code is recorded in a GoP header.
  • FIG. 14 shows an example of a syntax structure of the GoP header of FIG. 13.
  • a time code may be recorded as 25 bits of data. As illustrated in FIGS. 13 and 14, the time code may be delivered to the receiving device 100 in GoP units.
  • a time code is provided through a separate private stream.
  • a private stream is provided separately from the video or audio stream.
  • the private stream includes a time code for synchronizing with the second signal.
  • the second signal is also provided with a private stream separate from the video or audio stream.
  • the receiving device 100 compares the time code recorded in the private stream of the first signal and the second signal. Accordingly, the first signal data of PTS1 and DTS1 having the same time code and the second signal data of PTS1 'and DTS1' are synchronized and reproduced. The time signals are compared and synchronized with respect to the remaining signal data.
  • a private stream that is, a data bit stream, in which a time code is recorded, may be included and transmitted separately from a program elementary stream (PES).
  • PES program elementary stream
  • the stream ID of the PES header may use a reserved value in addition to the predefined 0xBD and 0xBF.
  • UTC and frame count information may be transmitted similarly to the time code, illustration and description are omitted.
  • the reception apparatus includes a signal analyzer 130, a storage 140, and a controller 150 in addition to the receiver 110 and the signal processor 120.
  • the receiver 110 includes a first receiver 111 and a second receiver 112. Each receiver 111 and 112 receives a first signal and a second signal transmitted through different paths, respectively.
  • the configuration of the first and second receivers 111 and 112 may be variously implemented according to the communication path.
  • a module for receiving a signal transmitted through a broadcasting network may include components such as an antenna, a tuner, a demodulator, an equalizer, and the like.
  • When receiving a signal through the network may include a network communication module.
  • the signal analyzer 130 generates a lookup table by analyzing at least one of the first signal and the second signal. Since different signals are received through different paths, one of the first and second signals may be received later than the other signals. For example, when a channel is changed in the middle of a broadcast, a channel change time point may be later than a start time point of 3D content. At this time, even if both the first signal and the second signal are a real time transport stream, the first signal and the second signal should be quickly synchronized. In consideration of this, information about frames matching each other may be recorded as a lookup table using synchronization information.
  • the lookup table may include index information of frames determined to match each other based on the various synchronization information described above.
  • the lookup table generated by the signal analyzer 130 is stored in the storage 140.
  • the controller 150 may control the signal processor 120 to synchronize and reproduce the left eye image and the right eye image that match each other with reference to the lookup table.
  • FIG. 17 is a view to explain a process of generating and storing a lookup table.
  • the signal analyzer 130 detects an index of an I frame with reference to synchronization information.
  • the lookup table 20 including the time stamp, the memory address, and the like of the corresponding frame is generated and stored in the storage 140.
  • the frame index detection may be performed by comparing the content start information and the time stamp of the corresponding frame or using a time stamp difference value. Since this has been described above, duplicate description thereof will be omitted.
  • FIG. 18 illustrates a process of generating and storing a lookup table when frame index information itself is provided as synchronization information. According to FIG. 18, frame index information for each frame of the first signal is transmitted together with the first signal, that is, the main stream.
  • the second signal that is, the frame index information for each frame of the hybrid stream is recorded in the lookup table 20.
  • the controller 150 may control the signal processor 120 to perform synchronous reproduction with reference to this.
  • the signal analyzer 130 of FIG. 16 may be omitted.
  • the reception apparatus 300 includes a first demux 310, a first depacketizer 320, a first decoder 330, a renderer 340, a second demux 350, and a first demux 310.
  • the second depacketizer 360, the second decoder 370, and the controller 380 are included.
  • the first demux 310, the first depacketizer 320, the first decoder 330, the renderer 340, the second demux 350, and the second depacketizer 360 are shown in FIGS. 16 may be included in the signal processor 120 of FIG. 16.
  • the first demux 310 and the second demux 350 separate the time code from the first signal and the second signal, respectively, and provide the time code to the controller 380.
  • the first demux 310 and the second demux 350 provide a video PES packet having a time code separated to the first depacketizer 320 and the second depacketizer 360, respectively.
  • the first depacketizer 320 and the second depacketizer 360 parse the packet from which the time code is separated, and provide video data to the first decoder 330 and the second decoder 370.
  • the first and second decoders 330 and 370 decode each video data and provide the decoded video data to the renderer 340.
  • the rendering unit 340 reproduces the 3D image 30 by synchronizing the video data of the first signal and the video data of the second signal under the control of the controller 380.
  • the controller 380 may obtain a time code of the second signal in advance and wait. Then, when the time code of the first signal is obtained, the controller 330 compares two time codes and searches for frames that match each other. Then, the rendering unit 340 is controlled to synchronize and reproduce the found frames.
  • the receiving device of FIG. 20 is a block diagram illustrating a configuration of a receiving apparatus according to another embodiment using a time code as synchronization information.
  • the receiving device of FIG. 20 also includes a first demux 310, a first depacketizer 320, a first decoder 330, a renderer 340, a second demux 350, and a second depacketizer. 360, a second decoder 370, and a controller 380.
  • the first demux 310 separates the video packet from the received first signal and provides it to the first depacketizer 320.
  • the second depacketizer 320 depackets the video packet to detect the DTS and the PTS, and provides time code information to the controller 380.
  • the second demux 350 separates the video packet from the received first signal and provides it to the first depacketizer 320.
  • the second depacketizer 320 depackets the video packet to detect the DTS and the PTS, and provides time code information to the controller 380.
  • the first decoder 330 and the second decoder 370 decode video data, respectively.
  • the controller 380 calculates a time stamp difference between frames having the same time code by referring to time codes of the respective signals.
  • the at least one time stamp of the first signal and the second signal is corrected by reflecting the calculated difference, and the corrected time stamp information is provided to the frame of each signal and provided to the renderer 340.
  • the time stamp of the left eye image is later than the time stamp of the right eye image, the time stamp of the left eye image may be adjusted or the time stamp of the right eye image may be adjusted to the same value.
  • the renderer 340 reproduces the 3D image by combining the left eye image and the right eye image according to the adjusted time stamp.
  • FIG. 21 is a block diagram illustrating a configuration of a receiving apparatus according to another embodiment using a time code as synchronization information.
  • the first demux 310, the first depacketizer 320, the first decoder 330, the renderer 340, the second demux 350, and the second demux 310 are similarly to FIGS. 19 and 20.
  • the depacketizer 360, the second decoder 370, and the controller 380 may be included.
  • the controller 380 may receive and store a lookup table in which an index number or a time stamp matching the time code is recorded through a separate source or path.
  • the controller 380 searches for a left eye image and a right eye image to be reproduced at the same time point with reference to the lookup table and then provides the search result to the renderer 340. Accordingly, synchronous reproduction can be made.
  • the lookup table may be received together with one of the first signal and the second signal, or may be provided through another path.
  • the content producer who produced the left eye image and the right eye image may generate a lookup table in advance and distribute the lookup table to the receiving apparatus.
  • the time code may be discontinuously generated in one program.
  • the channel is changed in the middle of the program, it may be difficult to find another image synchronized with the left eye image or the right eye image input in real time due to a random access time delay. Therefore, if the lookup table related to the random access is generated in advance, the random access time delay can be minimized.
  • the receiving device may be implemented in various forms.
  • the time code may be provided to the receiving apparatus in various ways.
  • the time code may be transmitted using supplemental enhancement information (SEI) defined in AVC (Advanced Video Coding: ISO / IEC 14496-10). That is, as shown in FIG. 22, the time code may be delivered using seconds_value, minutes_value, hours_value, and n_frames defined in Picture timing SEI.
  • SEI Supplemental Enhancement Information
  • FIG. 23 shows a stream structure when providing a time code using an audio stream.
  • an audio stream has a structure in which sync frames are continuously arranged.
  • the information on the time code may be provided in a bit stream information (bsi) area that provides information of the sync frame among the configurations of the sync frame.
  • bsi bit stream information
  • a time code may be provided through a reserved or descriptor of a PMT transmitted periodically.
  • the PMT provision interval may be made in GoP units or frame units to give a synchronized time code.
  • a PMT is transmitted every two frames, but a PMT including a time code may be provided every frame.
  • various pieces of information may be used as synchronization information, and the location thereof may also be variously set.
  • the transmitter 200 includes a data generator 410 and a transmitter 420.
  • the transmitter 200 of FIG. 25 may be one of a plurality of transmitters 200-1 and 200-2 in the system of FIG. 1.
  • the data provided by the transmitting apparatus 200 of FIG. 25 may be one of a plurality of data constituting the multimedia content. Accordingly, when the receiving apparatus is provided to the receiving apparatus together with other data transmitted by another transmitting apparatus, the receiving apparatus can reproduce the multimedia content using the same.
  • data provided by the transmitter of FIG. 25 is referred to as first data
  • data provided by another transmitter is referred to as second data.
  • the first data may be one of a left eye image and a right eye image
  • the second data may be another one of a left eye image and a right eye image.
  • the receiving apparatus can combine the first data and the second data to form one 3D content.
  • other data such as audio data or subtitle data may be provided together with one of the first data and the second data, or may be provided to the receiving device through a separate path.
  • the first data includes at least one of video data, audio data, subtitle data, and additional data constituting the multimedia content
  • the second data includes video data, audio data, subtitle data, and additional data. May include the remaining data. Accordingly, the above-described embodiments may be applied to the case where the reception device plays the 2D content in addition to the 3D content.
  • the data generator 410 generates transmission data including the first data and the synchronization information.
  • the synchronization information refers to information for synchronization between the first data and the second data.
  • the synchronization information may include at least one of content start information indicating a starting point of the multimedia content, a time stamp difference value between the first data and the second data, a frame index, time code information, UTC information, and frame count information. It may include. Since the method of inserting these synchronization information has been described in detail in the above-mentioned part, duplicate description is omitted.
  • the transmitter 420 transmits the stream generated by the data generator 410 to the receiver 100.
  • the detailed configuration of the transmitter 420 may be implemented differently according to the type of the stream.
  • the transmitter 420 may be implemented in a form including an RS encoder, an interleaver, a trellis encoder, a modulator, and the like.
  • the transmitting unit 420 may be implemented as a network interface module communicating with a receiving apparatus, that is, a web client, according to the HTTP protocol.
  • the detailed configuration of the data generator 410 may be implemented differently according to an embodiment.
  • 26 is a block diagram illustrating an example of a detailed configuration of a transmitter.
  • the data generator 410 includes an input unit 411, an encoding processor 412, and a multiplexer 413.
  • the input unit 411 receives first data and signaling information from the content producer.
  • the signaling information is information used for generating synchronization information.
  • the encoding processor 412 encodes the first data, generates synchronization information using the signaling information, and then adds the encoded data to the encoded first data.
  • the encoding processing unit 412 When the synchronization information is the content start information, the encoding processing unit 412 generates a time stamp of the first frame based on the PCR, and adds the time stamp as the synchronization information.
  • the signaling information may be implemented as information on PCR of another transmitting device generating and transmitting the second data.
  • the encoding processor 412 may generate a time stamp difference value between the first and second data as synchronization information based on the signaling information, and then add the encoding to the encoded first data.
  • the first data and the synchronization information may be input to the input unit 411 without additional signaling information.
  • the encoding processor 412 encodes the first data and the synchronization information as they are and provides the encoded data to the multiplexer 413.
  • a configuration for performing video data compression or the like according to the MPEG standard may be further added. However, such a configuration will be omitted.
  • the multiplexer 413 muxes the additional data to the data generated by the encoding processor 412 to generate transmission data.
  • the additional data may be PSIP and EPG information.
  • the transmitter 420 converts the transport stream provided by the multiplexer 413 into a transmission signal by performing channel encoding, modulation, and the like, and then transmits the transmission stream through the channel.
  • modulation 8 VSB system used in terrestrial broadcasting system, 16 VSB system which is a high data rate system for cable TV, etc. may be used.
  • the plurality of transmitting devices in order for different data to be received through different paths in the receiving device, the plurality of transmitting devices must transmit data, or one transmitting device must transmit data using different transmitting units.
  • each transmitting device in order to generate and add synchronization information, each transmitting device must share a program time plan.
  • the transmitter of FIG. 27 shows a configuration of a transmitter according to another embodiment of the present invention.
  • the transmitter of FIG. 27 processes and transmits the time code as a separate private stream.
  • the transmitter includes an A / V encoder 510, a time code detector 520, a time code encoder 530, and a multiplexer 540.
  • the A / V encoder 510 encodes A / V data included in the input multimedia data.
  • the encoding scheme may vary depending on the standard applied to the transmitting apparatus.
  • the time code detector 520 detects a time code of an image from the input multimedia data and provides the time code to the time code encoder 530.
  • the detected time code may be stored as a timeline data file.
  • the time code encoder unit 530 encapsulates the detected time code into an appropriate transmission format, and combines the presentation time stamps calculated using the same program system clock as the A / V encoder unit 510.
  • the A / V encoder unit 510 synchronizes with the A / V (Audio / Video) data.
  • the time code information processed by the time code encoder 530 is provided to the multiplexer 540 together with the A / V data processed by the A / V encoder 510.
  • the multiplexer 540 multiplexes this data and outputs MPEG2-TS.
  • various components such as a pilot inserter, a modulator, an interleaver, a randomizer, an RF upconverter, and the like may be added to the transmitter. Since these configurations correspond to the general configurations of the transmission apparatus, detailed illustration and description are omitted.
  • FIG. 28 illustrates a plurality of stream generating subjects sharing a time schedule of a program.
  • Examples of stream creators may include broadcasting stations transmitting video and audio, third parties transmitting additional data such as subtitles, third parties providing related games, and the like.
  • one of the stream generators 1, 2, and 3 transmits a time plan based on a time code to other stream generators to produce a transport stream constituting one program.
  • Each stream creator may generate synchronization information using a time schedule, and generate and transmit a transport stream, respectively.
  • the time plan or synchronization information is frame unit information having accuracy for stream generation stage synchronization, unlike the time schedule provided by the existing EPG.
  • the reference time server 600 provides a reference time to each stream generating entity 1, 2, and 3.
  • a reference time that is, a PCR is received and shared through the same reference time server 600
  • the same DTS and PTS may be generated and added to a frame of the same content.
  • FIG. 30 is a diagram illustrating an example of a configuration of transmission apparatuses using UTC or a frame count value or the like as synchronization information.
  • different media # 1, # 2, and # 3 are provided to different stream generators 710, 720, and 730, respectively.
  • UTC or frame count value may also be provided along with each of media # 1, # 2, and # 3.
  • Each stream generator 710, 720, and 730 adds the information as synchronization information to generate transport streams # 1, # 2, and # 3, and then transmits them.
  • various types of synchronization information are provided to the receiving device together with the respective data, so that the receiving device can accurately reproduce the data by synchronizing the data based on the receiving device.
  • FIG. 31 is a flowchart illustrating a content playback method according to an embodiment of the present invention.
  • the receiving device receives the first signal and the second signal through different paths, respectively (S2310).
  • the first signal includes first synchronization information together with the first data
  • the second signal includes second synchronization information together with the second data.
  • the receiving apparatus After receiving the first and second synchronization information, respectively, the reception apparatus (S2320), the receiving apparatus checks and synchronizes matching frames based on the reproduction information (S2330). Specifically, the time stamps of the frames matching each other may be directly corrected, or the matching frames may be directly synchronized by playing back by comparing the synchronization information directly.
  • 32 is a flowchart illustrating a reproducing method of a receiving apparatus according to another embodiment of the present invention.
  • a second signal of two signals is received and stored (S2410).
  • the second signal is analyzed (S2420), the frame index of the data included in the second signal is detected, and stored in the index table (S2430).
  • the time stamp of the frame of the first signal is extracted (S2450). After extracting the frame index of the corresponding frame (S2460), a matching frame is searched by comparing with the index table (S2470).
  • synchronization between various heterogeneous data such as an image and a text, an image, and an audio may be performed.
  • UHD ultra high definition
  • UHD additional video may be transmitted in real time in order to ensure compatibility with a device using an existing HD channel.
  • inter-image synchronization is essential to reconstruct one original image. Accordingly, the above-described synchronization technique of various embodiments may be used for UHD transmission.
  • the program for performing the method according to various embodiments of the present disclosure described above may be stored and used in various types of recording media.
  • the code for performing the above-described methods may include random access memory (RAM), flash memory, read only memory (ROM), erasable programmable ROM (EPROM), electronically erasable and programmable ROM (EEPROM), register, hard drive. It may be stored in various types of recording media readable by the terminal, such as a disk, a removable disk, a memory card, a USB memory, a CD-ROM, and the like.

Abstract

좌안 영상 및 제1 동기화정보를 포함하는 제1 신호와, 우안 영상 및 제2 동기화 정보를 포함하는 제2 신호를 서로 다른 경로를 통해 수신하는 수신부, 제1 동기화 정보 및 제2 동기화 정보를 이용하여 좌안 영상 및 상기 우안 영상을 동기화시켜 재생하는 신호 처리부를 포함한다. 제1 및 제2 동기화 정보로는 컨텐츠 스타트 정보, 제1 데이터 및 제2 데이터 간의 타임 스탬프 차이 값, 프레임 인덱스, 타임 코드 정보, UTC 정보, 프레임 카운트 정보 중 적어도 하나가 사용될 수 있다. 이에 따라, 서로 다른 데이터의 동기화를 효과적으로 수행할 수 있다.

Description

멀티미디어 컨텐츠를 송수신하는 송신 장치 및 수신 장치와, 그 재생 방법
본 발명은 멀티미디어 컨텐츠를 송수신하는 송신 장치 및 수신 장치와 그 재생 방법에 관한 것으로, 보다 구체적으로는, 하나의 멀티미디어 컨텐츠를 서로 다른 경로를 통해 송수신하는 송신 장치 및 수신 장치와 그 재생 방법에 대한 것이다.
전자 기술의 발달에 힘입어, 다양한 유형의 전자 장치가 개발 및 보급되고 있다. 이들 전자 장치의 대표적인 예로 TV와 같은 수신 장치를 들 수 있다.
최근에는 TV의 성능이 좋아짐에 따라 3D 컨텐츠와 같은 멀티미디어 컨텐츠까지도 서비스되고 있다. 3D 컨텐츠는 좌안 영상 및 우안 영상을 포함하기 때문에, 기존의 2D 컨텐츠보다 컨텐츠의 사이즈가 크다.
하지만, 방송 망에서 사용되는 전송 대역 폭은 제한적이다. 단일 방송 망에서 3D 컨텐츠를 제공하기 위해서는 해상도를 줄여야 할 필요가 있으며, 이에 따라 화질이 열화된다는 문제점이 있었다.
이러한 문제점을 극복하기 위하여, 좌안 영상 및 우안 영상을 서로 다른 경로를 통해서 전송하고, 수신 장치에서 이를 조합하여 3D 컨텐츠를 재생하도록 하는 기술이 대두되었다.
일반적으로, 수신 장치에서는 각 영상의 타임 스탬프, 즉, PTS를 참조하여 좌안 영상 및 우안 영상을 동기화시킨다. 따라서, 동기화가 정상적으로 이루어지려면 두 영상의 타임 스탬프가 정확하게 일치하여야 한다. 하지만, 좌안 영상 및 우안 영상을 생성하기 위한 송신 장치가 서로 분리되어 있거나 좌안 영상 및 우안 영상을 생성하는 시간이 서로 다른 경우, 두 영상의 타임 스탬프가 정확하게 일치하기 어렵다. 이에 따라, 동기화가 어려워진다는 문제점이 있었다.
따라서, 고해상도의 멀티미디어 컨텐츠가 수신 장치에서 효과적으로 재생될 수 있도록 하는 기술의 필요성이 대두되었다.
본 발명은 상술한 필요성에 따른 것으로, 본 발명의 목적은, 서로 다른 데이터를 서로 다른 경로를 통해 송수신하면서, 그 데이터를 동기화시킬 수 있는 동기화 정보를 함께 제공하여 데이터를 재생할 수 있도록 하는 송신 장치 및 수신 장치와 그 재생 방법을 제공함에 있다.
이상과 같은 목적을 달성하기 위한 본 발명의 일 실시 예에 따른 수신 장치는, 좌안 영상 및 제1 동기화정보를 포함하는 제1 신호와, 우안 영상 및 제2 동기화 정보를 포함하는 제2 신호를 서로 다른 경로를 통해 수신하는 수신부, 상기 제1 동기화 정보 및 상기 제2 동기화 정보를 이용하여 상기 좌안 영상 및 상기 우안 영상을 동기화시켜 재생하는 신호 처리부를 포함한다.
여기서, 상기 제1 동기화 정보 및 상기 제2 동기화 정보는, 상기 좌안 영상 및 상기 우안 영상으로 구성되는 컨텐츠의 시작 시점을 알리는 컨텐츠 스타트 정보를 포함할 수 있다.
이 경우, 상기 신호 처리부는, 상기 컨텐츠의 시작 시점과 상기 좌안 영상의 타임 스탬프 및 상기 우안 영상의 타임 스탬프를 각각 비교하고, 비교 결과에 따라 상기 좌안 영상의 타임 스탬프 및 상기 우안 영상의 타임 스탬프 중 적어도 하나를 보정하여 동기화시킬 수 있다.
또는, 상기 제1 동기화 정보 및 상기 제2 동기화 정보는 각각 상기 좌안 영상의 타임 스탬프 및 상기 우안 영상의 타임 스탬프 간의 차이 값을 포함할 수 있다. 이 경우, 상기 신호 처리부는, 상기 차이 값을 이용하여 상기 좌안 영상의 타임 스탬프 및 상기 우안 영상의 타임 스탬프 중 적어도 하나를 보정 하여 동기화시킬 수 있다.
또는, 상기 제1 동기화 정보는 상기 좌안 영상의 프레임 인덱스를 포함하고, 상기 제2 동기화 정보는 상기 우안 영상의 프레임 인덱스를 포함할 수 있다. 이 경우, 상기 신호 처리부는, 상기 좌안 영상의 프레임 인덱스 및 상기 우안 영상의 프레임 인덱스를 비교하여, 동일한 프레임 인덱스를 가지는 좌안 영상 및 우안 영상이 동기화되도록 처리할 수 있다.
또는, 상기 제1 동기화 정보는 상기 좌안 영상의 타임 코드를 포함하고, 상기 제2 동기화 정보는 상기 우안 영상의 타임 코드를 포함할 수 있다. 이 경우, 상기 신호 처리부는, 상기 좌안 영상의 타임 코드 및 상기 우안 영상의 타임 코드를 비교하여, 동일한 타임 코드를 가지는 좌안 영상 및 우안 영상이 동기화되도록 처리할 수 있다.
또는, 상기 제1 동기화 정보 및 제2 동기화 정보는 UTC(Coordinated Universal Time) 정보를 포함할 수 있으며, 이 경우, 상기 신호 처리부는 상기 UTC 정보를 비교하여 동일한 UTC를 가지는 좌안 영상 및 우안 영상이 동기화되도록 처리할 수 있다.
한편, 상술한 수신 장치는, 상기 제1 신호 및 제2 신호 중 적어도 하나를 분석하여 룩업 테이블을 생성하는 신호 분석부, 상기 룩업 테이블을 저장하는 저장부, 상기 룩업 테이블에 따라 서로 매칭되는 좌안 영상 및 우안 영상을 동기화시켜 재생하도록 상기 신호 처리부를 제어하는 제어부를 포함할 수 있다. 여기서, 상기 제1 신호 및 상기 제2 신호 중 적어도 하나는 실시간 전송 스트림일 수 있다.
한편, 본 발명의 일 실시 예에 따르면, 송신 장치는, 멀티미디어 컨텐츠를 구성하는 제1 데이터 및, 상기 멀티미디어 컨텐츠를 구성하는 제2 데이터와의 동기화를 위한 동기화 정보를 포함하는 전송 데이터를 생성하는 데이터 생성부, 상기 데이터 생성부에서 제공되는 전송 데이터를 전송 신호로 변환하여 수신장치로 전송하는 전송부를 포함한다.
여기서, 상기 동기화 정보는, 상기 멀티미디어 컨텐츠의 시작 지점을 알리는 컨텐츠 스타트 정보, 상기 제1 데이터 및 상기 제2 데이터 간의 타임 스탬프 차이 값, 프레임 인덱스 중 적어도 하나를 포함할 수 있다.
그리고, 상기 데이터 생성부는, 상기 제1 데이터 및 시그널링 정보를 입력받는 입력부, 상기 제1 데이터를 인코딩하고, 상기 시그널링 정보를 이용하여 상기 동기화 정보를 생성하여 상기 인코딩된 제1 데이터에 부가하는 부호화 처리부, 상기 부호화 처리부에서 생성된 데이터에 부가 데이터를 먹싱하여 상기 전송 데이터를 생성하는 다중화부를 포함할 수 있다.
여기서, 상기 제1 데이터는 적어도 하나의 영상 프레임에 대한 데이터를 포함하며, 상기 동기화 정보는, 상기 영상 프레임의 타임 코드 정보가 될 수 있다.
한편, 상기 제1 데이터는 3D 프레임을 구성하기 위한 좌안 영상 및 우안 영상 중 하나를 포함하며, 상기 제2 데이터는 상기 좌안 영상 및 상기 우안 영상 중 다른 하나를 포함할 수 있다.
또는, 상기 제1 데이터는 상기 멀티미디어 컨텐츠를 구성하는 비디오 데이터, 오디오 데이터, 자막 데이터 및 부가 데이터 중 적어도 하나의 데이터를 포함하며, 상기 제2 데이터는 상기 비디오 데이터, 오디오 데이터, 자막 데이터 및 부가 데이터 중 나머지 데이터를 포함할 수 있다.
한편, 본 발명의 일 실시 예에 따르면, 멀티미디어 컨텐츠를 재생하는 재생 방법은, 멀티미디어 컨텐츠를 구성하는 제1 데이터 및 제1 동기화 정보를 포함하는 제1 신호와, 상기 멀티미디어 컨텐츠를 구성하는 제2 데이터 및 제2 동기화 정보를 포함하는 제2 신호를 서로 다른 경로를 통해 수신하는 단계, 상기 제1 동기화 정보 및 상기 제2 동기화 정보를 이용하여 상기 제1 데이터 및 상기 제2 데이터를 동기화시켜, 상기 멀티미디어 컨텐츠를 재생하는 단계를 포함한다. 여기서, 상기 제1 동기화 정보 및 상기 제2 동기화 정보는, 상기 멀티미디어 컨텐츠의 시작 지점을 알리는 컨텐츠 스타트 정보, 상기 제1 데이터 및 상기 제2 데이터 간의 타임 스탬프 차이 값, 프레임 인덱스, 타임 코드 정보, UTC 정보, 프레임 카운트 정보 중 적어도 하나를 각각 포함할 수 있다.
[발명의 효과]
이상과 같은 본 발명의 다양한 실시 예에 따르면, 서로 다른 경로를 통해 다른 데이터를 송수신하여 전송 대역 폭 제한을 극복하면서, 동기화 정보를 이용하여 데이터가 효과적으로 재생될 수 있도록 한다.
도 1은 본 발명의 일 실시 예에 따른 멀티미디어 컨텐츠 재생 시스템의 구성을 나타내는 도면,
도 2는 본 발명의 일 실시 예에 따른 수신 장치의 구성을 나타내는 도면,
도 3은 스트림 내의 PMT를 이용하여 동기화 정보를 전송하는 과정을 설명하기 위한 도면,
도 4는 PMT 내에 동기화 정보가 삽입되는 방법을 설명하기 위한 도면,
도 5는 TS 어댑테이션 필드를 이용한 동기화 정보 전달 방법을 설명하기 위한 도면,
도 6은 PES 헤더를 이용한 동기화 정보 전달 방법을 설명하기 위한 도면,
도 7은 EIT 테이블을 이용한 동기화 정보 전달 방법을 설명하기 위한 도면,
도 8은 프라이빗 스트림을 이용한 동기화 정보 전달 방법을 설명하기 위한 도면,
도 9는 프레임 인덱스를 동기화 정보로 사용하는 실시 예에서의 스트림 구성을 나타내는 도면,
도 10은 저장 파일 포맷에서의 동기화 정보 삽입 방법의 일 예를 나타내는 도면,
도 11은 전송 스트림 내에서 별도의 프라이빗 스트림을 이용하여 프레임 인덱스를 제공하는 방법을 설명하기 위한 도면,
도 12는 타임 코드를 동기화 정보로 사용하는 실시 예에서의 동기화 방법을 설명하기 위한 도면,
도 13은 타임 코드를 전송하는 방법의 일 예를 설명하기 위한 도면,
도 14는 GoP 헤더에 타임 코드를 삽입한 구조를 설명하기 위한 도면,
도 15는 별도의 프라이빗 스트림을 이용하여 타임 코드를 전송한 제1 및 제2 신호를 비교하여 동기화하는 방법을 설명하기 위한 도면,
도 16은 본 발명의 다른 실시 예에 따른 수신 장치의 구성을 나타내는 도면,
도 17은 룩업 테이블을 이용한 동기화 방법을 설명하기 위한 도면,
도 18은 프레임 인덱스가 기록된 룩업 테이블을 이용한 동기화 방법을 설명하기 위한 도면,
도 19 내지 도 21은 타임 코드를 이용하여 동기화하는 수신 장치의 다양한 구성 예를 나타내는 도면,
도 22는 타임 코드를 포함하는 비디오 기초 스트림(Elementary Stream : ES)의 구성을 나타내는 도면,
도 23은 타임 코드를 포함하는 오디오 기초 스트림(Elementary Stream : ES)의 구성을 나타내는 도면,
도 24는 타임 코드를 포함하는 PMT(Program Map Table)의 구성을 나타내는 도면,
도 25 및 도 26은 본 발명의 일 실시 예에 따른 송신 장치의 구성을 나타내는 블럭도,
도 27은 프라이빗 스트림을 이용하여 타임 코드를 전송하는 송신 장치 구성의 일 예를 나타내는 블럭도,
도 28 및 도 29는 복수의 송신 장치에서 동기화 정보를 공유하는 다양한 방법을 설명하는 도면,
도 30은 UTC 또는 프레임 카운트 값을 이용하여 복수의 데이터들을 동기화시키는 방법을 설명하기 위한 도면,
도 31 및 도 32는 본 발명의 다양한 실시 예에 따른 멀티미디어 컨텐츠의 재생 방법을 설명하기 위한 흐름도이다.
이하에서 첨부된 도면을 이용하여 본 발명에 대하여 구체적으로 설명한다.
도 1은 본 발명의 일 실시 예에 따른 멀티미디어 컨텐츠 재생 시스템의 구성을 나타내는 도면이다. 도 1에 따르면, 멀티미디어 컨텐츠 재생 시스템은 복수의 송신장치(200-1, 200-2)와, 수신 장치(100)를 포함한다.
송신 장치 1, 2(200-1, 200-2)는 서로 다른 신호를 서로 다른 경로로 전송한다. 도 1의 경우를 예로 들면, 송신 장치 1(200-1)은 방송망을 통해서 제1 신호를 전송하고, 송신 장치 2(200-2)는 네트워크(10)를 통해서 제2 신호를 전송한다.
제1 신호 및 제2 신호는 하나의 멀티미디어 컨텐츠를 구성하는 서로 다른 데이터를 각각 포함한다. 예를 들어, 3D 컨텐츠의 경우에는 좌안 영상 및 우안 영상이 각각 제1 신호 및 제2 신호에 포함될 수 있다. 또는, 비디오 데이터 및 오디오 데이터로 구분되거나, 동영상 데이터 및 자막 데이터, 기타 데이터 등으로 구분되어 각각 제1 신호 및 제2 신호에 포함될 수 있다.
제1 신호에는 제1 데이터와 함께 제1 동기화 정보가 포함되고, 제2 신호에는 제2 데이터와 함께 제2 동기화 정보가 포함된다.
제1 및 제2 동기화 정보로는 다양한 정보가 사용될 수 있다. 구체적으로는, 멀티미디어 컨텐츠의 시작 지점을 알리는 컨텐츠 스타트 정보, 제1 데이터 및 제2 데이터 간의 타임 스탬프 차이 값, 프레임 인덱스, 타임 코드 정보, UTC 정보, 프레임 카운트 정보 중 적어도 하나가 동기화 정보로 사용될 수 있다.
MPEG 규격에 따르면, 방송 데이터를 전송하는 전송 스트림에는 PCR(Program Clock Reference) 및 PTS(Presentation Time Stamp) 등이 포함된다.
PCR이란 MPEG 규격에 따르는 수신 장치(셋톱박스나 TV 등)에서 시각 기준을 송신기 측에 맞추도록 하는 참조 시간 정보를 의미한다. 수신장치에서는 PCR에 따라서 STC(System Time Clock)의 값을 맞추게 된다. PTS는 MPEG 규격에 따른 방송 시스템에서 영상 및 음성의 동기화를 위한 재생 시각을 알려주는 타임 스탬프를 의미한다. 본 명세서에서는 타임 스탬프라고 명명한다.
서로 다른 신호가 서로 다른 송신 장치(100-1, 100-2)에서 전송되는 경우에는, 송신 장치(100-1, 100-2)의 특성에 따라 PCR이 다를 수 있다. 그렇기 때문에, PCR에 맞춘 타임 스탬프에 따라 재생을 하더라도, 동기화가 이루어지지 않을 수 있다.
본 시스템에서 수신 장치(200)는 동기화 정보를 이용하여 타임 스탬프를 보정하거나, 동기화 정보를 직접 비교하여 동기화를 수행한다.
도 2는 본 발명의 일 실시 예에 따른 수신 장치의 구성을 나타내는 블럭도이다. 도 2에 따르면, 수신 장치(100)는 수신부(110) 및 신호 처리부(120)를 포함한다.
수신부(110)는 복수의 서로 다른 신호를 서로 다른 경로를 통해 각각 수신한다. 3D 컨텐츠인 경우, 좌안 영상 및 제1 동기화정보를 포함하는 제1 신호와, 우안 영상 및 제2 동기화 정보를 포함하는 제2 신호를 각각 수신할 수 있다.
제1 신호 및 제2 신호는 모두 실시간 전송 스트림일 수도 있고, MP4 파일과 같은 저장 파일 포맷일 수도 있다.
신호 처리부(120)는 제1 동기화 정보 및 제2 동기화 정보를 이용하여 좌안 영상 및 우안 영상을 동기화시켜 재생한다. 도 2에서는 도시되지 않았으나, 신호 처리부(120)는 디먹스, 디코더, 렌더링부, 디스플레이부 등을 포함할 수 있다.
신호 처리부(120)는 수신 장치(100)의 종류에 따라 상이한 방식으로 3D 프레임을 구성할 수 있다. 즉, 편광 방식의 경우에는, 신호 처리부(120)는 동기화된 좌안 영상의 일부 및 우안 영상의 일부를 교번적으로 배열하여 하나 또는 두 개의 프레임으로 구성할 수 있다. 이에 따라 렌티큘러 렌즈 또는 패러랙스 배리어가 부가된 디스플레이 패널을 통해 해당 프레임을 출력할 수 있다.
또는, 셔터 글래스 방식의 경우에는, 신호 처리부(120)는 동기화된 좌안 영상 및 우안 영상을 교번적으로 배치하여 디스플레이 패널을 통해 순차적으로 디스플레이할 수 있다.
한편, 제1 및 제2 동기화 정보로는 실시 예에 따라서 다양한 정보들이 이용될 수 있다.
구체적으로는, 컨텐츠 스타트 정보가 동기화 정보로 사용되는 실시 예에서는, 신호 처리부(120)는 컨텐츠 스타트 정보를 이용하여 멀티미디어 컨텐츠의 시작 시점을 파악한다. 그리고, 제1 데이터에 포함된 프레임의 타임 스탬프와 제2 데이터에 포함된 프레임의 타임 스탬프를 시작 시점과 각각 비교한다. 비교 결과에 따라, 각 데이터들의 프레임 인덱스를 추출할 수 있으며, 추출된 프레임 인덱스를 이용하여 동기화를 수행한다.
즉, 제1 신호의 L2 프레임의 타임 스탬프와 제2 신호의 R2 프레임의 타임 스탬프가 서로 다르더라도 제1 신호 및 제2 신호가 구성하는 컨텐츠의 시작 시점과 L2 프레임의 타임 스탬프간의 차이, 시작 시점과 R2 프레임의 타임 스탬프 간의 차이가 같으면 L2 프레임과 R2 프레임을 동기화시켜서 n+1 프레임을 생성한다.
신호 처리부(120)는 컨텐츠 스타트 정보와 타임 스탬프를 비교하여 프레임 인덱스를 검출할 수 있다. 가령, 제1 신호에서 컨텐츠 스타트 정보(PTSH_Start)가 100이고, 좌안 영상 L1 프레임의 타임 스탬프(PTS)가 100이라면 PTS - PTSH_Start = 0이 된다. 다음 좌안 영상인 L2 프레임의 타임 스탬프(PTS)가 115라면 PTS - PTSH_Start = 15가 된다. 이 경우, 신호 처리부(120)는 타임 스탬프 인터벌을 15으로 두고 L1 프레임을 n번째 프레임, L2 프레임을 n+1 프레임에 매칭한다. 반면, 제2 신호에서 컨텐츠 스타트 정보가 300이고, R1 프레임의 타임 스탬프가 300, R2 프레임의 타임 스탬프가 330이라고 가정하면, 신호 처리부(120)는 타임 스탬프 인터벌을 30으로 두고 R1 프레임을 n번째 프레임, R2 프레임을 n+1 프레임에 매칭한다.
신호 처리부(120)는 매칭되는 두 프레임의 타임 스탬프가 동일해지도록, 우안 영상 프레임의 타임 스탬프 또는 좌안 영상 프레임의 타임 스탬프를 보정한다.
우안 영상 프레임은 좌안 영상 프레임의 다음 프레임에 매칭된다. 신호 처리부(120)는 우안 영상 프레임의 타임 스탬프를 좌안 영상 프레임의 다음 프레임의 타임 스탬프와 동일해지도록 보정하여, 동기화시킨다.
다른 실시 예에서는, 두 데이터 간의 타임 스탬프 차이값이 동기화 정보로 사용될 수 있다. 즉, 제1 동기화 정보 및 제2 동기화 정보는 각각 좌안 영상의 타임 스탬프 및 우안 영상의 타임 스탬프 간의 차이 값을 포함할 수 있다. 이 경우, 신호 처리부(120)는 그 차이값을 반영하여 좌안 영상의 타임 스탬프 및 우안 영상의 타임 스탬프 중 적어도 하나를 보정하여 동기화시킨다.
컨텐츠 스타트 정보, 타임 스탬프 차이값 정보 등은 EIT(Event Information Table), PMT, 프라이빗 스트림, 전송 스트림 헤더 등에 기록될 수 있다.
또는, 저장 파일 포맷인 MP4 파일로 전송되는 경우에는 저장 파일의 특성 상 컨텐츠의 스타트 지점부터 기록이 되어 있기 때문에 별도의 컨텐츠 스타트 정보를 제공할 필요가 없다. 다만, 컨텐츠 스타트 정보, 타임 스탬프 차이값 정보를 기반으로 추출한 실시간 전송 스트림의 프레임 인덱스와 동기화를 수행하기 위하여 저장 파일 또한 프레임 인덱스 값을 추출할 수 있어야 한다. MP4 파일의 경우 stts, ctts 박스를 통해 타임 스탬프에 해당하는 재생 타이밍 관련 정보가 제공된다. 이를 통해 MP4 파일의 스타트 지점으로부터의 재생 순서를 구할 수 있다. 재생 순서는 프레임 인덱스와 일치하기 때문에 이를 이용하여 실시간 전송 스트림의 프레임 인덱스와 동기화를 수행할 수 있다.
다른 실시 예에서는 프레임 인덱스 정보가 동기화 정보로 사용될 수 있다. 프레임 인덱스 정보는 각 프레임마다 부여되는 식별 정보를 의미한다. 프레임 인덱스 정보는 실시간 전송 스트림의 EIT(Event Information Table), PMT, 프라이빗 스트림, 전송 스트림 헤더 등에 기록될 수 있다. 신호 처리부(120)는 동일한 프레임 인덱스를 가지는 프레임의 타임 스탬프가 동일해지도록 보정을 수행할 수 있다.
도 3은 프로그램 맵 테이블(Program Map Table : PMT)을 포함하는 제1 신호 및 제2 신호의 구성을 나타낸다. 도 3에 따르면, PMT는 제1 신호, 제2 신호 내에서 주기적으로 포함되어 전송된다. 상술한 컨텐츠 스타트 정보, 타임 스탬프 차이값, 프레임 인덱스 등과 같은 다양한 동기화 정보는 이러한 PMT 내에 포함되어 전송될 수 있다.
도 4는 PMT의 구조를 나타내는 도면이다. 도 4에 따르면, 각종 동기화 정보는 PMT 내의 리저브 영역(Reserved area)이나 신규 descriptor, 기존 descriptor의 확장 영역 등을 이용하여 전송될 수 있다.
도 5는 전송 스트림의 어댑테이션 필드를 이용하여 각종 동기화 정보를 전송하는 방식을 설명하기 위한 도면이다. 도 5에서는 어댑테이션 필드 내에 random_access_indicator, transport_private_data_flag, private_data_byte 등이 마련된다. random_access_indicator는 1 비트로 구현되며, 1로 세팅될 경우 시퀀스 헤더의 시작을 의미한다. 즉, 전송 스트림의 임의 접근 시점을 나타낸다. transport_private_data_flag도 1 비트로 구현되며, 1로 세팅될 경우 프라이빗 데이터가 1 바이트 이상 존재한다는 것을 의미한다. private_data_byte는 4 내지 5 바이트로 구현되며, 이 부분에 컨텐츠 스타트 정보, 타임 스탬프 차이값, 프레임 인덱스 등과 같은 동기화 정보가 포함될 수 있다.
도 6은 PES 헤더를 이용한 동기화 정보 전달 방법을 나타낸다. PES 패킷 헤더는 프레임 단위로 제공되므로 PES_private_data 부분에 각종 동기화 정보를 기록하여 전송할 수 있다. 도 6에 따르면, PES_private_data_flag를 1로 세팅하고, PES_private_data 부분에 동기화 정보를 기록할 수 있다.
도 7은 이벤트 정보 테이블(Event Information Table : EIT)을 이용하여 컨텐츠 스타트 정보나 타임 스탬프 차이값, 프레임 인덱스 등과 같은 동기화 정보를 전달하는 방법을 나타낸다. 이러한 정보들은 EIT의 reserved 영역이나 신규 또는 기존 descriptor 확장 영역에 기록되어 전송될 수 있다.
도 8은 프라이빗 스트림을 이용한 동기화 정보 방식을 나타낸다. 도 8에 도시된 바와 같이, 컨텐츠 스타트 정보, 타임 스탬프 정보, 프레임 인덱스 정보 등의 동기화 정보가 기록된 프라이빗 스트림, 즉, 데이터 비트 스트림을 기초 스트림(Program Elementary Stream : PES)과 별도로 포함시켜 전송할 수 있다. 이 경우, PES 헤더의 스트림 ID는 기 정의된 0xBD, 0xBF 이외에 예약되어 있는 값의 사용도 가능하다. 그 밖에, 타임코드나, UTC나 프레임 카운트 정보 등도 프라이빗 스트림을 이용하여 전송될 수 있다. 이에 대해서는 후술한다.
도 9는 동기화 정보 중 프레임 인덱스를 포함하는 전송 스트림 구성의 일 예를 나타낸다. MPEG 규격에 따르면, 전송 스트림은 비디오, 오디오, 기타 데이터를 전송한다. 각 프로그램의 정보는 프로그램 맵 테이블(Program Map Table : PMT)에 기록된다.
도 9에서는 프레임 인덱스가 PMT에 삽입된 구조를 나타내지만, 다른 실시 예에서는 비디오 스트림 헤더, 오디오 스트림 헤더, TS 헤더 등에 삽입될 수도 있다.
도 9에 따르면, 각 PMT에는 그 다음 프레임의 프레임 인덱스가 기록된다. 각 프레임 사이에 두 개 이상의 PMT가 제공되는 경우에는 Hybridstream_Info_Descriptor()의 값은 같은 프레임 인덱스를 가리키도록 정의한다. 송신 장치의 멀티플렉서에서 I 프레임 단위로 Descriptor()를삽입할 수 있으면, 데이터의 중복을 방지할 수도 있다.
수신 장치(100)에서는 각 PMT를 참고하여 프레임의 인덱스를 검출한 후, 이를 이용하여 제1 신호 및 제2 신호의 각 프레임들을 동기화시킬 수 있다.
한편, 데이터가 실시간 전송 스트림이 아닌 비실시간 스트림 형태로 전송되는 경우에는 프레임 인덱스는 도 9와 상이한 방식으로 제공될 수 있다.
도 10은 MP4 파일에 기록되어 전송되는 실시 예를 도시하였다. 도 10에 따르면, 프레임 인덱스 등의 동기화 정보는 MP4 파일 디렉토리 내에서 stts, stsc 등의 박스에 기록될 수도 있다. 또는, ISO media base file format(14496-12)에서 추가 박스(box)를 정의하거나, 기 정의된 박스 내 필드를 확장하여 타임 코드를 제공할 수도 있다. 일 예로, 랜덤 액세스를 제공하는 "stss(sync sample table)" 박스를 확장하여 타임 코드를 제공할 수도 있다.
도 9 및 도 10에서는 프레임 인덱스가 삽입된 경우를 설명하였으나, 기타 동기화 정보도 도 9 및 도 10에 도시된 방식으로 전송될 수 있음은 물론이다.
또한, 도 1에서는 제1 신호 및 제2 신호로 설명하였으나, 제1 신호는 메인 스트림, 제2 신호는 하이브리드 스트림으로 명명할 수도 있다. 도 9 및 도 10은 하이브리드 스트림의 구조를 예시하였으나, 메인 스트림도 동일한 구조의 스트림으로 이루어질 수도 있다. 이 경우, 도 9의 descriptor 명칭은 변경될 수 있음은 자명하다.
도 11은 프레임 인덱스가 별도의 프라이빗 스트림을 통해서 전송되는 경우를 나타내는 도면이다. 도 11에 도시된 바와 같이, 제1 신호에서 비디오 또는 오디오와 같은 멀티미디어 스트림과 별도로 프라이빗 스트림이 제공될 수 있으며, 해당 프라이빗 스트림을 통해 제2 신호와 동기화되는 프레임 인덱스 값을 제공할 수 있다. 이 경우, 제2 신호 역시 도 11과 같은 구조의 실시간 전송 스트림이라면 해당 전송 스트림의 프라이빗 스트림으로부터 프레임 인덱스를 검출하여, 동기화 시킬 수 있다.
한편, 제2 신호가 도 10에 도시된 구조를 가지는 저장 파일 포맷이라면, 그 저장 파일의 stbl 박스 등으로부터 프레임 인덱스를 확인하여, 제1 신호의 프레임 인덱스와 비교할 수 있다.
한편, 또 다른 실시 예에서는 타임 코드, UTC(Coordinated Universal Time) 정보, 프레임 카운트 정보 등도 동기화 정보로 사용될 수 있다.
도 12는 타임 코드를 동기화 정보로 이용하여 프레임을 동기화시키는 실시 예에 대한 설명이다. 타임 코드는 타임 코드 생성기에 의해 만들어지는 일련의 펄스 신호로, 용이한 편집 관리를 위해 개발된 신호 규격이다. 컨텐츠 제작 및 편집 시에는 좌안 영상 및 우안 영상의 동기화된 관리를 위하여 동일한 타임 코드를 사용한다. 따라서, 타임 코드는 스트림 생성 또는 송출 시점과 관계없이 동일한 쌍(pair)를 유지할 수 있다.
구체적으로는, SMPTE(Society of Motion Picture and Television Engineers) 타임 코드가 사용될 수 있다. 즉, SMPTE 12M에서는 "시:분:초:프레임"의 형식으로 타임 코드를 표현한다. SMPTE 타임 코드는 기록 방식에 따라 LTC(Longitude Time Code) 또는 VITC(Vertical Interval Time Code)로 구분될 수 있다. LTC는 테이프의 진행 방향에 따라 기록된다. LTC의 경우, 시각정보(25bits), 사용자 정보(32bits), 동기정보(16bits), 보존 영역(4bits), 프레임 모드 표시(2bits)를 포함하여 총 80 bits의 데이터로 구성될 수 있다. VITC는 비디오 신호의 수직 귀선 기간 내의 2 개의 수평 라인에 기록된다.
SMPTE RP-188 에서는 LTC 또는 VITC 타입의 타임코드가 ancillary data로 전송될 수 있는 인터페이스 규격을 정의하고 있다. 타임코드 및 타임 코드와 관련된 부가 정보를 신규 정의하여, 이러한 인터페이스 규격에 따라 전송할 수 있다.
타임 코드와 관련된 부가 정보로는, 좌안 영상 및 우안 영상의 타임 코드가 일치하지 않을 경우에 제공되는 타 영상에 대한 타임 코드, 현재 영상이 입체 영상인지 여부를 알려주기 위한 2D/3D 전환 정보, 입체 영상의 시작점 정보 등이 있을 수 있다. 이러한 부가 정보는 사용자 정보 영역 또는 보존 영역(혹은 무배정 영역)을 통해 제공하여 줄 수 있다. 또한, 타임 코드를 포함하지 않는 미디어의 경우에는 네트워크 프로토콜에서 타임 코드 공간을 확장 정의하여 사용할 수 있다. 예를 들어, RTP header extension을 통해 타임 코드를 제공하여 줄 수도 있다.
송신 장치(200-1, 200-2)에서는 좌안 영상의 타임 코드, 우안 영상의 타임 코드 정보를 각각 제1 동기화 정보 및 제2 동기화 정보로 이용하여, 좌안 영상 및 우안 영상과 함께 전송한다.
수신 장치(100)는 수신된 타임 코드를 이용하여 좌안 영상 및 우안 영상의 타임 스탬프를 보정하거나, 타임 코드를 직접 비교하여 동일한 타임 코드를 가지는 좌안 영상 및 우안 영상을 바로 검출하는 방식으로 동기화시킬 수 있다.
타임 코드는 비디오 기초 스트림(MPEG GoP 등), 오디오 기초 스트림, 전송 스트림 헤더, 프라이빗 스트림, PMT 등에 기록될 수 있다. 전송 스트림 헤더에 기록되는 경우 Random access Indicator, Transport_private_data_flag 영역, Private_data_byte 영역 등이 사용될 수 있다.
도 13은 GoP 헤더 내에 타임 코드가 기록된 MPEG 스트림의 구성을 나타낸다. 도 14은 도 13의 GoP 헤더의 신택스 구조의 일 예를 나타낸다.
도 14에 따르면, 타임 코드(time code)는 25bits의 데이터로 기록될 수 있다. 도 13 및 도 14에 도시된 바와 같이 타임 코드는 GoP 단위로 수신 장치(100)에 전달될 수 있다.
도 15는 타임 코드가 별도의 프라이빗 스트림을 통해서 제공되는 경우를 나타낸다. 제1 신호에서 비디오 또는 오디오 스트림과 별도로 프라이빗 스트림이 제공된다. 프라이빗 스트림에는 제2 신호와 동기화하기 위한 타임 코드가 포함된다. 제2 신호에서도 비디오 또는 오디오 스트림과 별도로 프라이빗 스트림이 제공된다. 수신 장치(100)는 제1 신호 및 제2 신호의 프라이빗 스트림 내에 기록된 타임 코드를 비교한다. 이에 따라 동일한 타임 코드를 가지는 PTS1, DTS1의 제1 신호 데이터와, PTS1', DTS1'의 제2 신호 데이터를 동기화시켜 재생한다. 나머지 신호 데이터들에 대해서도 타임 코드를 비교하여 동기화시킨다.
프라이빗 스트림을 포함하는 전송 스트림의 구성은 상술한 도 8과 같이 구현될 수 있다. 도 8에 도시된 바와 같이, 타임 코드가 기록된 프라이빗 스트림, 즉, 데이터 비트 스트림을 기초 스트림(Program Elementary Stream : PES)과 별도로 포함시켜 전송할 수 있다. 이 경우, PES 헤더의 스트림 ID는 기 정의된 0xBD, 0xBF 이외에 예약되어 있는 값의 사용도 가능하다. 그 밖에, UTC나 프레임 카운트 정보 등도 타임코드와 유사하게 전송될 수 있으므로, 이에 대해서는 도시 및 설명을 생략한다.
도 16은 본 발명의 다른 실시 예에 따른 수신 장치의 구성을 나타내는 블럭도이다. 도 16에 따르면, 수신 장치는 수신부(110), 신호 처리부(120) 이외에 신호 분석부(130), 저장부(140), 제어부(150)를 포함한다.
수신부(110)는 제1 수신부(111), 제2 수신부(112)를 포함한다. 각 수신부(111, 112)는 서로 다른 경로를 통해 전송되는 제1 신호 및 제2 신호를 각각 수신한다. 제1 및 제2 수신부(111, 112)의 구성은 그 통신 경로에 따라 다양하게 구현될 수 있다. 예를 들어, 방송 망을 통해 전송되는 신호를 수신하기 위한 모듈인 경우에는 안테나, 튜너, 복조부, 등화부 등과 같은 구성요소들을 포함할 수 있다. 네트워크를 통해 신호를 수신하는 경우에는 네트워크 통신 모듈을 포함할 수 있다.
신호 분석부(130)는 제1 신호 및 제2 신호 중 적어도 하나를 분석하여 룩업 테이블을 생성한다. 서로 다른 신호가 서로 다른 경로를 통해 수신되기 때문에, 제1 신호 및 제2 신호 중 하나는 다른 신호보다 늦게 수신될 수 있다. 예를 들어, 방송 중간에 채널을 변경하여, 3D 컨텐츠의 시작 시점보다 채널 변경 시점이 늦은 경우가 발생할 수 있다. 이 때, 제1 신호 및 제2 신호가 모두 실시간 전송 스트림인 경우에도, 제1 신호 및 제2 신호가 빠르게 동기화되어야 한다. 이러한 점을 고려하여, 동기화 정보를 이용하여 서로 매칭되는 프레임들에 대한 정보를 룩업 테이블로 기록하여 둘 수 있다. 룩업 테이블은 상술한 다양한 동기화 정보에 기초하여 서로 매칭되는 것으로 판단된 프레임들의 인덱스 정보를 포함할 수 있다.
신호 분석부(130)에서 생성된 룩업 테이블은 저장부(140)에 저장된다.
제어부(150)는 룩업 테이블을 참고하여, 서로 매칭되는 좌안 영상 및 우안 영상을 동기화시켜 재생하도록 신호 처리부(120)를 제어할 수 있다.
도 17은 룩업 테이블 생성 및 저장 과정을 설명하기 위한 도면이다. 도 17에 따르면, MPEG 규격에 따른 제2 신호, 즉, 하이브리드 스트림이 수신되면, 신호 분석부(130)는 동기화 정보를 참고하여 I 프레임의 인덱스를 검출한다. 그리고, 해당 프레임의 타임 스탬프, 메모리 어드레스 등을 포함하는 룩업 테이블(20)을 생성한 후, 저장부(140)에 저장한다.
프레임 인덱스 검출은 상술한 바와 같이 컨텐츠 스타트 정보와 해당 프레임의 타임 스탬프를 비교하거나, 타임 스탬프 차이값 등을 이용하여 수행할 수 있다. 이에 대해서는, 상술한 바 있으므로 중복 설명은 생략한다.
도 18은 프레임 인덱스 정보 자체가 동기화 정보로 제공되는 경우의 룩업 테이블 생성 및 저장 과정을 나타낸다. 도 18에 따르면, 제1 신호의 각 프레임에 대한 프레임 인덱스 정보가 제1 신호, 즉, 메인 스트림에 함께 전송된다.
이에 따라, 제2 신호, 즉, 하이브리드 스트림의 각 프레임에 대한 프레임 인덱스 정보와 함께 룩업 테이블(20)에 기록된다. 제1 신호 및 제2 신호의 프레임들의 매칭 관계가 룩업 테이블(20)에 기록되면, 제어부(150)는 이를 참고하여 동기화 재생을 수행하도록 신호 처리부(120)를 제어할 수 있다.
프레임 인덱스 정보가 직접 제공되는 경우, 도 16의 신호 분석부(130)는 생략될 수도 있다.
도 19는 타임 코드를 동기화 정보로 사용하는 실시 예에 따른 수신 장치 구성을 나타내는 도면이다. 도 19에 따르면, 수신 장치(300)는 제1 디먹스(310), 제1 디패킷화부(320), 제1 디코더(330), 렌더링부(340), 제2 디먹스(350), 제2 디패킷화부(360), 제2 디코더(370), 제어부(380)를 포함한다.
제1 디먹스(310), 제1 디패킷화부(320), 제1 디코더(330), 렌더링부(340), 제2 디먹스(350), 제2 디패킷화부(360)는 도 2 및 도 16의 신호 처리부(120)에 포함되는 구성일 수 있다.
제1 디먹스(310) 및 제2 디먹스(350)는 각각 제1 신호 및 제2 신호로부터 타임 코드를 분리하여 제어부(380)로 제공한다. 제1 디먹스(310) 및 제2 디먹스(350)는 타임 코드가 분리된 비디오 PES 패킷을 제1 디패킷화부(320) 및 제2 디패킷화부(360)로 각각 제공한다.
제1 디패킷화부(320) 및 제2 디패킷화부(360)는 타임 코드가 분리된 패킷을 파싱(parshing)하여 비디오 데이터를 제1 디코더(330) 및 제2 디코더(370)로 제공한다.
제1 및 제2 디코더(330, 370)는 각 비디오 데이터를 디코딩하여 렌더링부(340)로 제공한다. 렌더링부(340)는 제어부(380)의 제어에 따라 제1 신호의 비디오 데이터와 제2 신호의 비디오 데이터를 동기화시켜 3D 영상(30)을 재생한다.
만약, 제2 신호가 비실시간 스트림이고, 제1 신호가 실시간 스트림인 경우, 제어부(380)는 제2 신호의 타임 코드를 미리 획득하여 대기할 수 있다. 이후, 제1 신호의 타임 코드가 획득되면, 제어부(330)는 두 개의 타임 코드를 비교하여 서로 매칭되는 프레임을 탐색한다. 그리고, 탐색된 프레임들을 동기화시켜 재생하도록 렌더링부(340)를 제어한다.
도 20은 타임 코드를 동기화 정보로 사용하는 다른 실시 예에 따른 수신 장치의 구성을 나타내는 블럭도이다. 도 20의 수신 장치도, 제1 디먹스(310), 제1 디패킷화부(320), 제1 디코더(330), 렌더링부(340), 제2 디먹스(350), 제2 디패킷화부(360), 제2 디코더(370), 제어부(380)를 포함할 수 있다.
제1 디먹스(310)는 수신된 제1 신호로부터 비디오 패킷을 분리하여 제1 디패킷화부(320)로 제공한다. 제2 디패킷화부(320)는 비디오 패킷을 디패킷화하여 DTS, PTS를 검출하고, 타임 코드 정보를 제어부(380)로 제공한다.
제2 디먹스(350)는 수신된 제1 신호로부터 비디오 패킷을 분리하여 제1 디패킷화부(320)로 제공한다. 제2 디패킷화부(320)는 비디오 패킷을 디패킷화하여 DTS, PTS를 검출하고, 타임 코드 정보를 제어부(380)로 제공한다.
제1 디코더(330) 및 제2 디코더(370)는 각각 비디오 데이터를 디코딩한다.
제어부(380)는 각 신호들의 타임 코드를 참고하여, 동일한 타임 코드를 가지는 프레임 간의 타임 스탬프 차이를 계산한다. 그리고, 계산된 차이를 반영하여 제1 신호 및 제2 신호 중 적어도 하나의 타임 스탬프를 보정하고, 보정된 타임 스탬프 정보를 각 신호의 프레임에 부여하여 렌더링부(340)로 제공한다. 예를 들어, 좌안 영상의 타임 스탬프가 우안 영상의 타임 스탬프보다 늦다면, 좌안 영상의 타임 스탬프를 조정하거나 우안 영상의 타임 스탬프를 조정하여 동일한 값으로 맞출 수 있다. 렌더링부(340)는 조정된 타임 스탬프에 따라 좌안 영상 및 우안 영상을 조합하여 3D 영상을 재생한다.
도 21은 타임 코드를 동기화 정보로 사용하는 또 다른 실시 예에 따른 수신 장치의 구성을 나타내는 블럭도이다. 도 21도 도 19 및 도 20과 마찬가지로 제1 디먹스(310), 제1 디패킷화부(320), 제1 디코더(330), 렌더링부(340), 제2 디먹스(350), 제2 디패킷화부(360), 제2 디코더(370), 제어부(380)를 포함할 수 있다.
제어부(380)는 타임 코드와 매칭되는 인덱스 넘버 또는 타임 스탬프 등이 기록된 룩업 테이블을 별도의 소스 또는 경로를 통해 제공받아 저장하여 둘 수 있다. 제어부(380)는 룩업 테이블을 참고하여 동일한 시점에 재생되어야 하는 좌안 영상 및 우안 영상을 탐색한 후, 탐색 결과를 렌더링부(340)로 제공한다. 이에 따라, 동기화 재생이 이루어질 수 있다. 이러한 룩업 테이블은 제1 신호 및 제2 신호 중 하나와 함께 수신될 수도 있으며, 이와 다른 경로를 통해 제공받을 수도 있다.
즉, 좌안 영상 및 우안 영상을 제작한 컨텐츠 제작자가 룩업 테이블을 미리 생성하여 수신 장치 측으로 배포하여 줄 수 있다.
경우에 따라서는 하나의 프로그램 내에서 타임 코드가 불연속적으로 생성될 수도 있다. 이 경우, 프로그램 중간에 채널을 변경하게 되면 랜덤 액세스 시간 지연으로 인하여, 실시간으로 입력되는 좌안 영상 또는 우안 영상과 동기화되는 타 영상을 찾아내기 어려울 수 있다. 따라서, 랜덤 액세스와 관련된 룩업 테이블을 미리 생성하여 두게 되면, 랜덤 액세스 시간 지연을 최소화시킬 수 있다.
이상과 같이, 수신 장치는 다양한 형태로 구현될 수 있다.
한편, 상술한 바와 같이 타임 코드는 다양한 방식으로 수신 장치 측에 제공되어 질 수 있다.
도 22는 비디오 스트림을 이용하여 타임 코드를 제공하는 경우의 스트림 구조를 나타낸다. 도 22에 따르면, 타임 코드는, AVC(Advanced Video Coding : ISO/IEC 14496-10)에서 정의하는 SEI(Supplemental enhancement information)를 이용하여 전송할 수 있다. 즉, 도 22에 도시된 바와 같이, Picture timing SEI에서 정의하는 seconds_value, minutes_value, hours_value, n_frames를 이용하여 타임 코드를 전달할 수 있다.
도 23은 오디오 스트림을 이용하여 타임 코드를 제공하는 경우의 스트림 구조를 나타낸다. 도 23에 도시된 바와 같이 AC-3(ATSC A/52 : 2010)에 따르면 오디오 스트림은 싱크 프레임(Sync Frame)이 연속적으로 나열되는 구조를 가진다.
싱크 프레임의 구성 중에서 싱크 프레임의 정보를 제공하는 bsi(Bit Stream Information) 영역에서 타임 코드에 대한 정보를 제공할 수 있다.
도 24는 타임 코드가 PMT를 통해서 제공되는 경우의 PMT 신택스(syntax)를 나타낸다. 도 24에 따르면, 타임 코드는 주기적으로 전송되는 PMT의 리저브(reserved) 또는 descriptor를 통해서 제공될 수 있다. PMT 제공 간격은 동기화된 타임 코드를 부여하기 위한 GoP 단위 또는 프레임 단위로 이루어질 수 있다. 도 9에서는 두 개의 프레임 마다 PMT가 전송되는 것으로 도시하였으나, 매 프레임 단위로 타임 코드를 포함하는 PMT가 제공될 수도 있다.
상술한 바와 같이 다양한 정보가 동기화 정보로 사용될 수 있고, 그 위치 또한 다양하게 설정될 수 있다.
도 25는 이러한 동기화 정보가 포함된 신호를 송신하는 송신 장치 구성의 일 예를 나타내는 블럭도이다. 도 25에 따르면, 송신 장치(200)는 데이터 생성부(410) 및 전송부(420)를 포함한다. 도 25의 송신 장치(200)는 도 1의 시스템에서 복수의 송신장치(200-1, 200-2) 중 하나가 될 수 있다. 또한, 도 25의 송신 장치(200)에서 제공하는 데이터는 멀티미디어 컨텐츠를 구성하는 복수의 데이터 중 하나일 수 있다. 이에 따라, 타 송신 장치가 전송하는 또 다른 데이터와 함께 수신 장치에 제공되면, 수신 장치는 이를 이용하여 멀티미디어 컨텐츠를 재생할 수 있다. 설명의 편의를 위하여, 이하에서는 도 25의 송신 장치가 제공하는 데이터를 제1 데이터, 타 송신 장치가 제공하는 데이터를 제2 데이터라 한다.
일 실시 예에 따르면, 제1 데이터는 좌안 영상 및 우안 영상 중 하나이고, 제2 데이터는 좌안 영상 및 우안 영상 중 다른 하나일 수 있다. 이에 따라, 수신장치는 제1 데이터 및 제2 데이터를 조합하여 하나의 3D 컨텐츠를 이룰 수 있게 된다. 이 경우, 오디오 데이터나 자막 데이터 등의 기타 데이터는 제1 데이터 및 제2 데이터 중 하나와 함께 제공되거나, 별도의 경로를 통해 수신 장치로 제공될 수도 있다.
다른 실시 예에 따르면, 제1 데이터는 멀티미디어 컨텐츠를 구성하는 비디오 데이터, 오디오 데이터, 자막 데이터 및 부가 데이터 중 적어도 하나의 데이터를 포함하며, 제2 데이터는 비디오 데이터, 오디오 데이터, 자막 데이터 및 부가 데이터 중 나머지 데이터를 포함할 수 있다. 이에 따라, 수신 장치에서 3D 컨텐츠를 재생하는 경우 이외에 2D 컨텐츠를 재생하는 경우에도 상술한 여러 실시 예들이 그대로 적용될 수 있다.
데이터 생성부(410)는 제1 데이터와 동기화 정보를 포함하는 전송 데이터를 생성한다. 동기화 정보란, 제1 데이터 및 제2 데이터 간의 동기화를 위한 정보를 의미한다.
상술한 바와 같이, 동기화 정보는, 멀티미디어 컨텐츠의 시작 지점을 알리는 컨텐츠 스타트 정보, 제1 데이터 및 상기 제2 데이터 간의 타임 스탬프 차이 값, 프레임 인덱스, 타임 코드 정보, UTC 정보, 프레임 카운트 정보 중 적어도 하나를 포함할 수 있다. 이들 동기화 정보의 삽입 방법은 상술한 부분에서 구체적으로 기재하였으므로, 중복 설명은 생략한다.
전송부(420)는 데이터 생성부(410)에서 생성한 스트림을 수신 장치(100) 측으로 전송한다. 전송부(420)의 세부 구성은 스트림의 종류에 따라 상이하게 구현될 수 있다.
가령 도 25의 송신 장치가 방송 송신 장치인 경우, 전송부(420)는 RS 인코더, 인터리버, 트렐리스 인코더, 변조기 등을 포함하는 형태로 구현될 수 있다.
또는, 도 25의 송신 장치가 인터넷과 같은 네트워크를 통해서 스트림을 전송하는 웹 서버인 경우에는 전송부(420)는 HTTP 프로토콜에 따라 수신 장치 즉 웹 클라이언트와 통신하는 네트워크 인터페이스 모듈로 구현될 수 있다.
데이터 생성부(410)의 세부 구성은 실시 예에 따라 상이하게 구현될 수 있다.
도 26은 송신 장치의 세부 구성의 일 예를 나타내는 블럭도이다.
도 26에 따르면, 데이터 생성부(410)는 입력부(411), 부호화 처리부(412), 다중화부(413)를 포함한다.
입력부(411)는 컨텐츠 제작자로부터 제1 데이터 및 시그널링 정보를 제공받는다. 시그널링 정보란 동기화 정보 생성에 이용되는 정보이다.
부호화 처리부(412)는 제1 데이터를 인코딩하고, 시그널링 정보를 이용하여 동기화 정보를 생성한 후, 인코딩된 제1 데이터에 부가한다.
동기화 정보가 컨텐츠 스타트 정보인 경우, 부호화 처리부(412)는 PCR에 기초하여 최초 프레임의 타임 스탬프를 생성하고, 그 타임 스탬프를 동기화 정보로 부가한다.
또는, 타임 스탬프 차이값이 동기화 정보로 사용되는 경우, 시그널링 정보는 제2 데이터를 생성 및 송신하는 다른 송신 장치의 PCR에 대한 정보로 구현될 수 있다. 부호화 처리부(412)는 시그널링 정보를 바탕으로 제1 및 제2 데이터 간의 타임 스탬프 차이값을 동기화 정보로 생성한 후, 인코딩된 제1 데이터에 부가할 수 있다.
한편, 타임 코드가 동기화 정보로 사용되는 경우, 별도의 시그널링 정보 없이 제1 데이터 및 동기화 정보가 입력부(411)에 입력될 수 있다. 부호화 처리부(412)는 제1 데이터 및 동기화 정보를 그대로 인코딩하여 다중화부(413)로 제공한다.
그 밖에, MPEG 규격에 따른 비디오 데이터 압축 등을 수행하는 구성이 더 추가될 수 있으나, 이러한 구성은 도시 및 설명을 생략한다.
다중화부(413)는 부호화 처리부(412)에서 생성된 데이터에 부가 데이터를 먹싱하여 전송 데이터를 생성한다. 부가 데이터란 PSIP, EPG 정보 등이 될 수 있다.
전송부(420)는 다중화부(413)에서 제공되는 전송 스트림에 대하여 채널 부호화, 변조 등의 처리를 수행하여 전송 신호로 변환한 후, 채널을 통해 전송한다. 변조에는 지상 방송 방식에서 사용되는 8 VSB 방식, 케이블 TV를 위한 고속 데이터율 방식인 16 VSB 방식 등이 사용될 수 있다.
한편, 상술한 바와 같이 수신 장치에서 서로 다른 데이터가 서로 다른 경로를 통해 수신되기 위해서는 복수의 송신 장치에서 각각 데이터를 전송하거나, 하나의 송신 장치가 서로 다른 전송 유닛을 이용하여 데이터를 전송하여야 한다. 복수의 송신 장치에서 각각 데이터를 전송하는 경우에는 각 송신 장치가 동기화 정보를 생성하여 부가하기 위해서는 프로그램의 시간 계획을 공유하여야 한다.
도 27은 본 발명의 또 다른 실시 예에 따른 송신 장치의 구성을 나타낸다. 도 27의 송신 장치는 타임 코드를 별도의 프라이빗 스트림으로 처리하여 전송한다. 도 27에 따르면, 송신 장치는 A/V 인코더부(510), 타임 코드 검출부(520), 타임 코드 인코더부(530), 멀티플렉서(540)를 포함한다.
A/V 인코더부(510)는 입력되는 멀티미디어 데이터에 포함된 A/V 데이터를 인코딩한다. 인코딩 방식은 송신 장치에 적용된 규격에 따라 달라질 수 있다.
타임 코드 검출부(520)는 입력되는 멀티미디어 데이터로부터 영상의 타임 코드를 검출하여 타임 코드 인코더부(530)로 제공한다. 검출되는 타임 코드는 타임 라인 데이터 파일로 저장될 수 있다. 타임 코드 인코더부(530)는 검출된 타임 코드를 적절한 전송 포맷으로 인캡슐레이트(encapsulate)하고, A/V 인코더부(510)와 동일한 프로그램 시스템 클럭을 사용하여 산출되는 프리젠테이션 타임스탬프를 조합하여, A/V 인코더부(510)에서 처리하는 A/V(Audio/Video) 데이터와 동기화시킨다.
타임 코드 인코더부(530)에서 처리된 타임 코드 정보는 A/V 인코더부(510)에서 처리된 A/V 데이터와 함께 멀티플렉서(540)로 제공된다. 멀티플렉서(540)는 이러한 데이터를 멀티플렉싱하여 MPEG2-TS를 출력한다.
도 27에서는 도시하지 않았으나, 송신 장치에는 파일럿 삽입부, 변조부, 인터리버, 랜덤화부, RF 업컨버터 등과 같은 다양한 구성들이 추가될 수 있다. 이들 구성은 송신 장치의 일반적인 구성에 해당하므로, 구체적인 도시 및 설명은 생략한다.
도 28은 프로그램의 시간 계획을 공유하는 복수의 스트림 생성 주체들에 대하여 도시하고 있다.
스트림 생성 주체들의 예를 들면, 비디오 및 오디오를 전송하는 방송국, 자막과 같은 부가 데이터를 전송하는 제3자, 관련된 게임을 제공하는 제3자 등이 있을 수 있다. 도 20에 따르면 하나의 프로그램을 구성하는 전송 스트림을 제작하기 위하여 스트림 생성 주체 1, 2, 3 중 하나는 다른 스트림 생성 주체들로 타임 코드에 기초하여 시간 계획을 전송하여 준다. 각 스트림 생성 주체들은 시간 계획을 이용하여 동기화 정보를 생성하고 각각 전송 스트림을 생성하여 전송할 수 있다. 이러한 시간 계획 또는 동기화 정보는 기존 EPG에서 제공하는 시간 스케쥴과 달리 스트림 생성단 동기화를 위하여 정확도를 가지는 프레임 단위 정보이다.
도 29는 동기화 정보를 생성하기 위한 정보 공유의 또 다른 방법을 설명하는 도면이다. 도 29에 따르면, 기준시간 서버(600)는 각 스트림 생성 주체 1, 2, 3에게 기준 시간을 제공한다. 동일한 기준 시간 서버(600)를 통해 기준 시간, 즉, PCR을 제공받아서 공유하게 되면, 같은 컨텐츠의 프레임에 대하여 같은 DTS, PTS를 생성하여 부가할 수도 있게 된다.
도 30은 UTC 또는 프레임 카운트 값 등을 동기화 정보로 사용하는 송신 장치들의 구성의 예를 나타내는 도면이다.
도 30에 따르면 서로 다른 미디어 #1, #2, #3들은 각각 서로 다른 스트림 생성부(710, 720, 730)로 제공된다. 이 경우, 각 미디어 #1, #2, #3들과 함께 UTC 또는 프레임 카운트 값도 제공될 수 있다. 각 스트림 생성부(710, 720, 730)는 이들 정보를 동기화 정보로 부가하여 전송 스트림 #1, #2, #3을 각각 생성한 후, 전송한다.
이상과 같이, 다양한 종류의 동기화 정보가 각 데이터들과 함께 수신 장치로 제공되어, 수신 장치를 이를 바탕으로 데이터들을 정확하게 동기화시켜 컨텐츠를 재생할 수 있게 된다.
도 31은 본 발명의 일 실시 예에 따른 컨텐츠 재생 방법을 설명하기 위한 흐름도이다.
도 31에 따르면, 수신 장치는 제1 신호 및 제2 신호를 서로 다른 경로를 통해 각각 수신한다(S2310). 제1 신호에는 제1 데이터와 함께 제1 동기화 정보가 포함되고, 제2 신호에는 제2 데이터와 함께 제2 동기화 정보가 포함된다.
수신 장치는 제1 및 제2 동기화 정보를 각각 검출한 후(S2320), 이를 바탕으로 매칭되는 프레임들을 확인하여 동기화시켜 재생한다(S2330). 구체적으로는 서로 매칭되는 프레임들의 타임 스탬프를 직접 보정하거나, 동기화 정보를 직접 비교하여 매칭되는 프레임을 바로 동기화시켜 재생할 수 있다.
도 32는 본 발명의 다른 실시 예에 따른 수신 장치의 재생 방법을 설명하기 위한 흐름도이다. 도 32에 따르면, 두 개의 신호 중 제2 신호를 수신하여 저장한다(S2410). 그리고 제2 신호를 분석하여(S2420), 제2 신호에 포함된 데이터의 프레임 인덱스를 검출한 후 인덱스 테이블에 저장한다(S2430).
제2 신호 수신과 별개로 제1 신호가 수신되면(S2440), 제1 신호의 프레임의 타임 스탬프를 추출한다(S2450). 그리고 해당 프레임의 프레임 인덱스를 추출한 후(S2460), 인덱스 테이블과 비교하여 매칭되는 프레임을 검색한다(S2470).
그리고 나서 검색된 프레임들을 동기화시켜 재생한다(S2480).
동기화 정보의 예 및 이를 이용한 동기화 방법에 대해서는 상술한 여러 실시 예들에서 설명한 바 있으므로 중복 설명은 생략한다.
상술한 바와 같이 본 명세서에서의 좌안 영상 및 우안 영상의 동기화 이외에 영상과 텍스트, 영상과 오디오 등과 같이 다양한 이종의 데이터 간의 동기화를 수행할 수도 있다. 일 예로 UHD(Ultra High Definition) 전송에 있어서도 기존 HD 채널을 이용하는 장치와의 호환성을 보장하기 위하여 비실시간으로 UHD 부가 영상을 전송할 수 있다. 이 경우, 하나의 원본 영상으로 복원하기 위해서는 영상간 동기화가 필수적이다. 따라서, 상술한 다양한 실시 예의 동기화 기술이 UHD 전송에도 사용될 수 있다.
상술한 본 발명의 다양한 실시 예들에 따른 방법을 수행하기 위한 프로그램은 다양한 유형의 기록 매체에 저장되어 사용될 수 있다.
구체적으로는, 상술한 방법들을 수행하기 위한 코드는, RAM(Random Access Memory), 플레시메모리, ROM(Read Only Memory), EPROM(Erasable Programmable ROM), EEPROM(Electronically Erasable and Programmable ROM), 레지스터, 하드디스크, 리무버블 디스크, 메모리 카드, USB 메모리, CD-ROM 등과 같이, 단말기에서 판독 가능한 다양한 유형의 기록 매체에 저장되어 있을 수 있다.
또한, 이상에서는 본 발명의 바람직한 실시예에 대하여 도시하고 설명하였지만, 본 발명은 상술한 특정의 실시예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 발명의 기술적 사상이나 전망으로부터 개별적으로 이해되어져서는 안될 것이다.

Claims (15)

  1. 좌안 영상 및 제1 동기화정보를 포함하는 제1 신호와, 우안 영상 및 제2 동기화 정보를 포함하는 제2 신호를 서로 다른 경로를 통해 수신하는 수신부;
    상기 제1 동기화 정보 및 상기 제2 동기화 정보를 이용하여 상기 좌안 영상 및 상기 우안 영상을 동기화시켜 재생하는 신호 처리부;를 포함하는 수신 장치.
  2. 제1항에 있어서,
    상기 제1 동기화 정보 및 상기 제2 동기화 정보는,
    상기 좌안 영상 및 상기 우안 영상으로 구성되는 컨텐츠의 시작 시점을 알리는 컨텐츠 스타트 정보를 포함하는 것을 특징으로 하는 수신 장치.
  3. 제2항에 있어서,
    상기 신호 처리부는,
    상기 컨텐츠의 시작 시점과 상기 좌안 영상의 타임 스탬프 및 상기 우안 영상의 타임 스탬프를 각각 비교하고, 비교 결과에 따라 상기 좌안 영상의 타임 스탬프 및 상기 우안 영상의 타임 스탬프 중 적어도 하나를 보정하여 동기화시키는 것을 특징으로 하는 수신 장치.
  4. 제1항에 있어서,
    상기 제1 동기화 정보 및 상기 제2 동기화 정보는 각각 상기 좌안 영상의 타임 스탬프 및 상기 우안 영상의 타임 스탬프 간의 차이 값을 포함하며,
    상기 신호 처리부는,
    상기 차이 값을 이용하여 상기 좌안 영상의 타임 스탬프 및 상기 우안 영상의 타임 스탬프 중 적어도 하나를 보정 하여 동기화시키는 것을 특징으로 하는 수신 장치.
  5. 제1항에 있어서,
    상기 제1 동기화 정보는 상기 좌안 영상의 프레임 인덱스를 포함하고,
    상기 제2 동기화 정보는 상기 우안 영상의 프레임 인덱스를 포함하며,
    상기 신호 처리부는,
    상기 좌안 영상의 프레임 인덱스 및 상기 우안 영상의 프레임 인덱스를 비교하여, 동일한 프레임 인덱스를 가지는 좌안 영상 및 우안 영상이 동기화되도록 처리하는 것을 특징으로 하는 수신 장치.
  6. 제1항에 있어서,
    상기 제1 동기화 정보는 상기 좌안 영상의 타임 코드를 포함하고,
    상기 제2 동기화 정보는 상기 우안 영상의 타임 코드를 포함하며,
    상기 신호 처리부는,
    상기 좌안 영상의 타임 코드 및 상기 우안 영상의 타임 코드를 비교하여, 동일한 타임 코드를 가지는 좌안 영상 및 우안 영상이 동기화되도록 처리하는 것을 특징으로 하는 수신 장치.
  7. 제1항에 있어서,
    상기 제1 동기화 정보 및 제2 동기화 정보는 UTC(Coordinated Universal Time) 정보를 포함하고,
    상기 신호 처리부는 상기 UTC 정보를 비교하여 동일한 UTC를 가지는 좌안 영상 및 우안 영상이 동기화되도록 처리하는 것을 특징으로 하는 수신 장치.
  8. 제1항 내지 제7항 중 어느 한 항에 있어서,
    상기 제1 신호 및 제2 신호 중 적어도 하나를 분석하여 룩업 테이블을 생성하는 신호 분석부; 및,
    상기 룩업 테이블을 저장하는 저장부;
    상기 룩업 테이블에 따라 서로 매칭되는 좌안 영상 및 우안 영상을 동기화시켜 재생하도록 상기 신호 처리부를 제어하는 제어부;를 포함하며,
    상기 제1 신호 및 상기 제2 신호 중 적어도 하나는 실시간 전송 스트림인 것을 특징으로 하는 수신 장치.
  9. 멀티미디어 컨텐츠를 구성하는 제1 데이터 및, 상기 멀티미디어 컨텐츠를 구성하는 제2 데이터와의 동기화를 위한 동기화 정보를 포함하는 전송 데이터를 생성하는 데이터 생성부;
    상기 데이터 생성부에서 제공되는 전송 데이터를 전송 신호로 변환하여 수신장치로 전송하는 전송부;를 포함하는 송신 장치.
  10. 제9항에 있어서,
    상기 동기화 정보는,
    상기 멀티미디어 컨텐츠의 시작 지점을 알리는 컨텐츠 스타트 정보, 상기 제1 데이터 및 상기 제2 데이터 간의 타임 스탬프 차이 값, 프레임 인덱스 중 적어도 하나를 포함하는 것을 특징으로 하는 송신 장치.
  11. 제10항에 있어서,
    상기 데이터 생성부는,
    상기 제1 데이터 및 시그널링 정보를 입력받는 입력부;
    상기 제1 데이터를 인코딩하고, 상기 시그널링 정보를 이용하여 상기 동기화 정보를 생성하여 상기 인코딩된 제1 데이터에 부가하는 부호화 처리부;
    상기 부호화 처리부에서 생성된 데이터에 부가 데이터를 먹싱하여 상기 전송 데이터를 생성하는 다중화부;를 포함하는 것을 특징으로 하는 송신 장치.
  12. 제9항에 있어서,
    상기 제1 데이터는 적어도 하나의 영상 프레임에 대한 데이터를 포함하며,
    상기 동기화 정보는,
    상기 영상 프레임의 타임 코드 정보인 것을 특징으로 하는 송신 장치.
  13. 제9항 내지 제12항 중 어느 한 항에 있어서,
    상기 제1 데이터는 3D 프레임을 구성하기 위한 좌안 영상 및 우안 영상 중 하나를 포함하며, 상기 제2 데이터는 상기 좌안 영상 및 상기 우안 영상 중 다른 하나를 포함하는 것을 특징으로 하는 송신 장치.
  14. 제9항 내지 제12항 중 어느 한 항에 있어서,
    상기 제1 데이터는 상기 멀티미디어 컨텐츠를 구성하는 비디오 데이터, 오디오 데이터, 자막 데이터 및 부가 데이터 중 적어도 하나의 데이터를 포함하며, 상기 제2 데이터는 상기 비디오 데이터, 오디오 데이터, 자막 데이터 및 부가 데이터 중 나머지 데이터를 포함하는 것을 특징으로 하는 송신 장치.
  15. 멀티미디어 컨텐츠를 재생하는 재생 방법에 있어서,
    멀티미디어 컨텐츠를 구성하는 제1 데이터 및 제1 동기화 정보를 포함하는 제1 신호와, 상기 멀티미디어 컨텐츠를 구성하는 제2 데이터 및 제2 동기화 정보를 포함하는 제2 신호를 서로 다른 경로를 통해 수신하는 단계;
    상기 제1 동기화 정보 및 상기 제2 동기화 정보를 이용하여 상기 제1 데이터 및 상기 제2 데이터를 동기화시켜, 상기 멀티미디어 컨텐츠를 재생하는 단계;를 포함하며,
    상기 제1 동기화 정보 및 상기 제2 동기화 정보는,
    상기 멀티미디어 컨텐츠의 시작 지점을 알리는 컨텐츠 스타트 정보, 상기 제1 데이터 및 상기 제2 데이터 간의 타임 스탬프 차이 값, 프레임 인덱스, 타임 코드 정보, UTC 정보, 프레임 카운트 정보 중 적어도 하나를 각각 포함하는 것을 특징으로 하는 재생 방법.
PCT/KR2011/009442 2010-12-07 2011-12-07 멀티미디어 컨텐츠를 송수신하는 송신 장치 및 수신 장치와, 그 재생 방법 WO2012077982A2 (ko)

Priority Applications (6)

Application Number Priority Date Filing Date Title
JP2013543098A JP2014504083A (ja) 2010-12-07 2011-12-07 マルチメディアコンテンツを送受信する送信装置および受信装置、その再生方法
MX2013006515A MX2013006515A (es) 2010-12-07 2011-12-07 Transmisor y receptor para transmitir y recibir contenido multimedia, y metodo de reproduccion para los mismos.
EP11846165.6A EP2651142A4 (en) 2010-12-07 2011-12-07 TRANSMITTER AND RECEIVER FOR TRANSMITTING AND RECEIVING MULTIMEDIA CONTENT AND PLAYING PROCESS THEREFOR
BR112013013994-3A BR112013013994A2 (pt) 2010-12-07 2011-12-07 aparelho de recepção, aparelho de transmissão, e método para reproduzir conteúdo de multimídia.
US13/992,355 US9628771B2 (en) 2010-12-07 2011-12-07 Transmitter and receiver for transmitting and receiving multimedia content, and reproduction method therefor
CN2011800592066A CN103262554A (zh) 2010-12-07 2011-12-07 收发多媒体内容的发送装置和接收装置及其再现方法

Applications Claiming Priority (8)

Application Number Priority Date Filing Date Title
US42043510P 2010-12-07 2010-12-07
US61/420,435 2010-12-07
US201161450779P 2011-03-09 2011-03-09
US61/450,779 2011-03-09
US201161478161P 2011-04-22 2011-04-22
US61/478,161 2011-04-22
KR1020110128643A KR101831775B1 (ko) 2010-12-07 2011-12-02 멀티미디어 컨텐츠를 송수신하는 송신 장치 및 수신 장치와, 그 재생 방법
KR10-2011-0128643 2011-12-02

Publications (2)

Publication Number Publication Date
WO2012077982A2 true WO2012077982A2 (ko) 2012-06-14
WO2012077982A3 WO2012077982A3 (ko) 2012-07-26

Family

ID=46683930

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2011/009442 WO2012077982A2 (ko) 2010-12-07 2011-12-07 멀티미디어 컨텐츠를 송수신하는 송신 장치 및 수신 장치와, 그 재생 방법

Country Status (8)

Country Link
US (1) US9628771B2 (ko)
EP (1) EP2651142A4 (ko)
JP (1) JP2014504083A (ko)
KR (1) KR101831775B1 (ko)
CN (1) CN103262554A (ko)
BR (1) BR112013013994A2 (ko)
MX (1) MX2013006515A (ko)
WO (1) WO2012077982A2 (ko)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103517062A (zh) * 2012-06-15 2014-01-15 晨星软件研发(深圳)有限公司 影像的同步方法及其装置
US9491435B2 (en) 2012-06-05 2016-11-08 Mstar Semiconductor, Inc. Image synchronization method and associated apparatus
JP2017508327A (ja) * 2013-12-23 2017-03-23 エルジー エレクトロニクス インコーポレイティド 一つ以上のネットワークで放送コンテンツを送受信する装置及び方法
US20210160296A1 (en) * 2019-11-27 2021-05-27 Electronics And Telecommunications Research Institute Method and apparatus for selecting and receiving stream in distribution network-based multimedia streaming service
CN113873345A (zh) * 2021-09-27 2021-12-31 中国电子科技集团公司第二十八研究所 一种分布式的超高清视频同步处理方法

Families Citing this family (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101405276B1 (ko) * 2011-08-10 2014-07-15 한국전자통신연구원 고정 및 이동 융합형 ３ｄｔｖ에서 좌／우 스트림을 동기화하는 컨텐츠 제공 장치 및 방법, 그리고, 컨텐츠 재생 장치 및 방법
WO2013162256A1 (ko) * 2012-04-23 2013-10-31 엘지전자 주식회사 3ｄ 서비스를 위한 신호 처리 장치 및 방법
KR20130121058A (ko) * 2012-04-26 2013-11-05 한국전자통신연구원 3dtv를 위한 영상 재생 장치 및 상기 장치가 수행하는 방법
KR101699367B1 (ko) * 2012-05-16 2017-02-14 한국전자통신연구원 3ｄｔｖ 다중화 방법 및 그 장치
EP2866457B1 (en) * 2012-06-22 2019-03-20 Saturn Licensing LLC Reception device, and synchronous processing method therefor
JP6333173B2 (ja) * 2012-06-22 2018-05-30 サターン ライセンシング エルエルシーＳａｔｕｒｎ Ｌｉｃｅｎｓｉｎｇ ＬＬＣ 受信装置および受信方法
KR101481797B1 (ko) * 2013-01-07 2015-01-13 한국기술교육대학교 산학협력단 입체영상시스템에서 좌우영상의 프레임간 동기를 보정하기 위한 방법 및 그 장치
ITTO20130035A1 (it) * 2013-01-15 2014-07-16 Inst Rundfunktechnik Gmbh Sendeeinrichtung zum drahtlosen uebertragen eines mpeg2-ts kompatiblen datenstroms
US10284840B2 (en) 2013-06-28 2019-05-07 Electronics And Telecommunications Research Institute Apparatus and method for reproducing 3D image
JP6510205B2 (ja) * 2013-10-11 2019-05-08 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ 送信方法、受信方法、送信装置および受信装置
US9942622B2 (en) * 2014-01-24 2018-04-10 Hiperwall, Inc. Methods and systems for synchronizing media stream presentations
CN104935914B (zh) * 2014-03-19 2017-03-22 宏达国际电子股份有限公司 电子装置及其摄影方法
CN104539931A (zh) * 2014-12-05 2015-04-22 北京格灵深瞳信息技术有限公司 一种多目相机系统、装置及同步方法
WO2016163603A1 (ko) * 2015-04-05 2016-10-13 엘지전자 주식회사 Xml 자막에 기반한 방송 서비스를 위한 방송 신호 송수신 방법 및 장치
CN106303673B (zh) * 2015-06-04 2021-01-22 中兴通讯股份有限公司 码流对齐、同步处理方法及发送、接收终端和通信系统
US10129500B2 (en) 2015-11-06 2018-11-13 Panasonic Intellectual Property Management Co., Ltd. Multi-display apparatus
JP6623888B2 (ja) * 2016-03-29 2019-12-25 セイコーエプソン株式会社 表示システム、表示装置、頭部装着型表示装置、表示制御方法、表示装置の制御方法、及び、プログラム
WO2019139184A1 (ko) * 2018-01-10 2019-07-18 계명대학교 산학협력단 계층적 스트리밍 네트워크에서의, 미디어 스트리밍 그룹 동기화 시스템 및 방법
US11132141B2 (en) * 2018-07-23 2021-09-28 Ionir Systems Ltd. System and method for synchronization of data containers
CN110505466B (zh) * 2019-09-12 2021-09-28 北京四维图新科技股份有限公司 图像处理方法、装置、电子设备、存储介质和系统
CN112130565B (zh) * 2020-09-14 2023-06-23 贵州翰凯斯智能技术有限公司 一种自走机器人平台控制系统及其通信方法
CN113473105A (zh) * 2021-06-01 2021-10-01 青岛小鸟看看科技有限公司 图像同步方法、图像显示及处理设备、及图像同步系统

Family Cites Families (39)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
USRE37991E1 (en) * 1993-01-12 2003-02-18 Visual Automation Systems, Inc. Apparatus for tracking the flow of video signals by incorportating patterns of machine readable signals which will appear at predetermined locations of a television picture
US5619256A (en) * 1995-05-26 1997-04-08 Lucent Technologies Inc. Digital 3D/stereoscopic video compression technique utilizing disparity and motion compensated predictions
JPH0936871A (ja) * 1995-07-17 1997-02-07 Sony Corp データ伝送システムおよびデータ伝送方法
EP0888018B1 (en) 1996-02-28 2006-06-07 Matsushita Electric Industrial Co., Ltd. Optical disk having plural streams of digital video data recorded thereon in interleaved manner, and apparatuses and methods for recording on, and reproducing from, the optical disk
CN100484237C (zh) 2001-04-24 2009-04-29 派威公司 利用预取数据传输的数据点播数字广播系统
US7280674B2 (en) * 2001-06-05 2007-10-09 University Of Florida Research Foundation Device and method for object illumination and imaging using time slot allocation based upon road changes
JP2004040455A (ja) * 2002-07-03 2004-02-05 Nippon Television Network Corp 伝送再生方法、伝送方法、及びそのシステム
KR100751422B1 (ko) * 2002-12-27 2007-08-23 한국전자통신연구원 스테레오스코픽 비디오 부호화 및 복호화 방법, 부호화 및복호화 장치
JP2004357156A (ja) 2003-05-30 2004-12-16 Sharp Corp 映像受信装置および映像再生装置
JP4332089B2 (ja) 2004-08-19 2009-09-16 ソニー株式会社 再生装置、再生方法および再生プログラム、ならびに、記録媒体
JP2006324739A (ja) 2005-05-17 2006-11-30 Matsushita Electric Ind Co Ltd 符号化データ再生装置
KR100739764B1 (ko) * 2005-11-28 2007-07-13 삼성전자주식회사 입체 영상 신호 처리 장치 및 방법
KR100772866B1 (ko) 2006-02-21 2007-11-02 삼성전자주식회사 타임 시프트된 컨텐츠와 실시간 컨텐츠의 재생 시간을동기화시키는 장치 및 그 방법
KR100801002B1 (ko) 2006-06-05 2008-02-11 삼성전자주식회사 무선 네트워크 상에서 멀티미디어 데이터를 전송/재생하는방법, 및 그 방법을 이용한 무선 기기
KR100905723B1 (ko) 2006-12-08 2009-07-01 한국전자통신연구원 비실시간 기반의 디지털 실감방송 송수신 시스템 및 그방법
CN101232623A (zh) * 2007-01-22 2008-07-30 李会根 基于传输流的立体音视频数字编码传输方法和系统
CN100559877C (zh) 2007-04-27 2009-11-11 北京大学 一种支持多视点视频合成的网络流媒体播放器及方法
JP5129053B2 (ja) 2007-07-27 2013-01-23 パナソニック株式会社 コンテンツ再生装置、コンテンツ再生方法、コンテンツ再生プログラム及び集積回路
WO2009077969A2 (en) * 2007-12-18 2009-06-25 Koninklijke Philips Electronics N.V. Transport of stereoscopic image data over a display interface
CA2721397C (en) * 2008-05-02 2014-09-30 Lg Electronics Inc. Method of receiving broadcasting signal and apparatus for receiving broadcasting signal
JP4692600B2 (ja) 2008-09-25 2011-06-01 富士ゼロックス株式会社 情報処理装置、通信システム、及びプログラム
KR101500440B1 (ko) 2008-10-17 2015-03-09 삼성전자 주식회사 영상처리장치 및 영상처리방법
KR100972792B1 (ko) 2008-11-04 2010-07-29 한국전자통신연구원 스테레오스코픽 영상을 동기화하는 장치 및 방법과 이를 이용한 스테레오스코픽 영상 제공 장치 및 방법
EP2211556A1 (en) 2009-01-22 2010-07-28 Electronics and Telecommunications Research Institute Method for processing non-real time stereoscopic services in terrestrial digital multimedia broadcasting and apparatus for receiving terrestrial digital multimedia broadcasting
CN102833573B (zh) * 2009-02-19 2013-09-25 松下电器产业株式会社 接收装置
GB0903063D0 (en) * 2009-02-24 2009-04-08 Geotate Bv automatic configuration
JP4962525B2 (ja) 2009-04-08 2012-06-27 ソニー株式会社 再生装置、再生方法、およびプログラム
JP5274359B2 (ja) 2009-04-27 2013-08-28 三菱電機株式会社 立体映像および音声記録方法、立体映像および音声再生方法、立体映像および音声記録装置、立体映像および音声再生装置、立体映像および音声記録媒体
US8593511B2 (en) * 2009-06-11 2013-11-26 Panasonic Corporation Playback device, integrated circuit, recording medium
US20110025821A1 (en) * 2009-07-30 2011-02-03 Dell Products L.P. Multicast stereoscopic video synchronization
JP2011087195A (ja) * 2009-10-16 2011-04-28 Sony Corp 画像処理装置および画像処理方法
JP2011119906A (ja) * 2009-12-02 2011-06-16 Sony Corp 画像処理装置および画像処理方法
KR20110064161A (ko) * 2009-12-07 2011-06-15 삼성전자주식회사 3차원 영상에 관한 압축 방법 및 장치, 그리고 3차원 영상 디스플레이 장치 및 그 시스템
WO2011071929A2 (en) 2009-12-07 2011-06-16 Photon-X, Inc. 3d visualization system
US9491437B2 (en) * 2010-12-07 2016-11-08 Samsung Electronics Co., Ltd. Transmitter for transmitting data for constituting content, receiver for receiving and processing data, and method therefor
KR20120084252A (ko) * 2011-01-19 2012-07-27 삼성전자주식회사 복수의 실시간 전송 스트림을 수신하는 수신 장치와 그 송신 장치 및 멀티미디어 컨텐츠 재생 방법
JP2012165142A (ja) * 2011-02-04 2012-08-30 Canon Inc 情報処理装置及びその制御方法、並びに、プログラム
CN104471951B (zh) * 2012-07-16 2018-02-23 Lg电子株式会社 处理数字服务信号的方法及装置
JP6004807B2 (ja) * 2012-07-24 2016-10-12 キヤノン株式会社 画像処理装置、その制御方法、プログラム

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
None

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9491435B2 (en) 2012-06-05 2016-11-08 Mstar Semiconductor, Inc. Image synchronization method and associated apparatus
CN103517062A (zh) * 2012-06-15 2014-01-15 晨星软件研发(深圳)有限公司 影像的同步方法及其装置
CN103517062B (zh) * 2012-06-15 2016-05-25 晨星软件研发(深圳)有限公司 影像的同步方法及其装置
JP2017508327A (ja) * 2013-12-23 2017-03-23 エルジー エレクトロニクス インコーポレイティド 一つ以上のネットワークで放送コンテンツを送受信する装置及び方法
US10080055B2 (en) 2013-12-23 2018-09-18 Lg Electronics Inc. Apparatuses and methods for transmitting or receiving a broadcast content via one or more networks
US20210160296A1 (en) * 2019-11-27 2021-05-27 Electronics And Telecommunications Research Institute Method and apparatus for selecting and receiving stream in distribution network-based multimedia streaming service
US11509702B2 (en) * 2019-11-27 2022-11-22 Electronics And Telecommunications Research Institute Method and apparatus for selecting and receiving stream in distribution network-based multimedia streaming service
CN113873345A (zh) * 2021-09-27 2021-12-31 中国电子科技集团公司第二十八研究所 一种分布式的超高清视频同步处理方法
CN113873345B (zh) * 2021-09-27 2023-11-14 中国电子科技集团公司第二十八研究所 一种分布式的超高清视频同步处理方法

Also Published As

Publication number Publication date
JP2014504083A (ja) 2014-02-13
EP2651142A2 (en) 2013-10-16
WO2012077982A3 (ko) 2012-07-26
EP2651142A4 (en) 2014-08-06
US9628771B2 (en) 2017-04-18
KR20120063431A (ko) 2012-06-15
MX2013006515A (es) 2013-07-22
BR112013013994A2 (pt) 2020-11-17
CN103262554A (zh) 2013-08-21
US20130258054A1 (en) 2013-10-03
KR101831775B1 (ko) 2018-02-26

Similar Documents

Publication Publication Date Title
WO2012077982A2 (ko) 멀티미디어 컨텐츠를 송수신하는 송신 장치 및 수신 장치와, 그 재생 방법
WO2012099359A2 (ko) 복수의 실시간 전송 스트림을 수신하는 수신 장치와 그 송신 장치 및 멀티미디어 컨텐츠 재생 방법
WO2013154402A1 (en) Receiving apparatus for receiving a plurality of signals through different paths and method for processing signals thereof
WO2013025035A9 (ko) 송신 장치, 수신 장치 및 그 송수신 방법
WO2011013995A2 (en) Method and apparatus for generating 3-dimensional image datastream including additional information for reproducing 3-dimensional image, and method and apparatus for receiving the 3-dimensional image datastream
WO2013019042A1 (ko) 실시간으로 전송되는 기준 영상과 별도로 전송되는 부가 영상 및 콘텐츠를 연동하여 3ｄ 서비스를 제공하기 위한 전송 장치 및 방법, 및 수신 장치 및 방법
WO2012011724A2 (ko) 미디어 파일 송수신 방법 및 그를 이용한 송수신 장치
WO2013154397A1 (en) Transmitting system and receiving apparatus for providing hybrid service, and service providing method thereof
WO2013025032A1 (ko) 수신 장치 및 그 수신 방법
WO2012128563A2 (ko) 이종망 기반 연동형 방송콘텐츠 송수신 장치 및 방법
WO2012177041A2 (ko) 미디어 컨텐트 송수신 방법 및 그를 이용한 송수신 장치
WO2011093676A2 (en) Method and apparatus for generating data stream for providing 3-dimensional multimedia service, and method and apparatus for receiving the data stream
WO2013154350A1 (en) Receiving apparatus for providing hybrid service, and hybrid service providing method thereof
WO2010147289A1 (en) Broadcast transmitter, broadcast receiver and 3d video processing method thereof
WO2011046338A2 (en) Broadcast receiver and 3d video data processing method thereof
WO2016089093A1 (ko) 방송 신호 송수신 방법 및 장치
WO2013055164A1 (ko) 콘텐츠 디스플레이 방법, 콘텐츠 동기화 방법, 방송 콘텐츠 디스플레이 방법 및 디스플레이 장치
WO2012121572A2 (ko) 프로그램 연동형 스테레오스코픽 방송 서비스를 제공하기 위한 송신 장치 및 방법, 및 수신 장치 및 방법
WO2012077981A2 (ko) 컨텐츠를 구성하는 데이터를 송신하는 송신 장치와 그 데이터를 수신하여 처리하는 수신 장치 및 그 방법
WO2013032221A1 (ko) 디지털 방송 신호 처리 방법 및 장치
WO2011028024A2 (en) Cable broadcast receiver and 3d video data processing method thereof
WO2012023787A2 (ko) 디지털 수신기 및 디지털 수신기에서의 컨텐트 처리 방법
WO2011049372A2 (en) Method and apparatus for generating stream and method and apparatus for processing stream
WO2011046271A1 (en) Broadcast receiver and 3d video data processing method thereof
WO2013100641A1 (ko) 입체영상 디스플레이가 가능한 디지털 방송 수신방법 및 수신장치

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 11846165

Country of ref document: EP

Kind code of ref document: A2

ENP Entry into the national phase

Ref document number: 2013543098

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

WWE Wipo information: entry into national phase

Ref document number: 13992355

Country of ref document: US

Ref document number: MX/A/2013/006515

Country of ref document: MX

REG Reference to national code

Ref country code: BR

Ref legal event code: B01A

Ref document number: 112013013994

Country of ref document: BR

ENP Entry into the national phase

Ref document number: 112013013994

Country of ref document: BR

Kind code of ref document: A2

Effective date: 20130606