WO2012077987A2 - 디지털 방송 신호 수신 장치 및 방법 - Google Patents

디지털 방송 신호 수신 장치 및 방법 Download PDF

Info

Publication number
WO2012077987A2
WO2012077987A2 PCT/KR2011/009458 KR2011009458W WO2012077987A2 WO 2012077987 A2 WO2012077987 A2 WO 2012077987A2 KR 2011009458 W KR2011009458 W KR 2011009458W WO 2012077987 A2 WO2012077987 A2 WO 2012077987A2
Authority
WO
WIPO (PCT)
Prior art keywords
video
service
information
channel
additional
Prior art date
Application number
PCT/KR2011/009458
Other languages
English (en)
French (fr)
Other versions
WO2012077987A3 (ko
Inventor
서종열
최지현
김진필
김관석
Original Assignee
엘지전자 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 엘지전자 주식회사 filed Critical 엘지전자 주식회사
Priority to CN201180059988.3A priority Critical patent/CN103262549B/zh
Priority to KR1020137014107A priority patent/KR101915130B1/ko
Priority to CA2820025A priority patent/CA2820025C/en
Priority to US13/992,094 priority patent/US9628780B2/en
Publication of WO2012077987A2 publication Critical patent/WO2012077987A2/ko
Publication of WO2012077987A3 publication Critical patent/WO2012077987A3/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/24—Systems for the transmission of television signals using pulse code modulation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/161—Encoding, multiplexing or demultiplexing different image signal components
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/194—Transmission of image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/234327—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements by decomposing into layers, e.g. base layer and one or more enhancement layers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/434—Disassembling of a multiplex stream, e.g. demultiplexing audio and video streams, extraction of additional data from a video stream; Remultiplexing of multiplex streams; Extraction or processing of SI; Disassembling of packetised elementary stream
    • H04N21/4345—Extraction or processing of SI, e.g. extracting service information from an MPEG stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/434—Disassembling of a multiplex stream, e.g. demultiplexing audio and video streams, extraction of additional data from a video stream; Remultiplexing of multiplex streams; Extraction or processing of SI; Disassembling of packetised elementary stream
    • H04N21/4347—Demultiplexing of several video streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/816—Monomedia components thereof involving special video data, e.g 3D video
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/172—Processing image signals image signals comprising non-image signal components, e.g. headers or format information
    • H04N13/178—Metadata, e.g. disparity information

Definitions

  • the present invention relates to an apparatus and method for receiving a digital broadcast signal including a 3D image. More specifically, the present invention relates to a receiving apparatus and method for receiving a digital broadcast signal including a three-dimensional image through a plurality of channels or a plurality of programs and displaying the three-dimensional image.
  • 3DTV three-dimensional television
  • a 3D image provides a stereoscopic effect using the stereo vision principle of two eyes. Humans feel perspective through the parallax of two eyes, that is, binocular parallax by the distance between two eyes about 65mm apart, so the 3D image provides an image so that each of the left and right eyes can see the associated plane image. It can provide three-dimensional and perspective.
  • Such 3D image display methods include a stereoscopic method, a volumetric method, a holographic method, and the like.
  • a left view image for viewing in the left eye and a right view image for viewing in the right eye are provided so that the left and right eyes are respectively left view through polarized glasses or the display device itself. By viewing the image and the right image, you can recognize the three-dimensional image effect.
  • the receiver displays a 3D image using the two images.
  • a method of sending two similar images from different viewpoints together through an existing broadcast channel and a method of dividing the existing broadcast channel into two separate transmission channels may be used.
  • the receiver in order for the receiver to display two images as one 3D image, the receiver must receive signal information about two paired images together. If such information is not received together, the left view image and the light view image constituting one 3D image cannot be distinguished, and thus a 3D image cannot be restored.
  • there is a problem in that it is not possible to determine whether the left view image and the right view image are synchronized and when the 3D image display is possible.
  • the present invention is to solve the above problems, the technical problem to be achieved in the present invention is an apparatus and method for receiving a digital broadcast signal, without experiencing the above-mentioned problems, the signal information for displaying a three-dimensional image Receiving a digital broadcast signal to be included is to be able to display a three-dimensional image.
  • the digital broadcast signal receiving apparatus is included in the first receiver, the signaling data for receiving a digital broadcast signal including a video stream and signaling data of the reference time point, A signaling data processor that decodes information on the video stream of the additional view, which is linked with the video stream of the reference view to implement the 3D image, and a digital broadcast including the video stream of the additional view using the information on the video stream of the additional view.
  • a second receiver configured to receive a signal, a reference video decoder to decode a received video stream of a reference view to generate a reference video, a secondary video decoder to decode a received video stream of a received additional view, and generate a secondary video; Stereoscopic 3 by combining additional video An output formatter for outputting to the original image signal.
  • the second receiver of the apparatus for receiving digital broadcast signals uses the information on the video stream of the additional view, a tuner for receiving the video stream of the additional view through a wireless broadcast channel, or an Internet connection. It is characterized in that the Internet connection for receiving the video stream of the additional view through.
  • the information on the video stream of the additional view of the digital broadcast signal receiving apparatus includes a transport ID of the video stream of the additional view.
  • the information on the video stream of the additional view of the digital broadcast signal receiving apparatus includes information on the time when the video stream of the additional view is received.
  • the digital broadcast signal receiving apparatus is a first receiver for receiving a digital broadcast signal including a video stream and signaling data of the reference time, the video of the received reference time A reference image decoder that decodes the stream to generate a reference image, a second receiver that receives depth data of an additional view, a depth data decoder that decodes the received depth information, and synchronizes the reference image and the decoded depth information A synchronization unit, a rendering unit for rendering an additional image by using an output of the synchronization unit, and an output formatter for combining the reference image and the additional image and outputting the stereoscopic 3D image signal.
  • the apparatus for receiving digital broadcast signals further includes a content and metadata storage unit for storing the received depth information and providing the necessary depth information.
  • the apparatus for receiving digital broadcasting signals is characterized by receiving a plurality of depth information in order to provide a 3D image having various depth ranges.
  • the method for receiving a digital broadcast signal comprises the steps of receiving a digital broadcast signal including a video stream and signaling data of a reference time, included in the signaling data, the reference time Decoding information about a video stream of an additional view for interfacing with a video stream of a 3D image and receiving a digital broadcast signal including the video stream of the additional view using information on the video stream of the additional view
  • the method may further include: generating a reference image by decoding the received video stream of the reference view, generating an additional view by decoding the received video stream of the additional view, and combining the reference image and the additional view to generate a stereoscopic 3D video signal. And outputting to.
  • the step of receiving a digital broadcast signal including the video stream of the additional view of the digital broadcast signal receiving method by using the information on the video stream of the additional view, a wireless broadcast channel or Internet access It is characterized in that for receiving the video stream of the additional view through.
  • the information on the video stream of the additional view of the digital broadcast signal receiving method includes a transport ID of the video stream of the additional view.
  • the information on the video stream of the additional view of the digital broadcast signal receiving method includes information on the time when the video stream of the additional view is received.
  • the method for receiving a digital broadcast signal comprises the steps of receiving a digital broadcast signal including a video stream and the signaling data of the reference time, the received video stream of the reference time Generating a reference image by decoding, receiving depth data of an additional view, decoding the received depth information, synchronizing the decoded depth information with the reference image, and using an output of the synchronizer Rendering the additional image and combining the reference image and the additional image to output a stereoscopic 3D image signal;
  • the method for receiving a digital broadcast signal further includes storing and providing the received depth information when necessary.
  • the digital broadcast signal receiving method is characterized by receiving a plurality of depth information to provide a three-dimensional image having a variety of depth range (depth range).
  • the apparatus and method for receiving digital broadcast signals according to the present invention have the following effects.
  • FIG. 1 is a diagram illustrating signal information of a channel for providing a 3D video service using a dual stream in a single channel according to an embodiment of the present invention.
  • FIG. 2 illustrates a component_list_descriptor according to an embodiment of the present invention.
  • FIG. 3 is a diagram illustrating stream_info_details () according to an embodiment of the present invention.
  • FIG. 4 is a flowchart illustrating a method of providing a 3D video service using TVCT in a single channel and dual stream environment according to an embodiment of the present invention.
  • FIG. 5 is a flowchart illustrating a method of providing a 3D video service using SDT in a single service and dual stream environment according to an embodiment of the present invention.
  • FIG. 6 is a diagram illustrating stream_info_details () according to an embodiment of the present invention.
  • FIG. 7 is a diagram illustrating a digital broadcast receiver for receiving and displaying a 3D image using a plurality of channels according to an embodiment of the present invention.
  • FIG. 8 is a diagram illustrating a syntax structure of a PMT including 3D_service_descriptor () according to an embodiment of the present invention.
  • FIG. 9 is a diagram illustrating syntax of 3D_service_descriptor () included in a PMT according to an embodiment of the present invention.
  • FIG 10 illustrates program_combine_type according to an embodiment of the present invention.
  • 11 is a diagram illustrating syntax of 3D_service_descriptor () included in a PMT according to an embodiment of the present invention.
  • FIG. 12 is a diagram illustrating an event_sync_type according to an embodiment of the present invention.
  • FIG. 13 is a flowchart illustrating a method of providing 3D image signal information in a multi-path environment using PMT according to an embodiment of the present invention.
  • FIG. 14 illustrates a syntax structure of a TVCT including channel_combine_descriptor () according to an embodiment of the present invention.
  • channel_combine_descriptor () included in TVCT is a diagram illustrating syntax of channel_combine_descriptor () included in TVCT according to an embodiment of the present invention.
  • 16 shows channel_combine_type according to an embodiment of the present invention.
  • 17 is a diagram illustrating syntax of channel_combine_descriptor () according to an embodiment of the present invention.
  • channel_sync_type is a diagram illustrating channel_sync_type according to an embodiment of the present invention.
  • 19 is a flowchart illustrating a method of providing 3D image signal information in a multipath environment using TVCT according to an embodiment of the present invention.
  • 20 is a diagram illustrating a syntax structure of an EIT including event_combine_descriptor () according to an embodiment of the present invention.
  • 21 is a diagram illustrating syntax of event_combine_descriptor () according to an embodiment of the present invention.
  • FIG. 23 is a diagram illustrating syntax of event_combine_descriptor () included in an EIT according to an embodiment of the present invention.
  • FIG. 24 is a diagram illustrating a syntax structure and an audio type of stream_info_detail () for an audio stream according to an embodiment of the present invention.
  • 25 is a flowchart illustrating a method of providing 3D image signal information in a multipath environment using an EIT according to an embodiment of the present invention.
  • FIG. 26 is a diagram illustrating a syntax structure of an SDT including a service_combine_descriptor according to an embodiment of the present invention.
  • FIG. 27 illustrates a syntax structure of service_combine_descriptor according to an embodiment of the present invention.
  • 29 is a diagram illustrating service_sync_type according to an embodiment of the present invention.
  • FIG. 30 is a flowchart illustrating a method of providing 3D image signal information in a multipath environment using SDT according to an embodiment of the present invention.
  • FIG. 31 illustrates an EIT syntax structure of a DVB-SI including an event_combine_descriptor according to an embodiment of the present invention.
  • 32 is a diagram illustrating a syntax structure of an event_combine_descriptor according to an embodiment of the present invention.
  • 34 is a diagram illustrating event_sync_type according to an embodiment of the present invention.
  • 35 is a flowchart illustrating a method of providing 3D image signal information in a multipath environment using EIT of DVB-SI according to an embodiment of the present invention.
  • linkage_descriptor () and linkage_type according to an embodiment of the present invention.
  • FIG. 37 illustrates a service type of a non-essential service according to an embodiment of the present invention.
  • FIG. 38 is a diagram illustrating a digital broadcast receiver providing a 3D video service using depth data according to an embodiment of the present invention.
  • 39 is a diagram illustrating syntax of event_enhancement_descriptor () according to an embodiment of the present invention.
  • FIG. 40 illustrates a combined_service_type, enhancement_type, and sync_type according to an embodiment of the present invention.
  • 41 is a view illustrating enhancement_stream_format and enhancement_stream_sampling_factor according to an embodiment of the present invention.
  • program_enhancement_descriptor () is a diagram illustrating syntax of program_enhancement_descriptor () according to an embodiment of the present invention.
  • 43 is a diagram illustrating syntax of channel_enhancement_descriptor () according to an embodiment of the present invention.
  • 44 is a diagram illustrating syntax of service_enhancement_descriptor () according to an embodiment of the present invention.
  • 45 is a diagram illustrating a syntax structure of event_enhancement_descriptor () according to an embodiment of the present invention.
  • 46 is a view showing stream_content and component_type according to an embodiment of the present invention.
  • FIG. 48 is a diagram illustrating adaptation_field () according to an embodiment of the present invention.
  • 49 is a diagram illustrating syntax, video_frame_info, of video_frame_info_data_byte according to an embodiment of the present invention.
  • 50 illustrates a video level synchronization method according to an embodiment of the present invention.
  • 51 is a diagram illustrating a digital broadcast reception device according to an embodiment of the present invention.
  • FIG. 52 illustrates a view combining and synchronizing operation according to an embodiment of the present invention.
  • the 3D image representation method may include a stereoscopic method that considers two viewpoints and a multiple view image method (or multi-view method) that considers three or more viewpoints.
  • the conventional single view image method may be referred to as a monoscopic image method.
  • the stereoscopic method uses a pair of left view images (hereinafter referred to as left images) and live view images (hereinafter referred to as images) obtained by photographing the same subject with a left camera and a right camera that are spaced at a constant distance.
  • a pair of images of the reference image and the additional image is used.
  • the left, right image, the reference image, and the additional image may be used in the same meaning as elements included in the stereoscopic 3D image.
  • the multi-view method uses three or more images obtained by photographing three or more cameras having a constant distance or angle.
  • the present invention will be described using the stereoscopic method as an embodiment, but the idea of the present invention may be applied to a multi-view method.
  • the stereoscopic method according to the present invention includes a side-by-side method, a top-bottom method, and a checker board method.
  • the left and right images are downsampled 1/2 in the horizontal direction, and one sampled image is placed in the left region and the other sampled image is placed in the right region.
  • the left and right images are half downsampled in the vertical direction, and one sampled image is placed in the top region, and the other sampled image is placed in the bottom region.
  • the checkerboard method is a method of constructing two images into one image by half downsampling the left image and the right image to cross each other in the vertical and horizontal directions.
  • the stereoscopic method according to the present invention is not limited or limited to the above example.
  • the method for providing a 3D video service through a plurality of channels described in the present invention transmits and receives two images having a full resolution without going through the downsampling operation described above through a plurality of channels, and transmits the 3D video service. It is also possible to provide.
  • the stereoscopic method requires additional signal information for coupling a left image and a right image or a reference image and an additional image included in the same 3D image.
  • FIG. 1 is a diagram illustrating signal information of a channel for providing a 3D video service using a dual stream in a single channel according to an embodiment of the present invention.
  • Three-dimensional video services include MPEG-2 video streams, Advanced Video Coding (AVC) video streams, and AC-3 audio streams. These include stream_type 0x02 and AVC video streams that represent MPEG-2 video streams in a Program Map Table (PMT). It is represented by stream_type 0x1B indicating and stream_type 0x81 indicating AC-3 audio stream.
  • the 3D video service clearly specifies that it is a stereoscopic 3DTV service using a reserved value of service_type 0x07 (parameterized service) or 0x09 in a terrestrial virtual channel table (TVCT).
  • FIG. 2 illustrates a component_list_descriptor according to an embodiment of the present invention.
  • component_list_descriptor is capable of signaling both the reference video and the additional video.
  • the location of this descriptor is the virtual channel level of the TVCT.
  • the component_list_descriptor included in the TVCT includes information on the component stream included in the corresponding channel and includes the content of the signal information of the present invention in stream_info_details ().
  • stream_info_details includes stream_info_type, elementary_PID, SLD_element_index, base_video_flag, leftview_flag and / or upsampling_factor which are information required for 3D video service.
  • the stream_info_type indicates the type of stream information and is set to 0x02 for the reference video and 0x03 for the additional video.
  • SLD_element_index means an index number of an elementary stream (ES) included in a service location descriptor (SLD) in a TVCT for an additional video channel, or an order within an SLD. This area can map the information of component_list_descriptor and the ES indicated by the SLD. Therefore, it is possible to find the corresponding ES in the SLD of the TVCT that currently signals the additional video channel.
  • ES elementary stream
  • SLD service location descriptor
  • the digital broadcast reception apparatus of the present invention can find a stream matching the information of component_list_descriptor using at least one of elementary_PID and SLD_element_index included in stream_info_details ().
  • base_video_flag represents whether a corresponding encoding stream is a base video or an additional video. If the video stream is a reference video, this field may be set to '1', and if it is an additional video, this field may be set to '0'.
  • leftview_flag represents whether a corresponding encoding stream is a left image or a right image. If the value of this field is '1', the corresponding video stream is the left image, and if the value is '0', it may mean that the video stream is the right image.
  • the digital broadcast reception apparatus can display a 3D video signal using the MPEG-2 video stream and the AVC video stream received through a single channel using the component_list_descriptor and the stream_info_details () included in the above. .
  • the detailed process for this is as follows.
  • FIG. 4 is a flowchart illustrating a method of providing a 3D video service using TVCT in a single channel and dual stream environment according to an embodiment of the present invention.
  • the elementary_PID or SLD_element_index field is used to match the left / right image information obtained from the component_list_descriptor and the elementary stream of the SLD. It is possible to decode two matched video streams and output a 3D video service (S44).
  • FIG. 5 is a flowchart illustrating a method of providing a 3D video service using SDT in a single service and dual stream environment according to an embodiment of the present invention.
  • the corresponding information may be stream_content, component_type, component_tag, or elementary_PID.
  • Additional information related to 3D of two video streams is identified by using an additional descriptor of the corresponding service (S53).
  • the additional information may be base_video_flag, leftview_flag, upsampling_factor, and the like. It is possible to decode two video streams and output a 3D video service (S54).
  • the channel providing the 3D video service clearly specifies that the service_type is a stereoscopic 3DTV service using a reserved value of 0x07 (parameterized service) or 0x09 in the signal information table for the corresponding channel.
  • the service_type is a stereoscopic 3DTV service using a reserved value of 0x07 (parameterized service) or 0x09 in the signal information table for the corresponding channel.
  • Detailed information on the video stream constituting the frame-compatible 3D stereoscopic service uses an extension of component_list_descriptor.
  • This descriptor basically includes signaling information about the combined type of the left and right images in the video, and the fields included therein are the same as in FIG. 2.
  • the location of this descriptor is the virtual channel level of TVCT.
  • the corresponding field may use 0x1B or another designated value.
  • the component_list_descriptor includes information on the component stream included in the corresponding channel and includes the content of the signal information of the present invention in stream_info_details ().
  • stream_info_details includes stream_info_type, elementary_PID, SLD_element_index, and / or streo_video_format which are information required for 3D video service.
  • stream_info_type means frame-compatible stereoscopic video and may be set to 0x05.
  • SLD_element_index means an index number of an elementary stream (ES) included in a service location descriptor (SLD) in a TVCT for an additional video channel, or an order within an SLD. This area can map the information of component_list_descriptor and the ES indicated by the SLD. Therefore, it is possible to find the corresponding ES in the SLD of the TVCT that currently signals the additional video channel.
  • ES elementary stream
  • SLD service location descriptor
  • the digital broadcast reception apparatus of the present invention can find a stream matching the information of component_list_descriptor using at least one of elementary_PID and SLD_element_index included in stream_info_details ().
  • stereo_video_format represents a combined form of the left image and the right image included in the video, and the meaning thereof is as shown in FIG. 6 (b). If the stereo_video_format is 0000011, it means the side by side method, and if it is 0000100, it is the top and bottom method, and if it is 0001000, it is 2D video. All other values are undefined.
  • the digital broadcast reception apparatus can display a 3D video signal using the MPEG-2 video stream and the AVC video stream received on a dedicated channel using the component_list_descriptor and the stream_info_details () included in the above. .
  • the detailed process for this is as follows.
  • the base view video and the additional view video included in the 3D video signal are respectively received through a plurality of channels. Since a single physical channel or medium has a limited bandwidth, it may not be possible to simultaneously transmit a base view video and an additional view video. Assuming such a case, an apparatus and method for providing a 3D image service using a reference image and an additional image received through a plurality of physical channels or media will be described.
  • the plurality of physical media may be terrestrial or internet.
  • the digital broadcast receiver of the present invention includes a plurality of tuners and demodulators 1a and 1b, a plurality of decoders 3a and 3b, a plurality of demultiplexers 5a and 5b, and a plurality of PSIP / PSI / SI processors 7a. 7b), internet connection 9, three-dimensional video decoder 11 and / or output formatter 17.
  • the 3D video decoder 11 may include a reference video decoder 13 and an additional video decoder 15.
  • the above digital broadcast reception apparatus includes one tuner and demodulator 1b, one decoder 3b, one demultiplexer 5b, and one PSIP / PSI / SI processor 7b.
  • An internet connection 9 a three-dimensional video decoder 11 and / or an output formatter 17.
  • the 3D video decoder 11 may include a reference video decoder 13 and an additional video decoder 15.
  • the digital broadcast signals of the reference video and the additional video respectively received by the plurality of tuners and demodulators 1a and 1b are demodulated and input to the decoders 3a and 3b.
  • the input broadcast signal is decoded by the plurality of decoders 3a and 3b, respectively, and the decoded signal is demultiplexed by the demultiplexers 5a and 5b, respectively.
  • the signal information of the base view video and the additional view video is input to the PSIP / PSI / SI processors 7a and 7b, respectively, and the video streams of the base view video and the additional view video are respectively transmitted to the base view decoder 13 and the additional view decoder 15, respectively. Is entered.
  • the reference image and the additional image may be displayed as one 3D image by the output formatter 17.
  • the signal information for the reference image and the additional image obtained by each of the PSIP / PSI / SI processors 7a and 7b is configured to couple the reference image and the additional image or the left image and the right image included in one 3D image. May contain information.
  • a plurality of tuners can receive the reference image and the additional image included in a single three-dimensional image by using this information in pairs.
  • the signal information may be received in the form of a descriptor in the signal information table, and the signal information table may include a program map table (PMT), a terrestrial virtual channel table (TVCT), an event information table (EIT), or a service description. table).
  • PMT program map table
  • TVCT terrestrial virtual channel table
  • EIT event information table
  • service description. table a service description.
  • FIG. 8 is a diagram illustrating a syntax structure of a PMT including 3D_service_descriptor () according to an embodiment of the present invention.
  • a program map table is a table that provides a mapping between program numbers and program elements.
  • 3D_service_descriptor may be included in the PMT and transmitted. At this time, it may be transmitted by being included in the first or second descriptor loop of the PMT.
  • PMT includes:
  • the table_id field is an 8-bit field, and TS_program_map_section is always set to a value of 0x02.
  • the section_syntax_indicator field is 1 bit and is set to 1.
  • the section_length field consists of 12 bits and the first two bits are 00. This field indicates the number of bytes in the section, and indicates the length from this field to the CRC. The value of this field does not exceed 1021.
  • the program_number field consists of 16 bits. This indicates to which program the program_map_PID is applicable.
  • One program definition is transmitted by only one TS_program_map_section. This implies that the program definition cannot exceed 1016.
  • the version_number field represents the version of the virtual channel. It is incremented by 1 whenever there is a change in the VCT. When the version value reaches 31, the next version value is 0. The value of this field must be the same value as the same field value of MGT.
  • the current_next_indicator field consists of 1 bit and the value is set to 1 when the VCT is currently applicable. If it is set to 0, this means that it is not applicable yet and the following table is valid.
  • the value of the section_number field is set to 0x00.
  • the value of the last_section_number field is set to 0x00.
  • the PCR_PID field is composed of 13 bits and means a PID of a TS including a PCR field valid for a program described by a program number.
  • the program_info_length field consists of 12 bits, and the first two bits have a value of 00. The remaining 10 bits represent the descriptor following this field in number of bytes.
  • the stream_type field consists of 8 bits and indicates the type of program element transmitted by the packet having the PID value of the basic PID.
  • elementary_PID consists of 13 bits and represents the PID of the TS including the associated program element.
  • the ES_info_length field consists of 12 bits and the first two bits are 00. The remaining 10 bits represent the descriptor of the associated program element following this field in number of bytes.
  • the CRC_32 field indicates a CRC value that allows a zero output of a register in the decoder.
  • the present invention may be usefully used when 3D_service_descriptor () is included in the PMT to transmit and receive, and signal information is consistently maintained for a 3D video service. That is, when the same signal information is transmitted and received without changing over time with respect to the 3D video service, the signal information can be maintained without updating the same service, which is advantageous in terms of data transmission efficiency.
  • 3D_service_descriptor () included in a PMT according to an embodiment of the present invention.
  • the 3D_service_descriptor () syntax may include descriptor_tag, descriptor_length, program_combine_type, linked_TSID, linked_program_number and / or internet_linkage_information ().
  • descriptor_tag has a size of 8 bits, serves as an ID of a descriptor, and can assign a value of 0xTBD.
  • descriptor_length has a size of 8 bits and includes information about the number of bytes included in the descriptor.
  • program_combine_type has a size of 3 bits and indicates a combine type of a program signaled by the PMT section. 10 illustrates program_combine_type according to an embodiment of the present invention. If program_combine_type is 000, this means that the program includes all components necessary for 3D video service. For example, this means that both the reference image, the additional image, the left image, and the right image are included.
  • program_combine_type is 001
  • the remaining components for servicing a perfect 3D image are received by a medium of the same type as the corresponding program, and the remaining components can be obtained using the linked_TSID and linked_program_number included in 3D_service_descriptor ().
  • the worst case for example, only a part of the 3D video service may be rendered when reception of the remaining components is impossible. In this case, the 2D video service using the reference video may be provided.
  • program_combine_type 010, it means that the corresponding program includes a part of components for 3D video service and the part does not include a required element.
  • the program itself cannot provide any meaningful images to the user.
  • the program can be provided only if it is combined with the required elements included in other programs identified by linked_TSID and linked_program_number of 3D_service_descriptor ().
  • Required element means received by the same type of medium as the program.
  • program_combine_type 011
  • the remaining components for the service of the perfect 3D image are received through the Internet, and the URL indicating the location of the remaining components can be obtained through internet_linkage_information included in 3D_service_descriptor ().
  • the URL indicating the location of the remaining components can be obtained through internet_linkage_information included in 3D_service_descriptor ().
  • the worst case for example, only a part of the 3D video service may be rendered when reception of the remaining components is impossible. In this case, the 2D video service using the reference video may be provided.
  • program_combine_type 100, it means that the corresponding program includes a part of components for 3D video service and the part does not include a required element.
  • the program itself cannot provide any meaningful images to the user.
  • the required element means that it is received through the Internet, and the corresponding program must be combined with the required element to provide 3D video service. Access information for the above required element can be obtained through internet_linkage_information of 3D_service_descriptor ().
  • the linked_TSID is 16 bits and indicates a transport_stream_ID of the corresponding transport stream when a separate transport stream for providing a 3D video service associated with the corresponding program exists.
  • the linked_program_number is 16 bits and indicates a program_number of a program including a separate transport stream for providing a 3D video service.
  • the internet_linkage_information may include an IP address, a field indicating whether the IP address is 32 bits or 128 bits, a port number, and additional information (for example, a URI of the corresponding stream).
  • An embodiment of the digital broadcast reception method using the above-described PMT is as follows.
  • the PMT for Program 1 includes signaling information about the reference view video element and the audio element.
  • Program_combine_type in 3D_service_descriptor included in the first or second descriptor loop of PMT for program 1 is set to 001
  • linked_TSID indicates the transport_stream_id of the transport stream containing the PMT for program 2.
  • the linked_program_number indicates a program_number of program 2.
  • the PMT for program 2 includes signaling information for the additional view video element.
  • Program_combine_type in 3D_service_descriptor included in the first or second descriptor loop of PMT for program 2 is set to 010, and linked_TSID indicates the transport_stream_id of the transport stream containing the PMT for program 1.
  • the PMT for Program 1 includes signaling information for the reference view video element and the audio element.
  • Program_combine_type in 3D_service_descriptor included in the first or second descriptor loop of PMT for program 1 is set to 011 and internet_linkage_information () provides connection information of a video element at an additional time.
  • the digital broadcast receiver of the present invention may receive and combine the reference video and the additional video of the 3D video service using the signal information included in the 3D_service_descriptor () described above, and display the 3D video.
  • 3D_service_descriptor () included in a PMT according to an embodiment of the present invention.
  • the 3D_service_descriptor () syntax may include descriptor_tag, descriptor_length, program_combine_type, event_sync_type, linked_TSID, linked_program_number and / or internet_linkage_information ().
  • the event_sync_type has a size of 3 bits and includes information on how the components of the 3D video service are obtained and synchronized. Details are as shown in FIG. 12.
  • event_sync_type 000, the 3D video service can be provided only by synchronous 3D transmission.
  • event_sync_type is 001
  • the 3D video service can be provided only by asynchronous 3D transmission.
  • the remaining part for providing the 3D video service is transmitted later in time.
  • the receiving apparatus may use connection information such as linked_TSID and linked_program_number.
  • the 3D video service may be provided only by asynchronous 3D transmission.
  • the remaining part for providing the 3D video service is transmitted in advance in time.
  • the receiving apparatus may use connection information such as linked_TSID and linked_program_number.
  • the 3D video service may be provided by both synchronous or asynchronous 3D transmission.
  • the remaining part for providing the 3D video service may be transmitted simultaneously with the current event or may be retransmitted later in time.
  • the receiving apparatus may use connection information such as linked_TSID and linked_program_number.
  • the 3D video service may be provided by both synchronous or asynchronous 3D transmission.
  • the remaining part for providing the 3D video service may be transmitted simultaneously with the current event or may be transmitted in advance in time.
  • the receiving apparatus may use connection information such as linked_TSID and linked_program_number.
  • FIG. 13 is a flowchart illustrating a method of providing 3D image signal information in a multi-path environment using PMT according to an embodiment of the present invention.
  • the digital broadcast reception device receives PMT information on the selected program A after channel tuning (S131).
  • the program_combine_type field is used to determine whether a path for receiving other complementary components is the same terrestrial channel or the Internet (S133). Subsequently, an elementary stream corresponding to program A is received. Use the event_sync_type field to determine the available time for the linked program. This can be used to determine whether simultaneous reception is currently possible or whether it should be received later.
  • the PMT corresponding to the linked_TSID and the linked_program_number identified through the 3D_service_descriptor is received (S134). In this case, a process of additionally tuning another channel may occur.
  • a complete three-dimensional image service may be displayed by decoding both the elementary streams included in the program A and the program B (S136). Alternatively, only the necessary parts can be decoded selectively.
  • program B is not currently available and is available at a later time, after program A is received and stored (recorded), the program B is played back at a later point in time when program B is received and combined with the received program B. It can provide a 3D image.
  • FIG. 14 illustrates a syntax structure of a TVCT including channel_combine_descriptor () according to an embodiment of the present invention.
  • the terrestrial virtual channel table is a table that contains the attributes of the virtual channels included in the transport stream in the PSIP of ATSC.
  • 3D_service_descriptor () may be included in the TVCT and transmitted to signal the 3D video service. At this time, it may be included in the first descriptor loop of TVCT and transmitted.
  • 3D_service_descriptor () included in TVCT provides 2D display window region information on a stream currently being broadcast.
  • TVCT includes:
  • the value of the table_id field indicates the type of the table section.
  • the value must be 0xC8 to indicate TVCT.
  • section_syntax_indicator field consists of 1 bit and its value is fixed to 1.
  • the private_indicator field is set to 1.
  • the section_length field consists of 12 bits and the first two bits are 00. This field indicates the number of bytes in the section, and indicates the length from this field to the CRC. The value of this field does not exceed 1021.
  • the transport_stream_id field consists of 16 bits and is an MPEG-2 transport stream (TS) ID. This field can be distinguished from other TVCT.
  • TS MPEG-2 transport stream
  • the version_number field represents the version of the virtual channel. It is incremented by 1 whenever there is a change in the VCT. When the version value reaches 31, the next version value is 0. The value of this field must be the same value as the same field value of MGT.
  • the current_next_indicator field consists of 1 bit and the value is set to 1 when the VCT is currently applicable. If it is set to 0, this means that it is not applicable yet and the following table is valid.
  • the section_number field represents the number of sections.
  • the value of the first section of TVCT is 0x00 and the value is increased by 1 for each additional section.
  • the last_section_number field means the number of the last section. That is, it means the number of the section having the highest section_number in the entire TVCT.
  • the protocol_version field functions to allow different table types from those defined in the current protocol in the future. Only zero is valid in the current protocol. Nonzero values will be used in later versions for structurally different tables.
  • the num_channels_in_section field represents the number of virtual channels in the VCT section. The value is limited by the section length.
  • the short_name field represents the name of the virtual channel.
  • the major_channel_number field consists of 10 bits and represents the major channel number of the virtual channel defined in the corresponding sequence in the for loop.
  • Each virtual channel consists of a major channel number and a minor channel number.
  • the major channel number, along with the minor channel number, acts as a reference number to the user for that virtual channel.
  • a major channel number has a value from 1 to 99, and major / minor channel number pairs do not have duplicate values in TVCT.
  • the minor_channel_number field consists of 10 bits and has a value from 0 to 999.
  • the minor channel number acts as a two-part channel number along with the major channel number.
  • the minor channel number has a value from 1 to 99.
  • Major / minor channel number pairs do not have duplicate values in TVCT.
  • the modulation_mode field indicates a modulation mode of a transport carrier associated with a corresponding virtual channel.
  • the value of the carrier_frequency field is zero. It is allowed to identify the carrier frequency using this field, but vice versa.
  • the channel_TSID field has a value from 0x0000 to 0xFFFF and is an MPEG-2 TSID associated with a TS for delivering the MPEG-2 program referred to by this virtual channel.
  • the program_number field associates the virtual channel defined in TVCT with the MPEG-2 PROGRAM ASSOCIATION and TS PROGRAM MAP tables.
  • the ETM_location field indicates the existence and location of an extended text message (ETM).
  • the access_controlled field is a 1-bit Boolean flag. When the access_controlled field is 1, it may represent that an event related to a corresponding virtual channel is accessed. 0 indicates that access is not restricted.
  • the hidden field is a 1-bit Boolean flag. If it is 1, access is not allowed even if the number is directly input by the user.
  • the hidden virtual channel is skipped when the user surfs the channel and appears to be undefined.
  • the hide_guide field is a Boolean flag. When the hide_guide field is set to 0 for a hidden channel, the virtual channel and an event may be displayed on the EPG display. This field is ignored if the hidden bit is not set. Thus, non-hidden channels and their events belong to the EPG display regardless of the state of the hide_guide bit.
  • the service_type field identifies the type of service delivered by the virtual channel.
  • the source_id field identifies a programming source related to the virtual channel.
  • the source may be any one of video, text, data, or audio programming.
  • the source id 0 is a reserved value and has a unique value in the TS carrying the VCT from 0x0001 to 0x0FFF. Also, from 0x1000 to 0xFFFF, it is unique at the local level.
  • the descriptors_length field represents the length of a following descriptor for a corresponding virtual channel in bytes.
  • Descriptor () may not be included in descriptor () or one or more descriptors may be included.
  • the additional_descriptors_length field represents the total length of the following VCT descriptor list in bytes.
  • the CRC_32 field indicates a CRC value that allows a zero output of a register in the decoder.
  • the present invention can transmit / receive channel_combine_descriptor () in TVCT to provide information on a reference video or an additional video required to provide a 3D video service. That is, the 3D video service may be provided to the user by providing information about a channel capable of providing a 3D video service by pairing with the current channel and combining the two channels based on the information.
  • channel_combine_descriptor () included in TVCT is a diagram illustrating syntax of channel_combine_descriptor () included in TVCT according to an embodiment of the present invention.
  • channel_combine_descriptor may include descriptor_tag, descriptor_length, channel_combine_type, associated_channel_TSID, associated_channel_program_number, associated_major_channel_number, associated_minor_channel_number, associated_source_id, and / or internet_linkage_information ().
  • descriptor_tag has a size of 8 bits, serves as an ID of a descriptor, and can assign a value of 0xTBD.
  • descriptor_length has a size of 8 bits and includes information about the number of bytes included in the descriptor.
  • channel_combine_type has a size of 3 bits and indicates the type of the channel signaled by the TVCT section. 16 shows channel_combine_type according to an embodiment of the present invention. If channel_combine_type is 000, this means that the channel includes all components necessary for 3D video service. For example, it means that the reference image, the additional image, the left image and the right image are included.
  • channel_combine_type is 001
  • the channel includes a part of components for 3D video service and that part is a required element.
  • the channel may be a reference video channel.
  • the remaining component for servicing a perfect 3D image is received by a medium of the same type as the corresponding channel, and the remaining component may be obtained using associated_channel_TSID, associated_channel_program_number, associated_major_channel_number, associated_minor_channel_number, and associated_source_id.
  • associated_channel_TSID associated_channel_program_number
  • associated_major_channel_number associated_major_channel_number
  • associated_minor_channel_number associated_source_id
  • channel_combine_type 010
  • the channel may be an additional video channel.
  • the channel itself cannot provide any meaningful video to the user.
  • This channel may be provided only when it is combined with an essential element included in other channels identified by associated_channel_TSID, associated_channel_program_number, associated_major_channel_number, associated_minor_channel_number, and associated_source_id.
  • Required element means received by the same type of medium as the channel.
  • channel_combine_type 011
  • the remaining components to service the complete 3D image are received through the Internet, and a URL indicating the location of the remaining components (additional stream) can be obtained through internet_linkage_information.
  • a URL indicating the location of the remaining components can be obtained through internet_linkage_information.
  • only a part of the 3D video service may be rendered when reception of the remaining components is impossible.
  • the 2D video service using the reference video may be provided.
  • the channel_combine_type is 100, it means that the channel includes a part of components for 3D video service and the part does not include a required element.
  • the channel itself cannot provide any meaningful video to the user.
  • the required element means that it is received through the Internet, and the corresponding channel must be combined with the required element to provide 3D video service. Access information for the above required elements can be obtained through internet_linkage_information.
  • the associated_channel_TSID has a size of 16 bits and indicates a transport_stream_id value of a transport stream to be combined with the present program / channel to provide a 3D video service.
  • the associated_channel_program_number has a size of 16 bits and indicates a program_number value of a program / channel including a transport stream to be combined with the present program / channel to provide a 3D video service.
  • the associated_major_channel_number has a size of 10 bits and indicates a major_channel_number value of a channel including a transport stream to be combined with the present program / channel to provide a 3D video service.
  • the associated_minor_channel_number has a size of 10 bits and indicates a minor_channel_number value of a channel including a transport stream to be combined with the present program / channel to provide a 3D video service.
  • the associated_source_id has a size of 16 bits and indicates a source_id value of a channel / program including a transport stream to be combined with the present program / channel to provide a 3D video service.
  • the internet_linkage_information may include an IP address, a field indicating whether the IP address is 32 bits or 128 bits, a port number, and additional information (for example, a URI of the corresponding stream).
  • the digital broadcast reception apparatus of the present invention may receive and combine the reference video and the additional video of the 3D video service by using the signal information included in the channel_combine_descriptor () described above, and display the 3D video.
  • An embodiment of the digital broadcast reception method using the TVCT described above is as follows.
  • the TVCT for channel 1 includes signaling information about the reference view video element and the audio element.
  • Channel_combine_type in channel_combine_descriptor included in the descriptor loop of TVCT for channel 1 is set to 001 and associated_channel_TSID indicates a transport_stream_id of a transport stream including an element of channel 2.
  • associated_channel_program_number indicates program_number of channel 2.
  • associated_major_channel_number, associated_minor_channel_number, and associated_source_id may be used to obtain information about an interworking channel (channel 2).
  • the TVCT and PMT for channel 2 contain signaling information for the additional view video element.
  • Channel_combine_type included in channel_combine_descriptor of TVCT for channel 2 is set to 010 and associated_channel_TSID indicates a transport_stream_id of a transport stream including an element of channel 1.
  • associated_channel_program_number indicates program_number of channel 1.
  • associated_major_channel_number, associated_minor_channel_number, and associated_source_id may be used to obtain information about an interworking channel (channel 1).
  • the receiver combines the elements of channel 1 and channel 2 to provide a complete stereoscopic 3D video service.
  • channel 1 including a reference view video element and an audio element is received through a terrestrial channel and an additional view video element is received through the Internet
  • the TVCT for channel 1 includes signaling information for the reference view video element and the audio element.
  • Channel_combine_type included in channel_combine_descriptor of TVCT for channel 1 is set to 011 and internet_linkage_information () provides connection information of a video element at an additional time.
  • the receiver combines the elements of channel 1 with the elements connected via the Internet to provide a complete stereoscopic 3D video service.
  • the digital broadcast receiver of the present invention may receive and combine the reference video and the additional video of the 3D video service using the signal information included in the channel_combine_descriptor () described above, and display the 3D video.
  • channel_combine_descriptor () syntax may include descriptor_tag, descriptor_length, channel_combine_type, channel_sync_type, associated_channel_TSID, associated_channel_program_number, associated_major_channel_number, associated_minor_channel_number, associated_source_id, and / or internet_linkage_information ().
  • channel_sync_type is a 3-bit field and includes information on how components of a 3D video service are obtained and synchronized.
  • channel_sync_type is a diagram illustrating channel_sync_type according to an embodiment of the present invention.
  • channel_sync_type 000
  • the 3D video service may be provided only by synchronous 3D transmission.
  • channel_sync_type is 001
  • the 3D video service may be provided only by asynchronous 3D transmission.
  • the remaining part for providing the 3D video service is transmitted later in time.
  • the receiver may use connection information such as associated_channel_TSID, associated_channel_program_number, associated_major_channel_number, associated_minor_channel_number, associated_source_id, and internet_linkage_information to receive the remaining part mentioned above.
  • channel_sync_type is 010
  • the 3D video service may be provided only by asynchronous 3D transmission.
  • the remaining part for providing the 3D video service is transmitted in advance in time.
  • the receiver may use connection information such as associated_channel_TSID, associated_channel_program_number, associated_major_channel_number, associated_minor_channel_number, associated_source_id, and internet_linkage_information to receive the remaining part mentioned above.
  • channel_sync_type is 011
  • the 3D video service may be provided by both synchronous or asynchronous 3D transmission.
  • the remaining part for providing the 3D video service may be transmitted simultaneously with the current event or may be retransmitted later in time.
  • the receiver may use connection information such as associated_channel_TSID, associated_channel_program_number, associated_major_channel_number, associated_minor_channel_number, associated_source_id, and internet_linkage_information to receive the remaining part mentioned above.
  • the 3D video service may be provided by both synchronous or asynchronous 3D transmission.
  • the remaining part for providing the 3D video service may be transmitted simultaneously with the current event or may be transmitted in advance in time.
  • the receiver may use connection information such as associated_channel_TSID, associated_channel_program_number, associated_major_channel_number, associated_minor_channel_number, associated_source_id, and internet_linkage_information to receive the remaining part mentioned above.
  • 19 is a flowchart illustrating a method of providing 3D image signal information in a multipath environment using TVCT according to an embodiment of the present invention.
  • the digital broadcast reception device receives TVCT information on the selected channel A after channel tuning (S191).
  • the channel_combine_type field is used to determine whether a path for receiving other complementary components is the same terrestrial channel or the Internet (S193). Subsequently, a component stream corresponding to channel A is received.
  • the channel_sync_type field to determine the available time for the interlocking channel. This can be used to determine whether simultaneous reception is currently possible or whether it should be received later.
  • the TVCT (or PMT) corresponding to the associated_channel_TSID and the associated_channel_program_number identified through the channel_combine_descriptor is received (S194). In this case, a process of additionally tuning another channel may occur.
  • the elementary stream included in the channel A and the channel B may be decoded to display a complete 3D video service (S196). Alternatively, only the necessary parts can be decoded selectively.
  • channel B is not currently available and is available at a later time, the stream of channel A is received and stored (recorded), and later, when channel B is received, the stream of channel A is stored and combined with the received channel B. It is possible to provide a three-dimensional image in a manner.
  • 20 is a diagram illustrating a syntax structure of an EIT including event_combine_descriptor () according to an embodiment of the present invention.
  • table_id is an 8-bit field and is set to 0xCB, indicating that the corresponding section belongs to the EIT.
  • section_syntax_indicator is set to 1 as a 1-bit field. This means that after the section length field, the section follows the generic section syntax.
  • private_indicator is set to 1 as a 1-bit field.
  • section_length is a 12-bit field and indicates the number of bytes remaining from this field to the end of the section including the CRC_32 field. The value of this field does not exceed 4093.
  • source_id is a 16-bit field that indicates the source_id of the virtual channel that carries the event depicted in this section.
  • version_number is a 5-bit field and indicates a version number of EIT-i. The version number is incremented by one (modulo 32) if any field in the EIT-i changes. If i and j are different, the version number of EIT-i and the version number of EIT-j are irrelevant. The value of this field has the same value as described in the MGT.
  • current_next_indicator is a 1-bit indicator and is always set to 1 for the EIT section. EIT is always currently applicable.
  • section_number is an 8-bit field and indicates the number of this section.
  • last_section_number is an 8-bit field and indicates the number of the last section.
  • the protocol_version field is 8 bits, and allows a table type different from that defined in the current protocol in the future. Only zero is valid in the current protocol. Nonzero values will be used in later versions for structurally different tables.
  • the num_events_in_section field is 8 bits and represents the number of events in this EIT section. If 0, this section indicates that no events are defined.
  • the event_id field represents an ID of an event depicted as 14 bits. This is used as part of the ETM_id.
  • start_time is a 32-bit field. Start time of this event in GPS seconds since 00:00:00 UTC. In any virtual channel, the value of start_time cannot be less than the end_time of the previous event. The end time is defined as the start time of the event (start_time) plus the length of the event (length_in_seconds).
  • ETM_location is a 2-bit field and indicates the presence and location of an extended text message (ETM).
  • the length_in_seconds field represents the duration of this event in seconds.
  • the title_length field represents the length of title_text () in bytes. A value of 0 indicates that no title exists for the event.
  • title_text () represents the name of the event in multiple string structure format.
  • the descriptors_length field represents the total length of the following event descriptor in bytes.
  • Zero or more descriptors are included in the EIT by looping for loops with descriptor ().
  • the types of descriptors defined to be used in the EIT may include content_advisory_descriptor (), the caption_service_descriptor (), and the AC-3 audio_stream_descriptor ().
  • the event_combine_descriptor () of the present invention may be included in the descriptor ().
  • CRC_32 is a 32-bit field that indicates the CRC value for the zero output of the register at the decoder.
  • the channel_combine_descriptor may be included in the EIT of the channel through which the reference video stream is transmitted. If channel_combine_descriptor exists in EIT, additional stream channel exists only for the event. Therefore, the additional stream channel is valid only during the broadcast period of the corresponding event.
  • the interlocking channel for the corresponding event is identified using the associated_channel_TSID, associated_channel_program_number, associated_major_channel_number, associated_minor_channel_number, and associated_source_id.
  • 21 is a diagram illustrating syntax of event_combine_descriptor () according to an embodiment of the present invention.
  • event_combine_descriptor may include descriptor_tag, descriptor_length, event_combine_type, linked_TSID, linked_program_number and / or internet_linkage_information ().
  • descriptor_tag has a size of 8 bits, serves as an ID of a descriptor, and can assign a value of 0xTBD.
  • descriptor_length has a size of 8 bits and includes information about the number of bytes included in the descriptor.
  • event_combine_type has a size of 3 bits and indicates a combine type of an event signaled by the EIT section. 22 illustrates event_combine_type according to an embodiment of the present invention. If event_combine_type is 000, this means that the event includes all components necessary for 3D video service. For example, this means that both the reference image, the additional image, the left image, and the right image are included.
  • event_combine_type is 001
  • the remaining components for servicing the complete 3D image are received by the same type of media as the corresponding event, and the remaining components can be obtained using the linked_TSID and the linked_program_number.
  • the worst case for example, only a part of the 3D video service may be rendered when reception of the remaining components is impossible. In this case, the 2D video service using the reference video may be provided.
  • event_combine_type 010, this means that the event includes a part of components for 3D video service and the part does not include a required element.
  • the event itself cannot provide any meaningful video to the user.
  • This event can be provided only when combined with the required elements included in other events identified by linked_TSID and linked_program_number.
  • Required element means received by the same type of medium as the event.
  • event_combine_type 011
  • the remaining components to service the complete 3D image are received through the Internet, and the URL indicating the location of the remaining components can be obtained through internet_linkage_information.
  • the URL indicating the location of the remaining components can be obtained through internet_linkage_information.
  • only a part of the 3D video service may be rendered when reception of the remaining components is impossible.
  • the 2D video service using the reference video may be provided.
  • event_combine_type 100, it means that the event includes a part of components for 3D video service and the part does not include a required element.
  • the event itself cannot provide any meaningful video to the user.
  • the required element means that it is received through the Internet, and the corresponding event must be combined with the required element to provide 3D video service. Access information for the above required elements can be obtained through internet_linkage_information.
  • the linked_TSID is 16 bits and indicates a transport_stream_ID of the corresponding transport stream when a separate transport stream for providing a 3D video service associated with the corresponding program exists.
  • the linked_program_number is 16 bits and indicates a program_number of a program including a separate transport stream for providing a 3D video service.
  • the internet_linkage_information may include an IP address, a field indicating whether the IP address is 32 bits or 128 bits, a port number, and additional information (for example, a URI of the corresponding stream).
  • An embodiment of the digital broadcast reception method using the EIT described above is as follows.
  • the EIT for the event A includes signaling information about the reference view video element and the audio element. do.
  • the event_combine_type in the event_combine_descriptor of the EIT for the event is set to 001 and the linked_TSID indicates the transport_stream_id of the transport stream including the element of channel B.
  • linked_program_number indicates program_number of channel B.
  • channel_combine_descriptor () when channel_combine_descriptor () is used to obtain information about an interworking channel (channel B), associated_major_channel_number, associated_minor_channel_number, and associated_source_id included in the corresponding descriptor may be used.
  • TVCT and PMT for channel B contain signaling information for the additional view video element.
  • the receiver combines the elements of channel 1 and channel 2 to provide a complete stereoscopic 3D video service.
  • an event A including a reference view video element and an audio element is received through a terrestrial channel, and an additional view video element is received through the Internet.
  • the EIT for Event A includes signaling information for the reference view video element and audio element.
  • the channel_combine_type or event_combine_type included in the channel_combine_descriptor or event_combine_descriptor of the EIT for event A is set to 011, and internet_linkage_information () provides connection information of a video element at an additional time.
  • the receiver combines the elements of Event A with the elements connected via the Internet to provide a complete stereoscopic 3D video service.
  • FIG. 23 is a diagram illustrating syntax of event_combine_descriptor () included in an EIT according to an embodiment of the present invention.
  • event_combine_descriptor may include descriptor_tag, descriptor_length, event_combine_type, event_sync_type, avail_time_start, linked_TSID, linked_program_number and / or internet_linkage_information ().
  • each field is the same as the description in FIG. 21, and the newly added event_sync_type is the same as the event_sync_type of the PMT described in FIG. 12.
  • avail_time_start is a 32-bit field and indicates a start time when a separate stream that is combined with a stream of a current service and can provide one 3D video service is transmitted.
  • avail_time_start is 1980.1.6. Start time of the event in GPS seconds since 00:00:00 UTC. This field is only meaningful when the value of the event_sync_type field is '001' or '011'.
  • the digital broadcast receiver of the present invention may receive and combine the reference video and the additional video of the 3D video service by using the signal information included in the event_combine_descriptor () described above, and display the 3D video.
  • non-essential video is transmitted to the channel defined as non-essential channel, which is a channel that does not provide any meaningful service to the user.
  • the service_type of the channel has a value of 0x07 (parameterized service) or 0x0A (dependent service or non-stand-alone service).
  • component_list_descriptor is extended, as described with reference to FIG. 2.
  • the location of component_list_descriptor is a virtual channel level of TVCT.
  • the component_list_descriptor () for the video stream transmitted through the non-essential channel among the components included in the component_list_descriptor is set to 0x1B or 0x24. This represents H.264 / AVC video.
  • stream_info_detail () included in component_list_descriptor () has the same structure as the syntax structure of FIG. 3 and the description of each field is the same.
  • component_list_descriptor () for an audio stream transmitted through a non-essential channel among components included in the component_list_descriptor is set to stream_type as 0x81 when the audio is AC-3 audio, and other audio streams are set to the corresponding stream_type value.
  • Stream_info_detail () for an audio stream includes stream_info_type, elementary_PID, SLD_element_index, audio_type and / or ISO_639_language_code.
  • stream_info_type is an 8-bit field and is set to 0x04, and this setting value means that it is an enhancement audio stream for 3D video service.
  • audio_type indicates how to use this stream when there is a separate audio stream transmitted through the non-essential channel.
  • 24B is a diagram illustrating audio_type according to an embodiment of the present invention.
  • the audio stream transmitted through the non-essential channel is used in the 3D video service and the audio stream transmitted through the essential channel is not used.
  • audio_type 010
  • an audio stream transmitted through an essential channel is used as a reference stream, but an audio stream transmitted through a non-essential channel is used as an enhancement stream. This can be applied in the case of MPEG Surround.
  • audio_type When audio_type is 011, an audio stream having a different language is transmitted through a non-essential channel.
  • language information refer to ISO_639_language_code that appears after the audio_type field.
  • the apparatus for receiving digital broadcasting can receive information on additional video and additional audio through component_list_descriptor for video and audio stream transmitted through non-essential channel and use it to provide 3D video service. have.
  • 25 is a flowchart illustrating a method of providing 3D image signal information in a multipath environment using an EIT according to an embodiment of the present invention.
  • the digital broadcast reception device receives EIT information about a selected channel after channel tuning (S251).
  • the event_combine_type field is used to determine whether a path for receiving other complementary components is the same terrestrial channel or the Internet (S253). Subsequently, an elementary stream corresponding to event A is received.
  • Use the event_sync_type field to determine the available time for the associated channel. This can be used to determine whether simultaneous reception is currently possible or whether it should be received later.
  • the TVCT (or PMT) corresponding to the linked_TSID and the linked_program_number identified through the event_combine_descriptor for the event A is received (S254). In this case, a process of additionally tuning another channel may occur.
  • the elementary stream included in the event A and the channel B may be decoded to display a complete 3D video service (S256). Alternatively, only the necessary parts can be decoded selectively.
  • channel B If channel B is not currently available and is available at a later time, receive and store event A, then play the stream of the stored event A at the point in time when channel B is received and combine it with the received channel B. It can provide a 3D image.
  • FIG. 26 is a diagram illustrating a syntax structure of an SDT including a service_combine_descriptor according to an embodiment of the present invention.
  • the service description table is a table for describing services included in a specific transport stream in DVB-SI.
  • service_combine_descriptor () may be included in the SDT and transmitted. If service A is a service for the reference video and service B is a service for the additional video, service_combine_descriptor including interworking information about service B is located in the descriptor loop for service A in the SDT section.
  • the table_id field is an 8-bit field indicating that this section belongs to a service description table.
  • section_syntax_indicator is a 1-bit field and is set to 1.
  • section_length is a 12-bit field and the first two bits are set to 00. The number of bytes of the section including the CRC after this field. This field cannot exceed 1021 and the maximum section length is up to 1024 bytes.
  • the transport_stream_id is a 16-bit field and serves as a label for identifying the TS.
  • version_number is a 5-bit field and indicates the version number of the sub_table. Whenever there is a change in the sub_table, it is incremented by one. When the version value reaches 31, the next version value is 0.
  • current_next_indicator consists of 1 bit and the value is set to 1 if the sub_table is currently applicable. If it is set to 0, this means that it is not applicable yet and the following table is valid.
  • section_number consists of 8 bits and represents the number of sections.
  • the first section has a value of 0x00, and the value is increased by one for each additional section having the same table_id, the same transport_stream_id, and the same original_network_id.
  • last_section_number consists of 8 bits and indicates the number of the last section (that is, the highest section_number) of the corresponding sub_table to which this section is a part.
  • original_network_id is a 16-bit field and is a label identifying the network_id of the transmission system.
  • service_id is a 16-bit field and serves as a label to distinguish it from other services included in the TS. This is the same as program_number of program_map_section.
  • EIT_schedule_flag is set to 1 as a 1-bit field, it indicates that EIT schedule information for a corresponding service is included in the current TS. 0 indicates no inclusion.
  • EIT_present_following_flag is a 1-bit field. If it is set to 1, it indicates that EIT_present_following information for a corresponding service is included in the current TS. 0 indicates that EIT present / following information is not currently included in the TS.
  • running_status is a 3-bit field that indicates the status of the service.
  • free_CA_mode is a 1-bit field. If it is set to 0, it indicates that all element streams of the corresponding service are not scrambled. If set to 1, it means that one or more streams are being controlled by the CA system.
  • descriptors_loop_length is a 12-bit field and indicates the total length of the following descriptor in bytes.
  • CRC_32 is a 32-bit field that indicates the CRC value for the zero output of the register at the decoder.
  • the present invention can be usefully used when the SDT includes service_combine_descriptor for an additional video service which is a part of the 3D video service and transmits and receives information on the 3D video service consistently with respect to the service. That is, when the information about the 3D video service does not change over time, it is possible to maintain the same service without updating the signal information, which has an advantageous effect in terms of data transmission efficiency.
  • FIG. 27 illustrates a syntax structure of service_combine_descriptor according to an embodiment of the present invention.
  • the service_combine_descriptor () syntax may include descriptor_tag, descriptor_length, service_combine_type, service_sync_type, associated_service_TSID, associated_service_original_network_id, associated_service_id, and / or internet_linkage_information ().
  • descriptor_tag has a size of 8 bits, serves as an ID of a descriptor, and can assign a value of 0xTBD.
  • descriptor_length has a size of 8 bits and includes information about the number of bytes included in the descriptor.
  • service_combine_type has a size of 3 bits and indicates a combine type of a service signaled by the SDT section. 28 shows service_combine_type according to an embodiment of the present invention. If service_combine_type is 000, this means that the service includes all components required for the 3D video service. For example, this means that both the reference image, the additional image, the left image, and the right image are included.
  • service_combine_type is 001, this means that the service includes a part of components for 3D video service and that part is a required element.
  • the other components for the service of the perfect 3D image are received by the same type of medium as the corresponding service, and the remaining components may be obtained using the associated_service_TSID, associated_service_original_network_id, and associated_service_id.
  • the worst case for example, only a part of the 3D video service may be rendered when reception of the remaining components is impossible. In this case, the 2D video service using the reference video may be provided.
  • service_combine_type 010, this means that the service includes a part of components for 3D video service and the part does not include a required element.
  • the service itself cannot provide any meaningful video to the user.
  • the service can be provided only when it is combined with the required elements included in other services identified by the associated_service_TSID, the associated_service_original_network_id, and the associated_service_id.
  • Required element means received by the same type of medium as the service.
  • service_combine_type 011
  • the remaining components to service the complete 3D image are received through the Internet, and the URL indicating the location of the remaining components can be obtained through internet_linkage_information.
  • the URL indicating the location of the remaining components can be obtained through internet_linkage_information.
  • only a part of the 3D video service may be rendered when reception of the remaining components is impossible. In this case, the 2D video service using the reference video may be provided.
  • service_combine_type 100, it means that the service includes a part of components for 3D video service and the part does not include a required element.
  • the service itself cannot provide any meaningful video to the user.
  • the required element means that it is received through the Internet, and the corresponding service must be combined with the required element to provide a 3D video service. Access information for the above required elements can be obtained through internet_linkage_information.
  • service_sync_type is a 3-bit field and contains information on how components of a 3D video service are obtained and synchronized.
  • 29 is a diagram illustrating service_sync_type according to an embodiment of the present invention.
  • service_sync_type 000
  • the 3D video service may be provided only by synchronous 3D transmission.
  • the 3D video service may be provided only by asynchronous 3D transmission.
  • the remaining part for providing the 3D video service is transmitted later in time.
  • the receiver may use connection information such as associated_service_TSID, associated_service_original_network_id, associated_service_id, or internet_linkage_information to receive the remaining part mentioned above.
  • the 3D video service may be provided only by asynchronous 3D transmission.
  • the remaining part for providing the 3D video service is transmitted in advance in time.
  • the receiver may use connection information such as associated_service_TSID, associated_service_original_network_id, associated_service_id, or internet_linkage_information to receive the remaining part mentioned above.
  • the 3D video service may be provided by both synchronous or asynchronous 3D transmission.
  • the remaining part for providing the 3D video service may be transmitted simultaneously with the current event or may be retransmitted later in time.
  • the receiver may use connection information such as associated_service_TSID, associated_service_original_network_id, associated_service_id, or internet_linkage_information to receive the remaining part mentioned above.
  • the 3D video service may be provided by both synchronous or asynchronous 3D transmission.
  • the remaining part for providing the 3D video service may be transmitted simultaneously with the current event or may be transmitted in advance in time.
  • the receiver may use connection information such as associated_service_TSID, associated_service_original_network_id, associated_service_id, or internet_linkage_information to receive the remaining part mentioned above.
  • the associated_service_TSID has a size of 16 bits and indicates a transport_stream_id value of a transport stream to be combined with the present program / service to provide a 3D video service.
  • the associated_service_original_network_id has a size of 16 bits and indicates an original_network_id value of a service including a transport stream to be combined with the present program / channel to provide a 3D video service.
  • the associated_service_id has a size of 16 bits and indicates a service_id value of a service including a transport stream to be combined with the present program / service to provide a 3D video service.
  • the linked_program_number field is omitted, but there may be an embodiment including the linked_program_number field in the service_combine_descriptor in some cases.
  • the internet_linkage_information may include an IP address, a field indicating whether the IP address is 32 bits or 128 bits, a port number, additional information (for example, a URI of the stream), and available time slot (start time, expiration time) information. have.
  • the detailed information of the video stream included in the interworking service may be found by referring to the component descriptor of the corresponding service, or the component_tag value or the elementary_PID value of the corresponding component may be added to the service_combine_descriptor described above so that only the field value is found and immediately found. It may be. That is, according to an embodiment, it may include a component_tag or elementary_PID field for a video / audio stream linked to service_combine_descriptor and may also include stream related information such as stream_content and component_type.
  • the digital broadcast receiving apparatus of the present invention may receive and combine the reference video and the additional video of the 3D video service by using the signal information included in the service_combine_descriptor () described above, and display the 3D video.
  • An embodiment of the digital broadcast reception method using the SDT described above is as follows.
  • the SDT for service 1 includes signaling information about the reference view video element and the audio element.
  • Service_combine_type in service_combine_descriptor included in the SDT descriptor loop for service 1 is set to 001 and associated_service_TSID indicates a transport_stream_id of a transport stream including an element of service 2.
  • associated_service_original_network_id and associated_service_id may be used to obtain information about an interworking service (service 2).
  • the SDT and PMT for service2 include signaling information for the additional view video element.
  • the service_combine_type included in the service_combine_descriptor of the SDT for the service 2 is set to 010 and the associated_service_TSID indicates the transport_stream_id of the transport stream including the element of the service 1.
  • associated_service_original_network_id and associated_service_id may be used to obtain information about an interworking service (service 1).
  • the receiving device may combine the elements of the service 1 and the service 2 to provide a complete stereoscopic 3D video service.
  • FIG. 30 is a flowchart illustrating a method of providing 3D image signal information in a multipath environment using SDT according to an embodiment of the present invention.
  • the digital broadcast reception device receives SDT information on the selected service A after channel tuning (S301).
  • the service_combine_type field is used to determine whether a path for receiving other complementary components is the same terrestrial channel or the Internet (S303). Subsequently, an elementary stream corresponding to service A is received.
  • the service_sync_type field to determine the available time for service B. This can be used to determine whether simultaneous reception is currently possible or whether it should be received later.
  • the SDT (or PMT) corresponding to the associated_service_TSID and the associated_service_id identified through the service_combine_descriptor is received (S304). In this case, a process of additionally tuning another channel may occur.
  • a complete three-dimensional video service may be displayed by decoding both elementary streams included in service A and service B (S306). Alternatively, only the necessary parts can be decoded selectively.
  • service B is not currently available and is available at a later time, after service A is received and stored (recorded), the service B is reproduced at a later point in time when service B is received and combined with the received service B. It can provide a 3D image.
  • FIG. 31 illustrates an EIT syntax structure of a DVB-SI including an event_combine_descriptor according to an embodiment of the present invention.
  • the digital broadcast reception device of the present invention includes the service_combine_descriptor () or event_combine_descriptor () described above in the descriptor in the EIT of the DVB-SI, or extends and includes the linkage_descriptor () to provide information about the 3D video service. It is possible to do
  • the table_id field is an 8-bit field indicating that this section belongs to a service description table.
  • section_syntax_indicator is a 1-bit field and is set to 1.
  • section_length is a 12-bit field and indicates the number of bytes of the section including the CRC after this field. This field does not exceed 4093 and the maximum section length is up to 4096 bytes.
  • service_id is a 16-bit field and serves as a label to distinguish it from other services in the TS.
  • service_id has the same value as program_number of the corresponding program_map_section.
  • version_number is a 5-bit field and indicates the version number of the sub_table. Whenever there is a change in the sub_table, it is incremented by one. When the version value reaches 31, the next version value is 0.
  • current_next_indicator consists of 1 bit and the value is set to 1 if the sub_table is currently applicable. If it is set to 0, this means that it is not applicable yet and the following table is valid.
  • section_number consists of 8 bits and represents the number of sections.
  • the first section has a value of 0x00, and the value is increased by one for each additional section having the same table_id, the same transport_stream_id, and the same original_network_id.
  • last_section_number consists of 8 bits and indicates the number of the last section (that is, the highest section_number) of the corresponding sub_table to which this section is a part.
  • the transport_stream_id is a 16-bit field and serves as a label for identifying the TS.
  • original_network_id is a 16-bit field and is a label identifying the network_id of the transmission system.
  • segment_last_section_number is an 8-bit field and indicates the number of the segment last section of the sub_table. For a sub_table not divided into segments, this field has the same value as the last_section_number field.
  • last_table_id is an 8-bit field and indicates the last used table_id.
  • event_id is a 16-bit field that contains an id number representing an event (uniquely assigned in the service definition).
  • start_time is a 40-bit field that contains the event start time in Universal Time, Co-ordinated (UTC) format, and Modified Julian Date (MJD) format.
  • UTC Universal Time, Co-ordinated
  • MJD Modified Julian Date
  • This field consists of 16 bits coded by 16 LSBs of MJD and 24 bits coded by 6 digits of 4-bit Binary Coded Decimal (BCD). If no start time is defined (eg NVOD service), all bits are set to one.
  • Duration is a 24-bit field that contains the duration of the event in hours, minutes, and seconds. Therefore, it is represented by 6-digit 4-bit BCD and has 24 bits.
  • running_status is a 3-bit field that indicates the status of the event. Set to 0 for NVOD events.
  • free_CA_mode is a 1-bit field. If it is set to 0, it indicates that all element streams of the corresponding service are not scrambled. If set to 1, it means that one or more streams are being controlled by the CA system.
  • descriptors_loop_length is a 12-bit field and indicates the total length of the following descriptor in bytes.
  • CRC_32 is a 32-bit field that indicates the CRC value for the zero output of the register at the decoder.
  • service_combine_descriptor () is included in the descriptor in the EIT of the DVB-SI and transmitted.
  • the service_combine_descriptor () described above may be included in the EIT of the service through which the reference video stream is transmitted.
  • an additional stream channel exists only for the event. Therefore, the additional stream channel is valid only during the broadcast period of the corresponding event.
  • the interworking channel for the corresponding event is identified using associated_service_TSID, associated_service_original_network_id, and associated_service_id.
  • Event_combine_descriptor () is included in the descriptor in the EIT of DVB-SI, when event A is the reference video event and event B is the additional video event, interworking with event B in the descriptor loop for event A in the EIT is described. Event_combine_descriptor () containing information is located.
  • 32 is a diagram illustrating a syntax structure of an event_combine_descriptor according to an embodiment of the present invention.
  • event_combine_descriptor may include descriptor_tag, descriptor_length, event_combine_type, linked_event_id, linked_TSID, linked_original_netrowk_id, linked_service_id, internet_linkage_information (), event_sync_type, and / or avail_time_start.
  • descriptor_tag has a size of 8 bits, serves as an ID of a descriptor, and can assign a value of 0xTBD.
  • descriptor_length has a size of 8 bits and includes information about the number of bytes included in the descriptor.
  • event_combine_type has a size of 3 bits and indicates a combine type of an event signaled by the EIT section.
  • event_combine_type is 000, this means that the event includes all components necessary for 3D video service. For example, this means that both the reference image, the additional image, the left image, and the right image are included.
  • event_combine_type is 001
  • the remaining components for servicing the complete 3D image are received by the same type of media as the corresponding event, and the remaining components can be obtained using the linked_TSID and the linked_service_id.
  • the worst case for example, only a part of the 3D video service may be rendered when reception of the remaining components is impossible. In this case, the 2D video service using the reference video may be provided.
  • event_combine_type 010, this means that the event includes a part of components for 3D video service and the part does not include a required element.
  • the event itself cannot provide any meaningful video to the user.
  • This event can be provided only when combined with the required elements included in other events identified by the linked_TSID and the linked_service_id.
  • Required element means received by the same type of medium as the event.
  • event_combine_type 011
  • the remaining components to service the complete 3D image are received through the Internet, and the URL indicating the location of the remaining components can be obtained through internet_linkage_information.
  • the URL indicating the location of the remaining components can be obtained through internet_linkage_information.
  • only a part of the 3D video service may be rendered when reception of the remaining components is impossible.
  • the 2D video service using the reference video may be provided.
  • event_combine_type 100, it means that the event includes a part of components for 3D video service and the part does not include a required element.
  • the event itself cannot provide any meaningful video to the user.
  • the required element means that it is received through the Internet, and the corresponding event must be combined with the required element to provide 3D video service. Access information for the above required elements can be obtained through internet_linkage_information.
  • the linked_event_id is a 16-bit field and indicates an evnet_id value of an event to be combined with this event to provide a complete 3D video service.
  • the linked_TSID is a 16-bit field and indicates a transport_stream_id of a transport stream through which a PMT signaling information on an additional stream is transmitted.
  • the linked_original_network_id is a 16-bit field indicating an original_network_id value of a service or program including a stream to be combined with this event to provide a complete 3D video service.
  • the linked_service_id is a 16-bit field and indicates a service_id value of a service or a program including a stream to be combined with this event to provide a complete 3D video service.
  • This service_id is the same value as the program_number of the PMT section. Therefore, the linked_service_id may be represented by the linked_program_number.
  • the internet_linkage_information may include an IP address, a field indicating whether the IP address is 32 bits or 128 bits, a port number, additional information (for example, a URI of the stream), and available time slot (start time, expiration time) information. have.
  • event_sync_type is a 3-bit field and contains information on how components of the 3D video service are obtained and synchronized.
  • 34 is a diagram illustrating event_sync_type according to an embodiment of the present invention.
  • event_sync_type 000, the 3D video service can be provided only by synchronous 3D transmission.
  • event_sync_type is 001
  • the 3D video service can be provided only by asynchronous 3D transmission.
  • the remaining part for providing the 3D video service is transmitted later in time.
  • the receiver may use connection information such as linked_event_id, linked_TSID, linked_service_id, linked_original_network_id, and internet_linkage_information to receive the remaining part mentioned above.
  • the 3D video service may be provided only by asynchronous 3D transmission.
  • the remaining part for providing the 3D video service is transmitted in advance in time.
  • the receiver may use connection information such as linked_event_id, linked_TSID, linked_service_id, linked_original_network_id, and internet_linkage_information to receive the remaining part mentioned above.
  • the 3D video service may be provided by both synchronous or asynchronous 3D transmission.
  • the remaining part for providing the 3D video service may be transmitted simultaneously with the current event or may be retransmitted later in time.
  • the receiver may use connection information such as linked_event_id, linked_TSID, linked_service_id, linked_original_network_id, and internet_linkage_information to receive the remaining part mentioned above.
  • the 3D video service may be provided by both synchronous or asynchronous 3D transmission.
  • the remaining part for providing the 3D video service may be transmitted simultaneously with the current event or may be transmitted in advance in time.
  • the receiver may use connection information such as linked_event_id, linked_TSID, linked_service_id, linked_original_network_id, and internet_linkage_information to receive the remaining part mentioned above.
  • avail_time_start is a 32-bit field and indicates a start time when a separate stream that is combined with a stream of a current service and can provide one 3D video service is transmitted.
  • avail_time_start is 1980.1.6. Start time of the event in GPS seconds since 00:00:00 UTC. This field is only meaningful when the value of the event_sync_type field is '001' or '011'.
  • the detailed information of the video stream included in the linked event can be found by referring to the component_descriptor in the service including the corresponding event, or the component_tag field or the elementary PID field of the corresponding component is included in the event_combine_descriptor described above, and only the value of the corresponding field is immediately displayed. You can also find it. That is, according to an embodiment, the component_tag or elementary_PID field for the video / audio stream linked to the event_combine_descriptor may be included and stream related information such as stream_content and component_type may be included.
  • the digital broadcast receiver of the present invention may receive and combine the reference video and the additional video of the 3D video service by using the signal information included in the event_combine_descriptor () described above, and display the 3D video.
  • An embodiment of the digital broadcast reception method using the EIT of the DVB-SI described above is as follows.
  • the EIT for the event A is signaling information about the reference view video element and the audio element. It includes.
  • the event_combine_type in the event_combine_descriptor included in the descriptor loop of the EIT for the event A is set to 001, and the linked_TSID indicates the transport_stream_id of the transport stream including the element of the service B.
  • linked_service_id may be used to obtain information about service B.
  • the SDT and PMT for service B include signaling information for the additional view video element.
  • the event_combine_type included in the event_combine_descriptor of the SDT for the service B is set to 010 and the linked_TSID indicates the transport_stream_id of the transport stream including the element of the event A.
  • linked_service_id may be used to obtain information about event A.
  • the receiver combines the elements of Event A and Service B to provide a complete stereoscopic 3D video service.
  • 35 is a flowchart illustrating a method of providing 3D image signal information in a multipath environment using EIT of DVB-SI according to an embodiment of the present invention.
  • the digital broadcast reception device receives EIT information about a selected service after channel tuning (S351).
  • the event_combine_type field is used to determine whether a path for receiving other complementary components is the same terrestrial channel or the Internet (S353). Subsequently, an elementary stream corresponding to event A is received.
  • the available time of the linked event is identified using the event_sync_type field and the avail_time_start field. This can be used to determine whether simultaneous reception is currently possible or whether it should be received later.
  • the SDT (or PMT) corresponding to the linked_TSID and the linked_serivce_id identified through the event_combine_descriptor for the event A is received (S354). In this case, a process of additionally tuning another channel may occur.
  • a complete three-dimensional video service may be displayed by decoding all the elementary streams included in the event A and the service B (S306). Alternatively, only the necessary parts can be decoded selectively.
  • service B If service B is not currently available and later available, after receiving and storing (recording) the stream of event A, it plays back the stream of the stored event A at a time when the stream of service B is received later, It is possible to provide a three-dimensional image by combining.
  • linkage_descriptor () when linkage_descriptor () is included in the descriptor in the EIT of DVB-SI, linkage_descriptor of DVB-SI is provided to provide one 3D video service by combining two different services or combining two different events. () Is available and specifies a new linkage_type for each case.
  • 36 (a) is a diagram illustrating linkage_descriptor () according to an embodiment of the present invention.
  • linkage_descriptor may include descriptor_tag, descriptor_length, transport_stream_id, original_network_id, service_id, linkage_type, service_combine_info () and / or event_combine_info ().
  • descriptor_tag has a size of 8 bits and serves as an identifier ID.
  • descriptor_length has a size of 8 bits and includes information about the number of bytes included in the descriptor.
  • the transport_stream_id is a 16-bit field that identifies a transport stream of an information service.
  • original_network_id is a 16-bit field that identifies the network ID of the original transmission system of the information service.
  • service_id is a 16-bit field that uniquely identifies the information service in the transport stream. It is set equal to the program_number of the corresponding PMT section.
  • linkage_type is an 8-bit field that subdivides the type of linkage. In the present invention, 0x0F and 0x10 are newly defined. 36 (b) is a diagram illustrating linkage_type according to an embodiment of the present invention. linkage_type 0x0F means service combine linkage, and linkage_type 0x10 means event combine linkage.
  • linkage_descriptor () In the case of a service combine connection, linkage_descriptor () should be located in the SDT, and the receiving device obtains service_combine_info () information, and the details include all the contents of the field of service_combine_descriptor () described above.
  • linkage_descriptor () In the case of an event combine connection, linkage_descriptor () should be located in the EIT, and the receiving device obtains event_combine_info () information, and the details include all the field contents of the event_combine_descriptor () described above.
  • non-essential video is transmitted to the service defined as non-essential service, which is a service that does not provide any meaningful service to the user.
  • the service_type of the corresponding service may use an existing HD DTV service type or newly define an additional service type including additional video.
  • service_type 0x19 means Advanced codec HD digital television service and 0x1F means non-essential stereoscopic service that includes only additional video stream.
  • the stream_content and component_type of the non-essential service as shown in FIG. 37 (b), the stream_content and component_type combinations of the existing HD video (MPEG-2 or H.264 / AVC) may be used, or a combination for only additional video may be newly defined. .
  • MPEG-2 or H.264 / AVC existing HD video
  • the service that provides the above-mentioned reference video stream and the additional video stream together is defined as a dual-stream service. In the case of using this service, it is possible to provide not only the 3D video service but also the existing 2D video service.
  • service_type may use an existing service type that is compatible with a 2D HD service, or may use a new service type.
  • 37 (c) is a diagram illustrating a service type of a dual-stream service according to an embodiment of the present invention.
  • service_type 0x19 means Advanced codec HD digital television service and 0x20 means dual-stream stereoscopic service including both reference video stream and additional video stream.
  • the stream_content and component_type of the dual-stream service use the stream_content and component_type combination of the existing HD video (MPEG-2 or H.264 / AVC) or newly define the combination only for the additional video as in FIG. 37 (b) described above. can do.
  • the 2D video element is transmitted through the existing terrestrial TV channel and the depth data is transmitted through the Internet. It is a service.
  • the depth map may include occlusion, transparency information, etc. as necessary. That is, data for generating an additional image (right image) of stereoscopic video by combining with a 2D video element (reference image, left image) is referred to as depth data in this document.
  • FIG. 38 is a diagram illustrating a digital broadcast receiver providing a 3D video service using depth data according to an embodiment of the present invention.
  • the digital broadcast receiver of FIG. 38 includes a stream demultiplexer 21, a system decoder 23, a reference video decoder 24, an internet interface 25, a storage medium controller 26, a content and metadata storage unit 27. ), a depth data decoder 28, a synchronizer 29, a renderer 30, and / or an output formatter 31.
  • the digital broadcast reception apparatus receives a broadcast stream through a tuner (not shown) and demultiplexes the 2D video stream from the stream using the stream demultiplexer 21.
  • the two-dimensional video stream is input to the system decoder 23 and decoded into video data, and the reference video decoder 24 generates a reference video (left video) signal.
  • a conventional receiving device can display a 2D video signal.
  • Depth data is received via the internet interface 25, which is stored by the storage medium controller 26 in the content and metadata storage 27.
  • the depth data is input to the depth data decoder 28 and decoded and input to the synchronizer 29 to be synchronized with the reference video signal decoded by the reference video decoder 24.
  • the renderer 30 may generate an additional video signal using the reference video signal and the depth data. The generated additional video signal is combined with the reference video signal by the output formatter 31 and displayed as a stereoscopic 3D video signal.
  • the process of outputting a 3D image signal uses a method of rendering an additional image by linking a previously received depth data with a 2D image signal received in real time. This is similar to real-time 2D-to-3D conversion, but the content provider provides depth data and the quality and accuracy of three-dimensional image is that the information is already available in the receiver before receiving the two-dimensional image signal. It can be a reliable method.
  • signaling for interworking information between a 2D video signal and depth data is required. For example, presence signaling, which indicates whether the depth data is linked with the 2D video signal, location signaling, which is information about a path (location) of depth data linked with the 2D video signal, and 2D video Synchronization / coupling mode signaling, which is information on the synchronization or interworking method of depth data, Available time signaling, which is information on the time to receive depth data linked with 2D video signal, and depth data linked with 2D video signal.
  • Format / codec signaling which is information about format or codec, a method of transmitting multiple depth data to provide 3D video signals having various depth ranges, and depth range signaling that provides depth range information for each depth data is required.
  • frame level synchronization information is required to link the 2D video signal and the depth data. For example, video level signaling and transport stream level signaling are required.
  • signaling is basically performed on enhancement data including depth data through a channel through which a 2D video signal is received.
  • the enhancement data is the information including the depth data
  • the following defines a Descriptor for signaling Enhancement Data through PSI / PSIP / SI section.
  • the descriptor is not included in the loop, but in some cases, multiple enhancement data may be transmitted. In this case, the descriptor should be repeated as many fields as the number of enhancement data streams to be transmitted. In particular, this case corresponds to a case of implementing depth control by transmitting multiple depth maps.
  • 39 is a diagram illustrating syntax of event_enhancement_descriptor () according to an embodiment of the present invention.
  • the event_enhancement_descriptor () may be included in the EIT of FIG. 20 and transmitted to perform signaling of enhancement data linked to the corresponding event.
  • event_enhancement_descriptor includes descriptor_tag, descriptor_length, combined_service_type, enhancement_type, enhancement_right_flag, sync_type, enhancement_stream_format, enhancement_stream_sampling_factor, avail_time_start, linked_TSID, linked_program_number, internet_linkage_information, disparity_near, and disparity_far.
  • the combined_service_type represents a field indicating a service for ultimately providing when components received / transmitted through two or more separate paths / channels are combined. That is, it means the final service provided by combining the corresponding event and enhancement data received through the location specified by event_enhancement_descriptor ().
  • 40 (a) is a diagram illustrating combined_service_type according to an embodiment of the present invention.
  • combined_service_type is set to a value of 0x01, this means that the stereoscopic 3D video service described in the present invention.
  • the present invention will be described based on the content of the combined_service_type is 0x01 and 3D stereoscopic service.
  • the enhancement_type indicates the type of the path through which enhancement data for the event is transmitted. For example, it could be a terrestrial channel or the Internet.
  • 40 (b) is a diagram illustrating enhancement_type according to an embodiment of the present invention.
  • enhancement_type is set to 0x0, this means that the event includes all components necessary for 3D video service. That is, enhancement data is also included as a component of the event and received.
  • enhancement_type When enhancement_type is set to 0x1, enhancement data is received through another channel / path, and the type of the reception path is the same as that of the corresponding event. For example, when an event is terrestrial, enhancement data for this event is also received through another channel of the terrestrial wave.
  • path information on the enhancement data uses linked_TSID and linked_program_number.
  • enhancement_type When enhancement_type is set to 0x2, this corresponds to a case in which the event includes only enhancement data and essential data is transmitted through a path of the same type. That is, when both enhancement and essential data are received through terrestrial waves, detailed path information on the essential data uses the linked_TSID and linked_program_number fields.
  • enhancement_type When enhancement_type is set to 0x3, it means that enhancement data for the corresponding event is received through the Internet. Path information for accessing enhancement data uses internet_linkage_information.
  • the enhancement_right_flag indicates whether the left view / right view of the corresponding image is rendered when the view of the stereoscopic 3D video service is rendered using the enhancement data. If this value is '1', the time point acquired through enhancement data or enhancement data is a right image.
  • sync_type informs the component of the event and how to synchronize and combine the transmission of enhancement data.
  • 40 (c) is a diagram illustrating sync_type according to an embodiment of the present invention.
  • sync_type is set to 0x0, this means that the component and enhancement data of the corresponding event are transmitted at the same time. In other words, it indicates synchronous transmission.
  • sync_type is set to 0x1
  • Enhancement data is transmitted later than the event. For normal 3D video viewing, it is required to link / combine with the enhancement data received after recording the corresponding event.
  • sync_type is set to 0x2
  • Enhancement data has already been transmitted before the event, and for normal 3D video viewing, it is required to link / combine the event component received in real time with enhancement data already received / stored.
  • sync_type When sync_type is set to 0x3, the same as in the case of 0x1, but synchronous transmission of enhancement data is also possible.
  • sync_type When sync_type is set to 0x4, the same as in the case of 0x2, but synchronous transmission of enhancement data is also possible.
  • enhancement_stream_format informs information about a data format, codec, etc. of enhancement data for a corresponding event.
  • 41 (a) is a diagram illustrating enhancement_stream_format according to an embodiment of the present invention. In the present invention, a case of transmitting depth / disparity data will be described in detail.
  • the enhancement_stream_format is 0x25, this indicates a depth / disparity map coded with MPEG-2 video, and when 0x26, it indicates a depth / disparity map coded with H.264 / AVC video.
  • the enhancement_stream_sampling_factor means the resolution of enhancement data and means a sampling factor in the horizontal and vertical directions relative to the video stream (reference video) of the corresponding event.
  • 41 (b) is a diagram illustrating an enhancement_stream_sampling_factor according to an embodiment of the present invention.
  • the enhancement_stream_sampling_factor is 0x00, it indicates the same resolution as that of the reference video.
  • 0xXY indicates that the width is 1 / (X + 1) relative to the reference image and the height is 1 / (Y + 1) relative to the reference image. For example, for a depth / disparity map with a size of 1/4 in width and 1/8 in length, this field has a value of 0x37.
  • avail_time_start means a start time when enhancement data constituting 3D video content is combined with a component of a current event to be transmitted.
  • avail_time_start is a 32-bit field. Start time of the event in GPS seconds since 00:00:00 UTC. If this field value is 0, it means that enhancement data is available at any time.
  • the linked_TSID means a transport_stream_id value of a transport stream including enhancement data.
  • the linked_program_number represents a program_number value for a program / channel including enhancement data. That is, it is possible to uniquely identify the stream including enhancement data using the linked_TSID and the linked_program_number.
  • internet_linkage_information provides information on the transmission of enhancement data through the Internet and may include the following.
  • the available time slot information may include the same content as the avail_time_start field.
  • disparity_near and disparity_far indicate a range of depth when the enhancement data is a disparity / depth map. Each value represents a disparity value corresponding to the object point closest to the user and the farthest object point.
  • event_enhancement_descriptor () signaling for a plurality of enhancement streams is also possible.
  • n enhancement streams can be signaled using a loop in event_enhancement_descriptor ().
  • program_enhancement_descriptor () is a diagram illustrating syntax of program_enhancement_descriptor () according to an embodiment of the present invention.
  • Program_enhancement_descriptor () may be included in the PMT of FIG. 8 to perform signaling for enhancement data linked to a program or a program element.
  • program_enhancement_descriptor () provides information on enhancement data for implementing a 3D video service in association with a corresponding program. At this time, the provided information only informs whether the program is interlocked and does not provide information on which event is interlocked with the real-time / non-real-time interlock.
  • program_enhancement_descriptor includes descriptor_tag, descriptor_length, combined_service_type, enhancement_type, enhancement_right_flag, sync_type, enhancement_stream_format, enhancement_stream_sampling_factor, linked_TSID, linked_program_number, linked_elementary_PID, internet_linkage_information, and disparity_far.
  • the fields included in the program_enhancement_descriptor () are the same as the fields of the event_enhancement_descriptor () described with reference to FIG. 39, and only fields having a difference are described.
  • the enhancement_type indicates the type of the path through which enhancement data for the program is transmitted. For example, it could be a terrestrial channel or the Internet.
  • the enhancement_type included in program_enhancement_descriptor () is applied in the program unit, not in the event unit.
  • the linked_elementary_PID is not a required field in program_enhancement_descriptor () and may be omitted according to an embodiment.
  • 43 is a diagram illustrating syntax of channel_enhancement_descriptor () according to an embodiment of the present invention.
  • Channel_enhancement_descriptor () is included in the TVCT of FIG. 14 to signal information of enhancement data for providing a 3D video service in association with a component of a corresponding virtual channel at a virtual channel level. This information informs whether the channel is interlocked, and does not provide specific information of event units and information on whether real-time / non-real-time interlocking is performed.
  • channel_enhancement_descriptor includes descriptor_tag, descriptor_length, combined_service_type, enhancement_type, enhancement_right_flag, sync_type, enhancement_stream_format, enhancement_stream_sampling_factor, linked_TSID, linked_program_number, linked_major_channel_number, linked_minor_channel_number, linked_source_id, disprovided_interface
  • the enhancement_type indicates the type of the path through which enhancement data for the corresponding virtual channel is transmitted. For example, it could be a terrestrial channel or the Internet.
  • the meaning of this field is the same as defined in event_enhancement_descriptor () and program_enhancement_descriptor (), but the difference is that it is applied in the unit of virtual channel, not event or program.
  • the linked_channel_TSID indicates a transport_stream_id value for a program / channel including a stream to be combined with the present program / channel to provide a complete 3D video service.
  • the linked_channel_program_number represents a program_number value for a program / channel including a stream to be combined with the present program / channel to provide a complete 3D video service.
  • the linked_major_channel_number represents a major_channel_number of a channel including a stream to be combined with the present program / channel to provide a complete 3D video service.
  • the linked_minor_channel_number represents the minor_channel_number of the channel including the stream to be combined with the present program / channel to provide a complete 3D video service.
  • the linked_source_id represents a source_id value of a channel including a stream to be combined with the present program / channel to provide a complete 3D service.
  • the service_enhancement_descriptor () is included in the SDT of FIG. 26 to signal information of enhancement data for providing a 3D video service in association with a corresponding service at a service level. This information informs the presence or absence of interworking data for the service, and does not provide specific information of event units and information on whether real-time / non-real-time interworking is performed.
  • service_enhancement_descriptor includes descriptor_tag, descriptor_length, combined_service_type, enhancement_type, enhancement_right_flag, sync_type, enhancement_stream_format, enhancement_stream_sampling_factor, linked_TSID, linked_original_network_id, linked_service_id, internet_linkage_information, disparity_far, and disparity_far.
  • enhancement_type indicates the type of the path on which enhancement data for the service is transmitted. For example, it could be a terrestrial channel or the Internet. The meaning of the value for this field is the same as that defined in the description of FIG. 39, but the difference is applied in a service unit rather than an event.
  • the linked_original_network_id indicates an original_network_id value of a service including a stream to be combined with the present program / service to provide a complete 3D video service.
  • the linked_service_id represents a service_id value of a service including a stream to be combined with the present program / service to provide a complete 3D video service.
  • the linked_program_number field is omitted, but there may be an embodiment in which the linked_program_number field is included in service_enhancement_descriptor () in some cases.
  • the service_enhancement_descriptor () may include a linked_component_tag or linked_elementary_PID field for the linked video / audio stream, and may also include stream related information such as linked_stream_content and linked_component_type.
  • the description of other fields is the same as the description of the field of event_enhancement_descriptor () described with reference to FIG. 39.
  • the information of enhancement data for the corresponding service may be signaled using the linkage_descriptor () of the service level.
  • linkage_descriptor () information about enhancement data linked with a service is included in linkage_descriptor (), and the content is the same as service_enhancement_descriptor ().
  • event_enhancement_descriptor () is included in the EIT of the DVB-SI of FIG. 31 to signal information of enhancement data for providing a 3D video service in association with the corresponding event.
  • Event_enhancement_descriptor () included in the EIT of DVB-SI includes descriptor_tag, descriptor_length, combined_service_type, enhancement_type, enhancement_right_flag, sync_type, enhancement_stream_format, enhancement_stream_sampling_factor, avail_time_start, linked_event_ID, linked_TSID, linked_original_par_id, linked_service_disne
  • the linked_event_ID indicates an event_ID value of an event to be combined with this event to provide a complete 3D video service.
  • the linked_original_network_id indicates an original_network_id value of a service including a stream to be combined with this event to provide a complete 3D video service.
  • the linked_service_id represents a service_id value of a service including a stream to be combined with this event to provide a complete 3D video service.
  • information of enhancement data for the corresponding event may be signaled using linkage_descriptor () of the event level.
  • linkage_descriptor () information on enhancement data linked with an event is included in linkage_descriptor () and includes the same content as event_enhancement_descriptor ().
  • the digital broadcast signal reception apparatus and method of the present invention include a restriction element for enhancement (non-essential) channel / service for backward compatibility with the existing reception apparatus.
  • Elements constituting the stereoscopic 3D video service receive a basic video through an essential channel (legacy compatible channel) through which a 2D video signal is received, and acquire information on enhancement data through PSI / PSIP / SI of an essential channel. Then use this information to access the enhancement data.
  • an essential channel legacy compatible channel
  • enhancement data through PSI / PSIP / SI of an essential channel. Then use this information to access the enhancement data.
  • channels that transmit enhancement data cannot be serviced independently, and set the following restriction elements to prevent malfunction of existing receivers.
  • service_type is set to 0x07 (parameterized service) or 0x0A (non-stand-alone type service carrying additional data).
  • stream_type should be able to represent depth / disparity data coded with MPEG-2 and depth / disparity data coded with H.264 / AVC.
  • MPEG-2 registration_descriptor When specifying a new stream_type, use the MPEG-2 registration_descriptor.
  • the format_identifier field of the registration_descriptor has a value of 'DIS1'-(0x4449 5331) and the additional_idenfication_info field has a value of 0x83.
  • service_type is set to 0x1F (non-essential stereoscopic service carrying only additional / enhancement stream).
  • stream_content and component_type use stream_content and component_type combinations of existing HD video (MPEG-2 or H.264 / AVC) or newly define combinations for only additional images as shown in FIG. 46.
  • FIG. 46 is a view showing stream_content and component_type according to an embodiment of the present invention.
  • the apparatus and method for receiving a digital broadcast signal uses the stream_content and component_type information of FIG. 46 inserted into the component_descripotr of the DVB-SI to determine which codec the component uses, whether additional video or depth / disparity map data.
  • the corresponding component may be decoded and a 3D video service may be provided.
  • the synchronization method according to the present invention includes a transport packet level synchronization, a video level synchronization, and a system level synchronization method.
  • Transport packet level synchronization is a method of transmitting synchronization information by using adaptation_field () of a transport packet.
  • a transport packet including a transport packet including a video component received through an existing channel and enhancement data received through a separate channel are transmitted. Synchronization may be performed at the transport stream level by matching or aligning port packets.
  • adaptation_field () is a diagram illustrating adaptation_field () according to an embodiment of the present invention.
  • transport_field_extension_flag of adaptation_field () is set to 1, and the number of bytes of private_data_byte is signaled using transport_private_data_length.
  • frame number information on video / depth is signaled through video_frame_info_data_byte.
  • the receiving device controls the synchronization of elements constituting the 3D video service received through the multi-path using the above information.
  • FIG. 49 (a) is a diagram illustrating syntax of video_frame_info_data_byte according to an embodiment of the present invention.
  • the video_frame_info_data_byte is located in private_data_byte of the adaptation_field of the transport packet and has a structure as shown in FIG. 49 (a).
  • the meaning of video_frame_info is determined according to the setting value of frame_info_type included in video_frame_info_data_byte, as shown in FIG. 49 (b).
  • video_frame_info means decoding order number.
  • video_frame_info means a decoding order number
  • video decoding structures for two components should be identical.
  • video_frame_info means display order number.
  • video_frame_info means PTS value of clock frequency 90KHz.
  • PTS is an abbreviation of presentation time stamp and indicates a time point when a decoded access unit should be reproduced.
  • video_frame_info represents an absolute time displayed.
  • the most significant bit (MSB) of this field is set to 0 and the remaining bits are 32 bits. 00:00:00 Displays time in GPS seconds since UTC.
  • video_frame_info means modified PTS. This is a time stamp relative to the video_frame_info value of the first picture in the video element set to zero. That is, video_frame_info of an individual picture is a relative count value according to the display time of the first picture of the video element. The unit of the above count is equal to the period of the system clock at the 90 KHz frequency.
  • video_frame_info_data_byte is transmitted in units of frames using an SEI message. Therefore, the video_frame_info field included in the user_data_registered_itu_t_135 SEI message included in the AVC / H.264 video stream received through the 2D video signal channel and the video_frame_info field of the SEI message included in the AVC / H.264 video stream for enhancement data are included. By matching, two streams may be synchronized.
  • the itu_t_35_country_code and itu_t_t35_provider_code fields use the values specified by the ITU-T T.35 Recommendations. ATSC has values of 0xB5 and 0x0031, respectively.
  • video_frame_info_data_byte is included in Picture User Data and transmitted.
  • the system level synchronization method performs synchronization using the PTS values included in the PES for the essential video stream and the enhancement stream.
  • Using the PTS value has the advantage of enabling synchronization of independent elements received over heterogeneous paths while maintaining the existing specifications, while the independent nature of the elements makes it difficult to set a common clock (PCR) for the PTS.
  • PCR common clock
  • Even if there is a clock, the disadvantage is that there is no guarantee that the PTSs of the frames that match each other match.
  • the encoder section also needs to control the two codecs in detail.
  • matching the PTS of a prestored stream and a real-time received stream requires considerable difficulty.
  • the digital broadcast receiving apparatus includes a plurality of system decoders 41 and 45, a plurality of video decoders 42 and 46, a plurality of input controllers 43, 44 and 47, a view combiner 48 and an output formatter. (49), an output control section (50).
  • the receiving apparatus inputs reference images input to the system decoders 41 and 45.
  • the synchronization information is extracted from the signal and the additional video signal.
  • the synchronization information may use 1) video_frame_info included in a transport packet, 2) user data or video_frame_info included in an SEI message of a video stream, or 3) a PTS value included in a PES packet header.
  • the synchronization information obtained here is used to match the reference video signal and the additional video signal decoded independently by each other by the video decoders 42 and 46.
  • this information is obtained from the system decoders 41 and 45 and transmitted to the input controllers 43 and 44 immediately before the output formatter 49, and in the case of 2) the video decoders 42 and 46. The information is acquired and transmitted to the input controllers 43 and 44 immediately before the view combiner 48.
  • video_frame_info When video_frame_info is used to synchronize the components of the 3D stereoscopic video signal, the output timing information of the actual video uses the existing PTS value. In other words, video_frame_info is used to synchronize two elements received through heterogeneous paths, but control of the output timing of the actual 3D view and the synchronization between the 3D view and the audio signal are based on the PTS.
  • the additional image (right image, may be left image in some cases) and the reference image (left image, may be right image in some cases) are passed from the 3D display to the 3D image via the output formatter 49. Is output.
  • the output timing of the 3D image is controlled by the output controller 50 based on the PTS.
  • the receiving apparatus may include a 2D video signal input to the system decoders 41 and 45. Extract synchronization information from the depth / disparity stream. As described above, 1) video_frame_info included in a transport packet, 2) user data or video_frame_info included in an SEI message, or 3) PTS value included in a PES packet header may be used. The synchronization information obtained here is used to match the depth / disparity data and the two-dimensional image signal decoded independently by each other by the video decoders 42 and 46.
  • this information is obtained from the system decoders 41 and 45 and passed to the input control units 43 and 47 immediately before view synthesis.
  • the video decoders 42 and 46 are used. ) Is obtained and transmitted to the input controllers 43 and 47 immediately before the view combiner 48.
  • video_frame_info When video_frame_info is used to synchronize the components of the 3D stereoscopic video signal, the output timing information of the actual video uses the existing PTS value. In other words, video_frame_info is used to synchronize two elements received through heterogeneous paths. Control is based on PTS.
  • the view combiner 48 generates another view forming a stereoscopic 3D video signal using the 2D video signal and the depth / disparity data corresponding thereto. As a result, the 2D video signal and the depth / disparity stream should be synchronized immediately before the view combiner 48 is input.
  • An additional image (right image, which may be a left image in some cases) and a reference image received through an existing channel (left image, which may be a right image in some cases) generated by combining views are output formatters 49 ) Is output as a 3D image from the 3D display unit.
  • the output timing of the 3D image is controlled by the output controller 50 based on the PTS.
  • FIG. 52 illustrates a view combining and synchronizing operation according to an embodiment of the present invention.
  • FIG. 52 (a) shows a 3D video signal generation procedure according to time flow when a 3D video signal is provided using a reference video and an additional video.
  • frame 0 of the reference view is obtained through decoding of the reference video signal and frame 0 of the additional view is obtained through decoding of the additional video signal.
  • frame 1 at the reference view and frame 1 at the additional view are obtained by decoding the reference video signal.
  • the formating pair 0, which is a 3D video signal is obtained using the frame 0 of the reference view and the additional view through the output formatter. Through this process, a 3D video signal is provided to the user.
  • FIG. 52 (b) shows a three-dimensional image signal generation procedure according to time flow when a three-dimensional image signal is provided using a two-dimensional image signal and depth data.
  • Depth information of frame 0 is obtained by decoding frame 0 and depth data of a reference view through decoding of a 2D video signal at t0.
  • Depth information of frame 1 is obtained by decoding frame 1 of the reference view and additional depth data through decoding of the 2D video signal at t1.
  • the frame 0 of the additional view is obtained using the frame 0 of the reference view and the depth information of the frame 0 through the view combiner.
  • Depth information about Frame 2 is obtained by decoding Frame 2 and additional Depth data of a reference view through decoding of a 2D video signal.
  • frame 1 of the additional view is obtained by using frame 1 of the reference view and depth information of frame 1 through the view combiner.
  • the formating pair 0, which is a 3D video signal is obtained using the frame 0 of the reference view and the additional view through the output formatter. Through this process, a 3D video signal can be provided to the user.
  • the 2D video signal refers to a video signal received through an existing digital TV channel, and is encoded into MPEG-2 video and optionally AVC / H.264 or Image coded using another codec.
  • the method of receiving 2D video signal is the same as the existing digital TV service reception, and the presence or absence of enhancement data, combined service type, reception channel / path, and acquisition can be obtained using the PSI / PSIP / SI section received through this channel. Get information about the time.
  • Enhancement Data means Depth Map or Disparity Map data in the present invention. In some cases, Occlusion and Transparency information may be included and will be referred to as a depth map for convenience.
  • the 3D image signal receiving apparatus combines the 2D image signal received through the existing channel with the enhancement data to create another viewpoint that constitutes a stereoscopic 3D image signal. Enhancement data exists in two ways: real-time linkage and non-real-time linkage.
  • Enhancement data is received through the Internet or other terrestrial channels at the same time as the 2D video signal received through the existing channel.
  • the two components provide a real-time three-dimensional image to the viewer through real-time reception and real-time decoding.
  • the Enhancement Data is received in advance and stored in the storage device through the Internet or the terrestrial channel before the broadcast time of the 2D video signal. It can be either NRT or recording of Enhancement Data received live.
  • the 3D video is output through synchronization with the 2D video signal received while reproducing pre-recorded / stored enhancement data. That is, the actual broadcast is a two-dimensional live broadcast, but the receiver that stores the enhancement data in advance may provide a three-dimensional video live.
  • the depth ranges according to the viewer's taste can be selected using the disparity_near and disparity_far fields for each stream. That is, it is possible to implement depth control through selective reception of multiple depth maps and three-dimensional rendering using the received depth map.
  • the present invention may be applied in whole or in part to a digital broadcasting system.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

본 발명은 3차원 영상을 포함하는 디지털 방송 신호를 수신하는 장치 및 방법에 관한 것이다. 본 발명의 일 실시예에 따른 디지털 방송 신호 수신 장치는 기준 시점의 비디오 스트림 및 시그널링 데이터를 포함하는 디지털 방송 신호를 수신하는 제1 수신부, 시그널링 데이터에 포함되고, 기준 시점의 비디오 스트림과 연동되어 3차원 영상을 구현하는 부가 시점의 비디오 스트림에 대한 정보를 디코딩하는 시그널링 데이터 프로세서, 부가 시점의 비디오 스트림에 대한 정보를 이용하여 부가 시점의 비디오 스트림을 포함하는 디지털 방송 신호를 수신하는 제2 수신부, 수신된 기준 시점의 비디오 스트림을 디코딩하여 기준 영상을 생성하는 기준 영상 디코더, 수신된 부가 시점의 비디오 스트림을 디코딩하여 부가 영상을 생성하는 부가 영상 디코더 및 기준 영상과 부가 영상을 결합하여 스테레오스코픽 3차원 영상 신호로 출력하는 출력 포맷터를 포함한다.

Description

디지털 방송 신호 수신 장치 및 방법
본 발명은 3차원 영상을 포함하는 디지털 방송 신호를 수신하는 장치 및 방법에 관한 것이다. 더욱 상세하게는, 3차원 영상을 포함하는 디지털 방송 신호를 복수의 채널 또는 복수의 프로그램을 통해 수신하여 3차원 영상으로 디스플레이하기 위한 수신 장치 및 방법에 관한 것이다.
3차원 텔레비젼(3-Dimensional Television, 3DTV)의 보급이 본격화됨에 따라 저장 매체에 의한 3차원(3D) 영상 컨텐츠 보급뿐만 아니라 디지털 방송에 의한 3차원 영상 컨텐츠의 전송이 활성화되고 있다.
일반적으로 3차원 영상은 두 눈의 스테레오(stereo) 시각 원리를 이용하여 입체감을 제공한다. 인간은 두 눈의 시차, 다시 말해 약 65mm 정도 떨어진 두 눈 사이의 간격에 의한 양안 시차(binocular parallax)를 통해 원근감을 느끼므로, 3D 영상은 좌안과 우안 각각이 연관된 평면 영상을 보도록 영상을 제공하여 입체감과 원근감을 제공할 수 있다.
이러한 3차원 영상 디스플레이 방법에는 스테레오스코픽(stereoscopic) 방식, 부피표현(volumetric) 방식, 홀로그래픽(holographic) 방식 등이 있다. 스테레오스코픽 방식의 경우, 좌안에서 시청되기 위한 레프트 뷰(left view) 이미지와 우안에서 시청되기 위한 라이트 뷰(right view) 이미지를 제공하여, 편광 안경 또는 디스플레이 장비 자체를 통해 좌안과 우안이 각각 레프트 뷰 이미지와 우측 이미지를 시청함으로써 3차원 영상 효과를 인지할 수 있도록 한다.
스테레오스코픽 3차원 영상 컨텐츠의 경우, 서로 다른 시점의 유사한 두 개의 영상을 송신하면 수신기가 두 개의 영상을 이용하여 3차원 영상으로 디스플레이하는 방식을 사용한다. 이 때 서로 다른 시점의 유사한 두 개의 영상을 기존의 방송 채널로 함께 보내는 방식과 기존 방송 채널 및 별도의 전송 채널로 나누어서 보내는 방식을 사용할 수 있다. 이러한 경우 수신기가 두 개의 영상을 하나의 3차원 영상으로 디스플레이하기 위해서는 쌍을 이루는 두 개의 영상에 대한 신호 정보(signal information)를 함께 수신해야 한다. 이러한 정보가 함께 수신되지 않는 경우 하나의 3차원 영상을 이루는 레프트 뷰 이미지와 라이트 뷰 이미지를 구별할 수 없어 3차원 영상을 복원하지 못하는 문제점이 발생한다. 또한 레프트 뷰 이미지와 라이트 뷰 이미지의 동기 시점 및 어느 시점에 3차원 영상 디스플레이가 가능한 것인지를 파악하지 못하는 문제점이 발생한다.
본 발명은 위와 같은 문제점을 해결하기 위한 것으로써, 본 발명이 이루고자 하는 기술적 과제는 디지털 방송 신호를 수신하는 장치 및 방법에서, 전술한 문제점을 겪지 않으면서, 3차원 영상을 디스플레이하기 위한 신호 정보를 포함하는 디지털 방송 신호를 수신하여 3차원 영상으로 디스플레이 가능하도록 하는 것이다.
전술한 기술적 과제를 해결하기 위하여, 본 발명의 일 실시예에 따른 디지털 방송 신호 수신 장치는 기준 시점의 비디오 스트림 및 시그널링 데이터를 포함하는 디지털 방송 신호를 수신하는 제1 수신부, 시그널링 데이터에 포함되고, 기준 시점의 비디오 스트림과 연동되어 3차원 영상을 구현하는 부가 시점의 비디오 스트림에 대한 정보를 디코딩하는 시그널링 데이터 프로세서, 부가 시점의 비디오 스트림에 대한 정보를 이용하여 부가 시점의 비디오 스트림을 포함하는 디지털 방송 신호를 수신하는 제2 수신부, 수신된 기준 시점의 비디오 스트림을 디코딩하여 기준 영상을 생성하는 기준 영상 디코더, 수신된 부가 시점의 비디오 스트림을 디코딩하여 부가 영상을 생성하는 부가 영상 디코더, 및 기준 영상과 부가 영상을 결합하여 스테레오스코픽 3차원 영상 신호로 출력하는 출력 포맷터를 포함한다.
또한, 본 발명의 일 실시예에 따른 디지털 방송 신호 수신 장치의 제2 수신부는 부가 시점의 비디오 스트림에 대한 정보를 이용하여, 무선 방송 채널을 통해 부가 시점의 비디오 스트림을 수신하는 튜너, 또는 인터넷 접속을 통해 부가 시점의 비디오 스트림을 수신하는 인터넷 접속부인 것을 특징으로 한다.
또한, 본 발명의 일 실시예에 따른 디지털 방송 신호 수신 장치의 부가 시점의 비디오 스트림에 대한 정보는 부가 시점의 비디오 스트림의 트랜스포트 아이디를 포함한다.
또한, 본 발명의 일 실시예에 따른 디지털 방송 신호 수신 장치의 부가 시점의 비디오 스트림에 대한 정보는 부가 시점의 비디오 스트림이 수신되는 시점에 대한 정보를 포함한다.
전술한 기술적 과제를 해결하기 위하여, 본 발명의 일 실시예에 따른 디지털 방송 신호 수신 장치는 기준 시점의 비디오 스트림 및 시그널링 데이터를 포함하는 디지털 방송 신호를 수신하는 제1 수신부, 수신된 기준 시점의 비디오 스트림을 디코딩하여 기준 영상을 생성하는 기준 영상 디코더, 부가 시점의 깊이 정보(depth data)를 수신하는 제2 수신부, 수신된 깊이 정보를 디코딩하는 depth data 디코더, 기준 영상과 디코딩된 깊이 정보를 동기화하는 동기화부, 동기화부의 출력을 이용하여 부가 영상을 렌더링하는 렌더링부 및 기준 영상 및 부가 영상을 결합하여 스테레오스코픽 3차원 영상 신호로 출력하는 출력 포맷터를 포함한다.
또한, 본 발명의 일 실시예에 따른 디지털 방송 신호 수신 장치는 수신된 깊이 정보를 저장하고 필요시에 제공하는 컨텐츠 및 메타데이터 저장부를 더 포함한다.
또한, 본 발명의 일 실시예에 따른 디지털 방송 신호 수신 장치는 다양한 깊이 범위(depth range)를 갖는 3차원 영상을 제공하기 위해 복수의 깊이 정보를 수신하는 것을 특징으로 한다.
전술한 기술적 과제를 해결하기 위하여, 본 발명의 일 실시예에 따른 디지털 방송 신호 수신 방법은 기준 시점의 비디오 스트림 및 시그널링 데이터를 포함하는 디지털 방송 신호를 수신하는 단계, 시그널링 데이터에 포함되고, 기준 시점의 비디오 스트림과 연동되어 3차원 영상을 구현하는 부가 시점의 비디오 스트림에 대한 정보를 디코딩하는 단계, 부가 시점의 비디오 스트림에 대한 정보를 이용하여 부가 시점의 비디오 스트림을 포함하는 디지털 방송 신호를 수신하는 단계, 수신된 기준 시점의 비디오 스트림을 디코딩하여 기준 영상을 생성하는 단계, 수신된 부가 시점의 비디오 스트림을 디코딩하여 부가 영상을 생성하는 단계 및 기준 영상과 부가 영상을 결합하여 스테레오스코픽 3차원 영상 신호로 출력하는 단계를 포함한다.
또한, 본 발명의 일 실시예에 따른 디지털 방송 신호 수신 방법의 부가 시점의 비디오 스트림을 포함하는 디지털 방송 신호를 수신하는 단계는 부가 시점의 비디오 스트림에 대한 정보를 이용하여, 무선 방송 채널 또는 인터넷 접속을 통해 부가 시점의 비디오 스트림을 수신하는 것을 특징으로 한다.
또한, 본 발명의 일 실시예에 따른 디지털 방송 신호 수신 방법의 부가 시점의 비디오 스트림에 대한 정보는 부가 시점의 비디오 스트림의 트랜스포트 아이디를 포함한다.
또한, 본 발명의 일 실시예에 따른 디지털 방송 신호 수신 방법의 부가 시점의 비디오 스트림에 대한 정보는 부가 시점의 비디오 스트림이 수신되는 시점에 대한 정보를 포함한다.
전술한 기술적 과제를 해결하기 위하여, 본 발명의 일 실시예에 따른 디지털 방송 신호 수신 방법은 기준 시점의 비디오 스트림 및 시그널링 데이터를 포함하는 디지털 방송 신호를 수신하는 단계, 수신된 기준 시점의 비디오 스트림을 디코딩하여 기준 영상을 생성하는 단계, 부가 시점의 깊이 정보(depth data)를 수신하는 단계, 수신된 깊이 정보를 디코딩하는 단계, 기준 영상과 디코딩된 깊이 정보를 동기화하는 단계, 동기화부의 출력을 이용하여 부가 영상을 렌더링하는 단계 및 기준 영상 및 부가 영상을 결합하여 스테레오스코픽 3차원 영상 신호로 출력하는 단계를 포함한다.
또한, 본 발명의 일 실시예에 따른 디지털 방송 신호 수신 방법은 수신된 깊이 정보를 저장하고 필요시에 제공하는 단계를 더 포함한다.
또한, 본 발명의 일 실시예에 따른 디지털 방송 신호 수신 방법은 다양한 깊이 범위(depth range)를 갖는 3차원 영상을 제공하기 위해 복수의 깊이 정보를 수신하는 것을 특징으로 한다.
본 발명에 따른 디지털 방송 신호 수신 장치 및 방법는 다음과 같은 효과를 가지고 있다.
본 발명의 일 실시예에 따르면, 디지털 방송 신호를 수신하여 3차원 영상 신호로 디스플레이할 수 있는 효과가 있다.
본 발명의 일 실시예에 따르면, 디지털 방송 신호를 수신하여 어느 시점에 3차원 영상 신호 디스플레이가 가능한지 여부를 알 수 있는 효과가 있다.
본 발명의 일 실시예에 따르면, 디지털 방송 신호를 수신하여 정확한 동기화정보를 얻을 수 있는 효과가 있다.
도 1은 본 발명의 일 실시예에 따른 단일 채널에서 듀얼 스트림을 이용한 3차원 영상 서비스를 제공하는 채널에 대한 신호 정보를 나타낸 도면이다.
도 2는 본 발명의 일 실시예에 따른 component_list_descriptor를 나타낸 도면이다.
도 3은 본 발명의 일 실시예에 따른 stream_info_details()을 나타낸 도면이다.
도 4는 본 발명의 일 실시예에 따른 단일 채널, 듀얼 스트림 환경에서 TVCT를 이용한 3차원 영상 서비스를 제공하는 방법을 나타낸 순서도이다.
도 5는 본 발명의 일 실시예에 따른 단일 서비스, 듀얼 스트림 환경에서 SDT를 이용한 3차원 영상 서비스를 제공하는 방법을 나타낸 순서도이다.
도 6은 본 발명의 일 실시예에 따른 stream_info_details()을 나타낸 도면이다.
도 7은 본 발명의 일 실시예에 따른 복수의 채널을 이용하여 3차원 영상을 수신하고 디스플레이하는 디지털 방송 수신 장치를 나타낸 도면이다.
도 8은 본 발명의 일 실시예에 따른 3D_service_descriptor()를 포함하는 PMT의 신택스 구조를 나타낸 도면이다.
도 9는 본 발명의 일 실시예에 따른 PMT에 포함되는 3D_service_descriptor()의 신택스를 나타낸 도면이다.
도 10은 본 발명의 일 실시예에 따른 program_combine_type을 나타낸다.
도 11은 본 발명의 일 실시예에 따른 PMT에 포함되는 3D_service_descriptor()의 신택스를 나타낸 도면이다.
도 12는 본 발명의 일 실시예에 따른 event_sync_type을 나타낸 도면이다.
도 13은 본 발명의 일 실시예에 따른 PMT를 이용한 복수 경로 환경에서 3차원 영상 신호 정보를 제공하는 방법을 나타낸 순서도이다.
도 14는 본 발명의 일 실시예에 따른 channel_combine_descriptor()를 포함하는 TVCT의 신택스 구조를 나타낸 도면이다.
도 15는 본 발명의 일 실시예에 따른 TVCT에 포함되는 channel_combine_descriptor()의 신택스를 나타낸 도면이다.
도 16은 본 발명의 일 실시예에 따른 channel_combine_type을 나타낸다.
도 17은 본 발명의 일 실시예에 따른 channel_combine_descriptor()의 신택스를 나타낸 도면이다.
도 18은 본 발명의 일 실시예에 따른 channel_sync_type을 나타낸 도면이다.
도 19는 본 발명의 일 실시예에 따른 TVCT를 이용한 복수 경로 환경에서 3차원 영상 신호 정보를 제공하는 방법을 나타낸 순서도이다.
도 20은 본 발명의 일 실시예에 따른 event_combine_descriptor()를 포함하는 EIT의 신택스 구조를 나타낸 도면이다.
도 21은 본 발명의 일 실시예에 따른 event_combine_descriptor()의 신택스를 나타낸 도면이다.
도 22는 본 발명의 일 실시예에 따른 event_combine_type을나타낸다.
도 23은 본 발명의 일 실시예에 따른 EIT에 포함되는 event_combine_descriptor()의 신택스를 나타낸 도면이다.
도 24는 본 발명의 일 실시예에 따른 오디오 스트림에 대한 stream_info_detail()의 신택스 구조, audio type을 나타낸 도면이다.
도 25는 본 발명의 일 실시예에 따른 EIT를 이용한 복수 경로 환경에서 3차원 영상 신호 정보를 제공하는 방법을 나타낸 순서도이다.
도 26은 본 발명의 일 실시예에 따른 service_combine_descriptor를 포함하는 SDT의 신택스 구조를 나타낸 도면이다.
도 27은 본 발명의 일 실시예에 따른 service_combine_descriptor의 신택스 구조를 나타낸 도면이다.
도 28은 본 발명의 일 실시예에 따른 service_combine_type을 나타낸다.
도 29는 본 발명의 일 실시예에 따른 service_sync_type을 나타낸 도면이다.
도 30은 본 발명의 일 실시예에 따른 SDT를 이용한 복수 경로 환경에서 3차원 영상 신호 정보를 제공하는 방법을 나타낸 순서도이다.
도 31은 본 발명의 일 실시예에 따른 event_combine_descriptor를 포함하는 DVB-SI의 EIT 신택스 구조를 나타낸 도면이다.
도 32는 본 발명의 일 실시예에 따른 event_combine_descriptor의 신택스 구조를 나타낸 도면이다.
도 33은 본 발명의 일 실시예에 따른 event_combine_type을나타낸다.
도 34는 본 발명의 일 실시예에 따른 event_sync_type을 나타내는 도면이다.
도 35는 본 발명의 일 실시예에 따른 DVB-SI의 EIT를 이용한 복수 경로 환경에서 3차원 영상 신호 정보를 제공하는 방법을 나타낸 순서도이다.
도 36은 본 발명의 일 실시예에 따른 linkage_descriptor(), linkage_type을 나타낸 도면이다.
도 37은 본 발명의 일 실시예에 따른 Non-essential service의 서비스 타입을 나타낸 도면이다.
도 38은 본 발명의 일 실시예에 따른 depth data를 이용한 3차원 영상 서비스를 제공하는 디지털 방송 수신 장치를 나타낸 도면이다.
도 39는 본 발명의 일 실시예에 따른 event_enhancement_descriptor()의 신택스를 나타낸 도면이다.
도 40은 본 발명의 일 실시예에 따른 combined_service_type, enhancement_type, sync_type을 나타낸 도면이다.
도 41은 본 발명의 일 실시예에 따른 enhancement_stream_format, enhancement_stream_sampling_factor을 나타낸 도면이다.
도 42는 본 발명의 일 실시예에 따른 program_enhancement_descriptor()의 신택스를 나타낸 도면이다.
도 43은 본 발명의 일 실시예에 따른 channel_enhancement_descriptor()의 신택스를 나타낸 도면이다.
도 44는 본 발명의 일 실시예에 따른 service_enhancement_descriptor()의 신택스를 나타낸 도면이다.
도 45는 본 발명의 일 실시예에 따른 event_enhancement_descriptor()의 신택스 구조를 나타낸 도면이다.
도 46은 본 발명의 일 실시예에 따른 stream_content, component_type을 나타낸 도면이다.
도 47은 본 발명의 일 실시예에 따른 transport_packet()을 나타낸 도면이다.
도 48은 본 발명의 일 실시예에 따른 adaptation_field()를 나타낸 도면이다.
도 49는 본 발명의 일 실시예에 따른 video_frame_info_data_byte의 신택스, video_frame_info를 나타낸 도면이다.
도 50은 본 발명의 일 실시예에 따른 비디오 레벨 동기화 방법을 나타낸 도면이다.
도 51은 본 발명의 일 실시예에 따른 디지털 방송 수신 장치를 나타낸 도면이다.
도 52는 본 발명의 일 실시예에 따른 시점 결합 및 동기화 동작을 나타낸 도면이다.
이하 첨부 도면들 및 첨부 도면들에 기재된 내용들을 참조하여 본 발명의 실시 예를 상세하게 설명하지만, 본 발명이 실시 예들에 의해 제한되거나 한정되는 것은 아니다.
본 명세서에서 사용되는 용어는 본 발명에서의 기능을 고려하면서 가능한 현재 널리 사용되는 일반적인 용어를 선택하였으나, 이는 당 분야에 종사하는 기술자의 의도 또는 관례 또는 새로운 기술의 출현 등에 따라 달라질 수 있다. 또한, 특정한 경우는 출원인이 임의로 선정한 용어도 있으며, 이 경우 해당되는 발명의 설명 부분에서 그 의미를 기재할 것이다. 따라서 본 명세서에서 사용되는 용어는, 단순한 용어의 명칭이 아닌 그 용어가 가지는 실질적인 의미와 본 명세서의 전반에 걸친 내용을 토대로 해석되어야 함을 밝혀두고자 한다.
3차원 영상 표현 방법은 2개의 시점을 고려하는 스테레오스코픽 방식과 3개 이상의 시점을 고려하는 멀티플 뷰 이미지(multiple view image) 방식(또는 다시점 방식)을 포함할 수 있다. 이에 비해 종래의 싱글 뷰 이미지(single view image) 방식은 모노스코픽 영상 방식이라고 지칭할 수 있다.
스테레오스코픽 방식은 일정한 거리로 이격되어 있는 좌측 카메라와 우측 카메라로 동일한 피사체를 촬영하여 획득한 레프트 뷰 이미지(이하 좌 영상)와 라이브 뷰 이미지(이하 우 영상)의 한 쌍의 이미지를 사용한다. 또는 기준 영상과 부가 영상의 한 쌍의 이미지를 사용한다. 이하 좌, 우 영상과 기준, 부가 영상은 스테레오스코픽 방식의 3차원 영상에 포함되는 요소로써 동일한 의미로 사용될 수 있다. 다시점 방식은 일정한 거리나 각도를 갖는 3개 이상의 카메라에서 촬영하여 획득한 3개 이상의 이미지를 사용한다. 이하에서 스테레오스코픽 방식을 일 실시예로 본 발명을 설명하나 본 발명의 사상은 다시점 방식에도 적용될 수 있을 것이다.
본 발명에 따른 스테레오스코픽 방식은 Side-by-Side 방식, Top-Bottom 방식, checker board 방식 등이 있다. Side-by-Side 방식은 좌 영상과 우 영상을 각각 수평방향으로 1/2 다운샘플링하고, 샘플링한 하나의 영상을 left 영역에, 샘플링한 나머지 하나의 영상을 right 영역에 위치시켜 하나의 스테레오스코픽 영상을 구성하는 방식이며, Top-Bottom 방식은 좌 영상과 우 영상을 각각 수직방향으로 1/2 다운샘플링하고, 샘플링한 하나의 영상을 Top 영역에, 샘플링한 나머지 하나의 영상을 bottom 영역에 위치시켜 하나의 스테레오스코픽 영상을 구성하는 방식이다. 체커보드 방식은 좌 영상과 우 영상을 각각 수직 및 수평방향으로 교차하도록 1/2 다운샘플링하여 두 영상을 하나의 영상으로 구성하는 방식이다. 하지만 본 발명에 따른 스테레오스코픽 방식은 위의 예에 한정되거나 제한되는 것은 아니다. 일 예로 본 발명에서 설명하는 복수의 채널을 통한 3차원 영상 서비스를 제공하는 방법은 복수의 채널을 통해 위에서 언급한 다운샘플링 작업을 거치지 아니하고 온전한 해상도를 갖는 두 개의 영상을 송수신하여 이를 3차원 영상 서비스로 제공하는 것도 가능하다.
스테레오스코픽 방식은 동일한 3차원 영상에 포함되는 좌 영상과 우 영상 또는 기준 영상과 부가 영상을 커플링하기 위한 부가적인 신호 정보(signal information)가 필요하다.
도 1은 본 발명의 일 실시예에 따른 단일 채널에서 듀얼 스트림을 이용한 3차원 영상 서비스를 제공하는 채널에 대한 신호 정보를 나타낸 도면이다.
3차원 영상 서비스는 MPEG-2 비디오 스트림과 AVC(Advanced Video Coding) 비디오 스트림 및 AC-3 오디오 스트림을 포함하며 이는 PMT(Program Map Table)에서 MPEG-2 비디오 스트림을 나타내는 stream_type 0x02와 AVC 비디오 스트림을 나타내는 stream_type 0x1B 및 AC-3 오디오 스트림을 나타내는 stream_type 0x81로 표현된다. 또한 3차원 영상 서비스는 TVCT(Terrestrial Virtual Channel Table)에서 service_type 0x07(parameterized service) 또는 0x09의 reserved 값을 이용해 stereoscopic 3DTV service임을 명확하게 지정한다.
도 2는 본 발명의 일 실시예에 따른 component_list_descriptor를 나타낸 도면이다.
위에서 설명한 듀얼 스트림을 기반으로 한 3D 스테레오스코픽 서비스를 구성하는 비디오 스트림에 대한 상세 정보는 component_list_descriptor를 확장한 형태를 사용한다. 이 디스크립터는 기준영상 또는 부가영상에 대한 시그널링이 모두 가능하다. 이 디스크립터의 위치는 TVCT의 virtual channel level이다. TVCT 에 포함된component_list_descriptor는 해당 채널에 포함된 컴포넌트 스트림에 대한 정보를 포함하며 본 발명의 신호 정보에 대한 내용을 stream_info_details() 내에 포함한다.
도 3은 본 발명의 일 실시예에 따른 stream_info_details()을 나타낸 도면이다. stream_info_details()는 3차원 영상 서비스를 위해 필요한 정보인 stream_info_type, elementary_PID, SLD_element_index, base_video_flag, leftview_flag 및/또는 upsampling_factor를 포함한다.
stream_info_type은 스트림 정보의 타입을 나타내며 기준영상의 경우 0x02로 설정하고, 부가영상의 경우 0x03으로 설정한다.
SLD_element_index는 부가 영상 채널에 대한 TVCT 내의 SLD(service location descriptor)에 포함된 ES(elementary stream)의 인덱스 넘버 또는 SLD 내에서의 순서를 의미한다. 이 영역은 component_list_descriptor의 정보와 SLD에서 가리키는 ES를 맵핑할 수 있다. 따라서 현재 부가영상 채널을 시그널링하는 TVCT의 SLD에서 대응되는 ES를 찾는 것이 가능하다.
본 발명의 디지털 방송 수신 장치는 stream_info_details()에 포함된 elementary_PID 및 SLD_element_index 중 적어도 하나를 사용하여 component_list_descriptor의 정보와 매칭되는 스트림을 찾아내는 것이 가능하다.
base_video_flag는 해당 부호화 스트림이 기준영상인지 부가영상인지를 나타낸다. 비디오 스트림이 기준영상인 경우 이 필드는 ‘1’로 설정되며 부가영상인 경우 이 필드는 '0’으로 설정할 수 있다.
leftview_flag는 해당 부호화 스트림이 좌 영상인지 우 영상인지를 나타낸다. 이 필드의 값이 ‘1’이면 해당 비디오 스트림이 좌 영상임을 나타내며 ‘0’이면 해당 비디오 스트림이 우 영상임을 의미할 수 있다.
upsampling_factor는 부가영상 스트림의 해상도에 대한 정보를 제공하며 도 3과 같이 정의된다. 기준영상(base_video_flag==’1’)의 경우 이 필드는 무시할 수 있다. upsampling_factor의 값이 001인 경우 기준영상과 부가영상은 동일한 해상도를 갖는다. 010인 경우 부가영상의 해상도는 기준영상 대비 수평 방향으로 1/2 크기를, 011인 경우 부가영상의 해상도는 기준영상 대비 수직 방향으로 1/2 크기를, 100인 경우 부가영상의 해상도는 기준영상 대비 수직 및 수평 방향으로 각각 1/2크기를 갖는다.
본 발명에 의한 디지털 방송 수신 장치는 위에서 언급한 component_list_descriptor 및 그 안에 포함된 stream_info_details()를 이용하여 단일 채널로 수신되는 MPEG-2 비디오 스트림 및 AVC 비디오 스트림을 이용하여 3차원 영상 신호를 디스플레이 할 수 있다. 이에 대한 상세 과정은 다음과 같다.
도 4는 본 발명의 일 실시예에 따른 단일 채널, 듀얼 스트림 환경에서 TVCT를 이용한 3차원 영상 서비스를 제공하는 방법을 나타낸 순서도이다.
디지털 방송 수신 장치는 채널을 튜닝한 후 선택한 3차원 채널(service_type=0x07 or 0x09)에 대한 TVCT 정보를 수신한다(S41). 이후 수신된 TVCT에 포함된 해당 채널에 대한 SLD를 이용해 두 개의 비디오 스트림에 대한 정보를 파악한다(S42). 여기서 해당 정보는 elementary_PID 등이 될 수 있다. 비디오 스트림들에 대한 정보가 파악되면 해당 채널에 대한 component_list_descriptor를 이용해 두 비디오 스트림에 대한 3D 관련 추가 정보를 파악한다(S43). 추가 정보는 base_video_flag, leftview_flag, upsampling_factor 등이 될 수 있다. component_list_descriptor에서 파악한 좌/우영상 정보와 SLD의 elementary stream을 매칭하기 위해 elementary_PID 또는 SLD_element_index 필드를 사용한다. 매칭된 두 비디오 스트림을 디코딩하여 3차원 영상 서비스를 출력하는 것이 가능하다(S44).
도 5는 본 발명의 일 실시예에 따른 단일 서비스, 듀얼 스트림 환경에서 SDT를 이용한 3차원 영상 서비스를 제공하는 방법을 나타낸 순서도이다.
디지털 방송 수신 장치는 채널을 튜닝한 후 선택한 3차원 서비스(service_type=0x19 or 0x20)에 대한 SDT 정보를 수신한다(S51). 이후 수신된 SDT에 포함된 해당 서비스에 대한 component descriptor를 이용해 두 개의 비디오 스트림에 대한 정보를 파악한다(S52). 여기서 해당 정보는 stream_content, component_type, component_tag 또는 elementary_PID 등이 될 수 있다. 해당 서비스에 대한 추가적인 descriptor를 이용하여 두 비디오 스트림에 대한 3D 관련 추가 정보를 파악한다(S53). 추가 정보는 base_video_flag, leftview_flag, upsampling_factor 등이 될 수 있다. 두 비디오 스트림을 디코딩하여 3차원 영상 서비스를 출력하는 것이 가능하다(S54).
다음은 전용 채널에서 Frame-compatible 3차원 영상 서비스를 제공하는 경우에 대해 설명한다. 3차원 영상 서비스를 제공하는 채널은 해당 채널에 대한 신호 정보 테이블에서 service_type을 0x07(parameterized service) 또는 0x09의 reserved 값을 이용해 stereoscopic 3DTV service임을 명확하게 지정한다. Frame-compatible 3차원 스테레오스코픽 서비스를 구성하는 비디오 스트림에 대한 상세 정보는 component_list_descriptor를 확장한 형태를 사용한다. 이 descriptor는 기본적으로 비디오 내에서 좌우 영상의 결합 형태에 대한 시그널링 정보를 포함하며 이에 포함된 필드는 도 2와 동일하다. 이 descriptor의 위치는 TVCT의 virtual channel level이다.
component_list_descriptor에 포함된 필드 중 stream_type은 H.264/AVC를 이용하여 frame-compatible 3차원 영상 서비스를 제공하는 경우 해당 필드는 0x1B 또는 다른 지정된 값을 사용할 수 있다. component_list_descriptor는 해당 채널에 포함된 컴포넌트 스트림에 대한 정보를 포함하며 본 발명의 신호 정보에 대한 내용을 stream_info_details() 내에 포함한다.
도 6은 본 발명의 일 실시예에 따른 stream_info_details()을 나타낸 도면이다. stream_info_details()는 3차원 영상 서비스를 위해 필요한 정보인 stream_info_type, elementary_PID, SLD_element_index 및/또는 streo_video_format을 포함한다.
stream_info_type은 frame-compatible stereoscopic video를 의미하고 0x05로 설정될 수 있다.
SLD_element_index는 부가 영상 채널에 대한 TVCT 내의 SLD(service location descriptor)에 포함된 ES(elementary stream)의 인덱스 넘버 또는 SLD 내에서의 순서를 의미한다. 이 영역은 component_list_descriptor의 정보와 SLD에서 가리키는 ES를 맵핑할 수 있다. 따라서 현재 부가영상 채널을 시그널링하는 TVCT의 SLD에서 대응되는 ES를 찾는 것이 가능하다.
본 발명의 디지털 방송 수신 장치는 stream_info_details()에 포함된 elementary_PID 및 SLD_element_index 중 적어도 하나를 사용하여 component_list_descriptor의 정보와 매칭되는 스트림을 찾아내는 것이 가능하다.
stereo_video_format은 video 내에 포함된 좌영상 및 우영상의 결합 형태를 나타내며 그 값에 따른 의미는 도 6(b)와 같다. stereo_video_format이 0000011인 경우 side by side 방식을 의미하며, 0000100인 경우 top and bottom 방식, 0001000인 경우 2차원 비디오임을 의미한다. 그 외의 값들은 정의되지 않았다.
본 발명에 의한 디지털 방송 수신 장치는 위에서 언급한 component_list_descriptor 및 그 안에 포함된 stream_info_details()를 이용하여 전용 채널로 수신되는 MPEG-2 비디오 스트림 및 AVC 비디오 스트림을 이용하여 3차원 영상 신호를 디스플레이 할 수 있다. 이에 대한 상세 과정은 다음과 같다.
디지털 방송 수신 장치는 채널을 튜닝한 후 선택한 3차원 채널(service_type=0x07 or 0x09)에 대한 TVCT 정보를 수신한다. 이후 수신된 TVCT에 포함된 해당 채널에 대한 SLD를 이용해 두 개의 비디오 스트림에 대한 정보를 파악한다. 여기서 해당 정보는 elementary_PID 등이 될 수 있다. 비디오 스트림들에 대한 정보가 파악되면 해당 채널에 대한 component_list_descriptor를 이용해 두 비디오 스트림에 대한 3D 관련 추가 정보를 파악한다. 추가 정보는 stereo_video_format 등이 될 수 있다. component_list_descriptor에서 파악한 좌/우영상 정보와 SLD의 elementary stream을 매칭하기 위해 elementary_PID 또는 SLD_element_index 필드를 사용한다. 매칭된 두 비디오 스트림을 decoding 해 3차원 영상 서비스를 출력하는 것이 가능하다.
다음은 3차원 영상 신호에 포함된 기준 영상과 부가 영상이 복수의 채널을 통해 각각 수신되는 경우에 대해 설명한다. 단일 물리 채널 또는 매체는 대역폭이 한정되어 있으므로 기준 영상과 부가 영상을 동시에 전송하는 것이 불가능할 수 있다. 이러한 경우를 가정할 때 복수의 물리 채널 또는 매체를 통해 수신되는 기준 영상과 부가 영상을 이용하여 3차원 영상 서비스를 제공하기 위한 장치 및 방법에 대해 설명한다. 이 때 복수의 물리 매체는 지상파 또는 인터넷 망이 될 수 있다.
도 7은 본 발명의 일 실시예에 따른 복수의 채널을 이용하여 3차원 영상을 수신하고 디스플레이하는 디지털 방송 수신 장치를 나타낸 도면이다. 본 발명의 디지털 방송 수신 장치는 복수 개의 튜너 및 복조부(1a,1b), 복수 개의 디코더(3a,3b), 복수 개의 역다중화부(5a,5b), 복수 개의 PSIP/PSI/SI 프로세서(7a,7b), 인터넷 접속부(9), 3차원 비디오 디코더(11) 및/또는 출력 포맷터(17)를 포함할 수 있다. 또한 3차원 비디오 디코더(11)는 기준 영상 디코더(13)와 부가 영상 디코더(15)를 포함할 수 있다.
여기서, 위의 디지털 방송 수신 장치는 실시예에 따라 한 개의 튜너 및 복조부(1b), 한 개의 디코더(3b), 한 개의 역다중화부(5b), 한 개의 PSIP/PSI/SI 프로세서(7b), 인터넷 접속부(9), 3차원 비디오 디코더(11) 및/또는 출력 포맷터(17)를 포함할 수 있다. 또한 3차원 비디오 디코더(11)는 기준 영상 디코더(13)와 부가 영상 디코더(15)를 포함할 수 있다.
복수 개의 튜너 및 복조부(1a,1b)에 의해 각각 수신된 기준 영상과 부가 영상의 디지털 방송 신호는 복조되어 디코더(3a,3b)에 입력된다. 입력된 방송 신호는 복수 개의 디코더(3a,3b)에 의해 각각 복호되며 복호된 신호는 각각 역 다중화부(5a,5b)에 의해 역다중화된다. 그 결과 기준 영상 및 부가 영상의 신호 정보는 각각 PSIP/PSI/SI 프로세서(7a,7b)로 입력되고 기준 영상 및 부가 영상의 비디오 스트림은 기준 영상 디코더(13)와 부가 영상 디코더(15)로 각각 입력된다. 기준 영상 및 부가 영상은 출력 포맷터(17)에 의해 하나의 3차원 영상으로 디스플레이 될 수 있다. 위에서 각각의 PSIP/PSI/SI 프로세서(7a,7b)에 의해 얻어진 기준 영상 및 부가 영상에 대한 신호 정보는 하나의 3차원 영상에 포함되는 기준 영상 및 부가 영상 또는 좌 영상 및 우 영상을 커플링하는 정보를 포함할 수 있다. 복수 개의 튜너는 이 정보를 이용하여 하나의 3차원 영상에 포함되어 쌍을 이루는 기준 영상 및 부가 영상을 수신하는 것이 가능하다. 이러한 신호 정보는 신호정보 테이블에 디스크립터의 형식으로 포함되어 수신될 수 있으며 여기서, 신호정보 테이블은 PMT(program map table), TVCT(terrestrial virtual channel table), EIT(event information table) 또는 SDT(service description table)가 될 수 있다. 아래에서는 이러한 각 테이블에 의해 전송되는 신호 정보에 대해 상세히 설명한다.
도 8은 본 발명의 일 실시예에 따른 3D_service_descriptor()를 포함하는 PMT의 신택스 구조를 나타낸 도면이다.
PMT(program map table)는 프로그램 넘버와 프로그램 엘리먼트 간에 맵핑을 제공하는 테이블이다. 3차원 영상 서비스를 시그널링하기 위해 3D_service_descriptor()는 PMT에 포함되어 전송될 수 있다. 이 때 PMT의 첫 번째 또는 두 번째 descriptor loop에 포함되어 전송될 수 있다.
PMT는 다음을 포함한다.
table_id 필드는 8 비트 필드로써, TS_program_map_section은 항상 0x02의 값으로 설정된다.
section_syntax_indicator 필드는 1 비트로써, 1로 설정된다.
section_length field는 12 비트로 구성되며, 처음 두 비트는 00이다. 이 필드는 섹션의 바이트 수를 나타내며, 이 필드 이후부터 CRC까지의 길이를 나타낸다. 이 필드의 값은 1021를 넘지 않는다.
program_number 필드는 16 비트로 구성된다. 이는 어느 프로그램에 program_map_PID가 적용가능한지 나타낸다. 하나의 프로그램 정의는 오직 하나의 TS_program_map_section에 의해서만 전송된다. 이는 프로그램 정의는 1016을 넘을 수 없을을 내포한다.
version_number 필드는 Virtual Channel의 버전을 나타낸다. VCT에 변경된 사항이 있을 때마다 1 씩 증가한다. 버전 값이 31이 도달하면 그 다음 버전 값은 0이 된다. 이 필드의 값은 MGT의 동일 필드값과 반드시 동일한 값이어야 한다.
current_next_indicator 필드는 1 비트로 구성되며 VCT가 현재 적용 가능한 것일 경우 값이 1로 설정된다. 만약 0으로 설정되어 있다면, 이는 아직 적용할 수 없으며 다음 테이블이 유효함을 의미한다.
section_number 필드의 값은 0x00으로 설정된다.
last_section_number 필드의 값은 0x00으로 설정된다.
PCR_PID 필드는 13 비트로 구성되며, 프로그램 번호에 의해 상술되는 프로그램에 대해 유효한 PCR 필드를 포함하는 TS의 PID를 의미한다.
program_info_length 필드는 12 비트로 구성되며, 처음 두 비트는 00의 값을 갖는다. 나머지 10 비트는 이 필드 이후에 따라오는 디스크립터를 바이트 수로 나타낸다.
stream_type 필드는 8 비트로 구성되며, 기본 PID의 PID 값을 갖는 패킷에 의해 전송되는 프로그램 엘리먼트의 타입을 나타낸다.
elementary_PID 는 13 비트로 구성되며 관련된 프로그램 엘리먼트를 포함하는 TS의 PID를 나타낸다.
ES_info_length 필드는 12 비트로 구성되며, 첫 두 비트는 00이다. 나머지 10 비트는 이 필드 이후에 따라오는 관련 프로그램 엘리먼트의 디스크립터를 바이트 수로 나타낸다.
CRC_32 필드는 디코더 내의 레지스터의 zero output이 되도록 하는 CRC value를 나타낸다.
본 발명은 PMT에 3D_service_descriptor()를 포함시켜 송수신하여, 3차원 영상 서비스에 대해 신호 정보가 일관되게 유지될 때 유용하게 이용될 수 있다. 즉, 3차원 영상 서비스에 대해 시간에 따라 변하지 않고 동일한 신호 정보가 송수신되는 경우, 신호 정보를 동일 서비스에 대해 갱신할 필요 없이 유지할 수 있으므로 데이터 전송 효율면에서 유리한 효과를 가진다.
도 9는 본 발명의 일 실시예에 따른 PMT에 포함되는 3D_service_descriptor()의 신택스를 나타낸 도면이다. 3D_service_descriptor() 신택스는 descriptor_tag, descriptor_length, program_combine_type, linked_TSID, linked_program_number 및/또는 internet_linkage_information()을 포함할 수 있다.
이하 각 정보에 대해 살펴본다.
descriptor_tag는 8 비트의 크기를 가지며 descriptor의 ID 역할을 하며 0xTBD의 값을 할당할 수 있다.
descriptor_length는 8 비트의 크기를 가지며 descriptor에 포함되는 byte 수에 대한 정보를 포함한다.
program_combine_type은 3 비트의 크기를 가지며, PMT 섹션에 의해 시그널링된 프로그램의 컴바인 타입을 가리킨다. 도 10은 본 발명의 일 실시예에 따른 program_combine_type을 나타낸다. program_combine_type이 000인 경우 해당 프로그램은 3차원 영상 서비스에 필요한 모든 컴포넌트를 포함함을 의미한다. 예를 들면, 기준 영상 및 부가 영상, 좌 영상 및 우 영상을 모두 포함하고 있음을 의미한다.
program_combine_type이 001인 경우는 해당 프로그램이 3차원 영상 서비스를 위한 컴포넌트 중 부분을 포함하고 있으며 그 부분은 필수 엘리먼트임을 의미한다. 완벽한 3차원 영상을 서비스하기 위한 나머지 컴포넌트는 해당 프로그램과 동일한 타입의 매체에 의해 수신됨을 의미하며, 나머지 컴포넌트는 3D_service_descriptor()에 포함된 linked_TSID, linked_program_number를 이용하여 얻을 수 있다. 최악의 경우, 예를 들면 나머지 컴포넌트에 대한 수신이 불가능한 경우에는 3차원 영상 서비스의 일부분 만을 렌더링할 수 있다. 이 경우 기준 영상을 이용한 2차원 영상 서비스를 제공할 수 있다.
program_combine_type이 010인 경우는 해당 프로그램이 3차원 영상 서비스를 위한 컴포넌트 중 부분을 포함하고 있으며 그 부분은 필수 엘리먼트를 포함하고 있지 않음을 의미한다. 해당 프로그램 자체로는 어떠한 의미있는 영상도 사용자에게 제공할 수 없다. 해당 프로그램은 3D_service_descriptor()의 linked_TSID, linked_program_number에 의해 식별되는 다른 프로그램에 포함된 필수 엘리먼트과 컴바인되어야만 영상 서비스를 제공하는 것이 가능하다. 필수 엘리먼트는 해당 프로그램과 동일한 타입의 매체에 의해 수신됨을 의미한다.
program_combine_type이 011인 경우는 해당 프로그램이 3차원 영상 서비스를 위한 컴포넌트 중 부분을 포함하고 있으며 그 부분은 필수 엘리먼트임을 의미한다. 완벽한 3차원 영상을 서비스하기 위한 나머지 컴포넌트는 인터넷을 통해 수신됨을 의미하며, 나머지 컴포넌트의 위치를 가리키는 URL은 3D_service_descriptor()에 포함된 internet_linkage_information을 통해 얻을 수 있다. 최악의 경우, 예를 들면 나머지 컴포넌트에 대한 수신이 불가능한 경우에는 3차원 영상 서비스의 일부분 만을 렌더링할 수 있다. 이 경우 기준 영상을 이용한 2차원 영상 서비스를 제공할 수 있다.
program_combine_type이 100인 경우는 해당 프로그램이 3차원 영상 서비스를 위한 컴포넌트 중 부분을 포함하고 있으며 그 부분은 필수 엘리먼트를 포함하고 있지 않음을 의미한다. 해당 프로그램 자체로는 어떠한 의미있는 영상도 사용자에게 제공할 수 없다. 필수 엘리먼트는 인터넷을 통해 수신됨을 의미하며 해당 프로그램은 필수 엘리먼트과 컴바인되어야만 3차원 영상 서비스를 제공할 수 있다. 위의 필수 엘리먼트에 대한 접속 정보는 3D_service_descriptor()의 internet_linkage_information을 통해 얻을 수 있다.
linked_TSID는 16 비트이며 해당 프로그램과 연계된 3차원 영상 서비스를 제공하기 위한 별도의 트랜스포트 스트림이 존재하는 경우 해당 트랜스포트 스트림의 transport_stream_ID를 가리킨다.
linked_program_number는 16 비트이며 3차원 영상 서비스를 제공하기 위한 별도의 트랜스포트 스트림을 포함하는 프로그램의 program_number를 가리킨다.
internet_linkage_information은 IP 주소, IP 주소가 32 비트인지 128 비트인지 여부를 나타내는 필드, 포트 넘버 및 부가 정보(예를 들면, 해당 스트림의 URI)를 포함할 수 있다.
위에서 설명한 PMT를 이용한 디지털 방송 수신 방법의 실시예는 다음과 같다.
기준 시점 비디오 엘리먼트와 오디오 엘리먼트를 포함하는 프로그램1과 부가 시점 비디오 엘리먼트인 프로그램2가 모두 지상파를 통해 수신되는 경우를 살펴보면, 프로그램1에 대한 PMT가 기준 시점 비디오 엘리먼트 및 오디오 엘리먼트에 대한 시그널링 정보를 포함한다. 프로그램1에 대한 PMT의 첫번째 또는 두번째 descriptor loop에 포함된 3D_service_descriptor 내의 program_combine_type은 001로 설정되고 linked_TSID는 프로그램2에 대한 PMT를 포함하고 있는 트랜스포트 스트림의 transport_stream_id를 가리킨다. 또한 linked_program_number는 프로그램2의 program_number를 가리킨다.
프로그램2에 대한 PMT는 부가 시점 비디오 엘리먼트에 대한 시그널링 정보를 포함한다. 프로그램2에 대한 PMT의 첫번째 또는 두번째 descriptor loop에 포함된 3D_service_descriptor 내의 program_combine_type은 010으로 설정되고 linked_TSID는 프로그램1에 대한 PMT를 포함하고 있는 트랜스포트 스트림의 transport_stream_id를 가리킨다.
다음은 기준 시점 비디오 엘리먼트와 오디오 엘리먼트를 포함하는 프로그램1은 지상파 채널로 수신되고, 부가 시점 비디오 엘리먼트는 인터넷을 통해 수신되는 경우를 살펴본다. 프로그램1에 대한 PMT가 기준 시점 비디오 엘리먼트 및 오디오 엘리먼트에 대한 시그널링 정보를 포함한다. 프로그램1에 대한 PMT의 첫번째 또는 두번째 descriptor loop에 포함된 3D_service_descriptor 내의 program_combine_type은 011로 설정되고 internet_linkage_information()은 부가 시점의 비디오 엘리먼트의 접속 정보를 제공한다.
본 발명의 디지털 방송 수신기는 위에서 설명한 3D_service_descriptor()에 포함된 신호 정보를 이용하여 3차원 영상 서비스의 기준 영상 및 부가 영상을 각각 수신하여 결합하고 3차원 영상을 디스플레이할 수 있다.
도 11은 본 발명의 일 실시예에 따른 PMT에 포함되는 3D_service_descriptor()의 신택스를 나타낸 도면이다. 3D_service_descriptor() 신택스는 descriptor_tag, descriptor_length, program_combine_type, event_sync_type, linked_TSID, linked_program_number 및/또는 internet_linkage_information()을 포함할 수 있다.
각 필드에 대한 설명은 도 9에서의 설명과 동일하며 새롭게 추가된 event_sync_type에 대해 설명한다.
event_sync_type은 3 비트의 크기를 갖고, 3차원 영상 서비스의 컴포넌트들이 어떻게 얻어지고 동기화되는지에 대한 내용을 포함한다. 상세한 내용은 도 12와 같다.
event_sync_type이 000인 경우, 3차원 영상 서비스는 오직 동기식 3D 전송에 의해서만 제공될 수 있다.
event_sync_type이 001인 경우, 3차원 영상 서비스는 오직 비동기식 3D 전송에 의해서만 제공될 수 있다. 3차원 영상 서비스를 제공하기 위한 나머지 일부분은 시간적으로 차후에 전송된다. 위에서 언급한 나머지 일부분을 전송 받기 위해 수신장치는 linked_TSID, linked_program_number 등의 연결 정보를 이용할 수 있다.
event_sync_type이 010인 경우, 3차원 영상 서비스는 오직 비동기식 3D 전송에 의해서만 제공될 수 있다. 3차원 영상 서비스를 제공하기 위한 나머지 일부분은 시간적으로 사전에 전송된다. 위에서 언급한 나머지 일부분을 전송 받기 위해 수신장치는 linked_TSID, linked_program_number 등의 연결 정보를 이용할 수 있다.
event_sync_type이 011인 경우, 3차원 영상 서비스는 동기식 또는 비동기식 3D 전송 모두에 의해 제공될 수 있다. 3차원 영상 서비스를 제공하기 위한 나머지 일부분은 현재 이벤트와 동시에 전송될 수도 있고 또는 시간적으로 차후에 재전송되는 것도 가능하다. 위에서 언급한 나머지 일부분을 전송 받기 위해 수신장치는 linked_TSID, linked_program_number 등의 연결 정보를 이용할 수 있다.
event_sync_type이 100인 경우, 3차원 영상 서비스는 동기식 또는 비동기식 3D 전송 모두에 의해 제공될 수 있다. 3차원 영상 서비스를 제공하기 위한 나머지 일부분은 현재 이벤트와 동시에 전송될 수도 있고 또는 시간적으로 사전에 전송되는 것도 가능하다. 위에서 언급한 나머지 일부분을 전송 받기 위해 수신장치는 linked_TSID, linked_program_number 등의 연결 정보를 이용할 수 있다.
도 13은 본 발명의 일 실시예에 따른 PMT를 이용한 복수 경로 환경에서 3차원 영상 신호 정보를 제공하는 방법을 나타낸 순서도이다.
디지털 방송 수신 장치는 채널 튜닝 후 선택한 프로그램 A에 대한 PMT 정보를 수신한다(S131). 프로그램A의 정보를 포함한 PMT에 존재하는 3D_service_descriptor의 program_combine_type 정보를 이용해 해당 프로그램이 자체적으로 모든 엘리먼트를 포함하는지(program_combine_type==000), 그렇지 않은 경우 해당 프로그램이 필수 엘리먼트인지 부가적인 엘리먼트인지 파악한다(S132). 아울러 program_combine_type 필드를 이용해 다른 complementary 컴포넌트를 수신할 수 있는 경로가 동일한 지상파 채널인지 아니면 인터넷인지를 파악한다(S133). 이어서 프로그램A에 해당하는 컴포넌트(elementary stream)를 수신한다. event_sync_type 필드를 이용하여 연동 프로그램에 대한 이용 가능한 시점을 파악한다. 이를 통해 현재 동시 수신이 가능한지 추후 수신해야 하는지 여부를 파악할 수 있다.
3D_service_descriptor를 통해 파악한 linked_TSID 및 linked_program_number에 해당하는 PMT를 수신한다(S134). 이 때, 경우에 따라 다른 채널을 추가로 튜닝하는 과정 발생할 수 있다.
부가적인 스트림을 수신해야 하는 필요가 발생하면 앞 단계에서 수신한 PMT를 통해 프로그램B에 대한 정보를 수신하고 프로그램B에 해당하는 컴포넌트(elementary stream)를 수신한다(S135).
프로그램A 및 프로그램B에 포함되는 elementary stream을 모두 디코딩하여 완전한 3차원 영상 서비스를 디스플레이할 수 있다(S136). 또는 필요한 부분만 선택적으로 디코딩할 수 있다.
만약 프로그램B가 현재 이용가능하지 않고 추후 이용가능한 경우라면 프로그램A를 수신 후 저장(녹화)한 후 나중에 프로그램B가 수신되는 시점에 저장된 프로그램A의 스트림을 재생하고 수신되는 프로그램B와 컴바인 하는 방식으로 3차원 영상을 제공할 수 있다.
도 14는 본 발명의 일 실시예에 따른 channel_combine_descriptor()를 포함하는 TVCT의 신택스 구조를 나타낸 도면이다.
TVCT(terrestrial virtual channel table)는 ATSC의 PSIP에서 트랜스포트 스트림에 포함된 virtual channel들의 속성을 포함하고 있는 테이블이다. 3차원 영상 서비스를 시그널링하기 위해 3D_service_descriptor()는 TVCT에 포함되어 전송될 수 있다. 이 때 TVCT의 첫 번째 descriptor loop에 포함되어 전송될 수 있다. TVCT에 포함된 3D_service_descriptor()는 현재 방송되는 스트림에 대한 2D 디스플레이 윈도우 영역 정보를 제공한다.
TVCT에 포함된 내용은 다음과 같다.
table_id 필드의 값은 해당 테이블 섹션의 타입을 가리킨다. TVCT를 가리키기 위해 그 값은 0xC8이어야 한다.
section_syntax_indicator 필드는 1 비트로 구성되며 그 값은 1로 고정된다.
private_indicator 필드는 1로 설정된다.
section_length 필드는 12 비트로 구성되며, 처음 두 비트는 00이다. 이 필드는 섹션의 바이트 수를 나타내며, 이 필드 이후부터 CRC까지의 길이를 나타낸다. 이 필드의 값은 1021를 넘지 않는다.
transport_stream_id 필드는 16 비트로 구성되며, MPEG-2 전송 스트림(Transport stream, TS) ID 이다. 이 필드에 의해 다른 TVCT와 구분이 가능하다.
version_number 필드는 Virtual Channel의 버전을 나타낸다. VCT에 변경된 사항이 있을 때마다 1 씩 증가한다. 버전 값이 31이 도달하면 그 다음 버전 값은 0이 된다. 이 필드의 값은 MGT의 동일 필드값과 반드시 동일한 값이어야 한다.
current_next_indicator 필드는 1 비트로 구성되며 VCT가 현재 적용 가능한 것일 경우 값이 1로 설정된다. 만약 0으로 설정되어 있다면, 이는 아직 적용할 수 없으며 다음 테이블이 유효함을 의미한다.
section_number 필드는 섹션의 개수를 나타낸다. TVCT의 첫번째 섹션의 값은 0x00이고 추가적인 섹션마다 값은 1 씩 증가한다.
last_section_number 필드는 마지막 섹션의 숫자를 의미한다. 즉, 전체 TVCT에서 가장 높은 section_number를 갖는 섹션의 숫자를 의미한다.
protocol_version 필드는 미래에 현재 프로토콜에서 정의된 것과 다른 테이블 종류를 허락하는 기능을 한다. 현재 프로토콜에서는 0만이 유효한 값이다. 0이 아닌 값은 구조적으로 다른 테이블을 위해 후 버전에서 사용될 것이다.
num_channels_in_section 필드는 VCT 섹션에서 virtual channel의 개수를 나타낸다. 그 값은 섹션 길이에 의해 제한된다.
short_name 필드는 virtual channel의 이름을 나타낸다.
major_channel_number 필드는 10 비트로 구성되고, for 반복문 내에서 해당 차례에 정의되는 virtual channel의 major 채널 번호를 나타낸다. 각 virtual channel은 major 채널 번호와 minor 채널 번호로 이루어진다. major 채널 번호는 minor 채널 번호와 함께 해당 virtual channel에 대해 사용자에게 참조 번호로 ㄷ동작한다. major 채널 번호는 1 부터 99까지의 값을 갖고, major/minor 채널 번호 쌍은 TVCT 내에서 중복된 값을 갖지 않는다.
minor_channel_number 필드는 10 비트로 구성되고, 0부터 999까지의 값을 ㄱ갖는다. minor 채널 번호는 major 채널 번호와 함께 two-part 채널 번호로 동작한다. 서비스 타입이 ATSC_digital_television 또는 ATSC_audio_only 인 경우에는 minor 채널 번호는 1부터 99까지의 값을 갖는다. major/minor 채널 번호 쌍은 TVCT 내에서 중복된 값을 갖지 않는다.
modulation_mode 필드는 해당 virtual channel과 관련된 전송 캐리어의 ㅂ벼변조 모드를 나타낸다.
carrier_frequency 필드의 값은 0 이다. 이 필드를 사용하여 캐리어 주파수를 확인하는 것이 허락되었지만, 반대된다.
channel_TSID 필드는 0x0000으로부터 0xFFFF의 값을 가지며, 이 virtual channel에 의해 참조되는 MPEG-2 프로그램을 전달하는 TS와 관련된 MPEG-2 TSID이다.
program_number 필드는 TVCT에서 정의된 virtual channel과 MPEG-2 PROGRAM ASSOCIATION 및 TS PROGRAM MAP 테이블을 연관짓는다.
ETM_location 필드는 Extended Text Message (ETM)의 존재와 위치를 나타낸다.
access_controlled 필드는 1 비트 불리안 플래그로써, 1인 경우 해당 virtual channel과 관련된 이벤트가 접근 제어됨을 나타낼 수 있다. 0인 경우 접근이 제한되지 않음을 나타낸다.
hidden 필드는 1 비트 불리안 플래그로써, 1인 경우 사용자에 의해 해당 번호가 직접 입력되더라도 접근이 허용되지 않는다. hidden virtual channel은 사용자가 채널 서핑을 하는 경우 스킵되며, 정의되지 않은 것처럼 보여진다.
hide_guide 필드는 불리안 플래그로써, hidden channel에 대해 0으로 설정되면 EPG 디스플레이에 그 virtual channel과 event가 보여질 수 있다. hidden 비트가 설정되지 않으면 이 필드는 무시된다. 따라서 non-hidden 채널과 그 이벤트는 hide_guide 비트의 상태와 관계없이 EPG 디스플레이에 속하게된다.
service_type 필드는 해당 virtual channel에 의해 전달되는 서비스의 타입을 확인한다.
source_id 필드는 virtual channel과 관련된 프로그래밍 소스를 확인한다. 여기서, 소스는 비디오, 텍스트, 데이터, 또는 오디오 프로그래밍을 중 어느 하나 일 수 있다. source id 0은 예약된 값이며, 0x0001로부터 0x0FFF까지는 VCT를 전달하는 TS 내에서 유일한 값을 갖는다. 또한 0x1000로부터 0xFFFF까지는 지역 레벨에서 유일한 값을 갖는다.
descriptors_length 필드는 해당 virtual channel을 위한 뒤따르는 디스크립터의 길이를 바이트 단위로 나타낸다.
descriptor() 내에는 디스크립터가 포함되어 있지 않거나 또는 1개 이상의 디스크립터가 포함될 수 있다.
additional_descriptors_length 필드는 뒤따르는 VCT 디스크립터 리스트의 총 길이를 바이트 단위로 나타낸다.
CRC_32 필드는 디코더 내의 레지스터의 zero output이 되도록 하는 CRC value를 나타낸다.
본 발명은 TVCT에 channel_combine_descriptor()를 포함시켜 송수신하여, 3차원 영상 서비스를 제공하는데 필요한 기준 영상 또는 부가 영상에 대한 정보를 제공하는 것이 가능하다. 즉, 현재의 채널과 쌍을 이루어 3차원 영상 서비스를 제공할 수 있는 채널에 대한 정보를 제공하고 이를 근거로 두 채널을 컴바인함으로써 사용자에게 3차원 영상 서비스를 제공할 수 있다.
도 15는 본 발명의 일 실시예에 따른 TVCT에 포함되는 channel_combine_descriptor()의 신택스를 나타낸 도면이다.
channel_combine_descriptor()는 descriptor_tag, descriptor_length, channel_combine_type, associated_channel_TSID, associated_channel_program_number, associated_major_channel_number, associated_minor_channel_number, associated_source_id, 및/또는 internet_linkage_information()을 포함할 수 있다.
이하 각 정보에 대해 살펴본다.
descriptor_tag는 8 비트의 크기를 가지며 descriptor의 ID 역할을 하며 0xTBD의 값을 할당할 수 있다.
descriptor_length는 8 비트의 크기를 가지며 descriptor에 포함되는 byte 수에 대한 정보를 포함한다.
channel_combine_type은 3 비트의 크기를 가지며, TVCT 섹션에 의해 시그널링된 채널의 타입을 가리킨다. 도 16은 본 발명의 일 실시예에 따른 channel_combine_type을 나타낸다. channel_combine_type이 000인 경우 해당 채널은 3차원 영상 서비스에 필요한 모든 컴포넌트를 포함함을 의미한다. 예를 들면, 기준 영상 및 부가 영상, 좌 영상 및 우 영상을 모두 포함하고 있음을 의미한다.
channel_combine_type이 001인 경우는 해당 채널이 3차원 영상 서비스를 위한 컴포넌트 중 일부분을 포함하고 있으며 그 일부분은 필수 엘리먼트임을 의미한다. 해당 채널은 기준 영상 채널이 될 수 있다. 완벽한 3차원 영상을 서비스하기 위한 나머지 부분의 컴포넌트는 해당 채널과 동일한 타입의 매체에 의해 수신됨을 의미하며, 나머지 컴포넌트는 associated_channel_TSID, associated_channel_program_number, associated_major_channel_number, associated_minor_channel_number, associated_source_id를 이용하여 얻을 수 있다. 최악의 경우, 예를 들면 나머지 부분의 컴포넌트에 대한 수신이 불가능한 경우에는 3차원 영상 서비스의 일부분 만을 렌더링할 수 있다. 이 경우 기준 영상을 이용한 2차원 영상 서비스를 제공할 수 있다.
channel_combine_type이 010인 경우는 해당 채널이 3차원 영상 서비스를 위한 컴포넌트 중 일부분을 포함하고 있으며 그 부분은 필수 엘리먼트를 포함하고 있지 않음을 의미한다. 해당 채널은 부가 영상 채널이 될 수 있다. 해당 채널 자체로는 어떠한 의미있는 영상도 사용자에게 제공할 수 없다. 해당 채널은 associated_channel_TSID, associated_channel_program_number, associated_major_channel_number, associated_minor_channel_number, associated_source_id에 의해 식별되는 다른 채널에 포함된 필수 엘리먼트과 컴바인되어야만 영상 서비스를 제공하는 것이 가능하다. 필수 엘리먼트는 해당 채널과 동일한 타입의 매체에 의해 수신됨을 의미한다.
channel_combine_type이 011인 경우는 해당 채널이 3차원 영상 서비스를 위한 컴포넌트 중 일부분을 포함하고 있으며 그 일부분은 필수 엘리먼트임을 의미한다. 완벽한 3차원 영상을 서비스하기 위한 나머지 컴포넌트는 인터넷을 통해 수신됨을 의미하며, 나머지 컴포넌트(부가적 스트림)의 위치를 가리키는 URL은 internet_linkage_information을 통해 얻을 수 있다. 최악의 경우, 예를 들면 나머지 컴포넌트에 대한 수신이 불가능한 경우에는 3차원 영상 서비스의 일부분 만을 렌더링할 수 있다. 이 경우 기준 영상을 이용한 2차원 영상 서비스를 제공할 수 있다.
channel_combine_type이 100인 경우는 해당 채널이 3차원 영상 서비스를 위한 컴포넌트 중 일부분을 포함하고 있으며 그 일부분은 필수 엘리먼트를 포함하고 있지 않음을 의미한다. 해당 채널 자체로는 어떠한 의미있는 영상도 사용자에게 제공할 수 없다. 필수 엘리먼트는 인터넷을 통해 수신됨을 의미하며 해당 채널은 필수 엘리먼트과 컴바인되어야만 3차원 영상 서비스를 제공할 수 있다. 위의 필수 엘리먼트에 대한 접속 정보는 internet_linkage_information을 통해 얻을 수 있다.
associated_channel_TSID는 16 비트의 크기를 가지며 3차원 영상 서비스를 제공하기 위해 본 프로그램/채널과 결합될 트랜스포트 스트림의 transport_stream_id 값을 나타낸다.
associated_channel_program_number는 16 비트의 크기를 가지며 3차원 영상 서비스를 제공하기 위해 본 프로그램/채널과 결합될 트랜스포트 스트림을 포함한 프로그램/채널의 program_number 값을 나타낸다.
associated_major_channel_number는 10 비트의 크기를 가지며 3차원 영상 서비스를 제공하기 위해 본 프로그램/채널과 결합될 트랜스포트 스트림을 포함한 채널의 major_channel_number 값을 나타낸다.
associated_minor_channel_number는 10 비트의 크기를 가지며 3차원 영상 서비스를 제공하기 위해 본 프로그램/채널과 결합될 트랜스포트 스트림을 포함한 채널의 minor_channel_number 값을 나타낸다.
associated_source_id는 16 비트의 크기를 가지며 3차원 영상 서비스를 제공하기 위해 본 프로그램/채널과 결합될 트랜스포트 스트림을 포함한 채널/프로그램의 source_id 값을 나타낸다.
internet_linkage_information은 IP 주소, IP 주소가 32 비트인지 128 비트인지 여부를 나타내는 필드, 포트 넘버 및 부가 정보(예를 들면, 해당 스트림의 URI)를 포함할 수 있다.
본 발명의 디지털 방송 수신 장치는 위에서 설명한 channel_combine_descriptor()에 포함된 신호 정보를 이용하여 3차원 영상 서비스의 기준 영상 및 부가 영상을 각각 수신하여 결합하고 3차원 영상을 디스플레이할 수 있다.
위에서 설명한 TVCT를 이용한 디지털 방송 수신 방법의 실시예는 다음과 같다.
기준 시점 비디오 엘리먼트와 오디오 엘리먼트를 포함하는 채널1과 부가 시점 비디오 엘리먼트인 채널2가 모두 지상파를 통해 수신되는 경우를 살펴보면, 채널1에 대한 TVCT가 기준 시점 비디오 엘리먼트 및 오디오 엘리먼트에 대한 시그널링 정보를 포함한다. 채널1에 대한 TVCT의 descriptor loop에 포함된 channel_combine_descriptor 내의 channel_combine_type은 001로 설정되고 associated_channel_TSID는 채널2의 엘리먼트를 포함하고 있는 트랜스포트 스트림의 transport_stream_id를 가리킨다. 또한 associated_channel_program_number는 채널2의 program_number를 가리킨다.
여기서, 연동 채널(채널2)에 대한 정보를 얻기 위해 associated_major_channel_number, associated_minor_channel_number 및 associated_source_id를 이용할 수 있다.
수신기가 2D 모드인 경우에는 채널1의 엘리먼트만을 이용하는 것이 가능하다. 채널2에 대한 TVCT 및 PMT는 부가 시점 비디오 엘리먼트에 대한 시그널링 정보를 포함한다.
채널2에 대한 TVCT의 channel_combine_descriptor에 포함된 channel_combine_type은 010으로 설정되고 associated_channel_TSID는 채널1의 엘리먼트를 포함하는 트랜스포트 스트림의 transport_stream_id를 가리킨다. 또한 associated_channel_program_number는 채널1의 program_number를 가리킨다.
여기서, 연동 채널(채널1)에 대한 정보를 얻기 위해 associated_major_channel_number, associated_minor_channel_number 및 associated_source_id를 이용할 수 있다.
수신장치는 채널1과 채널 2의 엘리먼트를 컴바인하여 완전한 스테레오스코픽 3차원 영상 서비스를 제공한다.
다음은 기준 시점 비디오 엘리먼트와 오디오 엘리먼트를 포함하는 채널1은 지상파 채널로 수신되고, 부가 시점 비디오 엘리먼트는 인터넷을 통해 수신되는 경우를 살펴본다. 채널1에 대한 TVCT가 기준 시점 비디오 엘리먼트 및 오디오 엘리먼트에 대한 시그널링 정보를 포함한다. 채널1에 대한 TVCT의 channel_combine_descriptor에 포함된 channel_combine_type은 011로 설정되고 internet_linkage_information()은 부가 시점의 비디오 엘리먼트의 접속 정보를 제공한다.
수신장치는 채널1의 엘리먼트와 인터넷을 통해 접속한 엘리먼트들을 컴바인하여 완전한 스테레오스코픽 3차원 영상 서비스를 제공한다.
본 발명의 디지털 방송 수신기는 위에서 설명한 channel_combine_descriptor()에 포함된 신호 정보를 이용하여 3차원 영상 서비스의 기준 영상 및 부가 영상을 각각 수신하여 결합하고 3차원 영상을 디스플레이할 수 있다.
도 17은 본 발명의 일 실시예에 따른 channel_combine_descriptor()의 신택스를 나타낸 도면이다. channel_combine_descriptor() 신택스는 descriptor_tag, descriptor_length, channel_combine_type, channel_sync_type, associated_channel_TSID, associated_channel_program_number, associated_major_channel_number, associated_minor_channel_number, associated_source_id, 및/또는 internet_linkage_information()을 포함할 수 있다.
각 필드에 대한 설명은 도 15에서의 설명과 동일하며 새롭게 추가된 event_sync_type에 대해 설명한다.
channel_sync_type은 3 비트의 필드로써, 3차원 영상 서비스의 컴포넌트들이 어떻게 얻어지고 동기화되는지에 대한 내용을 포함한다.
도 18은 본 발명의 일 실시예에 따른 channel_sync_type을 나타낸 도면이다.
channel_sync_type이 000인 경우, 3차원 영상 서비스는 오직 동기식 3D 전송에 의해서만 제공될 수 있다.
channel_sync_type이 001인 경우, 3차원 영상 서비스는 오직 비동기식 3D 전송에 의해서만 제공될 수 있다. 3차원 영상 서비스를 제공하기 위한 나머지 일부분은 시간적으로 차후에 전송된다. 위에서 언급한 나머지 일부분을 전송 받기 위해 수신장치는 associated_channel_TSID, associated_channel_program_number, associated_major_channel_number, associated_minor_channel_number, associated_source_id, and internet_linkage_information 등의 연결 정보를 이용할 수 있다.
channel_sync_type이 010인 경우, 3차원 영상 서비스는 오직 비동기식 3D 전송에 의해서만 제공될 수 있다. 3차원 영상 서비스를 제공하기 위한 나머지 일부분은 시간적으로 사전에 전송된다. 위에서 언급한 나머지 일부분을 전송 받기 위해 수신장치는 associated_channel_TSID, associated_channel_program_number, associated_major_channel_number, associated_minor_channel_number, associated_source_id, and internet_linkage_information 등의 연결 정보를 이용할 수 있다.
channel_sync_type이 011인 경우, 3차원 영상 서비스는 동기식 또는 비동기식 3D 전송 모두에 의해 제공될 수 있다. 3차원 영상 서비스를 제공하기 위한 나머지 일부분은 현재 이벤트와 동시에 전송될 수도 있고 또는 시간적으로 차후에 재전송되는 것도 가능하다. 위에서 언급한 나머지 일부분을 전송 받기 위해 수신장치는 associated_channel_TSID, associated_channel_program_number, associated_major_channel_number, associated_minor_channel_number, associated_source_id, and internet_linkage_information 등의 연결 정보를 이용할 수 있다.
channel_sync_type이 100인 경우, 3차원 영상 서비스는 동기식 또는 비동기식 3D 전송 모두에 의해 제공될 수 있다. 3차원 영상 서비스를 제공하기 위한 나머지 일부분은 현재 이벤트와 동시에 전송될 수도 있고 또는 시간적으로 사전에 전송되는 것도 가능하다. 위에서 언급한 나머지 일부분을 전송 받기 위해 수신장치는 associated_channel_TSID, associated_channel_program_number, associated_major_channel_number, associated_minor_channel_number, associated_source_id, and internet_linkage_information 등의 연결 정보를 이용할 수 있다.
도 19는 본 발명의 일 실시예에 따른 TVCT를 이용한 복수 경로 환경에서 3차원 영상 신호 정보를 제공하는 방법을 나타낸 순서도이다.
디지털 방송 수신 장치는 채널 튜닝 후 선택한 채널 A에 대한 TVCT 정보를 수신한다(S191). 채널A의 정보를 포함한 TVCT에 존재하는 channel_combine_descriptor의 channel_combine_type 정보를 이용해 해당 프로그램이 자체적으로 모든 엘리먼트를 포함하는지(channel_combine_type ==000), 그렇지 않은 경우 해당 프로그램이 필수 엘리먼트인지 부가적인 엘리먼트인지 파악한다(S192). 아울러 channel_combine_type 필드를 이용해 다른 complementary 컴포넌트를 수신할 수 있는 경로가 동일한 지상파 채널인지 아니면 인터넷인지를 파악한다(S193). 이어서 채널A에 해당하는 컴포넌트(elementary stream)를 수신한다. channel_sync_type 필드를 이용하여 연동 채널에 대한 이용 가능한 시점을 파악한다. 이를 통해 현재 동시 수신이 가능한지 추후 수신해야 하는지 여부를 파악할 수 있다.
channel_combine_descriptor를 통해 파악한 associated_channel_TSID, associated_channel_program_number에 해당하는 TVCT(또는 PMT)를 수신한다(S194). 이 때, 경우에 따라 다른 채널을 추가로 튜닝하는 과정 발생할 수 있다.
부가적인 스트림을 수신해야 하는 필요가 발생하면 앞 단계에서 수신한 TVCT를 통해 채널B에 대한 정보를 수신하고 채널B에 해당하는 컴포넌트(elementary stream)를 수신한다(S195).
채널A 및 채널B에 포함되는 elementary stream을 모두 디코딩하여 완전한 3차원 영상 서비스를 디스플레이할 수 있다(S196). 또는 필요한 부분만 선택적으로 디코딩할 수 있다.
만약 채널B가 현재 이용가능하지 않고 추후 이용가능한 경우라면 채널A의 스트림을 수신 후 저장(녹화)한 후 나중에 채널B가 수신되는 시점에 저장된 채널A의 스트림을 재생하고 수신되는 채널B와 컴바인 하는 방식으로 3차원 영상을 제공할 수 있다.
도 20은 본 발명의 일 실시예에 따른 event_combine_descriptor()를 포함하는 EIT의 신택스 구조를 나타낸 도면이다.
table_id는 8 비트 필드로써, 0xCB로 설정되고, 해당 섹션이 EIT에 속함을 나타낸다.
section_syntax_indicator는 1비트 필드로써 1로 설정된다. 이는 section length 필드 이후에 섹션이 generic section syntax를 따름을 의미한다.
private_indicator는 1 비트 필드로써 1로 설정된다.
section_length는 12 비트 필드로써, 이 필드 이후로부터 CRC_32 필드를 포함하는 섹션 끝까지 남아있는 바이트 수를 나타낸다. 이 필드의 값은 4093을 넘지 못한다.
source_id는 16 비트 필드로써 이 섹션에서 묘사되는 이벤트를 전달하는 virtual channel의 source_id를 나타낸다.
version_number는 5-bit 필드로써, EIT-i의 버전 번호를 나타낸다. 버전 번호는 EIT-i 내의 어떤 필드라도 변화가 있으면 1씩(modulo 32) 증가한다. i와 j가 다를 경우, EIT-i의 버전 번호와 EIT-j의 버전 번호는 무관하다. 이 필드의 값은 MGT에 기재 내용과 동일한 값을 갖는다.
current_next_indicator는 1 비트 인디케이터로써, EIT 섹션에 대해 항상 1로 설정된다. EIT는 항상 현재 적용 가능하다.
section_number는 8 비트 필드로써, 이 섹션의 번호를 나타낸다.
last_section_number는 8 비트 필드로써, 마지막 섹션의 번호를 나타낸다.
protocol_version 필드는 8비트로써, 미래에 현재 프로토콜에서 정의된 것과 다른 테이블 종류를 허락하는 기능을 한다. 현재 프로토콜에서는 0만이 유효한 값이다. 0이 아닌 값은 구조적으로 다른 테이블을 위해 후 버전에서 사용될 것이다.
num_events_in_section 필드는 8 비트로써, 이 EIT 섹션 내의 이벤트의 숫자를 나타낸다. 0인 경우 이 섹션에는 정의된 이벤트가 없음을 나타낸다.
event_id 필드는 14 비트로써 묘사되는 이벤트의 ID를 나타낸다. 이는 ETM_id의 일부로써 사용된다.
start_time은 32 비트 필드로써, 1980.1.6. 00:00:00 UTC 이후 GPS 초단위로 이 이벤트의 시작시간을 나타낸다. 어떤 virtual channel에서도, start_time의 값은 이전 이벤트의 종료시간(end_time)보다 작을 수 없다. 여기서 종료시간은 이벤트의 시작시간(start_time)에 이벤트의 길이(length_in_seconds)를 더한 값으로 정의된다.
ETM_location은 2 비트 필드로써, Extended Text Message (ETM)의 존재와 위치를 나타낸다.
length_in_seconds 필드는 이 이벤트의 지속시간을 초단위로 나타낸다.
title_length 필드는 title_text()의 길이를 바이트 단위로 나타낸다. 0의 값은 해당 이벤트에 제목이 존재하지 않음을 나타낸다.
title_text()는 multiple string structure 포맷의 이벤트의 이름을 나타낸다.
descriptors_length 필드는 따라오는 이벤트 디스크립터의 총 길이를 바이트로 나타낸다. 0개 혹은 그 이상의 디스크립터가 descriptor()가 포함된 for loop의 반복문에 의해 EIT 내에 포함된다. EIT 내에서 사용되기 위해 정의된 디스크립터의 타입은 content_advisory_descriptor(), the caption_service_descriptor() 및 the AC-3 audio_stream_descriptor()등이 포함될 수 있다. 본 발명의 event_combine_descriptor()는 descriptor() 내에 포함될 수 있다.
CRC_32는 32 비트 필드로써, 디코더에서 레지스터의 zero output을 위한 CRC value를 나타낸다.
EIT를 이용하여 3차원 영상 서비스를 위한 신호 정보를 전송하는 방법은 위에서 설명한 channel_combine_descriptor를 포함시켜 전송하는 방법과 아래에서 설명할 event_combine_descriptor를 포함시켜 전송하는 방법이 있다.
channel_combine_descriptor를 이용하는 방법은 channel_combine_descriptor가 기준 영상 스트림이 전송되는 채널의 EIT에 포함되어 전송될 수 있다. EIT에 channel_combine_descriptor가 존재하는 경우 해당 event에 대해서만 추가스트림 채널이 존재한다. 따라서, 추가스트림 채널은 해당 event의 방송 기간 동안에만 유효하다. channel_combine_descriptor를 이용해 event에 대한 연동 채널 정보를 시그널링 할 경우, associated_channel_TSID, associated_channel_program_number, associated_major_channel_number, associated_minor_channel_number, associated_source_id 등을 이용하여 해당 event에 대한 연동 채널을 파악한다.
event_combine_descriptor를 이용하는 방법은 아래와 같다.
도 21은 본 발명의 일 실시예에 따른 event_combine_descriptor()의 신택스를 나타낸 도면이다.
event_combine_descriptor()는 descriptor_tag, descriptor_length, event_combine_type, linked_TSID, linked_program_number 및/또는 internet_linkage_information()을 포함할 수 있다.
이하 각 정보에 대해 살펴본다.
descriptor_tag는 8 비트의 크기를 가지며 descriptor의 ID 역할을 하며 0xTBD의 값을 할당할 수 있다.
descriptor_length는 8 비트의 크기를 가지며 descriptor에 포함되는 byte 수에 대한 정보를 포함한다.
event_combine_type은 3 비트의 크기를 가지며 EIT 섹션에 의해 시그널링된 이벤트의 컴바인 타입을 가리킨다. 도 22는 본 발명의 일 실시예에 따른 event_combine_type을나타낸다. event_combine_type이 000인 경우 해당 이벤트는 3차원 영상 서비스에 필요한 모든 컴포넌트를 포함함을 의미한다. 예를 들면, 기준 영상 및 부가 영상, 좌 영상 및 우 영상을 모두 포함하고 있음을 의미한다.
event_combine_type이 001인 경우는 해당 이벤트가 3차원 영상 서비스를 위한 컴포넌트 중 일부분을 포함하고 있으며 그 일부분은 필수 엘리먼트임을 의미한다. 완벽한 3차원 영상을 서비스하기 위한 나머지 부분의 컴포넌트는 해당 이벤트와 동일한 타입의 매체에 의해 수신됨을 의미하며, 나머지 컴포넌트는 linked_TSID, linked_program_number를 이용하여 얻을 수 있다. 최악의 경우, 예를 들면 나머지 부분의 컴포넌트에 대한 수신이 불가능한 경우에는 3차원 영상 서비스의 일부분 만을 렌더링할 수 있다. 이 경우 기준 영상을 이용한 2차원 영상 서비스를 제공할 수 있다.
event_combine_type이 010인 경우는 해당 이벤트가 3차원 영상 서비스를 위한 컴포넌트 중 일부분을 포함하고 있으며 그 부분은 필수 엘리먼트를 포함하고 있지 않음을 의미한다. 해당 이벤트 자체로는 어떠한 의미있는 영상도 사용자에게 제공할 수 없다. 해당 이벤트는 linked_TSID, linked_program_number에 의해 식별되는 다른 이벤트에 포함된 필수 엘리먼트과 컴바인되어야만 3차원 영상 서비스를 제공하는 것이 가능하다. 필수 엘리먼트는 해당 이벤트와 동일한 타입의 매체에 의해 수신됨을 의미한다.
event_combine_type이 011인 경우는 해당 이벤트가 3차원 영상 서비스를 위한 컴포넌트 중 일부분을 포함하고 있으며 그 일부분은 필수 엘리먼트임을 의미한다. 완벽한 3차원 영상을 서비스하기 위한 나머지 컴포넌트는 인터넷을 통해 수신됨을 의미하며, 나머지 컴포넌트의 위치를 가리키는 URL은 internet_linkage_information을 통해 얻을 수 있다. 최악의 경우, 예를 들면 나머지 컴포넌트에 대한 수신이 불가능한 경우에는 3차원 영상 서비스의 일부분 만을 렌더링할 수 있다. 이 경우 기준 영상을 이용한 2차원 영상 서비스를 제공할 수 있다.
event_combine_type이 100인 경우는 해당 이벤트가 3차원 영상 서비스를 위한 컴포넌트 중 일부분을 포함하고 있으며 그 일부분은 필수 엘리먼트를 포함하고 있지 않음을 의미한다. 해당 이벤트 자체로는 어떠한 의미있는 영상도 사용자에게 제공할 수 없다. 필수 엘리먼트는 인터넷을 통해 수신됨을 의미하며 해당 이벤트는 필수 엘리먼트과 컴바인되어야만 3차원 영상 서비스를 제공할 수 있다. 위의 필수 엘리먼트에 대한 접속 정보는 internet_linkage_information을 통해 얻을 수 있다.
linked_TSID는 16 비트이며 해당 프로그램과 연계된 3차원 영상 서비스를 제공하기 위한 별도의 트랜스포트 스트림이 존재하는 경우 해당 트랜스포트 스트림의 transport_stream_ID를 가리킨다.
linked_program_number는 16 비트이며 3차원 영상 서비스를 제공하기 위한 별도의 트랜스포트 스트림을 포함하는 프로그램의 program_number를 가리킨다.
internet_linkage_information은 IP 주소, IP 주소가 32 비트인지 128 비트인지 여부를 나타내는 필드, 포트 넘버 및 부가 정보(예를 들면, 해당 스트림의 URI)를 포함할 수 있다.
위에서 설명한 EIT를 이용한 디지털 방송 수신 방법의 실시예는 다음과 같다.
기준 시점 비디오 엘리먼트와 오디오 엘리먼트를 포함하는 이벤트A와 부가 시점 비디오 엘리먼트의 채널B가 모두 지상파를 통해 수신되는 경우를 살펴보면, 이벤트A에 대한 EIT가 기준 시점 비디오 엘리먼트 및 오디오 엘리먼트에 대한 시그널링 정보를 포함한다. 이벤트에 대한 EIT의 event_combine_descriptor 내의 event_combine_type은 001로 설정되고 linked_TSID는 채널B의 엘리먼트를 포함하고 있는 트랜스포트 스트림의 transport_stream_id를 가리킨다. 또한 linked_program_number는 채널B의 program_number를 가리킨다.
여기서, 연동 채널(채널B)에 대한 정보를 얻기 위해 channel_combine_descriptor()을 이용하는 경우 해당 디스크립터 내에 포함되어 있는 associated_major_channel_number, associated_minor_channel_number 및 associated_source_id를 이용할 수 있다.
수신장치가 2D 모드인 경우에는 이벤트A의 엘리먼트만을 이용하는 것이 가능하다. 채널B에 대한 TVCT 및 PMT는 부가 시점 비디오 엘리먼트에 대한 시그널링 정보를 포함한다.
수신장치는 채널1과 채널 2의 엘리먼트를 컴바인하여 완전한 스테레오스코픽 3차원 영상 서비스를 제공한다.
다음은 기준 시점 비디오 엘리먼트와 오디오 엘리먼트를 포함하는 이벤트A는 지상파 채널로 수신되고, 부가 시점 비디오 엘리먼트는 인터넷을 통해 수신되는 경우를 살펴본다. 이벤트A에 대한 EIT가 기준 시점 비디오 엘리먼트 및 오디오 엘리먼트에 대한 시그널링 정보를 포함한다. 이벤트A에 대한 EIT의 channel_combine_descriptor 또는 event_combine_descriptor에 포함된 channel_combine_type 또는 event_combine_type은 011로 설정되고 internet_linkage_information()은 부가 시점의 비디오 엘리먼트의 접속 정보를 제공한다. 수신장치는 이벤트A의 엘리먼트와 인터넷을 통해 접속한 엘리먼트들을 컴바인하여 완전한 스테레오스코픽 3차원 영상 서비스를 제공한다.
도 23은 본 발명의 일 실시예에 따른 EIT에 포함되는 event_combine_descriptor()의 신택스를 나타낸 도면이다.
event_combine_descriptor()는 descriptor_tag, descriptor_length, event_combine_type, event_sync_type, avail_time_start, linked_TSID, linked_program_number 및/또는 internet_linkage_information()을 포함할 수 있다.
각 필드에 대한 설명은 도 21에서의 설명과 동일하며 새롭게 추가된 event_sync_type는 도 12에서 설명한 PMT의 event_sync_type과 동일하다.
avail_time_start는 32 비트 필드로써, 현재 서비스의 스트림과 함께 컴바인되어 하나의 3차원 영상 서비스를 제공할 수 있는 별도의 스트림이 전송되는 시작 시간을 의미한다. avail_time_start는 1980.1.6. 00:00:00 UTC 이후 GPS 초단위로 해당 이벤트의 시작시간을 나타낸다. 이 필드는 event_sync_type 필드의 값이 '001’ 또는 ‘011’일 때에만 의미가 있다.
본 발명의 디지털 방송 수신기는 위에서 설명한 event_combine_descriptor()에 포함된 신호 정보를 이용하여 3차원 영상 서비스의 기준 영상 및 부가 영상을 각각 수신하여 결합하고 3차원 영상을 디스플레이할 수 있다.
이상 PMT, TVCT, EIT에 각각 포함된 3D_service_descriptor(), channel_combine_descriptor(), event_combine_descriptor()에서 언급된 필수 엘리먼트(기준 영상)은 essential channel로 정의된 채널로 전송되며 이 채널은 단독으로 2차원 영상 서비스를 제공할 수 있는 채널이다. 해당 채널의 service_type은 기존 수신 장치와의 호환성을 위해 0x02의 값을 갖는다.
또한 필수 엘리먼트가 아닌 영상(부가 영상)은 Non-essential channel로 정의된 채널로 전송되며 이 채널은 단독으로는 사용자에게 어떠한 의미있는 서비스도 제공하지 못하는 채널이다. 해당 채널의 service_type은 0x07(parameterized service) 또는 0x0A(dependent service or non-stand-alone service)의 값을 갖는다.
기준 영상 및 부가 영상의 dual 스트림을 기반으로 한 3차원 스테레오스코픽 서비스 중 non-essential channel을 통해 전송되는 스트림에 대한 상세 정보는 component_list_descriptor를 확장한 형태를 사용하며 이는 도 2에서 설명한 바와 같다. component_list_descriptor의 위치는 TVCT의 virtual channel level이다.
component_list_descriptor 내에 포함되는 컴포넌트 중 non-essential channel을 통해 전송되는 비디오 스트림에 대한 component_list_descriptor()는 stream_type이 0x1B 또는 0x24로 설정된다. 이는 H.264/AVC 비디오를 나타낸다. 또한 component_list_descriptor()에 포함된 stream_info_detail()은 도 3의 신택스 구조와 동일한 구조를 갖으며 각 필드에 대한 설명은 동일하다.
component_list_descriptor 내에 포함되는 컴포넌트 중 non-essential channel을 통해 전송되는 오디오 스트림에 대한 component_list_descriptor()는 오디오가 AC-3 오디오인 경우 stream_type이 0x81로 설정되며 기타 오디오 스트림은 그에 대응되는 stream_type 값으로 설정된다.
도 24(a)는 본 발명의 일 실시예에 따른 오디오 스트림에 대한 stream_info_detail()의 신택스 구조를 나타낸 도면이다. 오디오 스트림에 대한 stream_info_detail()는 stream_info_type, elementary_PID, SLD_element_index, audio_type 및/또는 ISO_639_language_code를 포함한다.
stream_info_type은 8비트 필드로써, 0x04로 설정되며 이 설정 값은 3차원 영상 서비스를 위한 enhancement 오디오 스트림임을 의미한다.
audio_type은 Non-essential channel을 통해 전송되는 별도의 오디오 스트림이 존재하는 경우 이 스트림의 활용 방법을 나타낸다. 도 24(b)는 본 발명의 일 실시예에 따른 audio_type을 나타낸 도면이다.
audio_type이 001인 경우, Non-essential channel을 통해 전송되는 오디오 스트림을 3차원 영상 서비스에서 사용하며 essential channel을 통해 전송되는 오디오 스트림은 사용하지 않는다.
audio_type이 010인 경우, essential channel을 통해 전송되는 오디오 스트림을 기준 스트림으로 사용하되 Non-essential channel을 통해 전송되는 오디오 스트림을 enhancement 스트림으로 사용한다. 이는 MPEG Surround와 같은 경우 적용될 수 있다.
audio_type이 011인 경우, Non-essential channel을 통해 다른 언어를 갖는 오디오 스트림이 전송되며 언어 정보는 audio_type 필드 이후에 나타나는 ISO_639_language_code를 참고한다.
이상과 같이 본 발명에 의한 디지털 방송 수신 장치는 Non-essential channel을 통해 전송되는 비디오, 오디오 스트림에 대한 component_list_descriptor를 통해 부가 영상 및 부가 오디오에 대한 정보를 수신하고 이를 3차원 영상 서비스를 제공하는데 이용할 수 있다.
도 25는 본 발명의 일 실시예에 따른 EIT를 이용한 복수 경로 환경에서 3차원 영상 신호 정보를 제공하는 방법을 나타낸 순서도이다.
디지털 방송 수신 장치는 채널 튜닝 후 선택한 채널에 대한 EIT 정보를 수신한다(S251). 이벤트A의 정보를 포함한 EIT에 존재하는 event_combine_descriptor의 event_combine_type 정보를 이용해 해당 프로그램이 자체적으로 모든 엘리먼트를 포함하는지(event_combine_type ==000), 그렇지 않은 경우 해당 프로그램이 필수 엘리먼트인지 부가적인 엘리먼트인지 파악한다(S252). 아울러 event_combine_type 필드를 이용해 다른 complementary 컴포넌트를 수신할 수 있는 경로가 동일한 지상파 채널인지 아니면 인터넷인지를 파악한다(S253). 이어서 이벤트A에 해당하는 컴포넌트(elementary stream)를 수신한다. event_sync_type 필드를 이용하여 연동 채널에 대한 이용 가능한 시점을 파악한다. 이를 통해 현재 동시 수신이 가능한지 추후 수신해야 하는지 여부를 파악할 수 있다.
이벤트A에 대한 event_combine_descriptor를 통해 파악한 linked_TSID, linked_program_number에 해당하는 TVCT(또는 PMT)를 수신한다(S254). 이 때, 경우에 따라 다른 채널을 추가로 튜닝하는 과정 발생할 수 있다.
부가적인 스트림을 수신해야 하는 필요가 발생하면 앞 단계에서 수신한 TVCT를 통해 채널B에 대한 정보를 수신하고 채널B에 해당하는 컴포넌트(elementary stream)를 수신한다(S255).
이벤트A 및 채널B에 포함되는 elementary stream을 모두 디코딩하여 완전한 3차원 영상 서비스를 디스플레이할 수 있다(S256). 또는 필요한 부분만 선택적으로 디코딩할 수 있다.
만약 채널B가 현재 이용가능하지 않고 추후 이용가능한 경우라면 이벤트A를 수신 후 저장(녹화)한 후 나중에 채널B가 수신되는 시점에 저장된 이벤트A의 스트림을 재생하고 수신되는 채널B와 컴바인 하는 방식으로 3차원 영상을 제공할 수 있다.
도 26은 본 발명의 일 실시예에 따른 service_combine_descriptor를 포함하는 SDT의 신택스 구조를 나타낸 도면이다.
SDT(service description table)는 DVB-SI에서 특정 트랜스포트 스트림에 포함된 서비스들을 설명하는 테이블이다. 3차원 영상 서비스를 제공하기 위한 신호 정보를 시그널링하기 위해 service_combine_descriptor()는 SDT에 포함되어 전송될 수 있다. 서비스 A가 기준 영상에 대한 서비스이고 서비스 B가 부가 영상에 대한 서비스인 경우 SDT section 내의 서비스 A에 대한 descriptor loop에서 서비스 B에 대한 연동정보를 포함한 service_combine_descriptor가 위치한다.
table_id 필드는 8 비트 필드로써, 이 섹션이 Service Description Table에 속한다는 것을 나타낸다..
section_syntax_indicator는 1 비트 필드로써, 1로 설정된다.
section_length는 12 비트 필드로써, 첫 두 비트는 00으로 설정된다. 이 필드 이후부터 CRC를 포함하는 섹션의 바이트 수를 나타낸다. 이 필드는 1021를 넘지 못하며 전체 섹션 길이는 최대 1024 bytes가 된다.
transport_stream_id는 16 비트 필드로써, TS를 구별하는 레이블 역할을 한다.
version_number는 5 비트 필드로써 sub_table의 버전 번호를 나타낸다. sub_table에 변경된 사항이 있을 때마다 1 씩 증가한다. 버전 값이 31이 도달하면 그 다음 버전 값은 0이 된다.
current_next_indicator는 1 비트로 구성되며 sub_table이 현재 적용 가능한 것일 경우 값이 1로 설정된다. 만약 0으로 설정되어 있다면, 이는 아직 적용할 수 없으며 다음 테이블이 유효함을 의미한다.
section_number는 8 비트로 구성되며 섹션의 수를 나타낸다. 첫 번째 섹션은 0x00의 값을 가지며, 동일 table_id, 동일 transport_stream_id 및 동일original_network_id를 갖는 추가 섹션마다 값이 1씩 증가한다.
last_section_number는 8 비트로 구성되며 이 섹션이 일부분인 해당 sub_table의 마지막 섹션(즉 가장 높은 section_number)의 번호를 나타낸다.
original_network_id는 16 비트 필드로써, 전송 시스템의 network_id를 확인하는 레이블이다.
service_id는 16 비트 필드로써, TS 내에 포함된 다른 서비스와 구별 짓는 레이블 역할을 한다. 이는 program_map_section의 program_number와 동일하다.
EIT_schedule_flag는 1 비트 필드로써 1로 설정되면 현재 TS 내에 해당 서비스를 위한 EIT 스케쥴 정보가 포함되어 있음을 나타낸다. 0이면 포함되어 있지 않음을 나타낸다.
EIT_present_following_flag는 1 비트 필드로써, 1로 설정되면 현재 TS 내에 해당 서비스를 위한 EIT_present_following 정보가 포함되어 있음을 나타낸다. 0이면 EIT present/following 정보가 현재 TS에 포함되어 있지 않음을 나타낸다.
running_status는 3 비트 필드로써 서비스의 상태를 나타낸다.
free_CA_mode는 1 비트 필드로써, 0으로 설정되면 해당 서비스의 모든 요소 스트림들이 스크램블되지 않음을 나타낸다. 1로 설정되면, 하나 또는 그 이상의 스트림이 CA 시스템에 의해 제어되고 있음을 의미한다.
descriptors_loop_length는 12 비트 필드로써 따라오는 디스크립터의 전체 길이를 바이트 단위로 나타낸다.
CRC_32는 32 비트 필드로써, 디코더에서 레지스터의 zero output을 위한 CRC value를 나타낸다.
본 발명은 SDT에 3차원 영상 서비스의 일부분인 부가 영상 서비스에 대한 service_combine_descriptor를 포함시켜 송수신하여, 3차원 영상 서비스에 대한 정보가 서비스에 대해 일관되게 유지될 때 유용하게 이용될 수 있다. 즉, 3차원 영상 서비스에 대한 정보가 시간에 따라 변하지 않는 경우, 신호 정보를 갱신할 필요없이 동일 서비스에 대해 유지할 수 있으므로 데이터 전송 효율면에서 유리한 효과를 갖는다.
도 27은 본 발명의 일 실시예에 따른 service_combine_descriptor의 신택스 구조를 나타낸 도면이다.
service_combine_descriptor() 신택스는 descriptor_tag, descriptor_length, service_combine_type, service_sync_type, associated_service_TSID, associated_service_original_network_id, associated_service_id, 및/또는 internet_linkage_information()을 포함할 수 있다.
이하 각 정보에 대해 살펴본다.
descriptor_tag는 8 비트의 크기를 가지며 descriptor의 ID 역할을 하며 0xTBD의 값을 할당할 수 있다.
descriptor_length는 8 비트의 크기를 가지며 descriptor에 포함되는 byte 수에 대한 정보를 포함한다.
service_combine_type은 3 비트의 크기를 가지며, SDT 섹션에 의해 시그널링된 서비스의 컴바인 타입을 가리킨다. 도 28은 본 발명의 일 실시예에 따른 service_combine_type을 나타낸다. service_combine_type이 000인 경우 해당 서비스는 3차원 영상 서비스에 필요한 모든 컴포넌트를 포함함을 의미한다. 예를 들면, 기준 영상 및 부가 영상, 좌 영상 및 우 영상을 모두 포함하고 있음을 의미한다.
service_combine_type이 001인 경우는 해당 서비스가 3차원 영상 서비스를 위한 컴포넌트 중 일부분을 포함하고 있으며 그 일부분은 필수 엘리먼트임을 의미한다. 완벽한 3차원 영상을 서비스하기 위한 나머지 부분의 컴포넌트는 해당 서비스와 동일한 타입의 매체에 의해 수신됨을 의미하며, 나머지 컴포넌트는 associated_service_TSID, associated_service_original_network_id, associated_service_id를 이용하여 얻을 수 있다. 최악의 경우, 예를 들면 나머지 부분의 컴포넌트에 대한 수신이 불가능한 경우에는 3차원 영상 서비스의 일부분 만을 렌더링할 수 있다. 이 경우 기준 영상을 이용한 2차원 영상 서비스를 제공할 수 있다.
service_combine_type이 010인 경우는 해당 서비스가 3차원 영상 서비스를 위한 컴포넌트 중 일부분을 포함하고 있으며 그 부분은 필수 엘리먼트를 포함하고 있지 않음을 의미한다. 해당 서비스 자체로는 어떠한 의미있는 영상도 사용자에게 제공할 수 없다. 해당 서비스는 associated_service_TSID, associated_service_original_network_id, associated_service_id에 의해 식별되는 다른 서비스에 포함된 필수 엘리먼트과 컴바인되어야만 영상 서비스를 제공하는 것이 가능하다. 필수 엘리먼트는 해당 서비스와 동일한 타입의 매체에 의해 수신됨을 의미한다.
service_combine_type이 011인 경우는 해당 서비스가 3차원 영상 서비스를 위한 컴포넌트 중 일부분을 포함하고 있으며 그 일부분은 필수 엘리먼트임을 의미한다. 완벽한 3차원 영상을 서비스하기 위한 나머지 컴포넌트는 인터넷을 통해 수신됨을 의미하며, 나머지 컴포넌트의 위치를 가리키는 URL은 internet_linkage_information을 통해 얻을 수 있다. 최악의 경우, 예를 들면 나머지 컴포넌트에 대한 수신이 불가능한 경우에는 3차원 영상 서비스의 일부분 만을 렌더링할 수 있다. 이 경우 기준 영상을 이용한 2차원 영상 서비스를 제공할 수 있다.
service_combine_type이 100인 경우는 해당 서비스가 3차원 영상 서비스를 위한 컴포넌트 중 일부분을 포함하고 있으며 그 일부분은 필수 엘리먼트를 포함하고 있지 않음을 의미한다. 해당 서비스 자체로는 어떠한 의미있는 영상도 사용자에게 제공할 수 없다. 필수 엘리먼트는 인터넷을 통해 수신됨을 의미하며 해당 서비스는 필수 엘리먼트과 컴바인되어야만 3차원 영상 서비스를 제공할 수 있다. 위의 필수 엘리먼트에 대한 접속 정보는 internet_linkage_information을 통해 얻을 수 있다.
service_sync_type은 3 비트의 필드로써, 3차원 영상 서비스의 컴포넌트들이 어떻게 얻어지고 동기화되는지에 대한 내용을 포함한다.
도 29는 본 발명의 일 실시예에 따른 service_sync_type을 나타낸 도면이다.
service_sync_type이 000인 경우, 3차원 영상 서비스는 오직 동기식 3D 전송에 의해서만 제공될 수 있다.
service_sync_type이 001인 경우, 3차원 영상 서비스는 오직 비동기식 3D 전송에 의해서만 제공될 수 있다. 3차원 영상 서비스를 제공하기 위한 나머지 일부분은 시간적으로 차후에 전송된다. 위에서 언급한 나머지 일부분을 전송 받기 위해 수신장치는 associated_service_TSID, associated_service_original_network_id, associated_service_id, 또는 internet_linkage_information 등의 연결 정보를 이용할 수 있다.
service_sync_type이 010인 경우, 3차원 영상 서비스는 오직 비동기식 3D 전송에 의해서만 제공될 수 있다. 3차원 영상 서비스를 제공하기 위한 나머지 일부분은 시간적으로 사전에 전송된다. 위에서 언급한 나머지 일부분을 전송 받기 위해 수신장치는 associated_service_TSID, associated_service_original_network_id, associated_service_id, 또는 internet_linkage_information 등의 연결 정보를 이용할 수 있다.
service_sync_type이 011인 경우, 3차원 영상 서비스는 동기식 또는 비동기식 3D 전송 모두에 의해 제공될 수 있다. 3차원 영상 서비스를 제공하기 위한 나머지 일부분은 현재 이벤트와 동시에 전송될 수도 있고 또는 시간적으로 차후에 재전송되는 것도 가능하다. 위에서 언급한 나머지 일부분을 전송 받기 위해 수신장치는 associated_service_TSID, associated_service_original_network_id, associated_service_id, 또는 internet_linkage_information 등의 연결 정보를 이용할 수 있다.
service_sync_type이 100인 경우, 3차원 영상 서비스는 동기식 또는 비동기식 3D 전송 모두에 의해 제공될 수 있다. 3차원 영상 서비스를 제공하기 위한 나머지 일부분은 현재 이벤트와 동시에 전송될 수도 있고 또는 시간적으로 사전에 전송되는 것도 가능하다. 위에서 언급한 나머지 일부분을 전송 받기 위해 수신장치는 associated_service_TSID, associated_service_original_network_id, associated_service_id, 또는 internet_linkage_information 등의 연결 정보를 이용할 수 있다.
associated_service_TSID는 16 비트의 크기를 가지며 3차원 영상 서비스를 제공하기 위해 본 프로그램/서비스와 결합될 트랜스포트 스트림의 transport_stream_id 값을 나타낸다.
associated_service_original_network_id는 16 비트의 크기를 가지며 3차원 영상 서비스를 제공하기 위해 본 프로그램/채널과 결합될 트랜스포트 스트림을 포함한 서비스의 original_network_id 값을 나타낸다.
associated_service_id는 16 비트의 크기를 가지며 3차원 영상 서비스를 제공하기 위해 본 프로그램/서비스와 결합될 트랜스포트 스트림을 포함한 서비스의 service_id 값을 나타낸다.
본 실시 예에서는 service_id와 program_number 필드의 값을 동일하게 설정하므로 linked_program_number 필드를 생략하지만 경우에 따라 service_combine_descriptor에 linked_program_number 필드를 포함하는 실시 예가 있을 수 있다.
internet_linkage_information은 IP 주소, IP 주소가 32 비트인지 128 비트인지 여부를 나타내는 필드, 포트 넘버, 부가 정보(예를 들면, 해당 스트림의 URI) 및 available time slot(시작시간, 만료 시간) 정보를 포함할 수 있다.
여기서, 연동되는 서비스 내에 포함되는 비디오 스트림의 상세 정보는 해당 서비스의 component descriptor를 참고하여 알아낼 수도 있고, 혹은 위에서 설명한 service_combine_descriptor 내에 해당 컴포넌트의 component_tag 값이나 혹은 elementary_PID 값을 추가하여 그 필드 값만 보고 바로 찾게 할 수도 있다. 즉, 실시 예에 따라 service_combine_descriptor에 연동되는 비디오/오디오 스트림에 대한 component_tag 또는 elementary_PID 필드를 포함할 수 있으며 stream_content 및 component_type과 같은 스트림 관련 정보도 포함 할 수도 있다.
본 발명의 디지털 방송 수신 장치는 위에서 설명한 service_combine_descriptor()에 포함된 신호 정보를 이용하여 3차원 영상 서비스의 기준 영상 및 부가 영상을 각각 수신하여 결합하고 3차원 영상을 디스플레이할 수 있다.
위에서 설명한 SDT를 이용한 디지털 방송 수신 방법의 실시예는 다음과 같다.
기준 시점 비디오 엘리먼트와 오디오 엘리먼트를 포함하는 서비스1과 부가 시점 비디오 엘리먼트인 서비스2가 모두 지상파를 통해 수신되는 경우를 살펴보면, 서비스1에 대한 SDT가 기준 시점 비디오 엘리먼트 및 오디오 엘리먼트에 대한 시그널링 정보를 포함한다. 서비스1에 대한 SDT의 descriptor loop에 포함된 service_combine_descriptor 내의 service_combine_type은 001로 설정되고 associated_service_TSID는 서비스2의 엘리먼트를 포함하고 있는 트랜스포트 스트림의 transport_stream_id를 가리킨다. 여기서, 연동 서비스(서비스2)에 대한 정보를 얻기 위해 associated_service_original_network_id, associated_service_id을 이용할 수 있다.
수신기가 2D 모드인 경우에는 서비스1의 엘리먼트만을 이용하는 것이 가능하다. 서비스2에 대한 SDT 및 PMT는 부가 시점 비디오 엘리먼트에 대한 시그널링 정보를 포함한다. 서비스2에 대한 SDT의 service_combine_descriptor에 포함된 service_combine_type은 010으로 설정되고 associated_service_TSID는 서비스1의 엘리먼트를 포함하는 트랜스포트 스트림의 transport_stream_id를 가리킨다. 여기서, 연동 서비스(서비스1)에 대한 정보를 얻기 위해 associated_service_original_network_id, associated_service_id를 이용할 수 있다.
수신장치는 서비스1과 서비스2의 엘리먼트를 컴바인하여 완전한 스테레오스코픽 3차원 영상 서비스를 제공할 수 있다.
도 30은 본 발명의 일 실시예에 따른 SDT를 이용한 복수 경로 환경에서 3차원 영상 신호 정보를 제공하는 방법을 나타낸 순서도이다.
디지털 방송 수신 장치는 채널 튜닝 후 선택한 서비스A에 대한 SDT 정보를 수신한다(S301). 서비스A의 정보를 포함한 SDT에 존재하는 service_combine_descriptor의 service_combine_type 정보를 이용해 해당 프로그램이 자체적으로 모든 엘리먼트를 포함하는지(service_combine_type ==000), 그렇지 않은 경우 해당 프로그램이 필수 엘리먼트인지 부가적인 엘리먼트인지 파악한다(S302). 아울러 service_combine_type 필드를 이용해 다른 complementary 컴포넌트를 수신할 수 있는 경로가 동일한 지상파 채널인지 아니면 인터넷인지를 파악한다(S303). 이어서 서비스A에 해당하는 컴포넌트(elementary stream)를 수신한다.
service_sync_type 필드를 이용하여 서비스B에 대한 이용 가능한 시점을 파악한다. 이를 통해 현재 동시 수신이 가능한지 추후 수신해야 하는지 여부를 파악할 수 있다. service_combine_descriptor를 통해 파악한 associated_service_TSID, associated_service_id에 해당하는 SDT(또는 PMT)를 수신한다(S304). 이 때, 경우에 따라 다른 채널을 추가로 튜닝하는 과정 발생할 수 있다.
부가적인 스트림을 수신해야 하는 필요가 발생하면 앞 단계에서 수신한 SDT를 통해 서비스B에 대한 정보를 수신하고 서비스B에 해당하는 컴포넌트(elementary stream)를 수신한다(S305).
서비스A 및 서비스B에 포함되는 elementary stream을 모두 디코딩하여 완전한 3차원 영상 서비스를 디스플레이할 수 있다(S306). 또는 필요한 부분만 선택적으로 디코딩할 수 있다.
만약 서비스B가 현재 이용가능하지 않고 추후 이용가능한 경우라면 서비스A를 수신 후 저장(녹화)한 후 나중에 서비스B가 수신되는 시점에 저장된 서비스A의 스트림을 재생하고 수신되는 서비스B와 컴바인 하는 방식으로 3차원 영상을 제공할 수 있다.
도 31은 본 발명의 일 실시예에 따른 event_combine_descriptor를 포함하는 DVB-SI의 EIT 신택스 구조를 나타낸 도면이다.
본 발명의 디지털 방송 수신 장치는 DVB-SI의 EIT 내 descriptor에 위에서 설명한 service_combine_descriptor() 또는 event_combine_descriptor()을 포함시키거나, 또는 linkage_descriptor()를 확장하여 포함시켜 전송함으로써 3차원 영상 서비스에 대한 정보를 제공하는 것이 가능하다.
table_id 필드는 8 비트 필드로써, 이 섹션이 Service Description Table에 속한다는 것을 나타낸다..
section_syntax_indicator는 1 비트 필드로써, 1로 설정된다.
section_length는 12 비트 필드로써, 이 필드 이후부터 CRC를 포함하는 섹션의 바이트 수를 나타낸다. 이 필드는 4093를 넘지 못하며 전체 섹션 길이는 최대 4096 bytes가 된다.
service_id는 16 비트 필드로써, TS 내의 다른 서비스와 구분하는 레이블 역할을 한다. service_id는 상응하는 program_map_section의 program_number와 동일한 값을 갖는다.
version_number는 5 비트 필드로써 sub_table의 버전 번호를 나타낸다. sub_table에 변경된 사항이 있을 때마다 1 씩 증가한다. 버전 값이 31이 도달하면 그 다음 버전 값은 0이 된다.
current_next_indicator는 1 비트로 구성되며 sub_table이 현재 적용 가능한 것일 경우 값이 1로 설정된다. 만약 0으로 설정되어 있다면, 이는 아직 적용할 수 없으며 다음 테이블이 유효함을 의미한다.
section_number는 8 비트로 구성되며 섹션의 수를 나타낸다. 첫 번째 섹션은 0x00의 값을 가지며, 동일 table_id, 동일 transport_stream_id 및 동일original_network_id를 갖는 추가 섹션마다 값이 1씩 증가한다.
last_section_number는 8 비트로 구성되며 이 섹션이 일부분인 해당 sub_table의 마지막 섹션(즉 가장 높은 section_number)의 번호를 나타낸다.
transport_stream_id는 16 비트 필드로써, TS를 구별하는 레이블 역할을 한다.
original_network_id는 16 비트 필드로써, 전송 시스템의 network_id를 확인하는 레이블이다.
segment_last_section_number는 8 비트 필드로써, sub_table의 세그먼트 마지막 섹션의 숫자를 나타낸다. 세그먼트로 나누어지지 않은 sub_table에 대해서는 이 필드는 last_section_number 필드와 동일한 값을 갖는다.
last_table_id는 8 비트 필드로써, 마지막에 사용된 table_id를 나타낸다.
event_id는 16 비트 필드로써, 이벤트를 나타내는 id number를 포함한다(서비스 정의 내에서 유일하게 배정된다).
start_time은 40 비트 필드로써, Universal Time, Co-ordinated (UTC) 형식, Modified Julian Date (MJD) 형식의 이벤트 시작시간을 포함한다. 이 필드는 MJD의 16 LSBs에 의해 코딩된 16 비트와 4비트 Binary Coded Decimal (BCD)의 6자리로 코딩된 24비트로 이루어진다. 만약 시작시간이 정의되지 않으면(예를 들어, NVOD 서비스) 모든 비트는 1로 설정된다.
Duration은 24 비트 필드로써 이벤트의 지속 시간을 시간, 분, 초 단위로 포함한다. 따라서 6자리 4-bit BCD로 표현되어 24 비트를 갖는다.
running_status은 3 비트 필드로써 이벤트의 상태를 나타낸다. NVOD 이벤트의 경우 0으로 설정된다.
free_CA_mode는 1 비트 필드로써, 0으로 설정되면 해당 서비스의 모든 요소 스트림들이 스크램블되지 않음을 나타낸다. 1로 설정되면, 하나 또는 그 이상의 스트림이 CA 시스템에 의해 제어되고 있음을 의미한다.
descriptors_loop_length는 12 비트 필드로써 따라오는 디스크립터의 전체 길이를 바이트 단위로 나타낸다.
CRC_32는 32 비트 필드로써, 디코더에서 레지스터의 zero output을 위한 CRC value를 나타낸다.
먼저 DVB-SI의 EIT 내 descriptor에 service_combine_descriptor()를 포함시켜 전송하는 경우를 설명하면, 위에서 설명한 service_combine_descriptor()가 기준 영상 스트림이 전송되는 서비스의 EIT에 포함되어 전송될 수 있다. 이 경우 해당 event에 대해서만 추가스트림 채널이 존재한다. 따라서, 추가스트림 채널은 해당 event의 방송 기간 동안에만 유효하다.
Service_combine_descriptor()를 이용해 event에 대한 연동채널 정보를 시그널링 할 경우 associated_service_TSID, associated_service_original_network_id, associated_service_id 등을 이용해 해당 event에 대한 연동채널을 파악한다.
다음으로 DVB-SI의 EIT 내 descriptor에 event_combine_descriptor()를 포함시키는 경우를 설명하면, event A가 기준 영상 이벤트이고 event B가 부가 영상 이벤트인 경우 EIT 내의 event A에 대한 descriptor loop에서 event B에 대한 연동정보를 포함한 event_combine_descriptor()가 위치한다.
도 32는 본 발명의 일 실시예에 따른 event_combine_descriptor의 신택스 구조를 나타낸 도면이다.
event_combine_descriptor()는 descriptor_tag, descriptor_length, event_combine_type, linked_event_id, linked_TSID, linked_original_netrowk_id, linked_service_id, internet_linkage_information(), event_sync_type 및/또는 avail_time_start를 포함할 수 있다.
이하 각 정보에 대해 살펴본다.
descriptor_tag는 8 비트의 크기를 가지며 descriptor의 ID 역할을 하며 0xTBD의 값을 할당할 수 있다.
descriptor_length는 8 비트의 크기를 가지며 descriptor에 포함되는 byte 수에 대한 정보를 포함한다.
event_combine_type은 3 비트의 크기를 가지며 EIT 섹션에 의해 시그널링된 이벤트의 컴바인 타입을 가리킨다.
도 33은 본 발명의 일 실시예에 따른 event_combine_type을나타낸다. event_combine_type이 000인 경우 해당 이벤트는 3차원 영상 서비스에 필요한 모든 컴포넌트를 포함함을 의미한다. 예를 들면, 기준 영상 및 부가 영상, 좌 영상 및 우 영상을 모두 포함하고 있음을 의미한다.
event_combine_type이 001인 경우는 해당 이벤트가 3차원 영상 서비스를 위한 컴포넌트 중 일부분을 포함하고 있으며 그 일부분은 필수 엘리먼트임을 의미한다. 완벽한 3차원 영상을 서비스하기 위한 나머지 부분의 컴포넌트는 해당 이벤트와 동일한 타입의 매체에 의해 수신됨을 의미하며, 나머지 컴포넌트는 linked_TSID, linked_service_id를 이용하여 얻을 수 있다. 최악의 경우, 예를 들면 나머지 부분의 컴포넌트에 대한 수신이 불가능한 경우에는 3차원 영상 서비스의 일부분 만을 렌더링할 수 있다. 이 경우 기준 영상을 이용한 2차원 영상 서비스를 제공할 수 있다.
event_combine_type이 010인 경우는 해당 이벤트가 3차원 영상 서비스를 위한 컴포넌트 중 일부분을 포함하고 있으며 그 부분은 필수 엘리먼트를 포함하고 있지 않음을 의미한다. 해당 이벤트 자체로는 어떠한 의미있는 영상도 사용자에게 제공할 수 없다. 해당 이벤트는 linked_TSID, linked_service_id에 의해 식별되는 다른 이벤트에 포함된 필수 엘리먼트과 컴바인되어야만 3차원 영상 서비스를 제공하는 것이 가능하다. 필수 엘리먼트는 해당 이벤트와 동일한 타입의 매체에 의해 수신됨을 의미한다.
event_combine_type이 011인 경우는 해당 이벤트가 3차원 영상 서비스를 위한 컴포넌트 중 일부분을 포함하고 있으며 그 일부분은 필수 엘리먼트임을 의미한다. 완벽한 3차원 영상을 서비스하기 위한 나머지 컴포넌트는 인터넷을 통해 수신됨을 의미하며, 나머지 컴포넌트의 위치를 가리키는 URL은 internet_linkage_information을 통해 얻을 수 있다. 최악의 경우, 예를 들면 나머지 컴포넌트에 대한 수신이 불가능한 경우에는 3차원 영상 서비스의 일부분 만을 렌더링할 수 있다. 이 경우 기준 영상을 이용한 2차원 영상 서비스를 제공할 수 있다.
event_combine_type이 100인 경우는 해당 이벤트가 3차원 영상 서비스를 위한 컴포넌트 중 일부분을 포함하고 있으며 그 일부분은 필수 엘리먼트를 포함하고 있지 않음을 의미한다. 해당 이벤트 자체로는 어떠한 의미있는 영상도 사용자에게 제공할 수 없다. 필수 엘리먼트는 인터넷을 통해 수신됨을 의미하며 해당 이벤트는 필수 엘리먼트과 컴바인되어야만 3차원 영상 서비스를 제공할 수 있다. 위의 필수 엘리먼트에 대한 접속 정보는 internet_linkage_information을 통해 얻을 수 있다.
linked_event_id는 16비트 필드로써 완전한 3차원 영상 서비스를 제공하기 위해 본 이벤트와 결합될 이벤트의 evnet_id 값을 나타낸다.
linked_TSID는 16 비트 필드로써 부가적인 스트림에 대한 정보를 시그널링하는 PMT가 전송되는 트랜스포트 스트림의 transport_stream_id를 나타낸다.
linked_original_network_id는 16 비트 필드로써 완전한 3차원 영상 서비스를 제공하기 위해 본 event와 결합될 스트림을 포함한 서비스 또는 프로그램의 original_network_id 값을 나타낸다.
linked_service_id는 16 비트 필드로써 완전한 3차원 영상 서비스를 제공하기 위해 본 event와 결합될 스트림을 포함한 서비스 또는 프로그램의 service_id 값을 나타낸다. 이 service_id는 PMT 섹션의 program_number와 동일한 값이며 따라서 linked_service_id는 linked_program_number로 표현되는 것이 가능하다.
internet_linkage_information은 IP 주소, IP 주소가 32 비트인지 128 비트인지 여부를 나타내는 필드, 포트 넘버, 부가 정보(예를 들면, 해당 스트림의 URI) 및 available time slot(시작시간, 만료 시간) 정보를 포함할 수 있다.
event_sync_type은 3 비트 필드로써 3차원 영상 서비스의 컴포넌트들이 어떻게 얻어지고 동기화되는지에 대한 내용을 포함한다.
도 34는 본 발명의 일 실시예에 따른 event_sync_type을 나타내는 도면이다.
event_sync_type이 000인 경우, 3차원 영상 서비스는 오직 동기식 3D 전송에 의해서만 제공될 수 있다.
event_sync_type이 001인 경우, 3차원 영상 서비스는 오직 비동기식 3D 전송에 의해서만 제공될 수 있다. 3차원 영상 서비스를 제공하기 위한 나머지 일부분은 시간적으로 차후에 전송된다. 위에서 언급한 나머지 일부분을 전송 받기 위해 수신장치는 linked_event_id, linked_TSID, linked_service_id, linked_original_network_id 및 internet_linkage_information 등의 연결 정보를 이용할 수 있다.
event_sync_type이 010인 경우, 3차원 영상 서비스는 오직 비동기식 3D 전송에 의해서만 제공될 수 있다. 3차원 영상 서비스를 제공하기 위한 나머지 일부분은 시간적으로 사전에 전송된다. 위에서 언급한 나머지 일부분을 전송 받기 위해 수신장치는 linked_event_id, linked_TSID, linked_service_id, linked_original_network_id 및 internet_linkage_information 등의 연결 정보를 이용할 수 있다.
event_sync_type이 011인 경우, 3차원 영상 서비스는 동기식 또는 비동기식 3D 전송 모두에 의해 제공될 수 있다. 3차원 영상 서비스를 제공하기 위한 나머지 일부분은 현재 이벤트와 동시에 전송될 수도 있고 또는 시간적으로 차후에 재전송되는 것도 가능하다. 위에서 언급한 나머지 일부분을 전송 받기 위해 수신장치는 linked_event_id, linked_TSID, linked_service_id, linked_original_network_id 및 internet_linkage_information 등의 연결 정보를 이용할 수 있다.
event_sync_type이 100인 경우, 3차원 영상 서비스는 동기식 또는 비동기식 3D 전송 모두에 의해 제공될 수 있다. 3차원 영상 서비스를 제공하기 위한 나머지 일부분은 현재 이벤트와 동시에 전송될 수도 있고 또는 시간적으로 사전에 전송되는 것도 가능하다. 위에서 언급한 나머지 일부분을 전송 받기 위해 수신장치는 linked_event_id, linked_TSID, linked_service_id, linked_original_network_id 및 internet_linkage_information 등의 연결 정보를 이용할 수 있다.
avail_time_start는 32 비트 필드로써, 현재 서비스의 스트림과 함께 컴바인되어 하나의 3차원 영상 서비스를 제공할 수 있는 별도의 스트림이 전송되는 시작 시간을 의미한다. avail_time_start는 1980.1.6. 00:00:00 UTC 이후 GPS 초단위로 해당 이벤트의 시작시간을 나타낸다. 이 필드는 event_sync_type 필드의 값이 '001’ 또는 ‘011’일 때에만 의미가 있다.
링크된 이벤트 내에 포함되는 비디오 스트림의 상세 정보는 해당 이벤트가 포함된 서비스 내의 component_descriptor를 참고하여 알아낼 수도 있고, 혹은 위에서 설명한 event_combine_descriptor 내에 해당 component의 component_tag 필드나 혹은 elementary PID 필드를 포함시켜 해당 필드 값만 보고 바로 찾게 할 수도 있다. 즉, 실시 예에 따라 event_combine_descriptor에 연동되는 비디오/오디오 스트림에 대한 component_tag 또는 elementary_PID 필드를 포함시킬 수 있으며 stream_content 및 component_type 과 같은 스트림 관련 정보를 포함시킬 수도 있다.
본 발명의 디지털 방송 수신기는 위에서 설명한 event_combine_descriptor()에 포함된 신호 정보를 이용하여 3차원 영상 서비스의 기준 영상 및 부가 영상을 각각 수신하여 결합하고 3차원 영상을 디스플레이할 수 있다.
위에서 설명한 DVB-SI의 EIT를 이용한 디지털 방송 수신 방법의 실시예는 다음과 같다.
기준 시점 비디오 엘리먼트와 오디오 엘리먼트를 포함하는 이벤트A와 부가 시점 비디오 엘리먼트를 포함하는 서비스B가 모두 지상파를 통해 수신되는 경우를 살펴보면, 이벤트A에 대한 EIT가 기준 시점 비디오 엘리먼트 및 오디오 엘리먼트에 대한 시그널링 정보를 포함한다. 이벤트A에 대한 EIT의 descriptor loop에 포함된 event_combine_descriptor 내의 event_combine_type은 001로 설정되고 linked_TSID는 서비스B의 엘리먼트를 포함하고 있는 트랜스포트 스트림의 transport_stream_id를 가리킨다. 또한 서비스B에 대한 정보를 얻기 위해 linked_service_id를 이용할 수 있다. 수신장치가 2D 모드인 경우에는 이벤트A의 엘리먼트만을 이용하는 것이 가능하다. 서비스 B에 대한 SDT 및 PMT는 부가 시점 비디오 엘리먼트에 대한 시그널링 정보를 포함한다.
서비스B에 대한 SDT의 event_combine_descriptor에 포함된 event_combine_type은 010으로 설정되고 linked_TSID는 이벤트A의 엘리먼트를 포함하는 트랜스포트 스트림의 transport_stream_id를 가리킨다. 또한, 이벤트A에 대한 정보를 얻기 위해 linked_service_id를 이용할 수 있다. 수신장치는 이벤트A와 서비스B의 엘리먼트를 컴바인하여 완전한 스테레오스코픽 3차원 영상 서비스를 제공한다.
도 35는 본 발명의 일 실시예에 따른 DVB-SI의 EIT를 이용한 복수 경로 환경에서 3차원 영상 신호 정보를 제공하는 방법을 나타낸 순서도이다.
디지털 방송 수신 장치는 채널 튜닝 후 선택한 서비스에 대한 EIT 정보를 수신한다(S351). 이벤트A의 정보를 포함한 SDT에 존재하는 event_combine_descriptor의 event_combine_type 정보를 이용해 해당 프로그램이 자체적으로 모든 엘리먼트를 포함하는지(service_combine_type ==000), 그렇지 않은 경우 해당 이벤트가 필수 엘리먼트인지 부가적인 엘리먼트인지 파악한다(S352). 아울러 event_combine_type 필드를 이용해 다른 complementary 컴포넌트를 수신할 수 있는 경로가 동일한 지상파 채널인지 아니면 인터넷인지를 파악한다(S353). 이어서 이벤트A에 해당하는 컴포넌트(elementary stream)를 수신한다.
이후 링크된 이벤트의 이용가능한 시점을 event_sync_type 필드 및 avail_time_start 필드를 이용하여 파악한다. 이를 통해 현재 동시 수신이 가능한지 추후 수신해야 하는지 여부를 파악할 수 있다. 이벤트A에 대한 event_combine_descriptor를 통해 파악한 linked_TSID, linked_serivce_id에 해당하는 SDT(또는 PMT)를 수신한다(S354). 이 때, 경우에 따라 다른 채널을 추가로 튜닝하는 과정 발생할 수 있다.
부가적인 스트림을 수신해야 하는 필요가 발생하면 앞 단계에서 수신한 SDT를 통해 서비스B에 대한 정보를 수신하고 서비스B에 해당하는 컴포넌트(elementary stream)를 수신한다(S355).
이벤트A 및 서비스B에 포함되는 elementary stream을 모두 디코딩하여 완전한 3차원 영상 서비스를 디스플레이할 수 있다(S306). 또는 필요한 부분만 선택적으로 디코딩할 수 있다.
만약 서비스B가 현재 이용가능하지 않고 추후 이용가능한 경우라면 이벤트A의 스트림을 수신 후 저장(녹화)한 후 나중에 서비스B의 스트림이 수신되는 시점에 저장된 이벤트A의 스트림을 재생하고 수신되는 서비스B와 컴바인 하는 방식으로 3차원 영상을 제공할 수 있다.
다음으로 DVB-SI의 EIT 내 descriptor에 linkage_descriptor()를 포함시키는 경우를 설명하면, 서로 다른 두 서비스를 결합하거나 서로 다른 두 이벤트를 결합하여 하나의 3차원 영상 서비스를 제공하기 위해 DVB-SI의 linkage_descriptor()를 이용할 수 있으며, 각 케이스에 대해 새로운 linkage_type을 지정한다.
도 36(a)는 본 발명의 일 실시예에 따른 linkage_descriptor()를 나타낸 도면이다.
linkage_descriptor()는 descriptor_tag, descriptor_length, transport_stream_id, original_network_id, service_id, linkage_type, service_combine_info() 및/또는 event_combine_info()를 포함할 수 있다.
이하 각 정보에 대해 살펴본다.
descriptor_tag는 8 비트의 크기를 가지며 descriptor의 ID 역할을 한다.
descriptor_length는 8 비트의 크기를 가지며 descriptor에 포함되는 byte 수에 대한 정보를 포함한다.
transport_stream_id는 16 비트 필드로써 정보 서비스(information service)의 트랜스포트 스트림을 식별한다.
original_network_id는 16 비트 필드로써 정보 서비스의 오리지널 전송 시스템의 네트워크 아이디를 식별한다.
service_id는 16비트 필드로써 트랜스포트 스트림 내에서 정보 서비스를 고유하게 식별한다. 이는 대응되는 PMT 섹션의 program_number와 동일하게 설정된다.
linkage_type은 8비트 필드로써 linkage의 종류를 세분화한다. 본 발명에서는 0x0F와 0x10을 새롭게 정의한다. 도 36(b)는 본 발명의 일 실시예에 따른 linkage_type을 나타낸 도면이다. linkage_type 0x0F은 서비스 컴바인 연결(service combine linkage)임을 의미하고, linkage_type 0x10은 이벤트 컴바인 연결(event combine linkage)임을 의미한다.
서비스 컴바인 연결인 경우 linkage_descriptor()는 SDT에 위치해야 하며 수신 장치는 service_combine_info() 정보를 얻게 되며 그 세부 내용은 위에서 설명한 service_combine_descriptor()의 필드 내용을 모두 포함한다. 이벤트 컴바인 연결인 경우에 linkage_descriptor()는 EIT에 위치해야 하며, 수신 장치는 event_combine_info() 정보를 얻게 되며 그 세부 내용은 위에서 설명한 event_combine_descriptor()의 필드 내용을 모두 포함한다.
이상 SDT, EIT에 각각 포함된 service_combine_descriptor(), event_combine_descriptor()에서 언급된 필수 엘리먼트(기준 비디오 스트림)는 essential service로 정의된 서비스로 전송되며 이 서비스는 단독으로 2차원 영상 서비스를 제공할 수 있는 서비스이다. 해당 서비스의 service_type은 기존 수신 장치와의 호환성을 위해 0x19의 값을 갖는다.
또한 필수 엘리먼트가 아닌 영상(부가 비디오 스트림)은 Non-essential service로 정의된 서비스로 전송되며 이 서비스는 단독으로는 사용자에게 어떠한 의미있는 서비스도 제공하지 못하는 서비스이다. 해당 서비스의 service_type은 기존의 HD DTV 서비스 타입을 사용하거나 또는 부가 영상을 포함하는 부가 서비스 타입을 새롭게 정의할 수 있다.
도 37(a)는 본 발명의 일 실시예에 따른 Non-essential service의 서비스 타입을 나타낸 도면이다. service_type 0x19은 Advanced codec HD 디지티러 텔레비젼 서비스를 의미하고 0x1F는 부가 비디오 스트림만을 포함하는 Non-essential 스테레오스코픽 서비스임을 의미한다.
Non-essential service의 stream_content, component_type은 도 37(b)와 같이 기존의 HD 비디오(MPEG-2 또는 H.264/AVC)의 stream_content 및 component_type 조합을 사용하거나 부가 영상만을 위한 조합을 새롭게 정의할 수 있다.
위에서 언급한 기준 비디오 스트림 및 부가 비디오 스트림을 함께 제공하는 서비스는 dual-stream service로 정의된다. 이 서비스를 이용하는 경우 3차원 영상 서비스 뿐만 아니라 기존의 2차원 영상 서비스도 제공하는 것이 가능하다.
service_type은 2차원 HD 서비스와 호환되는 기존의 서비스 타입을 사용할 수도 있고, 또는 새로운 서비스 타입을 사용할 수도 있다. 도 37(c)는 본 발명의 일 실시예에 따른 dual-stream service의 서비스 타입을 나타낸 도면이다. service_type 0x19은 Advanced codec HD 디지티러 텔레비젼 서비스를 의미하고 0x20은 기준 비디오 스트림과 부가 비디오 스트림을 모두 포함하는 dual-stream 스테레오스코픽 서비스임을 의미한다.
Dual-stream service의 stream_content, component_type은 위에서 설명한 도 37(b)와 동일하게 기존의 HD 비디오(MPEG-2 또는 H.264/AVC)의 stream_content 및 component_type 조합을 사용하거나 부가 영상만을 위한 조합을 새롭게 정의할 수 있다.
지금까지는 단일 또는 복수의 채널을 통해 기준 비디오 스트림과 부가 비디오 스트림을 수신, 컴바인하여 하나의 3차원 영상 서비스를 제공하는 장치 및 방법에 대해서 설명하였다. 아래에서는 다른 실시예로써 부가 비디오 스트림 대신 3차원 영상에 대한 깊이 정보(depth data)를 수신하여 부가 비디오 스트림을 렌더링하여 3차원 영상 서비스를 제공하는 장치 및 방법에 대해 설명한다.
3차원 영상 신호가 2차원 비디오 엘리먼트와 Depth map(또는 disparity map)에 대한 depth data을 포함하는 경우, 2차원 비디오 엘리먼트는 기존의 지상파 TV 채널을 통해 전송되고 depth data는 인터넷을 통해 전송되는 형태의 서비스이다. 이 때, 필요에 따라 depth map은 occlusion, transparency 정보 등을 포함할 수 있다. 즉, 2차원 비디오 엘리먼트(기준영상, 좌영상)와 결합하여 스테레오스코픽 비디오의 부가영상(우영상)을 생성하는 데이터를 본 문서에서는 편의상 depth data라고 부른다.
도 38은 본 발명의 일 실시예에 따른 depth data를 이용한 3차원 영상 서비스를 제공하는 디지털 방송 수신 장치를 나타낸 도면이다.
도 38의 디지털 방송 수신 장치는 스트림 역다중화부(21), 시스템 디코더(23), 기준 영상 디코더(24), 인터넷 인터페이스(25), 저장매체 제어부(26), 컨텐츠 및 메타데이터 저장부(27), depth data 디코더(28), 동기화부(29), 렌더링부(30) 및/또는 출력 포맷터(31)를 포함한다.
디지털 방송 수신 장치는 튜너(미도시)를 통해 방송 스트림을 수신하여 스트림 역다중화부(21)를 이용하여 스트림으로부터 2차원 비디오 스트림을 역다중화한다. 2차원 비디오 스트림은 시스템 디코더(23)로 입력되어 비디오 데이터로 복호되고 기준 영상 디코더(24)에 의해 기준 영상(좌 영상) 신호가 생성된다. 이 신호를 이용하여 기존 수신 장치는 2차원 영상 신호를 디스플레이할 수 있다.
depth data는 인터넷 인터페이스(25)를 통해 수신되고 이는 저장 매체 제어부(26)에 의해 컨텐츠 및 메타데이터 저장부(27)에 저장된다. 또한 depth data는 depth data 디코더(28)에 입력되어 복호되고 동기화부(29)에 입력되어 기준 영상 디코더(24)에 의해 복호된 기준 영상 신호와 동기화 된다. 렌더링부(30)은 기준 영상 신호와 depth data를 이용하여 부가 영상 신호를 생성할 수 있다. 생성된 부가 영상 신호는 출력 포맷터(31)에 의해 기준 영상 신호와 결합되어 스테레오스코픽 3차원 영상 신호로 디스플레이된다.
3차원 영상 신호를 출력하는 과정은 이전에 수신된 depth data를 실시간으로 수신되는 2차원 영상 신호와 연동해 부가 영상을 렌더링하는 방식을 사용한다. 이는 실시간 2D-to-3D 변환과 비슷한 과정이나 depth data를 content provider가 제공하며 해당 정보가 2차원 영상 신호를 수신하기 전에 이미 수신기 내에서 사용가능하다는 점에서 3차원 영상의 품질 및 정확도 측면에서 보다 신뢰도 높은 방법이 될 수 있다.
2차원 영상 신호와 depth data를 연동해 안정적인 3차원 영상 신호를 생성하기 위해서는 다음과 같은 고려 사항이 존재한다.
먼저 2차원 영상신호와 depth data의 연동 정보에 대한 시그널링이 필요하다. 그 예로써, 2차원 영상신호와 연동되는 depth data의 존재 여부를 알려주는 정보인 presence signaling, 2차원 영상신호와 연동된 depth data의 경로(위치)에 대한 정보인 Location signaling, 2D 비디오와 연동된 depth data의 동기화 또는 연동 방식에 대한 정보인 Synchronization/ coupling mode signaling, 2차원 영상 신호와 연동된 depth data를 수신할 수 있는 시간에 대한 정보인 Available time signaling, 2차원 영상 신호와 연동된 depth data의 format 또는 codec에 대한 정보인 Format/codec signaling, 다양한 depth range를 갖는 3차원 영상 신호를 제공하기 위해 여러 개의 depth data를 전송하는 방법 및 각 depth data에 대한 depth range 정보를 제공하는 Depth range signaling이 필요하다.
다음으로는 2차원 영상신호와 depth data를 연동하기 위한 frame level 동기화 정보가 필요하다. 그 예로써, Video level signaling, Transport stream level signaling이 필요하다.
또한 수신기 동작과 관련해서는 2차원 영상 신호와 연동된 depth data를 수신 및 저장하는 방법, 다양한 depth mode를 지원할 수 있는 방법, Multiple depth map (depth track)에 대한 고려가 필요하다.
또한 위의 모든 정보가 기존의 2D는 물론 3D 수신기의 정상적인 동작에 영향을 주지 않기 위한 방법과 관련하여, 기본적으로 시그널링은 2차원 영상 신호가 수신되는 채널을 통해 depth data를 포함하는 enhancement data에 대한 접근 정보를 획득하는 방법을 고려하고, Enhancement data(이하 Enhancement data는 depth data를 포함하는 정보이다)가 수신되는 채널은 독립적 서비스가 불가능하며 시그널링 정보 역시 의미가 없도록 송수신하여야 한다.
아래에서는 PSI/PSIP/SI section을 통해 Enhancement Data를 signaling 하기 위한 Descriptor를 정의한다. 편의상 descriptor에는 loop를 포함하지 않았으나 경우에 따라 multiple enhancement data를 전송할 수 있으며 이 때 descriptor는 전송하는 enhancement data stream의 개수만큼 필드를 반복해야 한다. 특히, multiple depth map 전송을 통한 depth control 구현의 경우에 해당한다.
도 39는 본 발명의 일 실시예에 따른 event_enhancement_descriptor()의 신택스를 나타낸 도면이다.
event_enhancement_descriptor()를 도 20의 EIT에 포함시켜 전송하여 해당 이벤트와 연동되는 enhancement data에 대한 시그널링을 할 수 있다.
event_enhancement_descriptor()는 descriptor_tag, descriptor_length, combined_service_type, enhancement_type, enhancement_right_flag, sync_type, enhancement_stream_format, enhancement_stream_sampling_factor, avail_time_start, linked_TSID, linked_program_number, internet_linkage_information, disparity_near, disparity_far를 포함한다.
combined_service_type는 두 개 이상의 별도 경로/채널 등을 통해 수신/전송되는 구성요소들이 합쳐졌을 때 궁극적으로 제공하기 위한 서비스를 나타내는 필드를 나타낸다. 즉, 해당 이벤트와 event_enhancement_descriptor()에서 지정한 위치를 통해 수신된 enhancement data를 합쳐서 제공되는 최종 서비스를 의미한다.
도 40(a)는 본 발명의 일 실시예에 따른 combined_service_type을 나타낸 도면이다. combined_service_type이 0x01의 값으로 설정된 경우, 본 발명에서 설명하는 스테레오스코픽 3차원 영상 서비스임을 의미한다. 이하 본 발명은 combined_service_type가 0x01, 3D stereoscopic service에 대한 내용을 중심으로 서술한다.
enhancement_type은 해당 이벤트에 대한 enhancement data가 전송되는 경로에 대한 type을 알려준다. 예를 들어 지상파 채널 또는 인터넷이 될 수 있다. 도 40(b)는 본 발명의 일 실시예에 따른 enhancement_type를 나타낸 도면이다.
enhancement_type가 0x0으로 설정된 경우, 해당 이벤트는 3차원 영상 서비스를 위해 필요한 모든 컴포넌트를 포함함을 의미한다. 즉, enhancement data 역시 해당 이벤트의 구성 요소로 포함되어 수신된다는 것을 의미한다.
enhancement_type가 0x1으로 설정된 경우, enhancement data는 다른 채널/경로를 통해 수신되며 수신 경로의 종류는 해당 이벤트와 동일하다. 예를 들어, 이벤트가 지상파인 경우 이에 대한 enhancement data 역시 지상파의 다른 채널을 통해 수신된다. Enhancement data에 대한 자세한 경로 정보는 linked_TSID, linked_program_number를 이용한다.
enhancement_type가 0x2로 설정된 경우, 해당 이벤트가 enhancement data만을 포함하고 동일한 타입의 경로를 통해 essential data가 전송되는 경우에 해당한다. 즉, enhancement 및 essential data 모두 지상파를 통해 수신되는 경우이다.essential data에 대한 자세한 경로 정보는 linked_TSID, linked_program_number 필드를 이용한다.
enhancement_type가 0x3으로 설정된 경우, 해당 이벤트에 대한 enhancement data가 인터넷을 통해 수신됨을 의미한다. Enhancement data의 접근을 위한 경로 정보는 internet_linkage_information을 이용한다.
enhancement_right_flag는 enhancement data를 이용해 스테레오스코픽 3차원 영상 서비스의 시점을 렌더링할 때 해당 영상의 좌 시점 / 우 시점 여부를 알려준다. 이 값이 ‘1’이면 enhancement data 또는 enhancement data를 통해 획득한 시점은 우 영상이다.
sync_type은 해당 이벤트의 구성 요소와 enhancement data의 전송에 대한 동기화 및 결합 방법에 대한 정보를 알려준다. 도 40(c)는 본 발명의 일 실시예에 따른 sync_type을 나타낸 도면이다.
sync_type이 0x0으로 설정된 경우, 해당 이벤트의 구성요소와 enhancement data가 동시에 전송됨을 의미한다. 즉, 동기식 전송임을 나타낸다.
sync_type이 0x1으로 설정된 경우, Enhancement data가 해당 이벤트보다 늦게 전송된다. 정상적인 3차원 영상 시청을 위해서는 해당 이벤트를 녹화한 후 추후 수신되는 enhancement data와의 연동/결합이 요구된다.
sync_type이 0x2으로 설정된 경우, Enhancement data가 이미 이벤트 이전에 전송되었며 정상적인 3차원 영상 시청을 위해서는 실시간으로 수신되는 이벤트 구성요소와 기존에 이미 수신/저장된 enhancement data와의 연동/결합이 요구된다.
sync_type이 0x3으로 설정된 경우, 0x1의 경우와 같으나 enhancement data의 동기식 전송 또한 가능함을 의미한다.
sync_type이 0x4으로 설정된 경우, 0x2의 경우와 같으나 enhancement data의동기식 전송 또한 가능함을 의미한다.
enhancement_stream_format은 해당 이벤트에 대한 enhancement data의 데이터 포맷, 코덱 등에 대한 정보를 알려준다. 도 41(a)는 본 발명의 일 실시예에 따른 enhancement_stream_format을 나타낸 도면이다. 본 발명에서는 depth/disparity data를 전송하는 경우에 대해 상술한다. enhancement_stream_format이 0x25인 경우에는 MPEG-2 비디오로 코딩된 depth/disparity map임을 나타내고, 0x26인 경우에는 H.264/AVC 비디오로 코딩된 depth/disparity map임을 나타낸다.
enhancement_stream_sampling_factor는 enhancement data의 해상도를 의미하며 해당 이벤트의 비디오스트림(기준영상) 대비 가로 및 세로 방향으로의 sampling factor를 의미한다. 도 41(b)는 본 발명의 일 실시예에 따른 enhancement_stream_sampling_factor를 나타낸 도면이다. enhancement_stream_sampling_factor가 0x00인 경우에는 기준 영상과 동일한 해상도임을 나타내고, 0xXY인 경우에는 가로는 기준 영상 대비 1/(X+1), 세로는 기준 영상 대비 1/(Y+1)의 해상도임을 나타낸다. 예를 들어, 가로 1/4, 세로 1/8의 크기를 갖는 depth/disparity map의 경우 이 필드는 0x37의 값을 갖는다.
avail_time_start는 현재 이벤트의 구성요소와 결합되어 3차원 영상 콘텐츠를 구성하는 enhancement data가 전송되는 시작 시간을 의미한다. avail_time_start는 32 비트 필드로써, 1980.1.6. 00:00:00 UTC 이후 GPS 초단위로 해당 이벤트의 시작시간을 나타낸다. 이 필드 값이 0인 경우는 enhancement data가 언제든지 available 하다는 의미이다.
linked_TSID는 enhancement data가 포함된 트랜스포트 스트림의 transport_stream_id 값을 의미한다.
linked_program_number는 enhancement data가 포함된 프로그램/채널에 대한 program_number 값을 나타낸다. 즉, linked_TSID와 linked_program_number를 이용해 enhancement data가 포함된 스트림을 유일하게 식별하는 것이 가능하다
internet_linkage_information은 인터넷을 통해 enhancement data를 전송하는 경우 이에 대한 정보를 제공하며 다음과 같은 내용을 포함할 수 있다.
IP 주소, IP 주소가 32 비트인지 128 비트인지 여부를 나타내는 필드, 포트 넘버, 부가 정보(예를 들면, 해당 스트림의 URI) 및 available time slot(시작시간, 만료 시간) 정보를 포함할 수 있다. 이 때, available time slot 정보는 avail_time_start 필드와 동일한 내용을 포함할 수 있다.
disparity_near, disparity_far는 enhancement data가 disparity/depth map인 경우 depth의 범위를 나타낸다. 각각 사용자에게 가장 가까운 object point 및 가장 먼 object point에 해당하는 disparity 값을 의미한다.
이상의 event_enhancement_descriptor()에서 복수의 enhancement stream에 대한 시그널링도 가능하다. 이를 위해서 event_enhancement_descriptor() 내에 loop를 이용해 n 개의 enhancement stream을 시그널링 할 수 있다.
도 42는 본 발명의 일 실시예에 따른 program_enhancement_descriptor()의 신택스를 나타낸 도면이다.
program_enhancement_descriptor()를 도 8의 PMT에 포함시켜 프로그램 또는 프로그램 엘리먼트와 연동되는 enhancement data에 대한 시그널링을 할 수 있다. program_enhancement_descriptor()는 해당 프로그램과 연동되어 3차원 영상 서비스를 구현하기 위한 enhancement data에 대한 정보를 제공한다. 이 때, 제공되는 정보는 program과의 연동 여부만을 알려주며 어느 이벤트와 연동되는지 실시간/비실시간 연동 여부에 대한 정보는 제공하지 않는다.
program_enhancement_descriptor()는 descriptor_tag, descriptor_length, combined_service_type, enhancement_type, enhancement_right_flag, sync_type, enhancement_stream_format, enhancement_stream_sampling_factor, linked_TSID, linked_program_number, linked_elementary_PID, internet_linkage_information, disparity_near, disparity_far를 포함한다.
program_enhancement_descriptor()에 포함된 필드들은 도 39에서 설명한 event_enhancement_descriptor()의 필드와 동일하며 차이점을 갖는 필드에 대해서만 설명한다.
enhancement_type은 해당 program에 대한 enhancement data가 전송되는 경로에 대한 type을 알려준다. 예를 들어 지상파 채널 또는 인터넷이 될 수 있다. program_enhancement_descriptor()에 포함된 enhancement_type은 event 단위가 아닌 program 단위로 적용된다.
linked_elementary_PID는 program_enhancement_descriptor()에서 반드시 필요한 필드는 아니며 실시 예에 따라 생략 가능하다.
도 43은 본 발명의 일 실시예에 따른 channel_enhancement_descriptor()의 신택스를 나타낸 도면이다.
channel_enhancement_descriptor()를 도 14의 TVCT에 포함시켜 버츄얼 채널 레벨에서 해당 virtual channel의 구성요소와 연동하여 3차원 영상 서비스를 제공하기 위한 enhancement data의 정보를 시그널링한다. 이 정보는 채널과의 연동 여부를 알려주며, 이벤트 단위의 구체적인 정보, 실시간/비실시간 연동 여부의 정보는 제공하지 않는다.
channel_enhancement_descriptor()는 descriptor_tag, descriptor_length, combined_service_type, enhancement_type, enhancement_right_flag, sync_type, enhancement_stream_format, enhancement_stream_sampling_factor, linked_TSID, linked_program_number, linked_major_channel_number, linked_minor_channel_number, linked_source_id, linked_elementary_PID, internet_linkage_information, disparity_near, disparity_far를 포함한다.
enhancement_type은 해당 virtual channel에 대한 enhancement data가 전송되는 경로에 대한 타입을 알려준다. 예를 들면 지상파 채널 또는 인터넷이 될 수 있다. 이 필드에 대한 값의 의미는 event_enhancement_descriptor(), program_enhancement_descriptor()에서 정의한 내용과 동일하나 차이점은 event나 program이 아닌 virtual channel 단위로 적용이 된다는 점이다.
linked_channel_TSID는 완전한 3차원 영상 서비스를 제공하기 위해 본 프로그램/채널과 결합될 스트림을 포함한 프로그램/채널에 대한 transport_stream_id 값을 나타낸다.
linked_channel_program_number는 완전한 3차원 영상 서비스를 제공하기 위해 본 프로그램/채널과 결합될 스트림을 포함한 프로그램/채널에 대한 program_number 값을 나타낸다.
linked_major_channel_number는 완전한 3차원 영상 서비스를 제공하기 위해 본 프로그램/채널과 결합될 스트림을 포함한 채널의 major_channel_number를 나타낸다.
linked_minor_channel_number는 완전한 3차원 영상 서비스를 제공하기 위해 본 프로그램/채널과 결합될 스트림을 포함한 채널의 minor_channel_number를 나타낸다.
linked_source_id는 완전한 3D 서비스를 제공하기 위해 본 프로그램/채널과 결합될 스트림을 포함한 채널의 source_id 값을 나타낸다.
이외의 필드에 대한 설명은 도 39에서 설명한 event_enhancement_descriptor()의 필드에 대한 설명과 동일하다.
도 44는 본 발명의 일 실시예에 따른 service_enhancement_descriptor()의 신택스를 나타낸 도면이다. service_enhancement_descriptor()를 도 26의 SDT에 포함시켜 서비스 레벨에서 해당 서비스와 연동하여 3차원 영상 서비스를 제공하기 위한 enhancement data의 정보를 시그널링한다. 이 정보는 해당 서비스에 대한 연동 data의 존재 여부를 알려주며, 이벤트 단위의 구체적인 정보, 실시간/비실시간 연동 여부의 정보는 제공하지 않는다.
service_enhancement_descriptor()는 descriptor_tag, descriptor_length, combined_service_type, enhancement_type, enhancement_right_flag, sync_type, enhancement_stream_format, enhancement_stream_sampling_factor, linked_TSID, linked_original_network_id, linked_service_id, internet_linkage_information, disparity_near, disparity_far를 포함한다.
enhancement_type은 해당 서비스에 대한 enhancement data가 전송되는 경로에 대한 타입을 알려준다. 예를 들면, 지상파 채널이나 인터넷이 될 수 있다. 이 필드에 대한 값의 의미는 도 39에 대한 설명에서 정의한 내용과 동일하나 차이점은 이벤트가 아닌 서비스 단위로 적용이 된다.
linked_original_network_id는 완전한 3차원 영상 서비스를 제공하기 위해 본 프로그램/서비스와 결합될 스트림을 포함한 서비스의 original_network_id 값을 나타낸다.
linked_service_id는 완전한 3차원 영상 서비스를 제공하기 위해 본 프로그램/서비스와 결합될 스트림을 포함한 서비스의 service_id 값을 나타낸다.
본 실시 예에서는 service_id와 program_number 필드의 값을 동일하게 설정하므로 linked_program_number 필드를 생략하지만 경우에 따라 service_enhancement_descriptor()에 linked_program_number 필드를 포함하는 실시 예가 있을 수 있다.
enhancement data에 해당되는 비디오 스트림의 상세 정보는 해당 서비스의 내의 component_descriptor를 참고하여 알아낼 수도 있고, 혹은 위 service_enhancement_descriptor() 내에 해당 component의 component_tag 값이나 혹은 elementary PID 값을 추가하여 그 필드 값만 보고 바로 찾게 할 수도 있다. 즉, 실시 예에 따라 service_enhancement_descriptor()에 연동 비디오/오디오 스트림에 대한 linked_component_tag 또는 linked_elementary_PID 필드를 포함할 수 있으며 linked_stream_content 및 linked_component_type 과 같은 스트림 관련 정보도 포함 할 수도 있다. 이외의 필드에 대한 설명은 도 39에서 설명한 event_enhancement_descriptor()의 필드에 대한 설명과 동일하다.
위에서 설명한 service_enhancement_descriptor()를 이용하는 방법 외에도 도 36에서 설명한 바와 같이 서비스 레벨의 linkage_descriptor()를 이용해 해당 서비스에 대한 enhancement data의 정보를 시그널링 할 수 있다. 이 경우 linkage_descriptor() 내에 서비스와 연동되는 enhancement data에 대한 정보를 포함하며 내용은 service_enhancement_descriptor()와 동일하다.
도 45는 본 발명의 일 실시예에 따른 event_enhancement_descriptor()의 신택스 구조를 나타낸 도면이다. event_enhancement_descriptor()를 도 31의 DVB-SI의 EIT에 포함시켜 해당 이벤트와 연동하여 3차원 영상 서비스를 제공하기 위한 enhancement data의 정보를 시그널링한다.
DVB-SI의 EIT에 포함되는 event_enhancement_descriptor()는 descriptor_tag, descriptor_length, combined_service_type, enhancement_type, enhancement_right_flag, sync_type, enhancement_stream_format, enhancement_stream_sampling_factor, avail_time_start, linked_event_ID, linked_TSID, linked_original_network_id, linked_service_id, internet_linkage_information, disparity_near, disparity_far를 포함한다.
linked_event_ID는 완전한 3차원 영상 서비스를 제공하기 위해 본 이벤트와 결합될 이벤트의 event_ID 값을 나타낸다.
linked_original_network_id는 완전한 3차원 영상 서비스를 제공하기 위해 본 이벤트와 결합될 스트림을 포함한 서비스의 original_network_id 값을 나타낸다.
linked_service_id는 완전한 3차원 영상 서비스를 제공하기 위해 본 이벤트와 결합될 스트림을 포함한 서비스의 service_id 값을 나타낸다.
이외의 필드에 대한 설명은 도 39에서 설명한 ATSC의 EIT에 포함되는 event_enhancement_descriptor()의 필드에 대한 설명과 동일하다.
위에서 설명한 event_enhancement_descriptor()를 이용하는 방법 외에도 도 36에서 설명한 바와 같이 이벤트 레벨의 linkage_descriptor()를 이용해 해당 이벤트에 대한 enhancement data의 정보를 시그널링 할 수 있다. 이 경우 linkage_descriptor() 내에 이벤트와 연동되는 enhancement data에 대한 정보를 포함하며 event_enhancement_descriptor()와 동일한 내용을 포함한다.
본 발명의 디지털 방송 신호 수신 장치 및 방법은 기존 수신 장치와의 하위호환성(Backward compatibility)을 위해 enhancement (non-essential) channel/service에 대한 제한 요소를 포함한다.
스테레오스코픽 3차원 영상 서비스를 구성하는 요소들은 2차원 영상 신호가 수신되는 essential channel(legacy 호환 채널)을 통해 기본 영상을 수신하고 essential channel의 PSI/PSIP/SI 등을 통해 enhancement data에 대한 정보를 획득한 다음 이 정보를 활용해 enhancement data에 접근한다.
기본적으로 enhancement data를 전송하는 채널은 독립적인 서비스가 불가능하며 기존 수신기의 오동작 방지를 위해 다음과 같은 제한 요소를 설정한다.
ATSC의 TVCT에서는 service_type을 0x07(parameterized service) 또는 0x0A(non-stand-alone type service carrying additional data)로 설정한다. 또한 stream_type은 MPEG-2로 코딩된 depth/disparity data 및 H.264/AVC로 코딩된 depth/disparity data를 나타낼 수 있어야 한다. 새로운 stream_type을 지정할 때에는 MPEG-2 registration_descriptor를 이용한다. 예를 들어, H.264/AVC로 코딩된 depth/disparity data의 stream_type 값을 0x83으로 정한다고 하면 registration_descriptor의 format_identifier field는 'DIS1'-(0x4449 5331)의 값을 갖고 additional_idenfication_info 필드는 0x83의 값을 갖는다.
DVB의 SDT/EIT에서는 service_type을 0x1F (non-essential stereoscopic service carrying only additional/enhancement stream)로 설정한다. 또한 stream_content, component_type은 기존의 HD 비디오(MPEG-2 또는 H.264/AVC)의 stream_content 및 component_type 조합을 쓰거나, 도 46과 같이 부가 영상만을 위한 조합을 새로 정의한다. 도 46은 본 발명의 일 실시예에 따른 stream_content, component_type을 나타낸 도면이다.
본 발명의 디지털 방송 신호 수신 장치 및 방법은 DVB-SI의 component_descripotr에 삽입된 도 46의 stream_content, component_type 정보를 이용하여 해당 컴포넌트가 어느 코덱을 이용하였는지, 부가 영상 또는 depth/disparity map data 인지 여부를 확인하고 이에 대응되도록 해당 컴포넌트를 디코딩하고 3차원 영상 서비스를 제공할 수 있다.
아래에서는 위에서 설명한 3차원 영상 서비스를 제공하기 위한 동기화 방법에 대해 설명한다.
본 발명에 의한 동기화 방법에는 트랜스포트 패킷 레벨 동기화, 비디오 레벨 동기화 및 시스템 레벨 동기화 방법이 있다.
먼저 트랜스포트 패킷 레벨 동기화 방법에 대해 설명한다.
도 47은 본 발명의 일 실시예에 따른 transport_packet()을 나타낸 도면이다. 트랜스포트 패킷 레벨 동기화 방법은 트랜스포트 패킷의 adaptation_field()를 이용해 동기화 정보를 전송하는 방법으로 기존 채널을 통해 수신되는 비디오 컴포넌트를 포함하는 트랜스포트 패킷과 별도 채널을 통해 수신되는 enhancement data를 포함하는 트랜스포트 패킷을 matching 또는 align 함으로써 트랜스포트 스트림 레벨에서 동기화를 수행할 수 있다.
도 48은 본 발명의 일 실시예에 따른 adaptation_field()를 나타낸 도면이다. 동기화를 위해 adaptation_field()의 transport_field_extension_flag를 1로 설정하고, transport_private_data_length를 이용해 private_data_byte가 몇 byte인지를 시그널링한다. 또한 video_frame_info_data_byte를 통해 video/depth에 대한 프레임 넘버 정보를 시그널링한다. 수신 장치는 위의 정보를 이용하여 다중 경로로 수신된 3차원 영상 서비스를 구성하는 엘리먼트들의 동기화를 제어한다.
도 49(a)는 본 발명의 일 실시예에 따른 video_frame_info_data_byte의 신택스를 나타낸 도면이다. video_frame_info_data_byte는 트랜스포트 패킷의 adaptation_field의 private_data_byte에 위치하며 도 49(a)와 같은 구조를 갖는다. 여기서 video_frame_info_data_byte에 포함된 frame_info_type의 설정값에 따라 video_frame_info의 의미가 결정되며 이는 도 49(b)와 같다.
frame_info_type이 0x01인 경우 video_frame_info는 decoding order number를 의미한다. video_frame_info가 decoding order number를 의미하는 경우, 두 개의 컴포넌트에 대한 비디오 디코딩 구조(GOP 구조)가 동일해야 한다.
frame_info_type이 0x02인 경우에 video_frame_info는 display order number를 의미한다. frame_info_type이 0x03인 경우 video_frame_info은 clock 주파수 90KHz의 PTS 값을 의미한다. 여기서 PTS란 presentation time stamp의 약자로써 디코딩된 access unit이 재생되어야 하는 시점을 나타낸다.
frame_info_type이 0x04인 경우 video_frame_info은 디스플레이되는 절대 시간을 나타낸다. 이 필드의 최상위 비트(most significant bit,MSB)는 0으로 설정되며 나머지 비트들은 32비트로써 1980.1.6. 00:00:00 UTC 이후 GPS 초단위로 시간을 나타낸다.
frame_info_type이 0x05인 경우 video_frame_info은 수정된 PTS임을 의미한다. 이는 0으로 셋팅되는 비디오 엘리먼트 내 첫번째 픽쳐의 video_frame_info 값에 상대적인 time stamp이다. 즉, 개별 픽쳐의 video_frame_info은, 비디오 엘리먼트의 첫번째 픽쳐의 디스플레이 시간에 따라 상대적인 카운트 값이다. 위의 카운트의 단위는 90KHz 주파수의 시스템 클락의 주기와 동일하다.
다음은 비디오 레벨 동기화 방법에 대해 설명한다.
도 50은 본 발명의 일 실시예에 따른 비디오 레벨 동기화 방법을 나타낸 도면이다. AVC/H.264 video의 경우 SEI 메시지를 이용해 프레임 단위로 video_frame_info_data_byte를 전송한다. 따라서, 2차원 영상 신호 채널을 통해 수신되는 AVC/H.264 비디오 스트림에 포함된 user_data_registered_itu_t_135 SEI 메시지에 포함된 video_frame_info 필드와 enhancement data에 대한 AVC/H.264 비디오 스트림에 포함된 SEI 메시지의 video_frame_info 필드를 매칭시켜 두 스트림에 대한 동기화를 수행할 수 있다. 참고로 itu_t_35_country_code와 itu_t_t35_provider_code 필드는 ITU-T T.35 권고안에 의해 지정된 값을 사용한다. ATSC의 경우 각각 0xB5와 0x0031의 값을 갖는다.
MPEG-2 video인 경우 video_frame_info_data_byte가 Picture User Data에 포함되어 전송된다.
시스템 레벨 동기화 방법은 Essential video stream (2차원 영상 스트림)과 enhancement stream에 대한 PES에 포함된 PTS 값을 이용해 동기화를 수행한다. PTS 값을 사용하는 방법은 기존 스펙을 그대로 유지하면서 이종 경로를 통해 수신된 독립된 엘리먼트들의 동기화를 구현할 수 있다는 장점이 있는 반면, 엘리먼트의 독립적인 특성상 PTS에 대한 common clock (PCR)을 설정하기 어려우며 common clock이 있다 하더라도 서로 매칭되는 프레임의 PTS가 일치한다는 보장이 없다는 단점이 존재한다. 결과적으로 PTS와 관련해 인코더 부분에서도 두 개의 코덱을 세밀하게 동기화시켜야 하는 제어가 필요하다. 아울러 비실시간 연동의 경우 미리 저장된 스트림과 실시간 수신되는 스트림의 PTS를 일치시키는 작업이 상당한 난이도를 요구하게 된다.
다음은 수신 장치의 동작에 대해서 설명한다.
도 51(a),(b)는 본 발명의 일 실시예에 따른 디지털 방송 수신 장치를 나타낸 도면이다. 본 발명에 따른 디지털 방송 수신 장치는 복수의 시스템 디코더(41,45), 복수의 비디오 디코더(42,46), 복수의 입력제어부(43,44,47), 시점 결합부(48), 출력 포맷터(49), 출력제어부(50)를 포함한다.
먼저 도 51(a)의 기준 영상과 부가 영상을 이용하여 3차원 영상 서비스를 제공하기 위한 비디오 디코딩과 동기화 및 시점 결합에 대해서 설명하면, 수신 장치는 시스템 디코더(41,45)에 입력된 기준 영상 신호와 부가 영상 신호로부터 동기화 정보를 추출한다. 동기화 정보는 위에 기술한대로 1) transport packet에 포함된 video_frame_info, 2) video 스트림의 user data 혹은 SEI message에 포함된 video_frame_info, 또는 3) PES packet header에 포함된 PTS 값을 이용할 수 있다. 여기서 획득한 동기화 정보는 비디오 디코더(42,46)에 의해 서로 독립적으로 디코딩된 기준 영상 신호와 부가 영상 신호를 매칭시키는데 사용된다. 1)과 3)의 경우 이 정보가 시스템 디코더(41,45)에서 획득되어 출력 포맷터(49) 직전의 입력제어부(43,44)에 전달되며, 2)의 경우 비디오 디코더(42,46)에서 해당 정보를 획득해 시점 결합부(48) 직전의 입력 제어부(43,44)에 전달된다.
3차원 스테레오스코픽 영상 신호의 구성 요소를 동기화하기 위해 video_frame_info를 이용하는 경우 실제 영상의 출력 타이밍 정보는 기존의 PTS 값을 그대로 활용한다. 즉, 이종 경로를 통해 수신되는 두 개의 엘리먼트의 동기화를 위해 video_frame_info를 활용하되 실제 3차원 시점의 출력 타이밍 및 3차원 시점과 오디오 신호와의 동기화 등에 대한 제어는 PTS를 기반으로 한다.
부가 영상(우 영상, 경우에 따라 좌 영상이 될 수도 있음)과 기준 영상 (좌 영상, 경우에 따라 우 영상이 될 수도 있음)은 출력 포맷터(49)를 거쳐 3차원 디스플레이부에서 3차원 영상으로 출력된다. 3차원 영상의 출력 타이밍은 출력 제어부(50)에 의해 PTS 기반으로 제어된다.
도 51(b)의 Depth/disparity data를 이용한 3차원 영상 서비스를 제공하기 위한 비디오 디코딩과 동기화 및 시점 결합에 대해서 설명하면, 수신 장치는 시스템 디코더(41,45)에 입력된 2차원 영상 신호와 depth/disparity stream으로부터 동기화 정보를 추출한다. 동기화 정보는 위에 기술한대로 1)transport packet에 포함된 video_frame_info, 2)video 스트림의 user data 혹은 SEI message에 포함된 video_frame_info, 또는 3)PES packet header에 포함된 PTS 값을 이용할 수 있다. 여기서 획득한 동기화 정보는 비디오 디코더(42,46)에 의해 서로 독립적으로 디코딩된 2차원 영상 신호와 depth/disparity 데이터를 매칭시키는데 사용된다. 1)과 3)의 경우 이 정보가 시스템 디코더(41,45)에서 획득되어 시점 결합부(view synthesis) 직전의 입력제어부(43,47)에 전달되며, 2)의 경우 비디오 디코더(42,46)에서 해당 정보를 획득해 시점 결합부(48) 직전의 입력 제어부(43,47)에 전달된다.
3차원 스테레오스코픽 영상 신호의 구성 요소를 동기화하기 위해 video_frame_info를 이용하는 경우 실제 영상의 출력 타이밍 정보는 기존의 PTS 값을 그대로 활용한다. 즉, 이종 경로를 통해 수신되는 두 개의 엘리먼트의 동기화를 위해 video_frame_info를 활용하되 실제 3차원 시점 (2차원 + Enhancement Data를 이용한 다른 시점 결합)의 출력 타이밍 및 3차원 시점과 오디오 신호와의 동기화 등에 대한 제어는 PTS를 기반으로 한다.
시점 결합부(48)은 2차원 영상 신호와 이에 대응되는 Depth/Disparity data를 이용해 스테레오스코픽 3차원 영상 신호를 구성하는 또 하나의 시점을 생성한다. 결과적으로 시점 결합부(48) 입력 직전에 2차원 영상 신호와 depth/disparity 스트림의 동기화가 이루어져야 한다.
시점 결합에 의해 생성된 부가 영상(우 영상, 경우에 따라 좌 영상이 될 수도 있음)과 기존 채널을 통해 수신된 기준 영상 (좌 영상, 경우에 따라 우 영상이 될 수도 있음)은 출력 포맷터(49)를 거쳐 3차원 디스플레이부에서 3차원 영상으로 출력된다. 3차원 영상의 출력 타이밍은 출력 제어부(50)에 의해 PTS 기반으로 제어된다.
도 52는 본 발명의 일 실시예에 따른 시점 결합 및 동기화 동작을 나타낸 도면이다. 도 52(a)는 기준 영상과 부가 영상을 이용하여 3차원 영상 신호를 제공하는 경우의 시간 흐름에 따른 3차원 영상신호 생성순서를 나타낸다.
t0에서 기준 영상 신호에 대한 디코딩을 통해 기준 시점의 프레임 0과 부가 영상 신호에 대한 디코딩을 통해 부가 시점의 프레임 0을 얻는다. t1에서 기준 영상 신호에 대한 디코딩을 통해 기준 시점의 프레임 1과 부가 영상 신호에 대한 디코딩을 통해 부가 시점의 프레임 1을 얻는다. 이와 동시에 출력 포맷터를 통해 기준 시점 및 부가 시점의 프레임 0을 이용하여 3차원 영상 신호인 포맷팅 페어 0을 얻는다. 이러한 과정을 통하여 사용자에게 3차원 영상신호를 제공한다.
도 52(b)는 2차원 영상 신호와 Depth data를 이용하여 3차원 영상 신호를 제공하는 경우의 시간 흐름에 따른 3차원 영상신호 생성순서를 나타낸다.
t0에서 2차원 영상 신호에 대한 디코딩을 통해 기준 시점의 프레임 0과 Depth data에 대한 디코딩을 통해 프레임 0에 대한 Depth 정보를 얻는다.
t1에서 2차원 영상 신호에 대한 디코딩을 통해 기준 시점의 프레임 1과 부가 Depth data에 대한 디코딩을 통해 프레임 1에 대한 Depth 정보를 얻는다. 이와 동시에 시점 결합부를 통해 기준 시점의 프레임 0과 프레임 0에 대한 Depth 정보를 이용하여 부가 시점의 프레임 0을 얻는다.
t2에서는 2차원 영상 신호에 대한 디코딩을 통해 기준 시점의 프레임 2와 부가 Depth data에 대한 디코딩을 통해 프레임 2에 대한 Depth 정보를 얻는다. 또한 시점 결합부를 통해 기준 시점의 프레임 1과 프레임 1에 대한 Depth 정보를 이용하여 부가 시점의 프레임 1을 얻는다. 이와 동시에 출력 포맷터를 통해 기준 시점 및 부가 시점의 프레임 0을 이용하여 3차원 영상 신호인 포맷팅 페어 0을 얻는다. 이러한 과정을 통하여 사용자에게 3차원 영상신호를 제공할 수 있다.
마지막으로 수신장치가 스테레오스코픽 컴포넌트들을 수신하는 방법을 설명하면, 2차원 영상신호는 기존 디지털 TV 채널을 통해 수신되는 영상 신호를 의미하며 MPEG-2 비디오로 부호화되며 경우에 따라 AVC/H.264 또는 다른 코덱을 사용해 부호화된 영상이다. 2차원 영상신호를 수신하는 방식은 기존의 디지털 TV 서비스 수신과 동일하며 아울러 이 채널을 통해 수신되는 PSI/PSIP/SI section을 이용해 Enhancement Data의 존재여부, 결합서비스 형태, 수신 채널/경로, 획득 가능 시간에 대한 정보 등을 파악한다.
Enhancement Data는 본 발명에서는 Depth Map 또는 Disparity Map 데이터를 의미한다. 경우에 따라 Occlusion, Transparency 정보를 포함할 수 있으며 편의상 이하 Depth Map이라고 칭한다. 3차원 영상 신호 수신 장치는 기존 채널을 통해 수신한 2차원 영상 신호와 Enhancement Data를 결합시켜 스테레오스픽 3차원 영상 신호를 구성하는 또 하나의 시점을 만들어낸다. Enhancement Data는 실시간 연동과 비실시간 연동의 두 가지 방식이 존재한다.
먼저 실시간 연동의 경우 기존 채널을 통해 수신되는 2차원 영상 신호와 동시에 인터넷 또는 다른 지상파 채널 등을 통해 Enhancement Data가 수신되는 경우이다. 이 때, 두 component는 실시간 수신 및 실시간 디코딩을 거쳐 시청자에게 실시간 3차원 영상을 제공한다.
비실시간 연동의 경우 2차원 영상 신호의 방송 시간 이전에 인터넷 또는 지상파 채널 등을 통해 Enhancement Data를 미리 수신하고 이를 저장 장치에 저장하는 경우이다. NRT 방식일 수도 있고 live로 수신되는 Enhancement Data를 녹화하는 방식 모두 가능하다. 기존채널을 통해 2차원 영상 신호의 방송을 시작하는 경우, 미리 녹화/저장된 Enhancement Data를 재생하면서 수신되는 2차원 영상 신호와의 동기화를 거쳐 3차원 영상을 출력하는 형태이다. 즉, 실제 방송은 2차원 생방송이지만 미리 Enhancement Data를 저장한 수신기에서는 3차원 영상을 생방송으로 제공할 수 있다.
만약 두 개 이상의 enhancement data stream이 전송되는 경우 각 stream에 대한 disparity_near, disparity_far 필드를 이용해 시청자 취향에 맞는 depth range를 선택할 수 있다. 즉, multiple depth map에 대한 선택적 수신, 그리고 수신된 depth map을 이용한 3차원 렌더링을 통해 depth control을 구현하는 것이 가능하다.
전술한 바와 같이 상기 발명의 실시를 위한 최선의 형태에서, 관련된 사항을 기술하였다.
전술한 바와 같이, 본 발명은 디지털 방송 시스템에 전체적으로 또는 부분적으로 적용될 수 있다.

Claims (14)

  1. 스테레오스코픽 3차원 영상을 제공하는 디지털 방송 신호 수신 장치에 있어서,
    기준 시점의 비디오 스트림 및 시그널링 데이터를 포함하는 디지털 방송 신호를 수신하는 제1 수신부;
    상기 시그널링 데이터에 포함되고, 상기 기준 시점의 비디오 스트림과 연동되어 3차원 영상을 구현하는 부가 시점의 비디오 스트림에 대한 정보를 디코딩하는 시그널링 데이터 프로세서;
    상기 부가 시점의 비디오 스트림에 대한 정보를 이용하여 부가 시점의 비디오 스트림을 포함하는 디지털 방송 신호를 수신하는 제2 수신부;
    상기 수신된 기준 시점의 비디오 스트림을 디코딩하여 기준 영상을 생성하는 기준 영상 디코더;
    상기 수신된 부가 시점의 비디오 스트림을 디코딩하여 부가 영상을 생성하는 부가 영상 디코더; 및
    상기 기준 영상과 부가 영상을 결합하여 스테레오스코픽 3차원 영상 신호로 출력하는 출력 포맷터;를 포함하는 디지털 방송 신호 수신 장치.
  2. 제 1항에 있어서, 상기 제2 수신부는
    상기 부가 시점의 비디오 스트림에 대한 정보를 이용하여, 무선 방송 채널을 통해 부가 시점의 비디오 스트림을 수신하는 튜너, 또는 인터넷 접속을 통해 부가 시점의 비디오 스트림을 수신하는 인터넷 접속부인 디지털 방송 신호 수신 장치.
  3. 제 1항에 있어서,
    상기 부가 시점의 비디오 스트림에 대한 정보는
    상기 부가 시점의 비디오 스트림의 트랜스포트 아이디를 포함하는 디지털 방송 신호 수신 장치.
  4. 제 1항에 있어서,
    상기 부가 시점의 비디오 스트림에 대한 정보는
    상기 부가 시점의 비디오 스트림이 수신되는 시점에 대한 정보를 포함하는 디지털 방송 신호 수신 장치.
  5. 스테레오스코픽 3차원 영상을 제공하는 디지털 방송 신호 수신 장치에 있어서,
    기준 시점의 비디오 스트림 및 시그널링 데이터를 포함하는 디지털 방송 신호를 수신하는 제1 수신부;
    상기 수신된 기준 시점의 비디오 스트림을 디코딩하여 기준 영상을 생성하는 기준 영상 디코더;
    부가 시점의 깊이 정보(depth data)를 수신하는 제2 수신부;
    상기 수신된 깊이 정보를 디코딩하는 depth data 디코더;
    상기 기준 영상과 상기 디코딩된 깊이 정보를 동기화하는 동기화부;
    상기 동기화부의 출력을 이용하여 부가 영상을 렌더링하는 렌더링부; 및
    상기 기준 영상 및 부가 영상을 결합하여 스테레오스코픽 3차원 영상 신호로 출력하는 출력 포맷터;를 포함하는 디지털 방송 신호 수신 장치.
  6. 제 5항에 있어서,
    상기 디지털 방송 신호 수신 장치는 상기 수신된 깊이 정보를 저장하고 필요시에 제공하는 컨텐츠 및 메타데이터 저장부를 더 포함하는 디지털 방송 신호 수신 장치.
  7. 제 5항에 있어서,
    상기 디지털 방송 신호 수신 장치는 다양한 깊이 범위(depth range)를 갖는 3차원 영상을 제공하기 위해 복수의 깊이 정보를 수신하는 디지털 방송 신호 수신 장치.
  8. 스테레오스코픽 3차원 영상을 제공하는 디지털 방송 신호 수신 방법에 있어서,
    기준 시점의 비디오 스트림 및 시그널링 데이터를 포함하는 디지털 방송 신호를 수신하는 단계;
    상기 시그널링 데이터에 포함되고, 상기 기준 시점의 비디오 스트림과 연동되어 3차원 영상을 구현하는 부가 시점의 비디오 스트림에 대한 정보를 디코딩하는 단계;
    상기 부가 시점의 비디오 스트림에 대한 정보를 이용하여 부가 시점의 비디오 스트림을 포함하는 디지털 방송 신호를 수신하는 단계;
    상기 수신된 기준 시점의 비디오 스트림을 디코딩하여 기준 영상을 생성하는 단계;
    상기 수신된 부가 시점의 비디오 스트림을 디코딩하여 부가 영상을 생성하는 단계; 및
    상기 기준 영상과 부가 영상을 결합하여 스테레오스코픽 3차원 영상 신호로 출력하는 단계;를 포함하는 디지털 방송 신호 수신 장치.
  9. 제 8항에 있어서, 상기 부가 시점의 비디오 스트림을 포함하는 디지털 방송 신호를 수신하는 단계는
    상기 부가 시점의 비디오 스트림에 대한 정보를 이용하여, 무선 방송 채널 또는 인터넷 접속을 통해 부가 시점의 비디오 스트림을 수신하는 디지털 방송 신호 수신 방법.
  10. 제 8항에 있어서,
    상기 부가 시점의 비디오 스트림에 대한 정보는
    상기 부가 시점의 비디오 스트림의 트랜스포트 아이디를 포함하는 디지털 방송 신호 수신 방법.
  11. 제 8항에 있어서,
    상기 부가 시점의 비디오 스트림에 대한 정보는
    상기 부가 시점의 비디오 스트림이 수신되는 시점에 대한 정보를 포함하는 디지털 방송 신호 수신 방법.
  12. 스테레오스코픽 3차원 영상을 제공하는 디지털 방송 신호 수신 방법에 있어서,
    기준 시점의 비디오 스트림 및 시그널링 데이터를 포함하는 디지털 방송 신호를 수신하는 단계;
    상기 수신된 기준 시점의 비디오 스트림을 디코딩하여 기준 영상을 생성하는 단계;
    부가 시점의 깊이 정보(depth data)를 수신하는 단계;
    상기 수신된 깊이 정보를 디코딩하는 단계;
    상기 기준 영상과 상기 디코딩된 깊이 정보를 동기화하는 단계;
    상기 동기화부의 출력을 이용하여 부가 영상을 렌더링하는 단계; 및
    상기 기준 영상 및 부가 영상을 결합하여 스테레오스코픽 3차원 영상 신호로 출력하는 단계;를 포함하는 디지털 방송 신호 수신 방법.
  13. 제 12항에 있어서,
    상기 디지털 방송 신호 수신 방법은 상기 수신된 깊이 정보를 저장하고 필요시에 제공하는 단계를 더 포함하는 디지털 방송 신호 수신 방법.
  14. 제 12항에 있어서,
    상기 디지털 방송 신호 수신 방법은 다양한 깊이 범위(depth range)를 갖는 3차원 영상을 제공하기 위해 복수의 깊이 정보를 수신하는 디지털 방송 신호 수신 방법.
PCT/KR2011/009458 2010-12-08 2011-12-08 디지털 방송 신호 수신 장치 및 방법 WO2012077987A2 (ko)

Priority Applications (4)

Application Number Priority Date Filing Date Title
CN201180059988.3A CN103262549B (zh) 2010-12-08 2011-12-08 用于接收数字广播信号的设备和方法
KR1020137014107A KR101915130B1 (ko) 2010-12-08 2011-12-08 디지털 방송 신호 수신 장치 및 방법
CA2820025A CA2820025C (en) 2010-12-08 2011-12-08 Device and method for receiving digital broadcast signal
US13/992,094 US9628780B2 (en) 2010-12-08 2011-12-08 Device and method for receiving digital broadcast signal

Applications Claiming Priority (10)

Application Number Priority Date Filing Date Title
US42119410P 2010-12-08 2010-12-08
US61/421,194 2010-12-08
US201161446504P 2011-02-25 2011-02-25
US61/446,504 2011-02-25
US201161453126P 2011-03-15 2011-03-15
US61/453,126 2011-03-15
US201161453136P 2011-03-16 2011-03-16
US61/453,136 2011-03-16
US201161467368P 2011-03-24 2011-03-24
US61/467,368 2011-03-24

Publications (2)

Publication Number Publication Date
WO2012077987A2 true WO2012077987A2 (ko) 2012-06-14
WO2012077987A3 WO2012077987A3 (ko) 2012-07-05

Family

ID=46207612

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2011/009458 WO2012077987A2 (ko) 2010-12-08 2011-12-08 디지털 방송 신호 수신 장치 및 방법

Country Status (5)

Country Link
US (1) US9628780B2 (ko)
KR (1) KR101915130B1 (ko)
CN (1) CN103262549B (ko)
CA (1) CA2820025C (ko)
WO (1) WO2012077987A2 (ko)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2717589A3 (en) * 2012-08-31 2014-09-03 Samsung Electronics Co., Ltd Display device, set-top box and method of determining stereoscopic video content
EP2744214A4 (en) * 2011-08-12 2015-03-11 Samsung Electronics Co Ltd TRANSMISSION DEVICE, RECEPTION DEVICE AND TRANSMISSION / RECEIVING METHOD THEREFOR
EP2873232A4 (en) * 2012-07-12 2016-03-09 Sony Corp PARAMETRIZED SERVICE DESCRIPTOR FOR ADVANCED TELEVISION SERVICES
WO2016140486A1 (ko) * 2015-03-02 2016-09-09 엘지전자(주) 방송 신호 송수신 장치 및 방법
WO2016144072A1 (ko) * 2015-03-08 2016-09-15 엘지전자(주) 방송 신호 송수신 장치 및 방법
WO2016148497A1 (ko) * 2015-03-16 2016-09-22 엘지전자 주식회사 방송 신호 송신 장치, 방송 신호 수신 장치, 방송 신호 송신 방법, 및 방송 신호 수신 방법
US9516086B2 (en) 2011-08-12 2016-12-06 Samsung Electronics Co., Ltd. Transmitting device, receiving device, and transceiving method thereof

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102595164A (zh) * 2012-02-27 2012-07-18 中兴通讯股份有限公司 一种视频图像发送方法、装置及系统
US9215448B2 (en) * 2013-01-31 2015-12-15 Here Global B.V. Stereo panoramic images
KR20150057149A (ko) * 2013-11-18 2015-05-28 한국전자통신연구원 재전송망에 기초한 3ｄ 방송 서비스 제공 시스템 및 방법
JP6456980B2 (ja) 2014-02-10 2019-01-23 エルジー エレクトロニクス インコーポレイティド ３ｄ放送サービスのための放送信号の送受信方法及び装置
JP6358460B2 (ja) * 2014-04-04 2018-07-18 ソニー株式会社 受信装置、受信方法、送信装置、及び、送信方法
WO2016204481A1 (ko) * 2015-06-16 2016-12-22 엘지전자 주식회사 미디어 데이터 전송 장치, 미디어 데이터 수신 장치, 미디어 데이터 전송 방법, 및 미디어 데이터 수신 방법
CN106791795A (zh) * 2017-01-03 2017-05-31 京东方科技集团股份有限公司 3d视频流的发送方法及发送装置、接收方法及接收装置

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20050111379A (ko) * 2004-05-21 2005-11-24 한국전자통신연구원 3차원 입체 영상 부가 데이터를 이용한 3차원 입체 디지털방송 송/수신 장치 및 그 방법
US20090245347A1 (en) * 2008-03-25 2009-10-01 Samsung Electronics Co., Ltd. Method and apparatus for providing and reproducing three-dimensional video content and recording medium thereof
WO2010079921A2 (ko) * 2009-01-12 2010-07-15 엘지 전자 주식회사 뎁스 정보를 이용한 비디오 신호 처리 방법 및 장치

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5619256A (en) * 1995-05-26 1997-04-08 Lucent Technologies Inc. Digital 3D/stereoscopic video compression technique utilizing disparity and motion compensated predictions
US20030146883A1 (en) * 1997-08-28 2003-08-07 Visualabs Inc. 3-D imaging system
CN100584017C (zh) * 2006-12-31 2010-01-20 联想(北京)有限公司 基于p2p网络的视频通信方法
KR20080114388A (ko) * 2007-06-27 2008-12-31 삼성전자주식회사 스케일러블 영상 부호화장치 및 방법과 그 영상 복호화장치및 방법
MY162861A (en) * 2007-09-24 2017-07-31 Koninl Philips Electronics Nv Method and system for encoding a video data signal, encoded video data signal, method and system for decoding a video data signal
KR20100089705A (ko) * 2009-02-04 2010-08-12 삼성전자주식회사 3차원 영상 부호화/복호화 장치 및 방법
CN102804785A (zh) 2009-04-13 2012-11-28 瑞尔D股份有限公司 编码、解码和发布增强分辨率的立体视频
US9036700B2 (en) * 2009-07-15 2015-05-19 Google Technology Holdings LLC Simulcast of stereoviews for 3D TV

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20050111379A (ko) * 2004-05-21 2005-11-24 한국전자통신연구원 3차원 입체 영상 부가 데이터를 이용한 3차원 입체 디지털방송 송/수신 장치 및 그 방법
US20090245347A1 (en) * 2008-03-25 2009-10-01 Samsung Electronics Co., Ltd. Method and apparatus for providing and reproducing three-dimensional video content and recording medium thereof
WO2010079921A2 (ko) * 2009-01-12 2010-07-15 엘지 전자 주식회사 뎁스 정보를 이용한 비디오 신호 처리 방법 및 장치

Cited By (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2744214A4 (en) * 2011-08-12 2015-03-11 Samsung Electronics Co Ltd TRANSMISSION DEVICE, RECEPTION DEVICE AND TRANSMISSION / RECEIVING METHOD THEREFOR
US9516086B2 (en) 2011-08-12 2016-12-06 Samsung Electronics Co., Ltd. Transmitting device, receiving device, and transceiving method thereof
EP2873232A4 (en) * 2012-07-12 2016-03-09 Sony Corp PARAMETRIZED SERVICE DESCRIPTOR FOR ADVANCED TELEVISION SERVICES
US9894408B2 (en) 2012-07-12 2018-02-13 Saturn Licensing Llc Parameterized services descriptor for advanced television services
EP2717589A3 (en) * 2012-08-31 2014-09-03 Samsung Electronics Co., Ltd Display device, set-top box and method of determining stereoscopic video content
US11115622B2 (en) 2015-03-02 2021-09-07 Lg Electronics Inc. Apparatus and method for transceiving broadcast signal
WO2016140486A1 (ko) * 2015-03-02 2016-09-09 엘지전자(주) 방송 신호 송수신 장치 및 방법
US11743422B2 (en) 2015-03-02 2023-08-29 Lg Electronics Inc. Apparatus and method for transceiving broadcast signal
US11336862B2 (en) 2015-03-02 2022-05-17 Lg Electronics Inc. Apparatus and method for transceiving broadcast signal
WO2016144072A1 (ko) * 2015-03-08 2016-09-15 엘지전자(주) 방송 신호 송수신 장치 및 방법
US10721538B2 (en) 2015-03-08 2020-07-21 Lg Electronics Inc. Apparatus and method for transmitting and receiving broadcast signal
US10582274B2 (en) 2015-03-08 2020-03-03 Lg Electronics Inc. Apparatus for transmitting broadcast signal, apparatus for receiving broadcast signal, method for transmitting broadcast signal and method for receiving broadcast signal
US10645203B2 (en) 2015-03-16 2020-05-05 Lg Electronics Inc. Apparatus for transmitting broadcast signal, apparatus for receiving broadcast signal, method for transmitting broadcast signal and method for receiving broadcast signal
US11218576B2 (en) 2015-03-16 2022-01-04 Lg Electronics Inc. Apparatus for transmitting broadcast signal, apparatus for receiving broadcast signal, method for transmitting broadcast signal and method for receiving broadcast signal
US10200513B2 (en) 2015-03-16 2019-02-05 Lg Electronics Inc. Apparatus for transmitting broadcast signal, apparatus for receiving broadcast signal, method for transmitting broadcast signal and method for receiving broadcast signal
WO2016148497A1 (ko) * 2015-03-16 2016-09-22 엘지전자 주식회사 방송 신호 송신 장치, 방송 신호 수신 장치, 방송 신호 송신 방법, 및 방송 신호 수신 방법

Also Published As

Publication number Publication date
US20140125780A1 (en) 2014-05-08
CA2820025C (en) 2017-08-29
CN103262549A (zh) 2013-08-21
KR101915130B1 (ko) 2018-11-05
KR20130129212A (ko) 2013-11-27
CA2820025A1 (en) 2012-06-14
US9628780B2 (en) 2017-04-18
WO2012077987A3 (ko) 2012-07-05
CN103262549B (zh) 2017-02-22

Similar Documents

Publication Publication Date Title
WO2012077987A2 (ko) 디지털 방송 신호 수신 장치 및 방법
WO2012036532A2 (en) Method and apparatus for processing a broadcast signal for 3d (3-dimensional) broadcast service
WO2015126144A1 (ko) 파노라마 서비스를 위한 방송 신호 송수신 방법 및 장치
WO2012023789A2 (ko) 디지털 방송 신호 수신 장치 및 방법
WO2011122914A2 (ko) 2차원 컨텐트와 3차원 컨텐트를 제공하기 위한 디지털 방송 컨텐트 전송 방법 및 그 장치, 디지털 방송 컨텐트 수신 방법 및 그 장치
WO2012030158A2 (en) Method and apparatus for processing and receiving digital broadcast signal for 3-dimensional display
WO2011059290A2 (en) Method and apparatus for generating multimedia stream for adjusitng depth of 3-dimensional additional video reproduction information, and method and apparatus for receiving multimedia stream for adjusitng depth of 3-dimensional additional video reproduction information
WO2018038520A1 (ko) 전방향 비디오를 전송하는 방법, 전방향 비디오를 수신하는 방법, 전방향 비디오 전송 장치, 전방향 비디오 수신 장치
WO2010071283A1 (ko) 입체영상 디스플레이가 가능한 디지털 방송 수신방법, 및 이를 이용한 디지털 방송 수신장치
WO2011093677A2 (en) Method and apparatus for transmitting digital broadcasting stream using linking information about multi-view video stream, and method and apparatus for receiving the same
WO2015126214A1 (ko) 3d 방송 신호를 처리하는 방법 및 장치
WO2013032221A1 (ko) 디지털 방송 신호 처리 방법 및 장치
WO2011112053A2 (ko) 비실시간 방송 서비스 처리 시스템 및 그 처리방법
WO2011021822A2 (en) Method and apparatus for processing signal for three-dimensional reproduction of additional data
WO2011093676A2 (en) Method and apparatus for generating data stream for providing 3-dimensional multimedia service, and method and apparatus for receiving the data stream
WO2015076616A1 (ko) 신호 송수신 장치 및 신호 송수신 방법
WO2015152635A9 (ko) 신호 송수신 장치 및 신호 송수신 방법
WO2015034306A1 (ko) 디지털 방송 시스템에서 고화질 uhd 방송 컨텐츠 송수신 방법 및 장치
WO2011062385A2 (ko) 방송 신호 송수신 방법 및 그를 이용한 방송 수신 장치
WO2012030177A2 (ko) 디지털 수신기 및 디지털 수신기에서의 3d 컨텐트 처리 방법
WO2019168304A1 (ko) 카메라 렌즈 정보를 포함한 360도 비디오를 송수신하는 방법 및 그 장치
WO2012030176A2 (ko) 3d (3-dimentional) 방송 서비스를 위한 방송 신호 처리 방법 및 장치
WO2015126213A1 (ko) 방송 신호 송신 장치 및 방송 신호 수신 장치
WO2013162256A1 (ko) 3ｄ 서비스를 위한 신호 처리 장치 및 방법
WO2015080414A1 (ko) 트릭 플레이 서비스 제공을 위한 방송 신호 송수신 방법 및 장치

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 11846206

Country of ref document: EP

Kind code of ref document: A2

ENP Entry into the national phase

Ref document number: 20137014107

Country of ref document: KR

Kind code of ref document: A

ENP Entry into the national phase

Ref document number: 2820025

Country of ref document: CA

NENP Non-entry into the national phase

Ref country code: DE

WWE Wipo information: entry into national phase

Ref document number: 13992094

Country of ref document: US

122 Ep: pct application non-entry in european phase

Ref document number: 11846206

Country of ref document: EP

Kind code of ref document: A2