WO2013032221A1 - 디지털 방송 신호 처리 방법 및 장치 - Google Patents

디지털 방송 신호 처리 방법 및 장치 Download PDF

Info

Publication number
WO2013032221A1
WO2013032221A1 PCT/KR2012/006888 KR2012006888W WO2013032221A1 WO 2013032221 A1 WO2013032221 A1 WO 2013032221A1 KR 2012006888 W KR2012006888 W KR 2012006888W WO 2013032221 A1 WO2013032221 A1 WO 2013032221A1
Authority
WO
WIPO (PCT)
Prior art keywords
video
stream
enhancement
broadcast signal
image
Prior art date
Application number
PCT/KR2012/006888
Other languages
English (en)
French (fr)
Inventor
홍호택
최지현
김진필
서종열
Original Assignee
엘지전자 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 엘지전자 주식회사 filed Critical 엘지전자 주식회사
Priority to US14/239,751 priority Critical patent/US9560337B2/en
Priority to EP12828142.5A priority patent/EP2753084A4/en
Priority to KR1020147004022A priority patent/KR102008818B1/ko
Priority to CN201280042196.XA priority patent/CN103891275B/zh
Priority to CA2845780A priority patent/CA2845780C/en
Publication of WO2013032221A1 publication Critical patent/WO2013032221A1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/161—Encoding, multiplexing or demultiplexing different image signal components
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/172—Processing image signals image signals comprising non-image signal components, e.g. headers or format information
    • H04N13/178—Metadata, e.g. disparity information
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/194—Transmission of image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/234327—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements by decomposing into layers, e.g. base layer and one or more enhancement layers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H04N21/23605—Creation or processing of packetized elementary streams [PES]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H04N21/2362—Generation or processing of Service Information [SI]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/63—Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
    • H04N21/631—Multimode Transmission, e.g. transmitting basic layers and enhancement layers of the content over different transmission paths or transmitting with different error corrections, different keys or with different transmission protocols
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/816—Monomedia components thereof involving special video data, e.g 3D video
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2213/00—Details of stereoscopic systems
    • H04N2213/003—Aspects relating to the "2D+depth" image format

Definitions

  • the present invention relates to an apparatus and method for processing digital broadcast signals including three-dimensional images. More particularly, the present invention relates to a processing apparatus and method for displaying a 3D image by transmitting and receiving a digital broadcast signal including a 3D image through a plurality of channels or paths.
  • 3DTV three-dimensional television
  • a 3D image provides a stereoscopic effect using the stereo vision principle of two eyes. Humans feel perspective through the parallax of two eyes, that is, binocular parallax by the distance between two eyes about 65mm apart, so the 3D image provides an image so that each of the left and right eyes can see the associated plane image. It can provide three-dimensional and perspective.
  • Such 3D image display methods include a stereoscopic method, a volumetric method, a holographic method, and the like.
  • a left view image for viewing in the left eye and a right view image for viewing in the right eye are provided so that the left and right eyes are respectively left view through polarized glasses or the display device itself. By viewing the image and the right image, you can recognize the three-dimensional image effect.
  • the receiver displays a 3D image using the two images.
  • a method of sending two similar images from different viewpoints together through an existing broadcast channel and a method of dividing the existing broadcast channel into two separate transmission channels may be used.
  • the receiver in order for the receiver to display two images as one 3D image, the receiver must receive signal information about two paired images together. If such information is not received together, the left view image and the light view image constituting one 3D image cannot be distinguished, and thus a 3D image cannot be restored.
  • there is a problem in that it is not possible to determine whether the left view image and the right view image are synchronized and when the 3D image display is possible.
  • the present invention is to solve the above problems, the technical problem to be achieved in the present invention is an apparatus and method for receiving a digital broadcast signal, without experiencing the above-mentioned problems, the signal information for displaying a three-dimensional image Receiving a digital broadcast signal to be included is to be able to display a three-dimensional image.
  • the digital broadcast signal processing method encoding a video stream of a two-dimensional reference image, the binocular parallax three-dimensional image with the encoded two-dimensional reference image Generating, encoding a video stream of the additional view, generating signaling information such that the video stream of the encoded additional view is processed only in a 3D video signal receiver, and including a first video stream of the encoded reference video Generating a broadcast signal, generating a second broadcast signal including the video stream of the encoded additional video and the signaling information, and transmitting the first broadcast signal and the second broadcast signal to different channels, respectively;
  • the generating of the signaling information of the digital broadcast signal processing method may include generating signaling information for requesting that the 2D video signal receiver not recognize the video stream of the encoded additional view video. It is characterized by.
  • the generating of the signaling information of the digital broadcast signal processing method may include excluding a channel on which the second broadcast signal is transmitted from the channel map.
  • the generating of the signaling information of the digital broadcast signal processing method may include generating signaling information for preventing a 2D video signal receiver from recognizing the video stream of the encoded additional view video. It is done.
  • the signaling information for the stream transmitted by the second broadcast signal is limited to PAT only, and program_loop is deleted or program_number is deleted. It is characterized by setting to zero.
  • a digital broadcast signal processing apparatus includes a first video encoder for encoding a video stream of a 2D reference image, binocular disparity 3 together with the encoded 2D reference image.
  • a second video encoder for encoding a video stream of the additional view video to generate a 3D video
  • an SI processor for generating signaling information so that the video stream of the encoded additional video is processed only at a 3D video signal receiver
  • a first system encoder for generating a first broadcast signal including a video stream, a second system encoder for generating a second broadcast signal including a video stream of the encoded additional video and the signaling information, and the first broadcast signal;
  • a transmitter for transmitting second broadcast signals through different channels.
  • the SI processor of the apparatus for processing digital broadcasting signals may generate signaling information for requesting that the 2D video signal receiver not recognize the video stream of the encoded additional view video. .
  • the SI processor of the digital broadcast signal processing apparatus may exclude a channel on which the second broadcast signal is transmitted from a channel map.
  • the SI processor of the apparatus for processing digital broadcasting signals is characterized by generating signaling information for preventing a 2D video signal receiver from recognizing a video stream of the encoded additional view video.
  • the SI processor of the digital broadcast signal processing apparatus restricts signaling information on a stream transmitted by the second broadcast signal to PAT only, deletes program_loop, or sets program_number to 0.
  • FIG. It is characterized by.
  • the apparatus and method for receiving digital broadcast signals according to the present invention have the following effects.
  • FIG. 1 is a diagram illustrating a combination of video elements included in a 3D image according to an embodiment of the present invention.
  • FIG. 2 is a diagram illustrating a digital broadcast reception device according to an embodiment of the present invention.
  • FIG. 3 is a diagram illustrating a syntax structure of an EIT including an event_enhancement_descriptor () according to an embodiment of the present invention.
  • FIG. 4 is a diagram illustrating a syntax structure of event_enhancement_descriptor () according to an embodiment of the present invention.
  • 5 (a) is a diagram illustrating combined_service_type according to an embodiment of the present invention.
  • 5B is a diagram illustrating enhancement_type according to an embodiment of the present invention.
  • FIG. 6 (a) is a diagram illustrating sync_type according to an embodiment of the present invention.
  • FIG. 6 (b) is a diagram illustrating an enhancement_stream_format according to an embodiment of the present invention.
  • 6C is a diagram illustrating enhancement_stream_sampling_factor according to an embodiment of the present invention.
  • FIG. 7 is a diagram illustrating a syntax structure of a PMT including event_enhancement_descriptor () according to an embodiment of the present invention.
  • program_enhancement_descriptor () is a diagram illustrating a syntax structure of program_enhancement_descriptor () according to an embodiment of the present invention.
  • FIG. 9 illustrates a syntax structure of a TVCT including channel_enhancement_descriptor () according to an embodiment of the present invention.
  • FIG. 10 is a diagram illustrating a syntax structure of channel_enhancement_descriptor () according to an embodiment of the present invention.
  • FIG. 11 is a diagram illustrating a syntax structure of an SDT including service_enhancement_descriptor () according to an embodiment of the present invention.
  • FIG. 12 is a diagram illustrating a syntax structure of service_enhancement_descriptor () according to an embodiment of the present invention.
  • FIG. 13 is a diagram illustrating a syntax structure of an EIT including event_enhancement_descriptor2 () according to an embodiment of the present invention.
  • FIG. 13 is a diagram illustrating a syntax structure of an EIT including event_enhancement_descriptor2 () according to an embodiment of the present invention.
  • FIG. 14 is a diagram illustrating a syntax structure of event_enhancement_descriptor2 () according to an embodiment of the present invention.
  • FIG. 16 illustrates signaling for requesting that an existing receiver not recognize an additional video in an ATSC PSIP environment according to an embodiment of the present invention.
  • 17 is a diagram illustrating signaling for requesting that an existing receiver does not recognize an additional video in a DVB-SI environment according to an embodiment of the present invention.
  • FIG. 18 illustrates signaling for preventing an existing receiver from recognizing an additional video in an ATSC PSIP environment according to an embodiment of the present invention.
  • FIG. 19 illustrates signaling for preventing an existing receiver from recognizing an additional video in a DVB-SI environment according to an embodiment of the present invention.
  • 20 is a diagram showing a transport_packet () according to an embodiment of the present invention.
  • 21 is a diagram illustrating adaptation_field () according to an embodiment of the present invention.
  • FIG. 22 (a) is a diagram illustrating syntax of video_frame_info_data_byte according to an embodiment of the present invention.
  • FIG. 22 (a) is a diagram illustrating syntax of video_frame_info_data_byte according to an embodiment of the present invention.
  • FIG. 22B is a diagram illustrating the meaning of video_frame_info according to a setting value of frame_info_type according to an embodiment of the present invention.
  • FIG. 23 illustrates a video level synchronization method according to an embodiment of the present invention.
  • 24 is a diagram illustrating a digital broadcast reception device according to an embodiment of the present invention.
  • 25 illustrates a view combining and synchronizing operation according to an embodiment of the present invention.
  • the 3D image representation method may include a stereoscopic method that considers two viewpoints and a multiple view image method (or multi-view method) that considers three or more viewpoints.
  • the conventional single view image method may be referred to as a monoscopic image method.
  • the stereoscopic method uses a pair of left view images (hereinafter referred to as left images) and live view images (hereinafter referred to as images) obtained by photographing the same subject with a left camera and a right camera that are spaced apart at a constant distance.
  • a pair of images of the reference image and the additional image is used.
  • the left, right image, the reference image, and the additional image may be used in the same meaning as elements included in the stereoscopic 3D image.
  • the multi-view method uses three or more images obtained by photographing three or more cameras having a constant distance or angle.
  • the present invention will be described using the stereoscopic method as an embodiment, but the idea of the present invention may be applied to a multi-view method.
  • the stereoscopic method according to the present invention includes a side-by-side method, a top-bottom method, and a checker board method.
  • the left and right images are downsampled 1/2 in the horizontal direction, and one sampled image is placed in the left region and the other sampled image is placed in the right region.
  • the left and right images are half downsampled in the vertical direction, and one sampled image is placed in the top region, and the other sampled image is placed in the bottom region.
  • the checkerboard method is a method of constructing two images into one image by half downsampling the left image and the right image to cross each other in the vertical and horizontal directions.
  • the stereoscopic method according to the present invention is not limited or limited to the above example.
  • the method for providing a 3D video service through a plurality of channels described in the present invention transmits and receives two images having a full resolution without going through the downsampling operation described above through a plurality of channels, and transmits the 3D video service. It is also possible to provide.
  • the stereoscopic method requires additional signal information for coupling a left image and a right image or a reference image and an additional image included in the same 3D image.
  • FIG. 1 is a diagram illustrating a combination of video elements included in a 3D image according to an embodiment of the present invention.
  • Reference image elements can be either Motion Picture Experts Group-2 (MPEG-2) or two-dimensional streams coded in AVC / H.264, or Phase1 3DTV video, frame-compatible three-dimensional video coded in AVC / H.264. .
  • MPEG-2 Motion Picture Experts Group-2
  • Phase1 3DTV video frame-compatible three-dimensional video coded in AVC / H.264.
  • enhancement signals are available for Phase1 3DTV video.
  • the depth information may include selective occlusion information or transparency information.
  • the digital broadcast receiver according to the present invention includes a plurality of stream demultiplexers (21, 22), a plurality of system decoders (23, 24), a plurality of video decoders (25, 26), a synchronizer (27), a view renderer. 28, an output formatter 29.
  • the view rendering unit 28 operates when depth information or a disparity map is input as an additional image element.
  • the demultiplexers 21 and 22 receive a broadcast stream including the reference video element and the additional video element, respectively, and demultiplex the reference video element and the additional video element.
  • the demultiplexer for the reference image may extract the audio elements and data included together.
  • the extracted reference picture element and the additional picture element are input to the system decoders 23 and 24, respectively, and the system decoders 23 and 24 extract synchronization information therefrom.
  • the synchronization information obtained here is used to match the reference video and the additional video decoded independently by each other by the video decoders 25 and 26.
  • the reference picture element decoded above may be independently output as a reference picture to display a 2D video signal.
  • the synchronization unit 27 synchronizes the reference image and the additional image and outputs the image to the viewpoint rendering unit 28.
  • the viewpoint rendering unit 28 operates when the additional image element is the depth information and renders the additional image based on the reference image and the depth information.
  • the visual image may not provide a visual image by itself, and the view image is added to the image for the additional view only after the reference image and the depth information are combined by the view rendering unit 28. Can play a role.
  • the viewpoint rendering unit 28 may not operate.
  • the additional video element is an additional video 2D stream in a 3D system using a dual independent stream scheme of MPEG-2 or AVC / H.264.
  • the additional image (right image, may be left image in some cases) and the reference image (left image, may be right image in some cases) are passed from the 3D display to the 3D image via the output formatter 29. Is output.
  • the corresponding image becomes a viewpoint that constitutes the stereoscopic 3D image, and is combined with the previously received reference image using an additional image received through a separate channel.
  • the video can be output.
  • the reference video for example, 2D video
  • the additional video for example, enhancement video or depth information
  • the process of outputting the 3D image may use a method of finally rendering the 3D image by interworking a previously received additional image with a reference image received in real time.
  • signaling for interworking information between the base view video and the additional view video is required. For example, presence signaling that is information indicating whether an additional video linked to the reference video is present, location signaling which is information about a path (location) of the additional video linked to the reference video, and synchronization of the additional video linked to the reference video Or Synchronization / coupling mode signaling, which is information on an interworking method, Available time signaling, which is information about a time when an additional video linked to a reference video can be received, Format of an additional video linked with the reference video, or a format of codec
  • a method of transmitting a plurality of depth information or additional video, and depth range signaling providing depth range information for each additional video are required.
  • frame level synchronization information is required to link the base view video with the additional view video. For example, video level signaling and transport stream level signaling are required.
  • the signaling is basically access information about enhancement data including depth data through a channel through which a reference video is received.
  • the enhancement data is the information including the depth data
  • the signaling information can provide the enhancement data related information.
  • connection information about a 2D image reception channel may be provided.
  • signaling information must also be transmitted and received so that there is no meaning.
  • the following defines a descriptor for signaling enhancement data through the SI section.
  • the descriptor is not included in the loop, but in some cases, multiple enhancement data may be transmitted.
  • the descriptor should repeat the field as many times as the number of enhancement data streams to be transmitted. In particular, this case corresponds to a case of implementing depth control by transmitting multiple depth maps.
  • FIG. 3 is a diagram illustrating a syntax structure of an EIT including an event_enhancement_descriptor () according to an embodiment of the present invention.
  • table_id is an 8-bit field and is set to 0xCB, indicating that the corresponding section belongs to the EIT.
  • section_syntax_indicator is set to 1 as a 1-bit field. This means that after the section length field, the section follows the generic section syntax.
  • private_indicator is set to 1 as a 1-bit field.
  • section_length is a 12-bit field and indicates the number of bytes remaining from this field to the end of the section including the CRC_32 field. The value of this field does not exceed 4093.
  • source_id is a 16-bit field that indicates the source_id of the virtual channel that carries the event depicted in this section.
  • version_number is a 5-bit field and indicates a version number of EIT-i. The version number is incremented by one (modulo 32) if any field in the EIT-i changes. If i and j are different, the version number of EIT-i and the version number of EIT-j are irrelevant. The value of this field has the same value as described in the MGT.
  • current_next_indicator is a 1-bit indicator and is always set to 1 for the EIT section. EIT is always currently applicable.
  • section_number is an 8-bit field and indicates the number of this section.
  • last_section_number is an 8-bit field and indicates the number of the last section.
  • the protocol_version field is 8 bits, and allows a table type different from that defined in the current protocol in the future. In the current protocol, only 0 is a valid value. Nonzero values will be used in later versions for structurally different tables.
  • the num_events_in_section field is 8 bits and represents the number of events in this EIT section. If 0, this section indicates that no events are defined.
  • the event_id field represents an ID of an event depicted as 14 bits. This is used as part of the ETM_id.
  • start_time is a 32-bit field. Start time of this event in GPS seconds since 00:00:00 UTC. In any virtual channel, the value of start_time cannot be less than the end_time of the previous event. The end time is defined as the start time of the event (start_time) plus the length of the event (length_in_seconds).
  • ETM_location is a 2-bit field and indicates the presence and location of an extended text message (ETM).
  • the length_in_seconds field represents the duration of this event in seconds.
  • the title_length field represents the length of title_text () in bytes. A value of 0 indicates that no title exists for the event.
  • title_text () represents the name of the event in multiple string structure format.
  • the descriptors_length field represents the total length of the following event descriptor in bytes.
  • Zero or more descriptors are included in the EIT by looping for loops with descriptor ().
  • the types of descriptors defined to be used in the EIT may include content_advisory_descriptor (), the caption_service_descriptor (), and the AC-3 audio_stream_descriptor ().
  • the event_enhancement_descriptor () of the present invention may be included in the descriptor ().
  • CRC_32 is a 32-bit field that indicates the CRC value for the zero output of the register at the decoder.
  • FIG. 4 is a diagram illustrating a syntax structure of event_enhancement_descriptor () according to an embodiment of the present invention.
  • the event_enhancement_descriptor () of the present invention includes combined_service_type, enhancement_type, enhancement_right_flag, sync_type, enhancement_stream_format, enhancement_stream_sampling_factor, avail_time_start, linked_TSID, linked_program_number, linked_elementary_PID, internet_linkage_information, and disparity_nefar, and disparity_nefar.
  • the combined_service_type is a field indicating a service type for ultimately providing when components received / transmitted through two or more separate paths / channels are combined. That is, it means the type of the final service provided by combining the event and enhancement data received through the location specified in this descriptor.
  • combined_service_type is 0x0, this means 2D scalable video service, 0x1 is 3D stereoscopic video service, 0x2 is 3D multiview service, and 0x3 is Ultra definition (UD) video service.
  • UD Ultra definition
  • the enhancement_right_flag indicates whether the left view or the right view of the corresponding image is rendered when the viewpoint of the stereoscopic 3D video service is rendered using the enhancement data. If this value is '1', the view obtained through enhancement data or enhancement data is a right image.
  • the enhancement_type indicates the type of the path through which enhancement data for the event is transmitted. For example, there may be a terrestrial channel or the Internet.
  • enhancement_type is 0x0, this means that the event includes all components necessary for service. This indicates that enhancement data is also received as a component of the corresponding event.
  • enhancement_type is 0x1
  • enhancement data is received through a channel different from the corresponding event, and the type of the reception path is the same as that of the corresponding event. For example, if the event is terrestrial, this indicates that enhancement data for this event is also received through another channel of the terrestrial wave.
  • path information on the enhancement data uses linked_TSID and linked_program_number.
  • enhancement_type is 0x2
  • detailed path information on essential data uses linked_TSID and linked_program_number fields.
  • enhancement_type is 0x3
  • Path information for accessing enhancement data uses internet_linkage_information.
  • sync_type informs the component of the event and how to synchronize and combine the transmission of enhancement data.
  • sync_type is 0x0
  • the component and enhancement data of the corresponding event are transmitted at the same time. It can be called synchronized transmission.
  • sync_type is 0x1
  • Enhancement data is sent later than the event. For normal 3D video viewing, it is required to link or combine with the enhancement data received after recording the corresponding event.
  • sync_type is 0x2
  • Enhancement data is already transmitted before the event, and interworking / combination of the component of the event received in real time and enhancement data already received / stored is required for normal 3D video viewing.
  • sync_type is 0x3
  • sync_type is 0x3
  • synchronized transmission of enhancement data is also possible.
  • sync_type is 0x4
  • sync_type is 0x4
  • synchronized transmission of enhancement data is also possible.
  • enhancement_stream_format informs information about data format, codec, etc. of enhancement data for the corresponding event.
  • this document will focus on 0x25 and 0x26, which are cases for transmitting depth / disparity data.
  • the enhancement_stream_sampling_factor means the resolution of enhancement data and means a sampling factor in the horizontal and vertical directions relative to the video stream (reference video) of the corresponding event.
  • the resolution is the same as that of the reference image.
  • the horizontal direction is 1 / (X + 1) compared to the reference image and the vertical direction is 1 / (Y + 1) compared to the reference image.
  • this field has a value of 0x37.
  • avail_time_start means a start time when enhancement data constituting 3D video content is transmitted in combination with a current event component. As a 32-bit field, 1980.1.6. Start time of this event in GPS seconds since 00:00:00 UTC. If this field value is 0, it means that enhancement data is available at any time.
  • the linked_TSID means a transport_stream_id value of a transport stream including enhancement data.
  • the linked_program_number represents a program_number value for a program / channel including enhancement data. That is, the stream including enhancement data may be uniquely defined using the linked_TSID and the linked_program_number.
  • the linked_elementary_PID may include an elementary PID value for enhancement data together with linked_TSID and linked_program_number in event_enhancement_descriptor ().
  • internet_linkage_information provides information on the transmission of enhancement data over the Internet, and includes fields indicating whether the IP address is 32-bit or 128-bit, additional information such as the IP address, port number, URI of the stream, and available time slot. can do.
  • the available time slot may include a start time and an expiration time and may overlap with an avail_time_start field.
  • disparity_near and disparity_far indicate a range of depth when enhancement data is depth information (disparity / depth map). Each value represents a disparity value corresponding to the object point closest to the user and the farthest object point.
  • n enhancement streams can be signaled using loops in the descriptor.
  • FIG. 7 is a diagram illustrating a syntax structure of a PMT including event_enhancement_descriptor () according to an embodiment of the present invention.
  • a program map table is a table that provides a mapping between program numbers and program elements. Signaling for enhancement data linked to a corresponding program or program element is performed using a descriptor at a program level (1st descriptor loop) or ES level (2nd descriptor loop) of the PMT.
  • PMT includes:
  • the table_id field is an 8-bit field, and TS_program_map_section is always set to a value of 0x02.
  • the section_syntax_indicator field is 1 bit and is set to 1.
  • the section_length field consists of 12 bits and the first two bits are 00. This field indicates the number of bytes in the section, and indicates the length from this field to the CRC. The value of this field does not exceed 1021.
  • the program_number field consists of 16 bits. This indicates to which program the program_map_PID is applicable.
  • One program definition is transmitted by only one TS_program_map_section. This implies that the program definition cannot exceed 1016.
  • the version_number field represents the version of the virtual channel. It is incremented by 1 whenever there is a change in the VCT. When the version value reaches 31, the next version value is 0. The value of this field must be the same value as the same field value of MGT.
  • the current_next_indicator field consists of 1 bit and the value is set to 1 when the VCT is currently applicable. If it is set to 0, this means that it is not applicable yet and the following table is valid.
  • the value of the section_number field is set to 0x00.
  • the value of the last_section_number field is set to 0x00.
  • the PCR_PID field is composed of 13 bits and means a PID of a TS including a PCR field valid for a program described by a program number.
  • the program_info_length field consists of 12 bits, and the first two bits have a value of 00. The remaining 10 bits represent the descriptor following this field in number of bytes.
  • the stream_type field consists of 8 bits and indicates the type of program element transmitted by the packet having the PID value of the basic PID.
  • elementary_PID consists of 13 bits and represents the PID of the TS including the associated program element.
  • the ES_info_length field consists of 12 bits and the first two bits are 00. The remaining 10 bits represent the descriptor of the associated program element following this field in number of bytes.
  • the CRC_32 field indicates a CRC value that allows a zero output of a register in the decoder.
  • program_enhancement_descriptor () is a diagram illustrating a syntax structure of program_enhancement_descriptor () according to an embodiment of the present invention.
  • the program_enhancement_descriptor () of the present invention includes combined_service_type, enhancement_type, enhancement_right_flag, sync_type, enhancement_stream_format, enhancement_stream_sampling_factor, linked_TSID, linked_program_number, linked_elementary_PID, internet_linkage_information, disparity_near, and disparity_far.
  • Program_enhancement_data_descriptor interoperates with the corresponding program and provides information on enhancement data for implementing 3D video service. At this time, the provided information tells whether or not the linkage with the program.
  • the enhancement_type indicates the type of the path through which enhancement data for the program is transmitted.
  • the meaning of the value for this field is the same as defined in event_enhancement_descriptor () above, but the difference is that it is applied by program unit, not event.
  • the functional meaning of the other fields is the same as the content of event_enhancement_descriptor ().
  • the linked_elementary_PID is not a required field and may be omitted according to an embodiment.
  • the following describes a signaling method using TVCT of ATSC PSIP.
  • FIG. 9 illustrates a syntax structure of a TVCT including channel_enhancement_descriptor () according to an embodiment of the present invention.
  • the terrestrial virtual channel table is a table that contains the attributes of the virtual channels included in the transport stream in the PSIP of ATSC.
  • TVCT includes:
  • the value of the table_id field indicates the type of the table section.
  • the value must be 0xC8 to indicate TVCT.
  • section_syntax_indicator field consists of 1 bit and its value is fixed to 1.
  • the private_indicator field is set to 1.
  • the section_length field consists of 12 bits and the first two bits are 00. This field indicates the number of bytes in the section, and indicates the length from this field to the CRC. The value of this field does not exceed 1021.
  • the transport_stream_id field consists of 16 bits and is an MPEG-2 transport stream (TS) ID. This field can be distinguished from other TVCT.
  • TS MPEG-2 transport stream
  • the version_number field represents the version of the virtual channel. It is incremented by 1 whenever there is a change in the VCT. When the version value reaches 31, the next version value is 0. The value of this field must be the same value as the same field value of MGT.
  • the current_next_indicator field consists of 1 bit and the value is set to 1 when the VCT is currently applicable. If it is set to 0, this means that it is not applicable yet and the following table is valid.
  • the section_number field represents the number of sections.
  • the value of the first section of TVCT is 0x00 and the value is increased by 1 for each additional section.
  • the last_section_number field means the number of the last section. That is, it means the number of the section having the highest section_number in the entire TVCT.
  • the protocol_version field functions to allow different table types from those defined in the current protocol in the future. In the current protocol, only 0 is a valid value. Nonzero values will be used in later versions for structurally different tables.
  • the num_channels_in_section field represents the number of virtual channels in the VCT section. The value is limited by the section length.
  • the short_name field represents the name of the virtual channel.
  • the major_channel_number field consists of 10 bits and represents the major channel number of the virtual channel defined in the corresponding sequence in the for loop.
  • Each virtual channel consists of a major channel number and a minor channel number.
  • the major channel number, along with the minor channel number, acts as a reference number to the user for that virtual channel.
  • a major channel number has a value from 1 to 99, and major / minor channel number pairs do not have duplicate values in TVCT.
  • the minor_channel_number field consists of 10 bits and has a value from 0 to 999.
  • the minor channel number acts as a two-part channel number along with the major channel number.
  • the minor channel number has a value from 1 to 99.
  • Major / minor channel number pairs do not have duplicate values in TVCT.
  • the modulation_mode field indicates a modulation mode of a transport carrier associated with a corresponding virtual channel.
  • the value of the carrier_frequency field is zero. It is allowed to identify the carrier frequency using this field, but vice versa.
  • the channel_TSID field has a value from 0x0000 to 0xFFFF and is an MPEG-2 TSID associated with a TS for delivering the MPEG-2 program referred to by this virtual channel.
  • the program_number field associates the virtual channel defined in TVCT with the MPEG-2 PROGRAM ASSOCIATION and TS PROGRAM MAP tables.
  • the ETM_location field indicates the existence and location of an extended text message (ETM).
  • the access_controlled field is a 1-bit Boolean flag. When the access_controlled field is 1, it may represent that an event related to a corresponding virtual channel is accessed. 0 indicates that access is not restricted.
  • the hidden field is a 1-bit Boolean flag. If it is 1, access is not allowed even if the number is directly input by the user.
  • the hidden virtual channel is skipped when the user surfs the channel and appears to be undefined.
  • the hide_guide field is a Boolean flag. When the hide_guide field is set to 0 for a hidden channel, the virtual channel and an event may be displayed on the EPG display. This field is ignored if the hidden bit is not set. Thus, non-hidden channels and their events belong to the EPG display regardless of the state of the hide_guide bit.
  • the service_type field identifies the type of service delivered by the virtual channel.
  • the source_id field identifies a programming source related to the virtual channel.
  • the source may be any one of video, text, data, or audio programming.
  • the source id 0 is a reserved value and has a unique value in the TS carrying the VCT from 0x0001 to 0x0FFF. Also, from 0x1000 to 0xFFFF, it is unique at the local level.
  • the descriptors_length field represents the length of a following descriptor for a corresponding virtual channel in bytes.
  • Descriptor () may not be included in descriptor () or one or more descriptors may be included.
  • the additional_descriptors_length field represents the total length of the following VCT descriptor list in bytes.
  • the CRC_32 field indicates a CRC value that allows a zero output of a register in the decoder.
  • FIG. 10 is a diagram illustrating a syntax structure of channel_enhancement_descriptor () according to an embodiment of the present invention.
  • the channel_enhancement_descriptor () of the present invention includes a combined_service_type, enhancement_type, enhancement_right_flag, sync_type, enhancement_stream_format, enhancement_stream_sampling_factor, linked_TSID, linked_program_number, linked_service_id, linked_elementary_PID, internet_linkage_information, and disparity_far.
  • enhancement_type indicates a type of a path on which enhancement data for a corresponding virtual channel is transmitted.
  • it may be a terrestrial channel or the Internet.
  • the meaning of this field is the same as defined above, but the difference is that it is applied in units of virtual channels, not events or programs.
  • the linked_channel_TSID indicates a transport_stream_id value for a program / channel including a stream to be combined with the present program / channel to provide a complete 3D video service.
  • the linked_channel_program_number represents a program_number value for a program / channel including a stream to be combined with the present program / channel to provide a complete 3D video service.
  • the linked_major_channel_number represents a major_channel_number of a channel including a stream to be combined with the present program / channel to provide a complete 3D video service.
  • the linked_minor_channel_number represents the minor_channel_number of the channel including the stream to be combined with the present program / channel to provide a complete 3D video service.
  • the linked_source_id indicates a source_id value of a channel including a stream to be combined with the present program / channel to provide a complete 3D video service.
  • the following describes a signaling method using SDT of DVB-SI.
  • FIG. 11 is a diagram illustrating a syntax structure of an SDT including service_enhancement_descriptor () according to an embodiment of the present invention.
  • the table_id field is an 8-bit field indicating that this section belongs to a service description table.
  • section_syntax_indicator is a 1-bit field and is set to 1.
  • section_length is a 12-bit field and the first two bits are set to 00. The number of bytes of the section including the CRC after this field. This field cannot exceed 1021 and the maximum section length is up to 1024 bytes.
  • the transport_stream_id is a 16-bit field and serves as a label for identifying the TS.
  • version_number is a 5-bit field and indicates the version number of the sub_table. Whenever there is a change in the sub_table, it is incremented by one. When the version value reaches 31, the next version value is 0.
  • current_next_indicator consists of 1 bit and the value is set to 1 if the sub_table is currently applicable. If it is set to 0, this means that it is not applicable yet and the following table is valid.
  • section_number consists of 8 bits and represents the number of sections.
  • the first section has a value of 0x00, and the value is increased by one for each additional section having the same table_id, the same transport_stream_id, and the same original_network_id.
  • last_section_number consists of 8 bits and indicates the number of the last section (that is, the highest section_number) of the corresponding sub_table to which this section is a part.
  • original_network_id is a 16-bit field and is a label identifying the network_id of the transmission system.
  • service_id is a 16-bit field and serves as a label to distinguish it from other services included in the TS. This is the same as program_number of program_map_section.
  • EIT_schedule_flag is set to 1 as a 1-bit field, it indicates that EIT schedule information for a corresponding service is included in the current TS. 0 indicates no inclusion.
  • EIT_present_following_flag is a 1-bit field. If it is set to 1, it indicates that EIT_present_following information for a corresponding service is included in the current TS. 0 indicates that EIT present / following information is not currently included in the TS.
  • running_status is a 3-bit field that indicates the status of the service.
  • free_CA_mode is a 1-bit field. If it is set to 0, it indicates that all element streams of the corresponding service are not scrambled. If set to 1, it means that one or more streams are being controlled by the CA system.
  • descriptors_loop_length is a 12-bit field and indicates the total length of the following descriptor in bytes.
  • descriptor () includes service_enhancement_descriptor () of the present invention.
  • CRC_32 is a 32-bit field that indicates the CRC value for the zero output of the register at the decoder.
  • FIG. 12 is a diagram illustrating a syntax structure of service_enhancement_descriptor () according to an embodiment of the present invention.
  • Service_enhancement_descriptor () of the present invention includes combined_service_type, enhancement_type, enhancement_right_flag, sync_type, enhancement_stream_format, enhancement_stream_sampling_factor, linked_TSID, linked_original_network_id, linked_service_id, linked_elementary_PID, internet_linkage_information, disparity_nefar, and disparity_near.
  • enhancement_type indicates the type of the path on which enhancement data for the service is transmitted. For example, it may be a terrestrial channel or the Internet. The meaning of the value for this field is the same as defined above, but the difference is that it is applied in units of service.
  • the linked_original_network_id represents an original_network_id value of a service including a stream to be combined with the present program / service to provide a complete 3D video service.
  • the linked_service_id represents a service_id value of a service including a stream to be combined with the present service to provide a complete 3D video service.
  • the linked_program_number field is omitted because the service_id and program_number fields have values, there may be an embodiment in which the linked_program_number field is included in the service_enhancement_descriptor in some cases.
  • the detailed information of the video stream corresponding to the enhancement data may be found by referring to the component_descriptor in the corresponding service, or the component_tag value or the elementary PID value of the corresponding component may be added to the above service_enhancement_descriptor so that only the field value may be immediately found.
  • the service_enhancement_descriptor may include a linked_component_tag or linked_elementary_PID field for the associated video / audio stream, and may also include stream related information such as linked_stream_content and linked_component_type.
  • the service level linkage_descriptor may be used to signal enhancement data information about the corresponding service.
  • information about enhancement data linked with a service is included in linkage_descriptor, and the content is the same as service_enhancement_descriptor.
  • FIG. 13 is a diagram illustrating a syntax structure of an EIT including event_enhancement_descriptor2 () according to an embodiment of the present invention.
  • FIG. 13 is a diagram illustrating a syntax structure of an EIT including event_enhancement_descriptor2 () according to an embodiment of the present invention.
  • the table_id field is an 8-bit field indicating that this section belongs to a service description table.
  • section_syntax_indicator is a 1-bit field and is set to 1.
  • section_length is a 12-bit field and indicates the number of bytes of the section including the CRC after this field. This field does not exceed 4093 and the maximum section length is up to 4096 bytes.
  • service_id is a 16-bit field and serves as a label to distinguish it from other services in the TS.
  • service_id has the same value as program_number of the corresponding program_map_section.
  • version_number is a 5-bit field and indicates the version number of the sub_table. Whenever there is a change in the sub_table, it is incremented by one. When the version value reaches 31, the next version value is 0.
  • current_next_indicator consists of 1 bit and the value is set to 1 if the sub_table is currently applicable. If it is set to 0, this means that it is not applicable yet and the following table is valid.
  • section_number consists of 8 bits and represents the number of sections.
  • the first section has a value of 0x00, and the value is increased by one for each additional section having the same table_id, the same transport_stream_id, and the same original_network_id.
  • last_section_number consists of 8 bits and indicates the number of the last section (that is, the highest section_number) of the corresponding sub_table to which this section is a part.
  • the transport_stream_id is a 16-bit field and serves as a label for identifying the TS.
  • original_network_id is a 16-bit field and is a label identifying the network_id of the transmission system.
  • segment_last_section_number is an 8-bit field and indicates the number of the segment last section of the sub_table. For a sub_table not divided into segments, this field has the same value as the last_section_number field.
  • last_table_id is an 8-bit field and indicates the last used table_id.
  • event_id is a 16-bit field that contains an id number representing an event (uniquely assigned in the service definition).
  • start_time is a 40-bit field that contains the event start time in Universal Time, Co-ordinated (UTC) format, and Modified Julian Date (MJD) format.
  • UTC Universal Time, Co-ordinated
  • MJD Modified Julian Date
  • This field consists of 16 bits coded by 16 LSBs of MJD and 24 bits coded by 6 digits of 4-bit Binary Coded Decimal (BCD). If no start time is defined (eg NVOD service), all bits are set to one.
  • Duration is a 24-bit field that contains the duration of the event in hours, minutes, and seconds. Therefore, it is represented by 6-digit 4-bit BCD and has 24 bits.
  • running_status is a 3-bit field that indicates the status of the event. Set to 0 for NVOD events.
  • free_CA_mode is a 1-bit field. If it is set to 0, it indicates that all element streams of the corresponding service are not scrambled. If set to 1, it means that one or more streams are being controlled by the CA system.
  • descriptors_loop_length is a 12-bit field and indicates the total length of the following descriptor in bytes.
  • CRC_32 is a 32-bit field that indicates the CRC value for the zero output of the register at the decoder.
  • FIG. 14 is a diagram illustrating a syntax structure of event_enhancement_descriptor2 () according to an embodiment of the present invention.
  • the event_enhancement_descriptor2 () of the present invention includes a combined_service_type, enhancement_type, enhancement_right_flag, sync_type, enhancement_stream_format, enhancement_stream_sampling_factor, avail_time_start, linked_event_id, linked_TSID, linked_original_network_id, linked_service_id, and internet_linkpar_informne, disity.
  • linkage_descriptor of the event level may be used to signal enhancement data information for the corresponding event.
  • information on enhancement data linked with an event is included in linkage_descriptor and includes the same content as event_enhancement_descriptor2 ().
  • the elements constituting the stereoscopic 3D video service receive a reference video through an essential channel (legacy compatible channel) through which 2D video is received, and information on enhancement data is obtained through SI of an essential channel. This information is used to access the enhancement data.
  • an essential channel legacy compatible channel
  • enhancement data is obtained through SI of an essential channel. This information is used to access the enhancement data.
  • channels that transmit enhancement data cannot be serviced independently, and set the following restrictions to prevent malfunction of existing receivers.
  • service_type is set to 0x07 (parameterized service) or 0x0A (non-stand-alone type service carrying additional data).
  • the stream_type should be able to represent depth / disparity data coded with MPEG-2 and depth / disparity data coded with AVC / H.264.
  • service_type is set to 0x1F (non-essential stereoscopic service carrying only additional / enhancement stream).
  • the stream_content and component_type use a combination of stream_content and component_type of the existing high definition video (MPEG-2 or H.264 / AVC) or newly define a combination only for the additional video as shown in FIG. 15.
  • stream_content is set to 0x01 and component_type is set to 0x13, it means MPEG-2 video and depth / disparity map data. If stream_content is set to 0x05 and component_type is set to 0x86, it means H.264 / AVC video and depth / disparity map data.
  • the following describes a configuration method for this enhancement channel when a path for receiving secondary video is called an enhancement channel.
  • Enhancement channel can be configured not to be recognized or ignored as a service channel in the existing receiver for compatibility with the existing HD receiver, and the signaling can be configured to recognize only as a service in the 3D receiver.
  • Secondary video is transmitted using such an enhancement channel.
  • the secondary video is included in a service that can be recognized by a conventional receiver but is transmitted, including a signal requesting not to recognize the secondary video. There are two ways to configure and transport a transport stream so that it cannot be recognized.
  • FIG. 16 illustrates signaling for requesting that an existing receiver not recognize an additional video in an ATSC PSIP environment according to an embodiment of the present invention.
  • the enhancement channel activates the hidden bit of TVCT as '1' and excludes it from the map of the existing receiver. During the test period, the hide-guide bit of TVCT can be activated to '1' and deactivated after standardization is completed.
  • Signaling for the additional video stream in the base channel may use a program number + component type combination of TVCT.
  • 17 is a diagram illustrating signaling for requesting that an existing receiver does not recognize an additional video in a DVB-SI environment according to an embodiment of the present invention.
  • DVB-SI does not explicitly support hidden by default. Instead, each country's standard includes a corresponding entry, and activates this feature so that it does not include an enhancement channel in the channel map.
  • the numeric selection flag and visible service flag of the service attribute descriptor included in the NIT 2nd loop are set to '0', the channel is not displayed on the existing receiver and can not be selected using the numeric keys on the remote control. It is not included in the map.
  • Signaling for the additional video stream in the base channel may use a combination of the original network id + transport stream id + service id + component type of the SDT.
  • the original network id + transport stream id + service id + component type of the SDT For example, it is also possible to use linked_original_network_id, linked_tsid, linked_service_id, and linked_elementary_PID.
  • FIG. 18 illustrates signaling for preventing an existing receiver from recognizing an additional video in an ATSC PSIP environment according to an embodiment of the present invention.
  • FIG. 19 illustrates signaling for preventing an existing receiver from recognizing an additional video in a DVB-SI environment according to an embodiment of the present invention.
  • signaling for an additional video stream is performed by a transport_stream_id + PID combination.
  • transport_stream_id + PID combination For example, linked_tsid + linked_elementary_PID described above. That is, in the case of an enhancement channel, only an additional video stream is transmitted without a PMT.
  • Transport packet level synchronization is a method of transmitting synchronization information using adaptation_field () of a transport packet.
  • a transport packet including a transport component including a video component received through an existing channel and enhancement data received through a separate channel are transmitted. Synchronization may be performed at the transport stream level by matching or aligning port packets.
  • adaptation_field () is a diagram illustrating adaptation_field () according to an embodiment of the present invention.
  • transport_field_extension_flag of adaptation_field () is set to 1, and the number of bytes of private_data_byte is signaled using transport_private_data_length.
  • signal number information on video / depth is signaled through video_frame_info_data_byte.
  • the receiving device controls the synchronization of elements constituting the 3D video service received through the multi-path using the above information.
  • FIG. 22 (a) is a diagram illustrating syntax of video_frame_info_data_byte according to an embodiment of the present invention.
  • the video_frame_info_data_byte is located in the private_data_byte of the adaptation_field of the transport packet and has a structure as shown in FIG. 22 (a).
  • the meaning of video_frame_info is determined according to the setting value of frame_info_type included in video_frame_info_data_byte, as shown in FIG. 22 (b).
  • video_frame_info means decoding order number.
  • video_frame_info means a decoding order number
  • video decoding structures for two components should be identical.
  • video_frame_info means display order number.
  • video_frame_info means PTS value of clock frequency 90KHz.
  • PTS is an abbreviation of presentation time stamp and indicates a time point when a decoded access unit should be reproduced.
  • video_frame_info represents an absolute time displayed.
  • the most significant bit (MSB) of this field is set to 0 and the remaining bits are 32 bits. 00:00:00 Displays time in GPS seconds since UTC.
  • video_frame_info means modified PTS. This is a time stamp relative to the video_frame_info value of the first picture in the video element set to zero. That is, video_frame_info of an individual picture is a relative count value according to the display time of the first picture of the video element. The unit of the above count is equal to the period of the system clock at the 90 KHz frequency.
  • video_frame_info_data_byte is transmitted in units of frames using an SEI message. Therefore, the video_frame_info field included in the user_data_registered_itu_t_135 SEI message included in the AVC / H.264 video stream received through the 2D video signal channel and the video_frame_info field of the SEI message included in the AVC / H.264 video stream for enhancement data are included. By matching, two streams may be synchronized.
  • the itu_t_35_country_code and itu_t_t35_provider_code fields use the values specified by the ITU-T T.35 Recommendations. ATSC has values of 0xB5 and 0x0031, respectively.
  • video_frame_info_data_byte is included in Picture User Data and transmitted.
  • the system level synchronization method performs synchronization using a presentation time stamp (PTS) value included in a PES for an essential video stream (Essential video stream) and an enhancement video stream (enhancement stream).
  • PTS presentation time stamp
  • PCR common clock
  • the encoder section also needs to control the two codecs in detail.
  • matching the PTS of a prestored stream and a real-time received stream requires considerable difficulty.
  • the digital broadcast receiver includes a plurality of system decoders 241 and 245, a plurality of video decoders 242 and 246, a plurality of input controllers 243, 244 and 247, a view combiner 248, an output formatter 249 and an output controller 250. ).
  • the reception apparatus may obtain synchronization information from a 2D video signal input to the system decoders 241 and 245 and a depth / disparity stream. Extract. As described above, 1) video_frame_info included in a transport packet, 2) user data or video_frame_info included in an SEI message, or 3) PTS value included in a PES packet header may be used. The synchronization information obtained here is used to match the depth / disparity data and the two-dimensional image signal decoded independently by each other by the video decoders 242 and 246.
  • this information is obtained from the system decoders 241 and 245 and transferred to the input controllers 243 and 247 immediately before view synthesis.
  • the information is obtained from the video decoders 242 and 246.
  • the data is transmitted to the input controllers 243 and 247 immediately before the solution point combiner 248.
  • video_frame_info When video_frame_info is used to synchronize the components of the 3D stereoscopic video signal, the output timing information of the actual video uses the existing PTS value. In other words, video_frame_info is used to synchronize two elements received through heterogeneous paths. Control is based on PTS.
  • the view combiner 248 generates another view forming the stereoscopic 3D video signal using the 2D video signal and the depth / disparity data corresponding thereto. As a result, the 2D video signal and the depth / disparity stream should be synchronized immediately before the view combiner 248 is input.
  • An additional image (right image, which may be a left image in some cases) and a reference image received through an existing channel (left image, which may be a right image in some cases) generated by combining views are output formatters 249 ) Is output as a 3D image from the 3D display unit.
  • the output timing of the 3D image is controlled by the output controller 250 based on the PTS.
  • FIG. 25 illustrates a view combining and synchronizing operation according to an embodiment of the present invention.
  • a 3D video signal generation sequence according to a time flow when a 3D video signal is provided using a 2D video signal and depth data is shown.
  • Depth information of frame 0 is obtained by decoding frame 0 and depth data of a reference view through decoding of a 2D video signal at t0.
  • Depth information of frame 1 is obtained by decoding frame 1 of the reference view and additional depth data through decoding of the 2D video signal at t1.
  • the frame 0 of the additional view is obtained using the frame 0 of the reference view and the depth information of the frame 0 through the view combiner.
  • Depth information about Frame 2 is obtained by decoding Frame 2 and additional Depth data of a reference view through decoding of a 2D video signal.
  • frame 1 of the additional view is obtained by using frame 1 of the reference view and depth information of frame 1 through the view combiner.
  • the formating pair 0, which is a 3D video signal is obtained using the frame 0 of the reference view and the additional view through the output formatter. Through this process, a 3D video signal can be provided to the user.
  • the 2D video signal refers to a video signal received through an existing digital TV channel, and is encoded into MPEG-2 video and optionally AVC / H.264 or Image coded using another codec.
  • the method of receiving 2D video signal is the same as the existing digital TV service reception, and information about existence of Enhancement Data, type of combined service, reception channel / path, and acquisition time using SI section received through this channel. Know your back.
  • Enhancement Data means Depth Map or Disparity Map data in the present invention. In some cases, Occlusion and Transparency information may be included and will be referred to as a depth map for convenience.
  • the 3D image signal receiving apparatus combines the 2D image signal received through the existing channel with the enhancement data to create another viewpoint that constitutes a stereoscopic 3D image signal. Enhancement data exists in two ways: real-time linkage and non-real-time linkage.
  • Enhancement data is received through the Internet or other terrestrial channels at the same time as the 2D video signal received through the existing channel.
  • the two components provide a real-time three-dimensional image to the viewer through real-time reception and real-time decoding.
  • the Enhancement Data is received in advance and stored in the storage device through the Internet or the terrestrial channel before the broadcast time of the 2D video signal. It can be either NRT or recording of Enhancement Data received live.
  • the 3D video is output through synchronization with the 2D video signal received while reproducing pre-recorded / stored enhancement data. That is, the actual broadcast is a two-dimensional live broadcast, but the receiver that stores the enhancement data in advance may provide a three-dimensional video live.
  • the depth ranges according to the viewer's taste can be selected using the disparity_near and disparity_far fields for each stream. That is, it is possible to implement depth control through selective reception of multiple depth maps and three-dimensional rendering using the received depth map.
  • the present invention may be applied in whole or in part to a digital broadcasting system.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Library & Information Science (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

본 발명은 3차원 영상을 포함하는 디지털 방송 신호를 처리하는 장치 및 방법에 관한 것이다. 본 발명의 일 실시예에 따른 디지털 방송 신호 처리 방법은 2차원 기준 영상의 비디오 스트림을 인코딩하는 단계, 상기 인코딩된 2차원 기준 영상과 함께 양안시차 3차원 영상을 생성하는, 부가 영상의 비디오 스트림을 인코딩하는 단계, 상기 인코딩된 부가 영상의 비디오 스트림이 3차원 영상 신호 수신기에서만 처리되도록 시그널링 정보를 생성하는 단계, 상기 인코딩된 기준 영상의 비디오 스트림을 포함하는 제1방송신호를 생성하는 단계, 상기 인코딩된 부가 영상의 비디오 스트림과 상기 시그널링 정보를 포함하는 제2방송신호를 생성하는 단계 및 상기 제1방송신호, 제2방송신호를 각각 다른 채널로 송신하는 단계를 포함한다.

Description

디지털 방송 신호 처리 방법 및 장치
본 발명은 3차원 영상을 포함하는 디지털 방송 신호를 처리하는 장치 및 방법에 관한 것이다. 더욱 상세하게는, 3차원 영상을 포함하는 디지털 방송 신호를 복수의 채널 또는 복수의 경로를 통해 송수신하여 3차원 영상으로 디스플레이하기 위한 처리 장치 및 방법에 관한 것이다.
3차원 텔레비젼(3-Dimensional Television, 3DTV)의 보급이 본격화됨에 따라 저장 매체에 의한 3차원(3D) 영상 컨텐츠 보급뿐만 아니라 디지털 방송에 의한 3차원 영상 컨텐츠의 전송이 활성화되고 있다.
일반적으로 3차원 영상은 두 눈의 스테레오(stereo) 시각 원리를 이용하여 입체감을 제공한다. 인간은 두 눈의 시차, 다시 말해 약 65mm 정도 떨어진 두 눈 사이의 간격에 의한 양안 시차(binocular parallax)를 통해 원근감을 느끼므로, 3D 영상은 좌안과 우안 각각이 연관된 평면 영상을 보도록 영상을 제공하여 입체감과 원근감을 제공할 수 있다.
이러한 3차원 영상 디스플레이 방법에는 스테레오스코픽(stereoscopic) 방식, 부피표현(volumetric) 방식, 홀로그래픽(holographic) 방식 등이 있다. 스테레오스코픽 방식의 경우, 좌안에서 시청되기 위한 레프트 뷰(left view) 이미지와 우안에서 시청되기 위한 라이트 뷰(right view) 이미지를 제공하여, 편광 안경 또는 디스플레이 장비 자체를 통해 좌안과 우안이 각각 레프트 뷰 이미지와 우측 이미지를 시청함으로써 3차원 영상 효과를 인지할 수 있도록 한다.
스테레오스코픽 3차원 영상 컨텐츠의 경우, 서로 다른 시점의 유사한 두 개의 영상을 송신하면 수신기가 두 개의 영상을 이용하여 3차원 영상으로 디스플레이하는 방식을 사용한다. 이 때 서로 다른 시점의 유사한 두 개의 영상을 기존의 방송 채널로 함께 보내는 방식과 기존 방송 채널 및 별도의 전송 채널로 나누어서 보내는 방식을 사용할 수 있다. 이러한 경우 수신기가 두 개의 영상을 하나의 3차원 영상으로 디스플레이하기 위해서는 쌍을 이루는 두 개의 영상에 대한 신호 정보(signal information)를 함께 수신해야 한다. 이러한 정보가 함께 수신되지 않는 경우 하나의 3차원 영상을 이루는 레프트 뷰 이미지와 라이트 뷰 이미지를 구별할 수 없어 3차원 영상을 복원하지 못하는 문제점이 발생한다. 또한 레프트 뷰 이미지와 라이트 뷰 이미지의 동기 시점 및 어느 시점에 3차원 영상 디스플레이가 가능한 것인지를 파악하지 못하는 문제점이 발생한다.
본 발명은 위와 같은 문제점을 해결하기 위한 것으로써, 본 발명이 이루고자 하는 기술적 과제는 디지털 방송 신호를 수신하는 장치 및 방법에서, 전술한 문제점을 겪지 않으면서, 3차원 영상을 디스플레이하기 위한 신호 정보를 포함하는 디지털 방송 신호를 수신하여 3차원 영상으로 디스플레이 가능하도록 하는 것이다.
전술한 기술적 과제를 해결하기 위하여, 본 발명의 일 실시예에 따른 디지털 방송 신호 처리 방법은 2차원 기준 영상의 비디오 스트림을 인코딩하는 단계, 상기 인코딩된 2차원 기준 영상과 함께 양안시차 3차원 영상을 생성하는, 부가 영상의 비디오 스트림을 인코딩하는 단계, 상기 인코딩된 부가 영상의 비디오 스트림이 3차원 영상 신호 수신기에서만 처리되도록 시그널링 정보를 생성하는 단계, 상기 인코딩된 기준 영상의 비디오 스트림을 포함하는 제1방송신호를 생성하는 단계, 상기 인코딩된 부가 영상의 비디오 스트림과 상기 시그널링 정보를 포함하는 제2방송신호를 생성하는 단계 및 상기 제1방송신호, 제2방송신호를 각각 다른 채널로 송신하는 단계를 포함한다.
또한, 본 발명의 일 실시예에 따른 디지털 방송 신호 처리 방법의 상기 시그널링 정보를 생성하는 단계는 2차원 영상 신호 수신기에서 상기 인코딩된 부가 영상의 비디오 스트림을 인식하지 않을 것을 요청하는 시그널링 정보를 생성하는 것을 특징으로 한다.
또한, 본 발명의 일 실시예에 따른 디지털 방송 신호 처리 방법의 상기 시그널링 정보를 생성하는 단계는 상기 제2방송신호가 전송되는 채널을 채널 맵에서 제외하는 것을 특징으로 한다.
또한, 본 발명의 일 실시예에 따른 디지털 방송 신호 처리 방법의 상기 시그널링 정보를 생성하는 단계는 2차원 영상 신호 수신기에서 상기 인코딩된 부가 영상의 비디오 스트림을 인식하지 못하게 하는 시그널링 정보를 생성하는 것을 특징으로 한다.
또한, 본 발명의 일 실시예에 따른 디지털 방송 신호 처리 방법의 상기 시그널링 정보를 생성하는 단계는 상기 제2방송신호에 의해 전송되는 스트림에 대한 시그널링 정보를 PAT 만으로 한정하고, program_loop을 삭제하거나 program_number를 0으로 설정하는 것을 특징으로 한다.
전술한 기술적 과제를 해결하기 위하여, 본 발명의 일 실시예에 따른 디지털 방송 신호 처리 장치는 2차원 기준 영상의 비디오 스트림을 인코딩하는 제1 비디오인코더, 상기 인코딩된 2차원 기준 영상과 함께 양안시차 3차원 영상을 생성하는, 부가 영상의 비디오 스트림을 인코딩하는 제2 비디오인코더, 상기 인코딩된 부가 영상의 비디오 스트림이 3차원 영상 신호 수신기에서만 처리되도록 시그널링 정보를 생성하는 SI 프로세서, 상기 인코딩된 기준 영상의 비디오 스트림을 포함하는 제1방송신호를 생성하는 제1시스템인코더, 상기 인코딩된 부가 영상의 비디오 스트림과 상기 시그널링 정보를 포함하는 제2방송신호를 생성하는 제2시스템인코더 및 상기 제1방송신호, 제2방송신호를 각각 다른 채널로 송신하는 송신부를 포함한다.
또한, 본 발명의 일 실시예에 따른 디지털 방송 신호 처리 장치의 상기 SI 프로세서는 2차원 영상 신호 수신기에서 상기 인코딩된 부가 영상의 비디오 스트림을 인식하지 않을 것을 요청하는 시그널링 정보를 생성하는 것을 특징으로 한다.
또한, 본 발명의 일 실시예에 따른 디지털 방송 신호 처리 장치의 상기 SI 프로세서는 상기 제2방송신호가 전송되는 채널을 채널 맵에서 제외하는 것을 특징으로 한다.
또한, 본 발명의 일 실시예에 따른 디지털 방송 신호 처리 장치의 상기 SI 프로세서는 2차원 영상 신호 수신기에서 상기 인코딩된 부가 영상의 비디오 스트림을 인식하지 못하게 하는 시그널링 정보를 생성하는 것을 특징으로 한다.
또한, 본 발명의 일 실시예에 따른 디지털 방송 신호 처리 장치의 상기 SI 프로세서는 상기 제2방송신호에 의해 전송되는 스트림에 대한 시그널링 정보를 PAT 만으로 한정하고, program_loop을 삭제하거나 program_number를 0으로 설정하는 것을 특징으로 한다.
본 발명에 따른 디지털 방송 신호 수신 장치 및 방법는 다음과 같은 효과를 가지고 있다.
본 발명의 일 실시예에 따르면, 디지털 방송 신호를 수신하여 3차원 영상 신호로 디스플레이할 수 있는 효과가 있다.
본 발명의 일 실시예에 따르면, 디지털 방송 신호를 수신하여 어느 시점에 3차원 영상 신호 디스플레이가 가능한지 여부를 알 수 있는 효과가 있다.
본 발명의 일 실시예에 따르면, 디지털 방송 신호를 수신하여 정확한 동기화정보를 얻을 수 있는 효과가 있다.
본 발명의 일 실시예에 따르면, 기존 방송 신호 수신 장치에 대한 하위호환성를 지원하는 효과가 있다.
도 1은 본 발명의 일 실시예에 따른 3차원 영상에 포함되는 비디오 엘리먼트의 조합을 나타내는 도면이다.
도 2는 본 발명의 일 실시예에 따른 디지털 방송 수신 장치를 나타낸 도면이다.
도 3은 본 발명의 일 실시예에 따른 event_enhancement_descriptor()를 포함하는 EIT의 신택스 구조를 나타낸 도면이다.
도 4는 본 발명의 일 실시예에 따른 event_enhancement_descriptor()의 신택스 구조를 나타낸 도면이다.
도 5(a)는 본 발명의 일 실시예에 따른 combined_service_type을 나타낸 도면이다.
도 5(b)는 본 발명의 일 실시예에 따른 enhancement_type을 나타낸 도면이다.
도 6(a)는 본 발명의 일 실시예에 따른 sync_type을 나타낸 도면이다.
도 6(b)는 본 발명의 일 실시예에 따른 enhancement_stream_format을 나타낸 도면이다.
도 6(c)는 본 발명의 일 실시예에 따른 enhancement_stream_sampling_factor 를 나타낸 도면이다.
도 7은 본 발명의 일 실시예에 따른 event_enhancement_descriptor()를 포함하는 PMT의 신택스 구조를 나타낸 도면이다.
도 8은 본 발명의 일 실시예에 따른 program_enhancement_descriptor()의 신택스 구조를 나타낸 도면이다.
도 9는 본 발명의 일 실시예에 따른 channel_enhancement_descriptor()를 포함하는 TVCT의 신택스 구조를 나타낸 도면이다.
도 10은 본 발명의 일 실시예에 따른 channel_enhancement_descriptor()의 신택스 구조를 나타낸 도면이다.
도 11은 본 발명의 일 실시예에 따른 service_enhancement_descriptor()를 포함하는 SDT의 신택스 구조를 나타낸 도면이다.
도 12는 본 발명의 일 실시예에 따른 service_enhancement_descriptor()의 신택스 구조를 나타낸 도면이다.
도 13은 본 발명의 일 실시예에 따른 event_enhancement_descriptor2()를 포함하는 EIT의 신택스 구조를 나타낸 도면이다.
도 14는 본 발명의 일 실시예에 따른 event_enhancement_descriptor2()의 신택스 구조를 나타낸 도면이다.
도 15는 본 발명의 일 실시예에 따른 새로운 stream_content 및 component_type 조합을 나타낸 도면이다.
도 16은 본 발명의 일 실시예에 따른 ATSC PSIP 환경에서 기존 수신기가 부가 영상을 인식하지 않도록 요청하는 시그널링을 나타낸 도면이다.
도 17은 본 발명의 일 실시예에 따른 DVB-SI 환경에서 기존 수신기가 부가 영상을 인식하지 않도록 요청하는 시그널링을 나타낸 도면이다.
도 18은 본 발명의 일 실시예에 따른 ATSC PSIP 환경에서 기존 수신기가 부가 영상을 인식할 수 없도록 하는 시그널링을 나타낸 도면이다.
도 19는 본 발명의 일 실시예에 따른 DVB-SI 환경에서 기존 수신기가 부가 영상을 인식할 수 없도록 하는 시그널링을 나타낸 도면이다.
도 20은 본 발명의 일 실시예에 따른 transport_packet()을 나타낸 도면이다.
도 21은 본 발명의 일 실시예에 따른 adaptation_field()를 나타낸 도면이다.
도 22(a)는 본 발명의 일 실시예에 따른 video_frame_info_data_byte의 신택스를 나타낸 도면이다.
도 22(b)는 본 발명의 일 실시예에 따른 frame_info_type의 설정값에 따른 video_frame_info의 의미를 나타낸 도면이다.
도 23은 본 발명의 일 실시예에 따른 비디오 레벨 동기화 방법을 나타낸 도면이다.
도 24는 본 발명의 일 실시예에 따른 디지털 방송 수신 장치를 나타낸 도면이다.
도 25는 본 발명의 일 실시예에 따른 시점 결합 및 동기화 동작을 나타낸 도면이다.
이하 첨부 도면들 및 첨부 도면들에 기재된 내용들을 참조하여 본 발명의 실시 예를 상세하게 설명하지만, 본 발명이 실시 예들에 의해 제한되거나 한정되는 것은 아니다.
본 명세서에서 사용되는 용어는 본 발명에서의 기능을 고려하면서 가능한 현재 널리 사용되는 일반적인 용어를 선택하였으나, 이는 당 분야에 종사하는 기술자의 의도 또는 관례 또는 새로운 기술의 출현 등에 따라 달라질 수 있다. 또한, 특정한 경우는 출원인이 임의로 선정한 용어도 있으며, 이 경우 해당되는 발명의 설명 부분에서 그 의미를 기재할 것이다. 따라서 본 명세서에서 사용되는 용어는, 단순한 용어의 명칭이 아닌 그 용어가 가지는 실질적인 의미와 본 명세서의 전반에 걸친 내용을 토대로 해석되어야 함을 밝혀두고자 한다.
3차원 영상 표현 방법은 2개의 시점을 고려하는 스테레오스코픽 방식과 3개 이상의 시점을 고려하는 멀티플 뷰 이미지(multiple view image) 방식(또는 다시점 방식)을 포함할 수 있다. 이에 비해 종래의 싱글 뷰 이미지(single view image) 방식은 모노스코픽 영상 방식이라고 지칭할 수 있다.
스테레오스코픽 방식은 일정한 거리로 이격되어 있는 좌측 카메라와 우측 카메라로 동일한 피사체를 촬영하여 획득한 레프트 뷰 이미지(이하 좌 영상)와 라이브 뷰 이미지(이하 우 영상)의 한 쌍의 이미지를 사용한다. 또는 기준 영상과 부가 영상의 한 쌍의 이미지를 사용한다. 이하 좌, 우 영상과 기준, 부가 영상은 스테레오스코픽 방식의 3차원 영상에 포함되는 요소로써 동일한 의미로 사용될 수 있다. 다시점 방식은 일정한 거리나 각도를 갖는 3개 이상의 카메라에서 촬영하여 획득한 3개 이상의 이미지를 사용한다. 이하에서 스테레오스코픽 방식을 일 실시예로 본 발명을 설명하나 본 발명의 사상은 다시점 방식에도 적용될 수 있을 것이다.
본 발명에 따른 스테레오스코픽 방식은 Side-by-Side 방식, Top-Bottom 방식, checker board 방식 등이 있다. Side-by-Side 방식은 좌 영상과 우 영상을 각각 수평방향으로 1/2 다운샘플링하고, 샘플링한 하나의 영상을 left 영역에, 샘플링한 나머지 하나의 영상을 right 영역에 위치시켜 하나의 스테레오스코픽 영상을 구성하는 방식이며, Top-Bottom 방식은 좌 영상과 우 영상을 각각 수직방향으로 1/2 다운샘플링하고, 샘플링한 하나의 영상을 Top 영역에, 샘플링한 나머지 하나의 영상을 bottom 영역에 위치시켜 하나의 스테레오스코픽 영상을 구성하는 방식이다. 체커보드 방식은 좌 영상과 우 영상을 각각 수직 및 수평방향으로 교차하도록 1/2 다운샘플링하여 두 영상을 하나의 영상으로 구성하는 방식이다. 하지만 본 발명에 따른 스테레오스코픽 방식은 위의 예에 한정되거나 제한되는 것은 아니다. 일 예로 본 발명에서 설명하는 복수의 채널을 통한 3차원 영상 서비스를 제공하는 방법은 복수의 채널을 통해 위에서 언급한 다운샘플링 작업을 거치지 아니하고 온전한 해상도를 갖는 두 개의 영상을 송수신하여 이를 3차원 영상 서비스로 제공하는 것도 가능하다.
스테레오스코픽 방식은 동일한 3차원 영상에 포함되는 좌 영상과 우 영상 또는 기준 영상과 부가 영상을 커플링하기 위한 부가적인 신호 정보(signal information)가 필요하다.
도 1은 본 발명의 일 실시예에 따른 3차원 영상에 포함되는 비디오 엘리먼트의 조합을 나타내는 도면이다.
3차원 프로그램을 구성하는 요소가 2개 이상의 비디오 엘리먼트로 구성되는 경우 이를 각각 기준 영상 엘리먼트(Primary video element)와 부가 영상 엘리먼트(secondary video element)로 구분할 수 있다. 기준 영상 엘리먼트로는 Motion Picture Experts Group-2(MPEG-2) 또는 AVC/H.264으로 코딩된 2차원 스트림이나 AVC/H.264로 코딩된 frame-compatible 3차원 비디오인 Phase1 3DTV 비디오가 가능하다.
부가 영상 엘리먼트로는 깊이 정보(Depth map or disparity map), Multiview Video Coding(MVC) extension, MPEG-2 또는 AVC/H.264의 dual independent 스트림 방식을 사용하는 3차원 시스템에서의 부가 영상 2차원 스트림, Phase1 3DTV 비디오에 대한 인핸스먼트 시그널이 가능하다. 위의 깊이 정보는 선택적 오클루젼(occlusion) 정보나 투명도(transparency) 정보를 포함할 수 있다.
도 2는 본 발명의 일 실시예에 따른 디지털 방송 수신 장치를 나타낸 도면이다. 본 발명에 따른 디지털 방송 수신 장치는 복수의 스트림 역다중화부(21,22), 복수의 시스템 디코더(23,24), 복수의 비디오 디코더(25,26), 동기화부(27), 시점렌더링부(28), 출력 포맷터(29)를 포함할 수 있다. 여기서 시점렌더링부(28)는 깊이 정보(Depth map or disparity map)가 부가 영상 엘리먼트로 입력될 때에 동작한다.
역다중화부(21,22)는 기준 영상 엘리먼트와 부가 영상 엘리먼트를 포함하는 방송 스트림을 각각 수신하여 기준 영상 엘리먼트와 부가 영상 엘리먼트를 역다중화한다. 이때 기준 영상에 대한 역다중화부는 함께 포함된 오디오 엘리먼트와 데이터를 함께 추출할 수 있다.
추출된 기준 영상 엘리먼트 및 부가 영상 엘리먼트는 각각 시스템 디코더(23,24)에 입력되고, 시스템 디코더(23,24)는 이로부터 동기화 정보를 추출한다. 여기서 획득한 동기화 정보는 비디오 디코더(25,26)에 의해 서로 독립적으로 디코딩된 기준 영상과 부가 영상을 매칭시키는데 사용된다.
위에서 디코딩된 기준 영상 엘리먼트는 기준 영상으로 독립적으로 출력되어 2차원 영상 신호를 디스플레이하는 것이 가능하다.
동기화부(27)는 기준 영상 및 부가 영상을 동기화하고 시점렌더링부(28)로 출력한다. 시점렌더링부(28)는 부가 영상 엘리먼트가 깊이 정보인 경우에 동작하며 기준 영상과 깊이 정보를 근거로 부가 영상을 렌더링한다. 이 때, 부가 영상 엘리먼트가 깊이 정보인 경우에는 그 자체로는 시각적인 영상을 제공할 수 없고, 시점렌더링부(28)에 의해 기준 영상과 깊이 정보가 조합된 후에야 부가적인 시점을 위한 영상으로의 역할을 할 수 있다.
부가 영상 엘리먼트가 깊이 정보가 아닌 영상 자체인 경우에는 시점렌더링부(28)는 동작하지 않을 수 있다. 예를 들면 부가 영상 엘리먼트가 MPEG-2 또는 AVC/H.264의 dual independent 스트림 방식을 사용하는 3차원 시스템에서의 부가 영상 2차원 스트림인 경우이다.
부가 영상(우 영상, 경우에 따라 좌 영상이 될 수도 있음)과 기준 영상 (좌 영상, 경우에 따라 우 영상이 될 수도 있음)은 출력 포맷터(29)를 거쳐 3차원 디스플레이부에서 3차원 영상으로 출력된다.
이와 같이 지상파를 통해 기준 영상이 수신되면 해당 영상은 스테레오스코픽 3차원 영상을 구성하는 하나의 시점이 되고 별도 채널을 통해 수신되는 부가 영상을 이용해 기 수신된 기준 영상과 결합해 최종적으로 스테레오스코픽 2차원 영상을 출력할 수 있다.
이하의 실시 예에서는 기준 영상(예를 들어 2차원 비디오)의 경우 기존 방송 채널을 통한 수신을 가정하고 있고 부가 영상(예를 들어 인핸스먼트 비디오 또는 깊이 정보)은 별도 채널을 통해 수신된 후 실시간으로 동기화되는 전송 시나리오를 가정한다.
3차원 영상을 출력하는 과정은 이전에 수신된 부가 영상을 실시간으로 수신되는 기준 영상과 연동하여 최종적으로 3차원 영상을 렌더링하는 방식을 사용할 수도 있다.
기준 영상과 부가 영상을 연동하여 최종적으로 3차원 영상 신호를 출력하기 위해서는 다음과 같은 고려 사항이 존재한다.
먼저 기준 영상과 부가 영상의 연동 정보에 대한 시그널링이 필요하다. 그 예로써, 기준 영상과 연동되는 부가 영상의 존재 여부를 알려주는 정보인 presence signaling, 기준 영상과 연동되는 부가 영상의 경로(위치)에 대한 정보인 Location signaling, 기준 영상과 연동되는 부가 영상의 동기화 또는 연동 방식에 대한 정보인 Synchronization/coupling mode signaling, 기준 영상과 연동되는 부가 영상을 수신할 수 있는 시간에 대한 정보인 Available time signaling, 기준 영상과 연동되는 부가 영상의 format 또는 codec에 대한 정보인 Format/codec signaling, 다양한 depth range를 갖는 3차원 영상 신호를 제공하기 위해 여러 개의 depth 정보 또는 부가 영상을 전송하는 방법 및 각 부가 영상에 대한 depth range 정보를 제공하는 Depth range signaling이 필요하다.
다음으로는 기준 영상과 부가 영상을 연동하기 위한 frame level 동기화 정보가 필요하다. 그 예로써, Video level signaling, Transport stream level signaling이 필요하다.
또한 수신기 동작과 관련해서는 기준 영상과 연동되는 부가 영상을 수신, 재생 및 저장하는 방법, 여러가지 다양한 depth mode를 지원할 수 있는 방법인 Multiple depth map (depth track)/서로 다른 depth range를 갖는 여러 개의 부가 영상에 대한 고려가 필요하다.
또한 위의 모든 정보가 기존의 2D는 물론 3D 수신기의 정상적인 동작에 영향을 주지 않기 위한 방법과 관련하여, 기본적으로 시그널링은 기준 영상이 수신되는 채널을 통해 depth data를 포함하는 enhancement data에 대한 접근 정보를 획득하는 방법을 고려하고, Enhancement data(이하 Enhancement data는 depth data를 포함하는 정보이다)가 수신되는 채널은 독립적 서비스가 불가능하며, 시그널링 정보는 Enhancement data 관련 정보를 제공하도록 한다. 부가적으로 2차원 영상 수신 채널에 대한 연결 정보가 제공될 수 있다. 기존 수신기에서는 시그널링 정보 역시 의미가 없도록 송수신하여야 한다.
아래에서는 SI section을 통해 Enhancement Data를 시그널링하기 위한 디스크립터를 정의한다. 편의상 디스크립터에는 loop를 포함하지 않았으나 경우에 따라 multiple enhancement data를 전송할 수 있으며 이 때 디스크립터는 전송하는 enhancement data stream의 개수만큼 필드를 반복해야 한다. 특히, multiple depth map 전송을 통한 depth control 구현의 경우에 해당한다.
먼저 ATSC PSIP의 EIT를 이용한 시그널링 방법을 설명한다.
도 3은 본 발명의 일 실시예에 따른 event_enhancement_descriptor()를 포함하는 EIT의 신택스 구조를 나타낸 도면이다.
EIT의 이벤트 레벨에서 디스크립터를 이용해 해당 이벤트와 연동되는 enhancement data에 대한 시그널링을 수행한다.
table_id는 8 비트 필드로써, 0xCB로 설정되고, 해당 섹션이 EIT에 속함을 나타낸다.
section_syntax_indicator는 1비트 필드로써 1로 설정된다. 이는 section length 필드 이후에 섹션이 generic section syntax를 따름을 의미한다.
private_indicator는 1 비트 필드로써 1로 설정된다.
section_length는 12 비트 필드로써, 이 필드 이후로부터 CRC_32 필드를 포함하는 섹션 끝까지 남아있는 바이트 수를 나타낸다. 이 필드의 값은 4093을 넘지 못한다.
source_id는 16 비트 필드로써 이 섹션에서 묘사되는 이벤트를 전달하는 virtual channel의 source_id를 나타낸다.
version_number는 5-bit 필드로써, EIT-i의 버전 번호를 나타낸다. 버전 번호는 EIT-i 내의 어떤 필드라도 변화가 있으면 1씩(modulo 32) 증가한다. i와 j가 다를 경우, EIT-i의 버전 번호와 EIT-j의 버전 번호는 무관하다. 이 필드의 값은 MGT에 기재 내용과 동일한 값을 갖는다.
current_next_indicator는 1 비트 인디케이터로써, EIT 섹션에 대해 항상 1로 설정된다. EIT는 항상 현재 적용 가능하다.
section_number는 8 비트 필드로써, 이 섹션의 번호를 나타낸다.
last_section_number는 8 비트 필드로써, 마지막 섹션의 번호를 나타낸다.
protocol_version 필드는 8비트로써, 미래에 현재 프로토콜에서 정의된 것과 다른 테이블 종류를 허락하는 기능을 한다. 현재 프로토콜에서는 0만이 유효한 값이다. 0이 아닌 값은 구조적으로 다른 테이블을 위해 후 버전에서 사용될 것이다.
num_events_in_section 필드는 8 비트로써, 이 EIT 섹션 내의 이벤트의 숫자를 나타낸다. 0인 경우 이 섹션에는 정의된 이벤트가 없음을 나타낸다.
event_id 필드는 14 비트로써 묘사되는 이벤트의 ID를 나타낸다. 이는 ETM_id의 일부로써 사용된다.
start_time은 32 비트 필드로써, 1980.1.6. 00:00:00 UTC 이후 GPS 초단위로 이 이벤트의 시작시간을 나타낸다. 어떤 virtual channel에서도, start_time의 값은 이전 이벤트의 종료시간(end_time)보다 작을 수 없다. 여기서 종료시간은 이벤트의 시작시간(start_time)에 이벤트의 길이(length_in_seconds)를 더한 값으로 정의된다.
ETM_location은 2 비트 필드로써, Extended Text Message (ETM)의 존재와 위치를 나타낸다.
length_in_seconds 필드는 이 이벤트의 지속시간을 초단위로 나타낸다.
title_length 필드는 title_text()의 길이를 바이트 단위로 나타낸다. 0의 값은 해당 이벤트에 제목이 존재하지 않음을 나타낸다.
title_text()는 multiple string structure 포맷의 이벤트의 이름을 나타낸다.
descriptors_length 필드는 따라오는 이벤트 디스크립터의 총 길이를 바이트로 나타낸다. 0개 혹은 그 이상의 디스크립터가 descriptor()가 포함된 for loop의 반복문에 의해 EIT 내에 포함된다. EIT 내에서 사용되기 위해 정의된 디스크립터의 타입은 content_advisory_descriptor(), the caption_service_descriptor() 및 the AC-3 audio_stream_descriptor()등이 포함될 수 있다. 본 발명의 event_enhancement_descriptor()는 descriptor() 내에 포함될 수 있다.
CRC_32는 32 비트 필드로써, 디코더에서 레지스터의 zero output을 위한 CRC value를 나타낸다.
도 4는 본 발명의 일 실시예에 따른 event_enhancement_descriptor()의 신택스 구조를 나타낸 도면이다.
본 발명의 event_enhancement_descriptor()는 combined_service_type, enhancement_type, enhancement_right_flag, sync_type, enhancement_stream_format, enhancement_stream_sampling_factor, avail_time_start, linked_TSID, linked_program_number, linked_elementary_PID, internet_linkage_information, disparity_near, disparity_far를 포함한다.
도 5(a)는 본 발명의 일 실시예에 따른 combined_service_type을 나타낸 도면이다. combined_service_type은 두 개 이상의 별도 경로/채널 등을 통해 수신/전송되는 구성요소들이 합쳐졌을 때 궁극적으로 제공하기 위한 서비스 타입을 나타내는 필드이다. 즉, 해당 이벤트와 이 디스크립터에서 지정한 위치를 통해 수신된 enhancement data를 합쳐서 제공되는 최종 서비스의 타입을 의미한다. combined_service_type이 0x0인 경우 2차원 scalable 영상 서비스, 0x1인 경우 3차원 스테레오스코픽 영상 서비스, 0x2인 경우 3차원 다시점 서비스, 0x3인 경우 Ultra definition(UD) 영상 서비스를 의미한다. 이하 본 발명에서는 combined_service_type=0x1, 3D stereoscopic service에 대한 내용을 중심으로 서술한다.
enhancement_right_flag는 enhancement data를 이용해 스테레오스코픽 3차원 영상 서비스의 시점을 렌더링 할 때 해당 영상의 left view / right view 여부를 알려준다. 이 값이 ‘1’이면 enhancement data 또는 enhancement data를 통해 획득한 view는 right 영상이다.
도 5(b)는 본 발명의 일 실시예에 따른 enhancement_type을 나타낸 도면이다. enhancement_type은 해당 이벤트에 대한 enhancement data가 전송되는 경로에 대한 타입을 알려준다. 예를 들면 지상파 channel, internet 등이 있을 수 있다.
enhancement_type이 0x0인 경우 해당 이벤트는 서비스를 위해 필요한 모든 구성요소를 포함하고 있음을 의미한다. 이는 enhancement data 역시 해당 이벤트의 구성 요소로 포함되어 수신됨을 나타낸다.
enhancement_type이 0x1인 경우 해당 이벤트와 다른 채널을 통해 enhancement data가 수신되며 수신 경로의 종류는 해당 이벤트와 동일하다. 예를 들어, 이벤트가 지상파인 경우 이에 대한 enhancement data 역시 지상파의 다른 채널을 통해 수신됨을 나타낸다. Enhancement data에 대한 자세한 경로 정보는 linked_TSID, linked_program_number를 이용한다.
enhancement_type이 0x2인 경우 해당 이벤트가 enhancement data만을 포함하고 동일한 type의 경로를 통해 필수 데이터(essential data)가 전송되는 경우에 해당한다. 즉, enhancement data 및 essential data 모두 지상파를 통해 수신되는 경우이다. 마찬가지로 essential data에 대한 자세한 경로 정보는 linked_TSID, linked_program_number 필드를 이용한다.
enhancement_type이 0x3인 경우 해당 이벤트에 대한 enhancement data가 internet을 통해 수신된다는 의미이다. Enhancement data의 접근을 위한 경로 정보는 internet_linkage_information을 이용한다.
도 6(a)는 본 발명의 일 실시예에 따른 sync_type을 나타낸 도면이다. sync_type은 해당 이벤트의 구성 요소와 enhancement data의 전송에 대한 동기화 및 결합 방법에 대한 정보를 알려준다.
sync_type이 0x0인 경우 해당 이벤트의 구성요소와 enhancement data가 동시에 전송된다. synchronized transmission으로 칭할 수 있다.
sync_type이 0x1인 경우 Enhancement data가 해당 이벤트보다 늦게 전송된다. 정상적인 3차원 영상 시청을 위해서는 해당 이벤트를 녹화한 후 추후 수신되는 enhancement data와의 연동 또는 결합이 요구된다.
sync_type이 0x2인 경우 Enhancement data가 이미 해당 이벤트 이전에 전송되며 정상적인 3차원 영상 시청을 위해서는 실시간으로 수신되는 이벤트의 구성요소와 기존에 이미 수신/저장된 enhancement data와의 연동/결합이 요구된다.
sync_type이 0x3인 경우 0x1의 경우와 같으나 enhancement data의 synchronized transmission 역시 가능하다는 의미이다.
sync_type이 0x4인 경우 0x2의 경우와 같으나 enhancement data의 synchronized transmission 역시 가능하다는 의미이다.
도 6(b)는 본 발명의 일 실시예에 따른 enhancement_stream_format을 나타낸 도면이다. enhancement_stream_format은 해당 이벤트에 대한 enhancement data의 data format, codec 등에 대한 정보를 알려준다. 이하 본 문서에서는 depth/disparity data를 전송하는 case인 0x25, 0x26을 중심으로 서술한다.
도 6(c)는 본 발명의 일 실시예에 따른 enhancement_stream_sampling_factor 를 나타낸 도면이다. enhancement_stream_sampling_factor는 enhancement data의 해상도를 의미하며 해당 이벤트의 비디오스트림(기준영상) 대비 가로 및 세로 방향으로의 sampling factor를 의미한다. 0x00인 경우 기준 영상과 동일한 해상도임을 의미하고, 0xXY이 경우 수평방향은 기준 영상 대비 1/(X+1), 수직방향은 기준 영상 대비 1/(Y+1)임을 나타낸다. 예를 들어, 가로 1/4, 세로 1/8의 크기를 갖는 depth/disparity map의 경우 이 필드는 0x37의 값을 갖는다.
avail_time_start은 현재 이벤트의 구성요소와 결합되어 3차원 영상 콘텐츠를 구성하는 enhancement data가 전송되는 시작 시간을 의미한다. 32 비트 필드로써, 1980.1.6. 00:00:00 UTC 이후 GPS 초단위로 이 이벤트의 시작시간을 나타낸다. 이 필드 값이 0인 경우는 enhancement data가 언제든지 available 하다는 의미이다.
linked_TSID는 enhancement data가 포함된 transport stream의 transport_stream_id 값을 의미한다.
linked_program_number는 enhancement data가 포함된 프로그램/채널에 대한 program_number 값을 나타낸다. 즉, linked_TSID와 linked_program_number를 이용해 enhancement data가 포함된 스트림을 유일하게 정의 할 수 있다.
linked_elementary_PID는 linked_TSID, linked_program_number와 더불어 enhancement data에 대한 elementary PID 값을 event_enhancement_descriptor()에 포함시킬 수 있다.
internet_linkage_information은 인터넷을 통해 enhancement data를 전송하는 경우 이에 대한 정보를 제공하며, IP 주소가 32 비트인지 128 비트인지 나타내는 필드, IP 주소, 포트 넘버, 해당 스트림의 URI 등의 추가 정보, available time slot을 포함할 수 있다. 이때, available time slot은 start time, expiration time을 포함할 수 있으며 avail_time_start 필드와 중복될 수 있다.
disparity_near, disparity_far는 enhancement data가 깊이 정보(disparity/depth map)인 경우 depth의 범위를 나타낸다. 각각 사용자에게 가장 가까운 object point 및 가장 먼 object point에 해당하는 disparity 값을 의미한다.
위의 디스크립터에서 multiple enhancement stream에 대한 시그널링도 가능하다. 이를 위해서 디스크립터 내에 loop를 이용해 n 개의 enhancement stream을 시그널링 할 수 있다.
다음은 PMT를 이용한 시그널링 방법을 설명한다.
도 7은 본 발명의 일 실시예에 따른 event_enhancement_descriptor()를 포함하는 PMT의 신택스 구조를 나타낸 도면이다.
PMT(program map table)는 프로그램 넘버와 프로그램 엘리먼트 간에 맵핑을 제공하는 테이블이다. PMT의 프로그램 레벨(1st descriptor loop) 또는 ES 레벨(2nd descriptor loop)에서 디스크립터를 이용해 해당 프로그램 또는 프로그램 엘리먼트와 연동되는 enhancement data에 대한 시그널링을 수행한다.
PMT는 다음을 포함한다.
table_id 필드는 8 비트 필드로써, TS_program_map_section은 항상 0x02의 값으로 설정된다.
section_syntax_indicator 필드는 1 비트로써, 1로 설정된다.
section_length field는 12 비트로 구성되며, 처음 두 비트는 00이다. 이 필드는 섹션의 바이트 수를 나타내며, 이 필드 이후부터 CRC까지의 길이를 나타낸다. 이 필드의 값은 1021를 넘지 않는다.
program_number 필드는 16 비트로 구성된다. 이는 어느 프로그램에 program_map_PID가 적용가능한지 나타낸다. 하나의 프로그램 정의는 오직 하나의 TS_program_map_section에 의해서만 전송된다. 이는 프로그램 정의는 1016을 넘을 수 없을을 내포한다.
version_number 필드는 Virtual Channel의 버전을 나타낸다. VCT에 변경된 사항이 있을 때마다 1 씩 증가한다. 버전 값이 31이 도달하면 그 다음 버전 값은 0이 된다. 이 필드의 값은 MGT의 동일 필드값과 반드시 동일한 값이어야 한다.
current_next_indicator 필드는 1 비트로 구성되며 VCT가 현재 적용 가능한 것일 경우 값이 1로 설정된다. 만약 0으로 설정되어 있다면, 이는 아직 적용할 수 없으며 다음 테이블이 유효함을 의미한다.
section_number 필드의 값은 0x00으로 설정된다.
last_section_number 필드의 값은 0x00으로 설정된다.
PCR_PID 필드는 13 비트로 구성되며, 프로그램 번호에 의해 상술되는 프로그램에 대해 유효한 PCR 필드를 포함하는 TS의 PID를 의미한다.
program_info_length 필드는 12 비트로 구성되며, 처음 두 비트는 00의 값을 갖는다. 나머지 10 비트는 이 필드 이후에 따라오는 디스크립터를 바이트 수로 나타낸다.
stream_type 필드는 8 비트로 구성되며, 기본 PID의 PID 값을 갖는 패킷에 의해 전송되는 프로그램 엘리먼트의 타입을 나타낸다.
elementary_PID 는 13 비트로 구성되며 관련된 프로그램 엘리먼트를 포함하는 TS의 PID를 나타낸다.
ES_info_length 필드는 12 비트로 구성되며, 첫 두 비트는 00이다. 나머지 10 비트는 이 필드 이후에 따라오는 관련 프로그램 엘리먼트의 디스크립터를 바이트 수로 나타낸다.
CRC_32 필드는 디코더 내의 레지스터의 zero output이 되도록 하는 CRC value를 나타낸다.
도 8은 본 발명의 일 실시예에 따른 program_enhancement_descriptor()의 신택스 구조를 나타낸 도면이다.
본 발명의 program_enhancement_descriptor()는 combined_service_type, enhancement_type, enhancement_right_flag, sync_type, enhancement_stream_format, enhancement_stream_sampling_factor, linked_TSID, linked_program_number, linked_elementary_PID, internet_linkage_information, disparity_near, disparity_far를 포함한다.
Program_enhancement_data_descriptor는 해당 프로그램과 연동되어 3차원 영상 서비스를 구현하기 위한 enhancement data에 대한 정보를 제공한다. 이 때, 제공되는 정보는 프로그램과의 연동 여부를 알려준다.
enhancement_type은 해당 program에 대한 enhancement data가 전송되는 경로에 대한 type을 알려준다. 이 필드에 대한 값의 의미는 위의 event_enhancement_descriptor()에서 정의한 내용과 동일하나 차이점은 event가 아닌 program 단위로 적용이 된다는 점이다. 이밖에 다른 필드들의 기능적인 의미는 event_enhancement_descriptor()의 내용과 동일하다.
linked_elementary_PID는 반드시 필요한 필드는 아니며 실시 예에 따라 생략 가능하다.
다음은 ATSC PSIP의 TVCT를 이용한 시그널링 방법을 설명한다.
도 9는 본 발명의 일 실시예에 따른 channel_enhancement_descriptor()를 포함하는 TVCT의 신택스 구조를 나타낸 도면이다.
TVCT(terrestrial virtual channel table)는 ATSC의 PSIP에서 트랜스포트 스트림에 포함된 virtual channel들의 속성을 포함하고 있는 테이블이다.
TVCT에 포함된 내용은 다음과 같다.
table_id 필드의 값은 해당 테이블 섹션의 타입을 가리킨다. TVCT를 가리키기 위해 그 값은 0xC8이어야 한다.
section_syntax_indicator 필드는 1 비트로 구성되며 그 값은 1로 고정된다.
private_indicator 필드는 1로 설정된다.
section_length 필드는 12 비트로 구성되며, 처음 두 비트는 00이다. 이 필드는 섹션의 바이트 수를 나타내며, 이 필드 이후부터 CRC까지의 길이를 나타낸다. 이 필드의 값은 1021를 넘지 않는다.
transport_stream_id 필드는 16 비트로 구성되며, MPEG-2 전송 스트림(Transport stream, TS) ID 이다. 이 필드에 의해 다른 TVCT와 구분이 가능하다.
version_number 필드는 Virtual Channel의 버전을 나타낸다. VCT에 변경된 사항이 있을 때마다 1 씩 증가한다. 버전 값이 31이 도달하면 그 다음 버전 값은 0이 된다. 이 필드의 값은 MGT의 동일 필드값과 반드시 동일한 값이어야 한다.
current_next_indicator 필드는 1 비트로 구성되며 VCT가 현재 적용 가능한 것일 경우 값이 1로 설정된다. 만약 0으로 설정되어 있다면, 이는 아직 적용할 수 없으며 다음 테이블이 유효함을 의미한다.
section_number 필드는 섹션의 개수를 나타낸다. TVCT의 첫번째 섹션의 값은 0x00이고 추가적인 섹션마다 값은 1 씩 증가한다.
last_section_number 필드는 마지막 섹션의 숫자를 의미한다. 즉, 전체 TVCT에서 가장 높은 section_number를 갖는 섹션의 숫자를 의미한다.
protocol_version 필드는 미래에 현재 프로토콜에서 정의된 것과 다른 테이블 종류를 허락하는 기능을 한다. 현재 프로토콜에서는 0만이 유효한 값이다. 0이 아닌 값은 구조적으로 다른 테이블을 위해 후 버전에서 사용될 것이다.
num_channels_in_section 필드는 VCT 섹션에서 virtual channel의 개수를 나타낸다. 그 값은 섹션 길이에 의해 제한된다.
short_name 필드는 virtual channel의 이름을 나타낸다.
major_channel_number 필드는 10 비트로 구성되고, for 반복문 내에서 해당 차례에 정의되는 virtual channel의 major 채널 번호를 나타낸다. 각 virtual channel은 major 채널 번호와 minor 채널 번호로 이루어진다. major 채널 번호는 minor 채널 번호와 함께 해당 virtual channel에 대해 사용자에게 참조 번호로 ㄷ동작한다. major 채널 번호는 1 부터 99까지의 값을 갖고, major/minor 채널 번호 쌍은 TVCT 내에서 중복된 값을 갖지 않는다.
minor_channel_number 필드는 10 비트로 구성되고, 0부터 999까지의 값을 ㄱ갖는다. minor 채널 번호는 major 채널 번호와 함께 two-part 채널 번호로 동작한다. 서비스 타입이 ATSC_digital_television 또는 ATSC_audio_only 인 경우에는 minor 채널 번호는 1부터 99까지의 값을 갖는다. major/minor 채널 번호 쌍은 TVCT 내에서 중복된 값을 갖지 않는다.
modulation_mode 필드는 해당 virtual channel과 관련된 전송 캐리어의 ㅂ벼변조 모드를 나타낸다.
carrier_frequency 필드의 값은 0 이다. 이 필드를 사용하여 캐리어 주파수를 확인하는 것이 허락되었지만, 반대된다.
channel_TSID 필드는 0x0000으로부터 0xFFFF의 값을 가지며, 이 virtual channel에 의해 참조되는 MPEG-2 프로그램을 전달하는 TS와 관련된 MPEG-2 TSID이다.
program_number 필드는 TVCT에서 정의된 virtual channel과 MPEG-2 PROGRAM ASSOCIATION 및 TS PROGRAM MAP 테이블을 연관짓는다.
ETM_location 필드는 Extended Text Message (ETM)의 존재와 위치를 나타낸다.
access_controlled 필드는 1 비트 불리안 플래그로써, 1인 경우 해당 virtual channel과 관련된 이벤트가 접근 제어됨을 나타낼 수 있다. 0인 경우 접근이 제한되지 않음을 나타낸다.
hidden 필드는 1 비트 불리안 플래그로써, 1인 경우 사용자에 의해 해당 번호가 직접 입력되더라도 접근이 허용되지 않는다. hidden virtual channel은 사용자가 채널 서핑을 하는 경우 스킵되며, 정의되지 않은 것처럼 보여진다.
hide_guide 필드는 불리안 플래그로써, hidden channel에 대해 0으로 설정되면 EPG 디스플레이에 그 virtual channel과 event가 보여질 수 있다. hidden 비트가 설정되지 않으면 이 필드는 무시된다. 따라서 non-hidden 채널과 그 이벤트는 hide_guide 비트의 상태와 관계없이 EPG 디스플레이에 속하게된다.
service_type 필드는 해당 virtual channel에 의해 전달되는 서비스의 타입을 확인한다.
source_id 필드는 virtual channel과 관련된 프로그래밍 소스를 확인한다. 여기서, 소스는 비디오, 텍스트, 데이터, 또는 오디오 프로그래밍을 중 어느 하나 일 수 있다. source id 0은 예약된 값이며, 0x0001로부터 0x0FFF까지는 VCT를 전달하는 TS 내에서 유일한 값을 갖는다. 또한 0x1000로부터 0xFFFF까지는 지역 레벨에서 유일한 값을 갖는다.
descriptors_length 필드는 해당 virtual channel을 위한 뒤따르는 디스크립터의 길이를 바이트 단위로 나타낸다.
descriptor() 내에는 디스크립터가 포함되어 있지 않거나 또는 1개 이상의 디스크립터가 포함될 수 있다.
additional_descriptors_length 필드는 뒤따르는 VCT 디스크립터 리스트의 총 길이를 바이트 단위로 나타낸다.
CRC_32 필드는 디코더 내의 레지스터의 zero output이 되도록 하는 CRC value를 나타낸다.
TVCT의 virtual channel 레벨에서 디스크립터를 이용해 해당 virtual channel의 구성요소와 연동되어 3차원 영상 서비스를 제공하기 위한 enhancement data의 정보를 시그널링한다. 이 정보는 채널과의 연동 여부를 알려준다.
도 10은 본 발명의 일 실시예에 따른 channel_enhancement_descriptor()의 신택스 구조를 나타낸 도면이다.
본 발명의 channel_enhancement_descriptor()는 combined_service_type, enhancement_type, enhancement_right_flag, sync_type, enhancement_stream_format, enhancement_stream_sampling_factor, linked_TSID, linked_program_number, linked_service_id, linked_elementary_PID, internet_linkage_information, disparity_near, disparity_far를 포함한다.
enhancement_type는 해당 virtual channel에 대한 enhancement data가 전송되는 경로에 대한 타입을 알려준다. 예를 들면, 지상파 채널, internet 등이 될 수 있다. 이 필드에 대한 값의 의미는 위에서 정의한 내용과 동일하나 차이점은 이벤트나 프로그램이 아닌 virtual channel 단위로 적용이 된다는 점이다.
linked_channel_TSID는 완전한 3차원 영상 서비스를 제공하기 위해 본 프로그램/채널과 결합될 스트림을 포함한 프로그램/채널에 대한 transport_stream_id 값을 나타낸다.
linked_channel_program_number는 완전한 3차원 영상 서비스를 제공하기 위해 본 프로그램/채널과 결합될 스트림을 포함한 프로그램/채널에 대한 program_number 값을 나타낸다.
linked_major_channel_number는 완전한 3차원 영상 서비스를 제공하기 위해 본 프로그램/채널과 결합될 스트림을 포함한 채널의 major_channel_number를 나타낸다.
linked_minor_channel_number는 완전한 3차원 영상 서비스를 제공하기 위해 본 프로그램/채널과 결합될 스트림을 포함한 채널의 minor_channel_number를 나타낸다.
linked_source_id는 완전한 3차원 영상 서비스를 제공하기 위해 본 프로그램/채널과 결합될 스트림을 포함한 채널의 source_id 값을 나타낸다.
다음은 DVB-SI의 SDT를 이용한 시그널링 방법을 설명한다.
SDT의 서비스 레벨에서 디스크립터를 이용해 해당 service_id로 지정된 서비스와 연동되는 enhancement data에 대한 정보를 시그널링한다. 이 정보는 해당 서비스에 대한 연동 데이터의 존재 여부를 알려준다.
도 11은 본 발명의 일 실시예에 따른 service_enhancement_descriptor()를 포함하는 SDT의 신택스 구조를 나타낸 도면이다.
table_id 필드는 8 비트 필드로써, 이 섹션이 Service Description Table에 속한다는 것을 나타낸다..
section_syntax_indicator는 1 비트 필드로써, 1로 설정된다.
section_length는 12 비트 필드로써, 첫 두 비트는 00으로 설정된다. 이 필드 이후부터 CRC를 포함하는 섹션의 바이트 수를 나타낸다. 이 필드는 1021를 넘지 못하며 전체 섹션 길이는 최대 1024 bytes가 된다.
transport_stream_id는 16 비트 필드로써, TS를 구별하는 레이블 역할을 한다.
version_number는 5 비트 필드로써 sub_table의 버전 번호를 나타낸다. sub_table에 변경된 사항이 있을 때마다 1 씩 증가한다. 버전 값이 31이 도달하면 그 다음 버전 값은 0이 된다.
current_next_indicator는 1 비트로 구성되며 sub_table이 현재 적용 가능한 것일 경우 값이 1로 설정된다. 만약 0으로 설정되어 있다면, 이는 아직 적용할 수 없으며 다음 테이블이 유효함을 의미한다.
section_number는 8 비트로 구성되며 섹션의 수를 나타낸다. 첫 번째 섹션은 0x00의 값을 가지며, 동일 table_id, 동일 transport_stream_id 및 동일original_network_id를 갖는 추가 섹션마다 값이 1씩 증가한다.
last_section_number는 8 비트로 구성되며 이 섹션이 일부분인 해당 sub_table의 마지막 섹션(즉 가장 높은 section_number)의 번호를 나타낸다.
original_network_id는 16 비트 필드로써, 전송 시스템의 network_id를 확인하는 레이블이다.
service_id는 16 비트 필드로써, TS 내에 포함된 다른 서비스와 구별 짓는 레이블 역할을 한다. 이는 program_map_section의 program_number와 동일하다.
EIT_schedule_flag는 1 비트 필드로써 1로 설정되면 현재 TS 내에 해당 서비스를 위한 EIT 스케쥴 정보가 포함되어 있음을 나타낸다. 0이면 포함되어 있지 않음을 나타낸다.
EIT_present_following_flag는 1 비트 필드로써, 1로 설정되면 현재 TS 내에 해당 서비스를 위한 EIT_present_following 정보가 포함되어 있음을 나타낸다. 0이면 EIT present/following 정보가 현재 TS에 포함되어 있지 않음을 나타낸다.
running_status는 3 비트 필드로써 서비스의 상태를 나타낸다.
free_CA_mode는 1 비트 필드로써, 0으로 설정되면 해당 서비스의 모든 요소 스트림들이 스크램블되지 않음을 나타낸다. 1로 설정되면, 하나 또는 그 이상의 스트림이 CA 시스템에 의해 제어되고 있음을 의미한다.
descriptors_loop_length는 12 비트 필드로써 따라오는 디스크립터의 전체 길이를 바이트 단위로 나타낸다.
descriptor()는 본 발명의 service_enhancement_descriptor()를 포함한다.
CRC_32는 32 비트 필드로써, 디코더에서 레지스터의 zero output을 위한 CRC value를 나타낸다.
도 12는 본 발명의 일 실시예에 따른 service_enhancement_descriptor()의 신택스 구조를 나타낸 도면이다.
본 발명의 service_enhancement_descriptor()는 combined_service_type, enhancement_type, enhancement_right_flag, sync_type, enhancement_stream_format, enhancement_stream_sampling_factor, linked_TSID, linked_original_network_id, linked_service_id, linked_elementary_PID, internet_linkage_information, disparity_near, disparity_far를 포함한다.
enhancement_type은 해당 서비스에 대한 enhancement data가 전송되는 경로에 대한 타입을 알려준다. 예를 들면, 지상파 channel, internet 등이 될 수 있다. 이 필드에 대한 값의 의미는 위에서 정의한 내용과 동일하나 차이점은 service 단위로 적용이 된다는 점이다.
linked_original_network_id는 완전한 3차원 영상 서비스를 제공하기 위해 본 프로그램/서비스와 결합될 스트림을 포함한 서비스의 original_network_id 값을 나타낸다.
linked_service_id는 완전한 3차원 영상 서비스를 제공하기 위해 본 서비스와 결합될 스트림을 포함한 서비스의 service_id 값을 나타낸다.
본 실시 예에서는 service_id와 program_number 필드의 값을 갖게 하므로 linked_program_number 필드를 생략하지만 경우에 따라 service_enhancement_descriptor에 linked_program_number 필드를 포함하는 실시 예가 있을 수 있다.
여기서, enhancement data에 해당되는 비디오 스트림의 상세 정보는 해당 서비스의 내의 component_descriptor를 참고하여 알아낼 수도 있고, 혹은 위 service_enhancement_descriptor 내에 해당 component의 component_tag 값이나 혹은 elementary PID 값을 추가하여 그 필드 값만 보고 바로 찾게 할 수도 있다. 즉, 실시 예에 따라 service_enhancement_descriptor에 associated video/audio stream에 대한 linked_component_tag 또는 linked_elementary_PID 필드를 포함할 수 있으며 linked_stream_content 및 linked_component_type 과 같은 스트림 관련 정보도 포함 할 수 있다.
또는 서비스 레벨 linkage_descriptor를 이용해 해당 서비스에 대한 enhancement data의 정보를 시그널링 할 수 있다. 이 경우 linkage_descriptor 내에 서비스와 연동되는 enhancement data에 대한 정보를 포함하며 내용은 service_enhancement_descriptor와 동일하다.
다음은 DVB-SI의 EIT를 이용한 시그널링 방법을 설명한다.
EIT의 이벤트 레벨에서 디스크립터를 이용해 해당 이벤트와 연동되는 enhancement data에 대한 시그널링을 수행한다. ATSC PSIP의 EIT와는 신택스 구성이 약간 다르다.
도 13은 본 발명의 일 실시예에 따른 event_enhancement_descriptor2()를 포함하는 EIT의 신택스 구조를 나타낸 도면이다.
table_id 필드는 8 비트 필드로써, 이 섹션이 Service Description Table에 속한다는 것을 나타낸다..
section_syntax_indicator는 1 비트 필드로써, 1로 설정된다.
section_length는 12 비트 필드로써, 이 필드 이후부터 CRC를 포함하는 섹션의 바이트 수를 나타낸다. 이 필드는 4093를 넘지 못하며 전체 섹션 길이는 최대 4096 bytes가 된다.
service_id는 16 비트 필드로써, TS 내의 다른 서비스와 구분하는 레이블 역할을 한다. service_id는 상응하는 program_map_section의 program_number와 동일한 값을 갖는다.
version_number는 5 비트 필드로써 sub_table의 버전 번호를 나타낸다. sub_table에 변경된 사항이 있을 때마다 1 씩 증가한다. 버전 값이 31이 도달하면 그 다음 버전 값은 0이 된다.
current_next_indicator는 1 비트로 구성되며 sub_table이 현재 적용 가능한 것일 경우 값이 1로 설정된다. 만약 0으로 설정되어 있다면, 이는 아직 적용할 수 없으며 다음 테이블이 유효함을 의미한다.
section_number는 8 비트로 구성되며 섹션의 수를 나타낸다. 첫 번째 섹션은 0x00의 값을 가지며, 동일 table_id, 동일 transport_stream_id 및 동일original_network_id를 갖는 추가 섹션마다 값이 1씩 증가한다.
last_section_number는 8 비트로 구성되며 이 섹션이 일부분인 해당 sub_table의 마지막 섹션(즉 가장 높은 section_number)의 번호를 나타낸다.
transport_stream_id는 16 비트 필드로써, TS를 구별하는 레이블 역할을 한다.
original_network_id는 16 비트 필드로써, 전송 시스템의 network_id를 확인하는 레이블이다.
segment_last_section_number는 8 비트 필드로써, sub_table의 세그먼트 마지막 섹션의 숫자를 나타낸다. 세그먼트로 나누어지지 않은 sub_table에 대해서는 이 필드는 last_section_number 필드와 동일한 값을 갖는다.
last_table_id는 8 비트 필드로써, 마지막에 사용된 table_id를 나타낸다.
event_id는 16 비트 필드로써, 이벤트를 나타내는 id number를 포함한다(서비스 정의 내에서 유일하게 배정된다).
start_time은 40 비트 필드로써, Universal Time, Co-ordinated (UTC) 형식, Modified Julian Date (MJD) 형식의 이벤트 시작시간을 포함한다. 이 필드는 MJD의 16 LSBs에 의해 코딩된 16 비트와 4비트 Binary Coded Decimal (BCD)의 6자리로 코딩된 24비트로 이루어진다. 만약 시작시간이 정의되지 않으면(예를 들어, NVOD 서비스) 모든 비트는 1로 설정된다.
Duration은 24 비트 필드로써 이벤트의 지속 시간을 시간, 분, 초 단위로 포함한다. 따라서 6자리 4-bit BCD로 표현되어 24 비트를 갖는다.
running_status은 3 비트 필드로써 이벤트의 상태를 나타낸다. NVOD 이벤트의 경우 0으로 설정된다.
free_CA_mode는 1 비트 필드로써, 0으로 설정되면 해당 서비스의 모든 요소 스트림들이 스크램블되지 않음을 나타낸다. 1로 설정되면, 하나 또는 그 이상의 스트림이 CA 시스템에 의해 제어되고 있음을 의미한다.
descriptors_loop_length는 12 비트 필드로써 따라오는 디스크립터의 전체 길이를 바이트 단위로 나타낸다.
CRC_32는 32 비트 필드로써, 디코더에서 레지스터의 zero output을 위한 CRC value를 나타낸다.
도 14는 본 발명의 일 실시예에 따른 event_enhancement_descriptor2()의 신택스 구조를 나타낸 도면이다.
본 발명의 event_enhancement_descriptor2()는 combined_service_type, enhancement_type, enhancement_right_flag, sync_type, enhancement_stream_format, enhancement_stream_sampling_factor, avail_time_start, linked_event_id, linked_TSID, linked_original_network_id, linked_service_id, internet_linkage_information, disparity_near, disparity_far를 포함한다.
각 구성요소에 대한 설명은 위에서 설명한 바와 같다.
이와는 달리 이벤트 레벨의 linkage_descriptor를 이용해 해당 이벤트에 대한 enhancement data의 정보를 시그널링 할 수 있다. 이 경우 linkage_descriptor 내에 이벤트와 연동되는 enhancement data에 대한 정보를 포함하며 event_enhancement_descriptor2()와 동일한 내용을 포함한다.
이하에서는 하위 호환성(Backward compatibility)을 위한 고려사항에 대해 설명한다.
먼저 부가 채널/서비스(enhancement(non-essential) channel/service)에 대한 제약사항을 먼저 검토한다.
일반적으로 스테레오스코픽 3차원 영상 서비스를 구성하는 요소들은 2차원 비디오가 수신되는 필수 채널(legacy 호환 채널)을 통해 기준 영상을 수신하고 enhancement data에 대한 정보는 필수 채널의 SI 등을 통해 획득한 다음에 이 정보를 활용해 enhancement data에 접근한다.
기본적으로 enhancement data를 전송하는 채널은 독립적인 서비스가 불가능하며 기존 수신기의 오동작 방지를 위해 다음과 같은 제약 사항를 설정한다.
ATSC TVCT의 경우 service_type을 0x07 (parameterized service) 또는 0x0A (non-stand-alone type service carrying additional data)로 설정한다.
stream_type은 MPEG-2로 코딩된 depth/disparity data 및 AVC/H.264로 coding된 depth/disparity data를 나타낼 수 있어야 한다. 새로운 stream_type을 지정할 때에는 MPEG-2 registration_descriptor를 이용한다. 예를 들어, AVC/H.264로 coding된 depth/disparity data의 stream_type 값을 0x83으로 정한다고 하면 registration_descriptor의 format_identifier 필드는 "DIS1"-(0x4449 5331)의 값을 갖고 additional_idenfication_info 필드는 0x83의 값을 갖는다.
DVB SDT / EIT의 경우 service_type는 0x1F (non-essential stereoscopic service carrying only additional/enhancement stream)로 설정한다.
stream_content, component_type은 기존의 high definition video (MPEG-2 or H.264/AVC)의 stream_content 및 component_type 조합을 쓰거나, 도 15와 같이 부가 영상만을 위한 조합을 새로 정의한다.
도 15는 본 발명의 일 실시예에 따른 새로운 stream_content 및 component_type 조합을 나타낸 도면이다. stream_content가 0x01, component_type이 0x13으로 설정되면 MPEG-2 video, depth/disparity map data를 의미하고, stream_content가 0x05, component_type이 0x86으로 설정되면 H.264/AVC video, depth/disparity map data를 의미한다.
아래에서는 부가 영상(secondary video)이 수신되는 경로를 enhancement channel이라고 할 때, 이 enhancement channel에 대한 구성 방법을 기술한다.
Enhancement channel은 기존 HD수신기와의 호환성을 위해 기존 수신기에서는 서비스 채널로 인식되지 않거나 무시하도록 하고, 3D 수신기에서만 서비스로 인식할 수 있도록 시그널링을 구성할 수 있다. 부가 영상(secondary video)은 이러한 Enhancement channel을 이용하여 전송하게 되는데, 이러한 부가 영상(secondary video)을 기존 수신기에서 인식 가능한 서비스에 넣되 인식하지 말 것을 요청하는 신호를 포함해서 전송하는 방법과, 기존 수신기에서 인식 불가능하도록 Transport stream을 구성해서 전송하는 방법 두 가지가 있다.
먼저 Separate (hidden) service를 이용하는 방법에 대해 설명한다.
부가 영상(secondary video)를 기존 수신기에서 인식 가능한 서비스에 넣되 인식하지 말 것을 요청하는 신호를 포함해서 전송하는 경우, 도 16, 17과 같은 시그널링이 필요하다.
도 16은 본 발명의 일 실시예에 따른 ATSC PSIP 환경에서 기존 수신기가 부가 영상을 인식하지 않도록 요청하는 시그널링을 나타낸 도면이다.
Enhancement channel은 TVCT의 hidden bit를 ‘1’로 활성화해서 기존 수신기의 map에서 제외한다. 테스트기간에는 TVCT의 hide-guide bit를 ‘1’로 활성화하고, 표준화 완료 이후 비활성화할 수 있다.
Base channel(기준 영상이 수신되는 채널)에서 부가 영상 스트림에 대한 시그널링은 TVCT의 program number + component type 조합을 이용할 수 있다. 앞서 설명한 바와 같이 linked_program_number, linked_tsid, linked_elementary_PID를 이용하는 것도 가능하다.
도 17은 본 발명의 일 실시예에 따른 DVB-SI 환경에서 기존 수신기가 부가 영상을 인식하지 않도록 요청하는 시그널링을 나타낸 도면이다.
Enhancement channel의 경우, DVB-SI에는 기본적으로 hidden을 명시적으로 지원하지는 않는다. 대신 각 국가별 표준에 해당 항목이 포함되어 있으며, 해당 기능을 활성화해서 channel map에서 enhancement channel을 포함하지 않도록 한다. 영국 표준인 D-Book에서는 NIT 2nd loop에 포함되는 service attribute descriptor의 numeric selection flag와 visible service flag를 ‘0’으로 세팅하면 기존 수신기에서는 채널이 표시되지 않는 동시에 리모컨의 숫자키로도 선택할 수 없게 되어 channel map에 포함되지 않는다.
Base channel에서 부가 영상 스트림에 대한 시그널링은 SDT의 original network id + transport stream id + service id + component type 조합을 이용할 수 있다. 예컨데, linked_original_network_id, linked_tsid, linked_service_id, linked_elementary_PID를 이용하는 것도 가능하다.
다음은 Separate (independent) component를 이용하는 방법에 대해 설명한다. 부가 영상을 기존 수신기에서 인식 불가능하도록 하여 전송하는 경우, 다음과 같은 시그널링이 필요하다
도 18은 본 발명의 일 실시예에 따른 ATSC PSIP 환경에서 기존 수신기가 부가 영상을 인식할 수 없도록 하는 시그널링을 나타낸 도면이다.
도 19는 본 발명의 일 실시예에 따른 DVB-SI 환경에서 기존 수신기가 부가 영상을 인식할 수 없도록 하는 시그널링을 나타낸 도면이다.
Enhancement channel의 경우 TS stream에 PSI 정보를 PAT만으로 한정한다. 이에 따라 기존 수신기에서는 해당 채널의 신호에 대한 검출은 가능하지만, 서비스로 인식하지 않고 map에서 제외한다. 기존 수신기에서 검출하지 않도록 program_loop는 없거나, program_number=0으로 세팅한다. 프로그램은 없고 단지 network_PID만 존재하게 된다.
Base channel의 경우 부가 영상 스트림에 대한 시그널링은 transport_stream_id + PID 조합으로 이루어진다. 예컨데 위에서 설명한 linked_tsid + linked_elementary_PID가 된다. 즉, enhancement channel의 경우 PMT 없이 부가 영상 스트림만 전송되는 형태이다.
아래에서는 영상신호와 깊이정보(Depth/Disparity)의 동기화를 위한 방법에 대해 설명한다.
먼저 Transport packet 레벨의 동기화에 대해 살펴본다.
도 20은 본 발명의 일 실시예에 따른 transport_packet()을 나타낸 도면이다. 트랜스포트 패킷 레벨 동기화 방법은 트랜스포트 패킷의 adaptation_field()를 이용해 동기화 정보를 전송하는 방법으로 기존 채널을 통해 수신되는 비디오 컴포넌트를 포함하는 트랜스포트 패킷과 별도 채널을 통해 수신되는 enhancement data를 포함하는 트랜스포트 패킷을 matching 또는 align 함으로써 트랜스포트 스트림 레벨에서 동기화를 수행할 수 있다.
도 21은 본 발명의 일 실시예에 따른 adaptation_field()를 나타낸 도면이다. 동기화를 위해 adaptation_field()의 transport_field_extension_flag를 1로 설정하고, transport_private_data_length를 이용해 private_data_byte가 몇 byte인지를 시그널링한다. 또한 video_frame_info_data_byte를 통해 video/depth에 대한 프레임 넘버 정보를 시그널링한다. 수신 장치는 위의 정보를 이용하여 다중 경로로 수신된 3차원 영상 서비스를 구성하는 엘리먼트들의 동기화를 제어한다.
도 22(a)는 본 발명의 일 실시예에 따른 video_frame_info_data_byte의 신택스를 나타낸 도면이다. video_frame_info_data_byte는 트랜스포트 패킷의 adaptation_field의 private_data_byte에 위치하며 도 22(a)와 같은 구조를 갖는다. 여기서 video_frame_info_data_byte에 포함된 frame_info_type의 설정값에 따라 video_frame_info의 의미가 결정되며 이는 도 22(b)와 같다.
frame_info_type이 0x01인 경우 video_frame_info는 decoding order number를 의미한다. video_frame_info가 decoding order number를 의미하는 경우, 두 개의 컴포넌트에 대한 비디오 디코딩 구조(GOP 구조)가 동일해야 한다.
frame_info_type이 0x02인 경우에 video_frame_info는 display order number를 의미한다. frame_info_type이 0x03인 경우 video_frame_info은 clock 주파수 90KHz의 PTS 값을 의미한다. 여기서 PTS란 presentation time stamp의 약자로써 디코딩된 access unit이 재생되어야 하는 시점을 나타낸다.
frame_info_type이 0x04인 경우 video_frame_info은 디스플레이되는 절대 시간을 나타낸다. 이 필드의 최상위 비트(most significant bit,MSB)는 0으로 설정되며 나머지 비트들은 32비트로써 1980.1.6. 00:00:00 UTC 이후 GPS 초단위로 시간을 나타낸다.
frame_info_type이 0x05인 경우 video_frame_info은 수정된 PTS임을 의미한다. 이는 0으로 셋팅되는 비디오 엘리먼트 내 첫번째 픽쳐의 video_frame_info 값에 상대적인 time stamp이다. 즉, 개별 픽쳐의 video_frame_info은, 비디오 엘리먼트의 첫번째 픽쳐의 디스플레이 시간에 따라 상대적인 카운트 값이다. 위의 카운트의 단위는 90KHz 주파수의 시스템 클락의 주기와 동일하다.
다음은 비디오 레벨 동기화 방법에 대해 설명한다.
도 23은 본 발명의 일 실시예에 따른 비디오 레벨 동기화 방법을 나타낸 도면이다. AVC/H.264 video의 경우 SEI 메시지를 이용해 프레임 단위로 video_frame_info_data_byte를 전송한다. 따라서, 2차원 영상 신호 채널을 통해 수신되는 AVC/H.264 비디오 스트림에 포함된 user_data_registered_itu_t_135 SEI 메시지에 포함된 video_frame_info 필드와 enhancement data에 대한 AVC/H.264 비디오 스트림에 포함된 SEI 메시지의 video_frame_info 필드를 매칭시켜 두 스트림에 대한 동기화를 수행할 수 있다. 참고로 itu_t_35_country_code와 itu_t_t35_provider_code 필드는 ITU-T T.35 권고안에 의해 지정된 값을 사용한다. ATSC의 경우 각각 0xB5와 0x0031의 값을 갖는다.
MPEG-2 video인 경우 video_frame_info_data_byte가 Picture User Data에 포함되어 전송된다.
다음은 시스템 레벨 동기화 방법에 대해 설명한다.
시스템 레벨 동기화 방법은 필수 영상 스트림(Essential video stream, 2차원 영상 스트림)과 부가 영상 스트림(enhancement stream)에 대한 PES에 포함된 PTS(presentation time stamp) 값을 이용해 동기화를 수행한다. PTS 값을 사용하는 방법은 기존 스펙을 그대로 유지하면서 이종 경로를 통해 수신된 독립된 엘리먼트들의 동기화를 구현할 수 있다는 장점이 있는 반면, 엘리먼트의 독립적인 특성상 PTS에 대한 common clock (PCR)을 설정하기 어려우며 common clock이 있다 하더라도 서로 매칭되는 프레임의 PTS가 일치한다는 보장이 없다는 단점이 존재한다. 결과적으로 PTS와 관련해 인코더 부분에서도 두 개의 코덱을 세밀하게 동기화시켜야 하는 제어가 필요하다. 아울러 비실시간 연동의 경우 미리 저장된 스트림과 실시간 수신되는 스트림의 PTS를 일치시키는 작업이 상당한 난이도를 요구하게 된다.
다음은 수신 장치의 동작에 대해서 설명한다.
도 24는 본 발명의 일 실시예에 따른 디지털 방송 수신 장치를 나타낸 도면이다. 본 발명에 따른 디지털 방송 수신 장치는 복수의 시스템 디코더(241,245), 복수의 비디오 디코더(242,246), 복수의 입력제어부(243,244,247), 시점 결합부(248), 출력 포맷터(249), 출력제어부(250)를 포함한다.
Depth/disparity data를 이용한 3차원 영상 서비스를 제공하기 위한 비디오 디코딩과 동기화 및 시점 결합에 대해서 설명하면, 수신 장치는 시스템 디코더(241,245)에 입력된 2차원 영상 신호와 depth/disparity stream으로부터 동기화 정보를 추출한다. 동기화 정보는 위에 기술한대로 1)transport packet에 포함된 video_frame_info, 2)video 스트림의 user data 혹은 SEI message에 포함된 video_frame_info, 또는 3)PES packet header에 포함된 PTS 값을 이용할 수 있다. 여기서 획득한 동기화 정보는 비디오 디코더(242,246)에 의해 서로 독립적으로 디코딩된 2차원 영상 신호와 depth/disparity 데이터를 매칭시키는데 사용된다. 1)과 3)의 경우 이 정보가 시스템 디코더(241,245)에서 획득되어 시점 결합부(view synthesis) 직전의 입력제어부(243,247)에 전달되며, 2)의 경우 비디오 디코더(242,246)에서 해당 정보를 획득해 시점 결합부(248) 직전의 입력 제어부(243,247)에 전달된다.
3차원 스테레오스코픽 영상 신호의 구성 요소를 동기화하기 위해 video_frame_info를 이용하는 경우 실제 영상의 출력 타이밍 정보는 기존의 PTS 값을 그대로 활용한다. 즉, 이종 경로를 통해 수신되는 두 개의 엘리먼트의 동기화를 위해 video_frame_info를 활용하되 실제 3차원 시점 (2차원 + Enhancement Data를 이용한 다른 시점 결합)의 출력 타이밍 및 3차원 시점과 오디오 신호와의 동기화 등에 대한 제어는 PTS를 기반으로 한다.
시점 결합부(248)은 2차원 영상 신호와 이에 대응되는 Depth/Disparity data를 이용해 스테레오스코픽 3차원 영상 신호를 구성하는 또 하나의 시점을 생성한다. 결과적으로 시점 결합부(248) 입력 직전에 2차원 영상 신호와 depth/disparity 스트림의 동기화가 이루어져야 한다.
시점 결합에 의해 생성된 부가 영상(우 영상, 경우에 따라 좌 영상이 될 수도 있음)과 기존 채널을 통해 수신된 기준 영상 (좌 영상, 경우에 따라 우 영상이 될 수도 있음)은 출력 포맷터(249)를 거쳐 3차원 디스플레이부에서 3차원 영상으로 출력된다. 3차원 영상의 출력 타이밍은 출력 제어부(250)에 의해 PTS 기반으로 제어된다.
도 25는 본 발명의 일 실시예에 따른 시점 결합 및 동기화 동작을 나타낸 도면이다. 2차원 영상 신호와 Depth data를 이용하여 3차원 영상 신호를 제공하는 경우의 시간 흐름에 따른 3차원 영상신호 생성순서를 나타낸다.
t0에서 2차원 영상 신호에 대한 디코딩을 통해 기준 시점의 프레임 0과 Depth data에 대한 디코딩을 통해 프레임 0에 대한 Depth 정보를 얻는다.
t1에서 2차원 영상 신호에 대한 디코딩을 통해 기준 시점의 프레임 1과 부가 Depth data에 대한 디코딩을 통해 프레임 1에 대한 Depth 정보를 얻는다. 이와 동시에 시점 결합부를 통해 기준 시점의 프레임 0과 프레임 0에 대한 Depth 정보를 이용하여 부가 시점의 프레임 0을 얻는다.
t2에서는 2차원 영상 신호에 대한 디코딩을 통해 기준 시점의 프레임 2와 부가 Depth data에 대한 디코딩을 통해 프레임 2에 대한 Depth 정보를 얻는다. 또한 시점 결합부를 통해 기준 시점의 프레임 1과 프레임 1에 대한 Depth 정보를 이용하여 부가 시점의 프레임 1을 얻는다. 이와 동시에 출력 포맷터를 통해 기준 시점 및 부가 시점의 프레임 0을 이용하여 3차원 영상 신호인 포맷팅 페어 0을 얻는다. 이러한 과정을 통하여 사용자에게 3차원 영상신호를 제공할 수 있다.
마지막으로 수신장치가 스테레오스코픽 컴포넌트들을 수신하는 방법을 설명하면, 2차원 영상신호는 기존 디지털 TV 채널을 통해 수신되는 영상 신호를 의미하며 MPEG-2 비디오로 부호화되며 경우에 따라 AVC/H.264 또는 다른 코덱을 사용해 부호화된 영상이다. 2차원 영상신호를 수신하는 방식은 기존의 디지털 TV 서비스 수신과 동일하며 아울러 이 채널을 통해 수신되는 SI section을 이용해 Enhancement Data의 존재여부, 결합서비스 형태, 수신 채널/경로, 획득 가능 시간에 대한 정보 등을 파악한다.
Enhancement Data는 본 발명에서는 Depth Map 또는 Disparity Map 데이터를 의미한다. 경우에 따라 Occlusion, Transparency 정보를 포함할 수 있으며 편의상 이하 Depth Map이라고 칭한다. 3차원 영상 신호 수신 장치는 기존 채널을 통해 수신한 2차원 영상 신호와 Enhancement Data를 결합시켜 스테레오스픽 3차원 영상 신호를 구성하는 또 하나의 시점을 만들어낸다. Enhancement Data는 실시간 연동과 비실시간 연동의 두 가지 방식이 존재한다.
먼저 실시간 연동의 경우 기존 채널을 통해 수신되는 2차원 영상 신호와 동시에 인터넷 또는 다른 지상파 채널 등을 통해 Enhancement Data가 수신되는 경우이다. 이 때, 두 component는 실시간 수신 및 실시간 디코딩을 거쳐 시청자에게 실시간 3차원 영상을 제공한다.
비실시간 연동의 경우 2차원 영상 신호의 방송 시간 이전에 인터넷 또는 지상파 채널 등을 통해 Enhancement Data를 미리 수신하고 이를 저장 장치에 저장하는 경우이다. NRT 방식일 수도 있고 live로 수신되는 Enhancement Data를 녹화하는 방식 모두 가능하다. 기존채널을 통해 2차원 영상 신호의 방송을 시작하는 경우, 미리 녹화/저장된 Enhancement Data를 재생하면서 수신되는 2차원 영상 신호와의 동기화를 거쳐 3차원 영상을 출력하는 형태이다. 즉, 실제 방송은 2차원 생방송이지만 미리 Enhancement Data를 저장한 수신기에서는 3차원 영상을 생방송으로 제공할 수 있다.
만약 두 개 이상의 enhancement data stream이 전송되는 경우 각 stream에 대한 disparity_near, disparity_far 필드를 이용해 시청자 취향에 맞는 depth range를 선택할 수 있다. 즉, multiple depth map에 대한 선택적 수신, 그리고 수신된 depth map을 이용한 3차원 렌더링을 통해 depth control을 구현하는 것이 가능하다.
전술한 바와 같이 상기 발명의 실시를 위한 최선의 형태에서, 관련된 사항을 기술하였다.
전술한 바와 같이, 본 발명은 디지털 방송 시스템에 전체적으로 또는 부분적으로 적용될 수 있다.

Claims (10)

  1. 스테레오스코픽 3차원 영상을 제공하는 디지털 방송 신호 처리 방법에 있어서,
    2차원 기준 영상의 비디오 스트림을 인코딩하는 단계;
    상기 인코딩된 2차원 기준 영상과 함께 양안시차 3차원 영상을 생성하는, 부가 영상의 비디오 스트림을 인코딩하는 단계;
    상기 인코딩된 부가 영상의 비디오 스트림이 3차원 영상 신호 수신기에서만 처리되도록 시그널링 정보를 생성하는 단계;
    상기 인코딩된 기준 영상의 비디오 스트림을 포함하는 제1방송신호를 생성하는 단계;
    상기 인코딩된 부가 영상의 비디오 스트림과 상기 시그널링 정보를 포함하는 제2방송신호를 생성하는 단계; 및
    상기 제1방송신호, 제2방송신호를 각각 다른 채널로 송신하는 단계를 포함하는 디지털 방송 신호 처리 방법.
  2. 제 1항에 있어서, 상기 시그널링 정보를 생성하는 단계는
    2차원 영상 신호 수신기에서 상기 인코딩된 부가 영상의 비디오 스트림을 인식하지 않을 것을 요청하는 시그널링 정보를 생성하는 디지털 방송 신호 처리 방법.
  3. 제 2항에 있어서, 상기 시그널링 정보를 생성하는 단계는
    상기 제2방송신호가 전송되는 채널을 채널 맵에서 제외하는 디지털 방송 신호 처리 방법.
  4. 제 1항에 있어서, 상기 시그널링 정보를 생성하는 단계는
    2차원 영상 신호 수신기에서 상기 인코딩된 부가 영상의 비디오 스트림을 인식하지 못하게 하는 시그널링 정보를 생성하는 디지털 방송 신호 처리 방법.
  5. 제 4항에 있어서, 상기 시그널링 정보를 생성하는 단계는
    상기 제2방송신호에 의해 전송되는 스트림에 대한 시그널링 정보를 PAT 만으로 한정하고, program_loop을 삭제하거나 program_number를 0으로 설정하는 디지털 방송 신호 처리 방법.
  6. 스테레오스코픽 3차원 영상을 제공하는 디지털 방송 신호 처리 장치에 있어서,
    2차원 기준 영상의 비디오 스트림을 인코딩하는 제1 비디오인코더;
    상기 인코딩된 2차원 기준 영상과 함께 양안시차 3차원 영상을 생성하는, 부가 영상의 비디오 스트림을 인코딩하는 제2 비디오인코더;
    상기 인코딩된 부가 영상의 비디오 스트림이 3차원 영상 신호 수신기에서만 처리되도록 시그널링 정보를 생성하는 SI 프로세서;
    상기 인코딩된 기준 영상의 비디오 스트림을 포함하는 제1방송신호를 생성하는 제1시스템인코더;
    상기 인코딩된 부가 영상의 비디오 스트림과 상기 시그널링 정보를 포함하는 제2방송신호를 생성하는 제2시스템인코더; 및
    상기 제1방송신호, 제2방송신호를 각각 다른 채널로 송신하는 송신부를 포함하는 디지털 방송 신호 처리 장치.
  7. 제 6항에 있어서, 상기 SI 프로세서는
    2차원 영상 신호 수신기에서 상기 인코딩된 부가 영상의 비디오 스트림을 인식하지 않을 것을 요청하는 시그널링 정보를 생성하는 디지털 방송 신호 처리 장치.
  8. 제 7항에 있어서, 상기 SI 프로세서는
    상기 제2방송신호가 전송되는 채널을 채널 맵에서 제외하는 디지털 방송 신호 처리 장치.
  9. 제 6항에 있어서, 상기 SI 프로세서는
    2차원 영상 신호 수신기에서 상기 인코딩된 부가 영상의 비디오 스트림을 인식하지 못하게 하는 시그널링 정보를 생성하는 디지털 방송 신호 처리 장치.
  10. 제 9항에 있어서, 상기 SI 프로세서는
    상기 제2방송신호에 의해 전송되는 스트림에 대한 시그널링 정보를 PAT 만으로 한정하고, program_loop을 삭제하거나 program_number를 0으로 설정하는 디지털 방송 신호 처리 장치.
PCT/KR2012/006888 2011-08-31 2012-08-29 디지털 방송 신호 처리 방법 및 장치 WO2013032221A1 (ko)

Priority Applications (5)

Application Number Priority Date Filing Date Title
US14/239,751 US9560337B2 (en) 2011-08-31 2012-08-29 Digital broadcast signal processing method and device
EP12828142.5A EP2753084A4 (en) 2011-08-31 2012-08-29 METHOD AND DEVICE FOR PROCESSING DIGITAL BROADCAST SIGNALS
KR1020147004022A KR102008818B1 (ko) 2011-08-31 2012-08-29 디지털 방송 신호 처리 방법 및 장치
CN201280042196.XA CN103891275B (zh) 2011-08-31 2012-08-29 数字广播信号处理方法及设备
CA2845780A CA2845780C (en) 2011-08-31 2012-08-29 Digital broadcast signal processing method and device

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US201161529253P 2011-08-31 2011-08-31
US61/529,253 2011-08-31

Publications (1)

Publication Number Publication Date
WO2013032221A1 true WO2013032221A1 (ko) 2013-03-07

Family

ID=47756587

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2012/006888 WO2013032221A1 (ko) 2011-08-31 2012-08-29 디지털 방송 신호 처리 방법 및 장치

Country Status (6)

Country Link
US (1) US9560337B2 (ko)
EP (1) EP2753084A4 (ko)
KR (1) KR102008818B1 (ko)
CN (1) CN103891275B (ko)
CA (1) CA2845780C (ko)
WO (1) WO2013032221A1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2822282A4 (en) * 2012-04-23 2015-11-25 Lg Electronics Inc DEVICE AND METHOD FOR PROCESSING SIGNALS FOR 3D SERVICE

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9860515B2 (en) * 2012-12-11 2018-01-02 Electronics And Telecommunications Research Institute Apparatus and method for 3D content broadcasting with boundary information
KR20150057149A (ko) * 2013-11-18 2015-05-28 한국전자통신연구원 재전송망에 기초한 3ｄ 방송 서비스 제공 시스템 및 방법
EP3220653B1 (en) * 2014-11-13 2019-12-04 Sony Corporation Reception device, reception method, transmission device, and transmission method for layer-coded services using route sessions
KR102146860B1 (ko) * 2015-09-21 2020-08-21 삼성전자주식회사 전자 장치 및 그 동작 방법
CN109716777B (zh) * 2016-09-13 2022-01-25 三星电子株式会社 发送设备及其发送方法
US10616551B2 (en) * 2017-01-27 2020-04-07 OrbViu Inc. Method and system for constructing view from multiple video streams
US11838680B2 (en) * 2021-08-06 2023-12-05 Sony Group Corporation Techniques for ATSC 3.0 broadcast boundary area management using complete service reception during scan to determine signal quality of frequencies carrying the duplicate service
US11848716B2 (en) 2021-08-06 2023-12-19 Sony Group Corporation Techniques for ATSC 3.0 broadcast boundary area management using signal quality and packet errors to differentiate between duplicated services on different frequencies during scan

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20070060951A (ko) * 2005-12-09 2007-06-13 한국전자통신연구원 Ｄｍｂ 기반의 3차원 입체영상 서비스 제공 방법과, ｄｍｂ기반의 3차원 입체영상 서비스를 위한 복호화 장치 및 그방법
KR20100048335A (ko) * 2008-10-31 2010-05-11 엘지전자 주식회사 방송 수신기와 이동통신 단말기를 이용한 방송 시청 제한 방법
KR20100050426A (ko) * 2008-11-04 2010-05-13 한국전자통신연구원 3차원 방송 서비스 송수신 방법 및 시스템
WO2010076933A1 (ko) * 2008-12-30 2010-07-08 (주)엘지전자 이차원 영상과 3d 영상의 통합 서비스가 가능한 디지털 방송 수신방법, 및 이를 이용한 디지털 방송 수신장치
KR20110043503A (ko) * 2009-10-20 2011-04-27 삼성전자주식회사 스트림 생성 방법 및 장치와, 스트림 처리 방법 및 장치

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100397511B1 (ko) 2001-11-21 2003-09-13 한국전자통신연구원 양안식/다시점 3차원 동영상 처리 시스템 및 그 방법
KR101506219B1 (ko) * 2008-03-25 2015-03-27 삼성전자주식회사 3차원 영상 컨텐츠 제공 방법, 재생 방법, 그 장치 및 그기록매체
US20100315486A1 (en) * 2009-06-15 2010-12-16 Electronics And Telecommunication Research Institute Stereoscopic video service providing/receiving method and apparatus in digital broadcasting system
KR101311982B1 (ko) * 2009-06-15 2013-09-30 에스케이텔링크 주식회사 디지털 방송 시스템의 스테레오스코픽 비디오 서비스 제공/수신 방법 및 장치
EP2489197A4 (en) 2009-10-13 2014-03-05 Lg Electronics Inc BROADCAST RECEIVER AND METHOD FOR PROCESSING 3D VIDEO DATA THEREFOR
US9210354B2 (en) * 2009-12-15 2015-12-08 Electronics And Telecommunications Research Institute Method and apparatus for reception and transmission
US8964013B2 (en) * 2009-12-31 2015-02-24 Broadcom Corporation Display with elastic light manipulator
KR101694821B1 (ko) * 2010-01-28 2017-01-11 삼성전자주식회사 다시점 비디오스트림에 대한 링크 정보를 이용하는 디지털 데이터스트림 전송 방법와 그 장치, 및 링크 정보를 이용하는 디지털 데이터스트림 전송 방법과 그 장치
KR20110088334A (ko) * 2010-01-28 2011-08-03 삼성전자주식회사 3차원 멀티미디어 서비스를 제공하기 위한 데이터스트림 생성 방법 및 장치, 3차원 멀티미디어 서비스를 제공하기 위한 데이터스트림 수신 방법 및 장치

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20070060951A (ko) * 2005-12-09 2007-06-13 한국전자통신연구원 Ｄｍｂ 기반의 3차원 입체영상 서비스 제공 방법과, ｄｍｂ기반의 3차원 입체영상 서비스를 위한 복호화 장치 및 그방법
KR20100048335A (ko) * 2008-10-31 2010-05-11 엘지전자 주식회사 방송 수신기와 이동통신 단말기를 이용한 방송 시청 제한 방법
KR20100050426A (ko) * 2008-11-04 2010-05-13 한국전자통신연구원 3차원 방송 서비스 송수신 방법 및 시스템
WO2010076933A1 (ko) * 2008-12-30 2010-07-08 (주)엘지전자 이차원 영상과 3d 영상의 통합 서비스가 가능한 디지털 방송 수신방법, 및 이를 이용한 디지털 방송 수신장치
KR20110043503A (ko) * 2009-10-20 2011-04-27 삼성전자주식회사 스트림 생성 방법 및 장치와, 스트림 처리 방법 및 장치

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2822282A4 (en) * 2012-04-23 2015-11-25 Lg Electronics Inc DEVICE AND METHOD FOR PROCESSING SIGNALS FOR 3D SERVICE

Also Published As

Publication number Publication date
CN103891275A (zh) 2014-06-25
CA2845780C (en) 2017-04-18
EP2753084A4 (en) 2014-12-31
KR102008818B1 (ko) 2019-08-08
EP2753084A1 (en) 2014-07-09
US9560337B2 (en) 2017-01-31
US20140218474A1 (en) 2014-08-07
CA2845780A1 (en) 2013-03-07
CN103891275B (zh) 2017-02-15
KR20140054076A (ko) 2014-05-08

Similar Documents

Publication Publication Date Title
WO2013032221A1 (ko) 디지털 방송 신호 처리 방법 및 장치
WO2011093676A2 (en) Method and apparatus for generating data stream for providing 3-dimensional multimedia service, and method and apparatus for receiving the data stream
WO2012077987A2 (ko) 디지털 방송 신호 수신 장치 및 방법
WO2010071283A1 (ko) 입체영상 디스플레이가 가능한 디지털 방송 수신방법, 및 이를 이용한 디지털 방송 수신장치
WO2012036532A2 (en) Method and apparatus for processing a broadcast signal for 3d (3-dimensional) broadcast service
WO2010076933A1 (ko) 이차원 영상과 3d 영상의 통합 서비스가 가능한 디지털 방송 수신방법, 및 이를 이용한 디지털 방송 수신장치
WO2011093677A2 (en) Method and apparatus for transmitting digital broadcasting stream using linking information about multi-view video stream, and method and apparatus for receiving the same
WO2011136621A2 (en) An apparatus of processing an image and a method of processing thereof
WO2014025239A1 (ko) 3d 영상을 위한 영상 컴포넌트 송수신 처리 방법 및 장치
WO2009125961A1 (en) Method of transmitting and receiving broadcasting signal and apparatus for receiving broadcasting signal
WO2011013995A2 (en) Method and apparatus for generating 3-dimensional image datastream including additional information for reproducing 3-dimensional image, and method and apparatus for receiving the 3-dimensional image datastream
WO2013025035A9 (ko) 송신 장치, 수신 장치 및 그 송수신 방법
WO2011062385A2 (ko) 방송 신호 송수신 방법 및 그를 이용한 방송 수신 장치
WO2011152633A2 (en) Method and apparatus for processing and receiving digital broadcast signal for 3-dimensional subtitle
WO2011046338A2 (en) Broadcast receiver and 3d video data processing method thereof
WO2012030158A2 (en) Method and apparatus for processing and receiving digital broadcast signal for 3-dimensional display
WO2010126227A2 (en) Broadcast receiver and 3d video data processing method thereof
WO2012177049A2 (en) Method and apparatus for processing broadcast signal for 3-dimensional broadcast service
WO2014204227A1 (ko) 신호 송수신 장치 및 신호 송수신 장치의 제어 방법
WO2010087621A2 (en) Broadcast receiver and video data processing method thereof
WO2012023789A2 (ko) 디지털 방송 신호 수신 장치 및 방법
WO2015126214A1 (ko) 3d 방송 신호를 처리하는 방법 및 장치
WO2015126117A1 (ko) 방송 신호 송수신 방법 및 장치
WO2012050405A2 (ko) 디지털 수신기 및 디지털 수신기에서의 3d 컨텐트 처리방법
WO2013162256A1 (ko) 3ｄ 서비스를 위한 신호 처리 장치 및 방법

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 12828142

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 20147004022

Country of ref document: KR

Kind code of ref document: A

ENP Entry into the national phase

Ref document number: 2845780

Country of ref document: CA

WWE Wipo information: entry into national phase

Ref document number: 14239751

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE

REEP Request for entry into the european phase

Ref document number: 2012828142

Country of ref document: EP

WWE Wipo information: entry into national phase

Ref document number: 2012828142

Country of ref document: EP