WO2016171510A1 - 방송 신호 송수신 방법 및 장치 - Google Patents

방송 신호 송수신 방법 및 장치 Download PDF

Info

Publication number
WO2016171510A1
WO2016171510A1 PCT/KR2016/004225 KR2016004225W WO2016171510A1 WO 2016171510 A1 WO2016171510 A1 WO 2016171510A1 KR 2016004225 W KR2016004225 W KR 2016004225W WO 2016171510 A1 WO2016171510 A1 WO 2016171510A1
Authority
WO
WIPO (PCT)
Prior art keywords
information
hdr
metadata
quality improvement
type
Prior art date
Application number
PCT/KR2016/004225
Other languages
English (en)
French (fr)
Inventor
오현묵
서종열
Original Assignee
엘지전자 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 엘지전자 주식회사 filed Critical 엘지전자 주식회사
Priority to US15/554,145 priority Critical patent/US10516915B2/en
Publication of WO2016171510A1 publication Critical patent/WO2016171510A1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
    • H04N21/44029—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display for generating different versions
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04H—BROADCAST COMMUNICATION
    • H04H20/00—Arrangements for broadcast or for distribution combined with broadcast
    • H04H20/28—Arrangements for simultaneous broadcast of plural pieces of information
    • H04H20/30—Arrangements for simultaneous broadcast of plural pieces of information by a single channel
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04H—BROADCAST COMMUNICATION
    • H04H60/00—Arrangements for broadcast applications with a direct linking to broadcast information or broadcast space-time; Broadcast-related systems
    • H04H60/68—Systems specially adapted for using specific information, e.g. geographical or meteorological information
    • H04H60/73—Systems specially adapted for using specific information, e.g. geographical or meteorological information using meta-information
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/235—Processing of additional data, e.g. scrambling of additional data or processing content descriptors
    • H04N21/2353—Processing of additional data, e.g. scrambling of additional data or processing content descriptors specifically adapted to content descriptors, e.g. coding, compressing or processing of metadata
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H04N21/23614—Multiplexing of additional data and video streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H04N21/2362—Generation or processing of Service Information [SI]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/434—Disassembling of a multiplex stream, e.g. demultiplexing audio and video streams, extraction of additional data from a video stream; Remultiplexing of multiplex streams; Extraction or processing of SI; Disassembling of packetised elementary stream
    • H04N21/4345—Extraction or processing of SI, e.g. extracting service information from an MPEG stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/434—Disassembling of a multiplex stream, e.g. demultiplexing audio and video streams, extraction of additional data from a video stream; Remultiplexing of multiplex streams; Extraction or processing of SI; Disassembling of packetised elementary stream
    • H04N21/4348—Demultiplexing of additional data and video streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/816—Monomedia components thereof involving special video data, e.g 3D video
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/64—Circuits for processing colour signals
    • H04N9/68—Circuits for processing colour signals for controlling the amplitude of colour signals, e.g. automatic chroma control circuits
    • H04N9/69—Circuits for processing colour signals for controlling the amplitude of colour signals, e.g. automatic chroma control circuits for modifying the colour signals by gamma correction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability

Definitions

  • the present invention relates to an apparatus and method for transmitting and receiving broadcast signals.
  • An object of the present invention is to improve transmission efficiency in a method and apparatus for transmitting a broadcast signal.
  • Another object of the present invention is to provide a transmission apparatus and method for transmitting metadata for dynamically providing a brightness representation and a color representation of a content.
  • the broadcast signal transmission method includes the steps of generating video data, generating a broadcast signal including the generated video data and quality improvement metadata, and transmitting the generated broadcast signal. It may include.
  • the quality improvement metadata of the broadcast signal transmission method according to an embodiment of the present invention may include High Dynamic Range (HDR) or Wide Color Gamut (WCG) information.
  • HDR High Dynamic Range
  • WCG Wide Color Gamut
  • the WCG information of the broadcast signal transmission method according to an embodiment of the present invention is input color space type information applied before the image quality improvement processing, processing color space type information applied to the image quality improvement processing and after the image quality improvement processing
  • the output color space type information to be applied may be included.
  • the HDR information of the broadcast signal transmission method according to an embodiment of the present invention may include HDR information applied to the image quality improvement processing and HDR information on the target image quality after the image quality improvement processing.
  • the quality improvement metadata of the broadcast signal transmission method according to an embodiment of the present invention may further include information indicating that the HDR information is changed.
  • the quality improvement metadata of the broadcast signal transmission method according to an embodiment of the present invention may further include set number information and version number information related to the changed HDR information.
  • a method of receiving a broadcast signal comprising: receiving a broadcast signal including video data and quality improvement metadata, demultiplexing a broadcast signal into the video data and quality improvement metadata, and the video And decoding the data and the quality improvement metadata, respectively, and applying the quality improvement metadata to the video data.
  • the quality improvement metadata of the broadcast signal reception method may include High Dynamic Range (HDR) or Wide Color Gamut (WCG) information.
  • HDR High Dynamic Range
  • WCG Wide Color Gamut
  • the WCG information of the broadcast signal receiving method is input color space type information applied before the image quality improvement processing, processing color space type information applied to the image quality improvement processing and after the image quality improvement processing
  • the output color space type information to be applied may be included.
  • the HDR information of the broadcast signal receiving method according to an embodiment of the present invention may include HDR information applied to the image quality improvement processing and HDR information on the target image quality after the image quality improvement processing.
  • the quality improvement metadata of the broadcast signal reception method according to an embodiment of the present invention may further include information indicating that the HDR information is changed.
  • the quality improvement metadata of the broadcast signal reception method according to an embodiment of the present invention may further include set number information and version number information related to the changed HDR information.
  • the broadcasting network may provide dynamic brightness and color representation for each content.
  • the broadcasting network may provide a dynamic brightness expression and a color expression for each scene in the content.
  • FIG. 1 is a diagram illustrating an apparatus for producing and playing a metadata-based HDR broadcast service according to an embodiment of the present invention.
  • FIG. 2 illustrates a receiver operating method for HDR video according to an embodiment of the present invention.
  • FIG. 3 shows a post-processing unit according to an embodiment of the present invention.
  • 4 through 7 illustrate syntax of an SEI message and an HDR information descriptor according to an embodiment of the present invention.
  • FIG. 8 through 9 illustrate embodiments of signaling metadata information according to a RAP.
  • FIG. 10 is a diagram showing dynamic_range_mapping_info according to an embodiment of the present invention.
  • FIG. 11 illustrates a case of referring to an SEI message defined in HEVC according to an embodiment of the present invention.
  • FIG. 16 illustrates HDR_info_descriptor () according to another embodiment of the present invention.
  • FIG. 17 illustrates a receiver block diagram and a method of operation according to an embodiment of the present invention.
  • FIG 19 illustrates an HDR information descriptor according to an embodiment of the present invention.
  • 20 is a block diagram illustrating a broadcast transmitter according to an embodiment of the present invention.
  • 21 is a block diagram illustrating a broadcast receiver according to an embodiment of the present invention.
  • 22 is a diagram illustrating a method for transmitting a broadcast signal including quality improvement metadata according to an embodiment of the present invention.
  • FIG. 23 is a diagram illustrating a method for receiving a broadcast signal including quality improvement metadata according to an embodiment of the present invention.
  • HDR high dynamic range
  • an element capable of adjusting content adaptively to various scene characteristics included in content is transmitted to a receiver, thereby improving image quality. It can provide a method for converting and presenting content.
  • the brightness that was not expressed in the existing contents can be expressed to provide a difference from the existing broadcasting and provide a high level of realism.
  • high dynamic range As the brightness range of an image is increased, a characteristic difference between scenes included in content may be greater than before.
  • the broadcast transmission device additionally provides information for effectively displaying the characteristics of each scene on the display, and the reception device provides a video effect based on the transmitted information to express the image in a manner appropriate to the direction intended by the producer. Can be.
  • UHD broadcasting can provide viewers with improved image quality and immersion compared to existing HD broadcasting in various ways.
  • UHD broadcasting may provide a method of extending the range of the brightness and color expressions expressed in the content to the range of the perceived brightness and color in the real human visual system. That is, high dynamic range (HDR) and wide color gamut (WCG) may be applied to UHD content. That is, users who enjoy UHD content by providing improved high contrast and color in the content will experience greater immersion and presence.
  • HDR high dynamic range
  • WCG wide color gamut
  • the present invention when the content is reproduced on the display, by presenting a method that can effectively reproduce the image brightness and color in accordance with the intention of the producer, so that the user can watch the image of improved image quality.
  • the HDR video production apparatus may include at least one of the capture / film scanner 101, the post-production block (mastering unit 102), and / or the encoder / multiplexer 103.
  • the HDR video playback device may include at least one of a demultiplexer 104, a decoder 105, a metadata processor 106, a post processor 107, a synchronizer 108, and / or a display 109.
  • the metadata included in the video stream is received, the metadata of the present invention is not only a broadcast signal but also other paths (for example, IP-based broadcasting / communication, wire / wireless communication, wire / wireless interface, and near field communication). Etc.) can also be sent and received.
  • the capture / film scanner 101 of the HDR video production apparatus may convert a natural scene composed of natural colors into a digital image.
  • the capture / film scanner may be a device for converting an optical image into a digital image such as a video camera, a camera, a scanner, and the like.
  • the capture / film scanner 101 may sense an optical image and output raw HDR (High Dynamic Range) video.
  • the post-production block (mastering unit) 102 may receive the raw HDR video and output the mastered HDR video and the HDR metadata.
  • the post-production block may receive mastering display information, viewing condition information, color encoding information, gamut mapping information, and / or dynamic range (DR) information, and perform mastering.
  • the color encoding information is for example EOTF (electro-optical transfer function), BT. For example, 2020.
  • Encoder / multiplexer 103 may encode and multiplex at least one or more mastered HDR video and HDR metadata.
  • the demultiplexer 104 of the HDR video playback device may receive and demultiplex the HDR stream.
  • One HDR stream may include a plurality of contents, and the demultiplexer may output the HDR stream to be decoded to the decoder.
  • the decoder 105 may receive the HDR stream and perform decoding. In this process, the decoder may output decoded HDR video and HDR metadata. The decoded HDR video may be output to the post processor and the HDR metadata may be output to the metadata processor.
  • the metadata processor 106 may receive and store the HDR metadata.
  • the metadata processor may check the set number or the version number included in the HDR metadata to check whether there is a change to the stored HDR metadata, and if there is a change, update the existing HDR metadata.
  • the metadata processor may output the HDR metadata to the post processor according to timing information received from the synchronizer.
  • the post processor 107 may perform post-processing on the HDR video received from the decoder by using the HDR metadata received from the metadata processor. Through this process, HDR video can be converted to improved HDR video with HDR metadata.
  • the synchronizer 108 may provide timing information to the metadata processor and the post processor so that the metadata is applied at the correct time point for the entire HDR video or each scene, each video clip, or each frame.
  • the meta data may indicate information on the mastering display, or may mean information that is commonly applied in units of channels, programs, or content, or information that is applied to each of a series of scenes, video clips, and frames.
  • the HDR display 109 may display and provide the enhanced HDR video to the user.
  • FIG. 2 illustrates a receiver operating method for HDR video according to an embodiment of the present invention.
  • the operation of the receiver is mainly described, but the same considerations may be considered when generating a related signal, and may also be applied to a transfer signal and a mastering signal between productions.
  • the receiver may separate the HDR metadata from the HDR video signal using the video decoder 201 and store it in a separate metadata processor 202.
  • the metadata processor may include a metadata parser, a metadata buffer, and a metadata update performer.
  • the HDR metadata may include common application information (common HDR metadata) and partial application information (scene / frame HDR metadata).
  • the common application information is metadata that can be applied to the entire content and may mean information that is commonly applied in units of channels, programs, and content.
  • the partial application information may indicate metadata that can be limitedly applied to a part of content and may mean information applied to each of a continuous scene, a video clip, or a frame.
  • the receiver may process the received common information or partial information by applying the received common information or partial information to the content after determining the performance of the playable content type.
  • a receiver capable of playing back HDR video may convert the content using the received metadata.
  • the receiver may display the converted content as the final image after the processing operation.
  • a detailed receiver operation method is as follows.
  • the receiver can decode the video stream and obtain HDR metadata.
  • the HDR metadata may mean HDR video information (hereinafter, referred to as HDR_info ()).
  • the receiver may analyze the metadata obtained from the video stream by passing it to the metadata parser 202 and store the metadata in the memory.
  • Metadata may be divided into common application information (common HDR metadata) and partial application information (scene / frame HDR metadata).
  • the metadata is applied according to the mastering display, or the metadata is commonly applied in units of channel, program, and content, or continuous Metadata can be applied to each scene, video clip, and frame.
  • the metadata may further include information that can match the corresponding metadata, for example, the metadata and the image frame to which the metadata is applied, in the form of synchronization start information (sync_start) and synchronization period information (sync_duration). It may include.
  • the common application information may be a value that may indicate the dynamic range of the content / mastering display / frame, for example maximum minimum brightness or high contrast, a transfer function such as EOTF, content or mastering display. It may include at least one information of the color space, the color temperature of the content or the mastering display, the brightness range conversion function, the color space conversion function and / or viewing environment information.
  • a value that can indicate the dynamic range of the content / mastering display / frame may be transmitted through a DR information type (dynamic_range_info_type) and DR value information (dynamic_range_info_value [i]).
  • a transfer function such as EOTF may be transmitted through a transfer function type (transfer_function_type).
  • the color space of the content or mastering display may be transmitted through the CG information type (color_gamut_type).
  • the color temperature of the content or mastering display may be transmitted through the color temperature information type (color_temperature_type).
  • the brightness range conversion function may be transmitted through the DR mapping information type (dynamic_range_mapping_info_type).
  • the color space conversion function may be transmitted through the CG mapping information type (color_gamut_mapping_info_type).
  • the viewing environment information may be transmitted through the viewing environment information type (viewing_condition_info_type). The syntax of each information and a description of the included field will be described later.
  • the partial application information may include the same or similar information as the common application information, and may also include information on the coverage. Partial application information can deliver more specific information in that the application range is limited to a certain portion of the content.
  • the common application information may transmit a brightness range applied to the entire content as a value such as f-stop or high contrast.
  • the partial application information may deliver more specific information by transmitting a maximum minimum value for a frame unit.
  • the information delivery range may be differentially applied to each step.
  • a complex transformation function that can make use of characteristics of each scene can be delivered through partial application information.
  • the receiver may determine whether the display it includes is an HDR display.
  • the receiver may determine whether the playback environment of the receiver is appropriate based on the information about the acquired content (or the information about the mastering display) using the common information. For example, the receiver may use the common application information described above, and if the content playback environment is not suitable, the SDR display or the display corresponding to the performance between the SDR and the HDR may be considered.
  • the display included in the receiver is an SDR display or a display having a similar capability. If it is determined that the receiver display cannot fully play the decoded HDR content, the receiver may not play the HDR content or may perform a transformation to play the content.
  • a receiver capable of converting an HDR video into an SDR video may convert and receive the received HDR video into an SDR video.
  • the HDR metadata may include information on a transform function for converting the HDR video into the SDR video.
  • dynamic_range_mapping_info_type or color_gamut_mapping_info_type may be used as the information on the above-described transform function, and the HDR metadata may additionally signal that the corresponding information is used for converting the HDR video to the SDR video when necessary.
  • image quality may be improved by using common application information included in HDR metadata, and image quality may be improved by using dynamic range mapping, color gamut mapping, viewing condition mapping, and the like.
  • the image quality line for the entire content using the common application information may be omitted when the partial application information may be applied in the third step to be described later.
  • the image quality improvement for the video using the common application information may be implemented through a separate module or applied in connection with the post processing module described in FIG. 3.
  • the receiver may perform image quality improvement for each scene of the HDR video. If it is determined that the receiver can play the HDR content based on the metadata information, the receiver may determine whether additional HDR metadata processing is possible.
  • a scene-by-scene (or clip-by-clip, frame-by-frame) process is added as an example, and in this case, by using metadata provided for each scene, clip, or frame.
  • Detailed dynamic transformations per scene, video clip or frame of each content allow for the display of even higher quality HDR video.
  • the broadcast transmission device may allow the receiver to identify in a supplemental enhancement information (SEI) message that information on a scene, video clip or frame basis is transmitted using HDR_info_type.
  • SEI Supplemental Enhancement information
  • the broadcast transmission device may provide information on a time point at which scene or frame information should be applied to the receiver by using a synchronization information type (sync_info_type), synchronization start information (sync_start), and synchronization interval information (sync_duration).
  • the receiver identifies that scene, video clip, or frame information is transmitted through the HDR video information type (HDR_info_type), and provides timing information on when to apply scene, video clip, or frame information through sync_info_type, sync_start, and sync_duration. Can be obtained.
  • the receiver may convert timing information provided through metadata into information for synchronizing with an image.
  • the broadcast transmission device may inform the receiver of what kind of scene, video clip, or frame unit metadata is provided in the future.
  • the broadcast transmission device may inform the receiver in advance of the information through HDR_video_enhancement_info_present_type. That is, the receiver may prepare the operation of the associated module by obtaining in advance information on whether the partial application information is received from the common application information and the type thereof.
  • the broadcast transmission device may indicate the fact that metadata is provided in a frame, video clip, or scene unit using common application information, or may have specific information in frame, video clip, or scene unit. Can be indicated.
  • the broadcast transmission device may indicate that dynamic range mapping or / and color gamut mapping information is provided in units of frames or scenes using common application information.
  • the receiver may apply common application information and scene application information step by step to the HDR video or in one operation.
  • the receiver may apply common application information and scene application information to each of the dynamic range mapping and the color gamut mapping to the HDR video or as a single transformation.
  • the post processor may include a DR mapping block 301, a CG mapping block 302, and a viewing condition adjustment block 303.
  • the post processing unit may receive the HDR video data and perform image quality improvement using dynamic range mapping, color gamut mapping, viewing condition mapping, and the like.
  • the dynamic range mapping block 301 may perform image quality improvement by applying dynamic range information, transfer function information, and DR mapping information to the input HDR video data.
  • the CG mapping block 302 may apply color gamut information, color temperature information, and CG mapping information to the input HDR video data to perform image quality improvement.
  • the viewing condition adjustment block 303 may apply the viewing environment information to the HDR video data to perform image quality improvement. Detailed description of each information will be described later with reference to FIGS. 4 to 16.
  • 4 through 7 illustrate syntax of an SEI message and an HDR information descriptor according to an embodiment of the present invention.
  • the SEI message may include an HDR information descriptor and the HDR information descriptor may include at least one of the following fields.
  • HDR information may be used as the same meaning as HDR video information.
  • the HDR information type (HDR_info_type) information may indicate a unit to which information in the HDR information descriptor is applied.
  • information about a mastering display may be displayed or commonly applied in units of channels, programs, and content.
  • it can be classified into a series of scenes, video clips, and frames, and classified into different methods (e.g., before and after conversion, transmission format, target format after conversion, and static / dynamic metadata). You can also add
  • the type of HDR information defined in the current payloadType can be distinguished.
  • only the detailed information corresponding to one HDR_info_type may be described in the payloadType, or two or more information may be described.
  • the syntax may be configured such that information classified according to each HDR_info_type is continuously located.
  • the unit to which the information is applied may be classified in the SEI message as well as assigned by different payloadTypes.
  • the transition flag (transition_flag) information is a signal for ending time of content associated with the currently described SEI message. For example, when the HDR content ends and is converted to the SDR content, the transition_flag is set to 1 for the last frame. In this case, it may be considered as meaning that the transmission of the HDR information descriptor is terminated according to the application field, and the receiver may lead to an operation such as turning off a module related to the HDR information descriptor based on this signal. If the receiver is separated into a STB (settop box) and a display device and connected to a wired / wireless interface (for example, HDMI, DisplayPort, MHL, etc.), it is similar to STB to stop information related to HDR or terminate HDR content. To the display device. The transition_flag may be informed in the frame in which the HDR information descriptor terminates in the meaning of informing the end time. If it is promised in advance, a method notified by the RAP including the end frame may also be applied.
  • STB settop
  • the set_number information may indicate an identification number unique to the HDR information descriptor. That is, in a situation in which a plurality of HDR information descriptors are transmitted from the broadcast transmission device to the receiver on a time unit or frame basis, the HDR information descriptors may serve to distinguish each HDR information descriptor. If necessary, it may play a role of distinguishing a plurality of descriptors for each channel, program, content, frame, scene, clip, etc. in connection with the above-described HDR_info_type. For example, in case of delivering different DR mapping functions for the purpose of supporting a display having various kinds of luminance, a plurality of descriptors for each channel, program, content, frame, scene, clip, etc. in connection with the above-described HDR_info_type It can play a role of distinguishing.
  • the version (version_number) information may indicate the version of the HDR information descriptor. In association with at least one of the HDR_info_type and the set_number, this may indicate that there is an information change in the current descriptor. For example, when descriptors having the same HDR_info_type and / or set_number have the same version number, information in the metadata processor may be applied to the image as it is. However, when the version_number is changed, the broadcast reception device may update information in the metadata buffer and apply new information to an image.
  • the DR flag (dynamic_range_mapping_info_present_flag) information may indicate that dynamic range mapping related information is included in the descriptor.
  • the CG flag (color_gamut_mapping_info_present_flag) information may indicate that gamut mapping related information is included in the descriptor.
  • the viewing environment flag (viewing_condition_info_present_flag) information may indicate that viewing condition related information is included in the descriptor.
  • the additional enhancement information type (HDR_video_enhancement_info_present_type) information indicates the type of additional information related to the current SEI message and may be defined using the same value as the HDR_info_type of FIG. 5. In this case, it is possible to inform whether DR mapping, gamut mapping, and viewing condition related information are transmitted through enh_dynamic_range_mapping_info_ present_flag, enh_color_gamut_mapping_info_present_flag, and enh_viewing_condition_info_present_flag, and prepare the receiver operation for processing information on the information in advance or use the improved information compared to the current information. Can be used to determine whether or not.
  • An improved DR flag (enh_dynamic_range_mapping_info_present_flag) may indicate that DR mapping information exists for associated metadata information when the value is 1.
  • the enhanced CG flag (enh_color_gamut_mapping_info_present_flag) may indicate that gamut mapping information exists for associated metadata information when the value is 1.
  • the enhanced viewing environment flag enh_viewing_condition_info_present_flag may indicate that viewing condition information exists for associated metadata information when the value is 1.
  • the sync information type (sync_info_type) information may indicate a method of representing information for synchronizing with content, scene, clip, or frame to which information in the HDR information descriptor is to be applied. For example, a picture order count (POC) value used in a decoder can be delivered, or a pic_order_count_lsb value can be delivered directly.
  • POC picture order count
  • media time information can be used and the cumulative frame number can be determined based on the reference time for the start of video.
  • the synchronization start (sync_start) information is information related to the start point of synchronization. Rather than sending related information every frame, if the relevant information is delivered in a specific period such as RAP, it is necessary to connect the start and end of the section in which the information is used with the video frame.
  • sync_info_type may define the type of synchronization information as time, time difference, start order, picture order count (POC), PTS, and the number of aggregated frames.
  • sync_duration may be additionally signaled as 500, 1000, or 1000.
  • a time reference is required for time determination, and may be separately signaled, such as defining a time in an adaptation field of a TS header.
  • the type of synchronization information may be set as a time difference.
  • the predetermined time interval may be a fixed value or may have a value determined in order. For example, it can be assumed that 0 is applied immediately, 1 is applied to RAP + 0.5 seconds, and 2 is applied to RAP + 1.5 seconds.
  • the type of synchronization information may be set as a POC.
  • the POC value of the video at the time of metadata application may be transmitted as 100, 125, 175, and the duration to be described below may be delivered as 25, 50, 50 according to the POC unit. You can also pass the value associated with POC in video codec syntax directly.
  • the synchronization section (sync_duration) information is information about a section that continues from the synchronization start (sync_start).
  • the synchronization end point may be calculated as sync_start + sync_duration, and if necessary, the synchronization end point information may be directly transmitted together with or instead of sync_duration.
  • the end time cannot be set in advance, so it can be set to a predetermined value such as FFFF. If it is possible to determine the metadata application time using only sync_start information, the sync_duration value may not be used. In this case, sync_duration can also be used as a flag giving additional information such as whether other metadata is transmitted after the corresponding metadata.
  • the number of DR information (number_of_dynamic_range_info) information may indicate the number of dynamic range information expression methods corresponding to a mastering display, channel, program, content, scene, clip, or frame.
  • the DR information type (dynamic_range_info_type) information indicates a method of expressing dynamic range information corresponding to a mastering display, channel, program, content, scene, clip, or frame.
  • the method for expressing the dynamic range may be the same as the bottom of FIG. 6.
  • the dynamic range may be expressed using at least one of maximum brightness, minimum brightness, average brightness, average or median values composed of certain components.
  • white bright parts such as normal white, diffuse white, and specular white can be classified in detail according to their characteristics, and in the case of black, they can be classified according to their characteristics such as normal black, deep black, and pitch dark. Can be.
  • the broadcast transmission device may express information such as specular white and pitch dark through HDR info to subdivide the brightness of the list and the shadow in the content.
  • information such as specular white and pitch dark through HDR info to subdivide the brightness of the list and the shadow in the content.
  • Such information is used as a criterion for determining the receiver display environment. It can be used or used as information for mapping according to the display environment.
  • the DR information value (dynamic_range_info_value) information may carry a corresponding value according to dynamic_range_info_type. That is, content, mastering display, and scene DR can be expressed in detail according to dynamic_range_info_type as follows. Alternatively, it can be used to describe the characteristics of the container video format and the actual content separately.
  • peak_luminance_level 4000 (nit)
  • minimum_luminance_level 0.01 (nit)
  • the transfer function type (transfer_function_type) information may indicate the type of transfer function used for the mastering display, channel, program, content, scene, clip, or frame of the HDR video.
  • a predetermined EOTF may be signaled, such as SMPTE ST 2084, ITU BT.1886, BT.2020, and the like.
  • the method may be classified and signaled as a method of representing absolute brightness or representing relative brightness. If necessary, the coefficient of any transfer function may be transferred.
  • the CG type (color_gamut_type) information may indicate the type of color gamut corresponding to the mastering display, channel, program, content, scene, clip, or frame of the HDR video.
  • a standard color gamut such as BT.709, BT.2020, or DCI-P3 may be represented, or, if necessary, an arbitrary color gamut may be represented through an RGB color primary (XYZ, RGBW, etc.).
  • the color_temperature_type information may indicate information about a reference white corresponding to a mastering display, channel, program, content, scene, clip, or frame.
  • a reference white corresponding to a mastering display, channel, program, content, scene, clip, or frame.
  • it may be a standard light source color temperature such as D65 and D50, and if necessary, an arbitrary value representative of the color temperature may be represented, such as an RGB color primary for white (XYZ, RGBW, etc.).
  • the DR mapping type (dynamic_range_mapping_info_type) information indicates the type of dynamic range mapping information corresponding to the mastering display, channel, program, content, scene, clip, or frame.
  • another SEI message may refer to information by referring to a Knee function information SEI message or a Tone mapping information SEI message included in HEVC, as shown in the upper part of FIG. 7.
  • the content may be described directly in a predetermined HDR information descriptor.
  • the CG mapping type (color_gamut_mapping_info_type) information indicates the type of color gamut mapping information corresponding to the mastering display, channel, program, content, scene, clip, or frame. For example, as shown at the bottom of FIG. 7, the information defined in the color remapping information SEI message included in the HEVC may be cited. In addition, the content may be described directly in a predetermined HDR information descriptor.
  • the viewing_condition_info_type information indicates the type of viewing condition information corresponding to the mastering display, channel, program, content, scene, clip, or frame.
  • the viewing_condition_info_type information may refer to the information defined in the viewing_condition defined as a separate SEI message, or may describe the content directly in a predetermined HDR information descriptor.
  • FIG. 8 illustrates a method of signaling metadata information based on a time flow according to an embodiment of the present invention.
  • Metadata transmission according to time is 1) method to send all the information in every frame, 2) method to transmit in the frame of the point of time when metadata is changed in RAP and 3) within period with RAP Method of transmitting metadata applied at once at the time of cycle 4)
  • Various methods can be considered, such as transmitting before RAP related to application time.
  • the method of 1) -4) can also be mixed and used.
  • Common application information (common type) applied to the entire video may be transmitted for each RAP. This is a case where HDR_info_type is set to 0000 in FIG. 8.
  • the common application information is repeated information, but the broadcast transmission device may compensate for information loss due to a transmission error by transmitting common application information for each RAP.
  • HDR_info_type is set to 0100 in FIG. 8.
  • the information corresponding to the RAP time point and the information applied after the scene change in the RAP can be sent together.
  • the information corresponding to the RAP time point and the information applied after the scene change in the RAP may be defined as sets having different roles, and may be distinguished by being given different set_numbers. Also, according to an embodiment, different sets_numbers may be used for the purpose of distinguishing the information applied to the same scene by separately separating and transmitting the information that plays different roles. If the same information is applied over two or more RAPs, the same set_number may be used.
  • the same version_number may be set.
  • the metadata processor may determine whether the information is changed in which set and update the metadata processor by having a different version_number.
  • sync_start can be applied to the new RAP because the scene start time is replaced by the new RAP.
  • end point (sync_start + sync_duration) of the sync interval is the same, there is no information change and the same version_number may be applied.
  • the application time may be informed through relative concepts such as time difference, order, and frame number.
  • the duration can be signaled by changing the duration of the same information (set 1, ver 0). Do not perform metadata update.
  • the broadcast transmission device may increase version_number while maintaining set_number of common application information.
  • the metadata processor of the receiver may recognize the information change based on the changed version_number and update the existing information with the new information.
  • 9 illustrates a method of signaling metadata information based on a time flow according to another embodiment of the present invention. 9 illustrates a case in which there is a switch between HDR and SDR in signaling metadata information. As shown, in the third RAP, the HDR video stream is converted into an SDR video stream. In this case, the HDR information descriptor is no longer transmitted or received after the third RAP.
  • the broadcast transmission device may inform the receiver through the transition_flag.
  • the delivery of the SEI message that has delivered the video characteristics for the HDR / WCG content is stopped, and no further information may be delivered after the content switching contest.
  • HDR information descriptors such as mastering display information, color gamut mapping, and viewing conditions may also occur for SDR content.
  • legacy SDR content not using the HDR information descriptor may be considered.
  • transition_flag that is, to set it to 1, and set transition_flag to on in the frame immediately before the transition occurs and the RAP containing the frame (second RAP in the drawing) as shown in the above example. can do.
  • dynamic_range_mapping_info is a diagram showing dynamic_range_mapping_info according to an embodiment of the present invention.
  • dynamic_range_mapping_info_type described in the upper part of FIG. 7 is set to 0x03
  • dynamic_range_mapping_info () may be directly defined in the HDR_info descriptor.
  • HDR_info_type is channel, program, or content as common application information related to mastering display or video
  • the information described in FIG. 9 may be used throughout the image (channel, program or content), and scene type or frame as partial application information. In the case of type, the information described in FIG. 9 may be used for a corresponding section.
  • Dynamic_range_mapping_info includes maximum reference brightness information (luminance_max), minimum reference brightness information (luminance_min), arbitrary EOTF information (private_EOTF), EOTF coefficient number information (number_of_coeff), EOTF coefficient information (transfer_curve_coeff [i ]), Clipping flag information (clipping_flag), linear mapping flag information (linear_mapping_flag), clipping maximum brightness range information (luma_clipping_upper_bound), clipping minimum brightness range information (luma_clipping_lower_bound), maximum brightness information (luminance_upper_bound), minimum brightness information (luminance_lower_bound), Maximum brightness digital value (luma_upper_value), minimum brightness digital value (luma_lower_value), key area transformation curve type information (mid_DR_transformation_curve_type), key area transformation curve detail (mid_DR_transformation_curve ()), key brightness range area ratio information (mid_DR_percentage), upper area Trans
  • the maximum reference brightness information indicates the maximum reference brightness expressed in the UHD broadcast content. That is, the maximum value of the brightness range DR is shown. For example, in the case of a reference monitor, 100 cd / m ⁇ 2 is set as the maximum reference brightness, and in this case, 1, which is the quotient of the value divided by 100 (decimal) in consideration of a general range, may be transmitted. .
  • the minimum reference brightness information indicates the minimum reference brightness expressed in the UHD broadcast content. That is, the minimum value of the brightness range DR is shown. For example, in the case of a reference monitor, 0.05 cd / m ⁇ 2 is set as the minimum reference brightness. In this case, 5, which is a value obtained by multiplying 100 (decimal number) by the value in consideration of a general range, may be transmitted.
  • the arbitrary EOTF information indicates whether any EOTF function is used.
  • a widely used EOTF such as ITU-R BT.1886, REC.709, BT.2020, etc.
  • VUI information when a widely used EOTF such as ITU-R BT.1886, REC.709, BT.2020, etc. is used, it can be delivered by VUI information.
  • the EOTF which is not yet defined as a standard, is used, it may be indicated by setting the field value to 1.
  • perceptual quantization can be used as an EOTF, i.
  • EOTF coefficient number information (number_of_coeff) represents the number of coefficients used for any EOTF.
  • EOTF coefficient information (transfer_curve_coeff [i]) represents a coefficient used for any EOTF.
  • the clipping flag information clipping_flag is information indicating whether the clipping option is used and may have a value of 1 when the use of the clipping option is allowed.
  • linear_mapping_flag indicates whether or not to use a linear dynamic range transformation method. It has a value of 1 when the linear dynamic range transformation method is used.
  • the clipping maximum brightness range information (luma_clipping_upper_bound) indicates a digital value for the upper threshold in the brightness range DR displayed when the clipping option is used.
  • the clipping minimum brightness range information (luma_clipping_lower_bound) indicates a digital value for the lower threshold in the brightness range DR displayed when the clipping option is used.
  • the maximum brightness information represents a maximum value (in units of nit) of the brightness range that must be expressed among the brightness ranges expressed in the UHD broadcast content.
  • the maximum brightness information may be a criterion for determining the display type of the receiving device.
  • an additional criterion for determining the display type of the receiving device may be signaled.
  • the minimum brightness information indicates a minimum value (in nit) of the brightness range that must be expressed among the brightness ranges expressed in the UHD broadcast content.
  • the minimum brightness information may be a criterion for determining the display type of the receiving device.
  • an additional criterion for determining the display type of the receiving device may be signaled.
  • the maximum brightness digital value indicates a digital value corresponding to the maximum brightness information (luminance_upper_bound).
  • the minimum brightness digital value indicates a digital value corresponding to the minimum brightness information (luminance_lower_bound).
  • the core region transformation curve type information (mid_DR_transformation_curve_type) identifies a luminance range transformation curve used in the core luminance range region.
  • the conversion curve can be any one of a linear curve, an exponential curve, an S curve, a logarithmic curve, a combination curve, and a look up table (LUT). One can be used.
  • the core region transformation curve detail information mid_DR_transformation_curve () indicates additional information according to the transformation curve identified by the core region transformation curve type information mid_DR_transformation_curve_type. For example, slope information may be transmitted when a linear curve is used, and information about the bottom may be transmitted when an exponential curve or a logarithmic curve is used, and an S curve may be used. If (s curve) is used, the coordinates of the inflection point and the information about the base and y-intercept for each section can be transmitted.When the combination curve is used, the x coordinate of each section, each The curve type of the section and information on the graph may be transmitted.
  • the core brightness range region ratio information mid_DR_percentage represents a ratio of the core brightness range region of the brightness range of the ultra-high definition broadcasting content to the entire brightness range DR of the reception device display.
  • the upper region transformation curve type information (upper_DR_transformation_curve_type) identifies a brightness range transformation curve used in the upper luminance range region.
  • the conversion curve can be any one of a linear curve, an exponential curve, an S curve, a logarithmic curve, a combination curve, and a look up table (LUT). One can be used.
  • the upper region transformation curve detailed information indicates additional information according to the transformation curve identified by the upper region transformation curve type information (upper_DR_transformation_curve_type). For example, slope information may be transmitted when a linear curve is used, and information about the bottom may be transmitted when an exponential curve or a logarithmic curve is used, and an S curve may be used. If (s curve) is used, the coordinates of the inflection point and the information about the base and y-intercept for each section can be transmitted.When the combination curve is used, the x coordinate of each section, each The curve type of the section and information on the graph may be transmitted.
  • the upper brightness range region ratio information indicates a ratio of the upper brightness range region of the brightness range of the UHD broadcast content to the entire brightness range DR of the display of the receiving device.
  • the lower region transformation curve type information (lower_DR_transformation_curve_type) identifies a brightness range transformation curve used in the lower luminance range region.
  • the conversion curve can be any one of a linear curve, an exponential curve, an S curve, a logarithmic curve, a combination curve, and a look up table (LUT). One can be used.
  • the lower region transformation curve detail information indicates additional information according to the transformation curve identified by the lower region transformation curve type information (lower_DR_transformation_curve_type). For example, slope information may be transmitted when a linear curve is used, and information about the bottom may be transmitted when an exponential curve or a logarithmic curve is used, and an S curve may be used. If (s curve) is used, the coordinates of the inflection point and the information about the base and y-intercept for each section can be transmitted.When the combination curve is used, the x coordinate of each section, each The curve type of the section and information on the graph may be transmitted.
  • the additional region number information represents the number of variables used to extend the core brightness range region.
  • the additional area difference information (luminance_upper_bound_diff [i]) represents a difference value for configuring an i + 1th brightness value in ultra high definition broadcast content. If you extend the core brightness range area on a display (case 2) that has a wider brightness range than the existing brightness range but does not accommodate all of the brightness ranges expressed in ultra-high definition broadcast content, the maximum brightness information (luminance_upper_bound) is luminance_upper_bound + luminance_upper_bound_diff [0] +... Can be changed to the value indicated by luminance_upper_bound_diff [i].
  • the additional region difference digital value luma_upper_value_diff [i] represents a digital value for the i + 1th brightness value in the ultra high definition broadcast content. If you extend the core brightness range area on a display that has a wider brightness range than the existing brightness range but does not accommodate all the brightness ranges represented in ultra-high definition broadcast content (case 2), the maximum brightness digital value (luma_upper_value) is luma_upper_value + luma_upper_value_diff [0 ] +... Can be changed to the value indicated by luma_upper_value_diff [i].
  • the changed upper region transformation curve type information (upper_DR_transformation_curve_type [i]) may identify the transformation curve used in the changed upper luminance range region when supporting the i + 1 th brightness range. That is, the changed upper region conversion curve type information may identify the conversion curve used in the changed upper brightness range region when the core brightness range region is extended.
  • the change upper region transformation curve detailed information indicates additional information according to the transformation curve identified by the change upper region transformation curve type information (upper_DR_transformation_curve_type [i]). That is, when the i + 1th brightness range is supported, the details of the conversion curve used in the changed upper brightness range area are shown.
  • the changed upper brightness range region ratio information (upper_DR_percentage [i]) indicates the ratio of the changed upper brightness range region to the total brightness range (DR) of the receiving device when the core brightness range region of the UHD broadcast content is changed. .
  • the changed core brightness range region ratio information mid_DR_percentage [i] indicates a ratio of the changed core brightness range region to the entire brightness range DR of the receiving device display when the core brightness range region of the UHD broadcast content is changed.
  • gamut_mapping_info may refer to the SEI message defined in HEVC without being directly defined in the HDR_info descriptor.
  • the SEI message may follow the color remapping information SEI message syntax defined in HEVC.
  • HDR_info_type is common application information related to mastering display or video
  • information that is referred to throughout the image can be used when channel, program or content is used.
  • scene type or frame type as partial application information
  • the referenced information can be applied only to the section.
  • PMT stands for program mapping table and includes table identifier information, section syntax indicator information, section length information, program number information, version number information, current_next indicator information, section number information, PCR_PID information, program info length information, and first descriptor information.
  • Stream type information basic PID (elementary PID) information, elementary stream information length (Es_info_length) information, second descriptor information, CRC information, and the like.
  • the first descriptor information may indicate descriptor information included in the first loop following the program info length information
  • the second descriptor information may indicate descriptor information included in the second loop following the length of the elementary stream information.
  • the UHD_program_info_descriptor may be included in the first descriptor information included in the PMT and signaled, and the above-described HDR_info descriptor may be included in the second descriptor information included in the PMT and signaled.
  • UHD_program_info_descriptor may include at least one of descriptor tag (descriptor_tag) information, descriptor length (descriptor_length) information, or service type information (UHD_service_type) as shown at the top of FIG. 12.
  • the service type information (UHD_service_type) may indicate the type of UHD service as shown in the lower part of FIG. 12.
  • the service type information may indicate a UHD service type designated by a user, such as UHD1 (4K), UHD2 (8K), or classification according to quality.
  • UHD_service_type 1100 (UHD1 service with HDR information metadata, 4K example) may indicate that HDR info is provided for different steps or units such as video, scene, clip, or frame.
  • FIGS. 14 and 15 illustrate an embodiment of signaling an HDR_info descriptor through an EIT according to an embodiment of the present invention.
  • ATSC and DVB systems may include an EIT as a signaling table, and syntax included therein is shown in FIGS. 14 and 15.
  • the Event Information Table (EIT) of the ATSC and DVB systems is commonly used as a table_id field, section_syntax_indicator field, section_length field, source_id (service_id) field, version_number field, current_next_indicator field, section_number field, last_section_number field, num_events_in_section It may include a (segment_last_section_number) field, an event_id field, a start_time field, a length_in_seconds (duration) field, a descriptors_length field, a descriptor () field, and / or a CRC_32 field.
  • the table_id field identifies that this table is an Event Information Table (EIT).
  • the section_syntax_indicator field is a 1-bit field set to 1 to indicate the long form of the MPEG-2 private_section table.
  • the section_length field indicates the length of the table section following this field in number of bytes.
  • the source_id field represents a source ID of a virtual channel transmitting an event described in this section.
  • the version_number field is a 5-bit field indicating the version number of the table.
  • the current_next_indicator field is a 1-bit field and indicates whether this table is currently applicable or next applicable.
  • the section_number field represents the number of a section.
  • the last_section_number field identifies the number of the last section.
  • the num_events_in_section field represents the number of events included in the corresponding table section.
  • the event_id field identifies a specific number indicating the event described.
  • the start_time field represents the start time of the event based on GPS second.
  • the value representing the start time of the event in the virtual channel may be greater than the value representing the end time of the event being broadcast.
  • the end time of the event may be defined as the sum of the start time of the event and the value representing the length of the event in time.
  • the length_in_seconds (duration) field represents the duration of an event in seconds.
  • the descriptors_length field represents the total length of an event descriptor (descriptor ()) described later. descriptor () is a descriptor loop located in the table.
  • the descriptor loop may include additional descriptors. Zero or more descriptors may be included in the EIT, and the descriptor may correspond to an event level descriptor describing information applied to each event. According to an embodiment of the present invention, the UHD_program_info_descriptor and the HDR_info descriptor may be included in the event level descriptor and transmitted. UHD_program_info_descriptor may be used to distinguish the type of UHD service, and the HDR_info descriptor may determine whether to include HDR image information metadata at an event level, and may be used to determine whether the receiver is acceptable. In the case of cable broadcasting, the same information may be provided to the AEIT instead of the descriptor.
  • the CRC_32 field includes a CRC value for checking the integrity of data.
  • the CRC value can ensure that zero values are output from the registers in the decoder as defined in Annex A of ISO-13818-1 “MPEG-2 Systems” after the entire EIT section has been processed.
  • the receiver may confirm that information on an appropriate viewing environment is transmitted through metadata. For example, when UHD_service_type is 1100, the receiver may identify that a corresponding service is UHD1 service with HDR information metadata, 4K.
  • the receiver checks the existence of the HDR_info_descriptor () and may know that HDR info is provided for different steps or units such as video, scene or frame.
  • the UHD_service_type may indicate that 0000 is a UHD1 service.
  • HDR_info_descriptor it is possible to determine whether the content provider can utilize information in units of a mastering display, content, scene, or frame desired by the content provider using HDR_info_descriptor (). By using this, it is possible to determine in advance whether to use content, scene or frame unit metadata with respect to content played back at the current or future time point, and the receiver can prepare a setting for a situation such as a scheduled recording in advance.
  • HDR_info_descriptor () according to another embodiment of the present invention.
  • one mode may support various modes intended by the producer. In this case, it is necessary to determine whether these modes are acceptable in the display of the receiver, and information on this may be provided through the viewing_condition_metadata by the broadcast transmission device.
  • the syntax in viewing_condition_metadata may follow the definition of the viewing condition descriptor of the SEI message.
  • the HDR_info_descriptor may include at least one of descriptor tag (descriptor_tag) information, descriptor length (descriptor_length) information, and number of information (number_of_info) information.
  • the HDR_info_descriptor may include a loop and may include as many HDR_info_metadata () as indicated by number_of_info.
  • the syntax of the HDR_info_metadata () may be delivered by the script of the embodiment of the HDR information descriptor configuration of FIG. 4 or a part thereof.
  • FIG. 17 illustrates a receiver block diagram and a method of operation according to an embodiment of the present invention.
  • a receiver may receive a broadcast signal from a radio frequency (RF) channel using a tuner and a demodulator 1601.
  • the broadcast signal may be received through other paths as well as the RF channel.
  • the broadcast signal may be received through IP-based broadcast / communication, wired / wireless communication, and wired / wireless interface.
  • the broadcast signal and the metadata to be described later may be received through different paths.
  • Meta data which will be described later, may be transmitted and received through other paths (for example, IP-based broadcast / communication, wired / wireless communication, wired / wireless interface, short-range wireless communication, etc.) as well as broadcast signals.
  • the receiver may decode the received broadcast signal using the channel decoder 1602.
  • the channel decoder may decode using a VSB or QAM scheme.
  • the decoded broadcast signal may be demultiplexed into broadcast content data and signaling data by the demultiplexer 1603.
  • the broadcast content data may include HDR video data and may be decoded by the video decoder 1605.
  • the signaling data may include information on broadcast content data, and may include signaling table or signaling information such as PMT, VCT, EIT, SDT, etc. according to an embodiment.
  • the receiver may extract the UHD_program_info_descriptor from the signaling information (eg, PMT) using the section data processor 1604.
  • the receiver uses UHD_program_info_descriptor to determine whether there is a separate service or media that needs to be additionally received to configure the original UHDTV broadcast.
  • UHD_program_info_descriptor determines whether there is a separate service or media that needs to be additionally received to configure the original UHDTV broadcast.
  • the receiver may recognize that there is additional information related to video through the SEI message through the EIT.
  • the receiver may distinguish whether the range to which the additional information is applied is a channel unit, a program unit, a content unit, a scene, a clip, or a frame based on the HDR information SEI message or the HDR_info_type.
  • HDR_info_descriptor () may include information about the start time and the end time of the additional information in order to synchronize the range to which the additional information is applied in each case. In an embodiment of the present invention, it is used as an example of sync_info_type, sync_start, and sync_duration, which are information for synchronization based on a video frame.
  • HDR_info_descriptor () may include transition_flag information indicating the end time of HDR.
  • the signaling information may signal whether additional information of scene, clip, and frame units is provided through the HDR_video_enhancement_info_present_type.
  • the receiver can know in advance that scene, clip or frame unit information will be provided in advance, and can preset settings for metadata processing of scene, clip or frame unit and HDR image quality improvement.
  • the receiver may express dynamic range through signaling information and may grasp information about high contrast or information indicating brightness by using dynamic_range_info_type.
  • dynamic_range_info_type may indicate aspect ratio and f-stop as high contrast information or peak luminance and minimum luminance as brightness information.
  • the value according to each type may be delivered to the receiver through dynamic_range_info_value [i].
  • the dynamic range information according to the characteristics of the content, the mastering display, the frame, the scene may be represented, and the brightness may be further divided through the dynamic_range_info_type.
  • the receiver can determine the type of EOTF, color gamut, and color temperature used for color encoding through transfer_function_type, color_gamut_type, and color_temperature_type, respectively.
  • HDR_info_descriptor () may provide the receiver with dynamic range mapping, color gamut mapping, viewing condition information, etc. as additional information.
  • an SEI message or a predetermined SEI message defined in the HEVC may be designated through dynamic_range_mapping_info_type, color_gamut_mapping_info_type, and viewing_condition_info_type for each.
  • the receiver may grasp detailed information through dynamic_range_mapping_info (), color_gamut_mapping_info (), and viewing_condition_info ().
  • the above-described signaling information may be stored in the metadata processor 1606 of the receiver.
  • the stored signaling information may be updated when the set number or version described above is changed.
  • the receiver may synchronize the image quality improvement information (signaling information) and the video data so that the image quality improvement information stored in the metadata processor 1606 may be applied to the video data according to an application unit using the synchronizer 1607.
  • the receiver may improve the image quality by transmitting dynamic range information in units of content, scene, or frame based on the given information to an image quality improvement unit such as an HDR algorithm or an existing post-processing module 1608.
  • an image quality improvement unit such as an HDR algorithm or an existing post-processing module 1608.
  • the receiver may directly connect related modules such as tone mapping, color mapping, color correction, and white balance to improve image quality. If the image processing is performed in the linear luminance domain in the receiver, the EOTF obtained through the transfer_function_type can be applied.
  • the receiver may display the post-processed HDR video through the display unit 1609 and provide the same to the user.
  • the apparatus for transmitting broadcast signals additionally signals information about a video format applied before and after processing the video data, so that the apparatus for receiving broadcast signals can perform more accurate color mapping.
  • the illustrated information may be included in the descriptor together with the information included in the HDR information descriptor described with reference to FIG. 4.
  • the illustrated information can be equally applied to all HDR video processing in the SEI message as in this embodiment.
  • each HDR video processing for example, color gamut mapping (dynamic gamut mapping), dynamic range mapping (dynamic range mapping) may be defined respectively to define different input / output (input / output) characteristics.
  • the input color space type information may indicate a color expression standard among information on an image that is a target of HDR video processing delivered by the present invention.
  • Serve RGB, YCbCr, xvYCC, XYZ, and the like may be used as the color expression standard. That is, when the input color space type information is set to 0000, it may indicate that the color representation criterion is RGB, YCbCr for 0001, xvYCC for 0010, and XYZ for 0011. In the case of 0100 to 1111, it may be reserved for future use.
  • the input color space type information may be used together with color gamut type information.
  • the input color space type information is RGB and the color gamut type information (color_gamut_type) is BT.2020 constant luminance, it may represent that the image is expressed in RGB based on BT.2020 CL.
  • the input color precision information indicates the color representation accuracy and may be used in conjunction with the input color space type information (Input_color_space_type) if necessary.
  • the same color can be expressed with different precision, such as 10 bits / 12 bits / 14 bits. Or, if it needs to be represented as a floating point, it may be expressed as to how many digits after the decimal point it has precision.
  • the output color space type information (Output_color_space_type) is a concept contrasted with the input color space type information (Input_color_space_type), and represents the final color representation standard to be targeted after the HDR video processing.
  • RGB, YCbCr, xvYCC, XYZ, and the like may be used as the color expression standard. That is, when the output color space type information is set to 0000, it may indicate that the color representation criterion is RGB, YCbCr for 0001, xvYCC for 0010, and XYZ for 0011. In the case of 0100 to 1111, it may be reserved for future use.
  • the output color precision information indicates the color representation accuracy and may be used in conjunction with the output color space type information (Output_color_space_type) if necessary.
  • the embodiment of the output color precision information may be applied in the same manner as the embodiment of the input color precision information Input_color_precision.
  • Processing color space type information represents a color space in which HDR video processing is performed. In general, you can use a neutral color space, such as XYZ, but you can also specify a specific color space.
  • XYZ, YCbCr (BT.2020, non-CL), YCbCr (BT.2020, CL), CIE L * a * b *, and YUV may be used. That is, when the value of the processing color space type information is set to 0000, XYZ, 0001, YCbCr (BT.2020, non-CL), 0010, YCbCr (BT.2020, CL), and 0011, CIE L. When * a * b * and 0100 are set, YUV can be designated as a color space type.
  • Processing color precision information indicates the color representation accuracy, and can be used in conjunction with processing color space type information (processing_color_space_type) if necessary.
  • the embodiment thereof may be applied in the same manner as the embodiment of the input color precision information Input_color_precision.
  • the HDR information descriptor may further include target information.
  • the target information indicates the target result when the quality of the frame / scene is improved through the HDR information descriptor.
  • the target may be a video format or a target display.
  • the target information may include the following elements.
  • the target dynamic range info type (Number_of_target_dynamic_range_info_type) information may indicate the number of target dynamic range info types.
  • the target dynamic range info type (target_dynamic_range_info_type) information may define a type of dynamic range information targeted by HDR video processing.
  • the target dynamic range info value (target_dynamic_range_info_value) information may indicate a specific value for information defined by the target dynamic range info type information.
  • the target transform function type information target_transfer_function_type
  • target color temperature type information (target_color_temperature_type) may each indicate information on the type of conversion function, color gamut type, and color temperature. have.
  • These information may have a meaning corresponding to the aforementioned Number_of_dynamic_range_info_type, dynamic_range_info_type, dynamic_range_info_value, transfer_function_type, color_gamut_type, and color_temperature_type.
  • the previously defined values represent dynamic range, color gamut, and transfer function of an image to be subjected to HDR video processing.
  • the illustrated information may be included in the descriptor together with the information included in the HDR information descriptor described with reference to FIG. 4.
  • the HDR information descriptor may further include HDR program transition flag information, transition set number information, and transition version number information.
  • the HDR transition flag information (HDR_program_transition_flag) represents a case where there is a major change in the HDR information descriptor. For example, when the corresponding flag is 1, this flag may mean the end of the current HDR program / content. In addition, when the corresponding flag is 1, it may mean a change in HDR content, a change in a type of HDR information, and the like.
  • the broadcast transmission device may inform that there is a major change in the HDR information descriptor and a change in the HDR content / program by setting the value to 1 for a predetermined frame / time after the above-described change occurs.
  • it may indicate that there is a change in the HDR information descriptor after a certain frame / time, that is, there is a change in the HDR content / program.
  • a condition may be given to refer to the corresponding SEI message as essential to apply major changes. This signaling can be done at the system level or service level as well as the video level if necessary.
  • Transition set number information (transition_set_number) and transition version number information (transition_version_number) may be transmitted as additional information for informing the characteristics of the changed HDR content / program. For example, signaling the HDR system used in the HDR content / program to be changed or changed through the transition set number (set_number) information, or set number information (set_number) associated with the current target when there is information on a plurality of HDR targets. Can be signaled.
  • the transition version number information as well as the set number information may be given as information on the next HDR content / program. If necessary, you can provide links to various kinds of information. For example, each set number information (set_number) and version number information (version_number) corresponding to a 1000nit / 500nit / 100nit target display may be provided.
  • transition flag information transition_flag described in FIG. 4 with respect to the HDR transition flag information may be used as follows.
  • the meaning of the transition flag information (Transition_flag) can be extended to indicate that there is a major change in the HDR information descriptor. That is, when the value of the transition flag information (transition_flag) is 1, it means that the HDR information descriptor corresponding to the current or current program is transmitted, thereby not only indicating that SDR is started but also other HDR programs. It can be used to start things up, or to apply other kinds of metadata.
  • the meaning and method of the specific signaling may follow the HDR_program_transition_flag.
  • transition flag information may be used alone, or both signals may be used in conjunction with the HDR transition flag information (HDR_program_transition_flag).
  • the transition flag information may signal the end time (end time of HDR content) of the corresponding HDR information descriptor
  • the HDR transition flag information HDR_program_transition_flag
  • the set number information set_number described with reference to FIG. 4 with respect to the HDR transition flag information may be used with its meaning extended.
  • the meaning of the set number information set_number may be extended to indicate a case where there is a major change in the HDR information descriptor. That is, different set numbers (set_number) can be assigned to the HDR information descriptor according to the program / content / channel, which gives the meaning that the contents of the HDR information descriptor have changed and the HDR content ends and the new HDR content starts. Or a change in back. It is also possible to set the set number information (set_number) to have a fixed value for a specific HDR information descriptor. For example, when different types of parameters may be transmitted according to the HDR system, each HDR system may be distinguished using set number information (set_number).
  • the version number information version_number described with reference to FIG. 4 with respect to the HDR transition flag information may be used with its meaning extended.
  • the meaning of the version number information (version_number) can be extended to indicate that there is a major change in the HDR information descriptor. That is, the broadcast transmission device may assign a changed version number (version_number) when there is a change in the HDR information descriptor, and set the broadcast reception device to refer to the new HDR information descriptor essentially from a frame to which the changed HDR information descriptor is applied. In this case, not only the frame / scene unit change in the program but also the program / content itself changes in the channel, that is, the current HDR content is changed to another type of HDR content. In this case, the broadcast transmission device may provide a feature by signaling a specific version number (version_number) to inform the case that a major change occurs, such as when the program / content itself changes.
  • the broadcast transmitter 1701 may include an encoder 1702, a multiplexer 1703, and / or a transmitter 1704.
  • the resolution of video data input to the broadcast transmitter 1701 may be UHD.
  • the metadata input to the broadcast transmitter 1701 may include quality improvement metadata for UHD video.
  • the quality improvement metadata may be included in the SEI message transmitted together with the video data.
  • the image quality improvement metadata may include an HDR information descriptor (HDR_info_descriptor), which may include information necessary for quality improvement of the UHD video.
  • HDR_info_descriptor may include transition_flag information indicating the end time of HDR.
  • the HDR information descriptor may include processing color space type information and processing color precision information for a processing step for improving image quality.
  • the HDR information descriptor may further include input color space type information and input color precision information before the processing step, output color space type information and input color precision information after the processing step.
  • the HDR information descriptor may also include information on the dynamic range, conversion function type, color gamut, and color temperature type targeted by the image enhancement processing.
  • it may include HDR program transition flag information indicating that a change to the HDR content or the HDR information is scheduled, and set number information and version number information targeted for the transition.
  • Video data input to the broadcast transmitter 1701 may be encoded by the encoder 1702.
  • the transmitting end may use HEVC (High Efficiency Video Coding) as an encoding method for video data.
  • the transmitter may synchronize the encoded video data with the quality improvement metadata and multiplex using the multiplexer 1703.
  • the quality improvement metadata may further include synchronization information.
  • the quality improvement metadata may include synchronization information such as a time, a time difference, a start order, a POC, a PTS, and the number of accumulated frames, according to a synchronization method.
  • the transmitter 1704 may transmit the transport stream output from the multiplexer 1703 as a broadcast signal.
  • the transport stream may be transmitted as a broadcast signal after being channel coded and modulated before transmission.
  • the metadata may be transmitted not only through a broadcast signal but also through another path (for example, IP-based broadcast / communication, wired / wireless communication, wired / wireless interface, short range wireless communication, etc.). It may also be transmitted in a path separate from the video data.
  • the broadcast receiver 1801 may include a receiver 1802, a demultiplexer 1803, and / or a decoder 1804.
  • the broadcast signal received by the receiver 1802 may be demodulated and then channel decoded.
  • the channel decoded broadcast signal may be input to the demultiplexer 1803 to be demultiplexed into a video stream and quality enhancement metadata.
  • Meta data may be received not only through broadcast signals but also through other paths (for example, IP-based broadcast / communication, wired / wireless communication, wired / wireless interface, and near field communication).
  • the output of the demultiplexer may be input to the decoder 1804.
  • the decoder may include a video decoder and a metadata processor. That is, the video stream may be decoded by the video decoder, and the image quality enhancement metadata may be decoded by the metadata processor.
  • the decoded video stream and the quality improvement metadata may be used to improve the UHD video quality by the post processor as described with reference to FIG. 19.
  • the receiver may post-process the decoded video data based on the quality improvement metadata, and may obtain an effect of improving the quality of the video data for at least one of HDR or WCG.
  • the image quality improvement metadata may include an HDR information descriptor as described above, and the HDR information descriptor may include processing color space type information and processing color precision information for a processing step for image quality improvement as described above. have.
  • the HDR information descriptor may further include input color space type information and input color precision information before the processing step, output color space type information and input color precision information after the processing step.
  • the HDR information descriptor may also include information on the dynamic range, conversion function type, color gamut, and color temperature type targeted by the image enhancement processing.
  • it may include HDR program transition flag information indicating that a change to the HDR content or the HDR information is scheduled, and set number information and version number information targeted for the transition.
  • the method for transmitting a broadcast signal including the image quality improvement metadata may include generating video data by encoding a video stream (S1910), and generating a broadcast signal including the generated video data and image quality improvement metadata (S1920). And transmitting the generated broadcast signal (S1930).
  • Generating video data by encoding the video stream may receive a video stream having a resolution of UHD, and may generate video data by encoding the video stream.
  • the video stream may be encoded by High Efficiency Video Coding (HEVC).
  • the generating of the video data (S1910) may generate the quality improvement metadata.
  • the broadcast transmission device may simultaneously generate image quality enhancement metadata applied in units of entire content (channel, program, content), scene, clip, or frame of the video data in operation S1910. have.
  • the quality improvement metadata may be data regarding at least one of HDR or WCG, and may have different information amounts according to application units.
  • the quality improvement metadata may be included in the aforementioned HDR_info_descriptor () and transmitted.
  • HDR_info_descriptor may include transition_flag information indicating the end time of HDR.
  • the HDR information descriptor may include processing color space type information and processing color precision information for a processing step for improving image quality.
  • the HDR information descriptor may further include input color space type information and input color precision information before the processing step, output color space type information and input color precision information after the processing step.
  • the HDR information descriptor may also include information on the dynamic range, conversion function type, color gamut, and color temperature type targeted by the image enhancement processing.
  • it may include HDR program transition flag information indicating that a change to the HDR content or the HDR information is scheduled, and set number information and version number information targeted for the transition.
  • the quality improvement metadata may be generated by directly defining the signaling information or by referring to other messages.
  • Such image quality improvement metadata may be reference data for allowing a receiver to improve the quality of video data according to an application unit.
  • the receiver may dynamically improve the quality of the video data by using the quality improvement metadata received along with the video data.
  • the broadcast signal including the generated video data and the image quality improvement metadata may be built, and the broadcast signal may be generated using a modulation process.
  • the generated broadcast signal may be transmitted as a broadcast signal.
  • FIG. 23 is a diagram illustrating a method for receiving a broadcast signal including quality improvement metadata according to an embodiment of the present invention.
  • the method for receiving a broadcast signal including the image quality enhancement metadata includes receiving a broadcast signal (S2010), demultiplexing the received broadcast signal into video data and image quality improvement metadata (S2020), and video data and image quality. Decoding and applying the enhancement metadata may be included (S2030).
  • Receiving the broadcast signal receives the broadcast signal using the receiver, the received broadcast signal may be demodulated and channel decoded.
  • the broadcast signal may include a UHD broadcast signal and may further include quality improvement metadata for UHD broadcast content. Details of the image quality improvement metadata are as described with reference to FIGS. 4 to 15.
  • the demultiplexing of the received broadcast signal into video data and quality enhancement metadata may demultiplex the channel decoded broadcast signal into video data and quality enhancement metadata using a demultiplexer.
  • the video data may include UHD video data
  • the image quality enhancement metadata may include HDR and WCG related data applied to the UHD video data.
  • the image quality improvement metadata may be included in the aforementioned HDR_info_descriptor () and received.
  • HDR_info_descriptor () may include transition_flag information indicating the end time of HDR.
  • the image quality improvement metadata may be divided into common application information or partial application information according to its application range.
  • the image quality improvement metadata may include at least one of common application information or partial application information.
  • the common application information is information applied to the entire channel, the entire program, or the entire video data forming one content
  • the partial application information may be data that can be partially applied to some scenes, clips or frames of the video data.
  • the quality improvement metadata may be a method of directly defining or referring to a predefined message in signaling information of a broadcast signal.
  • Decoding and applying the video data and the quality improvement metadata, respectively may decode the video data and obtain the video data using the video decoder.
  • the quality improvement metadata may be obtained by using a signaling data parser or a metadata decoder.
  • the receiver may improve the quality of decoded video data based on the quality improvement metadata.
  • the image quality improvement metadata may include HDR or WCG information about the video data, and may further include synchronization information indicating a time point at which each information is applied.
  • the image quality improvement metadata may include an HDR information descriptor as described above, and the HDR information descriptor may include processing color space type information and processing color precision information for a processing step for image quality improvement as described above. have.
  • the HDR information descriptor may further include input color space type information and input color precision information before the processing step, output color space type information and input color precision information after the processing step.
  • the HDR information descriptor may also include information on the dynamic range, conversion function type, color gamut, and color temperature type targeted by the image enhancement processing.
  • it may include HDR program transition flag information indicating that a change to the HDR content or the HDR information is scheduled, and set number information and version number information targeted for the transition.
  • the image quality improvement metadata may be applied to the video data based on the synchronization information. In this way, video quality may be applied to the image quality as a whole or for each section.
  • the user may be provided with UHD contents having improved quality through HDR and WCG information applied to the existing UHD contents.
  • Apparatus and method according to the present invention is not limited to the configuration and method of the embodiments described as described above, the above-described embodiments may be selectively all or part of each embodiment so that various modifications can be made It may be configured in combination.
  • the image processing method of the present invention can be implemented as a processor-readable code on a processor-readable recording medium provided in the network device.
  • the processor-readable recording medium includes all kinds of recording devices that store data that can be read by the processor. Examples of the processor-readable recording medium include ROM, RAM, CD-ROM, magnetic tape, floppy disk, optical data storage device, and the like, and may also be implemented in the form of a carrier wave such as transmission over the Internet. .
  • the processor-readable recording medium can also be distributed over network coupled computer systems so that the processor-readable code is stored and executed in a distributed fashion.
  • the present invention has industrial applicability that is usable and repeatable in the field of broadcast and video signal processing.

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Library & Information Science (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

본 발명은 비디오 데이터 및 하이 다이나믹 레인지 정보를 포함한 방송 신호를 송수신하는 장치 및 방법에 관한 것이다. 본 발명의 일 실시예에 따른 방송 신호 송신 방법은 비디오 데이터를 생성하는 단계, 상기 생성된 비디오 데이터 및 화질 개선 메타 데이터를 포함하는 방송 신호를 생성하는 단계 및 상기 생성된 방송 신호를 전송하는 단계를 포함할 수 있다.

Description

방송 신호 송수신 방법 및 장치
본 발명은 방송 신호를 송수신하는 장치 및 방법에 관한 것이다.
디지털 기술 및 통신 기술의 발전으로 방송, 영화뿐만 아니라 인터넷 및 개인 미디어 등의 다양한 영역에서 오디오/비디오 중심의 멀티미디어 컨텐츠 보급 및 수요가 급속도로 확대되고 있다. 나아가 방송 및 영화를 통하여 입체감을 제공하는 실감미디어에 대한 소비자 요구가 증가되고 있다. 또한, 디스플레이 기술의 발전과 더불어 가정에서의 TV 화면이 대형화 됨에 따라 HD (High Definition)급 이상의 고화질에 실감나는 컨텐츠를 즐기고자 하는 소비가 증가되고 있다. 3DTV와 더불어 UHDTV (Ultra High Definition TV)와 같은 실감방송이 차세대 방송 서비스로 관심을 받고 있으며, 특히 UHD (Ultra High Definition) 방송 서비스에 대한 논의가 증가되고 있는 추세이다.
본 발명의 목적은, 방송 신호를 전송하는 방법 및 장치에 있어서 전송 효율을 높이는 것이다.
본 발명의 다른 목적은, 컨텐츠의 밝기 표현 및 색상 표현을 동적으로 제공하기 위한 메타 데이터를 전송하는 전송 장치 및 방법을 제공하는 것이다.
본 발명의 일 실시예에 따른 방송 신호 송신 방법은 비디오 데이터를 생성하는 단계, 상기 생성된 비디오 데이터 및 화질 개선 메타 데이터를 포함하는 방송 신호를 생성하는 단계 및 상기 생성된 방송 신호를 전송하는 단계를 포함할 수 있다.
또한 본 발명의 일 실시예에 따른 방송 신호 송신 방법의 상기 화질 개선 메타 데이터는 High Dynamic Range (HDR) 또는 Wide Color Gamut (WCG) 정보를 포함할 수 있다.
또한 본 발명의 일 실시예에 따른 방송 신호 송신 방법의 상기 WCG 정보는 화질 개선 프로세싱 이전에 적용되는 입력 색공간 타입 정보, 상기 화질 개선 프로세싱에 적용되는 프로세싱 색공간 타입 정보 및 상기 화질 개선 프로세싱 이후에 적용되는 출력 색공간 타입 정보를 포함할 수 있다.
또한 본 발명의 일 실시예에 따른 방송 신호 송신 방법의 상기 HDR 정보는 화질 개선 프로세싱에 적용되는 HDR 정보 및 화질 개선 프로세싱 이후 타겟하는 화질에 대한 HDR 정보를 각각 포함할 수 있다.
또한 본 발명의 일 실시예에 따른 방송 신호 송신 방법의 상기 화질 개선 메타 데이터는 HDR 정보가 변경됨을 나타내는 정보를 더 포함할 수 있다.
또한 본 발명의 일 실시예에 따른 방송 신호 송신 방법의 상기 화질 개선 메타 데이터는 변경되는 HDR 정보와 관련된 세트 넘버 정보, 버전 넘버 정보를 더 포함할 수 있다.
본 발명의 일 실시예에 따른 방송 신호 수신 방법은 비디오 데이터 및 화질 개선 메타 데이터를 포함하는 방송 신호를 수신하는 단계, 상신 방송 신호를 상기 비디오 데이터 및 화질 개선 메타 데이터로 역다중화하는 단계, 상기 비디오 데이터 및 화질 개선 메타 데이터를 각각 디코딩하는 단계 및 상기 화질 개선 메타 데이터를 상기 비디오 데이터에 적용하는 단계를 포함할 수 있다.
또한 본 발명의 일 실시예에 따른 방송 신호 수신 방법의 상기 화질 개선 메타 데이터는 High Dynamic Range (HDR) 또는 Wide Color Gamut (WCG) 정보를 포함할 수 있다.
또한 본 발명의 일 실시예에 따른 방송 신호 수신 방법의 상기 WCG 정보는 화질 개선 프로세싱 이전에 적용되는 입력 색공간 타입 정보, 상기 화질 개선 프로세싱에 적용되는 프로세싱 색공간 타입 정보 및 상기 화질 개선 프로세싱 이후에 적용되는 출력 색공간 타입 정보를 포함할 수 있다.
또한 본 발명의 일 실시예에 따른 방송 신호 수신 방법의 상기 HDR 정보는 화질 개선 프로세싱에 적용되는 HDR 정보 및 화질 개선 프로세싱 이후 타겟하는 화질에 대한 HDR 정보를 각각 포함할 수 있다.
또한 본 발명의 일 실시예에 따른 방송 신호 수신 방법의 상기 화질 개선 메타 데이터는 HDR 정보가 변경됨을 나타내는 정보를 더 포함할 수 있다.
또한 본 발명의 일 실시예에 따른 방송 신호 수신 방법의 상기 화질 개선 메타 데이터는 변경되는 HDR 정보와 관련된 세트 넘버 정보, 버전 넘버 정보를 더 포함할 수 있다.
본 발명의 실시예에 따르면, 방송 시스템의 전송 효율을 높일 수 있다.
본 발명의 실시예에 따르면, 컨텐츠 별로 동적인 밝기 표현 및 색상 표현을 방송망에서 제공할 수 있다.
본 발명의 실시예에 따르면, 컨텐츠 내의 장면 별로 동적인 밝기 표현 및 색상 표현을 방송망에서 제공할 수 있다.
도 1은 본 발명의 일 실시예에 따른 메타 데이터 기반 HDR 방송 서비스를 제작, 재생하는 장치를 나타낸 도면이다.
도 2는 본 발명의 일 실시예에 따른 HDR 비디오에 대한 수신기 동작 방법을 나타낸다.
도 3은 본 발명의 일 실시예에 따른 후처리부를 나타낸다.
도 4 내지 7은 본 발명의 일 실시예에 따른 SEI message 및 HDR information descriptor의 신택스를 나타낸다.
도 8 내지 9는 RAP에 따라 metadata 정보를 시그널링 하는 실시예를 나타낸다.
도 10은 본 발명의 일 실시예에 따른 dynamic_range_mapping_info를 나타낸 도면이다.
도 11은 본 발명의 일 실시예에 따른 HEVC 내에 정의된 SEI 메시지를 참조하는 경우를 나타낸다.
도 12 및 13은 본 발명의 일 실시예에 따른 HDR_info descriptor를 PMT를 통해 시그널링하는 실시예를 나타낸다.
도 14 및 15는 본 발명의 일 실시예에 따른 HDR_info descriptor를 EIT를 통해 시그널링하는 실시예를 나타낸다.
도 16는 본 발명의 다른 실시예에 따른 HDR_info_descriptor()를 나타낸다.
도 17은 본 발명의 일 실시예에 따른 수신기 블록도 및 동작 방법을 나타낸다.
도 18은 본 발명의 일 실시예에 따른 HDR 정보 디스크립터를 나타낸다.
도 19는 본 발명의 일 실시예에 따른 HDR 정보 디스크립터를 나타낸다.
도 20은 본 발명의 일 실시예에 따른 방송 송신기를 나타낸 블록도이다.
도 21은 본 발명의 일 실시예에 따른 방송 수신기를 나타낸 블록도이다.
도 22는 본 발명의 일 실시예에 따른 화질 개선 메타데이터를 포함하는 방송 신호를 전송하는 방법을 나타낸 도면이다.
도 23은 본 발명의 일 실시예에 따른 화질 개선 메타 데이터를 포함하는 방송 신호를 수신하는 방법을 나타낸 도면이다.
본 발명은 풍부한 밝기 표현이 가능한 HDR (High Dynamic Range) 컨텐츠가 제공될 때, 컨테츠 내에 포함된 다양한 장면 특성에 대해 적응적으로 컨텐츠를 조정할 수 있는 요소를 수신기에 전송함으로써, 개선된 화질의 영상으로 컨텐츠를 변환하고 표현할 수 있는 방법을 제공할 수 있다. UHD 방송에서는 기존 컨텐츠에서 표현하지 못하였던 밝기를 표현함으로써 기존의 방송과의 차별성을 제공하고 고도의 현장감 제공할 수 있다. HDR (high dynamic range)의 도입을 통해 영상의 밝기 표현 범위가 증가됨에 따라 컨텐츠 내에 포함된 장면 간 특성 차이가 이전보다 커질 수 있다. 이에 따라, 방송 송신 장치는 각 장면의 특징을 효과적으로 디스플레이에 나타내기 위한 정보를 추가적으로 제공하고, 수신 장치는 전송된 정보를 기반으로 영상 효과를 제공함으로써 제작자가 의도한 방향에 적합한 방법으로 영상을 표현할 수 있다.
UHD 방송은 다양한 방법을 통해 기존의 HD 방송 대비 향상된 화질 및 몰입감을 시청자에게 제공할 수 있다. 이를 위한 방법의 하나로써 UHD 방송은 컨텐츠에서 표현하는 밝기 표현 및 색상 표현의 범위를 실제 인간의 시각 체계에서 인지 가능한 밝기 및 색상 인지 범위로 확장하는 방법을 제공할 수 있다. 즉, UHD 컨텐츠에 대해 HDR (high dynamic range) 및 WCG (wide color gamut)을 적용할 수 있다. 즉, 컨텐츠에서 향상된 고대비 및 색감을 제공함으로써 UHD 컨텐츠를 감상하는 사용자는 더 큰 몰입감 및 현장감을 경험하게 된다. 본 발명에서는 컨텐츠를 디스플레이에서 재생할 때, 효과적으로 제작자의 의도 등에 따라 영상 밝기 및 색감을 재생 할 수 있는 방법을 제시함으로써, 사용자가 보다 향상된 화질의 영상을 시청할 수 있도록 한다.
도 1은 본 발명의 일 실시예에 따른 메타 데이터 기반 HDR 방송 서비스를 제작, 재생하는 장치를 나타낸 도면이다. HDR 비디오 제작 장치는 캡쳐/필름 스캐너 (101), 포스트-프로덕션 블록(마스터링부, 102) 및/또는 인코더/멀티플렉서 (103) 중 적어도 하나를 포함할 수 있다. HDR 비디오 재생 장치는 디멀티플렉서(104), 디코더(105), 메타데이터 프로세서(106), 포스트 프로세서(107), 싱크로나이저(108) 및/또는 디스플레이(109) 중 적어도 하나를 포함할 수 있다. 도면에서는 비디오 스트림에 포함되어 수신되는 메타 데이터를 도시하였으나, 본 발명의 메타 데이터는 방송 신호 뿐만 아니라 다른 경로(예를 들어 IP 기반 방송/통신, 유/무선 통신, 유/무선 인터페이스, 근거리 무선 통신 등)로도 송수신 될 수 있다.
HDR 비디오 제작 장치의 캡쳐/필름 스캐너 (101)는 천연 색으로 구성된 씬(natural scene)을 디지털 이미지로 변환할 수 있다. 예를 들어, 캡쳐/ 필름 스캐너는 비디오 카메라, 카메라, 스캐너 등 광학 이미지를 디지털 이미지로 변환하는 장치가 될 수 있다. 캡쳐/필름 스캐너 (101)는 광학 이미지를 센싱하여 Raw HDR (High Dynamic Range) 비디오를 출력할 수 있다.
포스트-프로덕션 블록(마스터링부, 102)은 Raw HDR 비디오를 입력 받아 마스터링된 HDR 비디오 및 HDR 메타 데이터를 출력할 수 있다. 포스트-프로덕션 블록은 마스터링 디스플레이 정보, 뷰잉 컨디션(viewing condition) 정보, 칼라 인코딩 정보, 색영역 (Gamut) 매핑 정보 및/또는 DR (dynamic range) 정보 등을 입력 받아 마스터링을 수행할 수 있다. 여기서 칼라 인코딩 정보는 예를 들어 EOTF (electro-optical transfer function), BT. 2020을 예로 들 수 있다.
인코더/멀티플렉서 (103)는 적어도 하나 이상의 마스터링된 HDR 비디오 및 HDR 메타데이터를 인코딩하고 다중화할 수 있다.
HDR 비디오 재생 장치의 디멀티플렉서(104)는 HDR 스트림을 수신하여 역다중화할 수 있다. 하나의 HDR 스트림에는 복수의 컨텐츠가 포함될 수 있으며, 디멀티플렉서는 디코딩 대상인 HDR 스트림을 디코더로 출력할 수 있다.
디코더(105)는 HDR 스트림을 수신하여 디코딩을 수행할 수 있다. 이 과정에서 디코더는 디코딩된 HDR 비디오와 HDR 메타데이터를 출력할 수 있다. 디코딩된 HDR 비디오는 포스트 프로세서로 출력되고, HDR 메타데이터는 메타데이터 프로세서로 출력될 수 있다.
메타데이터 프로세서(106)는 HDR 메타데이터를 수신하여 저장할 수 있다. 메타데이터 프로세서는 HDR 메타데이터 내에 포함된 set 넘버 또는 버전 넘버를 확인하여 저장된 HDR 메타데이터에 대한 변경이 있는지 확인하고, 변경이 있는 경우, 기존 HDR 메타데이터를 업데이트할 수 있다. 메타데이터 프로세서는 싱크로나이저로부터 수신되는 타이밍 정보에 따라 HDR 메타데이터를 포스트 프로세서로 출력할 수 있다.
포스트 프로세서(107)는 메타데이터 프로세서로부터 수신한 HDR 메타데이터를 이용하여, 디코더로부터 수신한 HDR 비디오에 대해 후처리 작업을 수행할 수 있다. 이 과정을 통해 HDR 비디오는 HDR 메타데이터가 반영된 개선된 HDR 비디오로 변환될 수 있다.
싱크로나이저(108)는 메타데이터 프로세서 및 포스트 프로세서에 타이밍 정보를 제공함으로써 HDR 비디오 전체 또는 각 장면, 각 비디오 클립 또는 각 프레임별로 정확한 시점에 메타데이터가 적용되도록 할 수 있다. 여기서 메타 데이터는 mastering display 에 대한 정보를 나타내거나, channel, program, content 단위로 공통으로 적용되는 정보, 또는 연속된 장면, 비디오 클립, 프레임 각각에 적용되는 정보를 의미할 수 있다.
HDR 디스플레이(109)은 개선된 HDR 비디오를 디스플레이하여 사용자에게 제공할 수 있다.
도 2는 본 발명의 일 실시예에 따른 HDR 비디오에 대한 수신기 동작 방법을 나타낸다. 본 발명에서는 수신기 동작을 주로 설명하지만 관련 시그널을 생성하는 경우에도 동일한 사항을 고려를 할 수 있으며, 프로덕션 (production) 간 전달 신호 및 마스터링 (mastering) 신호에 대해서도 적용할 수 있다.
비디오 스트림이 수신되면, 수신기는 비디오 디코더(201)를 이용하여 HDR metadata 를 HDR 비디오 신호로부터 분리하여 별도의 메타 데이터 프로세서 (202)에 저장할 수 있다. 메타 데이터 프로세서는 메타 데이터 파서, 메타 데이터 버퍼 및 메타 데이터 업데이트 수행기를 포함할 수 있다. HDR 메타 데이터는 공통 적용 정보 (common HDR metadata) 와 부분 적용 정보 (scene/frame HDR metadata)를 포함할 수 있다. 공통 적용 정보는 컨텐츠 전반에 대해 적용될 수 있는 메타 데이터이고, channel, program, content 단위로 공통으로 적용되는 정보를 의미할 수 있다.
부분 적용 정보는 컨텐츠의 일부분에 한정하여 적용될 수 있는 메타 데이터를 나타낼 수 있으며, 연속된 장면, 비디오 클립 또는 프레임 각각에 적용되는 정보를 의미할 수 있다. 수신기는 재생 가능한 컨텐츠 종류에 대한 성능 판단 후 수신된 공통 정보 혹은 부분 정보를 컨텐츠에 적용하여 프로세싱할 수 있다. HDR 비디오를 재생할 수 있는 수신기는 수신된 메타데이터를 이용하여 컨텐츠를 변환할 수 있다. 수신기는 프로세싱 작업 후 변환된 컨텐츠를 최종 영상으로 디스플레이할 수 있다. 구체적인 수신기 동작 방법은 다음과 같다.
첫번째 단계로써, 수신기는 비디오 스트림을 디코딩하고 HDR 메타데이터를 획득할 수 있다. HDR 메타데이터는 HDR 비디오 정보 (이하, HDR_info())를 의미할 수 있다. 수신기는 video stream으로부터 획득한 metadata를 metadata parser(202)로 전달하여 분석하고, 메모리에 저장할 수 있다. Metadata는 공통 적용 정보 (common HDR metadata) 와 부분 적용 정보 (scene/frame HDR metadata)로 구분될 수 있다. 본 발명에서는 후술할 타입 정보 (HDR_info_type)를 사용하여 해당 메타데이터가 적용되는 범위를 전달함으로써 mastering display 에 따라 메타데이터를 적용하거나, channel, program, content 단위로 공통으로 메타 데이터를 적용하거나, 연속된 장면, 비디오 클립, 프레임 각각에 메타 데이터를 적용할 수 있다.
이와 함께, 메타데이터는 해당 메타데이터가 적용되는 구간, 예를 들어, 해당 메타데이터와 적용되는 영상 프레임을 매칭할 수 있는 정보를 동기화 시작 정보(sync_start), 동기화 구간 정보 (sync_duration)의 형식으로써 더 포함할 수 있다.
실시예에 따라 공통 적용 정보는 예를 들어 최대 최소 밝기 또는 고대비와 같이 컨텐츠/마스터링 디스플레이/프레임의 dynamic range를 나타낼 수 있는 값, EOTF와 같은 변환 함수(transfer function), 컨텐츠 혹은 마스터링 디스플레이의 색 공간, 컨텐츠 혹은 마스터링 디스플레이의 색온도, 밝기 범위 변환 함수, 색공간 변환 함수 및/또는 시청 환경 정보 중 적어도 하나의 정보를 포함할 수 있다.
본 명세서에서 컨텐츠/마스터링 디스플레이/프레임의 dynamic range를 나타낼 수 있는 값은 DR 정보 타입(dynamic_range_info_type) 및 DR 밸류 정보 (dynamic_range_info_value[i])를 통해 전송될 수 있다. 또한 EOTF와 같은 transfer function은 변환 함수 타입(transfer_function_type)을 통해 전송될 수 있다. 컨텐츠 혹은 마스터링 디스플레이의 색 공간은 CG 정보 타입 (color_gamut_type)을 통해 전송될 수 있다. 컨텐츠 혹은 마스터링 디스플레이의 색온도는 색온도 정보 타입 (color_temperature_type)를 통해 전송될 수 있다. 밝기 범위 변환 함수는 DR 매핑 정보 타입 (dynamic_range_mapping_info_type)을 통해 전송될 수 있다. 색공간 변환 함수는 CG 매핑 정보 타입 (color_gamut_mapping_info_type)을 통해 전송될 수 있다. 시청 환경 정보 는 시청 환경 정보 타입 (viewing_condition_info_type)을 통해 전송될 수 있다. 각 정보의 신택스 및 포함하는 필드에 대한 설명은 후술하기로 한다.
부분 적용 정보는 공통 적용 정보와 동일하거나 유사한 정보를 포함할 수 있으며, 그 적용 범위에 대한 정보를 함께 포함할 수 있다. 부분 적용정보는 그 적용 범위가 컨텐츠의 일정 부분에 한정되어있다는 점에서 보다 구체적인 정보를 전달할 수 있다. 예를 들어 공통 적용 정보는 컨텐츠 전체에 적용되는 밝기 범위를 f-stop이나 고대비와 같은 값으로 전달할 수 있다. 이에 비해 부분 적용 정보는 프레임 단위에 대해서는 최대 최소 값을 전달하여 보다 구체적인 정보를 전달할 수 있다. 이를 통해 전송되는 적용 정보의 종류에 따라, 정보 전달 범위를 각 단계별로 차등적으로 적용할 수 있다. 마찬가지로 dynamic range mapping의 경우 공통 적용 정보로써 전반적인 컨텐츠 변환 정보를 전달한 후, 부분 적용 정보를 통해 장면마다의 특징을 살릴 수 있는 복잡한 변환 함수를 전달할 수 있다.
두번째 단계로써, 수신기는 자신이 포함하는 디스플레이가 HDR display 인지 여부를 결정할 수 있다. 수신기는 공통 정보를 이용하여, 획득한 컨텐츠에 대한 정보 (혹은 마스터링 디스플레이에 대한 정보)를 기반으로 수신기의 재생 환경이 적합한지 여부를 결정할 수 있다. 예를 들어, 수신기는 상술한 공통 적용 정보를 이용할 수 있으며, 만약 컨텐츠 재생 환경이 적합하지 않은 경우, SDR 디스플레이 혹은 SDR과 HDR 사이의 성능에 해당하는 디스플레이를 고려할 수 있다.
먼저, 수신기에 포함된 디스플레이가 SDR display 또는 이에 준하는 성능을 갖는 디스플레이인 경우에 대해 설명한다. 만약 수신기 디스플레이가 디코딩된 HDR 컨텐츠를 온전히 재생할 수 없다고 결정되는 경우, 수신기는 HDR 컨텐츠를 재생하지 않거나, 또는 컨텐츠를 재생하기 위한 변환을 수행할 수 있다. HDR 비디오를 SDR 비디오로 변환할 수 있는 수신기는 수신된 HDR 비디오를 SDR 비디오로 변환하여 재생할 수 있다. 이를 위해 HDR 메타데이터는 HDR 비디오를 SDR 비디오로 변환하는 변환 함수에 대한 정보를 포함할 수 있다. 예를 들어, 상술한 변환 함수에 대한 정보로써 dynamic_range_mapping_info_type 또는 color_gamut_mapping_info_type 등을 사용할 수 있으며, HDR 메타데이터는 필요한 경우 해당 정보들이 HDR 비디오를 SDR 비디오로 변환하는 용도로 사용됨을 추가적으로 시그널링 할 수 있다.
다음으로, 수신기에 포함된 디스플레이가 HDR display인 경우에 대해 설명한다. 이는 수신기의 디스플레이가 디코딩된 컨텐츠를 온전히 재생 가능하다고 결정되는 경우에 해당한다. 이 경우, HDR 메타데이터에 포함된 공통 적용 정보를 이용하여 비디오에 대한 화질 개선이 가능하며, dynamic range mapping, color gamut mapping, viewing condition mapping 등을 이용하여 화질 개선을 수행할 수 있다. 실시예에 따라, 공통 적용 정보를 이용한 컨텐츠 전반에 대한 화질 계선은 후술할 세번째 단계에서 부분 적용 정보의 적용이 가능한 경우, 생략될 수도 있다. 또한 공통 적용 정보를 이용한 비디오에 대한 화질 개선 작업은 별도의 모듈을 통해 구현하거나 도 3에서 설명할 post processing 모듈에 연계하여 적용할 수도 있다.
세번째 단계로써, 수신기는 HDR 비디오의 장면 별로 화질 개선 작업을 수행할 수 있다. 메타데이터 정보를 기반으로 수신기가 HDR 컨텐츠를 재생할 수 있다고 결정되는 경우, 수신기는 추가적인 HDR 메타데이터 처리가 가능한지 결정할 수 있다.
도 2에서는 scene-by-scene (혹은 clip-by-clip, frame-by-frame) 처리를 추가적으로 하는 경우를 예로 들었으며, 이 경우 각 장면, 클립, 혹은 프레임 단위로 제공되는 메타 데이터를 이용하여 각 컨텐츠의 장면, 비디오 클립 또는 프레임별로 디테일한 동적 변환을 통해 더욱 향상된 화질의 HDR 비디오를 디스플레이할 수 있다. 이 경우 본 발명의 일 실시예에 따라 방송 송신 장치는 HDR_info_type을 이용하여, 수신기가 장면, 비디오 클립 혹은 프레임 단위의 정보가 전송됨을 SEI(supplemental enhancement information) message 내에서 식별하게 할 수 있다. 또한 방송 송신 장치는 동기화 정보 타입 (sync_info_type), 동기화 시작 정보 (sync_start), 동기화 구간 정보 (sync_duration)를 이용하여, 수신기에게 장면 혹은 프레임 단위의 정보를 적용해야 하는 시점에 대한 정보를 제공할 수 있다. 수신기는 HDR 비디오 정보 타입 (HDR_info_type)을 통해 장면, 비디오 클립 또는 프레임 단위의 정보가 전송됨을 식별하고, sync_info_type, sync_start, sync_duration 통해 장면, 비디오 클립 또는 프레임 단위의 정보를 적용할 시점에 대한 타이밍 정보를 획득할 수 있다. 또한 필요한 경우 수신기는 메타데이터를 통해 제공되는 타이밍 정보를 영상과 sync를 맞추기 위한 정보로 변환할 수도 있다.
또한 방송 송신 장치는 공통 적용 정보를 제공할 때, 향후 어떤 종류의 장면, 비디오 클립 혹은 프레임 단위 메타데이터가 제공되는지 여부를 수신기에게 알려줄 수 있다. 방송 송신 장치는 HDR_video_enhancement_info_present_type을 통해 상기 정보를 수신기에게 미리 알려줄 수 있다. 즉, 수신기는 공통 적용 정보로부터 부분 적용 정보의 수신 여부 및 그 종류에 대한 정보를 미리 획득함으로써 관련 모듈의 동작을 준비할 수 있다. 실시예에 따라 방송 송신 장치는 공통 적용 정보를 이용하여 프레임, 비디오 클립 혹은 장면 단위 메타데이터가 제공된다는 사실 자체를 인디케이팅하거나, 프레임 단위, 비디오 클립 단위 혹은 장면 단위로 구체적으로 어떤 정보가 있는지를 인디케이팅할 수 있다. 예를 들어, 방송 송신 장치는 공통 적용 정보를 이용하여 프레임 단위 또는 장면 단위로 dynamic range mapping 혹은/및 color gamut mapping 정보가 제공됨을 인디케이팅할 수 있다.
실시예에 따라서, 수신기는 공통 적용 정보 및 장면 적용 정보를 HDR 비디오에 대해 단계적으로 적용하거나 하나의 동작으로 적용할 수도 있다. 또한 수신기는 Dynamic range mapping 및 color gamut mapping 별로 공통 적용 정보 및 장면 적용 정보를 HDR 비디오에 적용하거나 하나의 변환식으로 적용할 수도 있다.
도 3은 본 발명의 일 실시예에 따른 후처리부를 나타낸다. 본 발명에서 후처리부 (post processor)는 DR 매핑 블록 (Dynamic range mapping, 301), CG 매핑 블록 (Color Gamut mapping, 302) 및 시청 환경 조정 블록 (viewing condition adjustment, 303)을 포함할 수 있다. 후처리부는 HDR 비디오 데이터를 입력 받아 dynamic range mapping, color gamut mapping, viewing condition mapping 등을 이용하여 화질 개선을 수행할 수 있다. DR 매핑 블록 (Dynamic range mapping, 301)은 입력된 HDR 비디오 데이터에 대해 dynamic range 정보, 변환 함수(transfer function) 정보 및 DR mapping 정보를 적용하여 화질 개선 작업을 수행할 수 있다. CG 매핑 블록 (Color Gamut mapping, 302)은 입력된 HDR 비디오 데이터에 대해 Color gamut 정보, 색온도 (color temperature) 정보, CG 매핑 정보를 적용하여 화질 개선 작업을 수행할 수 있다. 시청 환경 조정 블록 (viewing condition adjustment, 303)은 시청 환경 정보를 HDR 비디오 데이터에 적용하여 화질 개선 작업을 수행할 수 있다. 각 정보에 대한 자세한 설명은 도 4 내지 16에서 후술한다.
도 4 내지 7은 본 발명의 일 실시예에 따른 SEI message 및 HDR information descriptor의 신택스를 나타낸다.
SEI message는 HDR information descriptor를 포함할 수 있으며 HDR information descriptor는 다음의 필드들 중 적어도 하나의 필드를 포함할 수 있다. 본 발명에서 HDR information은 HDR video information과 동일한 의미로 사용될 수 있다.
HDR 정보 타입 (HDR_info_type) 정보는 HDR information descriptor 내의 정보가 적용되는 단위를 나타낼 수 있다. 예를 들어, 마스터링 디스플레이 (mastering display) 에 대한 정보를 나타내거나 채널 (channel), 프로그램 (program), 컨텐츠 (content) 단위로 공통으로 적용될 수 있다. 또한 연속된 장면, 비디오 클립, 프레임 각각에 적용 되는 식으로 구분할 수 있으며, 다른 방법(예를 들어 변환 이전과 이후, 전송 포맷, 변환 후 목표 대상 포맷, static/dynamic metadata 등)으로 분류되는 경우를 추가할 수도 있다.
위와 같은 분류에 따라 현재 payloadType 내에서 정의된 HDR information의 종류를 구분 지을 수 있다. 이 때, 도 4의 실시예와 같이 payloadType 내에 하나의 HDR_info_type에 해당하는 세부정보만 기술될 수도 있고, 두 개 이상의 정보가 모두 기술 될 수도 있다. 이 경우 각각의 HDR_info_type에 따라 분류된 정보가 연속적으로 위치하도록 syntax를 구성할 수 있다.
또한 정보가 적용되는 단위를 SEI message 내에서 분류하는 방법 뿐 아니라 서로 다른 payloadType을 할당하여 구분할 수도 있다. 예를 들어 payloadType = 52 (mastering display), payloadType = 53 (channal), payloadType = 54 (program), payloadType = 55 (content), payloadType = 56 (scene), payloadType = 57 (clip), payloadType = 58 (frame) 과 같이 구분할 수 있다.
트랜지션 플래그 (transition_flag) 정보는 현재 기술하고 있는 SEI message 가 연관된 컨텐츠의 종료 시점에 대한 시그널이다. 예를 들어 HDR 컨텐츠가 종료되고 SDR 컨텐츠로 전환되는 경우 마지막 프레임에 대해 transition_flag를 1로 세팅한다. 이 때 적용 분야에 따라 HDR information descriptor 전송이 종료된다는 의미로써 고려할 수도 있으며, 수신기에서는 본 시그널을 바탕으로 HDR information descriptor 와 관련된 모듈을 off 시키는 등의 동작으로 이어질 수 있다. 만약 수신기가 STB (settop box)와 display device로 구분되어 유/무선 interface로 연결 된 경우 (예를 들어 HDMI, DisplayPort, MHL 등) 이와 유사하게 HDR 관련 정보의 중단 혹은 HDR 컨텐츠 종료와 같은 정보를 STB로부터 display device로 전달할 수 있다. transition_flag는 종료 시점을 알려준다는 의미에서 HDR information descriptor 가 종료되는 프레임에서 알려줄 수 있다. 미리 약속된 경우 종료 프레임이 포함된 RAP에서 알려주는 방법도 적용할 수 있다.
세트 (set_number) 정보는 HDR information descriptor 고유의 식별 번호를 나타낼 수 있다. 즉, 시간 단위 혹은 프레임 단위로 복수의 HDR information descriptor가 방송 송신 장치로부터 수신기에 전달되는 상황에서, 각각의 HDR information descriptor를 구분하는 역할을 할 수 있다. 필요한 경우 상술한 HDR_info_type과 연계하여 channel, program, content, frame, scene, clip 등 각각에 대해 복수의 descriptor를 구분하는 역할을 할 수 있다. 예를 들어 다양한 종류의 휘도(luminance)를 갖는 디스플레이 지원을 목적으로 서로 다른 DR mapping function을 전달하는 경우 상술한 HDR_info_type과 연계하여 channel, program, content,frame, scene, clip 등 각각에 대해 복수의 descriptor를 구분하는 역할을 할 수 있다.
버전 (version_number) 정보는 HDR information descriptor 의 버전을 나타낼 수 있다. HDR_info_type 또는 set_number 중 적어도 하나와 연계하여 현재 디스크립터 중에서 정보 변경이 있음을 나타낼 수 있다. 예를 들어 동일한 HDR_info_type 및/또는 set_number를 갖는 descriptor에 대해서 동일한 version number를 갖는 경우 metadata processor 내의 정보를 영상에 그대로 적용할 수 있다. 하지만 방송 수신 장치는 version_number 가 변경된 경우 metadata buffer 내 정보를 update 하고 새로운 정보를 영상에 적용할 수 있다.
DR 플래그 (dynamic_range_mapping_info_present_flag) 정보는 디스크립터 내에 dynamic range mapping 관련 정보가 포함되어 있음을 나타낼 수 있다.
CG 플래그 (color_gamut_mapping_info_present_flag) 정보는 디스크립터 내에 gamut mapping 관련 정보가 포함되어 있음을 나타낼 수 있다.
시청 환경 플래그 (viewing_condition_info_present_flag) 정보는 디스크립터 내에 viewing condition 관련 정보가 포함되어 있음을 나타낼 수 있다.
추가 개선정보 개수(number_of_HDR_video_enhancement_info) 정보는 현재의 SEI message와 관련된 추가 SEI message 가 있는 경우에 대해 관련된 정보의 수를 나타낸다. 또는 향상된 정보를 제공할 수도 있다. 예를 들어 HDR_info_type = 0011 (content) 정보를 전달하고 있는 경우, mastering display, scene 에 대한 정보가 이와 연관하여 전달될 수 있으며, 이 경우 3 값을 가지게 된다. 이 때, 수신기에서는 tone mapping, gamut mapping 등의 화질 처리를 할 때 성능에 따라 content 내의 정보만을 이용할 수 있다. 또한, 보다 자세한 정보를 가졌다고 판단되는 경우, 예를 들어 HDR_info_type = 0100 (scene) 의 정보만을 이용하거나, 실시예에 따라서는 모든 정보를 종합해서 이용할 수 있다.
추가 개선정보 종류 (HDR_video_enhancement_info_present_type) 정보는 현재의 SEI message와 관련된 추가 정보의 종류를 나타내며, 도 5의 HDR_info_type과 동일한 값을 이용하여 정의할 수 있다. 이 때, enh_dynamic_range_mapping_info_ present_flag, enh_color_gamut_mapping_info_present_flag, enh_viewing_condition_info_present_flag 를 통해 DR mapping, gamut mapping, viewing condition 관련 정보가 전달되는지 여부를 알려줄 수 있으며, 이에 대한 정보 처리를 위한 수신기 동작을 미리 준비하거나 현재 있는 정보에 비해 향상된 정보 사용 여부를 판단할 때 사용할 수 있다.
개선 DR 플래그 (enh_dynamic_range_mapping_info_present_flag)는 그 값이 1인 경우 연관된 metadata 정보에 대해 DR mapping 정보가 존재함을 나타낼 수 있다.
개선 CG 플래그 (enh_color_gamut_mapping_info_present_flag)는 그 값이 1인 경우 연관된 metadata 정보에 대해 gamut mapping 정보가 존재함을 나타낼 수 있다.
개선 시청 환경 플래그 (enh_viewing_condition_info_present_flag)는 그 값이 1인 경우 연관된 metadata 정보에 대해 viewing condition 정보가 존재함을 나타낼 수 있다.
만약 metadata type이 HDR info 가 아닌 SEI message의 payloadType 값으로 구분되는 경우, 위와 같이 HDR_info_type 및 그와 관련된 flag 들을 사용하는 방법 외에도 해당 SEI message의 payloadType 값을 직접 전달할 수 있다. 즉, 위의 예에 대해 payloadType = 53 (content) 에 대한 추가 (향상) 정보로써 payloadType = 52 (mastering display), payloadType = 56 (scene)을 전달할 수 있다는 것이다. 혹은 payloadType을 추가하여 HDR_info_type 와 함께 정보를 제공할 수도 있다.
동기화 정보 타입 (sync_info_type) 정보는 HDR information descriptor 내의 정보가 적용되어야 할 content, scene, clip 또는 frame 과의 동기화를 위한 정보의 표현 방법을 나타낼 수 있다. 예를 들어 decoder 내에서 사용되는 POC(Picture order count) 값을 전달할 수 있으며, 혹은 pic_order_count_lsb 값을 직접 전달할 수도 있다. Storage media인 경우 media time 정보를 사용할 수 있으며, video 시작에 대한 reference time을 기준으로 한 누적 frame 수로 정할 수도 있다.
동기화 시작 (sync_start) 정보는 동기화의 시작 지점과 관련된 정보이다. 매 프레임마다 관련 정보를 보내주는 경우가 아닌, RAP 등의 특정 주기마다 해당 정보를 전달하는 경우 해당 정보가 사용되는 구간의 시작과 끝을 비디오 프레임과 연결시켜줄 필요가 있다. 본 발명에서는 sync_start 정보를 사용하여 해당 정보가 적용되는 구간 또는 프레임의 시작 정보를 sync_info_type과 연계하여 시간, POC, frame수, PTS 등의 정보로 나타내는 실시예를 적용할 수 있다. sync_info_type는 시간, 시간 차이, 시작 순서, POC (picture order count), PTS, 합산된 프레임의 수로써 동기화 정보의 타입을 정의할 수 있다.
예를 들어 2초의 RAP 간격을 갖는 50fps 비디오 스트림에 대해 2~4초 RAP 구간 내에서 3개의 metadata가 각각 2초(시작시점), 2.5초, 3.5초에 적용되는 경우를 고려해볼 수 있다.
Sync_info_type=0x00 인 경우, 동기화 정보의 타입은 시간으로써 설정되고, 각 메타데이터의 sync_start 정보를 2000, 2500, 3500으로 전달할 수 있다. 또한, 추가적으로 sync_duration을 500, 1000, 1000으로 시그널링 할 수 있다. 이 때, 시간 판단을 위해 시간에 대한 기준이 필요한 경우가 있는데, TS header의 adaptation field에 시간을 정의하는 것과 같이 별도로 시그널링 해줄 수 있다.
Sync_info_type=0x01 인 경우, 동기화 정보의 타입은 시간 차이로써 설정될 수 있다. 방송 송신 장치는 sync_start = 0, 500, 1000으로 각각 시그널링 함으로써 각각 바로 적용, RAP로부터 0.5초 후 적용, RAP로부터 1.5초 후 적용임을 수신기에 알려줄 수 있다.
Sync_info_type=0x02의 경우, 동기화 정보의 타입은 시작 순서로써 설정되고, sync_start = 0, 1, 2와 같이 순서를 알려줄 수 있다. 시작 순서가 시그널링 되면, 수신기는 일정 시간 간격으로 순서에 따라 동기화 정보를 적용할 수 있다. 일정 시간 간격은 고정된 값이거나, 순서에 따라 정해진 값을 가질 수도 있다. 예를 들어, 0은 바로 적용 시작, 1은 RAP+0.5초에 적용, 2는 RAP+1.5초에 적용과 같이 추정할 수 있다.
Sync_info_type = 0x03의 경우, 동기화 정보의 타입은 POC로써 설정될 수 있다. 이 경우, metadata 적용 시점의 video의 POC 값을 100, 125, 175와 같이 전달할 수 있으며 후술할 duration도 POC 단위에 따라 25, 50, 50과 같이 전달할 수 있다. 또한 video codec syntax 내 POC와 연관된 값을 직접 전달할 수도 있다.
PTS (presentation time stamp), Frame 수를 시그널링 하는 경우에도 위의 POC의 예와 유사하게 PTS, Frame 수 정보를 통해 metadata의 적용 시점을 나타낼 수 있다.
동기화 구간 (sync_duration) 정보는 동기화 시작(sync_start)으로부터 지속되는 구간에 대한 정보이다. 앞선 예와 같이 동기화 종료 지점은 sync_start + sync_duration 으로 계산할 수 있으며, 필요한 경우 sync_duration과 함께 혹은 대신 동기화 종료 시점 정보를 직접 전달할 수도 있다. Live 방송의 경우 종료 시간을 미리 정할 수 없으므로 FFFF 와 같이 미리 약속된 값으로 설정할 수 있다. 만약 sync_start 정보 만으로 메타데이터 적용 시간에 대한 판단이 가능한 경우 sync_duration값이 사용되지 않을 수도 있다. 이 경우 sync_duration은 해당 메타데이터 이후에 다른 메타데이터가 전송되는지 여부와 같은 추가 정보를 주는 플래그로 사용할 수도 있다.
DR 정보 개수 (number_of_dynamic_range_info) 정보는 mastering display, channel, program, content, scene, clip 또는 frame에 해당하는 dynamic range 정보 표현 방법의 수를 나타낼 수 있다.
DR 정보 타입 (dynamic_range_info_type) 정보는 mastering display, channel, program, content, scene, clip 또는 frame에 해당하는 dynamic range 정보 표현 방법을 나타낸다. Dynamic range를 표현하기 위한 방법에는 도 6의 하단과 같을 수 있다. Dynamic range는 최대 밝기, 최소 밝기, 평균 밝기, 일정 성분으로 구성된 평균 또는 median 값 중 적어도 하나를 이용하여 나타낼 수 있다. 또한 white의 경우에도 normal white, diffuse white, specular white와 같이 밝은 부분을 특성에 따라 세부적으로 구분할 수 있으며, black의 경우에도 normal black, deep black, pitch dark 와 같이 특성에 따라 종류를 구분하여 표시할 수 있다.
아래의 예시와 같이 방송 송신 장치는 HDR info를 통해 specular white, pitch dark 와 같은 정보를 줌으로써 컨텐츠 내에 명부, 암부에 대해 밝기를 세분화하여 표현할 수 있으며, 이와 같은 정보들은 수신기 디스플레이 환경에 대한 판단 기준으로 이용하거나, 디스플레이 환경에 따른 mapping을 위한 정보로 활용될 수 있다.
DR정보 밸류 (dynamic_range_info_value) 정보는 dynamic_range_info_type 에 따라 해당하는 값을 전달할 수 있다. 즉, 아래와 같이 dynamic_range_info_type 에 따라 content, mastering display, scene DR 각각을 세밀하게 표현할 수 있다. 혹은 container video format 과 실제 content 의 특성을 구분하여 기술하기 위해 사용할 수도 있다.
Ex) content : peak_luminance_level = 2000(nit), minimum_luminance_level = 0.1(nit)
mastering display : peak_luminance_level = 4000(nit), minimum_luminance_level = 0.01(nit)
scene : white_level_A = 800(nit), white_level_B = 1500(nit), black_level_A = 1(nit), black_level_B = 0.1(nit)
변환 함수 타입(transfer_function_type) 정보는 HDR video의 mastering display, channel, program, content, scene, clip 또는 frame에 사용된 transfer function의 종류를 나타낼 수 있다. 예를 들어 SMPTE ST 2084, ITU BT.1886, BT.2020 등과 같이 미리 정해진 EOTF가 시그널링 될 수 있다. transfer function의 종류에 따라 절대 밝기 표현 방법, 상대 밝기 표현 방법 등과 같이 구분하고 구체적인 방법을 시그널링 할 수도 있다. 필요한 경우 임의의 transfer function의 계수를 전달할 수도 있다.
CG 타입 (color_gamut_type) 정보는 HDR video의 mastering display, channel, program, content, scene, clip 또는 frame에 해당하는 컬러 개멋 (color gamut) 종류를 나타낼 수 있다. 예를 들어 BT.709, BT.2020, DCI-P3와 같은 표준 color gamut을 나타내거나, 필요에 따라서는 RGB color primary (XYZ, RGBW 등도 가능)를 통해 임의의 color gamut을 나타낼 수 있다.
색온도 타입 (color_temperature_type) 정보는 mastering display, channel, program, content, scene, clip 또는 frame에 해당하는 기준 white에 대한 정보를 나타낼 수 있다. 예를 들어 D65, D50과 같은 표준 광원 색온도가 될 수도 있으며, 필요에 따라서는 white 에 대한 RGB color primary (XYZ, RGBW 등도 가능) 와 같이 색온도에 대한 대표성을 띠는 임의의 값을 나타낼 수도 있다.
DR 매핑 타입 (dynamic_range_mapping_info_type) 정보는 mastering display, channel, program, content, scene, clip 또는 frame에 해당하는 dynamic range mapping 정보의 종류를 나타낸다. 예를 들어 도 7의 상단에 도시된 바와 같이 HEVC에 포함되어있는 Knee function information SEI message 혹은 Tone mapping information SEI message 를 지칭함으로써 다른 SEI message이 정보를 참조할 수 있다. 또한 미리 약속된 HDR information descriptor 내에 직접 내용을 기술할 수도 있다.
CG 매핑 타입 (color_gamut_mapping_info_type) 정보는 mastering display, channel, program, content, scene, clip 또는 frame에 해당하는 color gamut mapping 정보의 종류를 나타낸다. 예를 들어 도 7의 하단에 도시된 바와 같이 HEVC에 포함되어있는 Colour remapping information SEI message 에 정의된 정보를 인용할 수 있다. 또한, 미리 약속된 HDR information descriptor 내에 직접 내용을 기술할 수도 있다.
시청 환경 타입 (viewing_condition_info_type) 정보는 mastering display, channel, program, content, scene, clip 또는 frame에 해당하는 viewing condition 정보의 종류를 나타낸다. 예를 들어 viewing_condition_info_type 정보는 별도의 SEI message로 정의된 viewing_condition에 정의된 정보를 인용할 수도 있고, 미리 약속된 HDR information descriptor 내에 직접 내용을 기술할 수도 있다.
상술한 dynamic_range_mapping_info_type, color_gamut_mapping_info_type, viewing_condition_info_type에 대해 외부의 SEI 메시지를 참고하는 경우, 위와 달리 SEI message의 payloadType을 직접 시그널링 해주는 방법을 사용할 수 도 있다. 예를 들어 Knee function information SEI message를 참고하는 경우 dynamic_range_mapping_info_type = 0, payloadType = 141을 통해 보다 구체적으로 알려주는 방법을 사용할 수도 있다.
도 8은 본 발명의 일 실시예에 따른 시간 흐름에 기초하여 메타 데이터 정보를 시그널링하는 방법을 나타낸다.
시간에 따른 메타데이터 전송은 1) 매 프레임마다 해당 정보를 모두 보내주는 방법, 2) RAP 내에서 metadata가 변경되어 적용되는 구간의 시점의 프레임 내에 전송하는 방법 3) RAP 등의 주기를 가지고 주기 내에서 적용되는 metadata를 주기 시점에 한꺼번에 전송하는 방법 4) 적용 시점과 관련된 RAP 이전에 전송하는 방법과 같이 다양한 방법을 고려할 수 있다. 또한, 1)~4)의 방법을 혼합하여 사용할 수도 있다.
도 8은 RAP에 따라 metadata 정보를 시그널링 하는 실시예를 나타낸다. 비디오 전체에 적용되는 공통 적용 정보(common type)는 각 RAP마다 전송될 수 있다. 이는 도 8에서 HDR_info_type가 0000으로 설정된 경우이다. 공통 적용 정보 는 반복되는 정보지만, 방송 송신 장치는 RAP 마다 공통 적용 정보를 전송함으로써 전송 오류에 의한 정보 손실을 보완하도록 할 수 있다.
장면에 따라 다르게 적용되는 정보를 제공할 필요가 있는 경우 Scene metadata를 이용하여 전송할 수 있다. 이는 도 8에서 HDR_info_type가 0100으로 설정된 경우이다. 이 경우 RAP 시점에 해당하는 정보와 RAP 내 scene change 이후 적용되는 정보를 같이 보내줄 수 있다. RAP 시점에 해당하는 정보 및 RAP 내 scene change 이후 적용되는 정보는 각각을 서로 다른 역할을 하는 set으로 정의될 수 있으며, 서로 다른 set_number가 부여됨으로써 구분될 수 있다. 또한 실시예에 따라 같은 장면에 적용되는 정보라도 서로 다른 역할을 하는 정보를 분리하여 별도로 전달하는 경우 이를 구분하기 위한 목적에도 서로 다른 set_number를 사용할 수 있다. 만약 동일한 정보가 두 개 이상의 RAP에 걸쳐서 적용되는 경우에는 동일 set_number를 갖되, 세부 정보 업데이트가 없는 경우 동일한 version_number를 설정할 수 있다. 여기서, 세부 정보 변경이 있는 경우에는 다른 version_number를 갖도록 함으로써 metadata processor 가 어느 set에 정보 변경이 있는지 여부를 확인하고 업데이트 여부를 결정할 수 있다. 다음 RAP이 도래하면, scene 시작 시점이 새로운 RAP으로 바뀌게 되므로 sync_start가 새로운 RAP으로 바뀌어 적용될 수 있다. 이 경우, 싱크 구간의 끝 지점 (sync_start+sync_duration)이 동일한 경우 정보 변경이 없다고 보고 동일한 version_number를 적용할 수 있다.
프로그램 내 사용되는 메타데이터 적용 시점과 관련된 RAP이 도래하기 이전에 적용 정보를 미리 전송하는 경우에는, 시간 차이, 순서, Frame 수와 같이 상대적인 개념을 통해 적용 시점을 알려줄 수 있다. 이 경우 Sync_start = FFFF와 같이 미리 약속 된 시그널링 혹은 RAP 보다 더 긴 구간 길이로 시그널링 하는 방법을 이용하여 해당 RAP이 아닌 향후에 적용 될 메타데이터임을 알려줄 수도 있다.
도 8의 00:00:00:00~00:00:02:00 구간에서 두번째 HDR_info_type=0100는 sync_start=0, sync_duration=180으로 설정되고 00:00:02:00~00:00:04:00 구간에서 두번째 HDR_info_type=0100은 sync_start=0, sync_duration=60으로 설정될 수 있다. Start 시점이 00:00:00:00에서 00:00:02:00로 변함에 따라 동일 정보(set 1, ver 0)에 대해 duration을 변경하여 시그널링 할 수 있다, 동일 정보임이 확인되는 경우 수신기에서는 metadata update 수행하지 않는다.
만약 이전 정보와 동일한 역할을 하는 정보에 대해 세부 내용 변경이 있는 경우, 방송 송신 장치는 공통 적용 정보의 set_number는 유지한 채로 version_number를 증가시킬 수 있다. 수신기의 metadata processor 는 변경된 version_number에 기초하여 정보 변경을 인지할 수 있으며, 기존 정보를 새로운 정보로 업데이트 할 수 있다.
도 8에 도시된 바와 같이 00:00:04:00~00:00:06:00 구간에서 메타 데이터 내의 정보 변경이 있는 경우 추가로 시작 시점 등의 정보를 전달할 수도 있다. 메타데이터 내 정보 변경이 있는 경우, 예를 들어 도시된 바와 같이 B 정보가 B’로 변경되면, 새로운 version number를 부여할 수 있다. 도면에서 00:00:02:00~00:00:04:00 구간에서 set_number=2에 대한 version number가 0이었으나, 00:00:04:00~00:00:06:00 구간에서는 version number가 1로 증가한 것을 확인할 수 있다. 종료 시점이 변하는 경우 등에도 version number를 통해 update 되어야 함을 알려줄 수 있다.
도 9는 본 발명의 다른 실시예에 따른 시간 흐름에 기초하여 메타 데이터 정보를 시그널링하는 방법을 나타낸다. 도 9는 메타 데이터 정보를 시그널링 함에 있어서, HDR과 SDR 사이에 전환이 있는 경우를 나타낸다. 도시된 바와 같이 세번째 RAP에서 HDR 비디오 스트림은 SDR 비디오 스트림으로 전환되며 이 경우, 세번째 RAP 이후에는 HDR information descriptor가 더 이상 송수신되지 않는다.
HDR information descriptor 전송이 중단되는 경우 방송 송신 장치는 transition_flag를 통해 수신기에 알려줄 수 있다. 컨텐츠의 DR이 HDR에서 SDR 로 전환되는 경우, HDR/WCG 컨텐츠에 대한 비디오 특성을 전달하였던 SEI message의 전달이 중단되며, 컨텐츠 전환 시첨 이후 더 이상의 정보가 전달되지 않을 수 있다. 물론, SDR 컨텐츠에 대해서도 mastering display 정보, color gamut mapping, viewing condition 과 같이 HDR information descriptor를 사용하는 경우도 발생할 수 있지만, 본 예시에서는 HDR information descriptor를 사용하지 않는 legacy SDR content에 대해 고려할 수 있다. 이 경우, transition_flag를 on하는 시점, 즉, 1로 세팅하는 시점이 중요한데, 위의 예시와 같이 전환이 일어나는 시점의 직전 프레임 및 그 프레임을 포함하는 RAP (도면에서 두번째 RAP)에서 transition_flag를 on으로 세팅할 수 있다.
도 10은 본 발명의 일 실시예에 따른 dynamic_range_mapping_info를 나타낸 도면이다. 도 7의 상단에서 설명한 dynamic_range_mapping_info_type이 0x03으로 설정되면, dynamic_range_mapping_info()가 HDR_info descriptor 내에서 직접 정의될 수 있다. HDR_info_type이 Mastering display 혹은 video 와 관련된 공통 적용 정보로써 channel, program 또는 content인 경우, 영상 (channel, program 또는 content) 전반에 걸쳐 도 9에서 설명하는 정보를 사용할 수 있으며, 부분 적용 정보로써 scene type 혹은 frame type인 경우, 해당되는 구간에 대해 도 9에서 설명하는 정보를 사용할 수 있다. 아래에서는 dynamic_range_mapping_info()가 포함하는 필드에 대해 설명하도록 한다.
본 발명의 일 실시예에 따른 dynamic_range_mapping_info()는 최대 기준 밝기 정보 (luminance_max), 최소 기준 밝기 정보 (luminance_min), 임의 EOTF 정보 (private_EOTF), EOTF 계수 개수 정보 (number_of_coeff), EOTF 계수 정보 (transfer_curve_coeff[i]), 클리핑 플래그 정보 (clipping_flag), 선형 매핑 플래그 정보 (linear_mapping_flag), 클리핑 최대 밝기 범위 정보 (luma_clipping_upper_bound), 클리핑 최소 밝기 범위 정보 (luma_clipping_lower_bound), 최대 밝기 정보 (luminance_upper_bound), 최소 밝기 정보 (luminance_lower_bound), 최대 밝기 디지털 값 (luma_upper_value), 최소 밝기 디지털 값 (luma_lower_value), 핵심 영역 변환 곡선 타입 정보 (mid_DR_transformation_curve_type), 핵심 영역 변환 곡선 세부 정보 (mid_DR_transformation_curve()), 핵심 밝기 범위 영역 비율 정보 (mid_DR_percentage), 상위 영역 변환 곡선 타입 정보 (upper_DR_transformation_curve_type), 상위 영역 변환 곡선 세부 정보 (upper_DR_transformation_curve()), 상위 밝기 범위 영역 비율 정보 (upper_DR_percentage), 하위 영역 변환 곡선 타입 정보 (lower_DR_transformation_curve_type), 하위 영역 변환 곡선 세부 정보 (lower_DR_transformation_curve()), 추가 영역 개수 정보 (number_luminance_upper_bound_diff), 추가 영역 차이 정보 (luminance_upper_bound_diff[i]), 추가 영역 차이 디지털 값 (luma_upper_value_diff[i]), 변경 상위 영역 변환 곡선 타입 정보 (upper_DR_transformation_curve_type[i]), 변경 상위 영역 변환 곡선 세부 정보 (upper_DR_transformation_curve()), 변경 상위 밝기 범위 영역 비율 정보 (upper_DR_percentage[i]) 및/또는 변경 핵심 밝기 범위 영역 비율 정보 (mid_DR_percentage[i])를 포함할 수 있다.
최대 기준 밝기 정보 (luminance_max)는 초고화질 방송 컨텐츠에서 표현된 최대 기준 밝기를 나타낸다. 즉, 밝기 범위 (DR)의 최대값을 나타낸다. 예를 들어, 참조 모니터 (reference monitor)의 경우 100cd/m^2를 최대 기준 밝기로 정하고 있고 이 경우 일반적인 범위를 고려하여 상기 값을 100 (10진수)으로 나눈 값의 몫인 1이 전송될 수 있다.
최소 기준 밝기 정보 (luminance_min)는 초고화질 방송 컨텐츠에서 표현된 최소 기준 밝기를 나타낸다. 즉, 밝기 범위 (DR)의 최소값을 나타낸다. 예를 들어, 참조 모니터 (reference monitor)의 경우 0.05cd/m^2를 최소 기준 밝기로 정하고 있고 이 경우 일반적인 범위를 고려하여 상기 값에 100 (10진수)을 곱한 값인 5가 전송될 수 있다.
임의 EOTF 정보 (private_EOTF)는 임의의 EOTF 함수가 사용되는지 여부를 나타낸다. 일반적으로 ITU-R BT.1886, REC.709, BT.2020 등과 같이 널리 사용되는 EOTF가 사용되는 경우에는 VUI 정보에 의해 전달될 수 있다. 하지만, 아직 표준으로 정해지지 않은 EOTF가 사용되는 경우 당해 필드 값을 1로 설정하여 나타낼 수 있다. 예를 들어, 표준으로 정해 지지 않은 EOTF 즉, 임의의 EOTF로서 perceptual quantization이 사용될 수 있다.
EOTF 계수 개수 정보 (number_of_coeff)는 임의의 EOTF에 사용된 계수의 개수를 나타낸다.
EOTF 계수 정보 (transfer_curve_coeff[i])는 임의의 EOTF에 사용된 계수를 나타낸다.
클리핑 플래그 정보 (clipping_flag)는 클리핑 옵션이 사용되는지 여부를 나타내는 정보로서 클리핑 옵션의 사용이 허용되는 경우 1값을 가질 수 있다.
선형 매핑 플래그 정보 (linear_mapping_flag)는 선형 밝기 범위 변환 (linear dynamic range transformation) 방법의 사용 여부를 나타낸다. 선형 밝기 범위 변환 (linear dynamic range transformation) 방법이 사용되는 경우 1값을 가진다.
클리핑 최대 밝기 범위 정보 (luma_clipping_upper_bound)는 클리핑 옵션이 사용되는 경우에 디스플레이 되는 밝기 범위 (DR)에서 상위 임계점에 대한 디지털 값 (digtal value)을 나타낸다.
클리핑 최소 밝기 범위 정보 (luma_clipping_lower_bound)는 클리핑 옵션이 사용되는 경우에 디스플레이 되는 밝기 범위 (DR)에서 하위 임계점에 대한 디지털 값 (digtal value)을 나타낸다.
최대 밝기 정보 (luminance_upper_bound)는 초고화질 방송 컨텐츠에서 표현된 밝기 범위 중 필수적으로 표현되어야 하는 밝기 범위의 최대값 (nit 단위)을 나타낸다. 최대 밝기 정보는 수신 장치의 디스플레이 종류를 판단하는 기준이 될 수 있다. 또한, 수신 장치의 디스플레이 종류를 판단하는 별도의 기준을 시그널링 할 수 있다.
최소 밝기 정보 (luminance_lower_bound)는 초고화질 방송 컨텐츠에서 표현된 밝기 범위 중 필수적으로 표현되어야 하는 밝기 범위의 최소값 (nit 단위)을 나타낸다. 최소 밝기 정보는 수신 장치의 디스플레이 종류를 판단하는 기준이 될 수 있다. 또한, 수신 장치의 디스플레이 종류를 판단하는 별도의 기준을 시그널링 할 수 있다.
최대 밝기 디지털 값 (luma_upper_value)은 최대 밝기 정보 (luminance_upper_bound)에 해당하는 디지털 값 (digital value)을 나타낸다.
최소 밝기 디지털 값 (luma_lower_value)은 최소 밝기 정보 (luminance_lower_bound)에 해당하는 디지털 값 (digital value)을 나타낸다.
핵심 영역 변환 곡선 타입 정보 (mid_DR_transformation_curve_type)는 핵심 밝기 범위 영역에서 사용되는 밝기 범위 변환 곡선을 식별한다. 변환 곡선은 선형 곡선 (linear curve), 지수 곡선 (exponential curve), S곡선 (s curve), 로그 곡선 (logarithmic curve), 여러 곡선이 조합된 곡선 (combination curve) 및 LUT (Look Up Table) 중 어느 하나가 사용될 수 있다.
핵심 영역 변환 곡선 세부 정보 (mid_DR_transformation_curve())는 핵심 영역 변환 곡선 타입 정보 (mid_DR_transformation_curve_type)에 의해 식별된 변환 곡선에 따른 추가 정보를 나타낸다. 예를 들어, 선형 곡선 (linear curve)이 사용되는 경우 기울기 정보가 전송될 수 있고, 지수 곡선 (exponential curve)이나 로그 곡선 (logarithmic curve)이 사용되는 경우 밑에 대한 정보가 전송될 수 있고, S곡선 (s curve)이 사용되는 경우 변곡점의 좌표 및 각 구간에 대한 밑과 y절편에 대한 정보가 전송될 수 있고, 여러 곡선이 조합된 곡선 (combination curve)이 사용되는 경우 각 구간의 x좌표, 각 구간의 곡선 종류 및 당해 그래프에 대한 정보가 전송될 수 있다.
핵심 밝기 범위 영역 비율 정보 (mid_DR_percentage)는 초고화질 방송 컨텐츠의 밝기 범위 중 핵심 밝기 범위 영역이 수신 장치 디스플레이의 전체 밝기 범위 (DR)에서 차지하는 비율을 나타낸다.
상위 영역 변환 곡선 타입 정보 (upper_DR_transformation_curve_type)는 상위 밝기 범위 영역에서 사용되는 밝기 범위 변환 곡선을 식별한다. 변환 곡선은 선형 곡선 (linear curve), 지수 곡선 (exponential curve), S곡선 (s curve), 로그 곡선 (logarithmic curve), 여러 곡선이 조합된 곡선 (combination curve) 및 LUT (Look Up Table) 중 어느 하나가 사용될 수 있다.
상위 영역 변환 곡선 세부 정보 (upper_DR_transformation_curve())는 상위 영역 변환 곡선 타입 정보 (upper_DR_transformation_curve_type)에 의해 식별된 변환 곡선에 따른 추가 정보를 나타낸다. 예를 들어, 선형 곡선 (linear curve)이 사용되는 경우 기울기 정보가 전송될 수 있고, 지수 곡선 (exponential curve)이나 로그 곡선 (logarithmic curve)이 사용되는 경우 밑에 대한 정보가 전송될 수 있고, S곡선 (s curve)이 사용되는 경우 변곡점의 좌표 및 각 구간에 대한 밑과 y절편에 대한 정보가 전송될 수 있고, 여러 곡선이 조합된 곡선 (combination curve)이 사용되는 경우 각 구간의 x좌표, 각 구간의 곡선 종류 및 당해 그래프에 대한 정보가 전송될 수 있다.
상위 밝기 범위 영역 비율 정보 (upper_DR_percentage)는 초고화질 방송 컨텐츠의 밝기 범위 중 상위 밝기 범위 영역이 수신 장치 디스플레이의 전체 밝기 범위 (DR)에서 차지하는 비율을 나타낸다.
하위 영역 변환 곡선 타입 정보 (lower_DR_transformation_curve_type)는 하위 밝기 범위 영역에서 사용되는 밝기 범위 변환 곡선을 식별한다. 변환 곡선은 선형 곡선 (linear curve), 지수 곡선 (exponential curve), S곡선 (s curve), 로그 곡선 (logarithmic curve), 여러 곡선이 조합된 곡선 (combination curve) 및 LUT (Look Up Table) 중 어느 하나가 사용될 수 있다.
하위 영역 변환 곡선 세부 정보 (lower_DR_transformation_curve())는 하위 영역 변환 곡선 타입 정보 (lower_DR_transformation_curve_type)에 의해 식별된 변환 곡선에 따른 추가 정보를 나타낸다. 예를 들어, 선형 곡선 (linear curve)이 사용되는 경우 기울기 정보가 전송될 수 있고, 지수 곡선 (exponential curve)이나 로그 곡선 (logarithmic curve)이 사용되는 경우 밑에 대한 정보가 전송될 수 있고, S곡선 (s curve)이 사용되는 경우 변곡점의 좌표 및 각 구간에 대한 밑과 y절편에 대한 정보가 전송될 수 있고, 여러 곡선이 조합된 곡선 (combination curve)이 사용되는 경우 각 구간의 x좌표, 각 구간의 곡선 종류 및 당해 그래프에 대한 정보가 전송될 수 있다.
추가 영역 개수 정보 (number_luminance_upper_bound_diff)는 핵심 밝기 범위 영역을 확장하기 위해 사용되는 변수의 개수를 나타낸다.
추가 영역 차이 정보 (luminance_upper_bound_diff[i])는 초고화질 방송 컨텐츠에서 i+1 번째 밝기 값을 구성하기 위한 차이 값을 나타낸다. 기존 밝기 범위보다 넓은 밝기 범위를 갖지만 초고화질 방송 컨텐츠에서 표현된 밝기 범위를 모두 수용하지 못하는 디스플레이 (경우 2)에서 핵심 밝기 범위 영역을 확장하는 경우 최대 밝기 정보 (luminance_upper_bound)는 luminance_upper_bound + luminance_upper_bound_diff[0] + … + luminance_upper_bound_diff[i]가 나타내는 값으로 변경될 수 있다.
추가 영역 차이 디지털 값 (luma_upper_value_diff[i])은 초고화질 방송 컨텐츠에서 i+1 번째 밝기 값에 대한 디지털 값 (digital value)을 나타낸다. 기존 밝기 범위보다 넓은 밝기 범위를 갖지만 초고화질 방송 컨텐츠에서 표현된 밝기 범위를 모두 수용하지 못하는 디스플레이 (경우 2)에서 핵심 밝기 범위 영역을 확장하는 경우 최대 밝기 디지털 값 (luma_upper_value)은 luma_upper_value + luma_upper_value_diff[0] + … + luma_upper_value_diff[i]가 나타내는 값으로 변경될 수 있다.
변경 상위 영역 변환 곡선 타입 정보 (upper_DR_transformation_curve_type[i])는 i+1 번째 밝기 범위를 지원하는 경우 변경된 상위 밝기 범위 영역에서 사용되는 변환 곡선을 식별할 수 있다. 즉, 변경 상위 영역 변환 곡선 타입 정보는 핵심 밝기 범위 영역이 확장되는 경우 이에 따라 변경된 상위 밝기 범위 영역에서 사용되는 변환 곡선을 식별할 수 있다.
변경 상위 영역 변환 곡선 세부 정보 (upper_DR_transformation_curve())는 변경 상위 영역 변환 곡선 타입 정보 (upper_DR_transformation_curve_type[i])에 의해 식별된 변환 곡선에 따른 추가 정보를 나타낸다. 즉, i+1 번째 밝기 범위를 지원하는 경우 변경된 상위 밝기 범위 영역에서 사용되는 변환 곡선에 대한 세부 사항을 나타낸다.
변경 상위 밝기 범위 영역 비율 정보 (upper_DR_percentage[i])는 초고화질 방송 컨텐츠의 핵심 밝기 범위 영역이 변경되는 경우 이에 따라 변경된 상위 밝기 범위 영역이 수신 장치 디스플레이의 전체 밝기 범위 (DR)에서 차지하는 비율을 나타낸다.
변경 핵심 밝기 범위 영역 비율 정보 (mid_DR_percentage[i])는 초고화질 방송 컨텐츠의 핵심 밝기 범위 영역이 변경되는 경우 변경된 핵심 밝기 범위 영역이 수신 장치 디스플레이의 전체 밝기 범위 (DR)에서 차지하는 비율을 나타낸다.
도 11은 본 발명의 일 실시예에 따른 HEVC 내에 정의된 SEI 메시지를 참조하는 경우를 나타낸다. 도 7의 하단에서 설명한 color_gamut_mapping_info_type 이 0x00으로 설정되면, gamut_mapping_info()가 HDR_info descriptor 내에 직접 정의되지 않고 HEVC에 정의된 SEI 메시지를 참조할 수 있다. 여기서 SEI 메시지는 HEVC에 정의된 colour remapping information SEI message syntax를 따를 수 있다.
HDR_info_type가 Mastering display 혹은 video 와 관련된 공통 적용 정보로써 channel, program 또는 content인 경우 영상 (channel, program 또는 content) 전반에 걸쳐 참조된 정보를 사용할 수 있으며, 부분 적용 정보로써 scene type 혹은 frame type인 경우 해당되는 구간에만 참조된 정보를 적용할 수 있다.
도 12 및 13은 본 발명의 일 실시예에 따른 HDR_info descriptor를 PMT를 통해 시그널링하는 실시예를 나타낸다. PMT는 program mapping table을 의미하며, 테이블 식별자 정보, 섹션 신택스 지시자 정보, 섹션 길이 정보, 프로그램 넘버 정보, 버전 넘버 정보, current_next 지시자 정보, 섹션 넘버 정보, PCR_PID 정보, program info 길이 정보, 제1 디스크립터 정보, 스트림 타입 정보, 기본 PID (elementary PID) 정보, 엘레멘터리 스트림 정보 길이 (Es_info_length) 정보, 제2 디스크립터 정보, CRC 정보 등을 포함할 수 있다. 제1 디스크립터 정보는 program info 길이 정보 뒤에 따라오는 첫번째 루프에 포함된 디스크립터 정보를 나타낼 수 있으며, 제2 디스크립터 정보는 엘레멘터리 스트림 정보 길이 뒤에 따라오는 두번째 루프에 포함된 디스크립터 정보를 나타낼 수 있다.
본 발명의 일 실시예에 따른 UHD_program_info_descriptor는 PMT에 포함된 제1 디스크립터 정보 내에 포함되어 시그널링될 수 있으며, 전술한 HDR_info descriptor는 PMT에 포함된 제2 디스크립터 정보 내에 포함되어 시그널링 될 수 있다.
UHD_program_info_descriptor는 도 12의 상단에 도시된 바와 같이 디스크립터 태크 (descriptor_tag) 정보, 디스크립터 길이 (descriptor_length) 정보 또는 서비스 타입 정보 (UHD_service_type) 중 적어도 하나를 포함할 수 있다. 여기서 서비스 타입 정보 (UHD_service_type)는 도 12의 하단에 도시된 바와 같이 UHD 서비스의 종류를 나타낼 수 있다. 예를 들어, 서비스 타입 정보는 UHD1(4K), UHD2(8K), 혹은 quality에 따른 구분 등 사용자가 지정한 UHD 서비스 종류를 나타낼 수 있다. 이를 통해 수신기에게 다양한 UHD 서비스를 제공할 수 있다. 본 발명의 경우, UHD_service_type = 1100 (UHD1 service with HDR information metadata, 4K의 예)로 지정하여 video, scene, clip 또는 frame 등의 서로 다른 단계 또는 단위에 대한 HDR info 가 제공됨을 나타낼 수 있다.
도 14 및 15는 본 발명의 일 실시예에 따른 HDR_info descriptor를 EIT를 통해 시그널링하는 실시예를 나타낸다. ATSC 및 DVB 시스템은 시그널링 테이블로써 EIT를 포함할 수 있으며, 그 안에 포함된 신택스는 도 14 및 15와 같다.
본 발명의 일 실시예에 따른 ATSC 및 DVB 시스템의 EIT (Event Information Table)는 공통적으로 table_id 필드, section_syntax_indicator 필드, section_length 필드, source_id (service_id)필드, version_number 필드, current_next_indicator 필드, section_number 필드, last_section_number 필드, num_events_in_section (segment_last_section_number)필드, event_id 필드, start_time 필드, length_in_seconds (duration) 필드, descriptors_length 필드, descriptor() 필드 및/또는 CRC_32 필드를 포함할 수 있다.
table_id 필드는 당해 테이블이 EIT (Event Information Table)임을 식별한다. section_syntax_indicator 필드는 MPEG-2 private_section table의 long 형태를 나타내기 위해 1로 세팅되는 1비트 필드이다. section_length 필드는 이 필드 뒤에 있는 테이블 섹션의 길이를 바이트 수로 나타낸다. source_id 필드는 해당 섹션에서 기술되는 이벤트를 전송하는 가상 채널의 소스 아이디 (source id)를 나타낸다. version_number 필드는 테이블의 버전 번호를 나타내는 5비트 필드이다. current_next_indicator 필드는 1비트 필드로서, 이 테이블이 현재 적용 가능한지 또는 다음에 적용 가능한지를 나타낸다. section_number 필드는 섹션의 번호를 나타낸다. last_section_number 필드는 마지막 섹션의 번호를 식별한다. num_events_in_section 필드는 해당 테이블 섹션에 포함된 이벤트의 개수를 나타낸다. event_id 필드는 기술된 이벤트를 가리키는 특정 숫자를 식별한다. start_time 필드는 해당 이벤트의 시작시간을 GPS 세컨드를 기준으로 나타낸다. 가상 채널에서 이벤트의 시작 시간을 나타내는 값은 방영 중인 이벤트의 종료 시간을 나타내는 값보다 클 수 있다. 이벤트의 종료 시간은 이벤트의 시작 시간과 이벤트의 길이를 시간으로 나타낸 값의 합으로 정의될 수 있다. length_in_seconds (duration) 필드는 이벤트의 지속 시간을 초단위로 나타낸다. descriptors_length 필드는 뒤에 이어서 기술되는 이벤트 디스크립터 (descriptor())의 전체 길이를 나타낸다. descriptor() 는 테이블 내에 위치하는 descriptor loop이다. descriptor loop는 추가적인 descriptor를 포함할 수 있다. EIT 안에는 0개 이상의 디스크립터가 포함될 수 있으며, 당해 디스크립터는 각 이벤트마다 적용되는 정보를 기술하는 이벤트 레벨 디스크립터 (event level descriptor)에 해당할 수 있다. 본 발명의 일 실시예에 따라, UHD_program_info_descriptor 및 HDR_info descriptor는 이벤트 레벨 디스크립터에 포함되어 전송될 수 있다. UHD_program_info_descriptor는 UHD 서비스 종류를 구분하기 위해 사용될 수 있으며, HDR_info descriptor는 event level에서 HDR 영상 정보 메타데이터 포함 여부를 확인할 수 있으며, 수신기에서 수용 가능 여부를 판단하기 위해 사용될 수 있다. 케이블 방송의 경우 상기 디스크립터 대신 AEIT에 동일 정보를 제공할 수 있다.
CRC_32 필드는 데이터의 무결성을 체크할 수 있는 CRC 값을 포함한다. CRC 값은 전체 EIT 섹션이 처리된 이후에 Annex A of ISO-13818-1 “MPEG-2 Systems”에 정의되어 있는 디코더 안의 레지스터로부터 0값이 출력되는 것을 보증할 수 있다.
EIT를 통해 시그널링되는 UHD_program_info_descriptor의 UHD_service_type이 1100으로 설정되면, 수신기는 적정 시청 환경에 대한 정보가 metadata를 통해 전달됨을 확인할 수 있다. 예를 들어, UHD_service_type이 1100인 경우 수신기는 해당 서비스가 UHD1 service with HDR information metadata, 4K임을 확인할 수 있다.
EIT를 통해 시그널링되는 UHD_program_info_descriptor의 UHD_service_type이 0000으로 설정되면, 수신기는 HDR_info_descriptor()의 존재 여부를 확인하고, video, scene 또는 frame 등의 서로 다른 단계 또는 단위에 대한 HDR info 이 제공됨을 알 수 있다. 여기서, UHD_service_type이 0000은 UHD1 서비스임을 나타낼 수 있다.
상술한 경우에 대해, HDR_info_descriptor() 를 이용해 컨텐츠 공급자가 원하는 mastering display, content, scene 또는 frame 단위의 정보를 시청자의 디스플레이에서 활용할 수 있는지 판단할 수 있다. 이를 이용해 현재 혹은 미래 시점에 재생 되는 컨텐츠에 대해 content, scene 또는 frame 단위 메타데이터 사용 여부를 미리 판단할 수 있으며, 예약 녹화 등의 상황을 위한 세팅을 수신기에서 미리 준비할 수 있는 효과가 있다.
도 16은 본 발명의 다른 실시예에 따른 HDR_info_descriptor()를 나타낸다. 하나의 event에 대해 복수의 정보가 존재할 수 있다. 즉, 컨텐츠에 일관되게 정보가 적용되는 것이 아닌, 시간에 따라, 혹은 삽입 된 컨텐츠 유무 등에 의해 적용되는 정보가 변환될 수 있다. 혹은, 하나의 컨텐츠에 대해 제작자가 의도하는 다양한 모드를 지원할 수도 있다. 이때, 수신기의 디스플레이에서 이러한 모드들을 수용 가능한지를 판단할 필요가 있으며, 이에 대한 정보는 방송 송신 장치에 의해 viewing_condition_metadata를 통해 제공될 수 있다. viewing_condition_metadata 내의 syntax는 SEI message의 viewing condition descriptor의 정의를 따를 수 있다.
HDR_info_descriptor는 도 16의 상단에 도시된 바와 같이 디스크립터 태크 (descriptor_tag) 정보, 디스크립터 길이 (descriptor_length) 정보 및 정보의 개수 (number_of_info) 정보 중 적어도 하나를 포함할 수 있다. HDR_info_descriptor는 루프를 포함할 수 있으며 number_of_info이 지시하는 개수만큼의 HDR_info_metadata()를 포함할 수 있다. HDR_info_metadata()의 신택스는 도 4의HDR information descriptor 구성의 실시 예의 스크립트 혹은 그의 일부가 전달될 수 있다.
도 17은 본 발명의 일 실시예에 따른 수신기 블록도 및 동작 방법을 나타낸다. 전술한 방법을 통해 HDR information 이 전송되는 경우, 수신기에서 시그널을 분석하고 이를 바탕으로 HDR 영상에 정보를 적용하는 프로세스는 다음과 같다.
본 발명의 일 실시예에 따른 수신기는 튜너 및 디모듈레이터 (1601)를 이용하여 RF (radio frequency) 채널로부터 방송 신호를 수신할 수 있다. 도시되지는 않았으나 방송 신호는 RF 채널뿐 아니라 다른 경로로도 수신될 수 있다. 예를 들어 방송 신호는 IP 기반 방송/통신, 유/무선 통신, 유/무선 인터페이스를 통해 수신될 수 있다. 또한 방송 신호와 후술할 메타 데이터는 서로 다른 경로로 수신될 수 있다. 후술할 메타 데이터는 방송 신호 뿐 아니라 다른 경로(예를 들어 IP 기반 방송/통신, 유/무선 통신, 유/무선 인터페이스, 근거리 무선 통신 등)로도 송수신 될 수 있다.
수신기는 채널 디코더 (1602)를 이용하여 수신된 방송 신호를 디코딩 할 수 있다. 여기서 채널 디코더는 VSB 또는 QAM 방식을 이용하여 디코딩할 수 있다. 디코딩된 방송 신호는 디멀티플렉서 (1603)에 의해 방송 컨텐츠 데이터 및 시그널링 데이터로 디멀티플렉싱될 수 있다. 방송 컨텐츠 데이터는 HDR 비디오 데이터를 포함할 수 있으며, 비디오 디코더(1605)에 의해 디코딩될 수 있다. 시그널링 데이터는 방송 컨텐츠 데이터에 대한 정보를 포함할 수 있으며, 실시예에 따라 PMT, VCT, EIT, SDT 등 시그널링 테이블 또는 시그널링 정보를 포함할 수 있다. 수신기는 섹션 데이터 프로세서 (1604)를 이용하여 시그널링 정보 (예를 들어, PMT)로부터 UHD_program_info_descriptor를 추출할 수 있다.
수신기는 UHD_program_info_descriptor 를 이용하여 원본 UHDTV 방송을 구성하기 위해 추가로 수신해야 하는 별도 서비스나 미디어가 있는지 파악한다. 본 발명의 실시 예에서는 수신기가 UHD_service_type = 1100 임을 수신하는 경우 SEI message를 통해 추가 정보가 있음을 파악할 수 있다. 혹은 수신기는 UHD_service_type = 0000(8K는 0001)을 수신 후 EIT를 통해 SEI message를 통한 비디오 관련 추가 정보가 있음을 파악할 수 있다.
추가 정보가 존재함을 확인한 수신기는 HDR information SEI message 혹은 HDR_info_type에 기초하여 추가 정보가 적용되는 범위가 channel 단위인지, program 단위인지, 컨텐츠 단위인지, scene, clip 또는 frame 인지를 구분할 수 있다. 또한 각 경우에 대해 추가 정보가 적용되는 범위를 동기화하기 위해 HDR_info_descriptor() 는 추가 정보의 시작 시점과 종료 시점에 대한 정보를 포함할 수 있다. 본 발명의 일 실시예에서는 video frame을 기준으로 동기화하기 위한 정보인 sync_info_type, sync_start, sync_duration의 예시로 사용하였다. 또한 HDR_info_descriptor() 는 HDR의 종료 시점을 나타내는 transition_flag 정보를 포함할 수 있다.
또한 HDR_info_type이 content 전반에 대해 적용되는 정보인 경우, 시그널링 정보는 HDR_video_enhancement_info_present_type을 통해 추가적으로 scene, clip, frame 단위의 정보가 제공되는지 여부를 시그널링할 수 있다. 이를 통해 수신기는 추후 scene, clip 또는 frame 단위 정보가 제공됨을 미리 알 수 있으며, scene, clip 또는 frame 단위의 metadata 처리 및 HDR 영상 화질 개선을 위한 세팅을 미리 할 수 있다.
수신기는 시그널링 정보를 통해 dynamic range를 표현할 수 있는 정보로써 고대비에 대한 정보나 밝기를 나타내는 정보의 종류를 dynamic_range_info_type 를 통해 파악할 수 있다. 예를 들어, dynamic_range_info_type은 고대비 정보로써 aspect ratio, f-stop을 지시하거나, 밝기 정보로써 peak luminance, minimum luminance 등을 지시할 수 있다. 각 타입에 따른 밸류는 dynamic_range_info_value[i] 를 통해 수신기에 전달될 수 있다. 특히 본 발명의 일 실시예에 따르면, content, mastering display, frame, scene 의 특징에 따른 dynamic range 정보를 각각 나타낼 수 있으며, dynamic_range_info_type을 통해 밝기를 더욱 세분화 하여 나타낼 수 있다. 이와 함께 수신기는 color encoding에 사용된 EOTF의 종류, color gamut 종류, color temperature 종류를 각각 transfer_function_type, color_gamut_type, color_temperature_type을 통해 파악할 수 있다.
HDR_info_descriptor()는 추가적인 정보로써 dynamic range mapping, color gamut mapping, viewing condition information 등을 수신기에게 제공할 수 있다. 추가적인 정보를 제공하는 방법이 다양한 경우, 각각에 대해 dynamic_range_mapping_info_type, color_gamut_mapping_info_type, viewing_condition_info_type 을 통해 HEVC 내에 정의된 SEI message 혹은 미리 약속된 SEI message를 지정할 수 있다. HDR_info descriptor 내에서 추가 정보를 직접 정의하는 경우 수신기는 dynamic_range_mapping_info(), color_gamut_mapping_info(), viewing_condition_info() 를 통해 세부정보를 파악할 수 있다.
상술한 시그널링 정보들은 수신기의 메타데이터 프로세서(1606)에 저장될 수 있다. 저장된 시그널링 정보들은 전술한 set number 또는 version 이 변경되는 경우 업데이트될 수 있다. 수신기는 싱크로나이저(1607)를 이용하여 메타데이터 프로세서(1606)에 저장된 화질 개선 정보가 적용 단위에 따라 비디오 데이터에 적용될 수 있도록, 화질 개선 정보 (시그널링 정보)와 비디오 데이터를 동기화할 수 있다.
수신기는 주어진 정보를 바탕으로 content, scene 또는 frame 단위의 dynamic range 정보를 HDR 알고리즘 혹은 기존 후처리부(1608, post-processing module)와 같은 화질 개선부에 전달하여 화질 향상을 시킬 수 있다. 또한 수신기는 dynamic range mapping, color gamut mapping, viewing condition information과 관련된 세부 정보가 있는 경우 tone mapping, color mapping, color correction, white balance 등과 같이 관련된 모듈을 직접 연결하여 화질 향상을 할 수 있다. 만약 수신기 내부에서 영상 처리를 linear luminance domain에서 이뤄지는 경우 transfer_function_type을 통해 파악한 EOTF 를 적용할 수 있다.
수신기는 후처리된 HDR 비디오를 디스플레이부 (1609)를 통해 표시하고, 사용자에게 제공할 수 있다.
도 18은 본 발명의 일 실시예에 따른 HDR 정보 디스크립터를 나타낸다. 본 발명에서 제시하는 HDR 인포메이션(information)을 보다 정확하게 적용하기 위해서는 입력 비디오 포맷 (input video format)과 출력 비디오 포맷 (ouput video format) 에 대해 상술할 필요가 있다. 즉, 방송 신호 송신 장치는 비디오 데이터에 대한 프로세싱 이전과 이후에 적용되는 비디오 포맷에 대한 정보를 추가적으로 시그널링함으로써, 방송 신호 수신 장치가 보다 정확한 색상 매핑을 수행할 수 있다. 도시된 정보들은 도 4에서 설명한 HDR 인포메이션 디스크립터에 포함된 정보와 함께 추가적으로 해당 디스크립터에 포함될 수 있다. 도시된 정보들은 본 실시예와 같이 SEI 메시지 내의 모든 HDR 비디오 프로세싱 (video processing)에 동일하게 적용될 수 있다. 또한, 각각의 HDR 비디오 프로세싱, 예를 들면 색상 표현 매핑 (color gamut mapping), 다이나믹 레인지 매핑 (dynamic range mapping)에 각각 정의되어 서로 다른 입력/출력 (input/output) 특성을 정의할 수도 있다.
입력 색공간 타입 정보 (Input_color_space_type)는 본 발명에서 전달하는 HDR 비디오 프로세싱의 대상이 되는 영상에 대한 정보 중, 컬러 표현 기준을 나타낼 수 있다. 낸다. 컬러 표현 기준으로는 RGB, YCbCr, xvYCC, XYZ 등이 사용될 수 있다. 즉, 입력 색공간 타입 정보가 0000로 설정되는 경우 컬러 표현 기준이 RGB 임을 나타내고, 0001인 경우 YCbCr, 0010인 경우 xvYCC, 0011인 경우 XYZ임을 나타낼 수 있다. 0100 내지 1111인 경우는 향후 사용을 위해 리저브드(reserved) 될 수 있다. 또한 입력 색공간 타입 정보는 컬러 개멋 타입 정보 (color gamut type)와 함께 사용될 수 있다. 예를 들어, 입력 색공간 타입 정보 (input_color_space_type) 가 RGB 이고 컬러 개멋 타입 정보 (color_gamut_type)가 BT.2020 정휘도 (constant luminance) 인 경우 영상이 BT.2020 CL 기반의 RGB로 표현되었음을 나타낼 수 있다.
입력 색상 정밀도 정보 (Input_color_precision)는 컬러 표현 정확도를 나타내며, 필요한 경우 입력 색공간 타입 정보 (Input_color_space_type)와 연동되어 사용될 수 있다. 예를 들어 RGB의 경우 동일한 색에 대해서도 10 비트/ 12 비트/ 14 비트 와 같이 다른 정밀도로 표현할 수 있다. 혹은 플로팅 포인트 (floating point)로 나타낼 필요가 있는 경우 소수점 이하 몇 자리까지 정밀도를 갖는지에 대해 나타낼 수도 있다.
출력 색공간 타입 정보 (Output_color_space_type)는 입력 색공간 타입 정보 (Input_color_space_type)와 대조되는 개념으로, HDR 비디오 프로세싱 이후 타겟 하는 최종 컬러 표현 기준을 나타낸다. 컬러 표현 기준으로는 RGB, YCbCr, xvYCC, XYZ 등이 사용될 수 있다. 즉, 출력 색공간 타입 정보가 0000로 설정되는 경우 컬러 표현 기준이 RGB 임을 나타내고, 0001인 경우 YCbCr, 0010인 경우 xvYCC, 0011인 경우 XYZ임을 나타낼 수 있다. 0100 내지 1111인 경우는 향후 사용을 위해 리저브드(reserved) 될 수 있다. 출력 색상 정밀도 정보 (Output_color_precision) 는 컬러 표현 정확도를 나타내며, 필요한 경우 출력 색공간 타입 정보 (Output_color_space_type)와 연동되어 사용될 수 있다. 출력 색상 정밀도 정보에 대한 실시예는 입력 색상 정밀도 정보 (Input_color_precision) 의 실시예와 동일하게 적용될 수 있다. 프로세싱 색공간 타입 정보 (processing_color_space_type)는 HDR 비디오 프로세싱이 수행되는 색공간 (Color space)을 나타낸다. 일반적으로 XYZ와 같은 중립 색공간을 사용할 수 있지만, 특정 색공간 (color space)을 지정하여 사용할 수도 있다. 프로세싱 색공간으로는 XYZ, YCbCr (BT.2020, non-CL), YCbCr (BT.2020, CL), CIE L*a*b*, 및 YUV가 사용될 수 있다. 즉, 프로세싱 색공간 타입 정보의 값이 0000으로 설정된 경우 XYZ, 0001로 설정된 경우 YCbCr (BT.2020, non-CL), 0010으로 설정된 경우 YCbCr (BT.2020, CL), 0011로 설정된 경우 CIE L*a*b*, 0100으로 설정된 경우 YUV이 색공간 타입으로 지정될 수 있다.
프로세싱 색상 정밀도 정보 (Processing_color_precision)는 컬러 표현 정확도를 나타내며, 필요한 경우 프로세싱 색공간 타입 정보 (processing_color_space_type)와 연동하여 사용할 수 있다. 이에 대한 실시예는 입력 색상 정밀도 정보 (Input_color_precision) 의 실시예와 동일하게 적용될 수 있다.
HDR 정보 디스크립터는 타겟 인포메이션을 더 포함할 수 있다. 다이나믹 레인지 인포에 대해서 타겟 인포메이션은 HDR 정보 디스크립터를 통해 해당 프레임/장면의 화질 개선을 추구할 때 목표(target)가 되는 결과에 대한 정보를 나타낸다. 여기서, 목표는 비디오 포맷이 되거나 목표가 되는 디스플레이 등이 될 수도 있다.
타겟 인포메이션은 다음과 같은 요소들을 포함할 수 있다. 타겟 다이나믹 레인지 인포 타입 (Number_of_target_dynamic_range_info_type) 정보는 타겟 다이나믹 레인지 인포 타입의 개수를 나타낼 수 있다. 타겟 다이나믹 레인지 인포 타입 (target_dynamic_range_info_type) 정보는 HDR 비디오 프로세싱이 타겟팅하는 다이나믹 레인지 정보의 종류을 정의할 수 있다. 이에 대해 타겟 다이나믹 레인지 인포 밸류 (target_dynamic_range_info_value) 정보는 타겟 다이나믹 레인지 인포 타입 정보가 정의한 정보에 대한 구체적인 값을 나타낼 수 있다. 타겟 변환 함수 타입 정보(target_transfer_function_type), 타겟 컬러 개멋 타입 정보(target_color_gamut_type), 타겟 컬러 온도 타입 정보 (target_color_temperature_type)는 각각 타겟팅하는 변환 함수의 종류, 컬러 개멋의 종류, 컬러 온도의 종류에 대한 정보를 나타낼 수 있다. 이들 정보들은 전술한 Number_of_dynamic_range_info_type, dynamic_range_info_type, dynamic_range_info_value, transfer_function_ type, color_gamut_type, color_temperature_type 에 대응하는 의미를 가질 수 있다. 여기서, 기존에 정의했던 값은 HDR 비디오 프로세싱의 대상이되는 영상의 다이나믹 레인지 (dynamic range), 컬러 개멋 (color gamut), 변환 함수 (transfer function)를 나타내는 것으로 의미를 구체화하여 적용할 수 있다.
도 19는 본 발명의 일 실시예에 따른 HDR 정보 디스크립터를 나타낸다. 도시된 정보들은 도 4에서 설명한 HDR 인포메이션 디스크립터에 포함된 정보와 함께 추가적으로 해당 디스크립터에 포함될 수 있다. HDR 정보 디스크립터는 추가적으로 HDR 프로그램 트랜지션 플래그 정보, 트랜지션 세트 넘버 정보, 트랜지션 버전 넘버 정보를 더 포함할 수 있다. HDR 트랜지션 플래그 정보 (HDR_program_transition_flag)는 HDR 정보 디스크립터에 주요한 변화가 있는 경우를 나타낸다. 예를 들어 해당 플래그가 1인 경우 현재 HDR 프로그램/컨텐츠의 종료의 의미를 가질 수 있다. 또한, 해당 플래그가 1인 경우 HDR 컨텐츠의 변화, 적용되는 HDR 인포메이션 종류의 변화 등을 의미할 수 있다. 방송 송신 장치는 상술한 변화가 발생된 후 일정 프레임/시간 동안 1로 세팅함으로써 HDR 정보 디스크립터에 주요 변화, HDR 컨텐츠/프로그램의 변화가 있음을 알려줄 수도 있다. 혹은 변화가 일어나기 직전 일정 프레임/시간 동안 1로 세팅함으로써 일정 프레임/시간 후 HDR 정보 디스크립터에 변화가 있을 것, 즉, HDR 컨텐츠/프로그램의 변화가 있을 예정임을 알려줄 수 있다. 본 플래그가 시그널링 되는 경우 주요 변화 사항을 적용하기 위해 해당 SEI 메시지를 필수적으로 참고하도록 조건을 줄 수도 있다. 필요한 경우 이러한 시그널링은 비디오 레벨뿐만 아니라 시스템 레벨 또는 서비스 레벨에서도 할 수 있다. 트랜지션 세트 넘버 정보 (transition_set_number), 트랜지션 버전 넘버 정보 (transition_version_number)는 변경된 HDR 컨텐츠/프로그램의 특징을 알려주기 위한 추가 정보로써 전송될 수 있다. 예를 들어 트랜지션 세트 넘버 (set_number) 정보를 통해 변경된 또는 변경될 HDR 컨텐츠/프로그램에서 사용하는 HDR 시스템을 시그널링 하거나, 다수의 HDR 타겟에 대한 정보가 있는 경우 현재 타겟과 연계된 세트 넘버 정보(set_number)를 시그널링 할 수 있다. 세트 넘버 (Set_number) 정보뿐만 아니라 트랜지션 버전 넘버 (version_number) 정보도 다음 HDR 컨텐츠/프로그램에 대한 정보로 주어질 수 있다. 필요한 경우 다양한 종류의 정보에 대한 링크를 제공할 수도 있다. 예를 들어 1000nit/500nit/100nit 타겟 디스플레이 (target display)에 해당하는 각각의 세트 넘버 정보 (set_number), 버전 넘버 정보 (version_number) 를 줄 수 있다.
HDR 트랜지션 플래그 정보와 관련하여 도 4에서 설명한 트랜지션 플래그 정보 (transition_flag)는 다음과 같이 사용될 수 있다. 트랜지션 플래그 정보 (Transition_flag)의 의미를 확장하여 HDR 정보 디스크립터 (HDR information descriptor)에 주요 변화가 있는 경우를 나타내도록 설정할 수 있다. 즉, 트랜지션 플래그 정보 (transition_flag)의 값이 1인 경우 현재의 또는 현재의 프로그램에 해당하는 HDR 정보 디스크립터 (HDR information descriptor) 전송이 종료된다는 의미를 줌으로써, SDR 이 시작된다는 의미뿐만 아니라 다른 HDR 프로그램이 시작되거나, 다른 종류의 메타데이터를 적용한다는 의미 등으로 사용할 수 있다. 구체적인 시그널링의 의미 및 방법은 HDR_program_transition_flag를 따르도록 할 수 있다. 여기서, 트랜지션 플래그 정보 (transition_flag)가 단독으로 사용되거나, HDR 트랜지션 플래그 정보 (HDR_program_transition_flag)와 연계하여 두 신호를 모두 사용 할 수 있다. 예를 들어 트랜지션 플래그 정보 (transition_flag)는 해당 HDR 정보 디스크립터의 종료 시점(HDR 컨텐츠의 종료 시점)에 시그널링을 해주고, HDR 트랜지션 플래그 정보 (HDR_program_transition_flag)는 다음 HDR 컨텐츠의 시작 시점에 시그널링 해줄 수 있다.
HDR 트랜지션 플래그 정보와 관련하여 도 4에서 설명한 세트 넘버 정보 (set_number) 는 그 의미가 확장되어 사용될 수 있다. 세트 넘버 정보 (set_number)의 의미를 확장하여 HDR 정보 디스크립터에 주요 변화가 있는 경우를 나타내도록 설정할 수 있다. 즉, 프로그램/컨텐츠/채널에 따라 HDR 정보 디스크립터에 서로 다른 세트 넘버 (set_number)를 지정할 수 있으며, 이 경우 HDR 정보 디스크립터의 내용이 변화되었다는 의미를 부여하고 HDR 컨텐츠가 종료되고 새로운 HDR 컨텐츠가 시작되는 등의 변화가 일어났음을 알려줄 수 있다. 또한 세트 넘버 정보 (set_number)가 특정 HDR 정보 디스크립터에 대해 고정값을 갖도록 설정할 수도 있다. 예를 들어 HDR 시스템에 따라 서로 다른 종류의 파라미터 전달이 가능한 경우, 각각의 HDR 시스템을 세트 넘버 정보(set_number)를 이용하여 구분할 수 있다.
HDR 트랜지션 플래그 정보와 관련하여 도 4에서 설명한 버전 넘버 정보 (version_number)는 그 의미가 확장되어 사용될 수 있다. 버전 넘버 정보 (version_number)의 의미를 확장하여 HDR 정보 디스크립터에 주요 변화가 있는 경우를 나타내도록 설정할 수 있다. 즉, 방송 송신 장치는 HDR 정보 디스크립터에 변화가 있을 때 변경된 버전 넘버 (version_number)를 부여하고, 방송 수신 장치가 변경된 HDR 정보 디스크립터가 적용되는 프레임부터는 새로운 HDR 정보 디스크립터를 필수적으로 참고하도록 설정할 수 있다. 이 경우 프로그램 내에서 프레임/장면 단위의 변화뿐만 아니라 채널 내에서 프로그램/컨텐츠 자체가 변하는 경우, 즉, 현재 HDR 컨텐츠가 다른 종류의 HDR 컨텐츠로 변경되는 경우에도 사용할 수 있다. 이 때, 방송 송신 장치는 특정 버전 넘버 (version_number)를 부여하여 시그널링 함으로써 프로그램/컨텐츠 자체가 변하는 경우와 같이 주요한 전환이 일어나는 경우를 특징적으로 알려줄 수도 있다.
도 20은 본 발명의 일 실시예에 따른 방송 송신기를 나타낸 블록도이다. 본 발명에 따른 방송 송신기(1701)은 인코더(1702), 다중화부(1703) 및/또는 송신부(1704)를 포함할 수 있다.
방송 송신기(1701)에 입력되는 비디오 데이터의 해상도는 UHD가 될 수 있다. 또한 방송 송신기(1701)에 입력되는 메타 데이터는 UHD 비디오에 대한 화질 개선 메타 데이터를 포함할 수 있다. 화질 개선 메타데이터는 비디오 데이터와 함께 전송되는 SEI 메시지에 포함되어 전송될 수 있다. 도 4 내지 7에서 전술한 바와 같이 화질 개선 메타 데이터는 HDR 정보 디스크립터 (HDR_info_descriptor)를 포함할 수 있으며, 이는 UHD 비디오의 화질 개선에 필요한 정보를 포함할 수 있다. UHD 비디오의 화질 개선에 필요한 정보는 content 전체 (channel, program, content), scene, clip 또는 프레임 단위로 적용될 수 있으며, content 전체에 적용되는 공통 적용 정보 및 scene, clip 또는 프레임 단위로 적용되는 부분 적용 정보를 함께 포함할 수도 있다. 또한 HDR_info_descriptor() 는 HDR의 종료 시점을 나타내는 transition_flag 정보를 포함할 수 있다.
또한 HDR 정보 디스크립터는 전술한 바와 같이 화질 개선을 위한 프로세싱 단계에 대한 프로세싱 색공간 타입 정보, 프로세싱 색상 정밀도 정보를 포함할 수 있다. 이에 더하여 HDR 정보 디스크립터는 프로세싱 단계 이전에 대한 입력 색공간 타입 정보 및 입력 색상 정밀도 정보, 프로세싱 단계 이후에 대한 출력 색공간 타입 정보 및 입력 색상 정밀도 정보를 더 포함할 수 있다. 또한 HDR 정보 디스크립터는 화질 개선 프로세싱이 타겟하는 다이나믹 레인지, 변환함수 타입, 컬러 개멋, 색온도 타입에 대한 정보도 포함할 수 있다. 또한 HDR 컨텐츠 또는 HDR 정보에 대한 변경이 예정되어 있음을 나타내는 HDR 프로그램 트랜지션 플래그 정보 및 그 트랜지션의 대상이 되는 세트 넘버 정보 및 버전 넘버 정보를 포함할 수 있다.
방송 송신기(1701)에 입력된 비디오 데이터는 인코더(1702)에 의해 인코딩될 수 있다. 전송단은 비디오 데이터에 대한 인코딩 방식으로써 HEVC(High Efficiency Video Coding)를 사용할 수 있다. 전송단은 인코딩된 비디오 데이터와 화질 개선 메타 데이터를 동기화하고 다중화부(1703)를 이용하여 다중화할 수 있다. 화질 개선 메타 데이터는 동기화 정보를 더 포함할 수 있다. 화질 개선 메타 데이터는 동기화 방법에 따라, 시간, 시간 차이, 시작 순서, POC, PTS, 누적된 프레임의 개수 등의 동기화 정보를 포함할 수 있다.
송신부(1704)는 다중화부(1703)로부터 출력된 트랜스포트 스트림을 방송 신호로써 전송할 수 있다. 여기서, 트랜스포트 스트림은 전송 전에 채널 코딩 및 변조된 후 방송 신호로써 전송될 수 있다. 본 발명의 다른 실시예에 따르면 메타 데이터는 방송 신호 뿐 아니라 다른 경로(예를 들어 IP 기반 방송/통신, 유/무선 통신, 유/무선 인터페이스, 근거리 무선 통신 등)로도 송신 될 수 있다. 또한 비디오 데이터와 별도의 경로로 송신될 수도 있다.
도 21은 본 발명의 일 실시예에 따른 방송 수신기를 나타낸 블록도이다. 본 발명에 따른 방송 수신기(1801)는 수신부(1802), 역다중화부(1803) 및/또는 디코더(1804)를 포함할 수 있다.
수신부(1802)에 의해 수신된 방송 신호는 복조된 후 채널 디코딩될 수 있다. 채널 디코딩된 방송 신호는 역다중화부(1803)에 입력되어 비디오 스트림 및 화질 개선 메타데이터로 역다중화될 수 있다. 메타 데이터는 방송 신호뿐 아니라 다른 경로(예를 들어 IP 기반 방송/통신, 유/무선 통신, 유/무선 인터페이스, 근거리 무선 통신 등)로도 수신 될 수 있다. 역다중화부의 출력은 디코더(1804)에 입력될 수 있다. 디코더는 비디오 디코더 및 메타 데이터 프로세서를 포함할 수 있다. 즉 비디오 스트림은 비디오 디코더에 의해, 화질 개선 메타데이터는 메타 데이터 프로세서를 통해 디코딩될 수 있다. 각각 디코딩된 비디오 스트림 및 화질 개선 메타데이터는 도 19에서 설명한 바와 같이 후처리부에 의해 UHD 비디오 화질 개선에 사용될 수 있다. 수신기는 화질 개선 메타데이터에 기초하여 디코딩된 비디오 데이터를 후처리할 수 있으며, HDR 또는 WCG 중 적어도 하나에 대해 비디오 데이터의 화질을 개선하는 효과를 얻을 수 있다. 상기 화질 개선 메타데이터는 전술한 바와 같이 HDR 정보 디스크립터를 포함할 수 있으며, 또한 HDR 정보 디스크립터는 전술한 바와 같이 화질 개선을 위한 프로세싱 단계에 대한 프로세싱 색공간 타입 정보, 프로세싱 색상 정밀도 정보를 포함할 수 있다. 이에 더하여 HDR 정보 디스크립터는 프로세싱 단계 이전에 대한 입력 색공간 타입 정보 및 입력 색상 정밀도 정보, 프로세싱 단계 이후에 대한 출력 색공간 타입 정보 및 입력 색상 정밀도 정보를 더 포함할 수 있다. 또한 HDR 정보 디스크립터는 화질 개선 프로세싱이 타겟하는 다이나믹 레인지, 변환함수 타입, 컬러 개멋, 색온도 타입에 대한 정보도 포함할 수 있다. 또한 HDR 컨텐츠 또는 HDR 정보에 대한 변경이 예정되어 있음을 나타내는 HDR 프로그램 트랜지션 플래그 정보 및 그 트랜지션의 대상이 되는 세트 넘버 정보 및 버전 넘버 정보를 포함할 수 있다.
도 22는 본 발명의 일 실시예에 따른 화질 개선 메타데이터를 포함하는 방송 신호를 전송하는 방법을 나타낸 도면이다. 화질 개선 메타데이터를 포함하는 방송 신호를 전송하는 방법은 비디오 스트림을 인코딩하여 비디오 데이터를 생성하는 단계(S1910), 생성된 비디오 데이터 및 화질 개선 메타데이터를 포함하는 방송신호를 생성하는 단계(S1920) 및 생성된 방송신호를 전송하는 단계(S1930)를 포함할 수 있다.
비디오 스트림을 인코딩하여 비디오 데이터를 생성하는 단계(S1910)는 UHD의 해상도를 갖는 비디오 스트림을 입력 받고, 비디오 스트림을 인코딩하여 비디오 데이터를 생성할 수 있다. 여기서, 비디오 스트림은 HEVC(High Efficiency Video Coding)에 의해 인코딩될 수 있다. 이와 함께 비디오 데이터를 생성하는 단계(S1910)는 화질 개선 메타 데이터를 생성할 수 있다. 전술한 바와 같이, 방송 송신 장치는 비디오 데이터를 생성하는 단계(S1910)에서 비디오 데이터의 전체 content (channel, program, content), scene, clip 또는 frame 단위로 적용되는 화질 개선 메타 데이터를 함께 생성할 수 있다. 화질 개선 메타 데이터는 HDR 또는 WCG 중 적어도 하나에 대한 데이터일 수 있으며, 적용 단위에 따라 서로 다른 정보량을 가질 수 있다. 화질 개선 메타 데이터는 전술한 HDR_info_descriptor() 에 포함되어 전송될 수 있다. 또한 HDR_info_descriptor() 는 HDR의 종료 시점을 나타내는 transition_flag 정보를 포함할 수 있다. 또한 HDR 정보 디스크립터는 전술한 바와 같이 화질 개선을 위한 프로세싱 단계에 대한 프로세싱 색공간 타입 정보, 프로세싱 색상 정밀도 정보를 포함할 수 있다. 이에 더하여 HDR 정보 디스크립터는 프로세싱 단계 이전에 대한 입력 색공간 타입 정보 및 입력 색상 정밀도 정보, 프로세싱 단계 이후에 대한 출력 색공간 타입 정보 및 입력 색상 정밀도 정보를 더 포함할 수 있다. 또한 HDR 정보 디스크립터는 화질 개선 프로세싱이 타겟하는 다이나믹 레인지, 변환함수 타입, 컬러 개멋, 색온도 타입에 대한 정보도 포함할 수 있다. 또한 HDR 컨텐츠 또는 HDR 정보에 대한 변경이 예정되어 있음을 나타내는 HDR 프로그램 트랜지션 플래그 정보 및 그 트랜지션의 대상이 되는 세트 넘버 정보 및 버전 넘버 정보를 포함할 수 있다. 또한 화질 개선 메타 데이터는 시그널링 정보 내에서 직접 정의되거나 다른 메시지를 참조하는 방식으로 생성될 수도 있다. 이러한 화질 개선 메타 데이터는 수신기로 하여금 적용 단위에 따라 비디오 데이터의 화질을 개선하는 참조 데이터가 될 수 있다. 결과적으로 수신기는 비디오 데이터와 함께 수신되는 화질 개선 메타 데이터를 이용하여 비디오 데이터의 화질을 동적으로 개선할 수 있다.
생성된 비디오 데이터 및 화질 개선 메타 데이터를 포함하는 방송신호를 생성하는 단계(S1920)는 방송 신호 프레임을 빌드하고 변조 과정을 이용하여 방송 신호를 생성할 수 있다.
생성된 방송신호를 전송하는 단계(S1930)는 트랜스포트 스트림을 방송 신호로써 전송할 수 있다.
도 23은 본 발명의 일 실시예에 따른 화질 개선 메타 데이터를 포함하는 방송 신호를 수신하는 방법을 나타낸 도면이다. 화질 개선 메타 데이터를 포함하는 방송 신호를 수신하는 방법은 방송 신호를 수신하는 단계(S2010), 수신된 방송 신호를부터 비디오 데이터 및 화질 개선 메타 데이터로 역다중화하는 단계(S2020) 및 비디오 데이터 및 화질 개선 메타 데이터를 디코딩하고 적용하는 단계(S2030)를 포함할 수 있다.
방송 신호를 수신하는 단계(S2010)는 수신부를 이용하여 방송 신호를 수신하고, 수신된 방송 신호는 복조된 후 채널 디코딩될 수 있다. 방송 신호는 UHD 방송 신호를 포함할 수 있으며, UHD 방송 content에 대한 화질 개선 메타 데이터를 더 포함할 수 있다. 화질 개선 메타 데이터에 대한 상세 내용은 도 4 내지 도 15에서 설명한 바와 같다.
수신된 방송 신호를 비디오 데이터 및 화질 개선 메타 데이터로 역다중화하는 단계(S2020)는 채널 디코딩된 방송 신호를 역다중화부를 이용하여 비디오 데이터 및 화질 개선 메타 데이터로 역다중화할 수 있다. 비디오 데이터는 UHD 비디오 데이터를 포함할 수 있으며, 화질 개선 메타 데이터는 UHD 비디오 데이터에 적용되는 HDR, WCG 관련 데이터를 포함할 수 있다. 화질 개선 메타 데이터는 전술한 HDR_info_descriptor() 에 포함되어 수신될 수 있다. 또한 HDR_info_descriptor() 는 HDR의 종료 시점을 나타내는 transition_flag 정보를 포함할 수 있다. 여기서, 화질 개선 메타 데이터는 그 적용 범위에 따라 공통 적용 정보 또는 부분 적용 정보로 구분될 수 있다. 화질 개선 메타 데이터는 공통 적용 정보 또는 부분 적용 정보 중 적어도 하나를 포함할 수 있다. 공통 적용 정보는 채널 전체, 프로그램 전체 또는 하나의 content를 형성하는 비디오 데이터 전체에 대해 적용되는 정보이고, 부분 적용 정보는 비디오 데이터 중 일부 scene, clip 또는 frame에 부분적으로 적용될 수 있는 데이터가 될 수 있다. 화질 개선 메타 데이터는 방송 신호의 시그널링 정보 내에서 직접 정의되거나 기정의된 메시지를 참조하는 방식이 사용될 수도 있다.
비디오 데이터 및 화질 개선 메타 데이터를 각각 디코딩하고 적용하는 단계(S2030)는 비디오 디코더를 이용하여 비디오 데이터를 디코딩하고 비디오 데이터를 획득할 수 있다. 이 단계에서 화질 개선 메타 데이터에 대해서는 시그널링 데이터 파서 또는 메타데이터 디코더를 이용하여 화질 개선 메타 데이터를 획득할 수 있다. 수신기는 화질 개선 메타 데이터에 기초하여 디코딩된 비디오 데이터의 화질을 개선할 수 있다. 화질 개선 메타 데이터는 비디오 데이터에 대한 HDR 또는 WCG 정보를 포함할 수 있으며, 각 정보가 적용되는 시점을 나타내는 동기화 정보를 더 포함할 수 있다. 상기 화질 개선 메타데이터는 전술한 바와 같이 HDR 정보 디스크립터를 포함할 수 있으며, 또한 HDR 정보 디스크립터는 전술한 바와 같이 화질 개선을 위한 프로세싱 단계에 대한 프로세싱 색공간 타입 정보, 프로세싱 색상 정밀도 정보를 포함할 수 있다. 이에 더하여 HDR 정보 디스크립터는 프로세싱 단계 이전에 대한 입력 색공간 타입 정보 및 입력 색상 정밀도 정보, 프로세싱 단계 이후에 대한 출력 색공간 타입 정보 및 입력 색상 정밀도 정보를 더 포함할 수 있다. 또한 HDR 정보 디스크립터는 화질 개선 프로세싱이 타겟하는 다이나믹 레인지, 변환함수 타입, 컬러 개멋, 색온도 타입에 대한 정보도 포함할 수 있다. 또한 HDR 컨텐츠 또는 HDR 정보에 대한 변경이 예정되어 있음을 나타내는 HDR 프로그램 트랜지션 플래그 정보 및 그 트랜지션의 대상이 되는 세트 넘버 정보 및 버전 넘버 정보를 포함할 수 있다.
화질 개선 메타 데이터는 동기화 정보에 기초하여 비디오 데이터에 적용될 수 있다. 이를 통해, 비디오 데이터는 전체적으로 또는 구간별로 화질 개선이 적용될 수 있다. 사용자는 기존 UHD 컨텐츠에 추가적으로 적용된 HDR, WCG 정보를 통해 개선된 화질의 UHD 컨텐츠를 제공받을 수 있다.
설명의 편의를 위하여 각 도면을 나누어 설명하였으나, 각 도면에 서술되어 있는 실시 예들을 병합하여 새로운 실시 예를 구현하도록 설계하는 것도 가능하다. 그리고, 당업자의 필요에 따라, 이전에 설명된 실시 예들을 실행하기 위한 프로그램이 기록되어 있는 컴퓨터에서 판독 가능한 기록 매체를 설계하는 것도 본 발명의 권리범위에 속한다.
본 발명에 따른 장치 및 방법은 상술한 바와 같이 설명된 실시 예들의 구성과 방법이 한정되게 적용될 수 있는 것이 아니라, 상술한 실시 예들은 다양한 변형이 이루어질 수 있도록 각 실시 예들의 전부 또는 일부가 선택적으로 조합되어 구성될 수도 있다.
한편, 본 발명의 영상 처리 방법은 네트워크 디바이스에 구비된 프로세서가 읽을 수 있는 기록매체에 프로세서가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 프로세서가 읽을 수 있는 기록매체는 프로세서에 의해 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 프로세서가 읽을 수 있는 기록 매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피디스크, 광 데이터 저장장치 등이 있으며, 또한, 인터넷을 통한 전송 등과 같은 캐리어 웨이브의 형태로 구현되는 것도 포함한다. 또한, 프로세서가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산방식으로 프로세서가 읽을 수 있는 코드가 저장되고 실행될 수 있다.
또한, 이상에서는 본 발명의 바람직한 실시 예에 대하여 도시하고 설명하였지만, 본 발명은 상술한 특정의 실시 예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진 자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 발명의 기술적 사상이나 전망으로부터 개별적으로 이해돼서는 안 될 것이다.
그리고, 당해 명세서에서는 물건 발명과 방법 발명이 모두 설명되고 있으며, 필요에 따라 양 발명의 설명은 보충적으로 적용될 수가 있다.
발명의 실시를 위한 형태는 위의 발명의 실시를 위한 최선의 형태에서 함께 기술되었다.
본원 발명은 방송 및 비디오 신호 처리 분야에서 사용 가능하고 반복 가능성이 있는 산업상 이용가능성이 있다.

Claims (14)

  1. 비디오 데이터를 생성하는 단계;
    상기 생성된 비디오 데이터 및 화질 개선 메타 데이터를 포함하는 방송 신호를 생성하는 단계; 및
    상기 생성된 방송 신호를 전송하는 단계;를 포함하는 방송 신호 송신 방법.
  2. 제 1 항에 있어서,
    상기 화질 개선 메타 데이터는 High Dynamic Range (HDR) 또는 Wide Color Gamut (WCG) 정보를 포함하는 방송 신호 송신 방법.
  3. 제 2 항에 있어서,
    상기 WCG 정보는 화질 개선 프로세싱 이전에 적용되는 입력 색공간 타입 정보, 상기 화질 개선 프로세싱에 적용되는 프로세싱 색공간 타입 정보 및 상기 화질 개선 프로세싱 이후에 적용되는 출력 색공간 타입 정보를 포함하는 방송 신호 송신 방법.
  4. 제 3 항에 있어서,
    상기 HDR 정보는 화질 개선 프로세싱에 적용되는 HDR 정보 및 화질 개선 프로세싱 이후 타겟하는 화질에 대한 HDR 정보를 각각 포함하는 방송 신호 송신 방법.
  5. 제 2 항에 있어서,
    상기 화질 개선 메타 데이터는 HDR 정보가 변경됨을 나타내는 정보를 더 포함하는 방송 신호 송신 방법.
  6. 제 5 항에 있어서,
    상기 화질 개선 메타 데이터는 변경되는 HDR 정보와 관련된 세트 넘버 정보, 버전 넘버 정보를 더 포함하는 방송 신호 송신 방법.
  7. 비디오 데이터 및 화질 개선 메타 데이터를 포함하는 방송 신호를 수신하는 단계;
    상신 방송 신호를 상기 비디오 데이터 및 화질 개선 메타 데이터로 역다중화하는 단계;
    상기 비디오 데이터 및 화질 개선 메타 데이터를 각각 디코딩하는 단계; 및
    상기 화질 개선 메타 데이터를 상기 비디오 데이터에 적용하는 단계;를 포함하는 방송 신호 수신 방법.
  8. 제 7 항에 있어서,
    상기 화질 개선 메타 데이터는 High Dynamic Range (HDR) 또는 Wide Color Gamut (WCG) 정보를 포함하는 방송 신호 수신 방법.
  9. 제 8 항에 있어서,
    상기 WCG 정보는 화질 개선 프로세싱 이전에 적용되는 입력 색공간 타입 정보, 상기 화질 개선 프로세싱에 적용되는 프로세싱 색공간 타입 정보 및 상기 화질 개선 프로세싱 이후에 적용되는 출력 색공간 타입 정보를 포함하는 방송 신호 수신 방법.
  10. 제 9 항에 있어서,
    상기 HDR 정보는 화질 개선 프로세싱에 적용되는 HDR 정보 및 화질 개선 프로세싱 이후 타겟하는 화질에 대한 HDR 정보를 각각 포함하는 방송 신호 수신 방법.
  11. 제 8 항에 있어서,
    상기 화질 개선 메타 데이터는 HDR 정보가 변경됨을 나타내는 정보를 더 포함하는 방송 신호 수신 방법.
  12. 제 11 항에 있어서,
    상기 화질 개선 메타 데이터는 변경되는 HDR 정보와 관련된 세트 넘버 정보, 버전 넘버 정보를 더 포함하는 방송 신호 수신 방법.
  13. 비디오 데이터를 생성하는 인코더;
    상기 생성된 비디오 데이터 및 화질 개선 메타 데이터를 포함하는 방송 신호를 생성하는 다중화부; 및
    상기 생성된 방송 신호를 전송하는 송신부;를 포함하는 방송 신호 송신 장치.
  14. 비디오 데이터 및 화질 개선 메타 데이터를 포함하는 방송 신호를 수신하는 수신부;
    상신 방송 신호를 상기 비디오 데이터 및 화질 개선 메타 데이터로 역다중화하는 역다중화부;
    상기 비디오 데이터 및 화질 개선 메타 데이터를 각각 디코딩하는 디코더; 및
    상기 화질 개선 메타 데이터를 상기 비디오 데이터에 적용하는 후처리부 (post-processor);를 포함하는 방송 신호 수신 장치.
PCT/KR2016/004225 2015-04-24 2016-04-22 방송 신호 송수신 방법 및 장치 WO2016171510A1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US15/554,145 US10516915B2 (en) 2015-04-24 2016-04-22 Apparatus and method of processing metadata for indicating a change in HDR information

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US201562152045P 2015-04-24 2015-04-24
US62/152,045 2015-04-24
US201562160611P 2015-05-13 2015-05-13
US62/160,611 2015-05-13

Publications (1)

Publication Number Publication Date
WO2016171510A1 true WO2016171510A1 (ko) 2016-10-27

Family

ID=57144001

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2016/004225 WO2016171510A1 (ko) 2015-04-24 2016-04-22 방송 신호 송수신 방법 및 장치

Country Status (2)

Country Link
US (1) US10516915B2 (ko)
WO (1) WO2016171510A1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3352077A1 (en) * 2017-01-24 2018-07-25 Da Sheng Inc. Method for synchronously taking audio and video in order to proceed one-to-multi multimedia stream

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10536695B2 (en) * 2015-09-09 2020-01-14 Qualcomm Incorporated Colour remapping information supplemental enhancement information message processing
CN113660522A (zh) * 2015-09-25 2021-11-16 麦克赛尔株式会社 接收装置
WO2017051808A1 (ja) * 2015-09-25 2017-03-30 日立マクセル株式会社 放送受信装置
WO2017061071A1 (ja) * 2015-10-07 2017-04-13 パナソニックＩｐマネジメント株式会社 映像送信方法、映像受信方法、映像送信装置及び映像受信装置
RU2728766C2 (ru) * 2015-11-09 2020-07-31 Томсон Лайсенсинг Способ и устройство для адаптации видеоконтента, декодированного из элементарных потоков, под характеристики устройства отображения
IL310366A (en) * 2016-10-05 2024-03-01 Dolby Laboratories Licensing Corp Messaging information volume source color
CN111095931B (zh) * 2017-09-06 2022-05-27 杜比实验室特许公司 色调曲线优化方法以及相关联的视频编码器和视频解码器
CN111294655B (zh) * 2020-02-20 2021-10-22 深圳创维－Rgb电子有限公司 Hdr片源播放方法、装置及存储介质
US11991380B2 (en) 2020-07-01 2024-05-21 Dolby Laboratories Licensing Corporation Distribution of high dynamic range images in a mixed capability playback system
CN113411533B (zh) * 2021-06-15 2023-03-31 三星电子（中国）研发中心 一种高动态范围制式的转换方法和装置

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20130036730A (ko) * 2011-10-04 2013-04-12 톰슨 라이센싱 Hdr 이미지를 인코딩하기 위한 방법 및 장치, hdr 이미지를 재구성하기 위한 방법 및 장치와 일시적이지 않은 기억 매체
KR20140120320A (ko) * 2012-01-03 2014-10-13 돌비 레버러토리즈 라이쎈싱 코오포레이션 시각적 동적범위 부호화 동작 및 파라미터 명시
KR20150002440A (ko) * 2013-06-28 2015-01-07 삼성전자주식회사 영상처리장치 및 영상처리방법
KR20150029606A (ko) * 2012-08-08 2015-03-18 돌비 레버러토리즈 라이쎈싱 코오포레이션 Hdr 이미지들을 위한 이미지 프로세싱
KR20150040110A (ko) * 2013-10-04 2015-04-14 한국전자통신연구원 모바일 융합형 3dtv 방송 송수신 장치 및 방법

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5905610B2 (ja) * 2012-03-12 2016-04-20 ドルビー ラボラトリーズ ライセンシング コーポレイション ３ｄ視覚的ダイナミックレンジ符号化
WO2014176019A1 (en) * 2013-04-23 2014-10-30 Dolby Laboratories Licensing Corporation Transmitting display management metadata over hdmi
US9538155B2 (en) * 2013-12-04 2017-01-03 Dolby Laboratories Licensing Corporation Decoding and display of high dynamic range video
US9277196B2 (en) * 2014-02-19 2016-03-01 DDD IP Ventures, Ltd. Systems and methods for backward compatible high dynamic range/wide color gamut video coding and rendering
JP6217462B2 (ja) * 2014-03-05 2017-10-25 ソニー株式会社 画像処理装置及び画像処理方法、並びに画像処理システム
WO2015175549A1 (en) * 2014-05-12 2015-11-19 Apple Inc. Techniques for hdr/wcr video coding
CN110708439A (zh) * 2014-06-26 2020-01-17 松下知识产权经营株式会社 显示装置及数据输出方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20130036730A (ko) * 2011-10-04 2013-04-12 톰슨 라이센싱 Hdr 이미지를 인코딩하기 위한 방법 및 장치, hdr 이미지를 재구성하기 위한 방법 및 장치와 일시적이지 않은 기억 매체
KR20140120320A (ko) * 2012-01-03 2014-10-13 돌비 레버러토리즈 라이쎈싱 코오포레이션 시각적 동적범위 부호화 동작 및 파라미터 명시
KR20150029606A (ko) * 2012-08-08 2015-03-18 돌비 레버러토리즈 라이쎈싱 코오포레이션 Hdr 이미지들을 위한 이미지 프로세싱
KR20150002440A (ko) * 2013-06-28 2015-01-07 삼성전자주식회사 영상처리장치 및 영상처리방법
KR20150040110A (ko) * 2013-10-04 2015-04-14 한국전자통신연구원 모바일 융합형 3dtv 방송 송수신 장치 및 방법

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3352077A1 (en) * 2017-01-24 2018-07-25 Da Sheng Inc. Method for synchronously taking audio and video in order to proceed one-to-multi multimedia stream

Also Published As

Publication number Publication date
US20180077453A1 (en) 2018-03-15
US10516915B2 (en) 2019-12-24

Similar Documents

Publication Publication Date Title
WO2016129891A1 (ko) 방송 신호 송수신 방법 및 장치
WO2016171510A1 (ko) 방송 신호 송수신 방법 및 장치
WO2016089093A1 (ko) 방송 신호 송수신 방법 및 장치
WO2015008987A1 (ko) 디지털 방송 시스템에서 고품질의 색감 표현을 위한 초고화질 방송 신호 송수신 방법 및 장치
WO2015034188A1 (ko) 디지털 방송 시스템에서 광역 밝기 표현을 위한 초고화질 방송 신호 송수신 방법 및 장치
WO2018070822A1 (ko) 적응적 영상 재생을 위한 데이터 처리 방법 및 장치
WO2015102449A1 (ko) 컬러 개멋 리샘플링을 기반으로 하는 방송 신호 송수신 방법 및 장치
WO2013025035A9 (ko) 송신 장치, 수신 장치 및 그 송수신 방법
WO2014077651A1 (ko) 신호 송수신 장치 및 신호 송수신 방법
WO2016006970A1 (ko) 방송 신호 송수신 방법 및 장치
WO2012177049A2 (en) Method and apparatus for processing broadcast signal for 3-dimensional broadcast service
WO2010064853A2 (en) 3d caption display method and 3d display apparatus for implementing the same
WO2015178598A1 (ko) 디스플레이 적응적 영상 재생을 위한 비디오 데이터 처리 방법 및 장치
WO2015065037A1 (ko) Hevc 기반의 ip 방송 서비스 제공을 위한 방송 신호 송수신 방법 및 장치
WO2010064784A2 (ko) 3차원 캡션 디스플레이 방법 및 이를 구현하기 위한 3차원 디스플레이 장치
WO2014054847A1 (en) Content processing apparatus for processing high resolution content and content processing method thereof
WO2016072693A1 (ko) 컨텐츠의 색 범위 조정을 위한 방송 신호를 송수신하는 방법 및 장치
WO2010147289A1 (en) Broadcast transmitter, broadcast receiver and 3d video processing method thereof
WO2016163603A1 (ko) Xml 자막에 기반한 방송 서비스를 위한 방송 신호 송수신 방법 및 장치
WO2011152633A2 (en) Method and apparatus for processing and receiving digital broadcast signal for 3-dimensional subtitle
WO2010087575A2 (en) Broadcast receiver and 3d video data processing method
WO2012050405A2 (ko) 디지털 수신기 및 디지털 수신기에서의 3d 컨텐트 처리방법
WO2016171508A1 (ko) 방송 신호 송수신 방법 및 장치
WO2016017961A1 (ko) 방송 신호 송수신 방법 및 장치
WO2017135673A1 (ko) 방송 신호 송신 장치, 방송 신호 수신 장치, 방송 신호 송신 방법, 및 방송 신호 수신 방법

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 16783442

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 15554145

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 16783442

Country of ref document: EP

Kind code of ref document: A1