WO2015008685A1 - データ生成装置、データ生成方法、データ再生装置、及び、データ再生方法 - Google Patents

データ生成装置、データ生成方法、データ再生装置、及び、データ再生方法 Download PDF

Info

Publication number
WO2015008685A1
WO2015008685A1 PCT/JP2014/068380 JP2014068380W WO2015008685A1 WO 2015008685 A1 WO2015008685 A1 WO 2015008685A1 JP 2014068380 W JP2014068380 W JP 2014068380W WO 2015008685 A1 WO2015008685 A1 WO 2015008685A1
Authority
WO
WIPO (PCT)
Prior art keywords
hdr
tmi
data
track
video
Prior art date
Application number
PCT/JP2014/068380
Other languages
English (en)
French (fr)
Inventor
遼平 高橋
幸一 内村
しのぶ 服部
Original Assignee
ソニー株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニー株式会社 filed Critical ソニー株式会社
Priority to CN201480001931.1A priority Critical patent/CN104488261B/zh
Priority to US14/416,446 priority patent/US9596430B2/en
Priority to EP14826582.0A priority patent/EP2869566B1/en
Priority to JP2014560962A priority patent/JP6402632B2/ja
Publication of WO2015008685A1 publication Critical patent/WO2015008685A1/ja

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B20/00—Signal processing not specific to the method of recording or reproducing; Circuits therefor
    • G11B20/10—Digital recording or reproducing
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B20/00—Signal processing not specific to the method of recording or reproducing; Circuits therefor
    • G11B20/10—Digital recording or reproducing
    • G11B20/10527—Audio or video recording; Data buffering arrangements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/485—End-user interface for client configuration
    • H04N21/4854—End-user interface for client configuration for modifying image parameters, e.g. image brightness, contrast
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/845—Structuring of content, e.g. decomposing content into time segments
    • H04N21/8453—Structuring of content, e.g. decomposing content into time segments by locking or enabling a set of features, e.g. optional functionalities in an executable program
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85—Assembly of content; Generation of multimedia applications
    • H04N21/854—Content authoring
    • H04N21/8543—Content authoring using a description language, e.g. Multimedia and Hypermedia information coding Expert Group [MHEG], eXtensible Markup Language [XML]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/79—Processing of colour television signals in connection with recording
    • H04N9/80—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N9/82—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only
    • H04N9/8205—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only involving the multiplexing of an additional signal and the colour video signal
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/79—Processing of colour television signals in connection with recording
    • H04N9/87—Regeneration of colour television signals
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B20/00—Signal processing not specific to the method of recording or reproducing; Circuits therefor
    • G11B20/10—Digital recording or reproducing
    • G11B20/10527—Audio or video recording; Data buffering arrangements
    • G11B2020/10537—Audio or video recording

Definitions

  • the present technology relates to a data generation device, a data generation method, a data reproduction device, and a data reproduction method, and in particular, for example, increases an opportunity for a user to enjoy an HDR (high dynamic range) image that is an image with a high dynamic range.
  • the present invention relates to a data generation device, a data generation method, a data reproduction device, and a data reproduction method.
  • JCTVC Joint Collaboration Team-Video Coding
  • tone_mapping_info is highly dynamic in "D.2.15.2.1Tone mapping information SEI message syntax" and "D.3.15 Tone mapping information SEI message semantics". It is specified that tone_mapping_info as HDR information related to an HDR (high dynamic range) image that is a range image is transmitted.
  • tone_mapping_info is also introduced by AVC in addition to HEVC.
  • HDR information should be introduced into file formats and data formats other than HEVC and AVC formats. Promoting and increasing the opportunity for users to enjoy HDR images.
  • the present technology has been made in view of such a situation, and enables the user to increase opportunities to enjoy HDR images.
  • the data generation device of the present technology is characterized in that characteristic information indicating luminance characteristics of an HDR (high dynamic range) image having a higher dynamic range than an STD (standard) image, one of the STD image and the HDR image.
  • the data generation apparatus includes a data generation unit that generates data of the markup language, including an HDR storage element that stores HDR information including conversion information representing a conversion rule to be converted to the other as an element of the markup language.
  • the data generation method of the present technology includes: characteristic information representing luminance characteristics of a HDR (high dynamic range) image having a higher dynamic range than an STD (standard) image; one of the STD image and the HDR image.
  • a data generation method including a step of generating data of the markup language, including an HDR storage element that stores HDR information including conversion information representing a conversion rule to be converted to the other as an element of the markup language.
  • the characteristic information indicating the luminance characteristics of the HDR (high dynamic range) image having a higher dynamic range than the STD (standard) image, the STD image, and the The markup language data including the HDR storage element that stores the HDR information including the conversion information indicating the conversion rule for converting one of the HDR images into the other is generated as the markup language element.
  • the data reproduction device is configured to obtain characteristic information indicating luminance characteristics of an HDR (high dynamic range) HDR having a higher dynamic range than an STD (standard) image, one of the STD image and the HDR image.
  • the HDR information stored in the HDR storage element from the markup language data, including an HDR storage element that stores HDR information consisting of conversion information representing conversion rules to be converted to the other as markup language elements.
  • a data reproduction apparatus including an acquisition unit for acquiring.
  • the data reproduction method of the present technology is characterized in that one of the characteristic information indicating the luminance characteristics of an HDR (high dynamic range) image having a higher dynamic range than an STD (standard) image, one of the STD image and the HDR image.
  • the HDR information stored in the HDR storage element from the markup language data including an HDR storage element that stores HDR information consisting of conversion information representing conversion rules to be converted to the other as markup language elements.
  • a data reproduction method including an acquiring step.
  • the stored HDR information is acquired.
  • the data generation device and the data reproduction device may be independent devices, or may be internal blocks constituting one device.
  • markup language data can be provided by being transmitted through a transmission medium or by being recorded on a recording medium.
  • FIG. 4 is a diagram illustrating a flow of mode-i signal processing from when master HDR data is input to the generation device 1 to when data is output from the playback device 2; It is a figure which shows the example of the signal processing of mode-ii performed with a signal processing system.
  • FIG. 3 is a diagram illustrating a flow of mode-ii signal processing from when master HDR data is input to the generation device 1 to when data is output from the playback device 2; It is a figure which shows the structure of the access unit of a HEVC system.
  • tone_mapping_info prescribed
  • FIG. 2 is a block diagram illustrating a first configuration example of a generation device 1.
  • FIG. It is a figure which shows the example of the MP4 file produced
  • FIG. It is a figure which shows the definition of a tref box. It is a figure which shows the example of a definition of TrackReferenceTypeBox as a vtmi box. It is a figure which shows the example of a definition of a tirf box. It is a figure which shows the other example of the MP4 file produced
  • FIG. 3 is a block diagram illustrating a configuration example of an encoding processing unit 22.
  • FIG. 10 is a block diagram illustrating a first configuration example of a playback device 2.
  • FIG. 10 is a flowchart for explaining an example of a reproduction process performed by the reproduction apparatus 2.
  • FIG. 10 is a flowchart illustrating an example of display processing performed by the display device 3.
  • 3 is a block diagram illustrating a second configuration example of the generation device 1.
  • FIG. It is a figure which shows the example of the 2nd MP4 file produced
  • FIG. It is a figure which shows the example of a definition of a tinf box. It is a figure which shows the 1st example of the syntax of ToneMapInfo.
  • FIG. 3 is a block diagram illustrating a configuration example of an encoding processing unit 122.
  • FIG. It is a flowchart explaining the example of the file production
  • FIG. 10 is a flowchart for explaining an example of a reproduction process performed by the reproduction apparatus 2. It is a flowchart explaining the example of the decoding process of mode-i performed in step S153. It is a flowchart explaining the example of the decoding process of mode-ii performed in step S154.
  • 6 is a block diagram illustrating a third configuration example of the generation apparatus 1. FIG. It is a figure which shows the example of the 3rd MP4 file produced
  • FIG. 3 is a block diagram illustrating a configuration example of an encoding processing unit 202.
  • FIG. 3 is a block diagram illustrating a configuration example of an encoding processing unit 202.
  • FIG. 10 is a flowchart for explaining an example of a reproduction process performed by the reproduction apparatus 2. It is a flowchart explaining the example of the decoding process of mode-i performed in step S253.
  • FIG. 3 is a block diagram illustrating a configuration example of an encoding processing unit 302.
  • FIG. It is a figure which shows the example of an HDR storage element. It is a figure which shows the example of a definition of a toneMapRef attribute and an hdrInfoRef attribute. It is a figure which shows the 1st example of new TT data. It is a figure which shows the 2nd example of new TT data. It is a figure which shows the 3rd example of new TT data. It is a figure which shows the 4th example of new TT data.
  • FIG. 10 is a flowchart for explaining an example of a reproduction process performed by the reproduction apparatus 2. It is a flowchart explaining the example of the decoding process of mode-i performed in step S333. It is a flowchart explaining the example of the decoding process of mode-ii performed in step S334.
  • FIG. 18 is a block diagram illustrating a configuration example of an embodiment of a computer to which the present technology is applied.
  • FIG. 1 is a diagram illustrating a configuration example of an embodiment of a signal processing system to which the present technology is applied.
  • the signal processing system in FIG. 1 includes a generating device 1, a reproducing device 2, and a display device 3.
  • the playback device 2 and the display device 3 are connected to each other via a cable 4 such as HDMI (High Definition Multimedia Interface).
  • the playback device 2 and the display device 3 may be connected via a cable of another standard, or may be connected via wireless communication.
  • the generation device 1 generates and provides a content stream.
  • the playback device 2 plays back content from the stream provided from the generation device 1.
  • the generation apparatus 1 can provide the stream as it is, for example. Further, the generation device 1 stores the stream in a predetermined packet such as an IP packet, or stores the stream in a predetermined file such as an MP4 file defined in ISO / IEC14496-14, for example. be able to.
  • a predetermined packet such as an IP packet
  • a predetermined file such as an MP4 file defined in ISO / IEC14496-14
  • the stream is recorded on a recording medium 11 such as a Blu-ray (registered trademark) disk, or transmitted via a transmission medium 12 such as terrestrial waves or the Internet. Can be provided.
  • a recording medium 11 such as a Blu-ray (registered trademark) disk
  • a transmission medium 12 such as terrestrial waves or the Internet. Can be provided.
  • a file storing the stream for example, a file (ISOISObase media file) defined in ISO / IEC 14496-12 in addition to the MP4 file. format file), files specified in ISO / IEC 14496-15, QuickTime format files, other files having a box structure, and files having no box structure can be employed.
  • an HDR (High Dynamic Range) image that is an image having a higher dynamic range than an STD (standard) image that is an image having a predetermined dynamic range (luminance range) that can be displayed on a standard luminance monitor.
  • the STD image and the HDR image are not particularly limited. That is, the STD image and the HDR image are images that differ only in the dynamic range, and mean an image that can be converted into one according to conversion information described later. Therefore, the STD image is an image in which only the dynamic range is lower (smaller) than the HDR image, and the HDR image is an image in which only the dynamic range is higher (wider) than the STD image.
  • the image includes video, graphics, background (background image), subtitle, and other displayable media.
  • the data format of the subtitle may be either text or image.
  • a plurality of HDR images such as a plurality of videos or one or more videos and one or more graphics are input to the generation apparatus 1.
  • HDR image video a 1 (sequence) HDR image video
  • HDR image subtitle a 1 (sequence) HDR image subtitle
  • HDR ST also referred to as HDR subtitle
  • any other image such as video and graphics, video and graphics and subtitle, graphics and subtitle, or graphics alone can be employed.
  • images of the same type of media such as videos and subtitles input to the generation apparatus 1 are not limited to one (one sequence), and may be a plurality (sequence).
  • HDR data when there is no need to distinguish between HDR video and HDR-ST, they are collectively referred to as HDR data.
  • the STD image video and ST (subtitle) obtained by compressing the dynamic range of HDR video and HDRHST to a predetermined dynamic range that can be displayed on a standard luminance monitor are also referred to as STD video and STD ⁇ ⁇ ⁇ ⁇ ST, respectively.
  • STD data when it is not necessary to distinguish between STD video and STD ST, they are collectively referred to as STD data.
  • the dynamic range of STD data is 0-100%, for example, the dynamic range of HDR data is expressed in the range of 0% to 101% or more, such as 0-500%, 0-1000%, etc. Is done.
  • the generation device 1 encodes the input master HDR data as it is, for example, and stores it in an MP4 file, for example.
  • the generation device 1 converts the input master HDR data into STD data, encodes it, and stores it in, for example, an MP4 file.
  • characteristic information indicating the luminance characteristics of the master HDR data, conversion information indicating conversion rules for converting one of the HDR data and STD data to the other, are further stored.
  • HDR video and the STD video for example, a so-called 4K resolution video having a horizontal x vertical resolution of 4096 x 2160 pixels or 3840 x 2160 pixels can be employed.
  • a video encoding method for example, an HEVC method, an AVC method, or any other method can be adopted. That is, the video encoding (decoding) method is not limited to the HEVC method, the AVC method, or the like.
  • HDR information is characteristic information indicating luminance characteristics of an HDR image and conversion information indicating a conversion rule for converting one of the HDR image and the STD image into the other.
  • tone_mapping_info is defined. Furthermore, in the HEVC scheme, it is defined that tone_mapping_info as HDR information is transmitted by being included in SEI.
  • the playback device 2 communicates with the display device 3 via the cable 4 and acquires information regarding the display performance of the display device 3.
  • the playback apparatus 2 specifies whether the display apparatus 3 is an apparatus having an HDR monitor that is a monitor capable of displaying HDR data or an apparatus having an STD monitor that is a monitor capable of only displaying STD data.
  • the playback device 2 acquires the MP4 file recorded on the recording medium 11 by reading it, or acquires it by receiving the MP4 file transmitted via the transmission medium 12, and stores it in the MP4 file. Play the recorded data.
  • the playback device 2 decodes a video stream that is a video stream stored in an MP4 file and an ST stream that is an ST (subtitle) stream.
  • the playback device 2 when the data obtained by decoding is HDR data and the display device 3 has an HDR monitor, the playback device 2 outputs the HDR data obtained by decoding to the display device 3. In this case, the playback device 2 outputs the characteristic information stored in the MP4 file together with the HDR data to the display device 3.
  • the playback device 2 converts the HDR data obtained by decoding into STD data and outputs STD data.
  • Conversion of HDR data to STD data is performed using conversion information stored in an MP4 file.
  • the playback device 2 converts the STD data obtained by decoding into HDR data, and converts the HDR data to the display device 3. Output. Conversion of STD data to HDR data is performed using conversion information stored in an MP4 file. In this case, the playback device 2 outputs the characteristic information stored in the MP4 file together with the HDR data to the display device 3.
  • the playback device 2 outputs the STD data obtained by decoding to the display device 3.
  • the display device 3 receives the STD data or HDR data transmitted from the playback device 2, and displays the corresponding STD image or HDR image on the monitor based on the STD data or HDR data.
  • the display apparatus 3 recognizes that the data transmitted from the reproducing apparatus 2 together with the characteristic information is HDR data. As described above, the characteristic information is transmitted together with the HDR data to the display device 3 having the HDR monitor.
  • the display device 3 displays the HDR image corresponding to the HDR data according to the characteristic specified by the characteristic information.
  • the display device 3 is a monitor in which the monitor of the display device 3 has a dynamic range of 0-500%, and is specified by the characteristic information as a predetermined characteristic in which the dynamic range of HDR data is 0-500%.
  • the HDR image is displayed by adjusting the luminance within the range of 0-500% according to the predetermined characteristic.
  • the content author can display the image with the intended brightness.
  • a display device such as a TV (television receiver) recognizes data input from the outside as data having a dynamic range of 0 to 100%. Further, when the monitor of the display device has a wider (higher) dynamic range, the display device may display the image by expanding the luminance itself according to the characteristics of the monitor. By designating the luminance characteristics and adjusting the luminance of the HDR data according to the designated characteristics, it is possible to prevent the luminance adjustment not intended by the author from being performed on the display device side.
  • a playback device that outputs data to a display device such as a TV outputs the data after converting the luminance according to the characteristics of the transmission path.
  • the display device that has received the data converts the brightness of the received data according to the characteristics of the monitor and displays an image.
  • the number of brightness conversions can be reduced, and an image having a brightness closer to the master is displayed on the display device 3. It can be displayed.
  • the display device 3 recognizes that the data transmitted from the playback device 2 is STD data, and displays an STD image corresponding to the STD data.
  • the fact that the STD data is transmitted from the playback device 2 means that the display device 3 is a device having an STD monitor.
  • the playback device 2 plays back the audio data and transmits it to the display device 3.
  • the display device 3 outputs the corresponding sound from the speaker based on the audio data transmitted from the playback device 2.
  • the processing mode for storing the master HDR data in the MP4 file while maintaining its dynamic range is called mode-i
  • the processing mode for converting the master HDR data to STD data and storing it in the MP4 file is mode-i. It is called ii.
  • FIG. 2 is a diagram illustrating an example of mode-i signal processing performed in the signal processing system of FIG.
  • the process on the left side indicated by the solid line L1 indicates the encoding process performed in the generation apparatus 1, and the process on the right side indicated by the solid line L2 indicates the decoding process performed in the reproduction apparatus 2.
  • the generation device 1 When the master HDR data is input, the generation device 1 detects the brightness of the master HDR data and generates characteristic information as indicated by an arrow # 1. Further, the generation apparatus 1 generates encoded data by encoding the HDR video of the master by, for example, the HEVC method as indicated by an arrow # 2-1, and generates the encoded data as indicated by an arrow # 2-2. An HDR stream is encoded to generate an ST stream that is an ST stream.
  • the generation device 1 converts the master HDR data into STD data as indicated by arrow # 3.
  • An STD image corresponding to the STD data obtained by the conversion is displayed on a monitor (not shown).
  • the conversion of the HDR data into the STD data is appropriately performed by the author visually checking the STD image corresponding to the converted STD data and adjusting the conversion parameters.
  • the generation device 1 Based on the adjustment by the author, the generation device 1 generates conversion information as indicated by an arrow # 4.
  • Conversion information includes each luminance value in a high dynamic range such as 0-400%, which is wider than the standard dynamic range, and each luminance value in the dynamic range of 0-100%, which is the standard dynamic range, as the other. It represents a conversion rule to be converted, and therefore represents a correspondence between these luminance values.
  • the generation apparatus 1 inserts the characteristic information and the conversion information as SEI into the encoded data of the HDR video, as indicated by arrow # 5, and generates a video stream.
  • the generating apparatus 1 stores the generated video stream and the HDR ST stream in an MP4 file, and provides them to the reproducing apparatus 2 as indicated by an arrow # 11.
  • the HDR video and HDR-ST characteristic information and conversion information are provided to the playback apparatus 2 in a form of being inserted into the video stream using SEI.
  • the playback device 2 reads the ST stream from the MP4 file, decodes the ST stream as indicated by arrow # 20, and generates an HDR-ST.
  • the playback device 2 reads the video stream from the MP4 file, and extracts characteristic information and conversion information from the SEI of the video stream as indicated by arrows # 21 and # 22.
  • the playback device 2 decodes the encoded data included in the video stream by the HEVC method to generate an HDR video.
  • the playback device 2 adds characteristic information to the HDR data obtained by decoding as shown by an arrow # 24, and outputs it to the display device 3 as shown by an arrow # 25. To do.
  • the playback device 2 converts the HDR data obtained by decoding into STD data using the conversion information extracted from the video stream, as indicated by arrow # 26. To do.
  • the playback device 2 outputs the STD data obtained by the conversion to the display device 3 as indicated by arrow # 27.
  • the HDR data obtained by decoding is output to the display device 3 having the HDR monitor together with the characteristic information.
  • the HDR data obtained by decoding is output to the display device 3 having an STD monitor after being converted into STD data.
  • FIG. 3 is a diagram showing a flow of mode-i signal processing from when the master HDR data is input to the generation device 1 to when the data is output from the playback device 2.
  • the master HDR data is provided to the playback apparatus 2 together with the characteristic information and the conversion information generated in the generation apparatus 1 based on the master HDR data, as indicated by the white arrow # 51.
  • the characteristic information includes, for example, information indicating that the dynamic range is expanded to a range of 0 to 400%.
  • the playback device 2 adds characteristic information to the HDR data obtained by decoding, as indicated by arrows # 52 and # 53. Further, the HDR data to which the characteristic information is added is output to the display device 3 as indicated by an arrow # 54.
  • the display device 3 has an STD monitor
  • the HDR data obtained by decoding is converted into STD data using the conversion information.
  • the STD data obtained by the conversion is output to the display device 3 as indicated by an arrow # 57.
  • the amplitude of the waveform indicating the HDR data and the amplitude of the waveform indicating the STD data each indicate a dynamic range.
  • the master HDR data is stored in the MP4 file as HDR data. Further, depending on the performance of the display device 3 serving as an output destination, it is possible to switch between outputting the HDR data obtained by decoding as it is by adding the characteristic information, or converting the HDR data to STD data and outputting the data. .
  • FIG. 4 is a diagram illustrating an example of mode-ii signal processing performed in the signal processing system of FIG.
  • the generation device 1 detects the brightness of the master HDR data and generates characteristic information as indicated by an arrow # 71.
  • the generation device 1 converts the master HDR data into STD data as indicated by an arrow # 72.
  • An STD image corresponding to the STD data obtained by the conversion is displayed on a monitor (not shown).
  • the generation device 1 Based on the adjustment by the author, the generation device 1 generates conversion information as indicated by an arrow # 73.
  • the generation apparatus 1 generates encoded data by encoding the STD video obtained by converting the master HDR video using, for example, the HEVC method. Also, as shown by arrow # 74-2, ST stream is generated by encoding STD ST obtained by converting master HDR ST.
  • the generating apparatus 1 inserts the characteristic information and the conversion information into the encoded data as SEI, as indicated by an arrow # 75, and generates a video stream.
  • the generation device 1 stores the generated video stream and ST stream in an MP4 file and provides them to the playback device 2 as indicated by arrow # 91.
  • the playback device 2 reads the video stream from the MP4 file, and extracts characteristic information and conversion information from the SEI of the video stream as indicated by arrows # 101 and # 102.
  • the playback device 2 generates STD video by decoding the encoded data included in the video stream using the HEVC scheme as indicated by an arrow # 103-1, and generates an ST stream as indicated by an arrow # 103-2. Is decoded to generate STD ST.
  • the playback device 2 outputs the STD data obtained by decoding to the display device 3 as indicated by an arrow # 104.
  • the playback device 2 uses the conversion information extracted from the video stream to convert the STD data obtained by decoding into HDR data, as indicated by arrow # 105. To do.
  • the playback device 2 adds the characteristic information to the HDR data obtained by the conversion as indicated by the arrow # 106, and outputs it to the display device 3 as indicated by the arrow # 107.
  • the STD data obtained by decoding is output to the display device 3 having the HDR monitor together with the characteristic information after being converted into the HDR data.
  • the STD data obtained by decoding is output as it is to the display device 3 having an STD monitor.
  • FIG. 5 is a diagram illustrating a flow of mode-ii signal processing from when the master HDR data is input to the generation device 1 to when the data is output from the playback device 2.
  • the master HDR data is converted into STD data, as shown by the white arrow # 121, the master HDR data is provided to the playback apparatus 2 together with the characteristic information and the conversion information generated in the generation apparatus 1 based on the master HDR data.
  • the STD data obtained by decoding is converted into HDR data using the conversion information. Further, as indicated by arrows # 124 and # 125, the characteristic information is added to the HDR data obtained by converting the STD data, and is output to the display device 3 as indicated by the arrow # 126.
  • the playback device 2 outputs the STD data obtained by decoding to the display device 3 as indicated by an arrow # 127.
  • the master HDR data is converted to STD data and stored in the MP4 file. Further, according to the performance of the display device 3 as an output destination, it is possible to switch between decoding STD data obtained by decoding into HDR data, adding the characteristic information, and outputting STD data as it is. .
  • FIG. 6 is a diagram showing the configuration of the HEVC access unit.
  • the HEVC video stream is composed of access units that are a collection of NAL (Network Abstraction Layer) units.
  • One access unit includes, for example, video data of one picture.
  • one access unit includes AU delimiter (Access Unit delimiter), VPS (Video Parameter Set), SPS (Sequence Parameter Set), PPS (Picture Parameter Set), SEI, VCL (Video Coding Layer) , EOS (End of Sequence), and EOS (End of Stream).
  • AU delimiter Access Unit delimiter
  • VPS Video Parameter Set
  • SPS Sequence Parameter Set
  • PPS Picture Parameter Set
  • SEI Supplemental Coding Layer
  • VCL Video Coding Layer
  • EOS End of Sequence
  • EOS End of Stream
  • VPS includes metadata representing the contents of the bitstream.
  • SPS includes information that the HEVC decoder needs to refer to through a sequence decoding process, such as a picture size and a CTB (Coding
  • the PPS includes information that the HEVC decoder needs to refer to in order to execute a picture decoding process.
  • SEI is auxiliary information including timing information of each picture and information on random access.
  • the characteristic information and the conversion information can be included in the HEVC video stream as tone_mapping_info which is one of the SEIs.
  • tone_mapping_info is assigned tone_map_id as identification information for identifying tone_mapping_info.
  • VCL is encoded data of one picture.
  • EOS End of Sequence
  • EOS End of Stream
  • FIG. 7 is a diagram showing the syntax of tone_mapping_info defined by the HEVC method.
  • tone_mapping_info the brightness and color of the image obtained by decoding are converted according to the performance of the monitor that is the output destination of the image. Note that the line numbers and colons (:) on the left side of FIG. 7 do not constitute syntax.
  • the tone_map_id on the second line is identification information of tone_mapping_info.
  • the tone_map_model_id in the eighth line represents a tone map model (conversion rule) used for conversion.
  • tone_map_model_id can take values of 0, 1, 2, 3, and 4.
  • tone_map_model_id is one of 0, 1, 2, and 3
  • tone_mapping_info (hereinafter, abbreviated as TMI as appropriate) corresponds to the conversion information
  • tone_map_model_id is 4 Corresponds to the characteristic information.
  • TMI as conversion information is allowed to take 0, 2, or 3 as tone_map_model_id, and in this embodiment, tone_map_model_id of TMI as conversion information is 0, It is assumed that the value is one of 2 and 3.
  • the generation device 1 includes HDR information, that is, both conversion information and characteristic information in the MP4 file. Therefore, in the generation device 1, at least one TMI with tone_map_model_id of 0, 2, and 3 as conversion information and TMI with tone_map_model_id of 4 as characteristic information Generated.
  • tone_map_model_id 2
  • start_of_coded_interval [i] having the same number as max_target_data representing the step function is described.
  • tone_map_model_id 3
  • num_pivots 3
  • tone_map_model_id 4
  • ref_screen_luminance_white 4
  • extended_range_white_level 4
  • nominal_black_level_code_value 2
  • nominal_white_level_code_value 3
  • extended_white_level_code_value 3
  • FIG. 8 is a diagram illustrating a relationship between TMI, in which each value is set as tone_map_model_id, conversion information, and characteristic information.
  • TMI in which any one of 0, 2, and 3 is set as tone_map_model_id corresponds to the conversion information
  • TMI in which 4 is set as tone_map_model_id corresponds to the characteristic information
  • the horizontal axis indicates coded_data (RGB value before conversion), and the vertical axis indicates target_data (RGB value after conversion).
  • RGB values equal to or less than the value D1 are converted into RGB values indicated by min_value, as indicated by white arrow # 151.
  • RGB values greater than or equal to value D2 (> D1) are converted into RGB values indicated by max_value, as indicated by white arrow # 152.
  • FIG. 12 is a diagram illustrating an example of each piece of information included in the characteristic information.
  • the horizontal axis of FIG. 12 indicates the luminance value.
  • the luminance value is 0-1023.
  • the vertical axis in FIG. 12 indicates brightness.
  • a curve L11 shows the relationship between the luminance value and the brightness in a standard luminance monitor.
  • the dynamic range of a standard luminance monitor is 0-100%.
  • ref_screen_luminance_white (FIG. 7) indicates the brightness of the standard monitor (maximum brightness of the STD image) (cd / m 2 ).
  • extended_range_white_level indicates the brightness of the extended dynamic range (maximum brightness of the HDR image). In the example of FIG. 12, 400 is set as the value of extended_range_white_level.
  • Nominal_black_level_code_value indicates a luminance value of black (brightness 0%)
  • nominal_white_level_code_value indicates a luminance value of white (brightness 100%) in a standard luminance monitor.
  • extended_white_level_code_value indicates the luminance value of white in the extended dynamic range.
  • the dynamic range of 0-100% is expanded to the dynamic range of 0-400% according to the value of extended_range_white_level. Also, a luminance value corresponding to 400% brightness is specified by extended_white_level_code_value.
  • the luminance characteristics of the HDR data are characteristics indicated by a curve L12 in which the values of nominal_black_level_code_value, nominal_white_level_code_value, and extended_white_level_code_value are 0%, 100%, and 400%, respectively.
  • the luminance characteristics of the master HDR data are indicated by TMI in which a value of 4 is set as tone_map_model_id.
  • FIG. 13 is a diagram showing an example of a movie of an MP4 file.
  • Movie a set of media data such as video to be reproduced, audio, ST (subtitle), etc. is called Movie, and Movie is composed of one or more tracks.
  • One independent media data such as video to be reproduced and ST constitutes one track, and at least one of the tracks included in the Movie is Can be played at the same time.
  • Movie is composed of three tracks # 1, # 2, and # 3.
  • Track # 1 is a video data stream
  • track # 2 is a 1-channel audio data stream associated with the video
  • track # 3 is a 1-channel ST data stream superimposed on the video. Each is composed.
  • the media data of each track is composed of samples.
  • a sample is the smallest unit (access unit) when accessing media data in an MP4 file. Therefore, the media data in the MP4 file cannot be accessed in units smaller than the sample.
  • one frame for example, one frame (or one field) is one sample.
  • one audio frame defined by the audio media data standard is one sample.
  • FIG. 14 is a diagram showing an example of logical arrangement of media data (Movie) in an MP4 file.
  • Media data is arranged in units called chunks.
  • the plurality of media data are: Interleaved in chunks.
  • a chunk is a set of one or more samples arranged at logically continuous addresses.
  • FIG. 15 shows the data structure of the MP4 file.
  • MP4 file is composed of units called boxes as containers for storing data, and has a structure called box structure.
  • the box has a 4-byte size (box size), a 4-byte type (box type), and actual data (data).
  • the size represents the size of the entire box, and the type represents the type of actual data in the box.
  • a box can be adopted in addition to the data such as the media data itself.
  • a box can have a box as actual data, and can thereby have a hierarchical structure.
  • FIG. 16 is a diagram showing an example of the data structure of an MP4 file in which media data is stored.
  • an MP4 file is composed of an ftyp box (File Type Compatibility Box), a moov box (Movie Box), and an mdat box (Media Data Box).
  • the ftyp box includes file format information, that is, for example, that the file is an MP4 file, the version of the box, the manufacturer name of the manufacturer who created the MP4 file, and the like.
  • the moov box includes metadata such as time axis and address for managing media data.
  • Mdat box contains media data (AV data).
  • FIG. 17 is a diagram showing an example of an MP4 file of fragmented movie and an MP4 file of non-fragmented movie.
  • the MP4 file of the fragmented movie has a moov box (movie box) (MovieBox), a moof box (movie fragment box) (MovieFragmentBox), and an mdat box (media data box) (MediaDataBox).
  • Moov box moov box
  • Moof box moof box
  • MediaDataBox media data box
  • the MP4 file of non-fragmented movie has a moov box and mdat box.
  • the moov box has a trak box (tarck (box) (TrackBox), and the moof box has a traf box (track fragment box) (TrackFragmentBox).
  • information for example, display time
  • media data actual data
  • actual data such as video, audio, and ST stored in the mdat box
  • independent data sequence information (for example, display size) is stored for each corresponding track data (video, audio, ST, etc. data).
  • Mdat box stores media data (actual data) such as video, audio and ST.
  • a set of moof box and mdat box is called a fragment.
  • a fragmented movie MP4 file consists of a moov box and one or more fragments, and is suitable for streaming.
  • the MP4 file of non-fragmented movie does not have a fragment and has a moov box and an mdat box as described above.
  • FIG. 18 is a diagram for explaining DECE (Digital Entertainment Content Ecosystem) CFF (Common File Format).
  • DECE CFF is a file format based on MP4 files defined by DECE, and uses fragmented movie MP4 files.
  • fragmented movie MP4 files multiple types of es (elementary stream) can be stored in one fragment's mdat box, but in DECE CFF, one es is stored in one fragment's mdat box.
  • audio es that can be multiplexed into fragmented movie MP4 files include, for example, AVC audio: MPEG4 (Moving Picture ExpertsAGroup) -AAC (Advanced Audio Coding), Dolby AC-3, ST Examples of (subtitle) es include SMPTE (Society (of Motion Picture and Television Engineers) -TT (Timed Text).
  • AVC audio MPEG4 (Moving Picture ExpertsAGroup) -AAC (Advanced Audio Coding), Dolby AC-3
  • ST Examples of (subtitle) es include SMPTE (Society (of Motion Picture and Television Engineers) -TT (Timed Text).
  • FIG. 19 is a diagram showing an example of SMPTE-TT ST data.
  • SMPTE-TT is a standard that adds a PNG display function to TTML (Timed Text Markup Language), which is an XML (Extensible Markup Language) specification standardized by the W3C, and defines an ST data format that has a time concept in XML. To do.
  • TTML Timed Text Markup Language
  • XML Extensible Markup Language
  • the text “subtitle # 2 is presented” as the ST is displayed between the time “00: 00: 10: 05” and the time “00: 00: 15: 05”.
  • SMPTE-TT is adopted as ST data (format).
  • ST data format
  • HTML HyperTextyMarkup Language
  • other markup languages other than XML are used as ST data.
  • any other format can be adopted.
  • FIG. 20 is a block diagram illustrating a first configuration example of the generation device 1 of FIG.
  • the generation device 1 includes a controller 21, an encoding processing unit 22, and a file generation unit 23.
  • the master HDR data is input to the encoding processing unit 22.
  • the controller 21 includes a CPU (Central Processing Unit), ROM (Read Only Memory), RAM (Random Access Memory), and the like.
  • the controller 21 executes a predetermined program and controls the entire operation of the generation apparatus 1.
  • a header information generating unit 21A is realized by executing a predetermined program.
  • the header information generation unit 21A includes a moof box including a tirf box (ToneMappingInformationReferecenceBox) in which tone_map_id supplied from the encoding processing unit 22 is stored as tone_mapping_info_id_ref, and a moov box including a vtmi box (TrackReferenceTypeBox whose reference_type is “vtmi”). Is generated as header information and supplied to the file generation unit 23.
  • a tirf box ToneMappingInformationReferecenceBox
  • tone_map_id supplied from the encoding processing unit 22 is stored as tone_mapping_info_id_ref
  • vtmi box vtmi box
  • the header information generation unit 21 ⁇ / b> A generates, as header information, a tirf box that stores tone_map_id supplied from the encoding processing unit 22 as tone_mapping_info_id_ref and a moov box that includes the vtmi box, and supplies the header information to the file generation unit 23. .
  • the tirf box and vtmi box will be described later.
  • the encoding processing unit 22 generates a video stream and an ST stream by encoding the master HDR data, and outputs the video stream and the ST stream to the file generation unit 23.
  • the encoding processing unit 22 supplies tone_map_id of TMI (tone_mapping_info) applied to video or ST to the controller 21 (header information generation unit 21A).
  • the file generation unit 23 generates and outputs an MP4 file storing the header information supplied from the controller 21 (the header information generation unit 21A thereof) and the video stream and ST stream supplied from the encoding processing unit 22. .
  • FIG. 21 is a diagram showing an example of an MP4 file generated by the generation device 1 of FIG.
  • the MP4 file in FIG. 21 is a fragmented movie MP4 file having fragments, and the moov box has a trak box of video, audio, and ST.
  • the MP4 file in FIG. 21 has a video track, an audio track, and an ST track.
  • the video track stored in the MP4 file is a stream obtained by encoding the video using, for example, the HEVC method, and is a stream including TMI
  • the video track includes , TMI included.
  • the MP4 file in FIG. 21 (same as the MP4 file in FIG. 25 to be described later) is a TMI (similar to TMI) such as a video stream encoded by the AVC method in addition to a video stream encoded by the HEVC method. This can be applied when a video stream including HDR information (including characteristic information and conversion information) is stored in an MP4 file.
  • TMI similar to TMI
  • the generation apparatus 1 in FIG. 20 generates an MP4 file that can be applied to the ST track by referring to the TMI included in the video track from, for example, the ST track other than the video track. To do.
  • ST (subtitle) trak box of moov box has tref box (TrackReferenceBox) with vtmi box.
  • a tref box can have a TrackReferenceTypeBox, but a vtmi box is a box that is newly defined as a kind of TrackReferenceTypeBox.
  • the vtmi box of the ST track as the focused track includes a track including TMI (HDR information) applied to the focused track, that is,
  • TMI HDR information
  • the track_id of the video track (track_IDs [], which will be described later) is stored as track designation information for designating the video track.
  • the reference track to be referred to as the track including the TMI applied to the target track can be recognized by the track_id stored in the vtmi box of the ST track as the target track.
  • a video track including TMI is noted as a target track
  • the video track as the target track becomes a reference track to be referred to as a track including TMI applied to the video track.
  • the tref box having the vtmi box storing the track_id of the reference track is replaced with the target of the moov box. Storing in the track's trak box can be omitted.
  • the target track can be recognized as the reference track.
  • the tref box having the vtmi box is not stored in the video trak box of the moov box. Therefore, for the video track, the video track is recognized as the reference track.
  • the tref box having the vtmi box storing the track_id of the reference track is changed to the trak box of the target track of the moov box. Can be stored.
  • a tref box having a vtmi box storing the track_id of the video track as the reference track is stored in the video trak box of the moov box, as with the ST track. be able to.
  • the tref box having the vtmi box can be omitted by determining the track_id of the track to be the reference track in advance.
  • the moof box of each track of video and ST has a traf box having a tirf box in which tone_mapping_info_id_ref representing tone_map_id is stored as HDR designation information designating TMI to be applied to the track. .
  • tone_mapping_info_id_ref stored in the tirf box of the track of interest
  • the TMI of tone_map_id represented by that tone_mapping_info_id_ref is recognized as the TMI applied to the track of interest.
  • the fragmented movie MP4 file has a moof box for each fragment.
  • Valid TMI of tone_map_id TMI indicated by tone_mapping_info_id_ref stored in the tirf box of the fragment's moof box is applied to the data of a fragment.
  • the effective TMI is, for example, the latest TMI among the decoded (acquired) TMIs.
  • tone_mapping_info_id_ref representing TMI tone_map_id applied to the video track is stored. 2 is stored.
  • the vtmi box where the track_id of the video track as the reference track is stored in the tref box of the trak box of the ST (subtitle) track in the moov box B # 1 is stored.
  • tone_mapping_info_id_ref representing tone_map_id of TMI (TMI included in the video track as a reference track) applied to the ST track is stored in the traf box of the moof box of the ST track.
  • tirf box B # 3 is stored.
  • the video trak box in the moov box does not have a tref box having a vtmi box, so It can be recognized that the track is a reference track that includes a TMI to be applied to the video track.
  • the TMI of tone_map_id represented by tone_mapping_info_id_ref stored in the moof / tarf / tirf box B # 3 of the ST track that is the target track is the TMI that is applied to the target track. Can be recognized.
  • FIG. 22 is a diagram showing the definition of the tref box.
  • the tref box can have a TrackReferenceTypeBox as described in FIG.
  • refernce_type of the TrackReferenceTypeBox can be arbitrarily defined and used according to the purpose of TrackReferenceTypeBox.
  • TrackreferenceTypeBox is newly defined as refernce_type indicating that the track_id of a video track including TMI is used, and “vtmi” is newly defined, and TrackReferenceTypeBox in which refernce_type is “vtmi” Used as a vtmi box to store the track_id of the video track that contains the TMI.
  • FIG. 23 is a diagram showing an example of the definition of TrackReferenceTypeBox as a vtmi box.
  • the vtmi box has (stores) track_IDs [] representing track_id.
  • Track_IDs [] is an array variable and can store multiple track_ids. Therefore, according to the vtmi box, a plurality of tracks can be designated as a track including the TMI applied to the ST track.
  • FIG. 24 is a diagram showing an example of the definition of the tirf box.
  • tirf box tone mapping information reference box
  • TiMI tone_map_id Tone_map_id to be applied to the track having that tirf box, and is stored in trak box ( Stbl box (sample ⁇ ⁇ ⁇ ⁇ table box)) or traf box.
  • sample_count is equal to sample_count stored in the stsz box, stz2 box, and trun box, and represents the number of samples.
  • the tirf box can store the number of tone_mapping_info_id_refs corresponding to the number_of_tone_mapping_info_id_ref for each sample.
  • the TMI of tone_map_id represented by the number of tone_mapping_info_id_refs corresponding to the number_of_tone_mapping_info_id_ref can be specified as the TMI applied to the one sample.
  • FIG. 25 is a diagram showing another example of the MP4 file generated by the generation device 1 of FIG.
  • the MP4 file in FIG. 25 is a non-fragmented movie MP4 file having no fragment, and the moov box has a video, audio, and ST trak box.
  • the MP4 file in FIG. 25 has a video track, an audio track, and an ST track.
  • the video track includes TMI, and for example, the ST track other than the video track can be applied to the TMI included in the video track.
  • tone_mapping_info_id_ref representing TMI tone_map_id applied to the video track is included in the stbl box of the trak box of the video track including TMI in the moov box.
  • Stored tirf box B # 11 is stored.
  • the track_IDs [] representing the track_id of the video track as the reference track is displayed in the tref box of the trak box of the ST track in the moov box (FIG. 23). ) Is stored, vtmi box B # 12 is stored.
  • tone_mapping_info_id_ref representing tone_map_id of TMI (TMI included in video track as reference track) applied to ST track is stored in stbl box of ST track trak box of moov box Stored tirf box B # 13 is stored.
  • the video trak box in the moov box does not have the tref box having the vtmi box. , It is recognized that this is a reference track containing TMI applied to the video track.
  • the trak / stbl box of the video in the moov box (the stbl box that the trak box has) has the tirf box B # 11, and therefore, of the TMIs included in the reference track (here, the video track)
  • TMI of tone_map_id represented by tone_mapping_info_id_ref stored in video trak / stbl / tirf (tirf box included in stbl box included in trak box) B # 11 is TMI applied to the track of interest.
  • the ST trak / tref / vtmi box B # 12 of the moov box exists, so that it is stored in the trak / tref / vtmi box B # 12.
  • the track_id thus recognized recognizes that the video track is a reference track including TMI applied to the ST track.
  • TMI of tone_map_id represented by tone_mapping_info_id_ref stored in tirf box B # 13 is TMI applied to the track of interest.
  • the effective TMI is, for example, the latest TMI among decoded (acquired) TMIs.
  • the HDR specification information that specifies the TMI to be applied to the ST track among the video track including the TMI as the HDR information and the TMI included in the video track.
  • MP4 file containing ST track including tone_mapping_info_id_ref is generated, so TMI included in video track can be applied to ST, and TMI needs to be added separately for ST There is no.
  • an m2ts-formatted video recorded on a Blu-ray (registered trademark) disc including a TMI-containing video, and an ST played with the video, without adding a TMI separately to the MP4 file
  • a Blu-ray (registered trademark) disc including a TMI-containing video, and an ST played with the video, without adding a TMI separately to the MP4 file
  • FIG. 26 is a block diagram illustrating a configuration example of the encoding processing unit 22 in FIG.
  • the encoding processing unit 22 includes a characteristic information generation unit 31, an encoder 32, a conversion unit 33, a conversion information generation unit 34, an encoder 35, and a stream generation unit 36.
  • the characteristic information generation unit 31 detects the luminance of the master HDR data input to the encoding processing unit 22, and generates TMI (tone_mapping_info) as characteristic information including each piece of information described with reference to FIG.
  • the characteristic information generation unit 31 supplies the generated TMI as characteristic information to the stream generation unit 36.
  • the characteristic information generating unit 31 detects, for example, the brightness of the HDR video in the master HDR data, and generates TMI as the characteristic information of the video (HDR video).
  • TMI characteristic information of the video
  • the property information generating unit 31 uses the TMI as the property information of the HDR video displayed simultaneously with the HDR ST, and the property information of ST (HDR ⁇ ST) Adopt as TMI as.
  • the encoder 32 When the processing mode is mode-i, the encoder 32 encodes the input master HDR video using, for example, the HEVC method. Also, when the processing mode is mode-ii, the encoder 32 encodes the STD video supplied from the conversion unit 33 using the HEVC method. The encoder 32 supplies the HDR video encoded data or the STD video encoded data to the stream generation unit 36. Note that the video encoding method is not limited to the HEVC method.
  • the conversion unit 33 converts the master HDR data input to the encoding processing unit 22 into STD data.
  • the conversion by the conversion unit 33 is appropriately performed according to the conversion parameter input by the author.
  • the conversion unit 33 outputs the RGB signal of the HDR data as input data and the RGB signal of the STD data as output data, and outputs information indicating the correspondence between input data and output data to the conversion information generation unit 34.
  • the conversion unit 33 supplies the encoder 32 with the STD video obtained by converting the HDR video, and the encoder 35 receives the STD ⁇ ⁇ ST obtained by converting the HDR ST. Supply.
  • the conversion information generation unit 34 generates TMI as conversion information based on the information supplied from the conversion unit 33.
  • the conversion information generation unit 34 generates TMI as conversion information for video, and for ST, TMI as conversion information of video displayed simultaneously with the ST is converted into TMI as conversion information of ST.
  • Adopt as.
  • the encoder 35 When the processing mode is mode-i, the encoder 35 encodes the master HDR ST input to the encoding processing unit 22 into ST data in the SMPTE-TT format. Also, when the processing mode is mode-ii, the encoder 35 encodes STD ST supplied from the conversion unit 33 into ST data in the SMPTE-TT format. The encoder 35 supplies ST data obtained as a result of the encoding to the stream generation unit 36.
  • the stream generation unit 36 supplies the video supplied from the characteristic information generation unit 31 and TMI tone_map_id as ST characteristic information to the controller 21 (FIG. 20).
  • the stream generation unit 36 supplies the video supplied from the conversion information generation unit 34 and TMI tone_map_id as ST conversion information to the controller 21.
  • the stream generation unit 36 inserts the video TMI (also the TMI of the ST) into the encoded video data from the encoder 32 as SEI, and generates a video stream.
  • the stream generation unit 36 supplies the ST data from the encoder 35 to the file generation unit 23 of FIG. 20 together with the video stream as an ST stream.
  • FIG. 27 is a diagram illustrating an example of conversion processing for converting HDR data into STD data by the conversion unit 33 in FIG.
  • the conversion unit 33 converts the YCrCb signal of the master HDR data input to the encoding processing unit 22 into an RGB (red, green, blue) signal, and targets each RGB signal.
  • the STD data is converted into RGB signals (tone mapping).
  • the conversion unit 33 outputs information indicating a correspondence relationship between the RGB signal of the HDR data that is input data and the RGB signal of the STD data that is output data to the conversion information generation unit 34.
  • the information output to the conversion information generation unit 34 is used to generate conversion information as indicated by arrow # 202.
  • the conversion unit 33 converts the RGB signal of the STD data into a YCrCb signal and outputs it as indicated by an arrow # 203.
  • FIG. 28 is a diagram illustrating an example of tone mapping.
  • the RGB signal of the HDR data is converted into the RGB signal of the STD data by compressing the high luminance component and expanding the middle / low frequency luminance component.
  • Information corresponding to a function F that associates the RGB signal of HDR data and the RGB signal of STD data as shown in FIG. 28 is generated as conversion information by the conversion information generation unit 34.
  • FIG. 29 is a flowchart illustrating an example of a file generation process performed by the generation device 1 of FIG.
  • step S1 the controller 21 of the generation apparatus 1 determines whether or not the processing mode is mode-i.
  • the processing mode is set by the author, for example.
  • step S1 When it is determined in step S1 that the processing mode is mode-i, the process proceeds to step S2, and the encoding processing unit 22 performs the encoding process in mode-i.
  • the video stream and the ST stream generated by the encoding process in mode-i are supplied from the encoding processing unit 22 to the file generation unit 23.
  • step S1 when it is determined in step S1 that the processing mode is mode-ii, the process proceeds to step S3, and the encoding processing unit 22 performs the encoding process in mode-ii.
  • the video stream and ST stream generated by the encoding process in mode-ii are supplied from the encoding processing unit 22 to the file generating unit 23.
  • step S4 the process proceeds to step S4, and the header information generation unit 21A performs a header information generation process.
  • the header information generated by the header information generation process is supplied from the header information generation unit 21A to the file generation unit 23, and the process proceeds to step S5.
  • step S5 the file generation unit 23 stores the video stream from the encoding processing unit 22, the ST stream, and the header information from the header information generation unit 21A, and the MP4 file in FIG. 21 or FIG. Is generated and output, and the file generation process ends.
  • FIG. 30 is a flowchart illustrating an example of the mode-i encoding process performed in step S2 of FIG.
  • step S11 the characteristic information generation unit 31 of the encoding processing unit 22 (FIG. 26) detects the luminance of the master HDR data, generates TMI as characteristic information of the video and ST, and sends it to the stream generation unit 36. Then, the process proceeds to step S12.
  • step S12 the encoder 32 encodes the master HDR video using the HEVC method, generates encoded data of the HDR video, supplies the encoded data to the stream generation unit 36, and the process proceeds to step S13.
  • the video encoding method is not limited to the HEVC method.
  • step S13 the encoder 35 encodes the master HDR ST, generates ST data in the SMPTE-TT format, supplies the ST data to the stream generation unit 36, and the process proceeds to step S14.
  • step S14 the conversion unit 33 converts the input master HDR data into STD data, sets the RGB signal of the HDR data as input data, and sets the RGB signal of the STD data as output data.
  • Information indicating the correspondence relationship of data is supplied to the conversion information generation unit 34.
  • step S14 the process proceeds from step S14 to step S15, and the conversion information generation unit 34 generates TMI as conversion information of video and ST based on the information supplied from the conversion unit 33, and sends it to the stream generation unit 36. Then, the process proceeds to step S16.
  • step S ⁇ b> 16 the stream generation unit 36 encodes the TMI as the characteristic information from the characteristic information generation unit 31 and the TMI as the conversion information from the conversion information generation unit 34 as the SEI of the encoded data from the encoder 32. Inserted into the digitized data to generate a video stream.
  • the stream generation unit 36 supplies the ST data from the encoder 35 to the file generation unit 23 (FIG. 20) together with the video stream as an ST stream.
  • the stream generation unit 36 supplies tone_map_id of video TMI (TMI applied to video) and tone_map_id of ST TMI (TMI applied to ST) to the controller 21 (FIG. 20), and mode-i
  • TMI video TMI
  • TMI tone_map_id of ST TMI
  • FIG. 31 is a flowchart illustrating an example of the mode-ii encoding process performed in step S3 of FIG.
  • step S21 the characteristic information generation unit 31 of the encoding processing unit 22 detects the luminance of the master HDR data, generates TMI as video and ST characteristic information, and supplies the TMI to the stream generation unit 36.
  • step S22 the conversion unit 33 converts the input master HDR data into STD data, and supplies the STD video of the STD data to the encoder 32 and also supplies STD ST to the encoder 35. .
  • the conversion unit 33 supplies the conversion information generation unit 34 with information indicating the correspondence between input data and output data, where the RGB signal of the HDR data is input data and the RGB signal of the STD data is output data. Then, the process proceeds from step S22 to step S23.
  • step S23 the conversion information generation unit 34 generates TMI as video and ST conversion information based on the information supplied from the conversion unit 33 and supplies the TMI to the stream generation unit 36. Proceed to S24.
  • step S24 the encoder 32 encodes the STD video from the conversion unit 33 using the HEVC method, generates encoded data of the STD video, and supplies the encoded data to the stream generation unit 36.
  • the video encoding method is not limited to the HEVC method.
  • step S25 the encoder 35 encodes the STD ST from the conversion unit 33, generates ST data in the SMPTE-TT format, and supplies the ST data to the stream generation unit 36.
  • step S ⁇ b> 26 the stream generation unit 36 transmits the TMI as the characteristic information from the characteristic information generation unit 31 and the TMI as the conversion information from the conversion information generation unit 34 from the encoder 32 as the SEI of the encoded data. Is inserted into the encoded data to generate a video stream.
  • the stream generation unit 36 supplies the ST data from the encoder 35 to the file generation unit 23 (FIG. 20) together with the video stream as an ST stream.
  • the stream generation unit 36 supplies the TMI tone_map_id of the video and the TMI tone_map_id of the ST to the controller 21 (FIG. 20), and the mode-ii encoding process ends (returns).
  • FIG. 32 is a flowchart illustrating an example of the header information generation process performed in step S4 of FIG.
  • step S31 the header information generation unit 21A of the controller 21 (FIG. 20) tone_map_id of the video TMI (TMI applied to the video) supplied from the encoding processing unit 22 (the stream generation unit 36 (FIG. 26)).
  • Tirf box (FIG. 21, FIG. 24, FIG. 25) storing tone_mapping_info_id_ref representing the is generated.
  • the header information generation unit 21A generates a tirf box (FIGS. 21, 24, and 25) that stores tone_mapping_info_id_ref representing the tone_map_id of the ST TMI (TMI applied to the ST) supplied from the encoding processing unit 22 To do.
  • a tirf box (FIGS. 21, 24, and 25) that stores tone_mapping_info_id_ref representing the tone_map_id of the ST TMI (TMI applied to the ST) supplied from the encoding processing unit 22 To do.
  • the header information generation unit 21A generates a vtmi box (FIGS. 21, 23, and 25) that stores track_IDs [] representing the track_id of the track of the video stream including the TMI applied to the ST, The process proceeds from step S31 to step S32.
  • the header information generation unit 21A creates a moov box including a vtmi box and a moof box including a tirf box, or creates a moov box including a vtmi box and a tirf box as header information.
  • the file information is supplied to the file generation unit 23 (FIG. 20), and the header information generation process ends.
  • the header information generation unit 21A includes the moov in which the vtmi box is included in the trak / tref box of the ST track. Create a box.
  • the header information generation unit 21A has a moof box in which the tirf box is included in the traf box of the video track, and a moof box in which the tirf box is included in the traf box of the ST track. Is generated.
  • the header information generation unit 21A adds the tirf to the stbl box included in the trak box of the video track as shown in FIG.
  • a moov box including a box and a ttf box in a stbl box included in the trak box of the ST track and a stbl box included in the trak box of the ST track is generated.
  • FIG. 33 is a block diagram showing a first configuration example of the playback device 2 of FIG.
  • the playback device 2 includes a file acquisition unit 51, a separation unit 52, an operation input unit 53, a controller 54, a decryption processing unit 55, and a synthesis output unit 56.
  • the file acquisition unit 51 acquires an MP4 file from the recording medium 11 or the transmission medium 12 (FIG. 1) and supplies it to the separation unit 52.
  • the separation unit 52 separates (acquires) the moov box and the moof box as header information from the MP4 file from the file acquisition unit 51 and supplies them to the controller 54.
  • the separation unit 52 separates (acquires) the video stream or ST stream as actual data stored in the mdat box from the MP4 file from the file acquisition unit 51 and supplies the video stream or ST stream to the decoding processing unit 55.
  • the operation input unit 53 includes an input device such as a button, a key, and a touch panel, and a receiving unit that receives a signal such as an infrared ray transmitted from a predetermined remote commander, and receives a user operation. Then, the operation input unit 53 supplies an operation signal corresponding to the user operation to the controller 54.
  • the controller 54 includes a CPU, a ROM, a RAM, and the like.
  • the controller 54 executes a predetermined program and controls the overall operation of the playback device 2.
  • the controller 54 may use track_IDs [] (FIGS. 21, 23, and 25) stored in the vtmi box included in the moov box supplied from the separation unit 52, or tone_mapping_info_id_ref (FIG. 21, 24 and 25) are supplied to the decoding processing unit 55.
  • the controller 54 supplies tone_mapping_info_id_ref stored in the tirf box included in the moof box supplied from the separation unit 52 to the decoding processing unit 55.
  • the decoding processing unit 55 includes a decoder 55A and a decoder 55B.
  • the decoder 55A recognizes the video track as a reference track (a track to be referred to as a track including the TMI to be applied), and as characteristic information and conversion information from the SEI of the video stream of the video track supplied from the separation unit 52.
  • TMI tone_mapping_info
  • the decoder 55A decodes the encoded data included in the video stream supplied from the separation unit 52 by the HEVC method.
  • the decoder 55A applies the TMI of tone_map_id represented by tone_mapping_info_id_ref stored in the tirf box of the video track supplied from the controller 54 from the TMI included in the video track as the reference track to the video. Get as TMI.
  • the decoder 55A converts the HDR video or STD video obtained as a result of decoding into STD video or HDR video based on TMI as conversion information applied to the video, and outputs it to the synthesis output unit 56. Output.
  • the decoder 55A When outputting the HDR video, the decoder 55A outputs TMI as characteristic information applied to the video to the synthesis output unit 56 together with the HDR video.
  • the decoder 55B decodes the ST stream supplied from the separation unit 52.
  • the decoder 55B recognizes the track_id track indicated by track_IDs [] stored in the vtmi box of the ST track supplied from the controller 54, that is, the video track in this embodiment as a reference track. , And functions as an acquisition unit that acquires the TMI included in the reference track.
  • the decoder 55B obtains the TMI as the characteristic information and the conversion information as the TMI included in the reference track from the SEI of the video stream of the video track as the reference track supplied from the separation unit 52.
  • the decoder 55B applies the TMI of tone_map_id represented by tone_mapping_info_id_ref stored in the tirf box of the ST track supplied from the controller 54 from the TMI included in the video track as the reference track to the ST. Get as TMI.
  • the decoder 55B converts the HDR ST or STD ST obtained as a result of decoding into STD ST or HDRSTST based on TMI as conversion information applied to the ST, and combines the output unit 56. Output to.
  • the decoder 55B When outputting the HDR-ST, the decoder 55B outputs the TMI as characteristic information applied to the ST together with the HDR-ST to the composite output unit 56.
  • the composite output unit 56 communicates with the display device 3 via the cable 4 (FIG. 1). For example, the composite output unit 56 acquires information regarding the performance of the monitor included in the display device 3 and outputs the information to the controller 54.
  • the synthesis output unit 56 synthesizes the HDR video or STD video supplied from the decoder 55A and the HDR ST or STD ST supplied from the decoder 55B as necessary, and outputs them to the display device 3.
  • the composite output unit 56 outputs TMI as characteristic information supplied from the decoder 55A and the decoder 55B to the display device 3.
  • FIG. 34 is a flowchart for explaining an example of reproduction processing performed by the reproduction apparatus 2 of FIG.
  • the controller 54 controls the composite output unit 56 to communicate with the display device 3, for example, EDID as information representing the performance of the display device 3. (Extended display identification data) is acquired.
  • step S41 the file acquisition unit 51 acquires the MP4 file generated by the generation device 1 and supplies the MP4 file to the separation unit 52.
  • the separation unit 52 reads the moov box and moof box as header information from the MP4 file from the file acquisition unit 51, and also reads the video stream and ST stream as actual data stored in the mdat box.
  • the separation unit 52 supplies a moov box and a moof box as header information to the controller 54, and supplies a video stream and an ST stream to the decoding processing unit 55.
  • the controller 54 supplies track_IDs [] stored in the vtmi box included in the moov box supplied from the separation unit 52 and tone_mapping_info_id_ref stored in the tirf box to the decoding processing unit 55. Furthermore, the controller 54 supplies tone_mapping_info_id_ref stored in the tirf box included in the moof box supplied from the separation unit 52 to the decoding processing unit 55.
  • step S41 the process proceeds from step S41 to step S42, and the controller 54 determines whether the processing mode of the MP4 file acquired by the file acquisition unit 51 is mode-i or mode-ii, that is, the file acquisition unit 51 It is determined whether the acquired MP4 file is a file obtained by the mode-i or mode-ii encoding process.
  • the determination of the processing mode in step S42 by the controller 54 can be performed based on the information indicating the processing mode of the MP4 file by including in the moov box as header information, for example.
  • step S42 When it is determined in step S42 that the processing mode is mode-i, the process proceeds to step S43, and the decoding processing unit 55 performs mode-i decoding processing.
  • step S42 when it determines with processing mode being mode-ii in step S42, it progresses to step S44 and the decoding process part 55 performs the decoding process of mode-ii.
  • step S43 or step S44 After the decoding process is performed in step S43 or step S44, the reproduction process ends.
  • FIG. 35 is a flowchart illustrating an example of the mode-i decoding process performed in step S43 of FIG.
  • step S61 the decoder 55A recognizes the video track as a reference track, and the reference track includes TMI as the characteristic information and conversion information from the SEI of the video stream of the video track supplied from the separation unit 52. Get as TMI.
  • step S61 the decoder 55B uses the track_id track (track_IDs [] specified as track specification information) indicated by track_IDs [] stored in the vtmi box of the ST track supplied from the controller 54.
  • a video track is recognized as a reference track, and the TMI included in the reference track is acquired.
  • the decoder 55B supplies the characteristic information and the TMI as the conversion information from the SEI of the video stream of the video track as the reference track supplied from the separation unit 52 as the TMI included in the reference track. get.
  • step S61 the process proceeds from step S61 to step S62, and the decoder 55A decodes the encoded data included in the video stream from the separation unit 52 by the HEVC method to generate an HDR video, and the process proceeds to step S63. move on.
  • the video decoding (encoding) method is not limited to the HEVC method.
  • step S63 the decoder 55B decodes the ST stream from the separation unit 52, that is, the ST data stream in the SMPTE-TT format, for example, into HDR ST, and the process proceeds to step S64.
  • step S64 the controller 54 determines whether or not the monitor included in the display device 3 is an HDR monitor.
  • the controller 54 acquires the EDID as information representing the performance of the display device 3 from the display device 3, and the monitor of the display device 3 based on the EDID. Is determined to be an HDR monitor.
  • step S64 If it is determined in step S64 that the monitor included in the display device 3 is an HDR monitor, the process proceeds to step S65.
  • step S65 the decoder 55A selects the TMI (HDR designation information) of tone_map_id represented by tone_mapping_info_id_ref stored in the tirf box of the video track supplied from the controller 54 from the TMI included in the video track as the reference track.
  • TMI TMI specified by tone_mapping_info_id_ref as a TMI to be applied to the video.
  • the decoder 55B among the TMIs included in the video track as the reference track, supplies the TMI of tone_map_id represented by tone_mapping_info_id_ref stored in the tirf box of the ST track supplied from the controller 54. TMI specified by tone_mapping_info_id_ref) is acquired as TMI to be applied to ST.
  • step S65 the process proceeds from step S65 to step S66, and the decoder 55A supplies the HDR video to the synthesis output unit 56 together with TMI as characteristic information applied to the video.
  • the decoder 55B supplies HDR ST to the synthesis output unit 56 together with TMI as characteristic information applied to the ST.
  • the HDR video and the HDR-ST are synthesized as necessary and supplied (transmitted) to the display device 3 (FIG. 1) together with TMI as characteristic information.
  • step S64 determines whether the monitor included in the display device 3 is an HDR monitor but an STD monitor. If it is determined in step S64 that the monitor included in the display device 3 is not an HDR monitor but an STD monitor, the process proceeds to step S67.
  • step S67 the decoder 55A selects the TMI (HDR designation information) of tone_map_id represented by tone_mapping_info_id_ref stored in the tirf box of the video track supplied from the controller 54 from the TMIs included in the video track as the reference track.
  • TMI HDR designation information
  • the decoder 55B among the TMIs included in the video track as the reference track, supplies the TMI of tone_map_id represented by tone_mapping_info_id_ref stored in the tirf box of the ST track supplied from the controller 54. TMI specified by tone_mapping_info_id_ref) is acquired as TMI to be applied to ST.
  • step S67 the process proceeds from step S67 to step S68, and the decoder 55A converts the HDR video obtained as a result of decoding into an STD video based on TMI as conversion information applied to the video.
  • the decoder 55B converts the HDR ST obtained as a result of decoding into STD ST based on TMI as conversion information applied to the ST.
  • step S68 the process proceeds from step S68 to step S69, and the decoder 55A supplies the STD video to the composite output unit 56. Further, the decoder 55B supplies STD ST to the combined output unit 56.
  • the STD video and STD ST are synthesized as necessary and supplied (transmitted) to the display device 3 (FIG. 1).
  • step S66 or S69 the process proceeds to step S70, and the controller 54 determines whether or not the reproduction is finished.
  • step S70 If it is determined in step S70 that the reproduction has not ended, the process returns to step S61, and the same process is repeatedly executed. On the other hand, if it is determined in step S70 that the reproduction has ended, the mode-i decoding process ends.
  • FIG. 36 is a flowchart illustrating an example of the mode-ii decoding process performed in step S44 of FIG.
  • step S81 the decoders 55A and 55B acquire the TMI included in the reference track, similarly to step S61 in FIG.
  • the decoder 55A recognizes the video track as a reference track, and sets TMI as characteristic information and conversion information from the SEI of the video stream of the video track supplied from the separation unit 52 as TMI included in the reference track. get.
  • the decoder 55 ⁇ / b> B supplies the video track that is the track_id track (track_IDs [] specified by the track specification information) represented by track_IDs [] stored in the vtmi box of the ST track supplied from the controller 54.
  • the characteristic information and the TMI as the conversion information are acquired as the TMI included in the reference track from the SEI of the video stream of the video track as the reference track that is recognized as the reference track and supplied from the separation unit 52.
  • step S81 the process proceeds from step S81 to step S82, and the decoder 55A decodes the encoded data included in the video stream from the separation unit 52 using the HEVC method to generate STD video, and the process proceeds to step S83. move on.
  • the video decoding (encoding) method is not limited to the HEVC method.
  • step S83 the decoder 55B decodes the ST stream, that is, the ST data stream in the SMPTE-TT format, for example, into STD ST, and the process proceeds to step S84.
  • step S84 the controller 54 determines whether the monitor included in the display device 3 is an HDR monitor, for example, similarly to step S64 in FIG.
  • step S84 If it is determined in step S84 that the monitor included in the display device 3 is an HDR monitor, the process proceeds to step S85.
  • step S85 the decoder 55A selects the TMI (HDR designation information) of tone_map_id represented by tone_mapping_info_id_ref stored in the tirf box of the video track supplied from the controller 54 from the TMI included in the video track as the reference track.
  • TMI TMI specified by tone_mapping_info_id_ref as a TMI to be applied to the video.
  • the decoder 55B among the TMIs included in the video track as the reference track, supplies the TMI of tone_map_id represented by tone_mapping_info_id_ref stored in the tirf box of the ST track supplied from the controller 54. TMI specified by tone_mapping_info_id_ref) is acquired as TMI to be applied to ST.
  • step S86 the decoder 55A converts the STD video obtained as a result of decoding into an HDR video based on TMI as conversion information applied to the video. Also, the decoder 55B converts STD ST obtained as a result of decoding into HDR ST based on TMI as conversion information applied to ST.
  • step S86 the process proceeds from step S86 to step S87, and the decoder 55A supplies the HDR video to the synthesis output unit 56 together with TMI as characteristic information applied to the video.
  • the decoder 55B supplies HDR ST to the synthesis output unit 56 together with TMI as characteristic information applied to the ST.
  • the HDR video and the HDR-ST are synthesized as necessary, and supplied to the display device 3 (FIG. 1) together with TMI as characteristic information.
  • step S84 when it is determined in step S84 that the monitor included in the display device 3 is an STD monitor, the process proceeds to step S88, and the decoder 55A converts the STD video obtained by the decoding in step S82 into the synthesis output unit 56. To supply. In addition, the decoder 55B supplies STD ⁇ ST obtained by the decoding in step S83 to the synthesis output unit 56.
  • the STD video and STD ST are synthesized as necessary and supplied to the display device 3 (FIG. 1).
  • step S87 or S88 the process proceeds to step S89, and the controller 54 determines whether or not the reproduction is finished.
  • step S89 If it is determined in step S89 that the reproduction has not ended, the process returns to step S81, and the same process is repeatedly executed. On the other hand, when it is determined in step S89 that the reproduction has ended, the mode-ii decoding process ends.
  • FIG. 37 is a block diagram illustrating a configuration example of the display device 3 of FIG.
  • the display device 3 includes a controller 101, a communication unit 102, a signal processing unit 103, and a monitor 104.
  • the controller 101 includes, for example, a memory 101A that stores EDID (Extended display identification data) indicating the performance of the monitor 104 and the like.
  • EDID Extended display identification data
  • the controller 101 is composed of a CPU, ROM, RAM, and the like.
  • the controller 101 executes a predetermined program and controls the overall operation of the display device 3.
  • the controller 101 when authenticating with the playback device 2, the controller 101 outputs the EDID stored in the memory 101A to the communication unit 102 and causes the playback device 2 to transmit the EDID. Based on the EDID, the playback device 2 specifies the performance of the monitor 104 of the display device 3.
  • the communication unit 102 communicates with the playback device 2 via the cable 4 (FIG. 1).
  • the communication unit 102 receives the HDR data or STD data transmitted from the playback device 2 and outputs it to the signal processing unit 103.
  • the communication unit 102 transmits the EDID supplied from the controller 101 to the playback device 2.
  • the signal processing unit 103 processes the HDR data or STD data supplied from the communication unit 102 and displays an image on the monitor 104.
  • FIG. 38 is a flowchart for explaining an example of display processing performed by the display device 3 of FIG.
  • the monitor 104 included in the display device 3 is an HDR monitor.
  • the HDR data to which the characteristic information is added is transmitted from the reproduction device 2.
  • step S101 the communication unit 102 of the display device 3 receives the HDR data and the characteristic information transmitted from the playback device 2, and the process proceeds to step S102.
  • step S102 the controller 101 refers to the characteristic information and determines whether or not the HDR data transmitted from the playback device 2 can be displayed as it is.
  • the characteristic information includes master HDR data, that is, TMI as characteristic information indicating the luminance characteristic of the HDR data transmitted from the playback device 2.
  • the determination in step S102 is performed by comparing the luminance characteristics of the HDR data specified by TMI as the characteristic information with the display performance of the monitor 104.
  • the dynamic range of the HDR data specified by TMI as the characteristic information is 0-400%
  • the dynamic range of the monitor 104 is 0-500% (for example, if the brightness of 100% is 100 cd / m 2 , 500 cd / If m 2 ), it is determined that the HDR data can be displayed as it is.
  • the dynamic range of the HDR data specified by TMI as the characteristic information is 0-400% and the dynamic range of the monitor 104 is 0-300%, it is determined that the HDR data cannot be displayed as it is.
  • step S102 If it is determined in step S102 that the HDR data can be displayed as it is, the process proceeds to step S103, and the signal processing unit 103 determines the HDR image corresponding to the HDR data as the luminance specified by TMI as the characteristic information. To display on the monitor 104. For example, when the luminance characteristic indicated by the curve L12 in FIG. 12 is designated by TMI as the characteristic information, each luminance value represents the brightness in the range of 0 to 400% indicated by the curve L12.
  • step S102 determines whether the HDR data cannot be displayed as it is. If it is determined in step S102 that the HDR data cannot be displayed as it is, the process proceeds to step S104, and the signal processing unit 103 adjusts the brightness of the HDR data according to the display performance of the monitor 104. Then, the HDR image corresponding to the HDR data whose brightness is adjusted is displayed. For example, when the luminance characteristic indicated by the curve L12 in FIG. 12 is specified by the characteristic information and the dynamic range of the monitor 104 is 0-300%, each luminance value represents the brightness in the range of 0-300%. So that it is compressed.
  • step S105 the controller 101 determines whether or not to end the display. The processes after step S101 are repeated. If it is determined in step S105 that the display is to be terminated, the display process is terminated.
  • the generation device 1 stores the master HDR data as it is in the MP4 file, causes the reproduction device 2 to reproduce the HDR image corresponding to the HDR data, and displays the HDR image on the display device 3. Can be made.
  • the generation device 1 converts the master HDR data into STD data, stores it in the MP4 file, causes the playback device 2 to restore the HDR data, and displays the HDR image corresponding to the HDR data on the display device 3. Can be made.
  • the author of the content supports the HDR data with the intended brightness by allowing the brightness characteristics of the master HDR data to be specified by TMI as the characteristic information. HDR images can be displayed.
  • the generation apparatus 1 stores a video (stream) track including TMI as HDR information (characteristic information and conversion information) and an ST (stream) track in an MP4 file.
  • the ST track contains a vtmi box in which track_IDs [] is stored as track specification information for specifying a video track including a TMI to be applied to the ST track, and an HDR for specifying the TMI to be applied to the ST track.
  • track_IDs [] is stored as track specification information for specifying a video track including a TMI to be applied to the ST track, and an HDR for specifying the TMI to be applied to the ST track.
  • a tirf box in which tone_mapping_info_id_ref as specified information is stored is included.
  • the playback apparatus 2 selects the TMI included in the video track (with track_id) specified by track_IDs [] stored in the vtmi box included in the ST track, in the tirf box included in the ST track.
  • the TMI specified by the stored tone_mapping_info_id_ref (tone_map_id) can be acquired as the TMI applied to the ST and used for the ST processing.
  • the TMI included in the video track is applied to the ST. Therefore, there is no need to add TMI separately for ST.
  • the TMI of the video displayed at the same time as the ST is adopted as the TMI of the ST. It depends on TMI.
  • ST TMI is not dependent on video TMI. be able to.
  • FIG. 39 is a block diagram illustrating a second configuration example of the generation device 1 of FIG.
  • the generation apparatus 1 includes a controller 21, a file generation unit 23, and an encoding processing unit 122.
  • the generation apparatus 1 of FIG. 39 has the controller 21 and the file generation unit 23 in common with the case of FIG. 20, and an encoding processing unit 122 is provided instead of the encoding processing unit 22. This is different from the case of FIG.
  • the generation device 1 in FIG. 39 is different from the case in FIG. 20 in that the controller 21 includes a header information generation unit 121A instead of the header information generation unit 21A.
  • the master HDR data is input to the encoding processing unit 22.
  • the header information generation unit 121A generates a tirf box (FIG. 24) in which tone_map_id supplied from the encoding processing unit 122 is stored as tone_mapping_info_id_ref, similarly to the header information generation unit 21A of FIG.
  • the header information generation unit 121A generates a tinf box (ToneMappingInformationBox) in which TMI (tone_mapping_info) supplied from the encoding processing unit 122 is stored as ToneMapInfo (class object).
  • TMI tone_mapping_info
  • the header information generation unit 121A generates a moov box or moof box including a tirf box and a tinf box as header information, and supplies the header information to the file generation unit 23.
  • the tinf box will be described later.
  • the encoding processing unit 122 generates a video stream and an ST stream by encoding the master HDR data in the same manner as the encoding processing unit 22 in FIG. 20, and outputs it to the file generation unit 23.
  • the encoding process part 122 supplies tone_map_id of TMI (tone_mapping_info) applied to a video and ST to the controller 21 (its header information generation part 121A) similarly to the encoding process part 22 of FIG.
  • the encoding processing unit 122 supplies TMI to be applied to video and ST to the controller 21 (its header information generation unit 121A).
  • FIG. 40 is a diagram illustrating an example of an MP4 file (hereinafter also referred to as a second MP4 file) generated by the generation apparatus 1 of FIG.
  • the second MP4 file in FIG. 40 is a fragmented movie MP4 file having a fragment, and the moov box has a trak box of video, audio, and ST.
  • the second MP4 file in FIG. 40 has a video track, an audio track, and an ST track.
  • TMI is included in the video track, but is not included in the ST track. Therefore, ST is included in the video track.
  • TMI is used by diverting, in the second MP file, the track of each medium such as video or ST includes TMI to be applied to the medium.
  • the TMI applied to the medium generates an MP4 file included in the track of the medium as a second MP4 file.
  • the moof / traf box of each medium has a tirf box and a tinf box (ToneMappingInformationBox) (tone mapping information box).
  • the tirf box is a newly defined box that stores tone_mapping_info_id_ref representing tone_map_id that specifies TMI to be applied to the target track of interest as described in FIG.
  • the tinf box is a newly defined box in which TMI (tone_mapping_info) is stored.
  • tinf box B # 22 storing TMI to be applied to the video (track) and its tinf box B #
  • a tirf box B # 21 storing tone_mapping_info_id_ref indicating tone_map_id of TMI applied to the video is stored.
  • the ST Stored is a tirf box B # 23 in which tone_mapping_info_id_ref representing TMI tone_map_id to be applied to is stored.
  • the track of interest in the TMI stored in the moof / traf / tinf box B # 22 of the track of interest It can be recognized that the TMI of tone_map_id represented by tone_mapping_info_id_ref stored in the moof / tarf / tirf box B # 21 is the TMI applied to the track of interest.
  • the target track of the TMI stored in the moof / traf / tinf box B # 24 of the target track is also displayed.
  • the TMI of tone_map_id represented by tone_mapping_info_id_ref stored in the moof / tarf / tirf box B # 23 is the TMI applied to the track of interest.
  • the fragmentedMPmovie MP4 file has a moof box for each fragment, but the data of a fragment contains a valid TMI of tone_map_id represented by tone_mapping_info_id_ref stored in the moof / traf / tirf box of that fragment. TMI applies.
  • FIG. 41 is a diagram showing an example of definition of a tinf box.
  • the tinf box (ToneMappingInformationBox) (tone mapping information box) is a newly defined box that stores TMI to be applied to the track having the tinf box as ToneMapInfo (class object tonemap). Stored in the stbl box) or traf box.
  • FIG. 42 is a diagram illustrating a first example of ToneMapInfo syntax.
  • ToneMapInfo in FIG. 42 is configured in the same manner as TMI (tone_mapping_info) in FIG. 7 except that padding_value for byte alignment is inserted.
  • FIG. 43 is a diagram illustrating a second example of ToneMapInfo syntax.
  • ToneMapInfo in FIG. 43 is configured in the same manner as in FIG. 42 except that component_idc is newly defined.
  • TMI represented by ToneMapInfo in FIG. 43 is commonly applied to, for example, all of R, G, and B as a plurality of components constituting an image.
  • toneMapInfo is applied only to R, for example, which is one of the components R, G, and B constituting the image.
  • the TMI represented by the ToneMapInfo in FIG. 43 is one of the components R, G, and B constituting the image, for example, only applied to G, and component_idc
  • the TMI represented by ToneMapInfo in FIG. 43 is applied only to B, which is one of the components R, G, and B constituting the image, for example.
  • ToneMapInfo in FIG. 43 the TMI to be applied can be changed on a component basis.
  • FIG. 44 is a diagram illustrating a third example of ToneMapInfo syntax.
  • ToneMapInfo in FIG. 44 is configured in the same manner as in FIG. 42 except that num_of_components is newly defined.
  • TMI represented by ToneMapInfo in FIG. 44 is commonly applied to, for example, all of R, G, and B as a plurality of components constituting an image.
  • ToneMapInfo in FIG. 43 includes R TMI, G TMI, and B for each of components R, G, and B constituting the image. Are described in that order, for example.
  • ToneMapInfo in FIG. 43 and FIG. 44, TMI applied to each component constituting the image can be described independently.
  • FIG. 45 is a diagram showing another example of the second MP4 file generated by the generation device 1 of FIG.
  • the second MP4 file in FIG. 45 is a non-fragmented movie MP4 file having no fragment, and the moov box has a trak box of video, audio, and ST.
  • the second MP4 file in FIG. 45 has a video track, an audio track, and an ST track.
  • the track of each medium such as video or ST includes TMI to be applied to the medium.
  • the TMI to be applied to the video is stored in the trak / stbl box of the video track in the moov box.
  • Tinf box B # 32 and tirf box B # 31 in which tone_mapping_info_id_ref indicating TMI tone_map_id applied to the video is stored.
  • the tink box B # 34 in which the TMI to be applied to the ST (track) is stored in the trak / stbl box of the ST track in the moov box and the tone_map_id of the TMI to be applied to the ST A tirf box B # 33 storing tone_mapping_info_id_ref to be expressed is stored.
  • the stbl box included in the trak box of the target track (here, the video track) in the moov box is Recognize that the TMI of tone_map_id represented by tone_mapping_info_id_ref stored in tirf box B # 31 of the stbl box is the TMI applied to the track of interest among the TMI stored in the tinf box B # 32 Can do.
  • the tinf box B # included in the stbl box included in the trak box of the attention track (here, the ST track) of the moov box is the same as in the case of the video. It can be recognized that the TMI of tone_map_id represented by tone_mapping_info_id_ref stored in the tirf box B # 33 included in the stbl box among the TMI stored in 34 is the TMI applied to the track of interest.
  • a valid TMI of the TMIs stored in the tinf box of the target track is applied to the target track.
  • TMI (a tinf box in which is stored) as HDR information
  • HDR designation information that designates TMI to be applied to a target track of interest among the TMI. Since the second MP4 file containing the track of interest including the tone_mapping_info_id_ref (the tirf box in which the tone_mapping_info_id_ref is stored) is generated, the TMI that is applied to that media is added to each media such as video and ST independently. can do.
  • a video including TMI in m2ts format recorded on a Blu-ray (registered trademark) disc and an ST played with the video are separately added to the ST with a TMI applied to the ST.
  • the video when the video is encoded by the HEVC method, a video stream in which the video TMI is inserted is generated in the SEI. Therefore, in the second MP4 file, the video TMI is set in the SEI. There are TMI to be inserted and TMI stored in a tinf box included in a video track.
  • TMI applied to the video In this case, in the playback device 2 (FIG. 1), which of TMI inserted in the SEI and TMI stored in the tinf box included in the video track is used as the TMI applied to the video. For example, it can be determined in advance or can be selected according to a user operation.
  • the TMI stored in the tinf box is selected from the TMI inserted in the SEI and the TMI stored in the tinf box included in the video track. It will be used as TMI applied to video.
  • one sample which is an access unit to an MP4 file, can include a plurality of display screens of ST, but in the second MP4 file, one sample is included.
  • the TMI that can be applied to each of the multiple display screens of ST included in one sample is the same TMI and is applied to each display screen. It is difficult to switch TMI.
  • FIG. 46 is a block diagram illustrating a configuration example of the encoding processing unit 122 in FIG.
  • portions corresponding to the encoding processing unit 22 in FIG. 26 are denoted by the same reference numerals, and description thereof will be omitted below as appropriate.
  • the encoding processing unit 122 includes an encoder 32, a conversion unit 33, a conversion information generation unit 34, an encoder 35, a characteristic information generation unit 131, a conversion information generation unit 132, and a stream generation unit 133.
  • the encoding processing unit 122 in FIG. 46 is common to the encoding processing unit 22 in FIG. 26 in that it includes the encoder 32, the conversion unit 33, and the encoder 35.
  • the encoding processing unit 122 in FIG. 46 replaces the characteristic information generation unit 31, the conversion information generation unit 34, and the stream generation unit 36 with a characteristic information generation unit 131, a conversion information generation unit 132, and It differs from the encoding processing unit 22 of FIG. 26 in that a stream generation unit 133 is provided.
  • the characteristic information generation unit 131 detects the luminance of the master HDR data input to the encoding processing unit 122, generates TMI as characteristic information, and generates a stream. To the unit 133.
  • the characteristic information generation unit 131 generates TMI as characteristic information separately for each of the HDR video and the HDR-ST in the master HDR data.
  • the characteristic information generation unit 131 generates TMI as the characteristic information of the HDR video for the HDR video, and displays HDR ST at the same time as the HDR ⁇ ⁇ ⁇ ST.
  • the TMI as the characteristic information of the HDR video to be used can be adopted as the TMI as the characteristic information of ST (HDRSTST).
  • the conversion information generation unit 132 generates TMI as conversion information based on the information supplied from the conversion unit 33, similarly to the conversion information generation unit 34 of FIG.
  • the conversion information generation unit 132 separately generates TMI as conversion information for each of the HDR video and the HDR-ST of the master HDR data, and supplies the TMI to the stream generation unit 133.
  • the conversion information generation unit 132 generates TMI as conversion information of the HDR video for the HDR video, and displays HDR ST at the same time as the HDR ST.
  • the TMI as the conversion information of the HDR video can be employed as the TMI as the conversion information of ST (HDR ST).
  • the stream generation unit 133 includes the video supplied from the characteristic information generation unit 131, the TMI as ST characteristic information, the video supplied from the conversion information generation unit 132, and the TMI as ST conversion information.
  • tone_map_id is supplied to the controller 21 (FIG. 39).
  • the stream generation unit 133 performs the same processing as the stream generation unit 36 of FIG.
  • the stream generation unit 133 includes the video supplied from the characteristic information generation unit 131, the TMI tone_map_id as ST characteristic information, the video supplied from the conversion information generation unit 132, and the ST conversion information. TMI tone_map_id is supplied to the controller 21.
  • the stream generation unit 133 inserts the video TMI as SEI into the encoded video data from the encoder 32 to generate a video stream.
  • the stream generation unit 133 supplies the ST data from the encoder 35 to the file generation unit 23 of FIG. 39 as an ST stream together with the video stream.
  • the stream generation unit 133 can convert the encoded data into a video stream as it is without inserting the video TMI into the encoded video data from the encoder 32.
  • FIG. 47 is a flowchart illustrating an example of a file generation process performed by the generation device 1 of FIG.
  • step S111 the controller 21 of the generation apparatus 1 determines whether or not the processing mode is mode-i as in step S1 of FIG.
  • step S111 When it is determined in step S111 that the processing mode is mode-i, the process proceeds to step S112, and the encoding processing unit 122 performs the encoding process in mode-i.
  • the video stream and the ST stream generated by the encoding process in mode-i are supplied from the encoding processing unit 122 to the file generation unit 23.
  • step S111 when it determines with processing mode being mode-ii in step S111, it progresses to step S113 and the encoding process part 122 performs the encoding process by mode-ii.
  • the video stream and the ST stream generated by the encoding process in mode-ii are supplied from the encoding processing unit 122 to the file generating unit 23.
  • step S112 or S113 the process proceeds to step S114, and the header information generation unit 121A performs a header information generation process.
  • the header information generated by the header information generation process is supplied from the header information generation unit 121A to the file generation unit 23, and the process proceeds to step S115.
  • step S115 the file generation unit 23 stores the video stream from the encoding processing unit 122, the ST stream, and the header information from the header information generation unit 121A.
  • the MP4 file is generated and output, and the file generation process ends.
  • FIG. 48 is a flowchart illustrating an example of the mode-i encoding process performed in step S112 of FIG.
  • step S121 the characteristic information generation unit 131 of the encoding processing unit 122 (FIG. 46) detects the luminance of the master HDR data, generates TMI as video and ST characteristic information, and sends the TMI to the stream generation unit 133. Then, the process proceeds to step S122.
  • step S122 the encoder 32 encodes the master HDR video using the HEVC method, generates the encoded data of the HDR video, supplies the encoded data to the stream generation unit 133, and the process proceeds to step S123.
  • the video encoding method is not limited to the HEVC method.
  • step S123 the encoder 35 encodes the master HDR ST, generates ST data in the SMPTE-TT format, supplies the ST data to the stream generation unit 133, and the process proceeds to step S124.
  • step S124 the conversion unit 33 converts the input master HDR data into STD data, and represents the correspondence relationship between the HDR data and the STD data (the RGB signal of the HDR data is input data, and the STD Information indicating a correspondence relationship between input data and outputRGBdata, where the RGB signal of the data is output data, is supplied to the conversion information generation unit 132.
  • step S124 the process proceeds from step S124 to step S125, and the conversion information generation unit 132 generates TMI as video and ST conversion information based on the information supplied from the conversion unit 33, and sends it to the stream generation unit 133. Then, the process proceeds to step S126.
  • step S126 the stream generation unit 133 encodes the TMI as the characteristic information from the characteristic information generation unit 131 and the TMI as the conversion information from the conversion information generation unit 132 as the SEI of the encoded data from the encoder 32. Inserted into the digitized data to generate a video stream.
  • the stream generation unit 133 supplies the ST data from the encoder 35 to the file generation unit 23 (FIG. 39) as an ST stream together with the video stream.
  • the stream generation unit 133 receives the TMI of the video (TMI applied to the video), the tone_map_id of the TMI, the TMI of the ST (TMI applied to the ST), and the tone_map_id of the TMI to the controller 21 ( 39), and the mode-i encoding process ends.
  • FIG. 49 is a flowchart illustrating an example of the mode-ii encoding process performed in step S113 of FIG.
  • step S131 the characteristic information generation unit 131 of the encoding processing unit 122 detects the luminance of the master HDR data, generates TMI as the characteristic information of video and ST, and supplies the TMI to the stream generation unit 133.
  • step S132 the conversion unit 33 converts the input master HDR data into STD data, supplies the STD video of the STD data to the encoder 32, and supplies STD ST to the encoder 35. .
  • the conversion unit 33 supplies information indicating the correspondence relationship between the HDR data and the STD data to the conversion information generation unit 132, and the process proceeds from step S132 to step S133.
  • step S133 the conversion information generation unit 132 generates TMI as video and ST conversion information based on the information supplied from the conversion unit 33, and supplies the TMI to the stream generation unit 133.
  • the process proceeds to S134.
  • step S134 the encoder 32 encodes the STD video from the conversion unit 33 using the HEVC method, generates encoded data of the STD video, and supplies the encoded data to the stream generation unit 133.
  • the video encoding method is not limited to the HEVC method.
  • step S135 the encoder 35 encodes the STD ST from the conversion unit 33, generates ST data in the SMPTE-TT format, and supplies the ST data to the stream generation unit 133.
  • step S136 the stream generation unit 133 uses the encoder 32 as the SEI of the encoded data, from the encoder 32, as TMI as characteristic information from the characteristic information generation unit 131 and TMI as conversion information from the conversion information generation unit 132. Is inserted into the encoded data to generate a video stream.
  • the stream generation unit 133 supplies the ST data from the encoder 35 to the file generation unit 23 (FIG. 39) together with the video stream as an ST stream.
  • the stream generation unit 133 receives the TMI of the video (TMI applied to the video), the tone_map_id of the TMI, the TMI of the ST (TMI applied to the ST), and the tone_map_id of the TMI to the controller 21 ( 39), and the mode-ii encoding process ends.
  • FIG. 50 is a flowchart illustrating an example of the header information generation process performed in step S114 of FIG.
  • step S141 the header information generation unit 121A of the controller 21 (FIG. 39) stores the video TMI (TMI applied to the video) supplied from the encoding processing unit 122 (the stream generation unit 133 (FIG. 46)). Generated tinf boxes (FIGS. 40, 41, and 45).
  • the header information generation unit 121A generates a tinf box storing the TMI of the ST (TMI applied to the ST) supplied from the encoding processing unit 122.
  • the header information generation unit 121A generates a tirf box (FIGS. 24, 40, and 45) that stores tone_mapping_info_id_ref representing the TMI tone_map_id of the video supplied from the encoding processing unit 122.
  • the header information generation unit 121A generates a tirf box storing tone_mapping_info_id_ref representing the tone_map_id of the TMI of ST supplied from the encoding processing unit 122, and the process proceeds from step S141 to step S142.
  • step S142 the header information generation unit 121A creates a moov box or moof box including a tinf box and a tirf box, and supplies the header information to the file generation unit 23 (FIG. 39) to generate header information.
  • the process ends.
  • the header information generation unit 121A includes a tirf box and a tinf box in the traf box of the video track as shown in FIG.
  • a moof box including a tirf box and a tinf box is generated in the moof box and the traf box of the ST track.
  • the header information generation unit 121A adds a tirf to the stbl box included in the trak box of the video track as shown in FIG.
  • a moov box including a tirf box and a tinf box is generated in a stbl box including a box and a tinf box and included in a trak box of the ST track.
  • FIG. 51 is a block diagram showing a second configuration example of the playback device 2 of FIG.
  • the playback device 2 includes a file acquisition unit 51, a separation unit 52, an operation input unit 53, a synthesis output unit 56, a controller 141, and a decryption processing unit 142.
  • the playback device 2 of FIG. 51 is common to the case of FIG. 33 in that it includes a file acquisition unit 51, a separation unit 52, an operation input unit 53, and a composite output unit 56.
  • the playback device 2 of FIG. 51 is different from the case of FIG. 33 in that a controller 141 and a decoding processing unit 142 are provided instead of the controller 54 and the decoding processing unit 55, respectively.
  • the controller 141 is composed of a CPU, ROM, RAM, and the like, and controls the overall operation of the playback device 2 by executing a predetermined program.
  • the controller 141 sends TMI (tone_mapping_info) stored as ToneMapInfo in the tinf box included in the moov box (FIG. 45) supplied from the separation unit 52 and tone_mapping_info_id_ref stored in the tirf box to the decoding processing unit 142.
  • TMI tone_mapping_info
  • the controller 141 supplies the decoding processing unit 142 with TMI stored as ToneMapInfo in the tinf box included in the moof box (FIG. 40) supplied from the separation unit 52 and tone_mapping_info_id_ref stored in the tirf box.
  • the decoding processing unit 142 includes a decoder 142A and a decoder 142B.
  • the decoder 142A obtains TMI stored as ToneMapInfo in the tinf box included in the video track supplied from the controller 141 as TMI of the video, and is supplied from the controller 141 from the TMI of the video. It functions as an acquisition unit that acquires TMI of tone_map_id represented by tone_mapping_info_id_ref stored in the tirf box included in the video track as TMI applied to the video.
  • the decoder 142A decodes the encoded data included in the video stream supplied from the separation unit 52 by the HEVC method.
  • the decoder 142A converts the HDR video or STD video obtained as a result of decoding into STD video or HDR video based on TMI as conversion information applied to the video, and outputs it to the synthesis output unit 56. Output.
  • the decoder 142A When outputting the HDR video, the decoder 142A outputs the TMI as the characteristic information applied to the video to the synthesis output unit 56 together with the HDR video.
  • the decoder 142B decodes the ST stream supplied from the separation unit 52.
  • the decoder 142B obtains TMI stored as ToneMapInfo in the tinf box included in the ST track supplied from the controller 141 as the TMI of the ST, and is supplied from the controller 141 from the TMI of the ST.
  • the tone_map_id TMI represented by tone_mapping_info_id_ref stored in the tirf box included in the ST track functions as an acquisition unit that acquires the TMI applied to the ST.
  • the decoder 142B converts the HDRSTST or STD ST obtained as a result of the decoding into STD ST or HDRTMST based on TMI as conversion information applied to the ST, and the combined output unit 56 Output to.
  • the decoder 142B When outputting the HDR-ST, the decoder 142B outputs the TMI as the characteristic information to be applied to the ST together with the HDR-ST to the composite output unit 56.
  • FIG. 52 is a flowchart for explaining an example of reproduction processing performed by the reproduction apparatus 2 of FIG.
  • step S151 the file acquisition unit 51 acquires the second MP4 file generated by the generation device 1 in FIG. 39 and supplies the second MP4 file to the separation unit 52.
  • the separation unit 52 reads the moov box and the moof box as header information from the second MP4 file from the file acquisition unit 51, and also reads the video stream and ST stream as actual data stored in the mdat box.
  • the separation unit 52 supplies a moov box and a moof box as header information to the controller 141, and supplies a video stream and an ST stream to the decoding processing unit 142.
  • the controller 141 supplies the decoding processing unit 142 with TMI stored as ToneMapInfo in the moov box or the tinf box included in the moof box supplied from the separation unit 52 and tone_mapping_info_id_ref stored in the tirf box.
  • step S151 the processing mode of the second MP4 file acquired by the file acquisition unit 51 is mode-i or mode, as in step S42 of FIG. Determine whether -ii.
  • step S152 When it is determined in step S152 that the processing mode is mode-i, the process proceeds to step S153, and the decoding processing unit 142 performs mode-i decoding processing.
  • step S152 when it determines with processing mode being mode-ii in step S152, it progresses to step S154 and the decoding process part 142 performs the decoding process of mode-ii.
  • step S153 or step S154 the reproduction process ends.
  • FIG. 53 is a flowchart illustrating an example of the mode-i decoding process performed in step S153 of FIG.
  • step S161 the decoder 142A obtains the TMI stored as ToneMapInfo in the tinf box included in the video track, supplied from the controller 141, as the video TMI.
  • the decoder 142B acquires the TMI stored as ToneMapInfo in the tinf box included in the ST track supplied from the controller 141 as the TMI of the ST, and the process proceeds to step S162.
  • steps S162 to S164 the same processing as in steps S62 to S64 of FIG. 35 is performed.
  • step S162 the decoder 142A decodes the encoded data included in the video stream from the separation unit 52, and generates an HDR video.
  • step S163 the decoder 142B decodes the ST stream of ST data in SMPTE-TT format from the separation unit 52 into HDRHST.
  • step S164 the controller 141 determines whether the monitor included in the display device 3 is an HDR monitor.
  • step S164 If it is determined in step S164 that the monitor included in the display device 3 is an HDR monitor, the process proceeds to step S165.
  • step S165 the decoder 142A applies the TMI of tone_map_id represented by tone_mapping_info_id_ref stored in the tirf box included in the video track, supplied from the controller 141, from the TMI of the video acquired in step S161 to the video. Get as TMI.
  • the decoder 142B applies the TMI of tone_map_id represented by tone_mapping_info_id_ref stored in the tirf box included in the ST track, supplied from the controller 141, from the TMI acquired in step S161 to the ST. Get as.
  • step S165 proceeds from step S165 to step S166.
  • steps S166 and S170 the same processes as in steps S66 and S70 of FIG. 35 are performed.
  • step S164 determines whether the monitor included in the display device 3 is an HDR monitor but an STD monitor. If it is determined in step S164 that the monitor included in the display device 3 is not an HDR monitor but an STD monitor, the process proceeds to step S167.
  • step S167 similarly to step S165, the decoder 142A includes tone_map_id represented by tone_mapping_info_id_ref stored in the tirf box included in the video track supplied from the controller 141 from the TMI of the video acquired in step S161. Get TMI as TMI applied to video.
  • the decoder 142B obtains the TMI of tone_map_id represented by tone_mapping_info_id_ref stored in the tirf box included in the ST track supplied from the controller 141 from the TMI of ST acquired in step S161. Get as TMI applied to ST.
  • steps S168 to S170 the same processes as steps S68 to S70 of FIG. 35 are performed.
  • FIG. 54 is a flowchart for explaining an example of the mode-ii decoding process performed in step S154 of FIG.
  • step S181 the decoders 142A and 55B obtain the video TMI and the ST TMI, respectively, in the same manner as in step S161 of FIG.
  • the decoder 142A obtains the TMI stored as ToneMapInfo in the tinf box included in the video track supplied from the controller 141 as the video TMI.
  • the decoder 142B obtains the TMI stored as ToneMapInfo in the tinf box included in the ST track supplied from the controller 141 as the ST TMI, and the process proceeds to step S182.
  • steps S182 through S184 the same processing as in steps S82 through S84 in FIG. 36 is performed.
  • step S182 the decoder 142A decodes the encoded data included in the video stream from the separation unit 52, and generates STD video.
  • step S183 the decoder 142B decodes the ST stream of ST data in the SMPTE-TT format from the separation unit 52 into STD ST.
  • step S184 the controller 141 determines whether the monitor which the display apparatus 3 has is an HDR monitor.
  • step S184 If it is determined in step S184 that the monitor included in the display device 3 is an HDR monitor, the process proceeds to step S185.
  • step S185 the decoder 142A applies the TMI of tone_map_id represented by tone_mapping_info_id_ref stored in the tirf box included in the video track supplied from the controller 141 from the TMI of the video acquired in step S181 to the video. Get as TMI.
  • the decoder 142B applies the TMI of tone_map_id represented by tone_mapping_info_id_ref stored in the tirf box included in the ST track, supplied from the controller 141, from the TMI acquired in step S181 to the ST. Get as.
  • steps S186 to S189 the same processes as those in steps S86 to S89 of FIG. 36 are performed.
  • the generation apparatus 1 of the second configuration example stores the video (stream) track and the ST (stream) track in the second MP4 file.
  • the TMI to be applied to that media is a tinf box stored as ToneMapInfo, and the TMI to be applied to the media in the TMI stored in the tinf box is designated HDR.
  • ToneMapInfo the TMI to be applied to the media in the TMI stored in the tinf box is designated HDR.
  • a tirf box in which tone_mapping_info_id_ref as specified information is stored is included.
  • the playback device 2 applies the TMI (tone_map_id) specified by tone_mapping_info_id_ref stored in the tirf box to the media from the TMI stored in the tinf box included in the track of the media. Can be acquired as TMI and used for media processing.
  • FIG. 55 is a block diagram illustrating a third configuration example of the generation device 1 of FIG.
  • the generation apparatus 1 includes a controller 21, an encoding processing unit 202, and a file generation unit 203.
  • the generation apparatus 1 in FIG. 55 includes an encoding processing unit 202 and a file generation unit 203 in place of the encoding processing unit 22 and the file generation unit 23, respectively. It is different from the case of.
  • the generation device 1 in FIG. 55 is different from the case in FIG. 20 in that the controller 21 has header information 201A instead of the header information generation unit 21A.
  • the master HDR data is input to the encoding processing unit 202.
  • the header information generation unit 201A includes a moof box including a tirf box (FIG. 24) in which tone_map_id supplied from the encoding processing unit 202 is stored as tone_mapping_info_id_ref, and a moov box including a tmpi box (TrackReferenceTypeBox whose reference_type is “tmpi”). Are generated as header information and supplied to the file generation unit 203.
  • the header information generation unit 201A generates, as header information, a tirf box that stores tone_map_id supplied from the encoding processing unit 202 as tone_mapping_info_id_ref and a moov box that includes a tmpi box, and supplies the header information to the file generation unit 203. .
  • the tmpi box will be described later.
  • the encoding processing unit 202 generates a video stream and an ST stream by encoding the master HDR data in the same manner as the encoding processing unit 22 in FIG. 20, and outputs it to the file generation unit 203.
  • the encoding processing unit 202 generates a TMI es (elementary stream) (hereinafter also referred to as a TMI stream) as HDR information applied to video or ST and outputs the generated TMI stream to the file generation unit 203.
  • a TMI es elementary stream
  • HDR information applied to video or ST
  • the encoding processing unit 202 supplies the TMI tone_map_id applied to the video and ST to the controller 21 (the header information generation unit 201A).
  • the file generation unit 203 stores an MP4 file storing the header information supplied from the controller 21 (header information generation unit 201A) and the video stream, ST stream, and TMI stream supplied from the encoding processing unit 202. Generate and output.
  • FIG. 56 is a diagram illustrating an example of an MP4 file (hereinafter also referred to as a third MP4 file) generated by the generation apparatus 1 of FIG.
  • the third MP4 file in FIG. 56 is a fragmented movie MP4 file having fragments, and the moov box has a trak box of video, ST, and TMI (tone map maps).
  • the MP4 file in FIG. 56 has a video track, an ST track, and a TMI track.
  • TMI track 55 generates, as a third MP4 file, an MP4 file that can be applied by referring to TMI included in a TMI track (hereinafter also referred to as a TMI track) from another track.
  • TMI track an MP4 file that can be applied by referring to TMI included in a TMI track (hereinafter also referred to as a TMI track) from another track.
  • the mdat box of the TMI track (tone map track) has a TMI sample (ToneMapSample) as actual data.
  • the trak box of media other than TMI in the moov box that is, the trak box of video or ST (subtitle) has a tref box (TrackReferenceBox) having a tmpi box.
  • the tref box can have a TrackReferenceTypeBox, but the tmpi box is a box newly defined as a kind of TrackReferenceTypeBox.
  • the TMI track of the TMI (HDR information) applied to the attention track is specified in the tmpi box of the ST track as the attention track.
  • the track_id (representing track_IDs []) of the TMI track as track designation information to be stored is stored.
  • the TMI track applied to the track of interest can be recognized by the track_id stored in the tmpi box of the ST track as the track of interest.
  • the tmpi box of the video track as the attention track has TMI tracks to be applied to the attention track as track designation information for designating a TMI track to be applied.
  • the TMI track applied to the target track can be recognized by the track_id stored in the tmpi box of the video track as the target track.
  • the tref box having the tmpi box can be omitted by predetermining the track_id of the track to be the TMI track.
  • the moof box of each track of the video and ST has a tirf box in which tone_mapping_info_id_ref representing tone_map_id is stored as HDR designation information designating TMI applied to the track. Has a box.
  • the TMI of the tone_mapping_info_id_ref stored in the tirf box of the TMI of the track_id stored in the tmpi box is applied to the track of interest.
  • TMI can be recognized as TMI.
  • the fragmentedMPmovie MP4 file has a moof box for each fragment, but the data of a fragment contains valid TMI of tone_map_id represented by tone_mapping_info_id_ref stored in the tirf box of the fragment's moof box. TMI applies.
  • multiple tracks can be stored in the third MP4 file as TMI tracks (tone map tracks).
  • TMI tracks tone map tracks
  • FIG. 56 two TMI tracks are stored.
  • the TMI track applied to video and the TMI track applied to ST may be the same TMI track or different TMI tracks. Good.
  • TMI tracks are stored in addition to video and ST tracks, as shown in FIG.
  • tone_mapping_info_id_ref representing tone_map_id of the TMI (TMI included in the TMI track_id stored in tmpi box B # 41) applied to the video is stored in the moof / traf box of the video track.
  • Stored tirf box B # 44 is stored.
  • the track_id stored in the trak / tref / tmpi box B # 41 of the video in the moov box is used for the video. Applicable TMI tracks can be recognized.
  • the TMI of tone_map_id represented by tone_mapping_info_id_ref stored in the moof / tarf / tirf box B # 44 of the video track that is the target track is the TMI that is applied to the target track. Can be recognized.
  • the tmpi box B # 42 in which the track_id of the TMI TMI track applied to the ST is stored in the trak / tref box of the ST track of the moov box.
  • tone_mapping_info_id_ref representing tone_map_id of TMI (TMI included in TMI track_id stored in tmpi box) applied to ST is stored in moof / traf box of ST track Box B # 43 is stored.
  • the ST_track_id stored in the trak / tref / tmpi box B # 42 of the ST of the moov box is used for the ST. Applicable TMI tracks can be recognized.
  • the TMI of tone_map_id indicated by tone_mapping_info_id_ref stored in the moof / tarf / tirf box B # 43 of the ST track that is the target track is the TMI that is applied to the target track. Can be recognized.
  • FIG. 57 is a diagram showing an example of the definition of TrackReferenceTypeBox as a tmpi box.
  • TrackreferenceTypeBox is used as a reference_type representing that the track_id of the TMI track is stored, “tmpi” is newly defined, and TrackReferenceTypeBox in which refernce_type is “tmpi” is the track_id of the TMI track. Used as a tmpi box to store
  • Tmpi box has (stores) track_IDs [] representing track_id.
  • Track_IDs [] is an array variable and can store multiple track_ids. Therefore, according to the tmpi box, a plurality of tracks can be designated as TMI tracks of TMI applied to the medium.
  • FIG. 58 is a diagram illustrating an example of syntax of a TMI sample (ToneMapSample) as actual data stored in an mdat box of a TMI track (tone map track) stored in the third MP4 file.
  • One sample of TMI can include zero or more sets of ToneMapInfoLength representing the length of ToneMapInfo representing TMI and ToneMapInfo.
  • one sample of TMI can include multiple sets of ToneMapInfoLength and ToneMapInfo.
  • Length sample_size indicating the length of the TMI sample does not exist in the TMI sample.
  • the size information of each sample described in the stsz box, the stz2 box, and the trun box is referred to.
  • ToneMapInfo for example, ToneMapInfo having the syntax shown in FIGS. 42 to 44 can be adopted.
  • FIG. 59 shows an example of the data structure of a TMI sample (ToneMapSample).
  • ToneMapInfoLength and ToneMapInfo can be repeatedly included in a TMI sample.
  • FIG. 60 is a diagram showing another example of the third MP4 file generated by the generation device 1 of FIG.
  • the third MP4 file in FIG. 60 is a non-fragmented movie MP4 file without fragments, and the moov box has video, ST, and (two) TMI (tone map es) trak boxes. ing.
  • the third MP4 file in FIG. 60 has a video track, an ST track, and a TMI track.
  • the video and ST tracks each have a tmpi box and a tirf box.
  • the mdat box includes a video sample, an ST sample, and a TMI sample (ToneMapSample).
  • track_IDs [] representing the track_id of the TMI track of the TMI applied to the video in the trak / tref box of the video track in the moov box (see FIG. Tmpi box B # 51 storing 57) is stored.
  • tone_mapping_info_id_ref representing TMI tone_map_id applied to the video is stored in the stbl box of the trak of the video track in the moov box.
  • the ST track also includes the tmpi box B # 53 and tirf box B # 54, just like the video track.
  • a tmpi box B # 53 storing track_IDs [] indicating the track_id of the TMI track applied to the video is stored.
  • a tirf box B # 54 in which tone_mapping_info_id_ref indicating TMI tone_map_id applied to the ST is stored.
  • the track of interest is tracked by the track_id stored in the trak / tref / tmpi box B # 53 of the ST of the moov box.
  • TMI tracks applied to ST tracks can be recognized.
  • the TMI of tone_map_id indicated by tone_mapping_info_id_ref stored in the tark / stbl / tirf box B # 54 of the ST track that is the target track in the TMI of the TMI track is the TMI that is applied to the target track. Can be recognized.
  • the TMI applied to the video can be recognized in the same way.
  • the TMI TMI track applied to the video and the TMI TMI track applied to the ST may be the same TMI track or different TMI tracks.
  • the TMI TMI track as the HDR information and the TMI TMI track to be applied to the target track of interest among the TMIs included in the TMI track are specified.
  • a third MP4 file is generated that contains track_IDs [] as a target track and a target track including tone_mapping_info_id_ref as HDR specification information that specifies TMI to be applied to the target track.
  • a video including TMI in m2ts format recorded on a Blu-ray (registered trademark) disc and an ST played with the video are separately added to the ST with a TMI applied to the ST.
  • the video when the video is encoded by the HEVC method, a video stream in which the video TMI is inserted is generated in the SEI. Therefore, in the third MP4 file, the video TMI is set in the SEI. There are TMI to be inserted and TMI of the TMI track.
  • which of the TMI inserted in the SEI and the TMI of the TMI track is used as the TMI applied to the video can be determined in advance, for example. And can be selected according to the user's operation.
  • the TMI of the TMI track among the TMI inserted in the SEI and the TMI of the TMI track is used as the TMI applied to the video. .
  • one sample which is an access unit to an MP4 file, can include a plurality of display screens of ST, but in the third MP4 file, one sample is included.
  • a TMI sample (ToneMapSample) is arranged (corresponding) according to the display time of the plurality of ST display screens included in one sample.
  • the TMI applied to the display screen can be switched (changed) for each of the plurality of ST display screens included in the sample.
  • FIG. 61 is a block diagram showing a configuration example of the encoding processing unit 202 in FIG.
  • 61 includes an encoder 32, a conversion unit 33, an encoder 35, a characteristic information generation unit 131, a conversion information generation unit 132, and a stream generation unit 211.
  • the encoding processing unit 202 in FIG. 61 is common to the encoding processing unit 122 in FIG. To do.
  • the encoding processing unit 202 in FIG. 61 is different from the encoding processing unit 122 in FIG. 46 in that a stream generation unit 211 is provided instead of the stream generation unit 133.
  • the stream generation unit 211 performs the same processing as the stream generation unit 36 in FIG.
  • the stream generation unit 211 supplies the video supplied from the characteristic information generation unit 131 and TMI tone_map_id as ST characteristic information to the controller 21 (FIG. 55).
  • the stream generation unit 211 supplies the controller 21 with the video supplied from the conversion information generation unit 132 and TMI tone_map_id as ST conversion information.
  • the stream generation unit 211 inserts the video TMI as SEI into the encoded video data from the encoder 32 to generate a video stream.
  • the stream generation unit 211 supplies the ST data from the encoder 35 to the file generation unit 203 in FIG. 55 together with the video stream as an ST stream.
  • the stream generation unit 211 performs the same processing as the stream generation unit 36 in FIG. 26, and also provides the video supplied from the characteristic information generation unit 131, TMI as ST characteristic information, and conversion. Using the video supplied from the information generator 132 and the TMI as ST conversion information, TMI streams (es (elementary stream)) of those TMIs are generated and supplied to the file generator 203 in FIG. .
  • the stream generation unit 211 can directly convert the encoded data into a video stream without inserting the video TMI into the encoded video data from the encoder 32.
  • FIG. 62 is a flowchart for explaining an example of file generation processing performed by the generation device 1 of FIG.
  • step S201 the controller 21 of the generation apparatus 1 determines whether or not the processing mode is mode-i, as in step S1 of FIG.
  • step S1 When it is determined in step S1 that the processing mode is mode-i, the process proceeds to step S202, and the encoding processing unit 202 performs the encoding process in mode-i.
  • the video stream, ST stream, and TMI stream generated by the encoding process in mode-i are supplied from the encoding processing unit 202 to the file generation unit 203.
  • step S201 when it determines with processing mode being mode-ii in step S201, it progresses to step S203 and the encoding process part 202 performs the encoding process by mode-ii.
  • the video stream, ST stream, and TMI stream generated by the encoding process in mode-ii are supplied from the encoding processing unit 202 to the file generation unit 203.
  • step S202 or S203 the process proceeds to step S204, and the header information generation unit 201A performs a header information generation process.
  • the header information generated by the header information generation process is supplied from the header information generation unit 201A to the file generation unit 203, and the process proceeds to step S205.
  • step S205 the file generation unit 203 stores the video stream, the ST stream, and the TMI stream from the encoding processing unit 202, and the header information from the header information generation unit 201A.
  • FIG. 56 or FIG. The third MP4 file is generated and output, and the file generation process ends.
  • FIG. 63 is a flowchart illustrating an example of the mode-i encoding process performed in step S202 of FIG.
  • steps S211 to S215 the encoding processing unit 202 (FIG. 61) performs the same processing as in steps S121 to S125 of FIG.
  • step S215 the process proceeds to step S216.
  • the stream generation unit 211 receives the TMI as the characteristic information supplied from the characteristic information generation unit 131 and the conversion information generation unit 132 as the SEI of the encoded data.
  • the supplied TMI as the conversion information is inserted into the encoded data from the encoder 32 to generate a video stream.
  • the stream generation unit 211 uses the ST data from the encoder 35 as an ST stream, and the process proceeds from step S216 to step S217.
  • step S217 the stream generation unit 211 generates a TMI stream of the TMI from the video TMI and the ST TMI, and supplies the TMI stream to the file generation unit 203 (FIG. 55) together with the video stream and the ST stream. To do.
  • the stream generating unit 211 supplies the TMI tone_map_id of the video and the TMI tone_map_id of the ST to the controller 21 (FIG. 55), and the mode-i encoding process ends.
  • FIG. 64 is a flowchart illustrating an example of the mode-ii encoding process performed in step S203 of FIG.
  • steps S221 to S225 the encoding processing unit 202 (FIG. 61) performs the same processes as steps S131 to S135 of FIG.
  • steps S226 and S227 the same processing as in steps S216 and S217 in FIG. 63 is performed, and the mode-ii encoding processing ends.
  • FIG. 65 is a flowchart illustrating an example of the header information generation process performed in step S204 of FIG.
  • step S231 the header information generation unit 201A of the controller 21 (FIG. 55) tone_map_id of the video TMI (TMI applied to video) supplied from the encoding processing unit 202 (stream generation unit 211 (FIG. 61)).
  • Tirf box (FIG. 24, FIG. 56, FIG. 60) storing tone_mapping_info_id_ref representing the is generated.
  • the header information generation unit 201A generates a tirf box storing tone_mapping_info_id_ref representing tone_map_id of ST TMI (TMI applied to ST) supplied from the encoding processing unit 202.
  • the header information generation unit 201A generates a tmpi box (FIG. 56, FIG. 57, FIG. 60) storing track_IDs [] representing the track_id of the track of the TMI TMI stream applied to the video.
  • the header information generation unit 201A generates a tmpi box storing track_IDs [] representing the track_id of the track of the TMI stream applied to the ST, and the process proceeds from step S231 to step S232.
  • the header information generation unit 201A creates a moov box including a tmpi box and a moof box including a tirf box, or creates a moov box including a tmpi box and a tirf box as header information.
  • the file information is supplied to the file generation unit 203 (FIG. 55), and the header information generation process ends.
  • the header information generation unit 201A sets the tmpi box in the trak / tref box of each of the video and ST tracks as shown in FIG. Generate a moov box containing.
  • the header information generation unit 201A generates a moof box in which a tirf box is included in each traf box of a video and ST track as shown in FIG.
  • the header information generation unit 201A displays the trak / tref box of each of the video and ST tracks as shown in FIG. A moov box including a tirf box is generated in each trak box / stbl box of the video and ST tracks.
  • FIG. 66 is a block diagram showing a third configuration example of the playback device 2 of FIG.
  • the playback device 2 includes a file acquisition unit 51, an operation input unit 53, a synthesis output unit 56, a separation unit 231, a controller 232, and a decoding processing unit 233.
  • the playback device 2 of FIG. 66 is common to the case of FIG. 33 in that the file acquisition unit 51, the operation input unit 53, and the composite output unit 56 are included.
  • the playback device 2 in FIG. 66 is provided with a separation unit 231, a controller 232, and a decoding processing unit 233 instead of the separation unit 52, the controller 54, and the decoding processing unit 55. This is different from the case of FIG.
  • the separation unit 231 separates (acquires) the moov box and the moof box as header information from the third MP4 file from the file acquisition unit 51 and supplies the same to the controller 232 in the same manner as the separation unit 52 in FIG.
  • the separation unit 231 separates (acquires) the video stream, ST stream, and TMI stream as actual data stored in the mdat box from the third MP4 file from the file acquisition unit 51, and performs a decoding processing unit 233.
  • the controller 232 includes a CPU, ROM, RAM, and the like.
  • the controller 232 executes a predetermined program and controls the overall operation of the playback device 2.
  • the controller 232 may use track_IDs [] (FIGS. 56, 57, and 60) stored in a tmpi box included in the moov box supplied from the separation unit 231 or tone_mapping_info_id_ref (FIG. 24, FIG. 24) stored in the tirf box. 56 and 60) are supplied to the decoding processing unit 233.
  • the controller 232 supplies tone_mapping_info_id_ref stored in the tirf box included in the moof box supplied from the separation unit 231 to the decoding processing unit 233.
  • the decoding processing unit 233 includes a decoder 233A and a decoder 233B.
  • the decoder 233A includes the track_IDs [stored in the tmpi box of the video track supplied from the controller 232 in the streams (here, the video stream, the ST stream, and the TMI stream) supplied from the separation unit 231. ] Functions as an acquisition unit that acquires the TMI included in the TMI stream of the TMI track of the track_id represented by] as the TMI of the video.
  • the decoder 233A decodes the encoded data included in the video stream supplied from the separation unit 231 by the HEVC method.
  • the decoder 233A acquires the TMI of tone_map_id represented by tone_mapping_info_id_ref stored in the tirf box of the video track supplied from the controller 232 as the TMI to be applied to the video from the video TMI.
  • the decoder 233A converts the HDR video or STD video obtained as a result of decoding into STD video or HDR video based on TMI as conversion information applied to the video, and outputs it to the synthesis output unit 56. Output.
  • the decoder 233A When outputting the HDR video, the decoder 233A outputs the TMI as the characteristic information applied to the video to the synthesis output unit 56 together with the HDR video.
  • the decoder 233B decodes the ST stream supplied from the separation unit 231.
  • the decoder 233B is stored in the tmpi box of the ST track supplied from the controller 232 in the streams (here, the video stream, the ST stream, and the TMI stream) supplied from the separation unit 231. It functions as an acquisition unit that acquires TMI included in the TMI stream of the TMI track of track_id represented by track_IDs [] as ST TMI.
  • the decoder 233B acquires the TMI of tone_map_id represented by tone_mapping_info_id_ref stored in the tirf box of the ST track supplied from the controller 232 as the TMI to be applied to the ST from the TMI of the ST.
  • the decoder 233B converts the HDRSTST or STD ST obtained as a result of the decoding into STD ST or HDRTMST based on TMI as conversion information applied to the ST, and outputs the combined output unit 56 Output to.
  • the decoder 233B When outputting the HDR-ST, the decoder 233B outputs the TMI as characteristic information applied to the ST together with the HDR-ST to the composite output unit 56.
  • FIG. 67 is a flowchart for explaining an example of reproduction processing performed by the reproduction apparatus 2 of FIG.
  • step S251 the file acquisition unit 51 acquires the third MP4 file generated by the generation device 1 and supplies the third MP4 file to the separation unit 231.
  • the separation unit 231 reads the moov box and the moof box as header information from the MP4 file from the file acquisition unit 51, and also reads the video stream, ST stream, and TMI stream as actual data stored in the mdat box .
  • the separation unit 231 supplies a moov box and a moof box as header information to the controller 232, and supplies a video stream, an ST stream, and a TMI stream to the decoding processing unit 233.
  • the controller 232 supplies track_IDs [] stored in the tmpi box included in the moov box supplied from the separation unit 231 and tone_mapping_info_id_ref stored in the tirf box to the decoding processing unit 233. Further, the controller 232 supplies tone_mapping_info_id_ref stored in the tirf box included in the moof box supplied from the separation unit 231 to the decoding processing unit 233.
  • step S251 the controller 232 determines whether the processing mode of the third MP4 file acquired by the file acquisition unit 51 is mode-i or mode-ii in FIG. The determination is made in the same manner as in step S42.
  • step S252 When it is determined in step S252 that the processing mode is mode-i, the process proceeds to step S253, and the decoding processing unit 233 performs mode-i decoding processing.
  • step S252 when it is determined in step S252 that the processing mode is mode-ii, the process proceeds to step S254, and the decoding processing unit 233 performs the decoding process of mode-ii.
  • step S253 or step S254 the reproduction process ends.
  • FIG. 68 is a flowchart illustrating an example of the mode-i decoding process performed in step S253 of FIG.
  • step S261 the decoder 233A acquires the TMI track of track_id represented by track_IDs [] stored in the tmpi box of the video track supplied from the controller 232 from the stream supplied from the separation unit 231.
  • the TMI included in the TMI stream is acquired as the video TMI.
  • the decoder 233B acquires the TMI track of track_id represented by track_IDs [] stored in the tmpi box of the ST track supplied from the controller 232 from the stream supplied from the separation unit 231, and The TMI included in the stream is acquired as the TMI of the ST.
  • step S261 the process proceeds from step S261 to step S262, and the decoder 233A decodes the encoded data included in the video stream from the separation unit 231 by the HEVC method to generate an HDR video, and the process proceeds to step S263. move on.
  • the video decoding (encoding) method is not limited to the HEVC method.
  • step S263 the decoder 233B decodes the ST stream from the demultiplexing unit 231, that is, the ST data stream in the SMPTE-TT format, for example, to HDR ST, and the process proceeds to step S264.
  • step S264 the controller 232 determines whether the monitor included in the display device 3 is an HDR monitor, as in step S64 of FIG.
  • step S264 If it is determined in step S264 that the monitor included in the display device 3 is an HDR monitor, the process proceeds to step S265.
  • step S265 the decoder 233A selects the TMI of tone_map_id represented by tone_mapping_info_id_ref stored in the tirf box of the video track supplied from the controller 232 from the TMI of the video acquired in step S261 (tone_mapping_info_id_ref as HDR designation information). Is obtained as the TMI to be applied to the video.
  • the decoder 233B supplies the TMI of tone_map_id represented by tone_mapping_info_id_ref stored in the tirf box of the ST track supplied from the controller 232 from the TMI acquired in step S261 (tone_mapping_info_id_ref as HDR specification information is specified) To obtain the TMI to be applied to the ST.
  • steps S266 and S270 the same processes as in steps S66 and S70 of FIG. 35 are performed.
  • step S264 if it is determined in step S264 that the monitor included in the display device 3 is not an HDR monitor but an STD monitor, the process proceeds to step S267.
  • step S267 the decoders 233A and 233B acquire the TMI applied to the video and the TMI applied to the ST, respectively, in the same manner as in step S265.
  • steps S267 to step S268 the same processes as steps S68 to S70 of FIG. 35 are performed.
  • FIG. 69 is a flowchart illustrating an example of the mode-ii decoding process performed in step S254 of FIG.
  • step S281 the decoders 233A and 233B acquire TMI as in step S261 of FIG.
  • the decoder 233A acquires the TMI track of track_id represented by track_IDs [] stored in the tmpi box of the video track supplied from the controller 232 from the stream supplied from the separation unit 231. TMI included in the stream is acquired as video TMI.
  • the decoder 233B acquires the TMI track of track_id represented by track_IDs [] stored in the tmpi box of the ST track supplied from the controller 232 from the stream supplied from the separation unit 231, and The TMI included in the stream is acquired as the TMI of the ST.
  • step S281 the process proceeds from step S281 to step S282, and the same processes as steps S82 to S84 in FIG. 36 are performed in steps S282 to S284, respectively.
  • step S282 the decoder 233A decodes the encoded data included in the video stream from the separation unit 231 and generates STD video.
  • step S283 the decoder 233B decodes the ST stream of ST data in the SMPTE-TT format from the separation unit 231 into STD ST.
  • step S284 the controller 232 determines whether the monitor included in the display device 3 is an HDR monitor.
  • step S284 If it is determined in step S284 that the monitor included in the display device 3 is an HDR monitor, the process proceeds to step S285.
  • step S285 the decoder 233A applies TMI of tone_map_id represented by tone_mapping_info_id_ref stored in the tirf box of the video track supplied from the controller 232 from the TMI of the video acquired in step S281 to the video. Get as.
  • the decoder 233B acquires the TMI of tone_map_id represented by tone_mapping_info_id_ref stored in the tirf box of the ST track supplied from the controller 232 from the TMI acquired in step S281 as the TMI applied to the ST. To do.
  • steps S286 to S289 the same processes as those in steps S86 to S89 of FIG. 36 are performed.
  • the generation apparatus 1 of the third configuration example uses the TMI track, which is the TMI (stream) track, in addition to the video (stream) track and the ST (stream) track. 3 MP4 file.
  • Each media track includes a tmpi box that stores track_IDs [] representing track_id as track designation information that designates a TMI track of TMI to be applied to that track, and the TMI of the TMI track.
  • the tirf box storing tone_mapping_info_id_ref as HDR designation information for designating TMI to be applied to the media is included.
  • the playback device 2 uses tone_mapping_info_id_ref stored in the tirf box from the TMI of the TMI track (track_id) specified by the track_IDs [] stored in the tmpi box included in the track of the medium.
  • TMI (tone_map_id) specified by can be acquired as TMI to be applied to media and used for media processing.
  • FIG. 70 is a block diagram illustrating a fourth configuration example of the generation device 1 of FIG.
  • the generation apparatus 1 includes a controller 21, a file generation unit 23, and an encoding processing unit 302.
  • the generation apparatus 1 in FIG. 70 has the controller 21 and the file generation unit 23 in common with the case of FIG. 20, and an encoding processing unit 302 is provided instead of the encoding processing unit 22. This is different from the case of FIG.
  • the generation apparatus 1 in FIG. 70 is different from the case in FIG. 20 in that the controller 21 includes a header information generation unit 301A instead of the header information generation unit 21A.
  • the master HDR data is input to the encoding processing unit 302.
  • the header information generation unit 301 ⁇ / b> A generates the MP4 file moov generated by the file generation unit 23 and the necessary moof as header information and supplies the header information to the file generation unit 23.
  • the encoding processing unit 302 generates a video stream and an ST stream by encoding the master HDR data in the same manner as the encoding processing unit 22 in FIG. 20, and outputs it to the file generation unit 23.
  • an HDR storage element is newly defined as an XML element for storing TMI as HDR information, and the encoding processing unit 302 can obtain the ST as a result of encoding of the ST.
  • An ST stream is generated by including, in the ST data in SMPTE-TT format, an HDR storage element that stores TMI as HDR information as an XML element.
  • the ST data in the SMPTE-TT format as the ST stream generated in the encoding processing unit 302 includes the HDR storage element for storing the TMI as the HDR information
  • the SMPTE-TT format ST With only ST data it is possible to display HDRHST using TMI as HDR information.
  • an HDR storage element that stores TMI as HDR information is provided. Since it is included, it is possible to display HDR ST or the like using TMI as HDR information only with the new TT data.
  • the new TT data is provided by being stored in an MP4 file.
  • the new TT data is stored in the MP4 file, for example, an IP packet or any other container. It can be provided by storing it in a format file or data.
  • the new TT data is provided alone or multiplexed with other data such as video, it is possible to perform display such as HDRTMST using TMI as HDR information.
  • the new TT data it is possible to promote the introduction of TMI to ST data in SMPTE-TT format and increase the chances for users to enjoy HDR ST.
  • 71 is a block diagram illustrating a configuration example of the encoding processing unit 302 in FIG.
  • portions corresponding to the encoding processing unit 22 in FIG. 26 are denoted by the same reference numerals, and description thereof will be omitted below as appropriate.
  • the encoding processing unit 302 includes a characteristic information generation unit 31, an encoder 32, a conversion unit 33, a conversion information generation unit 34, an encoder 35, and a stream generation unit 311.
  • the encoding processing unit 302 is common to the encoding processing unit 22 of FIG. 26 in that it includes the characteristic information generation unit 31, the encoder 32, the conversion unit 33, the conversion information generation unit 34, and the encoder 35.
  • the encoding processing unit 302 is different from the encoding processing unit 22 in FIG. 26 in that a stream generation unit 311 is provided instead of the stream generation unit 36.
  • the stream generation unit 311 inserts the video TMI from each of the characteristic information generation unit 31 and the conversion information generation unit 34 into the encoded video data from the encoder 32 as SEI, and generates a video stream. To the file generation unit 23 (FIG. 70).
  • the stream generation unit 311 generates an HDR storage element that stores the TMI of the ST from each of the characteristic information generation unit 31 and the conversion information generation unit 34.
  • the stream generation unit 311 generates new TT data by inserting an HDR storage element or the like into the ST data in the SMPTE-TT format from the encoder 35, and generates the new TT data stream (ST stream). To the file generation unit 23.
  • the characteristic information generation unit 31 can also generate TMI as characteristic information separately for each of the HDR video and HDR ST, similarly to the characteristic information generation unit 131 of FIG.
  • the TMI is generated as the characteristic information of the HDR video.
  • the TMI is displayed as the characteristic information of the HDR video displayed simultaneously with the HDR-ST, and the characteristic information of the ST (HDR-ST). Can be adopted as TMI.
  • the conversion information generation unit 34 can also generate TMI as conversion information separately for each of the HDR video and HDR ST, similarly to the conversion information generation unit 132 of FIG. 46.
  • TMI is generated as conversion information of the HDR video.
  • HDR ST TMI as conversion information of the HDR video displayed simultaneously with the HDR ST is converted into conversion information of ST (HDR ST). Can be adopted as TMI.
  • FIG. 72 is a diagram showing an example of the HDR storage element.
  • the HDR storage element includes a ToneMap element that stores TMI as conversion information and an HdrInfo element that stores TMI as characteristic information.
  • FIG. 72A, FIG. 72B, and FIG. 72C show examples of the ToneMap element, and FIG. 72D shows an example of the HdrInfo element.
  • the ToneMap element in FIG. 72A is TMI in FIG. 7 when tone_map_id is 0, the ToneMap element in B in FIG. 72 is TMI in FIG. 7 when tone_map_id is 2, and the ToneMap element in C in FIG. , Corresponding to TMI in FIG. 7 when tone_map_id is 3, respectively.
  • the HdrInfo element of D in FIG. 72 corresponds to the TMI in FIG. 7 when tone_map_id is 4.
  • ToneMap element and the HdrInfo element (stored in TMI) in FIG. 72 are identified by xml: id as identification information.
  • ToneMap element and the HdrInfo element can be arranged (described) in, for example, tt, head, body, region, div, p, span, or set elements as predetermined XML elements.
  • FIG. 73 is a diagram illustrating an example of the definition of the toneMapRef attribute and the hdrInfoRef attribute.
  • toneMapRef attribute is a specified attribute newly defined under a predetermined name space (for example, a name space hdr described later) as an attribute for specifying a ToneMap element in which TMI to be applied to ST is stored. .
  • the TMI stored in the ToneMap element specified by the toneMapRef attribute is acquired and used as the TMI applied to the ST described in the element having the toneMapRef attribute.
  • the hdrInfoRef attribute is a specified attribute newly defined under a predetermined namespace (for example, a namespace hdr described later) as an attribute for specifying an HdrInfo element in which a TMI to be applied to the ST is stored. .
  • the TMI stored in the HdrInfo element specified by the hdrInfoRef attribute is acquired and used as the TMI applied to the ST described in the element having the hdrInfoRef attribute.
  • the toneMapRef attribute and the hdrInfoRef attribute can be described in, for example, a body, div, p, region, span, or set element as a predetermined element of XML.
  • FIG. 74 is a diagram showing a first example of new TT data.
  • the description n1 defines a namespace hdr related to TMI as HDR information.
  • ToneMap elements of the descriptions n2 and n3 correspond to the ToneMap elements of B in FIG. 72 and C in FIG. 72, respectively.
  • ToneMap elements of the descriptions n2 and n3 in FIG. 74 are omitted.
  • the ToneMap elements of the descriptions n2 and n3 are arranged in the body element, but can be arranged in other positions.
  • ToneMap element of description n2 or n3 and the description n4 or n5 of p element having toneMapRef attribute specifying the ToneMap element are described in the same file, but are described in different files. be able to.
  • FIG. 75 is a diagram showing a second example of new TT data.
  • the name space hdr related to TMI as the HDR information is defined as in the description n1 in FIG.
  • the descriptions n12 and n13 are HdrInfo elements.
  • HdrInfo elements in the descriptions n12 and n13 both correspond to the HdrInfo element in D of FIG.
  • the HdrInfo elements of the descriptions n12 and n13 are arranged in the body element, but can be arranged in other positions.
  • the HdrInfo element of description n12 or n13 and the description n14 or n15 p element having the hdrInfoRef attribute specifying the HdrInfo element are described in the same file, but are described in different files. be able to.
  • toneMapRef attribute and the hdrInfoRef attribute are specified in the p element. However, in one element, both the toneMapRef attribute and the hdrInfoRef attribute are specified. Can do.
  • FIG. 76 is a diagram showing a third example of new TT data.
  • the ToneMap element storing the TMI to be applied to the ST is specified by the toneMapRef attribute.
  • the third example of the new TT data in FIG. is specified without using the toneMapRef attribute.
  • the TMI applied to the ST is stored by placing the ToneMap element storing the TMI applied to the ST in the element where the ST is displayed.
  • the ToneMap element As the ToneMap element, the ToneMap element arranged in the element where the ST is displayed is specified.
  • the name space hdr related to TMI as HDR information is defined as in the description n1 in FIG.
  • the ToneMap element of the description n23 that is the same as the description n2 of FIG. 74 is arranged in the div element of the description n22.
  • the p element of the description n24 in which the text “this subtitle references ToneMap whose identifiers are A” is displayed is arranged.
  • the TMI stored in the ToneMap element of the description n23 arranged in the div element of the description n22 is acquired, and the description n24 Used as TMI to apply to the text "this" subtitle “references” ToneMap "whose" identifiers "are” A "as ST described in p element.
  • the ToneMap element of the description n26 which is the same as the description n3 of FIG. 74 is arranged in the div element of the description n25.
  • FIG. 77 is a diagram showing a fourth example of new TT data.
  • the HdrInfo element storing the TMI to be applied to the ST is designated by the hdrInfoRef attribute.
  • the fourth example of the new TT data in FIG. The HdrInfo element storing the TMI applied to the ST is specified without using the hdrInfoRef attribute.
  • the HdrInfo element storing the TMI to be applied to the ST is arranged in the element in which the ST is displayed.
  • the HdrInfo element arranged in the element in which the ST is displayed is designated.
  • a name space hdr related to TMI as HDR information is defined as in the description n1 in FIG.
  • the p element of the description n34 in which the text “this subtitle references dr HdrInfo whose identifiers are AA” is displayed is arranged.
  • the TMI stored in the HdrInfo element of the description n33 arranged in the div element of the description n32 is obtained, and the description n34 Used as TMI applied to the text "this" subtitle “references” HdrInfo "whose" identifiers "are” AA "as ST described in the p element.
  • the HdrInfo element of description n36 that is the same as description n13 of FIG. 75 is arranged in the div element of description n35.
  • the p element of the description n37 in which the text “this subtitle references dr HdrInfo whose identifiers are BB” is displayed is arranged.
  • FIG. 78 is a flowchart illustrating an example of a file generation process performed by the generation device 1 of FIG.
  • step S301 the controller 21 of the generation apparatus 1 determines whether or not the processing mode is mode-i as in step S1 of FIG.
  • step S301 When it is determined in step S301 that the processing mode is mode-i, the process proceeds to step S302, and the encoding processing unit 302 performs the encoding process in mode-i.
  • the video stream and the ST stream (es) generated by the encoding process in mode-i are supplied from the encoding processing unit 302 to the file generating unit 23.
  • step S301 when it determines with processing mode being mode-ii in step S301, it progresses to step S303 and the encoding process part 302 performs the encoding process in mode-ii.
  • the video stream and the ST stream (es) generated by the encoding process in mode-ii are supplied from the encoding processing unit 302 to the file generating unit 23.
  • step S302 or S303 the process proceeds to step S304, and the header information generation unit 301A performs a header information generation process.
  • the moov as the header information generated by the header information generation process and the necessary moof are supplied from the header information generation unit 301A to the file generation unit 23, and the process proceeds to step S305.
  • step S305 the file generation unit 23 generates and outputs an MP4 file storing the video stream from the encoding processing unit 302, the ST stream, and the header information from the header information generation unit 301A, and generates the file. The process ends.
  • FIG. 79 is a flowchart illustrating an example of mode-i encoding processing performed in step S302 of FIG.
  • steps S311 to S315 the same processing as in steps S11 to S15 of FIG. 30 is performed.
  • step S316 the stream generation unit 311 of the encoding processing unit 302 (FIG. 71) generates video TMI as characteristic information supplied from the characteristic information generation unit 31 and conversion information generation as SEI of the encoded data.
  • the video TMI as the conversion information supplied from the unit 34 is inserted into the encoded data supplied from the encoder 32 to generate a video stream, and the process proceeds to step S317.
  • step S317 the stream generation unit 311 stores the HdrInfo element storing the ST TMI as the characteristic information supplied from the characteristic information generation unit 31, and the ST TMI as the conversion information supplied from the conversion information generation unit 34. Generate ToneMap element that stores.
  • the stream generation unit 311 inserts the HdrInfo element, ToneMap element, and the necessary toneMapRef attribute and hdrInfoRef attribute into the ST data in the SMPTE-TT format from the encoder 35, so that the new TT data Is generated.
  • the stream generation unit 311 supplies the ST stream, which is a stream of new TT data, together with the video stream to the file generation unit 23 (FIG. 70), and the mode-i encoding process ends (returns). .
  • FIG. 80 is a flowchart illustrating an example of the mode-ii encoding process performed in step S303 of FIG.
  • steps S321 to S325 the same processing as in steps S21 to S25 of FIG. 31 is performed.
  • steps S326 and S327 the same processing as in steps S316 and S317 in FIG. 79 is performed.
  • FIG. 81 is a block diagram showing a fourth configuration example of the playback apparatus 2 of FIG.
  • the playback device 2 includes a file acquisition unit 51, a separation unit 52, an operation input unit 53, a composition output unit 56, a controller 321, and a decryption processing unit 322.
  • the playback device 2 of FIG. 81 is common to the case of FIG. 33 in that it includes a file acquisition unit 51, a separation unit 52, an operation input unit 53, and a composite output unit 56.
  • the playback device 2 of FIG. 81 is different from the case of FIG. 33 in that a controller 321 and a decoding processing unit 322 are provided instead of the controller 54 and the decoding processing unit 55, respectively.
  • the controller 321 includes a CPU, a ROM, a RAM, and the like.
  • the controller 321 executes a predetermined program and controls the overall operation of the playback device 2.
  • controller 321 controls the decoding processing unit 322 according to the moov box or moof box supplied from the separation unit 52.
  • the decoding processing unit 322 includes a decoder 322A and a decoder 322B.
  • the decoder 322A acquires TMI (tone_mapping_info) as characteristic information and conversion information from the SEI of the video stream supplied from the separation unit 52 as TMI applied to the video.
  • TMI tone_mapping_info
  • the decoder 322A decodes the encoded data included in the video stream supplied from the separation unit 52 by the HEVC method.
  • the decoder 322A converts the HDR video or STD video obtained as a result of decoding into STD video or HDR video based on TMI as conversion information applied to the video, and outputs it to the synthesis output unit 56. Output.
  • the decoder 322A When outputting the HDR video, the decoder 322A outputs TMI as characteristic information applied to the video to the synthesis output unit 56 together with the HDR video.
  • the decoder 322B decodes the ST stream supplied from the separation unit 52.
  • the decoder 322B also includes a ToneMap element and an HdrInfo element included in the ST stream (if the ToneMap element and the HDRInfo element are specified by the toneMapRef attribute and the hdrInfoRef attribute, the decoder 322B is specified by the oneMapRef attribute and the hdrInfoRef attribute.
  • the TMI stored in the ToneMap element or the HdrInfo element functions as an acquisition unit that acquires the TMI applied to the ST.
  • the decoder 322B converts the HDR ST or STD ST obtained as a result of decoding into STD ST or HDR ST based on TMI as conversion information applied to the ST, and outputs it to the synthesis output unit 56. Output.
  • the decoder 322B When outputting the HDR-ST, the decoder 322B outputs TMI as characteristic information applied to the ST to the composite output unit 56 together with the HDR-ST.
  • FIG. 82 is a flowchart for explaining an example of reproduction processing performed by the reproduction apparatus 2 of FIG.
  • step S331 the file acquisition unit 51 acquires the MP4 file generated by the generation device 1 and supplies the MP4 file to the separation unit 52.
  • the separation unit 52 reads the moov box and moof box as header information from the MP4 file from the file acquisition unit 51, and also reads the video stream and ST stream as actual data stored in the mdat box.
  • the separation unit 52 supplies a moov box and a moof box as header information to the controller 321 and also supplies a video stream and an ST stream to the decoding processing unit 322.
  • step S331 the controller 321 determines whether the processing mode of the MP4 file acquired by the file acquisition unit 51 is mode-i or mode-ii, and step S42 of FIG. Determine in the same way.
  • step S332 When it is determined in step S332 that the processing mode is mode-i, the process proceeds to step S333, and the decoding processing unit 322 performs the decoding process of mode-i.
  • step S332 when it determines with processing mode being mode-ii in step S332, it progresses to step S334 and the decoding process part 322 performs the decoding process of mode-ii.
  • step S333 After the decoding process is performed in step S333 or step S334, the reproduction process ends.
  • FIG. 83 is a flowchart illustrating an example of the mode-i decoding process performed in step S333 of FIG.
  • step S341 the decoder 322A obtains TMI as characteristic information and conversion information from the SEI of the video stream supplied from the separation unit 52.
  • step S341 the process proceeds from step S341 to step S342, and the decoder 322A decodes the encoded data included in the video stream from the separation unit 52 by the HEVC method to generate an HDR video, and the process proceeds to step S343. move on.
  • the video decoding (encoding) method is not limited to the HEVC method.
  • step S343 the decoder 322B acquires the ToneMap element included in the ST stream (new TT data) supplied from the separation unit 52 and the TMI stored in the HdrInfo element, and the process proceeds to step S344.
  • step S344 the decoder 322B decodes the ST stream supplied from the separation unit 52 into HDR ST, and the process proceeds to step S345.
  • step S345 the controller 321 determines whether or not the monitor included in the display device 3 is an HDR monitor, as in step S64 of FIG.
  • step S345 If it is determined in step S345 that the monitor included in the display device 3 is an HDR monitor, the process proceeds to step S346.
  • step S346 the decoder 322A acquires the TMI applied to the video from the TMI acquired in step S341.
  • a method for acquiring the TMI applied to the video stored in the MP4 file for example, the method described in the first configuration example of the generation device 1 and the playback device 2 can be employed.
  • the decoder 322B specifies the TMI (toneMapRef attribute or hdrInfoRef attribute, if the ToneMap element or HDRInfoRef attribute is specified by the oneMapRef attribute or hdrInfoRef attribute from the TMI acquired in step S343.
  • the TMI stored in the ToneMap element or HdrInfo element.
  • steps S347 and S351 the same processes as those in steps S66 and S70 of FIG. 35 are performed.
  • step S345 determines whether the monitor included in the display device 3 is an HDR monitor but an STD monitor. If it is determined in step S345 that the monitor included in the display device 3 is not an HDR monitor but an STD monitor, the process proceeds to step S348.
  • step S348 the decoders 322A and 322B acquire the TMI to be applied to the video and ST, as in step S346.
  • steps S349 to S351 processing similar to that in steps S68 to S69 in FIG. 35 is performed.
  • FIG. 84 is a flowchart illustrating an example of the mode-ii decoding process performed in step S334 of FIG.
  • step S361 the decoder 322A acquires TMI as characteristic information and conversion information from the SEI of the video stream supplied from the separation unit 52, as in step S341 in FIG.
  • step S361 the process proceeds from step S361 to step S362, and the decoder 322A decodes the encoded data included in the video stream from the separation unit 52 using the HEVC method to generate STD video, and the process proceeds to step S363. move on.
  • the video decoding (encoding) method is not limited to the HEVC method.
  • step S363 similarly to step S343 in FIG. 83, the decoder 322B acquires the ToneMap element included in the ST stream (new TT data) supplied from the separation unit 52 and the TMI stored in the HdrInfo element, The process proceeds to step S364.
  • step S364 the decoder 322B decodes the ST stream supplied from the separation unit 52 into STD ST, and the process proceeds to step S365.
  • step S365 the controller 321 determines whether the monitor included in the display device 3 is an HDR monitor, for example, similarly to step S345 in FIG.
  • step S365 If it is determined in step S365 that the monitor included in the display device 3 is an HDR monitor, the process proceeds to step S366.
  • step S366 the decoders 322A and 322B acquire the TMI to be applied to the video and ST as in step S346 of FIG.
  • step S366 the decoder 322A acquires the TMI applied to the video from the TMI acquired in step S361.
  • the decoder 322B specifies the TMI (toneMapRef attribute or hdrInfoRef attribute, if the ToneMap element or the HDRInfoRef attribute is specified by the oneMapRef attribute or the hdrInfoRef attribute from the TMI acquired in step S363.
  • the TMI stored in the ToneMap element or HdrInfo element.
  • steps S367 to S370 the same processes as those in steps S86 to S89 of FIG. 36 are performed.
  • the generation apparatus 1 of the fourth configuration example generates new TT data of XML including a ToneMap element and an HdrInfo element as HDR storage elements that store TMI as HDR information as an XML element.
  • the playback device 2 can acquire the TMI applied to the ST from the new TT data and use it for the ST processing.
  • ToneMap element, HdrInfo element, toneMapRef attribute, and hdrInfoRef attribute can be displayed using STMP using SMPTE-TT using XML, ST, and any other markup language using any markup language. This can be applied when displaying an image.
  • FIG. 85 shows a configuration example of an embodiment of a computer in which a program for executing the series of processes described above is installed.
  • the program can be recorded in advance on a hard disk 405 or a ROM 403 as a recording medium built in the computer.
  • the program can be stored (recorded) in the removable recording medium 411.
  • a removable recording medium 411 can be provided as so-called package software.
  • examples of the removable recording medium 411 include a flexible disk, a CD-ROM (Compact Disc Read Only Memory), a MO (Magneto Optical) disc, a DVD (Digital Versatile Disc), a magnetic disc, and a semiconductor memory.
  • the program can be downloaded from the removable recording medium 411 as described above to the computer, downloaded to the computer via a communication network or a broadcast network, and installed in the built-in hard disk 405. That is, the program is transferred from a download site to a computer wirelessly via a digital satellite broadcasting artificial satellite, or wired to a computer via a network such as a LAN (Local Area Network) or the Internet. be able to.
  • a network such as a LAN (Local Area Network) or the Internet.
  • the computer incorporates a CPU (Central Processing Unit) 402, and an input / output interface 410 is connected to the CPU 402 via the bus 401.
  • a CPU Central Processing Unit
  • an input / output interface 410 is connected to the CPU 402 via the bus 401.
  • the CPU 402 executes a program stored in a ROM (Read Only Memory) 403 according to the command. .
  • the CPU 402 loads a program stored in the hard disk 405 to a RAM (Random Access Memory) 404 and executes it.
  • the CPU 402 performs processing according to the flowchart described above or processing performed by the configuration of the block diagram described above. Then, the CPU 402 causes the processing result to be output from the output unit 406 or transmitted from the communication unit 408 via, for example, the input / output interface 410, and further recorded on the hard disk 405 as necessary.
  • the input unit 407 includes a keyboard, a mouse, a microphone, and the like.
  • the output unit 406 includes an LCD (Liquid Crystal Display), a speaker, and the like.
  • the processing performed by the computer according to the program does not necessarily have to be performed in chronological order in the order described as the flowchart. That is, the processing performed by the computer according to the program includes processing executed in parallel or individually (for example, parallel processing or object processing).
  • the program may be processed by one computer (processor), or may be distributedly processed by a plurality of computers. Furthermore, the program may be transferred to a remote computer and executed.
  • the system means a set of a plurality of components (devices, modules (parts), etc.), and it does not matter whether all the components are in the same housing. Accordingly, a plurality of devices housed in separate housings and connected via a network and a single device housing a plurality of modules in one housing are all systems. .
  • the present technology can take a cloud computing configuration in which one function is shared by a plurality of devices via a network and is jointly processed.
  • each step described in the above flowchart can be executed by one device or can be shared by a plurality of devices.
  • the plurality of processes included in the one step can be executed by being shared by a plurality of apparatuses in addition to being executed by one apparatus.
  • this technique can take the following structures.
  • Data in the markup language including an HDR storage element that stores, as a markup language element, HDR information including the STD image and conversion information indicating conversion rules for converting one of the HDR images into the other
  • a data generation device comprising a data generation unit for generating ⁇ 2> The data generation device according to ⁇ 1>, wherein the HDR storage element is arranged in a predetermined element of the markup language.
  • the markup language is XML (Extensible Markup Language).
  • ⁇ 4> The data generation device according to ⁇ 3>, wherein the HDR storage element is arranged in a tt, head, body, region, div, p, span, or set element.
  • ⁇ 5> The data generation apparatus according to any one of ⁇ 1> to ⁇ 4>, wherein the data is data in a format of SMPTE (Society of Motion Picture and Television Engineers) -TT (Timed Text).
  • SMPTE Society of Motion Picture and Television Engineers
  • TT Timed Text
  • ⁇ 6> The data generation device according to any one of ⁇ 1> to ⁇ 5>, wherein the HDR storage element includes an element that stores the characteristic information and an element that stores the conversion information.
  • ⁇ 7> The data according to any one of ⁇ 1> to ⁇ 6>, wherein the data further includes an element having a designation attribute defined as an attribute that designates the HDR storage element in which the HDR information to be applied to an image is stored.
  • Generator. ⁇ 8> Characteristic information indicating the luminance characteristics of HDR (high dynamic range) images with a higher dynamic range than STD (standard) images, Data in the markup language, including an HDR storage element that stores, as a markup language element, HDR information including the STD image and conversion information indicating conversion rules for converting one of the HDR images into the other
  • a data generation method including generating a step.
  • a data reproducing apparatus comprising: an acquisition unit that acquires the HDR information stored in the HDR storage element.
  • the HDR storage element is disposed within a predetermined element of the markup language; The data reproduction device according to ⁇ 9>, wherein the acquisition unit acquires the HDR information to be applied to an image displayed in the predetermined element from the HDR storage element arranged in the predetermined element.
  • ⁇ 11> The data reproduction apparatus according to ⁇ 10>, wherein the markup language is XML (Extensible Markup Language).
  • ⁇ 12> The data reproducing device according to ⁇ 11>, wherein the HDR storage element is arranged in a tt, head, body, region, div, p, span, or set element.
  • ⁇ 13> The data reproducing apparatus according to any one of ⁇ 9> to ⁇ 12>, wherein the data is data in a format of SMPTE (Society of Motion Picture and Television Engineers) -TT (Timed Text).
  • SMPTE Society of Motion Picture and Television Engineers
  • -TT Timed Text
  • the data further includes an element having a designation attribute defined as an attribute that designates the HDR storage element in which the HDR information to be applied to an image is stored,
  • the data according to any one of ⁇ 9> to ⁇ 14>, wherein the acquisition unit acquires the HDR information applied to an image displayed by the element from the HDR storage element specified by a specified attribute of the element. Playback device.
  • Data in the markup language including an HDR storage element that stores, as a markup language element, HDR information including the STD image and conversion information indicating conversion rules for converting one of the HDR images into the other
  • a method of reproducing data comprising: acquiring the HDR information stored in the HDR storage element.

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Computer Security & Cryptography (AREA)
  • Human Computer Interaction (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Television Signal Processing For Recording (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Signal Processing For Digital Recording And Reproducing (AREA)
  • Television Systems (AREA)
  • Picture Signal Circuits (AREA)

Abstract

　本技術は、HDR画像を享受することができるようにするデータ生成装置、データ生成方法、データ再生装置、及び、データ再生方法に関する。 STD(standard)画像よりも高ダイナミックレンジのHDR(high dynamic range)画像の輝度の特性を表す特性情報と、STD画像、及び、HDR画像のうちの一方を他方に変換する変換規則を表す変換情報とからなるHDR情報をマークアップ言語のエレメントとして格納するHDR格納エレメントを含む、マークアップ言語のデータが生成される。本技術は、例えば、XMLを利用したSMPTE-TTのフォーマットのサブタイトルに、HDR情報を適用する場合に適用することができる。

Description

データ生成装置、データ生成方法、データ再生装置、及び、データ再生方法
　本技術は、データ生成装置、データ生成方法、データ再生装置、及び、データ再生方法に関し、特に、例えば、ユーザが、高ダイナミックレンジの画像であるHDR(high dynamic range)画像を享受する機会を増やすことができるようにするデータ生成装置、データ生成方法、データ再生装置、及び、データ再生方法に関する。
　近年、画像をディジタルとして取り扱い、その際、効率の高い情報の伝送や蓄積を目的とし、画像特有の冗長性を利用して、離散コサイン変換等の直交変換と動き補償により圧縮を行う符号化方式を採用して画像を圧縮符号する装置が普及しつつある。この符号化方式には、例えば、MPEG（Moving Picture Experts Group）やH．264及びMPEG-4 Part10 （Advanced Video Coding、以下 AVCと記す）等がある。
　そして、現在、H．264/AVCよりさらなる符号化効率の向上を目的として、ITU-TとISO/IECとの共同の標準化団体であるJCTVC (Joint Collaboration Team - Video Coding) により、HEVC (High Efficiency Video Coding) と呼ばれる符号化方式の標準化が進められている。
　現時点におけるHEVCのドラフト（非特許文献１）では、"D.2.15 Tone mapping information SEI message syntax"、及び、"D.3.15 Tone mapping information SEI message semantics"において、SEI（Supplemental Enhancement Information）によって、高ダイナミックレンジの画像であるHDR(high dynamic range)画像に関するHDR情報としてのtone_mapping_infoを伝送することが規定されている。
　なお、tone_mapping_infoについては、HEVCの他、AVCでも導入されている。
Benjamin Bross他、"High Efficiency Video Coding (HEVC) text specification draft 10 (for FDIS & Last Call)" , Joint Collaborative Team on Video Coding (JCT-VC)of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11, 12th Meeting： Geneva, CH, 14-23 Jan. 2013 (Document： JCTVC-L1003_v34, Date： 2013年03月19日)
　現在、HDR画像を撮影するカメラや、HDR画像を表示するディスプレイが普及しつつあり、かかる状況下においては、HDR情報については、HEVCやAVCのフォーマット以外のファイルフォーマットや、データフォーマットへの導入を促進し、ユーザが、HDR画像を享受する機会を増やすことが要請される。
　本技術は、このような状況に鑑みてなされたものであり、ユーザが、HDR画像を享受する機会を増やすことができるようにするものである。
　本技術のデータ生成装置は、STD(standard)画像よりも高ダイナミックレンジのHDR(high dynamic range)画像の輝度の特性を表す特性情報と、前記STD画像、及び、前記HDR画像のうちの一方を他方に変換する変換規則を表す変換情報とからなるHDR情報をマークアップ言語のエレメントとして格納するHDR格納エレメントを含む、前記マークアップ言語のデータを生成するデータ生成部を備えるデータ生成装置である。
　本技術のデータ生成方法は、STD(standard)画像よりも高ダイナミックレンジのHDR(high dynamic range)画像の輝度の特性を表す特性情報と、前記STD画像、及び、前記HDR画像のうちの一方を他方に変換する変換規則を表す変換情報とからなるHDR情報をマークアップ言語のエレメントとして格納するHDR格納エレメントを含む、前記マークアップ言語のデータを生成するステップを含むデータ生成方法である。
　本技術のデータ生成装置、及び、データ生成方法においては、STD(standard)画像よりも高ダイナミックレンジのHDR(high dynamic range)画像の輝度の特性を表す特性情報と、前記STD画像、及び、前記HDR画像のうちの一方を他方に変換する変換規則を表す変換情報とからなるHDR情報をマークアップ言語のエレメントとして格納するHDR格納エレメントを含む、前記マークアップ言語のデータが生成される。
　本技術のデータ再生装置は、STD(standard)画像よりも高ダイナミックレンジのHDR(high dynamic range)画像の輝度の特性を表す特性情報と、前記STD画像、及び、前記HDR画像のうちの一方を他方に変換する変換規則を表す変換情報とからなるHDR情報をマークアップ言語のエレメントとして格納するHDR格納エレメントを含む、前記マークアップ言語のデータから、前記HDR格納エレメントに格納された前記HDR情報を取得する取得部を備えるデータ再生装置である。
　本技術のデータ再生方法は、STD(standard)画像よりも高ダイナミックレンジのHDR(high dynamic range)画像の輝度の特性を表す特性情報と、前記STD画像、及び、前記HDR画像のうちの一方を他方に変換する変換規則を表す変換情報とからなるHDR情報をマークアップ言語のエレメントとして格納するHDR格納エレメントを含む、前記マークアップ言語のデータから、前記HDR格納エレメントに格納された前記HDR情報を取得するステップを含むデータ再生方法である。
　本技術のデータ再生装置、及び、データ再生方法においては、STD(standard)画像よりも高ダイナミックレンジのHDR(high dynamic range)画像の輝度の特性を表す特性情報と、前記STD画像、及び、前記HDR画像のうちの一方を他方に変換する変換規則を表す変換情報とからなるHDR情報をマークアップ言語のエレメントとして格納するHDR格納エレメントを含む、前記マークアップ言語のデータから、前記HDR格納エレメントに格納された前記HDR情報が取得される。
　なお、データ生成装置やデータ再生装置は、独立した装置であっても良いし、１つの装置を構成している内部ブロックであっても良い。
　また、マークアップ言語のデータは、伝送媒体を介して伝送することにより、又は、記録媒体に記録して、提供することができる。
　本技術によれば、ユーザが、HDR画像を享受する機会を増やすことができる。
　なお、ここに記載された効果は必ずしも限定されるものではなく、本開示中に記載されたいずれかの効果であってもよい。
本技術を適用した信号処理システムの一実施の形態の構成例を示す図である。 信号処理システムで行われるmode-iの信号処理の例を示す図である。 マスタのHDRデータが生成装置１に入力されてから、再生装置２からデータが出力されるまでのmode-iの信号処理の流れを示す図である。 信号処理システムで行われるmode-iiの信号処理の例を示す図である。 マスタのHDRデータが生成装置１に入力されてから、再生装置２からデータが出力されるまでのmode-iiの信号処理の流れを示す図である。 HEVC方式のアクセスユニットの構成を示す図である。 HEVC方式で規定されているtone_mapping_infoのシンタクスを示す図である。 tone_map_model_idとして、各値が設定されたTMIと、変換情報及び特性情報との関係を示す図である。 変換情報としての、tone_map_model_id＝0のtone_mapping_infoが表す変換規則としてのトーンカーブの例を示す図である。 変換情報としての、tone_map_model_id＝2のTMIが表す変換規則としての階段関数の例を示す図である。 変換情報としての、tone_map_model_id＝3のTMIが表す変換規則としての折れ線関数の例を示す図である。 特性情報に含まれる各情報の例を示す図である。 MP4ファイルのMovieの例を示す図である。 MP4ファイルにおけるメディアデータ(Movie)の論理的な配置の例を示す図である。 MP4ファイルのデータ構造を示す図である。 メディアデータが格納されるMP4ファイルのデータ構造の例を示す図である。 fragmented movieのMP4ファイルと、non-fragmented movieのMP4ファイルとの例を示す図である。 DECE(Digital Entertainment Content Ecosystem) CFF(Common File Format)を説明する図である。 SMPTE-TTのSTのデータの例を示す図である。 生成装置１の第１の構成例を示すブロック図である。 生成装置１で生成されるMP4ファイルの例を示す図である。 trefボックスの定義を示す図である。 vtmiボックスとしてのTrackReferenceTypeBoxの定義の例を示す図である。 tirfボックスの定義の例を示す図である。 生成装置１で生成されるMP4ファイルの他の例を示す図である。 符号化処理部２２の構成例を示すブロック図である。 変換部３３による、HDRデータをSTDデータに変換する変換の処理の例を示す図である。 tone mappingの例を示す図である。 生成装置１が行うファイル生成処理の例を説明するフローチャートである。 ステップＳ２において行われるmode-iの符号化処理の例を説明するフローチャートである。 ステップＳ３において行われるmode-iiの符号化処理の例を説明するフローチャートである。 ステップＳ４において行われるヘッダ情報生成処理の例を説明するフローチャートである。 再生装置２の第１の構成例を示すブロック図である。 再生装置２が行う再生処理の例を説明するフローチャートである。 ステップＳ４３において行われるmode-iの復号処理の例を説明するフローチャートである。 ステップＳ４４において行われるmode-iiの復号処理の例を説明するフローチャートである。 表示装置３の構成例を示すブロック図である。 表示装置３が行う表示処理の例を説明するフローチャートである。 生成装置１の第２の構成例を示すブロック図である。 生成装置１で生成される第２のMP4ファイルの例を示す図である。 tinfボックスの定義の例を示す図である。 ToneMapInfoのシンタクスの第１の例を示す図である。 ToneMapInfoのシンタクスの第２の例を示す図である。 ToneMapInfoのシンタクスの第３の例を示す図である。 生成装置１で生成される第２のMP4ファイルの他の例を示す図である。 符号化処理部１２２の構成例を示すブロック図である。 生成装置１が行うファイル生成処理の例を説明するフローチャートである。 ステップＳ１１２において行われるmode-iの符号化処理の例を説明するフローチャートである。 ステップＳ１１３において行われるmode-iiの符号化処理の例を説明するフローチャートである。 ステップＳ１１４において行われるヘッダ情報生成処理の例を説明するフローチャートである。 再生装置２の第２の構成例を示すブロック図である。 再生装置２が行う再生処理の例を説明するフローチャートである。 ステップＳ１５３において行われるmode-iの復号処理の例を説明するフローチャートである。 ステップＳ１５４において行われるmode-iiの復号処理の例を説明するフローチャートである。 生成装置１の第３の構成例を示すブロック図である。 生成装置１で生成される第３のMP4ファイルの例を示す図である。 tmpiボックスとしてのTrackReferenceTypeBoxの定義の例を示す図である。 第３のMP4ファイルに格納されるTMIトラック（tone map track）のmdatボックスに格納される実データとしてのTMIのサンプル(ToneMapSample)のシンタクスの例を示す図である。 TMIのサンプル(ToneMapSample)のデータ構造の例を示す図である。 生成装置１で生成される第３のMP4ファイルの他の例を示す図である。 符号化処理部２０２の構成例を示すブロック図である。 生成装置１が行うファイル生成処理の例を説明するフローチャートである。 ステップＳ２０２において行われるmode-iの符号化処理の例を説明するフローチャートである。 ステップＳ２０３において行われるmode-iiの符号化処理の例を説明するフローチャートである。 ステップＳ２０４において行われるヘッダ情報生成処理の例を説明するフローチャートである。 再生装置２の第３の構成例を示すブロック図である。 再生装置２が行う再生処理の例を説明するフローチャートである。 ステップＳ２５３において行われるmode-iの復号処理の例を説明するフローチャートである。 ステップＳ２５４において行われるmode-iiの復号処理の例を説明するフローチャートである。 生成装置１の第４の構成例を示すブロック図である。 符号化処理部３０２の構成例を示すブロック図である。 HDR格納エレメントの例を示す図である。 toneMapRef属性、及び、hdrInfoRef属性の定義の例を示す図である。 新TTデータの第１の例を示す図である。 新TTデータの第２の例を示す図である。 新TTデータの第３の例を示す図である。 新TTデータの第４の例を示す図である。 生成装置１が行うファイル生成処理の例を説明するフローチャートである。 ステップＳ３０２において行われるmode-iの符号化処理の例を説明するフローチャートである。 ステップＳ３０３において行われるmode-iiの符号化処理の例を説明するフローチャートである。 再生装置２の第４の構成例を示すブロック図である。 再生装置２が行う再生処理の例を説明するフローチャートである。 ステップＳ３３３において行われるmode-iの復号処理の例を説明するフローチャートである。 ステップＳ３３４において行われるmode-iiの復号処理の例を説明するフローチャートである。 本技術を適用したコンピュータの一実施の形態の構成例を示すブロック図である。
　＜本技術を適用した信号処理システムの実施の形態＞
　図１は、本技術を適用した信号処理システムの一実施の形態の構成例を示す図である。
　図１の信号処理システムは、生成装置１、再生装置２、及び、表示装置３を有する。再生装置２と表示装置３とは、例えば、HDMI（登録商標）(High Definition Multimedia Interface)等のケーブル４を介して接続される。再生装置２と表示装置３とは、他の規格のケーブルを介して接続されるようにしてもよいし、無線による通信を介して接続されるようにしてもよい。
　生成装置１は、コンテンツのストリームを生成して提供する。再生装置２は、生成装置１から提供されるストリームから、コンテンツを再生する。
　生成装置１は、ストリームを、例えば、そのまま提供することができる。また、生成装置１は、ストリームを、例えば、IPパケット等の所定のパケットに格納し、又は、例えば、ISO/IEC14496-14に規定されたMP4ファイル等の所定のファイルに格納して、提供することができる。
　また、生成装置１において、ストリームは、例えば、Blu-ray（登録商標）ディスク等の記録媒体１１に記録して、又は、例えば、地上波や、インターネット等の伝送媒体１２を介して伝送することにより、提供することができる。
　ここで、生成装置１において、ストリームをファイルに格納する場合において、そのストリームを格納するファイルとしては、MP4ファイルの他、例えば、ISO/IEC 14496-12で規定されているファイル（ISO base media file formatのファイル）や、ISO/IEC 14496-15で規定されているファイル、QuickTime形式のファイル、その他の、ボックス構造を有するファイル、さらには、ボックス構造を有しないファイルを採用することができる。
　生成装置１に対しては、標準の輝度のモニタで表示可能な所定のダイナミックレンジ（輝度範囲）の画像であるSTD(standard)画像よりも高ダイナミックレンジの画像であるHDR(High Dynamic Range)画像が入力される。標準の輝度は、例えば、100cd/m2（＝100nit）である。なお、STD画像、及び、HDR画像は、特に限定されるものではない。すなわち、STD画像、及び、HDR画像とは、ダイナミックレンジだけが異なる画像であり、後述する変換情報に従って、一方を他方に変換することができる関係にある画像を意味する。したがって、STD画像は、ダイナミックレンジだけがHDR画像よりも低い（小さい）画像であり、HDR画像は、ダイナミックレンジだけがSTD画像よりも高い（広い）画像である。
　ここで、画像には、ビデオや、グラフィクス、バックグラウンド（背景画像）、サブタイトル、その他、表示可能なメディアが含まれる。なお、サブタイトル（字幕やクローズドキャプション等）のデータ形式は、テキスト及びイメージのいずれであってもよい。
　生成装置１に対しては、例えば、複数のビデオや、１以上のビデオと１以上のグラフィクス等の複数のHDR画像が入力される。
　以下では、説明を簡単にするために、生成装置１に対して、例えば、１（シーケンス）のHDR画像のビデオ（以下、HDRビデオともいう）と、１（シーケンス）のHDR画像のサブタイトル（以下、HDR ST(HDR subtitle)ともいう）とが入力されることとする。
　但し、生成装置１に対して入力するデータとしては、その他、ビデオとグラフィクスや、ビデオとグラフィクスとサブタイトル、グラフィクスとサブタイトル、グラフィクスだけ等の任意の画像を採用することができる。さらに、生成装置１に対して入力するビデオやサブタイトル等の同一種類のメディアの画像は、１つ（１シーケンス）に限定されるものではなく、複数（シーケンス）であってもよい。
　また、HDRビデオとHDR STとを、特に区別する必要がない場合、それらをまとめてHDRデータともいう。
　さらに、HDRビデオ及びHDR STのダイナミックレンジを、標準の輝度のモニタで表示可能な所定のダイナミックレンジに圧縮したSTD画像のビデオ及びST（サブタイトル）を、それぞれ、STDビデオ及びSTD STともいう。
　また、STDビデオとSTD STとを、特に区別する必要がない場合、それらをまとめてSTDデータともいう。
　STDデータのダイナミックレンジを、例えば、0-100％とすると、HDRデータのダイナミックレンジは、例えば、0-500％や、0-1000％等といったような、0％から101％以上の範囲で表される。
　生成装置１は、例えば、入力されたマスタのHDRデータを、そのまま符号化し、例えば、MP4ファイルに格納する。
　あるいは、生成装置１は、入力されたマスタのHDRデータをSTDデータに変換して符号化し、例えば、MP4ファイルに格納する。
　MP4ファイルには、HDRデータ、又は、STDデータの他、マスタのHDRデータの輝度の特性を示す特性情報と、HDRデータ及びSTDデータのうちの一方を他方に変換する変換規則を表す変換情報とが、さらに格納される。
　ここで、HDRビデオ、及び、STDビデオとしては、例えば、横×縦の解像度が4096×2160画素や、3840×2160画素等の、いわゆる4K解像度のビデオを採用することができる。
　また、ビデオの符号化の方式としては、例えば、HEVC方式や、AVC方式、その他の任意の方式を採用することができる。すなわち、ビデオの符号化（復号）の方式は、HEVC方式やAVC方式等に限定されるものではない。
　HDR画像の輝度の特性を示す特性情報と、HDR画像とSTD画像とのうちの一方を他方に変換する変換規則を表す変換情報とを、HDR情報ということとすると、例えば、HEVC方式では、HDR情報として、tone_mapping_infoが規定されている。さらに、HEVC方式では、HDR情報としてのtone_mapping_infoを、SEIに含めて伝送することが規定されている。
　再生装置２は、ケーブル４を介して表示装置３と通信を行い、表示装置３の表示性能に関する情報を取得する。再生装置２は、表示装置３が、HDRデータの表示が可能なモニタであるHDRモニタを有する装置であるのか、STDデータの表示しかできないモニタであるSTDモニタを有する装置であるのかを特定する。
　また、再生装置２は、記録媒体１１に記録されたMP4ファイルを読み出すことにより取得し、又は、伝送媒体１２を介して伝送されてくるMP4ファイルを受信することにより取得し、そのMP4ファイルに格納されたデータを再生する。
　すなわち、再生装置２は、MP4ファイルに格納されたビデオのストリームであるビデオストリームと、ST(subtitle)のストリームであるSTストリームとを復号する。
　そして、例えば、再生装置２は、復号して得られたデータがHDRデータであり、表示装置３がHDRモニタを有する場合、復号して得られたHDRデータを表示装置３に出力する。この場合、再生装置２は、HDRデータとともに、MP4ファイルに格納されている特性情報を表示装置３に出力する。
　一方、再生装置２は、復号して得られたデータがHDRデータであり、表示装置３がSTDモニタを有する場合、復号して得られたHDRデータをSTDデータに変換し、STDデータを出力する。HDRデータのSTDデータへの変換は、MP4ファイルに格納されている変換情報を用いて行われる。
　再生装置２は、復号して得られたデータがSTDデータであり、表示装置３がHDRモニタを有する場合、復号して得られたSTDデータをHDRデータに変換し、HDRデータを表示装置３に出力する。STDデータのHDRデータへの変換は、MP4ファイルに格納されている変換情報を用いて行われる。この場合、再生装置２は、HDRデータとともに、MP4ファイルに格納されている特性情報を表示装置３に出力する。
　また、再生装置２は、復号して得られたデータがSTDデータであり、表示装置３がSTDモニタを有する場合、復号して得られたSTDデータを表示装置３に出力する。
　表示装置３は、再生装置２から送信されてくるSTDデータ又はHDRデータを受信し、STDデータ又はHDRデータに基づいて、対応するSTD画像又はHDR画像をモニタに表示する。
　例えば、表示装置３は、特性情報が送信されてきた場合、その特性情報とともに再生装置２から送信されてきたデータがHDRデータであるとして認識する。上述したように、HDRモニタを有する表示装置３に対しては、HDRデータとともに、特性情報が送信されてくる。
　この場合、表示装置３は、HDRデータに対応するHDR画像を、特性情報により指定される特性に従って表示する。すなわち、表示装置３は、表示装置３が有するモニタが0-500％のダイナミックレンジを有するモニタであり、特性情報により、HDRデータのダイナミックレンジが0-500％の所定の特性であると指定された場合、その所定の特性に従って、0-500％の範囲で輝度を調整してHDR画像を表示する。
　マスタのHDRデータの輝度の特性を指定することができるようにすることにより、コンテンツのオーサ（Author）は、意図したとおりの輝度で画像を表示させることが可能になる。
　通常、TV（テレビジョン受像機）等の表示装置は、外部から入力されたデータを0-100％のダイナミックレンジを有するデータとして認識する。また、表示装置は、自身のモニタがそれより広い（高い）ダイナミックレンジを有する場合には、モニタの特性に応じて輝度を自ら拡張して画像を表示させることがある。輝度の特性を指定し、指定した特性に従ってHDRデータの輝度を調整させることにより、オーサの意図しない輝度調整が表示装置側で行われるのを防ぐことが可能になる。
　また、通常、TVなどの表示装置にデータを出力する再生装置は、伝送路の特性に応じて輝度を変換してからデータを出力する。そのデータを受信した表示装置は、受信したデータの輝度をモニタの特性に応じて変換し、画像を表示させることになる。再生装置２において輝度の変換を行わずに、再生装置２からHDRデータのまま表示装置３に出力させることにより、輝度変換の回数を減らすことができ、マスタにより近い輝度の画像を表示装置３に表示させることが可能になる。
　一方、表示装置３は、特性情報が送信されてこない場合、再生装置２から送信されたデータがSTDデータであると認識し、STDデータに対応するSTD画像を表示する。再生装置２からSTDデータが送信されてくるということは、表示装置３はSTDモニタを有する装置である。
　また、生成装置１によりMP4ファイルにオーディオデータが格納される場合には、再生装置２は、そのオーディオデータを再生し、表示装置３に送信する。表示装置３は、再生装置２から送信されてくるオーディオデータに基づいて、対応する音声をスピーカから出力する。
　以下、マスタのHDRデータを、そのダイナミックレンジを維持したままMP4ファイルに格納する処理モードをmode-iといい、マスタのHDRデータをSTDデータに変換してMP4ファイルに格納する処理モードをmode-iiという。
　＜mode-iの信号処理＞
　図２は、図１の信号処理システムで行われるmode-iの信号処理の例を示す図である。
　実線L1で囲んで示す左側の処理が生成装置１において行われる符号化処理を示し、実線L2で囲んで示す右側の処理が再生装置２において行われる復号処理を示す。
　マスタのHDRデータが入力された場合、生成装置１は、マスタのHDRデータの輝度を検出し、矢印＃１で示すように、特性情報を生成する。また、生成装置１は、矢印＃２－１で示すように、マスタのHDRビデオを、例えば、HEVC方式で符号化して符号化データを生成し、矢印＃２－２で示すように、マスタのHDR STを符号化して、STのストリームであるSTストリームを生成する。
　生成装置１は、矢印＃３で示すように、マスタのHDRデータをSTDデータに変換する。変換して得られたSTDデータに対応するSTD画像は図示せぬモニタに表示される。HDRデータのSTDデータへの変換は、適宜、変換後のSTDデータに対応するSTD画像をオーサが目で確認し、変換パラメータを調整しながら行われる。
　オーサによる調整に基づいて、生成装置１は、矢印＃４で示すように、変換情報を生成する。
　変換情報は、標準のダイナミックレンジより広い0-400％等の高ダイナミックレンジにおける各輝度値と、標準のダイナミックレンジである0-100％のダイナミックレンジにおける各輝度値とのうちの一方を他方に変換する変換規則を表し、したがって、それらの輝度値どうしの対応関係を表す。
　生成装置１は、矢印＃５で示すように、特性情報と変換情報をSEIとしてHDRビデオの符号化データに挿入し、ビデオストリームを生成する。生成装置１は、生成したビデオストリームと、HDR STのSTストリームをMP4ファイルに格納し、矢印＃１１に示すように再生装置２に提供する。
　このように、HDRビデオ及びHDR STの特性情報と変換情報は、SEIを用いて、ビデオストリーム中に挿入する形で再生装置２に提供される。
　再生装置２は、MP4ファイルからSTストリームを読み出し、矢印＃２０で示すように、STストリームを復号し、HDR STを生成する。
　また、再生装置２は、MP4ファイルからビデオストリームを読み出し、矢印＃２１，＃２２で示すように、ビデオストリームのSEIから特性情報と変換情報を抽出する。
　また、再生装置２は、矢印＃２３で示すように、ビデオストリームに含まれる符号化データをHEVC方式で復号し、HDRビデオを生成する。再生装置２は、表示装置３がHDRモニタを有する場合、矢印＃２４で示すように、復号して得られたHDRデータに特性情報を付加し、矢印＃２５で示すように表示装置３に出力する。
　一方、再生装置２は、表示装置３がSTDモニタを有する場合、矢印＃２６で示すように、ビデオストリームから抽出された変換情報を用いて、復号して得られたHDRデータをSTDデータに変換する。再生装置２は、矢印＃２７で示すように、変換して得られたSTDデータを表示装置３に出力する。
　このように、復号して得られたHDRデータは、特性情報とともに、HDRモニタを有する表示装置３に出力される。又は、復号して得られたHDRデータは、STDデータに変換された後、STDモニタを有する表示装置３に出力される。
　図３は、マスタのHDRデータが生成装置１に入力されてから、再生装置２からデータが出力されるまでのmode-iの信号処理の流れを示す図である。
　マスタのHDRデータは、白抜き矢印＃５１で示すように、マスタのHDRデータに基づいて生成装置１において生成された特性情報と変換情報とともに再生装置２に提供される。特性情報には、例えば、ダイナミックレンジが0-400%の範囲に拡張されていることを表す情報が含まれる。
　表示装置３がHDRモニタを有する場合、再生装置２においては、矢印＃５２，＃５３で示すように、復号して得られたHDRデータに特性情報が付加される。また、特性情報が付加されたHDRデータが矢印＃５４で示すように表示装置３に出力される。
　一方、表示装置３がSTDモニタを有する場合、再生装置２においては、矢印＃５５，＃５６で示すように、復号して得られたHDRデータが変換情報を用いてSTDデータに変換される。また、変換して得られたSTDデータが矢印＃５７で示すように表示装置３に出力される。図３において、HDRデータを示す波形の振幅とSTDデータを示す波形の振幅は、それぞれダイナミックレンジを示す。
　このように、mode-iにおいては、マスタのHDRデータがHDRデータのままMP4ファイルに格納される。また、出力先となる表示装置３の性能に応じて、復号して得られたHDRデータをそのまま特性情報を付加して出力するのか、HDRデータをSTDデータに変換して出力するのかが切り替えられる。
　＜mode-iiの信号処理＞
　図４は、図１の信号処理システムで行われるmode-iiの信号処理の例を示す図である。
　マスタのHDRデータが入力された場合、生成装置１は、マスタのHDRデータの輝度を検出し、矢印＃７１で示すように特性情報を生成する。
　生成装置１は、矢印＃７２で示すように、マスタのHDRデータをSTDデータに変換する。変換して得られたSTDデータに対応するSTD画像は、図示せぬモニタに表示される。
　オーサによる調整に基づいて、生成装置１は、矢印＃７３で示すように、変換情報を生成する。
　また、生成装置１は、矢印＃７４－１で示すように、マスタのHDRビデオを変換して得られたSTDビデオを、例えば、HEVC方式で符号化して符号化データを生成する。また、矢印＃７４－２で示すように、マスタのHDR STを変換して得られたSTD STを符号化してSTストリームを生成する。
　生成装置１は、矢印＃７５で示すように、特性情報と変換情報をSEIとして符号化データに挿入し、ビデオストリームを生成する。生成装置１は、生成したビデオストリームとSTストリームを、MP4ファイルに格納し、矢印＃９１に示すように再生装置２に提供する。
　再生装置２は、MP4ファイルからビデオストリームを読み出し、矢印＃１０１，＃１０２で示すように、ビデオストリームのSEIから特性情報と変換情報を抽出する。
　また、再生装置２は、矢印＃１０３－１で示すように、ビデオストリームに含まれる符号化データをHEVC方式で復号してSTDビデオを生成し、矢印＃１０３－２で示すように、STストリームを復号してSTD STを生成する。再生装置２は、表示装置３がSTDモニタを有する場合、矢印＃１０４で示すように、復号して得られたSTDデータを表示装置３に出力する。
　一方、再生装置２は、表示装置３がHDRモニタを有する場合、矢印＃１０５で示すように、ビデオストリームから抽出された変換情報を用いて、復号して得られたSTDデータをHDRデータに変換する。再生装置２は、矢印＃１０６で示すように、変換して得られたHDRデータに特性情報を付加し、矢印＃１０７で示すように表示装置３に出力する。
　このように、復号して得られたSTDデータは、HDRデータに変換された後、特性情報とともに、HDRモニタを有する表示装置３に出力される。又は、復号して得られたSTDデータは、STDモニタを有する表示装置３にそのまま出力される。
　図５は、マスタのHDRデータが生成装置１に入力されてから、再生装置２からデータが出力されるまでのmode-iiの信号処理の流れを示す図である。
　マスタのHDRデータは、白抜き矢印＃１２１で示すように、STDデータに変換された後、マスタのHDRデータに基づいて生成装置１において生成された特性情報と変換情報とともに再生装置２に提供される。
　表示装置３がHDRモニタを有する場合、再生装置２においては、矢印＃１２２，＃１２３で示すように、復号して得られたSTDデータが変換情報を用いてHDRデータに変換される。また、矢印＃１２４，＃１２５で示すように、STDデータを変換して得られたHDRデータに特性情報が付加され、矢印＃１２６で示すように表示装置３に出力される。
　一方、表示装置３がSTDモニタを有する場合、再生装置２においては、矢印＃１２７で示すように、復号して得られたSTDデータが表示装置３に出力される。
　このように、mode-iiにおいては、マスタのHDRデータがSTDデータに変換されてMP4ファイルに格納される。また、出力先となる表示装置３の性能に応じて、復号して得られたSTDデータをHDRデータに変換し、特性情報を付加して出力するのか、STDデータをそのまま出力するのかが切り替えられる。
　以上のような生成装置１と再生装置２の構成と動作の詳細については後述する。
　＜HEVC方式におけるアクセスユニットの構成＞
　図６は、HEVC方式のアクセスユニットの構成を示す図である。
　HEVC方式のビデオストリームは、NAL(Network Abstraction Layer)ユニットの集まりであるアクセスユニットから構成される。１つのアクセスユニットには、例えば、１ピクチャのビデオデータが含まれる。
　図６に示すように、１つのアクセスユニットは、AUデリミタ(Access Unit delimiter)、VPS(Video Parameter Set)、SPS(Sequence Parameter Set)、PPS(Picture Parameter Set)、SEI、VCL(Video Coding Layer)、EOS(End of Sequence)、及び、EOS(End of Stream)から構成される。
　AUデリミタは、アクセスユニットの先頭を示す。VPSは、ビットストリームの内容を表すメタデータを含む。SPSは、ピクチャサイズ、CTB(Coding Tree Block)サイズ等の、HEVCデコーダがシーケンスの復号処理を通じて参照する必要のある情報を含む。PPSは、HEVCデコーダがピクチャの復号処理を実行するために参照する必要のある情報を含む。
　SEIは、各ピクチャのタイミング情報やランダムアクセスに関する情報等を含む補助情報である。特性情報と変換情報は、SEIの１つであるtone_mapping_infoとして、HEVC方式のビデオストリームに含めることができる。tone_mapping_infoには、tone_mapping_infoを識別する識別情報としてのtone_map_idが付与される。
　VCLは、１ピクチャの符号化データである。EOS(End of Sequence)は、シーケンスの終了位置を示し、EOS(End of Stream)はストリームの終了位置を示す。
　＜tone_mapping_info＞
　図７は、HEVC方式で規定されているtone_mapping_infoのシンタクスを示す図である。
　tone_mapping_infoを用いて、復号して得られた画像の明るさや色が、画像の出力先となるモニタの性能に合わせて変換される。なお、図７の左側の行番号とコロン（：）は、シンタクスを構成しない。
　２行目のtone_map_idは、tone_mapping_infoの識別情報である。８行目のtone_map_model_idは、変換に用いるtone mapのモデル（変換規則）を表す。
　tone_mapping_infoのシンタクス上、tone_map_model_idは、0,1,2,3,4の値をとることができる。
　tone_map_model_idが、0,1,2、及び、3のうちのいずれかの値になっているtone_mapping_info（以下、適宜、TMIと略す）が、変換情報に対応し、tone_map_model_idが、4になっているTMIが、特性情報に対応する。
　なお、HEVC方式では、変換情報としてのTMIについては、tone_map_model_idとして、0,2、又は、3をとることが許されており、本実施の形態でも、変換情報としてのTMIのtone_map_model_idは、0,2、及び、3のうちのいずれかの値であることとする。
　生成装置１は、HDR情報、すなわち、変換情報と特性情報との両方を、MP4ファイルに含める。そのため、生成装置１においては、変換情報としての、tone_map_model_idが0,2、及び、3のうちのいずれかの値のTMIと、特性情報としての、tone_map_model_idが4のTMIとが、少なくとも１つずつ生成される。
　図７の９～１１行目は、tone_map_model_id＝0に関する記述である。tone_map_model_id＝0である場合、min_valueとmax_valueが記述される。
　図７の１５～１７行目は、tone_map_model_id＝2に関する記述である。tone_map_model_id＝2である場合、階段関数を表す、max_target_dataの数と同じ数のstart_of_coded_interval[i]が記述される。
　図７の１８～２３行目は、tone_map_model_id＝3に関する記述である。tone_map_model_id＝3である場合、折れ線関数を表す、num_pivotsにより指定される数のcoded_pivot_value[i]とtarget_pivot_value[i]が記述される。
　図７の２４～３９行目は、tone_map_model_id＝4に関する記述である。tone_map_model_id＝4に関する情報のうちの、例えば、ref_screen_luminance_white、extended_range_white_level、nominal_black_level_code_value、nominal_white_level_code_value、及びextended_white_level_code_valueが、特性情報を構成するパラメータとなる。
　図８は、tone_map_model_idとして、各値が設定されたTMIと、変換情報及び特性情報との関係を示す図である。
　図８に示すように、tone_map_model_idとして0,2,3のうちのいずれかの値が設定されたTMIが、変換情報に対応し、tone_map_model_idとして4が設定されたTMIが、特性情報に対応する。
　図９は、変換情報としての、tone_map_model_id＝0のtone_mapping_infoが表す変換規則としてのトーンカーブの例を示す図である。
　図９の横軸は、coded_data（変換前のRGB値）を示し、縦軸は、target_data（変換後のRGB値）を示す。図９のトーンカーブを用いた場合、値D1以下のRGB値は、白抜き矢印＃１５１で示すようにmin_valueにより示されるRGB値に変換される。また、値D2（＞D1）以上のRGB値は、白抜き矢印＃１５２で示すようにmax_valueにより示されるRGB値に変換される。
　tone_map_model_id＝0のTMIを用いた変換では、max_valueを超える輝度とmin_valueを下回る輝度（RGB値により表される輝度）は失われるが、変換の処理の負荷は軽くなる。
　図１０は、変換情報としての、tone_map_model_id＝2のTMIが表す変換規則としての階段関数の例を示す図である。
　図１０の階段関数を用いた場合、例えば、coded_data＝5はtarget_data＝3に変換される。
　tone_map_model_id＝2のTMIは、データ量が多いが、変換の処理の負荷は軽い。
　図１１は、変換情報としての、tone_map_model_id＝3のTMIが表す変換規則としての折れ線関数の例を示す図である。
　図１１の折れ線関数を用いた場合、例えば、coded_data＝D11は、target_data＝D11’に変換され、coded_data＝D12は、target_data＝D12’に変換される。
　図１２は、特性情報に含まれる各情報の例を示す図である。
　図１２の横軸は、輝度値を示す。ビット長が10bitである場合、輝度値は0-1023の値となる。図１２の縦軸は、明るさを示す。曲線L11が、標準の輝度のモニタにおける輝度値と明るさの関係を示す。標準の輝度のモニタのダイナミックレンジは0-100％である。
　ref_screen_luminance_white（図７）は、標準となるモニタの明るさ（STD画像の最大の明るさ）（cd/m2）を示す。extended_range_white_levelは、拡張後のダイナミックレンジの明るさ（HDR画像の最大の明るさ）を示す。図１２の例の場合、extended_range_white_levelの値として400が設定される。
　nominal_black_level_code_valueは、黒（明るさ0％）の輝度値を示し、nominal_white_level_code_valueは、標準の輝度のモニタにおける白（明るさ100％）の輝度値を示す。extended_white_level_code_valueは、拡張後のダイナミックレンジにおける白の輝度値を示す。
　図１２の例の場合、白抜き矢印＃１６１で示すように、0-100％のダイナミックレンジは、extended_range_white_levelの値に従って、0-400％のダイナミックレンジに拡張される。また、400％の明るさに相当する輝度値が、extended_white_level_code_valueにより指定される。
　HDRデータの輝度の特性は、nominal_black_level_code_value、nominal_white_level_code_value、extended_white_level_code_valueの値がそれぞれ明るさ0％、100％、400％をとる曲線L12により示される特性となる。
　このように、tone_map_model_idとして4の値が設定されたTMIにより、マスタのHDRデータの輝度の特性が示される。
　＜MP4ファイル＞
　図１３は、MP4ファイルのMovieの例を示す図である。
　ここで、MP4ファイルについては、ISO/IEC((International Organization for Standardization/International Engineering Consortium)) 14496-12に、その詳細が規定されている。
　MP4ファイルでは、再生対象のビデオや、オーディオ、ST(subtitle)等のメディアデータの集合は、Movieと呼ばれ、Movieは、１以上のトラック(track)から構成される。
　再生対象のビデオやST等の独立した１つのメディアデータ（データストリーム（例えば、es(elementary stream)エレメンタリストリーム））が、１つのトラックを構成し、Movieに含まれるトラックのうちの１以上は、同時に再生することができる。
　図１３では、Movieは、３つのトラック#1,#2,#3から構成されている。また、トラック#1は、ビデオのデータストリームで、トラック#2は、ビデオに付随する１チャンネルのオーディオのデータストリームで、トラック#3は、ビデオに重畳される１チャンネルのSTのデータストリームで、それぞれ構成されている。
　各トラックのメディアデータは、サンプルから構成される。
　サンプルとは、MP4ファイル内のメディアデータにアクセスする場合の、最小の単位（アクセス単位）である。したがって、サンプルより細かい単位で、MP4ファイル内のメディアデータにアクセスすることはできない。
　ビデオのメディアデータについては、例えば、１フレーム（又は、１フィールド）等が、１サンプルとなる。また、オーディオのメディアデータについては、例えば、そのオーディオのメディアデータの規格で定められた１オーディオフレーム等が、１サンプルとなる。
　図１４は、MP4ファイルにおけるメディアデータ(Movie)の論理的な配置の例を示す図である。
　メディアデータは、チャンク(chunk)と呼ばれる単位で配置される。
　Movieのメディアデータとして、複数のデータ、すなわち、例えば、ビデオのデータストリームと、オーディオのデータストリームと、STのデータストリームとの３つのデータストリームが存在する場合には、その複数のメディアデータが、チャンク単位で、インターリーブして配置される。
　ここで、チャンクは、論理的に連続したアドレスに配置される１以上のサンプルの集合である。
　図１５は、MP4ファイルのデータ構造を示す図である。
　MP4ファイルは、データを格納するコンテナとしてのボックス(box)と呼ばれる単位で構成され、ボックス構造と呼ばれる構造を有する。
　ボックスは、４バイトのサイズ(box size)、４バイトのタイプ(box type)、及び、実データ(data)を有する。
　サイズは、ボックス全体のサイズを表し、タイプは、ボックス内の実データの種類を表す。
　実データとしては、例えば、上述したメディアデータそのもの等のデータの他、ボックスを採用することができる。
　すなわち、ボックスは、実データとして、ボックスを持つことができ、これにより、階層構造にすることができる。
　図１６は、メディアデータが格納されるMP4ファイルのデータ構造の例を示す図である。
　図１６において、MP4ファイルは、ftypボックス(File Type Compatibility Box)，moovボックス(Movie Box)、及び、mdatボックス(Media Data Box)から構成される。
　ftypボックスには、ファイルフォーマットの情報、すなわち、例えば、ファイルがMP4ファイルであることや、ボックスのバージョン、MP4ファイルを作成したメーカのメーカ名等が含まれる。
　moovボックスには、メディアデータを管理するための、例えば、時間軸やアドレス等のメタデータが含まれる。
　mdatボックスには、メディアデータ（AVデータ）が含まれる。
　図１７は、fragmented movieのMP4ファイルと、non-fragmented movieのMP4ファイルとの例を示す図である。
　fragmented movieのMP4ファイルは、moovボックス(movie box)(MovieBox)、moofボックス(movie fragment box)(MovieFragmentBox)、及び、mdatボックス(media data box)(MediaDataBox)を有する。
　non-fragmented movieのMP4ファイルは、moovボックス、及び、mdatボックスを有する。
　ここで、図１７において、moovボックスは、trakボックス(tarck box)(TrackBox)を有しており、moofボックスは、trafボックス(track fragment box)(TrackFragmentBox)を有する。
　moovボックス、及び、moofボックスには、mdatボックスに格納されるビデオや、オーディオ、ST等のメディアデータ（実データ）を再生するために必要な情報（例えば、表示時刻等）が格納される。
　trakボックス、及び、trafボックスには、対応するトラックのデータ（ビデオや、オーディオ、ST等のデータ）ごとに独立したデータシーケンス情報（例えば、表示サイズ等）等が格納される。
　mdatボックスには、ビデオや、オーディオ、ST等のメディアデータ（実データ）が格納される。
　moofボックスとmdatボックスとのセットが、フラグメント(fragment)と呼ばれる。fragmented movieのMP4ファイルは、moovボックスと、１以上のフラグメントとから構成され、ストリーミングに適している。
　一方、non-fragmented movieのMP4ファイルは、フラグメントを有さず、上述したように、moovボックスとmdatボックスとを有する。
　図１８は、DECE(Digital Entertainment Content Ecosystem) CFF(Common File Format)を説明する図である。
　DECE CFFは、DECEが定めた、MP4ファイルをベースとするファイルフォーマットであり、fragmented movieのMP4ファイルを採用する。
　fragmented movieのMP4ファイルでは、１つのフラグメントのmdatボックスに、複数の種類のes(elementary stream)を格納することができるが、DECE CFFでは、１つのフラグメントのmdatボックスに、１つのesが格納される。
　また、DECE CFFでは、fragmented movieのMP4ファイルに多重化することができるesが限定されている。
　DECE CFFにおいて、fragmented movieのMP4ファイルに多重化することができるオーディオのesとしては、例えば、AVC audio:MPEG4(Moving Picture Experts Group)-AAC(Advanced Audio Coding)，Dolby AC-3があり、ST(subtitle)のesとしては、例えば、SMPTE(Society of Motion Picture and Television Engineers)-TT(Timed Text)がある。
　図１９は、SMPTE-TTのSTのデータの例を示す図である。
　SMPTE-TTは、W3Cが標準化したXML(Extensible Markup Language)仕様であるTTML(Timed Text Markup Language)にPNG表示機能を追加した規格であり、XMLに時間概念を持たせたSTのデータフォーマットを規定する。
　図１９のSMPTE-TTのデータ（文書）によれば、例えば、エレメント１００１において、時刻"00:00:05:05"から時刻"00:00:10:05"までの間に、STとしてのテキスト"subtitle#1 is presented"が表示される。
　また、例えば、エレメント１００２において、時刻"00:00:10:05"から時刻"00:00:15:05"までの間に、STとしてのテキスト"subtitle#2 is presented"が表示される。
　本実施の形態では、STのデータ（フォーマット）として、SMPTE-TTを採用することとするが、STのデータとしては、XML以外の、例えば、HTML(HyperText Markup Language)その他のマークアップ言語を利用したフォーマット、さらには、その他の任意のフォーマットを採用することができる。
　＜生成装置１の第１の構成例＞
　図２０は、図１の生成装置１の第１の構成例を示すブロック図である。
　図２０において、生成装置１は、コントローラ２１、符号化処理部２２、及び、ファイル生成部２３を有する。
　図２０の生成装置１では、マスタのHDRデータが符号化処理部２２に入力される。
　コントローラ２１は、CPU(Central Processing Unit)、ROM(Read Only Memory)、RAM(Random Access Memory)等より構成される。コントローラ２１は、所定のプログラムを実行し、生成装置１の全体の動作を制御する。
　コントローラ２１においては、所定のプログラムが実行されることによってヘッダ情報生成部２１Ａが実現される。
　ヘッダ情報生成部２１Ａは、符号化処理部２２から供給されるtone_map_idを、tone_mapping_info_id_refとして格納したtirfボックス(ToneMappingInformationReferecenceBox)を含むmoofボックスと、vtmiボックス（reference_typeが"vtmi"のTrackReferenceTypeBox）を含むmoovボックスとを、ヘッダ情報として生成し、ファイル生成部２３に供給する。
　又は、ヘッダ情報生成部２１Ａは、符号化処理部２２から供給されるtone_map_idを、tone_mapping_info_id_refとして格納したtirfボックスと、vtmiボックスを含むmoovボックスを、ヘッダ情報として生成し、ファイル生成部２３に供給する。
　tirfボックス、及び、vtmiボックスについては、後述する。
　符号化処理部２２は、マスタのHDRデータの符号化を行うことにより、ビデオストリーム及びSTストリームを生成し、ファイル生成部２３に出力する。
　また、符号化処理部２２は、ビデオやSTに適用するTMI(tone_mapping_info)のtone_map_idを、コントローラ２１（のヘッダ情報生成部２１Ａ）に供給する。
　ファイル生成部２３は、コントローラ２１（のヘッダ情報生成部２１Ａ）から供給されるヘッダ情報と、符号化処理部２２から供給されるビデオストリーム及びSTストリームとを格納したMP4ファイルを生成して出力する。
　図２１は、図２０の生成装置１で生成されるMP4ファイルの例を示す図である。
　図２１のMP4ファイルは、フラグメントを有するfragmented movieのMP4ファイルであり、moovボックスは、ビデオ、オーディオ、及び、STのtrakボックスを有している。
　したがって、図２１のMP4ファイルは、ビデオのトラック、オーディオのトラック、及び、STのトラックを有する。
　ここで、MP4ファイルに格納されるビデオストリームが、ビデオを、例えば、HEVC方式で符号化することにより得られたストリームであり、TMIを含んでいるストリームであることとすると、ビデオのトラックには、TMIが含まれる。
　図２１のMP4ファイルは(後述する図２５のMP4ファイルも同様）、HEVC方式で符号化されたビデオストリームの他、例えば、AVC方式で符号化されたビデオストリーム等の、TMI（TMIと同様のHDR情報（特性情報及び変換情報）を含む）が含まれるビデオストリームを、MP4ファイルに格納する場合に適用することができる。
　図２０の生成装置１は、ビデオのトラックに含まれるTMIを、ビデオのトラック以外の、例えば、STのトラックから参照し、STのトラックに、いわば流用して適用することができるMP4ファイルを生成する。
　そのため、moovボックスのST(subtitle)のtrakボックスは、vtmiボックスを有するtrefボックス(TrackReferenceBox)を有している。
　trefボックスは、TrackReferenceTypeBoxを持つことができるが、vtmiボックスは、TrackReferenceTypeBoxの一種として新規に定義されたボックスである。
　いま、vtmiボックスを有する、あるSTのトラックを、注目する注目トラックとして注目すると、注目トラックとしてのSTのトラックが有するvtmiボックスには、注目トラックに適用するTMI（HDR情報）を含むトラック、すなわち、ここでは、ビデオのトラックを指定するトラック指定情報としての、ビデオのトラックのtrack_id（を表す後述するtrack_IDs[]）が格納される。
　したがって、注目トラックとしてのSTのトラックが有するvtmiボックスに格納されているtrack_idによって、注目トラックに適用するTMIを含むトラックとして参照すべき参照トラックを認識することができる。
　なお、TMIを含むビデオのトラックを、注目トラックとして注目すると、注目トラックとしてのビデオのトラックが、そのビデオのトラックに適用するTMIを含むトラックとして参照すべき参照トラックになる。
　このように、注目トラックが、その注目トラックに適用するTMIを含む参照トラックである場合には、注目トラックについては、参照トラックのtrack_idを格納したvtmiボックスを有するtrefボックスを、moovボックスの、注目トラックのtrakボックスに格納することを省略することができる。
　この場合、moovボックスの、注目トラックのtrakボックスに、vtmiボックスを有するtrefボックスが存在しない場合には、注目トラックが参照トラックであると認識することができる。
　図２１では、moovボックスのビデオのtrakボックスに、vtmiボックスを有するtrefボックスが格納されておらず、したがって、ビデオのトラックについては、そのビデオのトラックが、参照トラックとして認識される。
　ここで、注目トラックが、その注目トラックに適用するTMIを含む参照トラックである場合であっても、参照トラックのtrack_idを格納したvtmiボックスを有するtrefボックスを、moovボックスの、注目トラックのtrakボックスに格納することができる。
　すなわち、例えば、図２１において、ビデオのトラックについて、STのトラックと同様に、参照トラックとしてのビデオのトラックのtrack_idを格納したvtmiボックスを有するtrefボックスを、moovボックスのビデオのtrakボックスに格納することができる。
　なお、参照トラックとなるトラックのtrack_idを、あらかじめ決めておくことにより、vtmiボックスを有するtrefボックスは、省略することができる。
　図２１のMP4ファイルでは、ビデオ及びSTのそれぞれのトラックのmoofボックスは、そのトラックに適用するTMIを指定するHDR指定情報としての、tone_map_idを表すtone_mapping_info_id_refが格納されたtirfボックスを有するtrafボックスを有する。
　注目トラックのtirfボックスに格納されたtone_mapping_info_id_refを参照することにより、そのtone_mapping_info_id_refが表すtone_map_idのTMIが、注目トラックに適用するTMIとして認識される。
　なお、fragmented movieのMP4ファイルは、フラグメントごとに、moofボックスを有する。あるフラグメントのデータには、そのフラグメントのmoofボックスが有するtirfボックスに格納されたtone_mapping_info_id_refが表すtone_map_idのTMIのうちの有効なTMIが適用される。
　有効なTMIとは、例えば、復号済みの（取得されている）TMIのうちの最新のTMIである。
　fragmented movieのMP4ファイルでは、図２１に示すように、TMIを含むビデオのトラックのmoofボックスが有するtrafボックスには、ビデオのトラックに適用するTMIのtone_map_idを表すtone_mapping_info_id_refが格納されたtirfボックスB#2が格納される。
　また、ビデオのトラックに含まれるTMIを参照するSTのトラックについては、moovボックスのST(subtitle)のトラックのtrakボックスのtrefボックスに、参照トラックとしてのビデオのトラックのtrack_idが格納されたvtmiボックスB#1が格納される。
　さらに、STのトラックについては、そのSTのトラックのmoofボックスが有するtrafボックスに、STのトラックに適用するTMI（参照トラックとしてのビデオのトラックに含まれるTMI）のtone_map_idを表すtone_mapping_info_id_refが格納されたtirfボックスB#3が格納される。
　したがって、図２１のMP4ファイルによれば、例えば、ビデオのトラックを、注目トラックとして注目すると、moovボックスのビデオのtrakボックスが、vtmiボックスを有するtrefボックスを有しないので、注目トラックであるビデオのトラックが、そのビデオのトラックに適用するTMIを含む参照トラックであることを認識することができる。
　そして、参照トラックに含まれるTMIのうちの、注目トラックであるビデオのトラックのmoof/tarf/tirfボックス（moofボックスが有するtarfボックスが有するtirfボックス）B#2に格納されたtone_mapping_info_id_refが表すtone_map_idのTMIが、注目トラックに適用するTMIであることを認識することができる。
　また、図２１のMP4ファイルによれば、例えば、STのトラックを、注目トラックとして注目すると、moovボックスのSTのtrak/tref/vtmiボックス（trakボックスが有するtrefボックスが有するvtmiボックス）B#1に格納されたtrack_idによって、ビデオのトラックが、STのトラックに適用するTMIを含む参照トラックであることを認識することができる。
　そして、参照トラックに含まれるTMIのうちの、注目トラックであるSTのトラックのmoof/tarf/tirfボックスB#3に格納されたtone_mapping_info_id_refが表すtone_map_idのTMIが、注目トラックに適用するTMIであることを認識することができる。
　図２２は、trefボックスの定義を示す図である。
　trefボックスは、図２１で説明したように、TrackReferenceTypeBoxを持つことができる。
　TrackReferenceTypeBoxについては、そのTrackReferenceTypeBoxのrefernce_typeを、TrackReferenceTypeBoxの用途に応じて任意に定義して使用することができる。
　本実施の形態では、TrackReferenceTypeBoxを、TMIを含むビデオのトラックのtrack_idを格納する用途に用いることを表すrefernce_typeとして、"vtmi"を新規に定義し、refernce_typeが"vtmi"になっているTrackReferenceTypeBoxが、TMIを含むビデオのトラックのtrack_idを格納するvtmiボックスとして使用される。
　図２３は、vtmiボックスとしてのTrackReferenceTypeBoxの定義の例を示す図である。
　vtmiボックスは、track_idを表すtrack_IDs[]を有する（格納する）。
　track_IDs[]は、配列変数であり、複数のtrack_idを格納することができる。したがって、vtmiボックスによれば、STのトラックに適用するTMIを含むトラックとして、複数のトラックを指定することができる。
　図２４は、tirfボックスの定義の例を示す図である。
　tirfボックス(tone mapping information reference box)(ToneMappingInformationReferenceBox)は、そのtirfボックスを有するトラックに適用するTMIのtone_map_idを表すtone_mapping_info_id_refを格納するボックスとして、新規に定義されたボックスであり、trakボックス（に格納されるstblボックス(sample table box)）、又は、trafボックスに格納される。
　図２４において、sample_countは、stszボックスや、stz2ボックス、trunボックスに格納されるsample_countに等しく、サンプル数を表す。
　図２４では、tirfボックスは、サンプルごとに、number_of_tone_mapping_info_id_refだけの数のtone_mapping_info_id_refを格納することができる。
　したがって、tirfボックスによれば、１サンプルについて、その１サンプルに適用するTMIとして、number_of_tone_mapping_info_id_refだけの数のtone_mapping_info_id_refが表すtone_map_idのTMIを指定することができる。
　図２５は、図２０の生成装置１で生成されるMP4ファイルの他の例を示す図である。
　図２５のMP4ファイルは、フラグメントを有しないnon-fragmented movieのMP4ファイルであり、moovボックスは、ビデオ、オーディオ、及び、STのtrakボックスを有している。
　したがって、図２５のMP4ファイルは、ビデオのトラック、オーディオのトラック、及び、STのトラックを有する。
　図２５でも、図２１と同様に、ビデオのトラックは、TMIを含んでおり、ビデオのトラック以外の、例えば、STのトラックについては、ビデオのトラックに含まれるTMIを適用することができる。
　すなわち、non-fragmented movieのMP4ファイルでは、図２５に示すように、moovボックスの、TMIを含むビデオのトラックのtrakボックスが有するstblボックスに、ビデオのトラックに適用するTMIのtone_map_idを表すtone_mapping_info_id_refが格納されたtirfボックスB#11が格納される。
　また、ビデオのトラックに含まれるTMIを参照するSTのトラックについては、moovボックスのSTのトラックのtrakボックスが有するtrefボックスに、参照トラックとしてのビデオのトラックのtrack_idを表すtrack_IDs[]（図２３）が格納されたvtmiボックスB#12が格納される。
　さらに、STのトラックについては、moovボックスのSTのトラックのtrakボックスが有するstblボックスに、STのトラックに適用するTMI（参照トラックとしてのビデオのトラックに含まれるTMI）のtone_map_idを表すtone_mapping_info_id_refが格納されたtirfボックスB#13が格納される。
　したがって、図２５のMP4ファイルによれば、ビデオのトラックを、注目トラックとして注目すると、moovボックスのビデオのtrakボックスが、vtmiボックスを有するtrefボックスを有しないので、注目トラックであるビデオのトラックが、そのビデオのトラックに適用するTMIを含む参照トラックであることが認識される。
　そして、moovボックスのビデオのtrak/stblボックス（trakボックスが有するstblボックス）は、tirfボックスB#11を有しているので、参照トラック（ここでは、ビデオのトラック）に含まれるTMIのうちの、ビデオのtrak/stbl/tirf（trakボックスが有するstblボックスが有するtirfボックス）B#11に格納されたtone_mapping_info_id_refが表すtone_map_idのTMIが、注目トラックに適用するTMIであることが認識される。
　また、図２５において、例えば、STのトラックを、注目トラックとして注目すると、moovボックスのSTのtrak/tref/vtmiボックスB#12が存在するので、そのtrak/tref/vtmiボックスB#12に格納されたtrack_idによって、ビデオのトラックが、STのトラックに適用するTMIを含む参照トラックであることが認識される。
　そして、moovボックスの、注目トラックであるSTのトラックのtark/stbl/tirfボックスB#13が存在するので、参照トラックに含まれるTMIのうちの、注目トラックであるSTのトラックのtark/stbl/tirfボックスB#13に格納されたtone_mapping_info_id_refが表すtone_map_idのTMIが、注目トラックに適用するTMIであることが認識される。
　なお、non-fragmented movieのMP4ファイルでは、注目トラックには、その注目トラックのtirfボックスに格納されたtone_mapping_info_id_refが表すtone_map_idのTMIのうちの有効なTMIが適用される。
　有効なTMIとは、上述したように、例えば、復号済みの（取得されている）TMIのうちの最新のTMIである。
　図２０の生成装置１では、以上のように、HDR情報としてのTMIを含むビデオのトラックと、ビデオのトラックに含まれるTMIのうちの、STのトラックに適用するTMIを指定するHDR指定情報としてのtone_mapping_info_id_refを含むSTのトラックとが格納されたMP4ファイルが生成されるので、ビデオのトラックに含まれるTMIを、STに流用して適用することができ、STについて、TMIを別個に付加する必要がない。
　したがって、例えば、Blu-ray（登録商標）ディスクに記録されるm2tsフォーマットの、TMIを含むビデオと、そのビデオとともに再生されるSTとを、STについて、TMIを別個に付加することなく、MP4ファイルにコンバートすることができる。
　その結果、MP4ファイルへのTMIの導入を促進し、ユーザが、HDRビデオやHDR ST等のHDR画像を享受する機会を増やすことができる。
　＜符号化処理部２２の構成例＞
　図２６は、図２０の符号化処理部２２の構成例を示すブロック図である。
　符号化処理部２２は、特性情報生成部３１、エンコーダ３２、変換部３３、変換情報生成部３４、エンコーダ３５、及び、ストリーム生成部３６を有する。
　特性情報生成部３１は、符号化処理部２２に入力されたマスタのHDRデータの輝度を検出し、図１２を参照して説明した各情報を含む特性情報としてのTMI(tone_mapping_info)を生成する。特性情報生成部３１は、生成した特性情報としてのTMIを、ストリーム生成部３６に供給する。
　なお、特性情報生成部３１は、マスタのHDRデータのうちの、例えば、HDRビデオの輝度を検出し、ビデオ（HDRビデオ）の特性情報としてのTMIを生成する。また、特性情報生成部３１は、マスタのHDRデータのうちの、例えば、HDR STについては、そのHDR STと同時に表示されるHDRビデオの特性情報としてのTMIを、ST（HDR ST）の特性情報としてのTMIとして採用する。
　エンコーダ３２は、処理モードがmode-iである場合、入力されたマスタのHDRビデオを、例えば、HEVC方式で符号化する。また、エンコーダ３２は、処理モードがmode-iiである場合、変換部３３から供給されるSTDビデオをHEVC方式で符号化する。エンコーダ３２は、HDRビデオの符号化データ、又は、STDビデオの符号化データを、ストリーム生成部３６に供給する。なお、ビデオの符号化方式は、HEVC方式に限定されない。
　変換部３３は、符号化処理部２２に入力されたマスタのHDRデータをSTDデータに変換する。変換部３３による変換は、適宜、オーサにより入力された変換パラメータに従って行われる。変換部３３は、HDRデータのRGB信号をinput dataとするとともに、STDデータのRGB信号をoutput dataとして、input dataとoutput dataの対応関係を示す情報を、変換情報生成部３４に出力する。
　また、変換部３３は、処理モードがmode-iiである場合、HDRビデオを変換して得られるSTDビデオを、エンコーダ３２に供給し、HDR STを変換して得られるSTD STを、エンコーダ３５に供給する。
　変換情報生成部３４は、変換部３３から供給される情報に基づいて、変換情報としてのTMIを生成する。
　例えば、変換情報生成部３４は、tone_map_model_id＝0が用いられる場合、図９のmin_valueとmax_valueの値を含むTMI(tone_mapping_info)を、変換情報として生成する。
　また、変換情報生成部３４は、tone_map_model_id＝2が用いられる場合、図１０のstart_of_coded_interval[i]を含むTMIを、変換情報として生成する。
　さらに、変換情報生成部３４は、tone_map_model_id＝3が用いられる場合、図１１のnum_pivotsにより指定される数のcoded_pivot_value[i]とtarget_pivot_value[i]を含むTMIを、変換情報として生成する。
　なお、変換情報生成部３４は、例えば、ビデオについて、変換情報としてのTMIを生成し、STについては、そのSTと同時に表示されるビデオの変換情報としてのTMIを、STの変換情報としてのTMIとして採用する。
　エンコーダ３５は、処理モードがmode-iである場合、符号化処理部２２に入力されたマスタのHDR STを、SMPTE-TTフォーマットのSTのデータに符号化する。また、エンコーダ３５は、処理モードがmode-iiである場合、変換部３３から供給されるSTD STを、SMPTE-TTフォーマットのSTのデータに符号化する。エンコーダ３５は、符号化の結果得られるSTのデータを、ストリーム生成部３６に供給する。
　ストリーム生成部３６は、特性情報生成部３１から供給されるビデオ、及び、STの特性情報としてのTMIのtone_map_idを、コントローラ２１（図２０）に供給する。
　また、ストリーム生成部３６は、変換情報生成部３４から供給されるビデオ、及び、STの変換情報としてのTMIのtone_map_idを、コントローラ２１に供給する。
　さらに、ストリーム生成部３６は、ビデオのTMI（STのTMIでもある）を、SEIとして、エンコーダ３２からのビデオの符号化データに挿入し、ビデオストリームを生成する。
　また、ストリーム生成部３６は、エンコーダ３５からのSTのデータを、STストリームとして、ビデオストリームとともに、図２０のファイル生成部２３に供給する。
　図２７は、図２６の変換部３３による、HDRデータをSTDデータに変換する変換の処理の例を示す図である。
　変換部３３は、矢印＃２０１で示すように、符号化処理部２２に入力されたマスタのHDRデータのYCrCb信号をRGB(red,green,blue)信号に変換し、RGBの各信号を対象として、STDデータのRGBの各信号への変換（tone mapping）を行う。
　変換部３３は、input dataであるHDRデータのRGB信号とoutput dataであるSTDデータのRGB信号の対応関係を示す情報を、変換情報生成部３４に出力する。変換情報生成部３４に出力された情報は、矢印＃２０２で示すように変換情報の生成に用いられる。
　また、変換部３３は、矢印＃２０３で示すように、STDデータのRGB信号をYCrCb信号に変換し、出力する。
　図２８は、tone mappingの例を示す図である。
　HDRデータのRGB信号は、例えば、図２８に示すように、高輝度成分を圧縮し、中・低域輝度成分を伸張するようにしてSTDデータのRGB信号に変換される。図２８に示すようなHDRデータのRGB信号とSTDデータのRGB信号を対応付ける関数Ｆに相当する情報が、変換情報として、変換情報生成部３４により生成される。
　なお、図２８に示す関数Ｆに相当する変換情報は、図１１を参照して説明した、coded_dataとtarget_dataの関係を折れ線関数により示すtone_map_model_id＝3のTMIに相当する。
　＜生成装置１のファイル生成処理＞
　図２９は、図２０の生成装置１が行うファイル生成処理の例を説明するフローチャートである。
　マスタのHDRデータが生成装置１に入力されると、ステップＳ１において、生成装置１のコントローラ２１は、処理モードがmode-iであるか否かを判定する。処理モードは、例えば、オーサにより設定される。
　処理モードがmode-iであるとステップＳ１において判定された場合、ステップＳ２に進み、符号化処理部２２は、mode-iでの符号化処理を行う。mode-iでの符号化処理により生成されたビデオストリームとSTストリームは、符号化処理部２２からファイル生成部２３に供給される。
　一方、処理モードがmode-iiであるとステップＳ１において判定された場合、ステップＳ３に進み、符号化処理部２２は、mode-iiでの符号化処理を行う。mode-iiでの符号化処理により生成されたビデオストリームとSTストリームは、符号化処理部２２からファイル生成部２３に供給される。
　ステップＳ２又はＳ３の後、処理は、ステップＳ４に進み、ヘッダ情報生成部２１Ａは、ヘッダ情報生成処理を行う。ヘッダ情報生成処理により生成されたヘッダ情報は、ヘッダ情報生成部２１Ａからファイル生成部２３に供給され、処理は、ステップＳ５に進む。
　ステップＳ５において、ファイル生成部２３は、符号化処理部２２からのビデオストリーム、及び、STストリーム、並びに、ヘッダ情報生成部２１Ａからのヘッダ情報を格納した、図２１、又は、図２５のMP4ファイルを生成して出力し、ファイル生成処理は終了する。
　図３０は、図２９のステップＳ２において行われるmode-iの符号化処理の例を説明するフローチャートである。
　ステップＳ１１において、符号化処理部２２（図２６）の特性情報生成部３１は、マスタのHDRデータの輝度を検出し、ビデオ及びSTの特性情報としてのTMIを生成して、ストリーム生成部３６に供給し、処理は、ステップＳ１２に進む。
　ステップＳ１２において、エンコーダ３２は、マスタのHDRビデオをHEVC方式で符号化し、HDRビデオの符号化データを生成して、ストリーム生成部３６に供給し、処理は、ステップＳ１３に進む。なお、ビデオの符号化方式は、HEVC方式に限定されない。
　ステップＳ１３において、エンコーダ３５は、マスタのHDR STを符号化し、SMPTE-TTフォーマットのSTのデータを生成して、ストリーム生成部３６に供給し、処理は、ステップＳ１４に進む。
　ステップＳ１４において、変換部３３は、入力されたマスタのHDRデータをSTDデータに変換し、HDRデータのRGB信号をinput dataとするとともに、STDデータのRGB信号をoutput dataとする、input dataとoutput dataの対応関係を示す情報を、変換情報生成部３４に供給する。
　その後、処理は、ステップＳ１４からステップＳ１５に進み、変換情報生成部３４は、変換部３３から供給された情報に基づいて、ビデオ及びSTの変換情報としてのTMIを生成し、ストリーム生成部３６に供給して、処理は、ステップＳ１６に進む。
　ステップＳ１６において、ストリーム生成部３６は、符号化データのSEIとして、特性情報生成部３１からの特性情報としてのTMIと、変換情報生成部３４からの変換情報としてのTMIを、エンコーダ３２からの符号化データに挿入し、ビデオストリームを生成する。
　そして、ストリーム生成部３６は、エンコーダ３５からのSTのデータを、STストリームとして、ビデオストリームとともに、ファイル生成部２３（図２０）に供給する。
　また、ストリーム生成部３６は、ビデオのTMI（ビデオに適用するTMI）のtone_map_idと、STのTMI（STに適用するTMI）のtone_map_idとを、コントローラ２１（図２０）に供給し、mode-iの符号化処理は終了する（リターンする）。
　図３１は、図２９のステップＳ３において行われるmode-iiの符号化処理の例を説明するフローチャートである。
　ステップＳ２１において、符号化処理部２２の特性情報生成部３１は、マスタのHDRデータの輝度を検出し、ビデオ及びSTの特性情報としてのTMIを生成して、ストリーム生成部３６に供給する。
　その後、ステップＳ２２において、変換部３３は、入力されたマスタのHDRデータをSTDデータに変換し、STDデータのうちのSTDビデオを、エンコーダ３２に供給するとともに、STD STを、エンコーダ３５に供給する。
　さらに、変換部３３は、HDRデータのRGB信号をinput dataとするとともに、STDデータのRGB信号をoutput dataとする、input dataとoutput dataの対応関係を示す情報を、変換情報生成部３４に供給し、処理は、ステップＳ２２からステップＳ２３に進む。
　ステップＳ２３において、変換情報生成部３４は、変換部３３から供給された情報に基づいて、ビデオ及びSTの変換情報としてのTMIを生成して、ストリーム生成部３６に供給して、処理は、ステップＳ２４に進む。
　ステップＳ２４において、エンコーダ３２は、変換部３３からのSTDビデオをHEVC方式で符号化し、STDビデオの符号化データを生成して、ストリーム生成部３６に供給する。なお、ビデオの符号化方式は、HEVC方式に限定されない。
　その後、ステップＳ２５において、エンコーダ３５は、変換部３３からのSTD STを符号化し、SMPTE-TTフォーマットのSTのデータを生成して、ストリーム生成部３６に供給する。
　そして、ステップＳ２６において、ストリーム生成部３６は、符号化データのSEIとして、特性情報生成部３１からの特性情報としてのTMIと、変換情報生成部３４からの変換情報としてのTMIを、エンコーダ３２からの符号化データに挿入し、ビデオストリームを生成する。
　さらに、ストリーム生成部３６は、エンコーダ３５からのSTのデータを、STストリームとして、ビデオストリームとともに、ファイル生成部２３（図２０）に供給する。
　また、ストリーム生成部３６は、ビデオのTMIのtone_map_idと、STのTMIのtone_map_idとを、コントローラ２１（図２０）に供給し、mode-iiの符号化処理は終了する（リターンする）。
　図３２は、図２９のステップＳ４において行われるヘッダ情報生成処理の例を説明するフローチャートである。
　ステップＳ３１において、コントローラ２１（図２０）のヘッダ情報生成部２１Ａは、符号化処理部２２（のストリーム生成部３６（図２６））から供給されるビデオのTMI（ビデオに適用するTMI）のtone_map_idを表すtone_mapping_info_id_refを格納したtirfボックス（図２１、図２４、図２５）を生成する。
　さらに、ヘッダ情報生成部２１Ａは、符号化処理部２２から供給されるSTのTMI（STに適用するTMI）のtone_map_idを表すtone_mapping_info_id_refを格納したtirfボックス（図２１、図２４、図２５）を生成する。
　また、ヘッダ情報生成部２１Ａは、STに適用されるTMIを含むビデオストリームのトラックのtrack_idを表すtrack_IDs[]を格納したvtmiボックス（図２１、図２３、図２５）を生成して、処理は、ステップＳ３１からステップＳ３２に進む。
　ステップＳ３２では、ヘッダ情報生成部２１Ａは、vtmiボックスを含むmoovボックスと、tirfボックスを含むmoofボックスとを作成するか、又は、vtmiボックスとtirfボックスとを含むmoovボックスを作成し、ヘッダ情報として、ファイル生成部２３（図２０）に供給して、ヘッダ情報生成処理は終了する。
　すなわち、ファイル生成部２３において、fragmented movieのMP4ファイルが生成される場合、ヘッダ情報生成部２１Ａは、図２１に示したような、STのトラックのtrak/trefボックスに、vtmiボックスが含まれるmoovボックスを生成する。
　さらに、ヘッダ情報生成部２１Ａは、図２１に示したような、ビデオのトラックのtrafボックスに、tirfボックスが含まれるmoofボックス、及び、STのトラックのtrafボックスに、tirfボックスが含まれるmoofボックスを生成する。
　一方、ファイル生成部２３において、non-fragmented movieのMP4ファイルが生成される場合、ヘッダ情報生成部２１Ａは、図２５に示したような、ビデオのトラックのtrakボックスに含まれるstblボックスに、tirfボックスが含まれ、かつ、STのトラックのtrak/trefボックスに、vtmiボックスが含まれるとともに、STのトラックのtrakボックスに含まれるstblボックスに、tirfボックスが含まれるmoovボックスを生成する。
　＜再生装置２の第１の構成例＞
　図３３は、図１の再生装置２の第１の構成例を示すブロック図である。
　図３３において、再生装置２は、ファイル取得部５１、分離部５２、操作入力部５３、コントローラ５４、復号処理部５５、及び、合成出力部５６を有する。
　ファイル取得部５１は、記録媒体１１や伝送媒体１２（図１）から、MP4ファイルを取得し、分離部５２に供給する。
　分離部５２は、ファイル取得部５１からのMP4ファイルから、ヘッダ情報としてのmoovボックスやmoofボックスを分離（取得）し、コントローラ５４に供給する。
　また、分離部５２は、ファイル取得部５１からのMP4ファイルから、mdatボックスに格納された実データとしてのビデオストリームやSTストリームを分離(取得）し、復号処理部５５に供給する。
　操作入力部５３は、ボタン、キー、タッチパネル等の入力デバイスや、所定のリモートコマンダから送信される赤外線等の信号を受信する受信部により構成され、ユーザの操作を受け付ける。そして、操作入力部５３は、ユーザの操作に対応する操作信号を、コントローラ５４に供給する。
　コントローラ５４は、CPU、ROM、RAM等より構成される。コントローラ５４は、所定のプログラムを実行し、再生装置２の全体の動作を制御する。
　例えば、コントローラ５４は、分離部５２から供給されるmoovボックスに含まれるvtmiボックスに格納されたtrack_IDs[]（図２１、図２３、図２５）や、tirfボックスに格納されたtone_mapping_info_id_ref（図２１、図２４、図２５）を、復号処理部５５に供給する。また、例えば、コントローラ５４は、分離部５２から供給されるmoofボックスに含まれるtirfボックスに格納されたtone_mapping_info_id_refを、復号処理部５５に供給する。
　復号処理部５５は、デコーダ５５Ａとデコーダ５５Ｂとを有する。
　デコーダ５５Ａは、ビデオのトラックを、参照トラック（適用するTMIを含むトラックとして参照すべきトラック）として認識し、分離部５２から供給されるビデオのトラックのビデオストリームのSEIから特性情報及び変換情報としてのTMI(tone_mapping_info)を、参照トラックに含まれるTMIとして取得する取得部として機能する。
　また、デコーダ５５Ａは、分離部５２から供給されるビデオストリームに含まれる符号化データをHEVC方式で復号する。
　さらに、デコーダ５５Ａは、参照トラックとしてのビデオのトラックに含まれるTMIの中から、コントローラ５４から供給される、ビデオのトラックのtirfボックスに格納されたtone_mapping_info_id_refが表すtone_map_idのTMIを、ビデオに適用するTMIとして取得する。
　そして、デコーダ５５Ａは、必要に応じて、復号の結果得られるHDRビデオ又はSTDビデオを、ビデオに適用する変換情報としてのTMIに基づいて、STDビデオ又はHDRビデオに変換し、合成出力部５６に出力する。
　デコーダ５５Ａは、HDRビデオを出力する場合、HDRビデオとともに、ビデオに適用する特性情報としてのTMIを、合成出力部５６に出力する。
　デコーダ５５Ｂは、分離部５２から供給されるSTストリームを復号する。
　また、デコーダ５５Ｂは、コントローラ５４から供給される、STのトラックのvtmiボックスに格納されたtrack_IDs[]が表すtrack_idのトラック、すなわち、本実施の形態では、ビデオのトラックを、参照トラックとして認識し、その参照トラックに含まれるTMIを取得する取得部として機能する。
　具体的には、デコーダ５５Ｂは、分離部５２から供給される、参照トラックとしてのビデオのトラックのビデオストリームのSEIから特性情報及び変換情報としてのTMIを、参照トラックに含まれるTMIとして取得する。
　さらに、デコーダ５５Ｂは、参照トラックとしてのビデオのトラックに含まれるTMIの中から、コントローラ５４から供給される、STのトラックのtirfボックスに格納されたtone_mapping_info_id_refが表すtone_map_idのTMIを、STに適用するTMIとして取得する。
　そして、デコーダ５５Ｂは、必要に応じて、復号の結果得られるHDR ST又はSTD STを、STに適用する、変換情報としてのTMIに基づいて、STD ST又はHDR STに変換し、合成出力部５６に出力する。
　デコーダ５５Ｂは、HDR STを出力する場合、HDR STとともに、STに適用する、特性情報としてのTMIを、合成出力部５６に出力する。
　合成出力部５６は、ケーブル４（図１）を介して表示装置３との間で通信を行う。例えば、合成出力部５６は、表示装置３が有するモニタの性能に関する情報を取得し、コントローラ５４に出力する。
　また、合成出力部５６は、デコーダ５５Ａから供給されるHDRビデオ又はSTDビデオと、デコーダ５５Ｂから供給されるHDR ST又はSTD STを、必要に応じて合成して、表示装置３に出力する。
　さらに、合成出力部５６は、デコーダ５５Ａ及びデコーダ５５Ｂから供給される特性情報としてのTMIを、表示装置３に出力する。
　＜再生装置２の再生処理＞
　図３４は、図３３の再生装置２が行う再生処理の例を説明するフローチャートである。
　なお、再生装置２では、再生処理が開始される前に、コントローラ５４が、合成出力部５６を制御して表示装置３と通信を行い、表示装置３の性能を表す情報としての、例えば、EDID(Extended display identification data)を取得していることとする。
　ステップＳ４１において、ファイル取得部５１は、生成装置１で生成されたMP4ファイルを取得し、分離部５２に供給する。
　分離部５２は、ファイル取得部５１からのMP4ファイルから、ヘッダ情報としてのmoovボックスやmoofボックスを読み出すとともに、mdatボックスに格納された実データとしてのビデオストリームやSTストリームを読み出す。
　そして、分離部５２は、ヘッダ情報としてのmoovボックスやmoofボックスを、コントローラ５４に供給するとともに、ビデオストリームやSTストリームを、復号処理部５５に供給する。
　また、コントローラ５４は、分離部５２から供給されるmoovボックスに含まれるvtmiボックスに格納されたtrack_IDs[]や、tirfボックスに格納されたtone_mapping_info_id_refを、復号処理部５５に供給する。さらに、コントローラ５４は、分離部５２から供給されるmoofボックスに含まれるtirfボックスに格納されたtone_mapping_info_id_refを、復号処理部５５に供給する。
　その後、処理は、ステップＳ４１からステップＳ４２に進み、コントローラ５４は、ファイル取得部５１で取得されたMP4ファイルの処理モードがmode-i又はmode-iiであるかどうか、すなわち、ファイル取得部５１で取得されたMP4ファイルが、mode-i又はmode-iiの符号化処理で得られたファイルであるかどうかを判定する。
　ここで、コントローラ５４でのステップＳ４２における処理モードの判定は、例えば、ヘッダ情報としてのmoovボックスに、MP4ファイルの処理モードを表す情報を含めておき、その情報に基づいて行うことができる。
　処理モードがmode-iであるとステップＳ４２において判定された場合、ステップＳ４３に進み、復号処理部５５は、mode-iの復号処理を行う。
　一方、処理モードがmode-iiであるとステップＳ４２において判定された場合、ステップＳ４４に進み、復号処理部５５は、mode-iiの復号処理を行う。
　ステップＳ４３又はステップＳ４４において復号処理が行われた後、再生処理は終了する。
　図３５は、図３４のステップＳ４３において行われるmode-iの復号処理の例を説明するフローチャートである。
　ステップＳ６１において、デコーダ５５Ａは、ビデオのトラックを、参照トラックとして認識し、分離部５２から供給されるビデオのトラックのビデオストリームのSEIから特性情報及び変換情報としてのTMIを、参照トラックに含まれるTMIとして取得する。
　さらに、ステップＳ６１では、デコーダ５５Ｂは、コントローラ５４から供給される、STのトラックのvtmiボックスに格納されたtrack_IDs[]が表すtrack_idのトラック（トラック指定情報としてのtrack_IDs[]が指定するトラック）であるビデオのトラックを、参照トラックとして認識し、その参照トラックに含まれるTMIを取得する。
　すなわち、デコーダ５５Ｂは、デコーダ５５Ａと同様に、分離部５２から供給される、参照トラックとしてのビデオのトラックのビデオストリームのSEIから特性情報及び変換情報としてのTMIを、参照トラックに含まれるTMIとして取得する。
　その後、処理は、ステップＳ６１からステップＳ６２に進み、デコーダ５５Ａは、分離部５２からのビデオストリームに含まれる符号化データをHEVC方式で復号し、HDRビデオを生成して、処理は、ステップＳ６３に進む。なお、ビデオの復号（符号化）方式は、HEVC方式に限定されない。
　ステップＳ６３において、デコーダ５５Ｂは、分離部５２からのSTストリーム、すなわち、例えば、SMPTE-TTフォーマットのSTのデータのストリームを、HDR STに復号し、処理は、ステップＳ６４に進む。
　ステップＳ６４において、コントローラ５４は、表示装置３が有するモニタがHDRモニタであるか否かを判定する。
　ここで、図３４で説明したように、コントローラ５４は、表示装置３から、その表示装置３の性能を表す情報としてのEDIDを取得しており、そのEDIDに基づいて、表示装置３が有するモニタがHDRモニタであるかどうかが判定される。
　表示装置３が有するモニタがHDRモニタであるとステップＳ６４において判定された場合、処理は、ステップＳ６５に進む。
　ステップＳ６５において、デコーダ５５Ａは、参照トラックとしてのビデオのトラックに含まれるTMIの中から、コントローラ５４から供給される、ビデオのトラックのtirfボックスに格納されたtone_mapping_info_id_refが表すtone_map_idのTMI（HDR指定情報としてのtone_mapping_info_id_refが指定するTMI）を、ビデオに適用するTMIとして取得する。
　また、デコーダ５５Ｂは、参照トラックとしてのビデオのトラックに含まれるTMIの中から、コントローラ５４から供給される、STのトラックのtirfボックスに格納されたtone_mapping_info_id_refが表すtone_map_idのTMI（HDR指定情報としてのtone_mapping_info_id_refが指定するTMI）を、STに適用するTMIとして取得する。
　その後、処理は、ステップＳ６５からステップＳ６６に進み、デコーダ５５Ａは、HDRビデオを、ビデオに適用する特性情報としてのTMIとともに、合成出力部５６に供給する。また、デコーダ５５Ｂは、HDR STを、STに適用する特性情報としてのTMIとともに、合成出力部５６に供給する。
　合成出力部５６では、HDRビデオとHDR STとが、必要に応じて合成され、特性情報としてのTMIとともに、表示装置３（図１）に供給（送信）される。
　一方、表示装置３が有するモニタがHDRモニタではなく、STDモニタであるとステップＳ６４において判定された場合、処理は、ステップＳ６７に進む。
　ステップＳ６７において、デコーダ５５Ａは、参照トラックとしてのビデオのトラックに含まれるTMIの中から、コントローラ５４から供給される、ビデオのトラックのtirfボックスに格納されたtone_mapping_info_id_refが表すtone_map_idのTMI（HDR指定情報としてのtone_mapping_info_id_refが指定するTMI）を、ビデオに適用するTMIとして取得する。
　また、デコーダ５５Ｂは、参照トラックとしてのビデオのトラックに含まれるTMIの中から、コントローラ５４から供給される、STのトラックのtirfボックスに格納されたtone_mapping_info_id_refが表すtone_map_idのTMI（HDR指定情報としてのtone_mapping_info_id_refが指定するTMI）を、STに適用するTMIとして取得する。
　その後、処理は、ステップＳ６７からステップＳ６８に進み、デコーダ５５Ａは、ビデオに適用する変換情報としてのTMIに基づいて、復号の結果得られたHDRビデオを、STDビデオに変換する。
　また、デコーダ５５Ｂは、STに適用する変換情報としてのTMIに基づいて、復号の結果得られたHDR STを、STD STに変換する。
　そして、処理は、ステップＳ６８からステップＳ６９に進み、デコーダ５５Ａは、STDビデオを、合成出力部５６に供給する。また、デコーダ５５Ｂは、STD STを、合成出力部５６に供給する。
　合成出力部５６では、STDビデオとSTD STとが、必要に応じて合成され、表示装置３（図１）に供給（送信）される。
　ステップＳ６６又はＳ６９の後、処理は、ステップＳ７０に進み、コントローラ５４は、再生終了か否かを判定する。
　再生終了ではないとステップＳ７０において判定された場合、処理は、ステップＳ６１に戻り、同様の処理が繰り返し実行される。一方、再生終了であるとステップＳ７０において判定された場合、mode-iの復号処理は終了する。
　図３６は、図３４のステップＳ４４において行われるmode-iiの復号処理の例を説明するフローチャートである。
　ステップＳ８１において、デコーダ５５Ａ及び５５Ｂは、図３５のステップＳ６１と同様に、参照トラックに含まれるTMIを取得する。
　すなわち、デコーダ５５Ａは、ビデオのトラックを、参照トラックとして認識し、分離部５２から供給されるビデオのトラックのビデオストリームのSEIから特性情報及び変換情報としてのTMIを、参照トラックに含まれるTMIとして取得する。
　デコーダ５５Ｂは、コントローラ５４から供給される、STのトラックのvtmiボックスに格納されたtrack_IDs[]が表すtrack_idのトラック（トラック指定情報としてのtrack_IDs[]が指定するトラック）であるビデオのトラックを、参照トラックとして認識し、分離部５２から供給される、参照トラックとしてのビデオのトラックのビデオストリームのSEIから特性情報及び変換情報としてのTMIを、参照トラックに含まれるTMIとして取得する。
　その後、処理は、ステップＳ８１からステップＳ８２に進み、デコーダ５５Ａは、分離部５２からのビデオストリームに含まれる符号化データをHEVC方式で復号し、STDビデオを生成して、処理は、ステップＳ８３に進む。なお、ビデオの復号（符号化）方式は、HEVC方式に限定されない。
　ステップＳ８３において、デコーダ５５Ｂは、STストリーム、すなわち、例えば、SMPTE-TTフォーマットのSTのデータのストリームを、STD STに復号し、処理は、ステップＳ８４に進む。
　ステップＳ８４において、コントローラ５４は、例えば、図３５のステップＳ６４と同様に、表示装置３が有するモニタがHDRモニタであるか否かを判定する。
　表示装置３が有するモニタがHDRモニタであるとステップＳ８４において判定された場合、処理は、ステップＳ８５に進む。
　ステップＳ８５において、デコーダ５５Ａは、参照トラックとしてのビデオのトラックに含まれるTMIの中から、コントローラ５４から供給される、ビデオのトラックのtirfボックスに格納されたtone_mapping_info_id_refが表すtone_map_idのTMI（HDR指定情報としてのtone_mapping_info_id_refが指定するTMI）を、ビデオに適用するTMIとして取得する。
　また、デコーダ５５Ｂは、参照トラックとしてのビデオのトラックに含まれるTMIの中から、コントローラ５４から供給される、STのトラックのtirfボックスに格納されたtone_mapping_info_id_refが表すtone_map_idのTMI（HDR指定情報としてのtone_mapping_info_id_refが指定するTMI）を、STに適用するTMIとして取得する。
　その後、処理は、ステップＳ８５からステップＳ８６に進み、デコーダ５５Ａは、ビデオに適用する変換情報としてのTMIに基づいて、復号の結果得られたSTDビデオを、HDRビデオに変換する。また、デコーダ５５Ｂは、STに適用する変換情報としてのTMIに基づいて、復号の結果得られたSTD STを、HDR STに変換する。
　そして、処理は、ステップＳ８６からステップＳ８７に進み、デコーダ５５Ａは、HDRビデオを、ビデオに適用する特性情報としてのTMIとともに、合成出力部５６に供給する。また、デコーダ５５Ｂは、HDR STを、STに適用する特性情報としてのTMIとともに、合成出力部５６に供給する。
　合成出力部５６では、HDRビデオとHDR STとが、必要に応じて合成され、特性情報としてのTMIとともに、表示装置３（図１）に供給される。
　一方、表示装置３が有するモニタがSTDモニタであるとステップＳ８４において判定された場合、処理は、ステップＳ８８に進み、デコーダ５５Ａは、ステップＳ８２の復号で得られたSTDビデオを、合成出力部５６に供給する。また、デコーダ５５Ｂは、ステップＳ８３の復号で得られたSTD STを、合成出力部５６に供給する。
　合成出力部５６では、STDビデオとSTD STとが、必要に応じて合成され、表示装置３（図１）に供給される。
　ステップＳ８７又はＳ８８の後、処理は、ステップＳ８９に進み、コントローラ５４は、再生終了か否かを判定する。
　再生終了ではないとステップＳ８９において判定された場合、処理は、ステップＳ８１に戻り、同様の処理が繰り返し実行される。一方、再生終了であるとステップＳ８９において判定された場合、mode-iiの復号処理は終了する。
　＜表示装置３の構成例＞
　図３７は、図１の表示装置３の構成例を示すブロック図である。
　表示装置３は、コントローラ１０１、通信部１０２、信号処理部１０３、及び、モニタ１０４を有する。コントローラ１０１は、例えば、モニタ１０４の性能を表すEDID(Extended display identification data)等を記憶しているメモリ１０１Ａを有する。
　コントローラ１０１は、CPU、ROM、RAM等より構成される。コントローラ１０１は、所定のプログラムを実行し、表示装置３の全体の動作を制御する。
　例えば、コントローラ１０１は、再生装置２との認証時、メモリ１０１Ａに記憶されているEDIDを通信部１０２に出力し、再生装置２に対して送信させる。EDIDに基づいて、表示装置３のモニタ１０４の性能が再生装置２により特定される。
　通信部１０２は、ケーブル４（図１）を介して再生装置２との間で通信を行う。通信部１０２は、再生装置２から送信されてくるHDRデータ又はSTDデータを受信し、信号処理部１０３に出力する。また、通信部１０２は、コントローラ１０１から供給されるEDIDを再生装置２に送信する。
　信号処理部１０３は、通信部１０２から供給されるHDRデータ又はSTDデータの処理を行い、画像をモニタ１０４に表示させる。
　＜表示装置３の表示処理＞
　図３８は、図３７の表示装置３が行う表示処理の例を説明するフローチャートである。
　ここでは、表示装置３が有するモニタ１０４がHDRモニタである場合について説明する。HDRモニタを有する表示装置３に対しては、特性情報が付加されたHDRデータが再生装置２から送信されてくる。
　ステップＳ１０１において、表示装置３の通信部１０２は、再生装置２から送信されてくるHDRデータと特性情報を受信し、処理は、ステップＳ１０２に進む。
　ステップＳ１０２において、コントローラ１０１は、特性情報を参照し、再生装置２から送信されてきたHDRデータをそのまま表示可能であるか否かを判定する。特性情報には、マスタのHDRデータ、すなわち、再生装置２から送信されてきたHDRデータの輝度の特性を示す特性情報としてのTMIが含まれる。ステップＳ１０２における判定は、特性情報としてのTMIにより特定されるHDRデータの輝度の特性と、モニタ１０４の表示性能を比較することによって行われる。
　例えば、特性情報としてのTMIにより特定されるHDRデータのダイナミックレンジが0-400％であり、モニタ１０４のダイナミックレンジが0-500％（例えば100％の明るさを100cd/m2とすると500cd/m2）である場合、HDRデータをそのまま表示可能であると判定される。一方、特性情報としてのTMIにより特定されるHDRデータのダイナミックレンジが0-400％であり、モニタ１０４のダイナミックレンジが0-300％である場合、HDRデータをそのまま表示することができないと判定される。
　HDRデータをそのまま表示可能であるとステップＳ１０２において判定された場合、処理は、ステップＳ１０３に進み、信号処理部１０３は、HDRデータに対応するHDR画像を、特性情報としてのTMIにより指定される輝度に従ってモニタ１０４に表示させる。例えば、図１２の曲線L12で示す輝度の特性が特性情報としてのTMIにより指定されている場合、各輝度値は曲線L12で示す0-400％の範囲の明るさを表す。
　一方、HDRデータをそのまま表示させることができないとステップＳ１０２において判定された場合、処理は、ステップＳ１０４に進み、信号処理部１０３は、モニタ１０４の表示性能に応じて、HDRデータの輝度を調整し、輝度を調整したHDRデータに対応するHDR画像を表示させる。例えば、図１２の曲線L12で示す輝度の特性が特性情報により指定されており、モニタ１０４のダイナミックレンジが0-300％である場合、各輝度値が0-300％の範囲の明るさを表すように圧縮される。
　ステップＳ１０３、又はステップＳ１０４においてHDRデータに対応するHDR画像が表示された後、処理は、ステップＳ１０５に進み、コントローラ１０１は、表示を終了するか否かを判定し、終了しないと判定した場合、ステップＳ１０１以降の処理を繰り返す。ステップＳ１０５において表示を終了すると判定された場合、表示処理は終了する。
　以上の一連の処理により、生成装置１は、マスタのHDRデータをHDRデータのまま、MP4ファイルに格納し、再生装置２に再生させて、HDRデータに対応するHDR画像を、表示装置３に表示させることができる。
　また、生成装置１は、マスタのHDRデータをSTDデータに変換して、MP4ファイルに格納し、再生装置２にHDRデータに復元させて、HDRデータに対応するHDR画像を、表示装置３に表示させることができる。
　HDRデータを再生する際、マスタのHDRデータの輝度の特性を特性情報としてのTMIによって指定することができるようにすることにより、コンテンツのオーサは、意図したとおりの輝度で、HDRデータに対応するHDR画像を表示させることが可能になる。
　また、生成装置１は、HDR情報（特性情報及び変換情報）としてのTMIを含むビデオ（のストリーム）のトラックと、ST（のストリーム）のトラックとを、MP4ファイルに格納する。
　そして、STのトラックには、STのトラックに適用するTMIを含むビデオのトラックを指定するトラック指定情報としてのtrack_IDs[]が格納されたvtmiボックスと、STのトラックに適用するTMIを指定するHDR指定情報としてのtone_mapping_info_id_refが格納されたtirfボックスが含められる。
　その結果、再生装置２は、STのトラックに含まれるvtmiボックスに格納されたtrack_IDs[]が指定する（track_idの）ビデオのトラックに含まれるTMIの中から、STのトラックに含まれるtirfボックスに格納されたtone_mapping_info_id_refが指定する（tone_map_idの）TMIを、STに適用するTMIとして取得し、STの処理に利用することができる。
　したがって、図２０の第１の構成例の生成装置１において生成されるMP4ファイル（以下、第１のMP4ファイルともいう）では、ビデオのトラックに含まれるTMIを、STに流用して適用することができるので、STについて、TMIを別個に付加する必要がない。
　なお、上述の場合には、第１のMP4ファイルを生成するにあたって、STについて、そのSTと同時に表示されるビデオのTMIを、STのTMIとして採用することとしたため、STのTMIは、ビデオのTMIに依存することとなる。
　但し、ビデオとSTについて、それぞれ、別個に、TMIを生成し、ビデオのストリームに、ビデオのTMIの他、STのTMIを含めることにより、STのTMIが、ビデオのTMIに依存することを避けることができる。
　＜生成装置１の第２の構成例＞
　図３９は、図１の生成装置１の第２の構成例を示すブロック図である。
　なお、図中、図２０の場合と対応する部分については、同一の符号を付してあり、以下では、その説明は、適宜省略する。
　図３９において、生成装置１は、コントローラ２１、ファイル生成部２３、及び、符号化処理部１２２を有する。
　したがって、図３９の生成装置１は、コントローラ２１、及び、ファイル生成部２３を有する点で、図２０の場合と共通し、符号化処理部２２に代えて、符号化処理部１２２が設けられている点で、図２０の場合と相違する。
　さらに、図３９の生成装置１は、コントローラ２１が、ヘッダ情報生成部２１Ａに代えて、ヘッダ情報生成部１２１Ａを有する点で、図２０の場合と相違する。
　図３９の生成装置１では、マスタのHDRデータが符号化処理部２２に入力される。
　ヘッダ情報生成部１２１Ａは、図２０のヘッダ情報生成部２１Ａと同様に、符号化処理部１２２から供給されるtone_map_idを、tone_mapping_info_id_refとして格納したtirfボックス（図２４）を生成する。
　また、ヘッダ情報生成部１２１Ａは、符号化処理部１２２から供給されるTMI(tone_mapping_info)を、ToneMapInfo（クラスのオブジェクト）として格納したtinfボックス(ToneMappingInformationBox)を生成する。
　そして、ヘッダ情報生成部１２１Ａは、tirfボックスとtinfボックスとを含むmoovボックス、又は、moofボックスを、ヘッダ情報として生成し、ファイル生成部２３に供給する。
　tinfボックスについては、後述する。
　符号化処理部１２２は、図２０の符号化処理部２２と同様に、マスタのHDRデータの符号化を行うことにより、ビデオストリーム及びSTストリームを生成し、ファイル生成部２３に出力する。
　また、符号化処理部１２２は、図２０の符号化処理部２２と同様に、ビデオ及びSTに適用するTMI(tone_mapping_info)のtone_map_idを、コントローラ２１（のヘッダ情報生成部１２１Ａ）に供給する。
　さらに、符号化処理部１２２は、ビデオ及びSTに適用するTMIを、コントローラ２１（のヘッダ情報生成部１２１Ａ）に供給する。
　図４０は、図３９の生成装置１で生成されるMP4ファイル（以下、第２のMP4ファイルともいう）の例を示す図である。
　図４０の第２のMP4ファイルは、フラグメントを有するfragmented movieのMP4ファイルであり、moovボックスは、ビデオ、オーディオ、及び、STのtrakボックスを有している。
　したがって、図４０の第２のMP4ファイルは、ビデオのトラック、オーディオのトラック、及び、STのトラックを有する。
　ここで、第１のMPファイル（図２１、図２５）では、TMIが、ビデオのトラックには含まれるが、STのトラックには含まれていないため、STについては、ビデオのトラックに含まれるTMIを流用して使用することとしたが、第２のMPファイルでは、ビデオやST等の各メディアのトラックに、そのメディアに適用するTMIが含まれる。
　すなわち、図３９の生成装置１は、各メディアについて、そのメディアに適用するTMIが、そのメディアのトラックに含まれるMP4ファイルを、第２のMP4ファイルとして生成する。
　そのため、図４０において、各メディアのmoof/trafボックスは、tirfボックス、及び、tinfボックス(ToneMappingInformationBox)(tone mapping information box)を有している。
　tirfボックスは、図２１で説明したように、注目する注目トラックに適用するTMIを指定する、tone_map_idを表すtone_mapping_info_id_refが格納される、新規に定義されたボックスである。
　tinfボックスは、TMI(tone_mapping_info)が格納される、新規に定義されたボックスである。
　fragmented movieのMP4ファイルでは、図４０に示すように、ビデオのトラックのmoof/trafボックスには、ビデオ（のトラック）に適用するTMIが格納されたtinfボックスB#22と、そのtinfボックスB#22に格納されたTMIの中で、ビデオに適用するTMIのtone_map_idを表すtone_mapping_info_id_refが格納されたtirfボックスB#21が格納される。
　同様に、STのトラックのmoof/trafボックスには、ST（のトラック）に適用するTMIが格納されたtinfボックスB#24と、そのtinfボックスB#24に格納されたTMIの中で、STに適用するTMIのtone_map_idを表すtone_mapping_info_id_refが格納されたtirfボックスB#23が格納される。
　したがって、図４０の第２のMP4ファイルによれば、例えば、ビデオのトラックを、注目トラックとして注目すると、注目トラックのmoof/traf/tinfボックスB#22に格納されたTMIのうちの、注目トラックのmoof/tarf/tirfボックスB#21に格納されたtone_mapping_info_id_refが表すtone_map_idのTMIが、注目トラックに適用するTMIであることを認識することができる。
　また、図４０のMP4ファイルによれば、例えば、STのトラックを、注目トラックとして注目すると、やはり、注目トラックのmoof/traf/tinfボックスB#24に格納されたTMIのうちの、注目トラックのmoof/tarf/tirfボックスB#23に格納されたtone_mapping_info_id_refが表すtone_map_idのTMIが、注目トラックに適用するTMIであることを認識することができる。
　なお、fragmented movieのMP4ファイルは、フラグメントごとに、moofボックスを有するが、あるフラグメントのデータには、そのフラグメントのmoof/traf/tirfボックスに格納されたtone_mapping_info_id_refが表すtone_map_idのTMIのうちの有効なTMIが適用される。
　図４１は、tinfボックスの定義の例を示す図である。
　tinfボックス(ToneMappingInformationBox)(tone mapping information box)は、そのtinfボックスを有するトラックに適用するTMIを、ToneMapInfo（クラスのオブジェクトtonemap）として格納するボックスとして、新規に定義されたボックスであり、trakボックス（に格納されるstblボックス）、又は、trafボックスに格納される。
　図４２は、ToneMapInfoのシンタクスの第１の例を示す図である。
　図４２のToneMapInfoは、バイトアラインのためのpadding_valueが挿入されていることを除き、図７のTMI(tone_mapping_info)と同様に構成される。
　図４３は、ToneMapInfoのシンタクスの第２の例を示す図である。
　図４３のToneMapInfoは、component_idcが、新規に定義されていることを除き、図４２の場合と同様に構成される。
　component_idcが、例えば、0である場合、図４３のToneMapInfoが表すTMIは、画像を構成する複数のコンポーネントとしての、例えば、R，G、及び、Bのすべてに共通に適用される。
　また、component_idcが、例えば、1である場合、図４３のToneMapInfoが表すTMIは、画像を構成するコンポーネントR，G、及び、Bのうちの１つである、例えば、Rにのみ適用される。
　さらに、component_idcが、例えば、2である場合、図４３のToneMapInfoが表すTMIは、画像を構成するコンポーネントR，G、及び、Bのうちの１つである、例えば、Gにのみ適用され、component_idcが、例えば、3である場合、図４３のToneMapInfoが表すTMIは、画像を構成するコンポーネントR，G、及び、Bのうちの１つである、例えば、Bにのみ適用される。
　図４３のToneMapInfoによれば、コンポーネント単位で、適用するTMIを変更すること等ができる。
　図４４は、ToneMapInfoのシンタクスの第３の例を示す図である。
　図４４のToneMapInfoは、num_of_componentsが、新規に定義されていることを除き、図４２の場合と同様に構成される。
　num_of_componentsが、例えば、0である場合、図４４のToneMapInfoが表すTMIは、画像を構成する複数のコンポーネントとしての、例えば、R，G、及び、Bのすべてに共通に適用される。
　さらに、component_idcが、例えば、3である場合、図４３のToneMapInfoには、画像を構成するコンポーネントR，G、及び、Bのそれぞれに適用するR用のTMI、G用のTMI、及び、B用のTMIが、例えば、その順で記述される。
　図４３や図４４のToneMapInfoによれば、画像を構成する各コンポーネントについて、そのコンポーネントに適用するTMIを、独立に記述することができる。
　図４５は、図３９の生成装置１で生成される第２のMP4ファイルの他の例を示す図である。
　図４５の第２のMP4ファイルは、フラグメントを有しないnon-fragmented movieのMP4ファイルであり、moovボックスは、ビデオ、オーディオ、及び、STのtrakボックスを有している。
　したがって、図４５の第２のMP4ファイルは、ビデオのトラック、オーディオのトラック、及び、STのトラックを有する。
　図４５の第２のMPファイルでは、図４０の場合と同様に、ビデオやST等の各メディアのトラックに、そのメディアに適用するTMIが含まれる。
　すなわち、non-fragmented movieのMP4ファイルでは、図４５に示すように、ビデオのトラックについては、moovボックスの、ビデオのトラックのtrak/stblボックスに、ビデオ（のトラック）に適用するTMIが格納されたtinfボックスB#32と、ビデオに適用するTMIのtone_map_idを表すtone_mapping_info_id_refが格納されたtirfボックスB#31とが格納される。
　STのトラックについても同様に、moovボックスの、STのトラックのtrak/stblボックスに、ST（のトラック）に適用するTMIが格納されたtinfボックスB#34と、STに適用するTMIのtone_map_idを表すtone_mapping_info_id_refが格納されたtirfボックスB#33とが格納される。
　したがって、図４５の第２のMP4ファイルによれば、例えば、ビデオのトラックを、注目トラックとして注目すると、moovボックスの、注目トラック（ここでは、ビデオのトラック）のtrakボックスに含まれるstblボックスが有するtinfボックスB#32に格納されたTMIのうちの、そのstblボックスが有するtirfボックスB#31に格納されたtone_mapping_info_id_refが表すtone_map_idのTMIが、注目トラックに適用するTMIであることを認識することができる。
　また、例えば、STのトラックを、注目トラックとして注目すると、ビデオの場合と同様に、moovボックスの、注目トラック（ここでは、STのトラック）のtrakボックスに含まれるstblボックスが有するtinfボックスB#34に格納されたTMIのうちの、そのstblボックスが有するtirfボックスB#33に格納されたtone_mapping_info_id_refが表すtone_map_idのTMIが、注目トラックに適用するTMIであることを認識することができる。
　なお、non-fragmented movieのMP4ファイルでは、注目トラックには、その注目トラックのtinfボックスに格納されたTMIのうちの有効なTMIが適用される。
　図３９の生成装置１では、以上のように、HDR情報としてのTMI（が格納されたtinfボックス）、及び、そのTMIのうちの、注目する注目トラックに適用するTMIを指定するHDR指定情報としてのtone_mapping_info_id_ref（が格納されたtirfボックス）を含む注目トラックが格納された第２のMP4ファイルが生成されるので、ビデオやST等の各メディアごとに、独立に、そのメディアに適用するTMIを付加することができる。
　また、ビデオを、例えば、HEVC方式で符号化する場合には、SEIに、ビデオのTMIが挿入されたビデオストリームが生成されるが、第２のMP4ファイルでは、SEIに挿入されるTMIとは独立して、ビデオ以外のメディアに、そのメディアに適用するTMIを付加することができる。
　したがって、例えば、Blu-ray（登録商標）ディスクに記録されるm2tsフォーマットの、TMIを含むビデオと、そのビデオとともに再生されるSTとを、STについて、STに適用するTMIを別個に付加して、MP4ファイルにコンバートすることができる。
　その結果、MP4ファイルへのTMIの導入を促進し、ユーザが、HDRビデオやHDR ST等のHDR画像を享受する機会を増やすことができる。
　なお、ビデオを、例えば、HEVC方式で符号化する場合には、SEIに、ビデオのTMIが挿入されたビデオストリームが生成されるため、第２のMP4ファイルでは、ビデオのTMIとしては、SEIに挿入されるTMIと、ビデオのトラックに含まれるtinfボックスに格納されるTMIとが存在する。
　この場合、再生装置２（図１）において、ビデオに適用するTMIとして、SEIに挿入されたTMIと、ビデオのトラックに含まれるtinfボックスに格納されたTMIとのうちのいずれを使用するかは、例えば、あらかじめ決めておくことや、ユーザの操作に応じて選択することができる。
　本実施の形態では、第２のMP4ファイルについては、SEIに挿入されたTMIと、ビデオのトラックに含まれるtinfボックスに格納されたTMIとのうちの、例えば、tinfボックスに格納されたTMIを、ビデオに適用するTMIとして使用することとする。
　ここで、SMPTE-TTフォーマットのSTのデータによれば、MP4ファイルへのアクセス単位である１サンプルに、STの複数の表示画面を含めることができるが、第２のMP4ファイルでは、１サンプルにSTの複数の表示画面が含まれている場合に、その１サンプルに含まれるSTの複数の表示画面のそれぞれに適用することができるTMIは、同一のTMIであり、表示画面ごとに、適用されるTMIを切り替えることは困難である。
　＜符号化処理部１２２の構成例＞
　図４６は、図３９の符号化処理部１２２の構成例を示すブロック図である。
　なお、図中、図２６の符号化処理部２２と対応する部分については、同一の符号を付してあり、以下では、その説明は、適宜省略する。
　符号化処理部１２２は、エンコーダ３２、変換部３３、変換情報生成部３４、エンコーダ３５、特性情報生成部１３１、変換情報生成部１３２、及び、ストリーム生成部１３３を有する。
　したがって、図４６の符号化処理部１２２は、エンコーダ３２、変換部３３、及び、エンコーダ３５を有する点で、図２６の符号化処理部２２と共通する。
　但し、図４６の符号化処理部１２２は、特性情報生成部３１、変換情報生成部３４、及び、ストリーム生成部３６に代えて、それぞれ、特性情報生成部１３１、変換情報生成部１３２、及び、ストリーム生成部１３３が設けられている点で、図２６の符号化処理部２２と相違する。
　特性情報生成部１３１は、図２６の特性情報生成部３１と同様に、符号化処理部１２２に入力されたマスタのHDRデータの輝度を検出し、特性情報としてのTMIを生成して、ストリーム生成部１３３に供給する。
　但し、特性情報生成部１３１は、マスタのHDRデータのうちの、HDRビデオとHDR STとのそれぞれについて、別個に、特性情報としてのTMIを生成する。
　なお、特性情報生成部１３１では、図２６の特性情報生成部３１と同様に、HDRビデオについては、そのHDRビデオの特性情報としてのTMIを生成し、HDR STについては、そのHDR STと同時に表示されるHDRビデオの特性情報としてのTMIを、ST（HDR ST）の特性情報としてのTMIとして採用することができる。
　変換情報生成部１３２は、図２６の変換情報生成部３４と同様に、変換部３３から供給される情報に基づいて、変換情報としてのTMIを生成する。
　但し、変換情報生成部１３２は、マスタのHDRデータのうちの、HDRビデオとHDR STとのそれぞれについて、別個に、変換情報としてのTMIを生成し、ストリーム生成部１３３に供給する。
　なお、変換情報生成部１３２では、図２６の変換情報生成部３４と同様に、HDRビデオについては、そのHDRビデオの変換情報としてのTMIを生成し、HDR STについては、そのHDR STと同時に表示されるHDRビデオの変換情報としてのTMIを、ST（HDR ST）の変換情報としてのTMIとして採用することができる。
　ストリーム生成部１３３は、特性情報生成部１３１から供給されるビデオ、及び、STの特性情報としてのTMI、並びに、変換情報生成部１３２から供給されるビデオ、及び、STの変換情報としてのTMIのtone_map_idを、コントローラ２１（図３９）に供給する。
　その他、ストリーム生成部１３３は、図２６のストリーム生成部３６と同様の処理を行う。
　すなわち、ストリーム生成部１３３は、特性情報生成部１３１から供給されるビデオ、及び、STの特性情報としてのTMIのtone_map_id、並びに、変換情報生成部１３２から供給されるビデオ、及び、STの変換情報としてのTMIのtone_map_idを、コントローラ２１に供給する。
　さらに、ストリーム生成部１３３は、ビデオのTMIを、SEIとして、エンコーダ３２からのビデオの符号化データに挿入し、ビデオストリームを生成する。
　また、ストリーム生成部１３３は、エンコーダ３５からのSTのデータを、STストリームとして、ビデオストリームとともに、図３９のファイル生成部２３に供給する。
　なお、ストリーム生成部１３３では、ビデオのTMIを、エンコーダ３２からのビデオの符号化データに挿入せずに、その符号化データを、そのまま、ビデオストリームとすることができる。
　＜生成装置１のファイル生成処理＞
　図４７は、図３９の生成装置１が行うファイル生成処理の例を説明するフローチャートである。
　マスタのHDRデータが生成装置１に入力されると、ステップＳ１１１において、生成装置１のコントローラ２１は、図２９のステップＳ１と同様に、処理モードがmode-iであるか否かを判定する。
　処理モードがmode-iであるとステップＳ１１１において判定された場合、ステップＳ１１２に進み、符号化処理部１２２は、mode-iでの符号化処理を行う。mode-iでの符号化処理により生成されたビデオストリームとSTストリームは、符号化処理部１２２からファイル生成部２３に供給される。
　一方、処理モードがmode-iiであるとステップＳ１１１において判定された場合、ステップＳ１１３に進み、符号化処理部１２２は、mode-iiでの符号化処理を行う。mode-iiでの符号化処理により生成されたビデオストリームとSTストリームは、符号化処理部１２２からファイル生成部２３に供給される。
　ステップＳ１１２又はＳ１１３の後、処理は、ステップＳ１１４に進み、ヘッダ情報生成部１２１Ａは、ヘッダ情報生成処理を行う。ヘッダ情報生成処理により生成されたヘッダ情報は、ヘッダ情報生成部１２１Ａからファイル生成部２３に供給され、処理は、ステップＳ１１５に進む。
　ステップＳ１１５において、ファイル生成部２３は、符号化処理部１２２からのビデオストリーム、及び、STストリーム、並びに、ヘッダ情報生成部１２１Ａからのヘッダ情報を格納した、図４０、又は、図４５の第２のMP4ファイルを生成して出力し、ファイル生成処理は終了する。
　図４８は、図４７のステップＳ１１２において行われるmode-iの符号化処理の例を説明するフローチャートである。
　ステップＳ１２１において、符号化処理部１２２（図４６）の特性情報生成部１３１は、マスタのHDRデータの輝度を検出し、ビデオ及びSTの特性情報としてのTMIを生成して、ストリーム生成部１３３に供給し、処理は、ステップＳ１２２に進む。
　ステップＳ１２２において、エンコーダ３２は、マスタのHDRビデオをHEVC方式で符号化し、HDRビデオの符号化データを生成して、ストリーム生成部１３３に供給し、処理は、ステップＳ１２３に進む。なお、ビデオの符号化方式は、HEVC方式に限定されない。
　ステップＳ１２３において、エンコーダ３５は、マスタのHDR STを符号化し、SMPTE-TTフォーマットのSTのデータを生成して、ストリーム生成部１３３に供給し、処理は、ステップＳ１２４に進む。
　ステップＳ１２４において、変換部３３は、入力されたマスタのHDRデータをSTDデータに変換し、そのHDRデータとSTDデータとの対応関係を表す情報（HDRデータのRGB信号をinput dataとするとともに、STDデータのRGB信号をoutput dataとする、input dataとoutput dataの対応関係を示す情報）を、変換情報生成部１３２に供給する。
　その後、処理は、ステップＳ１２４からステップＳ１２５に進み、変換情報生成部１３２は、変換部３３から供給された情報に基づいて、ビデオ及びSTの変換情報としてのTMIを生成し、ストリーム生成部１３３に供給して、処理は、ステップＳ１２６に進む。
　ステップＳ１２６において、ストリーム生成部１３３は、符号化データのSEIとして、特性情報生成部１３１からの特性情報としてのTMIと、変換情報生成部１３２からの変換情報としてのTMIを、エンコーダ３２からの符号化データに挿入し、ビデオストリームを生成する。
　そして、ストリーム生成部１３３は、エンコーダ３５からのSTのデータを、STストリームとして、ビデオストリームとともに、ファイル生成部２３（図３９）に供給する。
　また、ストリーム生成部１３３は、ビデオのTMI（ビデオに適用するTMI）、及び、そのTMIのtone_map_id、並びに、STのTMI（STに適用するTMI）、及び、そのTMIのtone_map_idを、コントローラ２１（図３９）に供給し、mode-iの符号化処理は終了する。
　図４９は、図４７のステップＳ１１３において行われるmode-iiの符号化処理の例を説明するフローチャートである。
　ステップＳ１３１において、符号化処理部１２２の特性情報生成部１３１は、マスタのHDRデータの輝度を検出し、ビデオ及びSTの特性情報としてのTMIを生成して、ストリーム生成部１３３に供給する。
　その後、ステップＳ１３２において、変換部３３は、入力されたマスタのHDRデータをSTDデータに変換し、STDデータのうちのSTDビデオを、エンコーダ３２に供給するとともに、STD STを、エンコーダ３５に供給する。
　さらに、変換部３３は、HDRデータとSTDデータとの対応関係を示す情報を、変換情報生成部１３２に供給し、処理は、ステップＳ１３２からステップＳ１３３に進む。
　ステップＳ１３３において、変換情報生成部１３２は、変換部３３から供給された情報に基づいて、ビデオ及びSTの変換情報としてのTMIを生成して、ストリーム生成部１３３に供給して、処理は、ステップＳ１３４に進む。
　ステップＳ１３４において、エンコーダ３２は、変換部３３からのSTDビデオをHEVC方式で符号化し、STDビデオの符号化データを生成して、ストリーム生成部１３３に供給する。なお、ビデオの符号化方式は、HEVC方式に限定されない。
　その後、ステップＳ１３５において、エンコーダ３５は、変換部３３からのSTD STを符号化し、SMPTE-TTフォーマットのSTのデータを生成して、ストリーム生成部１３３に供給する。
　そして、ステップＳ１３６において、ストリーム生成部１３３は、符号化データのSEIとして、特性情報生成部１３１からの特性情報としてのTMIと、変換情報生成部１３２からの変換情報としてのTMIを、エンコーダ３２からの符号化データに挿入し、ビデオストリームを生成する。
　さらに、ストリーム生成部１３３は、エンコーダ３５からのSTのデータを、STストリームとして、ビデオストリームとともに、ファイル生成部２３（図３９）に供給する。
　また、ストリーム生成部１３３は、ビデオのTMI（ビデオに適用するTMI）、及び、そのTMIのtone_map_id、並びに、STのTMI（STに適用するTMI）、及び、そのTMIのtone_map_idを、コントローラ２１（図３９）に供給し、mode-iiの符号化処理は終了する。
　図５０は、図４７のステップＳ１１４において行われるヘッダ情報生成処理の例を説明するフローチャートである。
　ステップＳ１４１において、コントローラ２１（図３９）のヘッダ情報生成部１２１Ａは、符号化処理部１２２（のストリーム生成部１３３（図４６））から供給されるビデオのTMI（ビデオに適用するTMI）を格納したtinfボックス（図４０、図４１、図４５）を生成する。
　さらに、ヘッダ情報生成部１２１Ａは、符号化処理部１２２から供給されるSTのTMI（STに適用するTMI）を格納したtinfボックスを生成する。
　また、ヘッダ情報生成部１２１Ａは、符号化処理部１２２から供給されるビデオのTMIのtone_map_idを表すtone_mapping_info_id_refを格納したtirfボックス（図２４、図４０、図４５）を生成する。
　さらに、ヘッダ情報生成部１２１Ａは、符号化処理部１２２から供給されるSTのTMIのtone_map_idを表すtone_mapping_info_id_refを格納したtirfボックスを生成し、処理は、ステップＳ１４１からステップＳ１４２に進む。
　ステップＳ１４２では、ヘッダ情報生成部１２１Ａは、tinfボックスとtirfボックスとを含むmoovボックス、又は、moofボックスを作成し、ヘッダ情報として、ファイル生成部２３（図３９）に供給して、ヘッダ情報生成処理は終了する。
　すなわち、ファイル生成部２３において、fragmented movieのMP4ファイルが生成される場合、ヘッダ情報生成部１２１Ａは、図４０に示したような、ビデオのトラックのtrafボックスに、tirfボックス及びtinfボックスが含まれるmoofボックス、及び、STのトラックのtrafボックスに、tirfボックス及びtinfボックスが含まれるmoofボックスを生成する。
　一方、ファイル生成部２３において、non-fragmented movieのMP4ファイルが生成される場合、ヘッダ情報生成部１２１Ａは、図４５に示したような、ビデオのトラックのtrakボックスに含まれるstblボックスに、tirfボックス及びtinfボックスが含まれ、かつ、STのトラックのtrakボックスに含まれるstblボックスに、tirfボックス及びtinfボックスが含まれるmoovボックスを生成する。
　＜再生装置２の第２の構成例＞
　図５１は、図１の再生装置２の第２の構成例を示すブロック図である。
　なお、図中、図３３の場合と対応する部分については、同一の符号を付してあり、以下では、その説明は、適宜省略する。
　図５１において、再生装置２は、ファイル取得部５１、分離部５２、操作入力部５３、合成出力部５６、コントローラ１４１、及び、復号処理部１４２を有する。
　したがって、図５１の再生装置２は、ファイル取得部５１、分離部５２、操作入力部５３、及び、合成出力部５６を有する点で、図３３の場合と共通する。
　但し、図５１の再生装置２は、コントローラ５４、及び、復号処理部５５に代えて、それぞれ、コントローラ１４１、及び、復号処理部１４２が設けられている点で、図３３の場合と相違する。
　コントローラ１４１は、CPU、ROM、RAM等より構成され、所定のプログラムを実行することで、再生装置２の全体の動作を制御する。
　例えば、コントローラ１４１は、分離部５２から供給されるmoovボックス（図４５）に含まれるtinfボックスにToneMapInfoとして格納されたTMI(tone_mapping_info)や、tirfボックスに格納されたtone_mapping_info_id_refを、復号処理部１４２に供給する。また、例えば、コントローラ１４１は、分離部５２から供給されるmoofボックス（図４０）に含まれるtinfボックスにToneMapInfoとして格納されたTMIや、tirfボックスに格納されたtone_mapping_info_id_refを、復号処理部１４２に供給する。
　復号処理部１４２は、デコーダ１４２Ａとデコーダ１４２Ｂとを有する。
　デコーダ１４２Ａは、コントローラ１４１から供給される、ビデオのトラックに含まれるtinfボックスにToneMapInfoとして格納されたTMIを、ビデオのTMIとして取得し、そのビデオのTMIの中から、コントローラ１４１から供給される、ビデオのトラックに含まれるtirfボックスに格納されたtone_mapping_info_id_refが表すtone_map_idのTMIを、ビデオに適用するTMIとして取得する取得部として機能する。
　また、デコーダ１４２Ａは、分離部５２から供給されるビデオストリームに含まれる符号化データをHEVC方式で復号する。
　そして、デコーダ１４２Ａは、必要に応じて、復号の結果得られるHDRビデオ又はSTDビデオを、ビデオに適用する変換情報としてのTMIに基づいて、STDビデオ又はHDRビデオに変換し、合成出力部５６に出力する。
　デコーダ１４２Ａは、HDRビデオを出力する場合、HDRビデオとともに、ビデオに適用する特性情報としてのTMIを、合成出力部５６に出力する。
　デコーダ１４２Ｂは、分離部５２から供給されるSTストリームを復号する。
　また、デコーダ１４２Ｂは、コントローラ１４１から供給される、STのトラックに含まれるtinfボックスにToneMapInfoとして格納されたTMIを、STのTMIとして取得し、そのSTのTMIの中から、コントローラ１４１から供給される、STのトラックに含まれるtirfボックスに格納されたtone_mapping_info_id_refが表すtone_map_idのTMIを、STに適用するTMIとして取得する取得部として機能する。
　そして、デコーダ１４２Ｂは、必要に応じて、復号の結果得られるHDR ST又はSTD STを、STに適用する、変換情報としてのTMIに基づいて、STD ST又はHDR STに変換し、合成出力部５６に出力する。
　デコーダ１４２Ｂは、HDR STを出力する場合、HDR STとともに、STに適用する、特性情報としてのTMIを、合成出力部５６に出力する。
　＜再生装置２の再生処理＞
　図５２は、図５１の再生装置２が行う再生処理の例を説明するフローチャートである。
　ステップＳ１５１において、ファイル取得部５１は、図３９の生成装置１で生成された第２のMP4ファイルを取得し、分離部５２に供給する。
　分離部５２は、ファイル取得部５１からの第２のMP4ファイルから、ヘッダ情報としてのmoovボックスやmoofボックスを読み出すとともに、mdatボックスに格納された実データとしてのビデオストリームやSTストリームを読み出す。
　そして、分離部５２は、ヘッダ情報としてのmoovボックスやmoofボックスを、コントローラ１４１に供給するとともに、ビデオストリームやSTストリームを、復号処理部１４２に供給する。
　また、コントローラ１４１は、分離部５２から供給されるmoovボックス又はmoofボックスに含まれるtinfボックスにToneMapInfoとして格納されたTMIや、tirfボックスに格納されたtone_mapping_info_id_refを、復号処理部１４２に供給する。
　その後、処理は、ステップＳ１５１からステップＳ１５２に進み、コントローラ１４１は、図３４のステップＳ４２の場合と同様に、ファイル取得部５１で取得された第２のMP4ファイルの処理モードがmode-i又はmode-iiであるかどうかを判定する。
　処理モードがmode-iであるとステップＳ１５２において判定された場合、ステップＳ１５３に進み、復号処理部１４２は、mode-iの復号処理を行う。
　一方、処理モードがmode-iiであるとステップＳ１５２において判定された場合、ステップＳ１５４に進み、復号処理部１４２は、mode-iiの復号処理を行う。
　ステップＳ１５３又はステップＳ１５４において復号処理が行われた後、再生処理は終了する。
　図５３は、図５２のステップＳ１５３において行われるmode-iの復号処理の例を説明するフローチャートである。
　ステップＳ１６１において、デコーダ１４２Ａは、コントローラ１４１から供給される、ビデオのトラックに含まれるtinfボックスにToneMapInfoとして格納されたTMIを、ビデオのTMIとして取得する。
　さらに、デコーダ１４２Ｂは、コントローラ１４１から供給される、STのトラックに含まれるtinfボックスにToneMapInfoとして格納されたTMIを、STのTMIとして取得し、処理は、ステップＳ１６２に進む。
　ステップＳ１６２ないしＳ１６４では、図３５のステップＳ６２ないしＳ６４とそれぞれ同様の処理が行われる。
　すなわち、ステップＳ１６２では、デコーダ１４２Ａは、分離部５２からのビデオストリームに含まれる符号化データを復号し、HDRビデオを生成する。ステップＳ１６３では、デコーダ１４２Ｂは、分離部５２からの、SMPTE-TTフォーマットのSTのデータのSTストリームを、HDR STに復号する。
　そして、ステップＳ１６４において、コントローラ１４１は、表示装置３が有するモニタがHDRモニタであるか否かを判定する。
　表示装置３が有するモニタがHDRモニタであるとステップＳ１６４において判定された場合、処理は、ステップＳ１６５に進む。
　ステップＳ１６５において、デコーダ１４２Ａは、ステップＳ１６１で取得したビデオのTMIの中から、コントローラ１４１から供給される、ビデオのトラックに含まれるtirfボックスに格納されたtone_mapping_info_id_refが表すtone_map_idのTMIを、ビデオに適用するTMIとして取得する。
　また、デコーダ１４２Ｂは、ステップＳ１６１で取得したSTのTMIの中から、コントローラ１４１から供給される、STのトラックに含まれるtirfボックスに格納されたtone_mapping_info_id_refが表すtone_map_idのTMIを、STに適用するTMIとして取得する。
　その後、処理は、ステップＳ１６５からステップＳ１６６に進み、以下、ステップＳ１６６及びＳ１７０において、図３５のステップＳ６６及びＳ７０とそれぞれ同様の処理が行われる。
　一方、表示装置３が有するモニタがHDRモニタではなく、STDモニタであるとステップＳ１６４において判定された場合、処理は、ステップＳ１６７に進む。
　ステップＳ１６７において、デコーダ１４２Ａは、ステップＳ１６５と同様に、ステップＳ１６１で取得したビデオのTMIの中から、コントローラ１４１から供給される、ビデオのトラックに含まれるtirfボックスに格納されたtone_mapping_info_id_refが表すtone_map_idのTMIを、ビデオに適用するTMIとして取得する。
　また、デコーダ１４２Ｂは、ステップＳ１６５と同様に、ステップＳ１６１で取得したSTのTMIの中から、コントローラ１４１から供給される、STのトラックに含まれるtirfボックスに格納されたtone_mapping_info_id_refが表すtone_map_idのTMIを、STに適用するTMIとして取得する。
　その後、処理は、ステップＳ１６７からステップＳ１６８に進み、以下、ステップＳ１６８ないしＳ１７０において、図３５のステップＳ６８ないしＳ７０とそれぞれ同様の処理が行われる。
　図５４は、図５２のステップＳ１５４において行われるmode-iiの復号処理の例を説明するフローチャートである。
　ステップＳ１８１において、デコーダ１４２Ａ及び５５Ｂは、図５３のステップＳ１６１と同様に、それぞれ、ビデオのTMI、及び、STのTMIを取得する。
　すなわち、デコーダ１４２Ａは、コントローラ１４１から供給される、ビデオのトラックに含まれるtinfボックスにToneMapInfoとして格納されたTMIを、ビデオのTMIとして取得する。
　さらに、デコーダ１４２Ｂは、コントローラ１４１から供給される、STのトラックに含まれるtinfボックスにToneMapInfoとして格納されたTMIを、STのTMIとして取得し、処理は、ステップＳ１８２に進む。
　ステップＳ１８２ないしＳ１８４では、図３６のステップＳ８２ないしＳ８４とそれぞれ同様の処理が行われる。
　すなわち、ステップＳ１８２では、デコーダ１４２Ａは、分離部５２からのビデオストリームに含まれる符号化データを復号し、STDビデオを生成する。ステップＳ１８３では、デコーダ１４２Ｂは、分離部５２からの、SMPTE-TTフォーマットのSTのデータのSTストリームを、STD STに復号する。
　そして、ステップＳ１８４において、コントローラ１４１は、表示装置３が有するモニタがHDRモニタであるか否かを判定する。
　表示装置３が有するモニタがHDRモニタであるとステップＳ１８４において判定された場合、処理は、ステップＳ１８５に進む。
　ステップＳ１８５において、デコーダ１４２Ａは、ステップＳ１８１で取得したビデオのTMIの中から、コントローラ１４１から供給される、ビデオのトラックに含まれるtirfボックスに格納されたtone_mapping_info_id_refが表すtone_map_idのTMIを、ビデオに適用するTMIとして取得する。
　また、デコーダ１４２Ｂは、ステップＳ１８１で取得したSTのTMIの中から、コントローラ１４１から供給される、STのトラックに含まれるtirfボックスに格納されたtone_mapping_info_id_refが表すtone_map_idのTMIを、STに適用するTMIとして取得する。
　その後、処理は、ステップＳ１８５からステップＳ１８６に進み、ステップＳ１８６ないしＳ１８９において、図３６のステップＳ８６ないしＳ８９とそれぞれ同様の処理が行われる。
　以上のように、第２の構成例の生成装置１は、ビデオ（のストリーム）のトラックと、ST（のストリーム）のトラックとを、第２のMP4ファイルに格納する。
　そして、各メディアのトラックには、そのメディア（のトラック）に適用するTMIを、ToneMapInfoとして格納したtinfボックスと、そのtinfボックスに格納されたTMIの中の、メディアに適用するTMIを指定するHDR指定情報としてのtone_mapping_info_id_refが格納されたtirfボックスが含められる。
　その結果、再生装置２は、各メディアについて、そのメディアのトラックに含まれるtinfボックスに格納されたTMIの中から、tirfボックスに格納されたtone_mapping_info_id_refが指定する（tone_map_idの）TMIを、メディアに適用するTMIとして取得し、メディアの処理に利用することができる。
　＜生成装置１の第３の構成例＞
　図５５は、図１の生成装置１の第３の構成例を示すブロック図である。
　なお、図中、図２０の場合と対応する部分については、同一の符号を付してあり、以下では、その説明は、適宜省略する。
　図５５において、生成装置１は、コントローラ２１、符号化処理部２０２、及び、ファイル生成部２０３を有する。
　したがって、図５５の生成装置１は、コントローラ２１を有する点で、図２０の場合と共通する。
　但し、図５５の生成装置１は、符号化処理部２２、及び、ファイル生成部２３に代えて、それぞれ、符号化処理部２０２、及び、ファイル生成部２０３が設けられている点で、図２０の場合と相違する。
　さらに、図５５の生成装置１は、コントローラ２１が、ヘッダ情報生成部２１Ａに代えて、ヘッダ情報２０１Ａを有する点で、図２０の場合と相違する。
　図５５の生成装置１では、マスタのHDRデータが符号化処理部２０２に入力される。
　ヘッダ情報生成部２０１Ａは、符号化処理部２０２から供給されるtone_map_idを、tone_mapping_info_id_refとして格納したtirfボックス（図２４）を含むmoofボックスと、tmpiボックス（reference_typeが"tmpi"のTrackReferenceTypeBox）を含むmoovボックスとを、ヘッダ情報として生成し、ファイル生成部２０３に供給する。
　又は、ヘッダ情報生成部２０１Ａは、符号化処理部２０２から供給されるtone_map_idを、tone_mapping_info_id_refとして格納したtirfボックスと、tmpiボックスを含むmoovボックスを、ヘッダ情報として生成し、ファイル生成部２０３に供給する。
　tmpiボックスについては、後述する。
　符号化処理部２０２は、図２０の符号処理部２２と同様に、マスタのHDRデータの符号化を行うことにより、ビデオストリーム及びSTストリームを生成し、ファイル生成部２０３に出力する。
　さらに、符号化処理部２０２は、ビデオやSTに適用するHDR情報としてのTMIのes(elementary stream)（以下、TMIストリームともいう）を生成し、ファイル生成部２０３に出力する。
　また、符号化処理部２０２は、ビデオやSTに適用するTMIのtone_map_idを、コントローラ２１（のヘッダ情報生成部２０１Ａ）に供給する。
　ファイル生成部２０３は、コントローラ２１（のヘッダ情報生成部２０１Ａ）から供給されるヘッダ情報と、符号化処理部２０２から供給されるビデオストリーム、STストリーム、及び、TMIストリームとを格納したMP4ファイルを生成して出力する。
　図５６は、図５５の生成装置１で生成されるMP4ファイル（以下、第３のMP4ファイルともいう）の例を示す図である。
　図５６の第３のMP4ファイルは、フラグメントを有するfragmented movieのMP4ファイルであり、moovボックスは、ビデオ、ST、及び、TMI(tone map es)のtrakボックスを有している。
　したがって、図５６のMP4ファイルは、ビデオのトラック、STのトラック、及び、TMIのトラックを有する。
　図５５の生成装置１は、TMIのトラック（以下、TMIトラックともいう）に含まれるTMIを、他のトラックから参照して適用することができるMP4ファイルを、第３のMP4ファイルとして生成する。
　そのため、第３のMP4ファイルでは、TMIトラック（tone map track）のmdatボックスは、実データとしてのTMIのサンプル(ToneMapSample)を有する。
　さらに、moovボックスの、TMI以外のメディアのtrakボックス、すなわち、ビデオやST(subtitle)のtrakボックスは、tmpiボックスを有するtrefボックス(TrackReferenceBox)を有している。
　ここで、trefボックスは、図２１及び図２２で説明したように、TrackReferenceTypeBoxを持つことができるが、tmpiボックスは、TrackReferenceTypeBoxの一種として新規に定義されたボックスである。
　いま、例えば、tmpiボックスを有する、STのトラックを、注目する注目トラックとすると、注目トラックとしてのSTのトラックが有するtmpiボックスには、注目トラックに適用するTMI（HDR情報）のTMIトラックを指定するトラック指定情報としての、TMIトラックのtrack_id（を表すtrack_IDs[]）が格納される。
　したがって、注目トラックとしてのSTのトラックが有するtmpiボックスに格納されているtrack_idによって、注目トラックに適用するTMIのTMIトラックを認識することができる。
　同様に、tmpiボックスを有する、ビデオのトラックを、注目する注目トラックとすると、注目トラックとしてのビデオのトラックが有するtmpiボックスには、注目トラックに適用するTMIのTMIトラックを指定するトラック指定情報としての、TMIトラックのtrack_idが格納される。
　したがって、注目トラックとしてのビデオのトラックが有するtmpiボックスに格納されているtrack_idによって、注目トラックに適用するTMIのTMIトラックを認識することができる。
　なお、TMIトラックとなるトラックのtrack_idを、あらかじめ決めておくことにより、tmpiボックスを有するtrefボックスは、省略することができる。
　図５６の第３のMP4ファイルでは、ビデオ及びSTのそれぞれのトラックのmoofボックスは、そのトラックに適用するTMIを指定するHDR指定情報としての、tone_map_idを表すtone_mapping_info_id_refが格納されたtirfボックスを有するtrafボックスを有する。
　注目トラックのtirfボックスに格納されたtone_mapping_info_id_refを参照することにより、tmpiボックスに格納されたtrack_idのTMIトラックのTMIのうちの、tirfボックスに格納されたtone_mapping_info_id_refが表すtone_map_idのTMIを、注目トラックに適用するTMIとして認識することができる。
　なお、fragmented movieのMP4ファイルは、フラグメントごとに、moofボックスを有するが、あるフラグメントのデータには、そのフラグメントのmoofボックスが有するtirfボックスに格納されたtone_mapping_info_id_refが表すtone_map_idのTMIのうちの有効なTMIが適用される。
　また、第３のMP4ファイルには、TMIトラック（tone map track）として、複数のトラックを格納することができる。図５６では、２つのTMIトラックが格納されている。
　さらに、第３のMP4ファイルにおいて、例えば、ビデオに適用するTMIのTMIトラックと、STに適用するTMIのTMIトラックとは、同一のTMIトラックであってもよいし、異なるTMIトラックであってもよい。
　fragmented movieのMP4ファイルには、図５６に示すように、ビデオ及びSTのトラックの他、TMIトラックが格納される。
　そして、ビデオのトラックについては、moovボックスのビデオのトラックのtrak/trefボックスに、STに適用するTMIのTMIトラックのtrack_idが格納されたtmpiボックスB#41が格納される。
　さらに、ビデオのトラックについては、そのビデオのトラックのmoof/trafボックスに、ビデオに適用するTMI（tmpiボックスB#41に格納されたtrack_idのTMIトラックに含まれるTMI）のtone_map_idを表すtone_mapping_info_id_refが格納されたtirfボックスB#44が格納される。
　したがって、図５６の第３のMP4ファイルによれば、例えば、ビデオのトラックを、注目トラックとして注目すると、moovボックスのビデオのtrak/tref/tmpiボックスB#41に格納されたtrack_idによって、ビデオに適用するTMIのTMIトラックを認識することができる。
　そして、TMIトラックに含まれるTMIのうちの、注目トラックであるビデオのトラックのmoof/tarf/tirfボックスB#44に格納されたtone_mapping_info_id_refが表すtone_map_idのTMIが、注目トラックに適用するTMIであることを認識することができる。
　一方、STのトラックについては、moovボックスのSTのトラックのtrak/trefボックスに、STに適用するTMIのTMIトラックのtrack_idが格納されたtmpiボックスB#42が格納される。
　さらに、STのトラックについては、そのSTのトラックのmoof/trafボックスに、STに適用するTMI（tmpiボックスに格納されたtrack_idのTMIトラックに含まれるTMI）のtone_map_idを表すtone_mapping_info_id_refが格納されたtirfボックスB#43が格納される。
　したがって、図５６の第３のMP4ファイルによれば、例えば、STのトラックを、注目トラックとして注目すると、moovボックスのSTのtrak/tref/tmpiボックスB#42に格納されたtrack_idによって、STに適用するTMIのTMIトラックを認識することができる。
　そして、TMIトラックに含まれるTMIのうちの、注目トラックであるSTのトラックのmoof/tarf/tirfボックスB#43に格納されたtone_mapping_info_id_refが表すtone_map_idのTMIが、注目トラックに適用するTMIであることを認識することができる。
　図５７は、tmpiボックスとしてのTrackReferenceTypeBoxの定義の例を示す図である。
　本実施の形態では、TrackReferenceTypeBoxを、TMIトラックのtrack_idを格納する用途に用いることを表すrefernce_typeとして、"tmpi"を新規に定義し、refernce_typeが"tmpi"になっているTrackReferenceTypeBoxが、TMIトラックのtrack_idを格納するtmpiボックスとして使用される。
　tmpiボックスは、track_idを表すtrack_IDs[]を有する（格納する）。
　track_IDs[]は、配列変数であり、複数のtrack_idを格納することができる。したがって、tmpiボックスによれば、メディアに適用するTMIのTMIトラックとして、複数のトラックを指定することができる。
　図５８は、第３のMP4ファイルに格納されるTMIトラック（tone map track）のmdatボックスに格納される実データとしてのTMIのサンプル(ToneMapSample)のシンタクスの例を示す図である。
　TMIの１サンプルには、TMIを表すToneMapInfoの長さを表すToneMapInfoLengthと、ToneMapInfoとのセットを、０セット以上含めることができる。
　したがって、TMIの１サンプルには、ToneMapInfoLengthと、ToneMapInfoとのセットを、複数セット含めることができる。
　なお、TMIのサンプルの長さを表すLength=sample_sizeは、TMIのサンプルには存在せず、例えば、stszボックスや、stz2ボックス、trunボックスに記述される各サンプルのサイズ情報が参照される。
　ToneMapInfoとしては、例えば、図４２ないし図４４に示したシンタクスのToneMapInfo等を採用することができる。
　図５９は、TMIのサンプル(ToneMapSample)のデータ構造の例を示す図である。
　図５９に示すように、TMIのサンプルには、ToneMapInfoLengthと、ToneMapInfoとのセットを繰り返し含めることができる。
　図６０は、図５５の生成装置１で生成される第３のMP4ファイルの他の例を示す図である。
　図６０の第３のMP4ファイルは、フラグメントを有しないnon-fragmented movieのMP4ファイルであり、moovボックスは、ビデオ、ST、及び、（２つの）TMI(tone map es)のtrakボックスを有している。
　したがって、図６０の第３のMP4ファイルは、ビデオのトラック、STのトラック、及び、TMIのトラックを有する。
　図６０でも、図５６と同様に、ビデオ及びSTのトラックは、それぞれ、tmpiボックスとtirfボックスを有する。また、mdatボックスは、ビデオのサンプル、STのサンプル、及び、TMIのサンプル(ToneMapSample)を有する。
　ここで、non-fragmented movieのMP4ファイルでは、図６０に示すように、moovボックスの、ビデオのトラックのtrak/trefボックスに、ビデオに適用するTMIのTMIトラックのtrack_idを表すtrack_IDs[]（図５７）が格納されたtmpiボックスB#51が格納される。
　さらに、moovボックスの、ビデオのトラックのtrakが有するstblボックスに、ビデオに適用するTMIのtone_map_idを表すtone_mapping_info_id_refが格納されたtirfボックスB#52が格納される。
　STのトラックにも、ビデオのトラックと同様に、tmpiボックスB#53、及び、tirfボックスB#54が含められる。
　すなわち、moovボックスの、STのトラックのtrak/trefボックスには、ビデオに適用するTMIのTMIトラックのtrack_idを表すtrack_IDs[]が格納されたtmpiボックスB#53が格納される。
　さらに、moovボックスの、STのトラックのtrakボックスが有するstblボックスには、STに適用するTMIのtone_map_idを表すtone_mapping_info_id_refが格納されたtirfボックスB#54が格納される。
　したがって、図６０の第３のMP4ファイルによれば、例えば、STのトラックを、注目トラックとして注目すると、moovボックスのSTのtrak/tref/tmpiボックスB#53に格納されたtrack_idによって、注目トラックであるSTのトラックに適用するTMIのTMIトラックを認識することができる。
　そして、そのTMIトラックのTMIの中の、moovボックスの、注目トラックであるSTのトラックのtark/stbl/tirfボックスB#54に格納されたtone_mapping_info_id_refが表すtone_map_idのTMIが、注目トラックに適用するTMIであることを認識することができる。
　ビデオについても、同様にして、ビデオに適用するTMIを認識することができる。
　なお、non-fragmented movieのMP4ファイルでは、注目トラックには、その注目トラックのtirfボックスに格納されたtone_mapping_info_id_refが表すtone_map_idのTMIのうちの有効なTMIが適用される。
　また、ビデオに適用するTMIのTMIトラックと、STに適用するTMIのTMIトラックとは、同一のTMIトラックであってもよいし、異なるTMIトラックであってもよい。
　図５５の生成装置１では、以上のように、HDR情報としてのTMIのTMIトラックと、TMIトラックに含まれるTMIのうちの、注目する注目トラックに適用するTMIのTMIトラックを指定するトラック指定情報としてのtrack_IDs[]、及び、注目トラックに適用するTMIを指定するHDR指定情報としてのtone_mapping_info_id_refを含む注目トラックとが格納された第３のMP4ファイルが生成されるので、ビデオやST等の各メディアごとに、独立に、そのメディアに適用するTMIを付加することができる。
　また、ビデオを、例えば、HEVC方式で符号化する場合には、SEIに、ビデオのTMIが挿入されたビデオストリームが生成されるが、第３のMP4ファイルでは、SEIに挿入されるTMIとは独立して、ビデオ以外のメディアに、そのメディアに適用するTMIを付加することができる。
　したがって、例えば、Blu-ray（登録商標）ディスクに記録されるm2tsフォーマットの、TMIを含むビデオと、そのビデオとともに再生されるSTとを、STについて、STに適用するTMIを別個に付加して、MP4ファイルにコンバートすることができる。
　その結果、MP4ファイルへのTMIの導入を促進し、ユーザが、HDRビデオやHDR ST等のHDR画像を享受する機会を増やすことができる。
　なお、ビデオを、例えば、HEVC方式で符号化する場合には、SEIに、ビデオのTMIが挿入されたビデオストリームが生成されるため、第３のMP4ファイルでは、ビデオのTMIとしては、SEIに挿入されるTMIと、TMIトラックのTMIとが存在する。
　この場合、再生装置２（図１）において、ビデオに適用するTMIとして、SEIに挿入されたTMIと、TMIトラックのTMIとのうちのいずれを使用するかは、例えば、あらかじめ決めておくことや、ユーザの操作に応じて選択することができる。
　本実施の形態では、第３のMP4ファイルについては、SEIに挿入されたTMIと、TMIトラックのTMIとのうちの、例えば、TMIトラックのTMIを、ビデオに適用するTMIとして使用することとする。
　ここで、SMPTE-TTフォーマットのSTのデータによれば、MP4ファイルへのアクセス単位である１サンプルに、STの複数の表示画面を含めることができるが、第３のMP4ファイルでは、１サンプルにSTの複数の表示画面が含まれている場合に、その１サンプルに含まれるSTの複数の表示画面の表示時間に合わせて、TMIのサンプル(ToneMapSample)を配置する（対応させる）ことにより、１サンプルに含まれるSTの複数の表示画面のそれぞれごとに、表示画面に適用するTMIを切り替える（変更する）ことができる。
　なお、第３のMP4ファイルでは、メディアのトラックの他に、TMIトラックが存在するため、生成装置１、及び、再生装置２の処理の負荷が増加するが、その増加の程度は、それほど大きくはない。
　＜符号化処理部２０２の構成例＞
　図６１は、図５５の符号化処理部２０２の構成例を示すブロック図である。
　なお、図中、図２６の符号化処理部２２、又は、図４６の符号化処理部１２２と対応する部分については、同一の符号を付してあり、以下では、その説明は、適宜省略する。
　図６１の符号化処理部２０２は、エンコーダ３２、変換部３３、エンコーダ３５、特性情報生成部１３１、変換情報生成部１３２、及び、ストリーム生成部２１１を有する。
　したがって、図６１の符号化処理部２０２は、エンコーダ３２、変換部３３、エンコーダ３５、特性情報生成部１３１、及び、変換情報生成部１３２を有する点で、図４６の符号化処理部１２２と共通する。
　但し、図６１の符号化処理部２０２は、ストリーム生成部１３３に代えて、ストリーム生成部２１１が設けられている点で、図４６の符号化処理部１２２と相違する。
　ストリーム生成部２１１は、図２６のストリーム生成部３６と同様の処理を行う。
　すなわち、ストリーム生成部２１１は、特性情報生成部１３１から供給されるビデオ、及び、STの特性情報としてのTMIのtone_map_idを、コントローラ２１（図５５）に供給する。
　また、ストリーム生成部２１１は、変換情報生成部１３２から供給されるビデオ、及び、STの変換情報としてのTMIのtone_map_idを、コントローラ２１に供給する。
　さらに、ストリーム生成部２１１は、ビデオのTMIを、SEIとして、エンコーダ３２からのビデオの符号化データに挿入し、ビデオストリームを生成する。
　また、ストリーム生成部２１１は、エンコーダ３５からのSTのデータを、STストリームとして、ビデオストリームとともに、図５５のファイル生成部２０３に供給する。
　以上のように、ストリーム生成部２１１は、図２６のストリーム生成部３６と同様の処理を行う他、特性情報生成部１３１から供給されるビデオ、及び、STの特性情報としてのTMI、並びに、変換情報生成部１３２から供給されるビデオ、及び、STの変換情報としてのTMIを用いて、それらのTMIのTMIストリーム(es(elementary stream))を生成し、図５５のファイル生成部２０３に供給する。
　なお、ストリーム生成部２１１では、ビデオのTMIを、エンコーダ３２からのビデオの符号化データに挿入せずに、その符号化データを、そのまま、ビデオストリームとすることができる。
　＜生成装置１のファイル生成処理＞
　図６２は、図５５の生成装置１が行うファイル生成処理の例を説明するフローチャートである。
　マスタのHDRデータが生成装置１に入力されると、ステップＳ２０１において、生成装置１のコントローラ２１は、図２９のステップＳ１と同様に、処理モードがmode-iであるか否かを判定する。
　処理モードがmode-iであるとステップＳ１において判定された場合、ステップＳ２０２に進み、符号化処理部２０２は、mode-iでの符号化処理を行う。mode-iでの符号化処理により生成されたビデオストリーム、STストリーム、及び、TMIストリームは、符号化処理部２０２からファイル生成部２０３に供給される。
　一方、処理モードがmode-iiであるとステップＳ２０１において判定された場合、ステップＳ２０３に進み、符号化処理部２０２は、mode-iiでの符号化処理を行う。mode-iiでの符号化処理により生成されたビデオストリーム、STストリーム、及び、TMIストリームは、符号化処理部２０２からファイル生成部２０３に供給される。
　ステップＳ２０２又はＳ２０３の後、処理は、ステップＳ２０４に進み、ヘッダ情報生成部２０１Ａは、ヘッダ情報生成処理を行う。ヘッダ情報生成処理により生成されたヘッダ情報は、ヘッダ情報生成部２０１Ａからファイル生成部２０３に供給され、処理は、ステップＳ２０５に進む。
　ステップＳ２０５において、ファイル生成部２０３は、符号化処理部２０２からのビデオストリーム、STストリーム、及び、TMIストリーム、並びに、ヘッダ情報生成部２０１Ａからのヘッダ情報を格納した、図５６、又は、図６０の第３のMP4ファイルを生成して出力し、ファイル生成処理は終了する。
　図６３は、図６２のステップＳ２０２において行われるmode-iの符号化処理の例を説明するフローチャートである。
　ステップＳ２１１ないしＳ２１５において、符号化処理部２０２（図６１）では、図４８のステップＳ１２１ないしＳ１２５とそれぞれ同様の処理が行われる。
　そして、ステップＳ２１５の後、処理は、ステップＳ２１６に進み、ストリーム生成部２１１は、符号化データのSEIとして、特性情報生成部１３１から供給される特性情報としてのTMIと、変換情報生成部１３２から供給される変換情報としてのTMIを、エンコーダ３２からの符号化データに挿入し、ビデオストリームを生成する。
　さらに、ストリーム生成部２１１は、エンコーダ３５からのSTのデータを、STストリームとして、処理は、ステップＳ２１６からステップＳ２１７に進む。
　ステップＳ２１７において、ストリーム生成部２１１は、ビデオのTMIと、STのTMIとから、それらのTMIのTMIストリームを生成し、ビデオストリーム、及び、STストリームとともに、ファイル生成部２０３（図５５）に供給する。
　そして、ストリーム生成部２１１は、ビデオのTMIのtone_map_idと、STのTMIのtone_map_idとを、コントローラ２１（図５５）に供給し、mode-iの符号化処理は終了する。
　図６４は、図６２のステップＳ２０３において行われるmode-iiの符号化処理の例を説明するフローチャートである。
　ステップＳ２２１ないしステップＳ２２５において、符号化処理部２０２（図６１）では、図４９のステップＳ１３１ないしＳ１３５とそれぞれ同様の処理が行われる。
　そして、ステップＳ２２６及びＳ２２７において、図６３のステップＳ２１６及びＳ２１７とそれぞれ同様の処理が行われ、mode-iiの符号化処理は終了する。
　図６５は、図６２のステップＳ２０４において行われるヘッダ情報生成処理の例を説明するフローチャートである。
　ステップＳ２３１において、コントローラ２１（図５５）のヘッダ情報生成部２０１Ａは、符号化処理部２０２（のストリーム生成部２１１（図６１））から供給されるビデオのTMI（ビデオに適用するTMI）のtone_map_idを表すtone_mapping_info_id_refを格納したtirfボックス（図２４、図５６、図６０）を生成する。
　さらに、ヘッダ情報生成部２０１Ａは、符号化処理部２０２から供給されるSTのTMI（STに適用するTMI）のtone_map_idを表すtone_mapping_info_id_refを格納したtirfボックスを生成する。
　また、ヘッダ情報生成部２０１Ａは、ビデオに適用されるTMIのTMIストリームのトラックのtrack_idを表すtrack_IDs[]を格納したtmpiボックス（図５６、図５７、図６０）を生成する。
　さらに、ヘッダ情報生成部２０１Ａは、STに適用されるTMIのTMIストリームのトラックのtrack_idを表すtrack_IDs[]を格納したtmpiボックスを生成して、処理は、ステップＳ２３１からステップＳ２３２に進む。
　ステップＳ２３２では、ヘッダ情報生成部２０１Ａは、tmpiボックスを含むmoovボックスと、tirfボックスを含むmoofボックスとを作成するか、又は、tmpiボックスとtirfボックスとを含むmoovボックスを作成し、ヘッダ情報として、ファイル生成部２０３（図５５）に供給して、ヘッダ情報生成処理は終了する。
　すなわち、ファイル生成部２０３において、fragmented movieのMP4ファイルが生成される場合、ヘッダ情報生成部２０１Ａは、図５６に示したような、ビデオ及びSTのトラックのそれぞれのtrak/trefボックスに、tmpiボックスが含まれるmoovボックスを生成する。
　さらに、ヘッダ情報生成部２０１Ａは、図５６に示したような、ビデオ及びSTのトラックのそれぞれのtrafボックスに、tirfボックスが含まれるmoofボックスを生成する。
　一方、ファイル生成部２０３において、non-fragmented movieのMP4ファイルが生成される場合、ヘッダ情報生成部２０１Ａは、図６０に示したような、ビデオ及びSTのトラックのそれぞれのtrak/trefボックスに、tmpiボックスが含まれるとともに、ビデオ及びSTのトラックのそれぞれのtrakボックス/stblボックスに、tirfボックスが含まれるmoovボックスを生成する。
　＜再生装置２の第３の構成例＞
　図６６は、図１の再生装置２の第３の構成例を示すブロック図である。
　なお、図中、図３３又は図５１の場合と対応する部分については、同一の符号を付してあり、以下では、その説明は、適宜省略する。
　図６６において、再生装置２は、ファイル取得部５１、操作入力部５３、合成出力部５６、分離部２３１、コントローラ２３２、及び、復号処理部２３３を有する。
　したがって、図６６の再生装置２は、ファイル取得部５１、操作入力部５３、及び、合成出力部５６を有する点で、図３３の場合と共通する。
　但し、図６６の再生装置２は、分離部５２、コントローラ５４、及び、復号処理部５５に代えて、それぞれ、分離部２３１、コントローラ２３２、及び、復号処理部２３３が設けられている点で、図３３の場合と相違する。
　分離部２３１は、図３３の分離部５２と同様に、ファイル取得部５１からの第３のMP4ファイルから、ヘッダ情報としてのmoovボックスやmoofボックスを分離（取得）し、コントローラ２３２に供給する。
　さらに、分離部２３１は、ファイル取得部５１からの第３のMP4ファイルから、mdatボックスに格納された実データとしてのビデオストリーム、STストリーム、及び、TMIストリームを分離(取得）し、復号処理部２３３に供給する。
　コントローラ２３２は、CPU、ROM、RAM等より構成される。コントローラ２３２は、所定のプログラムを実行し、再生装置２の全体の動作を制御する。
　例えば、コントローラ２３２は、分離部２３１から供給されるmoovボックスに含まれるtmpiボックスに格納されたtrack_IDs[]（図５６、図５７、図６０）や、tirfボックスに格納されたtone_mapping_info_id_ref（図２４、図５６、図６０）を、復号処理部２３３に供給する。また、例えば、コントローラ２３２は、分離部２３１から供給されるmoofボックスに含まれるtirfボックスに格納されたtone_mapping_info_id_refを、復号処理部２３３に供給する。
　復号処理部２３３は、デコーダ２３３Ａとデコーダ２３３Ｂとを有する。
　デコーダ２３３Ａは、分離部２３１から供給されるストリーム（ここでは、ビデオストリーム、STストリーム、及び、TMIストリーム）の中の、コントローラ２３２から供給される、ビデオのトラックのtmpiボックスに格納されたtrack_IDs[]が表すtrack_idのTMIトラックのTMIストリームに含まれるTMIを、ビデオのTMIとして取得する取得部として機能する。
　また、デコーダ２３３Ａは、分離部２３１から供給されるビデオストリームに含まれる符号化データをHEVC方式で復号する。
　さらに、デコーダ２３３Ａは、ビデオのTMIの中から、コントローラ２３２から供給される、ビデオのトラックのtirfボックスに格納されたtone_mapping_info_id_refが表すtone_map_idのTMIを、ビデオに適用するTMIとして取得する。
　そして、デコーダ２３３Ａは、必要に応じて、復号の結果得られるHDRビデオ又はSTDビデオを、ビデオに適用する変換情報としてのTMIに基づいて、STDビデオ又はHDRビデオに変換し、合成出力部５６に出力する。
　デコーダ２３３Ａは、HDRビデオを出力する場合、HDRビデオとともに、ビデオに適用する特性情報としてのTMIを、合成出力部５６に出力する。
　デコーダ２３３Ｂは、分離部２３１から供給されるSTストリームを復号する。
　また、デコーダ２３３Ｂは、分離部２３１から供給されるストリーム（ここでは、ビデオストリーム、STストリーム、及び、TMIストリーム）の中の、コントローラ２３２から供給される、STのトラックのtmpiボックスに格納されたtrack_IDs[]が表すtrack_idのTMIトラックのTMIストリームに含まれるTMIを、STのTMIとして取得する取得部として機能する。
　さらに、デコーダ２３３Ｂは、STのTMIの中から、コントローラ２３２から供給される、STのトラックのtirfボックスに格納されたtone_mapping_info_id_refが表すtone_map_idのTMIを、STに適用するTMIとして取得する。
　そして、デコーダ２３３Ｂは、必要に応じて、復号の結果得られるHDR ST又はSTD STを、STに適用する、変換情報としてのTMIに基づいて、STD ST又はHDR STに変換し、合成出力部５６に出力する。
　デコーダ２３３Ｂは、HDR STを出力する場合、HDR STとともに、STに適用する、特性情報としてのTMIを、合成出力部５６に出力する。
　＜再生装置２の再生処理＞
　図６７は、図６６の再生装置２が行う再生処理の例を説明するフローチャートである。
　ステップＳ２５１において、ファイル取得部５１は、生成装置１で生成された第３のMP4ファイルを取得し、分離部２３１に供給する。
　分離部２３１は、ファイル取得部５１からのMP4ファイルから、ヘッダ情報としてのmoovボックスやmoofボックスを読み出すとともに、mdatボックスに格納された実データとしてのビデオストリーム、STストリーム、及び、TMIストリームを読み出す。
　そして、分離部２３１は、ヘッダ情報としてのmoovボックスやmoofボックスを、コントローラ２３２に供給するとともに、ビデオストリーム、STストリーム、及び、TMIストリームを、復号処理部２３３に供給する。
　また、コントローラ２３２は、分離部２３１から供給されるmoovボックスに含まれるtmpiボックスに格納されたtrack_IDs[]や、tirfボックスに格納されたtone_mapping_info_id_refを、復号処理部２３３に供給する。さらに、コントローラ２３２は、分離部２３１から供給されるmoofボックスに含まれるtirfボックスに格納されたtone_mapping_info_id_refを、復号処理部２３３に供給する。
　その後、処理は、ステップＳ２５１からステップＳ２５２に進み、コントローラ２３２は、ファイル取得部５１で取得された第３のMP4ファイルの処理モードがmode-i又はmode-iiであるかどうかを、図３４のステップＳ４２の場合と同様に判定する。
　処理モードがmode-iであるとステップＳ２５２において判定された場合、ステップＳ２５３に進み、復号処理部２３３は、mode-iの復号処理を行う。
　一方、処理モードがmode-iiであるとステップＳ２５２において判定された場合、ステップＳ２５４に進み、復号処理部２３３は、mode-iiの復号処理を行う。
　ステップＳ２５３又はステップＳ２５４において復号処理が行われた後、再生処理は終了する。
　図６８は、図６７のステップＳ２５３において行われるmode-iの復号処理の例を説明するフローチャートである。
　ステップＳ２６１において、デコーダ２３３Ａは、コントローラ２３２から供給される、ビデオのトラックのtmpiボックスに格納されたtrack_IDs[]が表すtrack_idのTMIトラックを、分離部２３１から供給されるストリームの中から取得し、そのTMIストリームに含まれるTMIを、ビデオのTMIとして取得する。
　また、デコーダ２３３Ｂは、コントローラ２３２から供給される、STのトラックのtmpiボックスに格納されたtrack_IDs[]が表すtrack_idのTMIトラックを、分離部２３１から供給されるストリームの中から取得し、そのTMIストリームに含まれるTMIを、STのTMIとして取得する。
　その後、処理は、ステップＳ２６１からステップＳ２６２に進み、デコーダ２３３Ａは、分離部２３１からのビデオストリームに含まれる符号化データをHEVC方式で復号し、HDRビデオを生成して、処理は、ステップＳ２６３に進む。なお、ビデオの復号（符号化）方式は、HEVC方式に限定されない。
　ステップＳ２６３において、デコーダ２３３Ｂは、分離部２３１からのSTストリーム、すなわち、例えば、SMPTE-TTフォーマットのSTのデータのストリームを、HDR STに復号し、処理は、ステップＳ２６４に進む。
　ステップＳ２６４において、コントローラ２３２は、図３５のステップＳ６４と同様に、表示装置３が有するモニタがHDRモニタであるか否かを判定する。
　表示装置３が有するモニタがHDRモニタであるとステップＳ２６４において判定された場合、処理は、ステップＳ２６５に進む。
　ステップＳ２６５において、デコーダ２３３Ａは、ステップＳ２６１で取得したビデオのTMIの中から、コントローラ２３２から供給される、ビデオのトラックのtirfボックスに格納されたtone_mapping_info_id_refが表すtone_map_idのTMI（HDR指定情報としてのtone_mapping_info_id_refが指定するTMI）を、ビデオに適用するTMIとして取得する。
　また、デコーダ２３３Ｂは、ステップＳ２６１で取得したSTのTMIの中から、コントローラ２３２から供給される、STのトラックのtirfボックスに格納されたtone_mapping_info_id_refが表すtone_map_idのTMI（HDR指定情報としてのtone_mapping_info_id_refが指定するTMI）を、STに適用するTMIとして取得する。
　その後、処理は、ステップＳ２６５からステップＳ２６６に進み、以下、ステップＳ２６６及びＳ２７０において、図３５のステップＳ６６及びＳ７０とそれぞれ同様の処理が行われる。
　一方、表示装置３が有するモニタがHDRモニタではなく、STDモニタであるとステップＳ２６４において判定された場合、処理は、ステップＳ２６７に進む。
　ステップＳ２６７において、デコーダ２３３Ａ及び２３３Ｂは、ステップＳ２６５と同様にして、ビデオに適用するTMI、及び、STに適用するTMIを、それぞれ取得する。
　その後、処理は、ステップＳ２６７からステップＳ２６８に進み、以下、ステップＳ２６８ないしＳ２７０において、図３５のステップＳ６８ないしＳ７０とそれぞれ同様の処理が行われる。
　図６９は、図６７のステップＳ２５４において行われるmode-iiの復号処理の例を説明するフローチャートである。
　ステップＳ２８１において、デコーダ２３３Ａ及び２３３Ｂは、図６８のステップＳ２６１と同様に、TMIを取得する。
　すなわち、デコーダ２３３Ａは、コントローラ２３２から供給される、ビデオのトラックのtmpiボックスに格納されたtrack_IDs[]が表すtrack_idのTMIトラックを、分離部２３１から供給されるストリームの中から取得し、そのTMIストリームに含まれるTMIを、ビデオのTMIとして取得する。
　また、デコーダ２３３Ｂは、コントローラ２３２から供給される、STのトラックのtmpiボックスに格納されたtrack_IDs[]が表すtrack_idのTMIトラックを、分離部２３１から供給されるストリームの中から取得し、そのTMIストリームに含まれるTMIを、STのTMIとして取得する。
　その後、処理は、ステップＳ２８１からステップＳ２８２に進み、ステップＳ２８２ないしＳ２８４において、図３６のステップＳ８２ないしＳ８４とそれぞれ同様の処理が行われる。
　すなわち、ステップＳ２８２では、デコーダ２３３Ａは、分離部２３１からのビデオストリームに含まれる符号化データを復号し、STDビデオを生成する。ステップＳ２８３では、デコーダ２３３Ｂは、分離部２３１からの、SMPTE-TTフォーマットのSTのデータのSTストリームを、STD STに復号する。
　そして、ステップＳ２８４において、コントローラ２３２は、表示装置３が有するモニタがHDRモニタであるか否かを判定する。
　表示装置３が有するモニタがHDRモニタであるとステップＳ２８４において判定された場合、処理は、ステップＳ２８５に進む。
　ステップＳ２８５では、デコーダ２３３Ａは、ステップＳ２８１で取得したビデオのTMIの中から、コントローラ２３２から供給される、ビデオのトラックのtirfボックスに格納されたtone_mapping_info_id_refが表すtone_map_idのTMIを、ビデオに適用するTMIとして取得する。
　また、デコーダ２３３Ｂは、ステップＳ２８１で取得したSTのTMIの中から、コントローラ２３２から供給される、STのトラックのtirfボックスに格納されたtone_mapping_info_id_refが表すtone_map_idのTMIを、STに適用するTMIとして取得する。
　その後、処理は、ステップＳ２８５からステップＳ２８６に進み、ステップＳ２８６ないしＳ２８９において、図３６のステップＳ８６ないしＳ８９とそれぞれ同様の処理が行われる。
　以上のように、第３の構成例の生成装置１は、ビデオ（のストリーム）のトラック、及び、ST（のストリーム）のトラックの他、TMI（のストリーム）のトラックであるTMIトラックを、第３のMP4ファイルに格納する。
　そして、各メディアのトラックには、そのメディア（のトラック）に適用するTMIのTMIトラックを指定するトラック指定情報としての、track_idを表すtrack_IDs[]を格納したtmpiボックスと、TMIトラックのTMIの中の、メディアに適用するTMIを指定するHDR指定情報としてのtone_mapping_info_id_refが格納されたtirfボックスが含められる。
　その結果、再生装置２は、各メディアについて、そのメディアのトラックに含まれるtmpiボックスに格納されたtrack_IDs[]が指定する（track_idの）TMIトラックのTMIの中から、tirfボックスに格納されたtone_mapping_info_id_refが指定する（tone_map_idの）TMIを、メディアに適用するTMIとして取得し、メディアの処理に利用することができる。
　＜生成装置１の第４の構成例＞
　図７０は、図１の生成装置１の第４の構成例を示すブロック図である。
　なお、図中、図２０の場合と対応する部分については、同一の符号を付してあり、以下では、その説明は、適宜、省略する。
　図７０において、生成装置１は、コントローラ２１、ファイル生成部２３、及び、符号化処理部３０２を有する。
　したがって、図７０の生成装置１は、コントローラ２１、及び、ファイル生成部２３を有する点で、図２０の場合と共通し、符号化処理部２２に代えて、符号化処理部３０２が設けられている点で、図２０の場合と相違する。
　さらに、図７０の生成装置１は、コントローラ２１が、ヘッダ情報生成部２１Ａに代えて、ヘッダ情報生成部３０１Ａを有する点で、図２０の場合と相違する。
　図７０の生成装置１では、マスタのHDRデータが符号化処理部３０２に入力される。
　ヘッダ情報生成部３０１Ａは、ファイル生成部２３で生成されるMP4ファイルのmoovと必要なmoofとを、ヘッダ情報として生成し、ファイル生成部２３に供給する。
　符号化処理部３０２は、図２０の符号化処理部２２と同様に、マスタのHDRデータの符号化を行うことにより、ビデオストリーム及びSTストリームを生成し、ファイル生成部２３に出力する。
　但し、本実施の形態では、HDR情報としてのTMIを格納するXMLのエレメントとして、HDR格納エレメントを新規に定義し、符号化処理部３０２は、STについては、そのSTの符号化の結果得られるSMPTE-TTフォーマットのSTのデータに、HDR情報としてのTMIをXMLのエレメントとして格納するHDR格納エレメントを含めて、STストリームを生成する。
　したがって、符号化処理部３０２において生成されるSTストリームとしてのSMPTE-TTフォーマットのSTのデータには、HDR情報としてのTMIを格納するHDR格納エレメントが含まれているため、そのSMPTE-TTフォーマットのSTのデータだけで、HDR情報としてのTMIを利用したHDR ST等の表示を行うことができる。
　すなわち、上述の第１ないし第３のMP4ファイルに格納されるSTストリームとしてのSMPTE-TTフォーマットのSTのデータに適用するTMIについては、そのTMIをtinfボックスに格納すること、又は、STのトラック以外のトラックに含まれるTMIを参照（利用）することとしているため、第１ないし第３のMP4ファイルに格納されるSTストリームを、そのまま、MP4ファイル以外のコンテナフォーマットのファイルやデータに格納した場合には、HDR情報としてのTMIを利用したHDR ST等の表示を行うことが困難となる。
　これに対して、符号化処理部３０２において生成されるSTストリームとしてのSMPTE-TTフォーマットのSTのデータ（以下、新TTデータともいう）には、HDR情報としてのTMIを格納するHDR格納エレメントが含まれているため、その新TTデータだけで、HDR情報としてのTMIを利用したHDR ST等の表示を行うことができる。
　したがって、新TTデータは、MP4ファイルは、勿論、どのようなコンテナフォーマットによって提供しても、HDR情報としてのTMIを利用したHDR ST等の表示を行うことができる。
　すなわち、図７０の生成装置１では、新TTデータを、MP4ファイルに格納して提供することとしているが、新TTデータは、MP4ファイルに格納する他、例えば、IPパケット、その他の任意のコンテナフォーマットのファイルやデータに格納して提供することができる。
　また、新TTデータは、単独で提供しても、ビデオ等の他のデータと多重化等して提供しても、HDR情報としてのTMIを利用したHDR ST等の表示を行うことができる。
　したがって、新TTデータによれば、SMPTE-TTフォーマットのSTのデータへのTMIの導入を促進し、ユーザが、HDR STを享受する機会を増やすことができる。
　＜符号化処理部３０２の構成例＞
　図７１は、図７０の符号化処理部３０２の構成例を示すブロック図である。
　なお、図中、図２６の符号化処理部２２と対応する部分については、同一の符号を付してあり、以下では、その説明は、適宜省略する。
　符号化処理部３０２は、特性情報生成部３１、エンコーダ３２、変換部３３、変換情報生成部３４、エンコーダ３５、及び、ストリーム生成部３１１を有する。
　したがって、符号化処理部３０２は、特性情報生成部３１、エンコーダ３２、変換部３３、変換情報生成部３４、及び、エンコーダ３５を有する点で、図２６の符号化処理部２２と共通する。
　但し、符号化処理部３０２は、ストリーム生成部３６に代えて、ストリーム生成部３１１が設けられている点で、図２６の符号処理部２２と相違する。
　ストリーム生成部３１１は、特性情報生成部３１、及び、変換情報生成部３４のそれぞれからのビデオのTMIを、SEIとして、エンコーダ３２からのビデオの符号化データに挿入し、ビデオストリームを生成して、ファイル生成部２３（図７０）に供給する。
　また、ストリーム生成部３１１は、特性情報生成部３１、及び、変換情報生成部３４のそれぞれからのSTのTMIを格納したHDR格納エレメントを生成する。
　さらに、ストリーム生成部３１１は、エンコーダ３５からのSMPTE-TTフォーマットのSTのデータに、HDR格納エレメント等を挿入することにより、新TTデータを生成し、その新TTデータのストリーム（STストリーム）を、ファイル生成部２３に供給する。
　なお、図７１において、特性情報生成部３１は、図４６の特性情報生成部１３１と同様に、HDRビデオとHDR STとのそれぞれについて、別個に、特性情報としてのTMIを生成することもできるし、HDRビデオについては、そのHDRビデオの特性情報としてのTMIを生成し、HDR STについては、そのHDR STと同時に表示されるHDRビデオの特性情報としてのTMIを、ST（HDR ST）の特性情報としてのTMIとして採用することができる。
　さらに、図７１において、変換情報生成部３４は、図４６の変換情報生成部１３２と同様に、HDRビデオとHDR STとのそれぞれについて、別個に、変換情報としてのTMIを生成することもできるし、HDRビデオについては、そのHDRビデオの変換情報としてのTMIを生成し、HDR STについては、そのHDR STと同時に表示されるHDRビデオの変換情報としてのTMIを、ST（HDR ST）の変換情報としてのTMIとして採用することができる。
　＜HDR格納エレメント＞
　図７２は、HDR格納エレメントの例を示す図である。
　HDR格納エレメントとしては、変換情報としてのTMIを格納するToneMapエレメントと、特性情報としてのTMIを格納するHdrInfoエレメントとがある。
　図７２のＡ、図７２のＢ、及び、図７２のＣは、ToneMapエレメントの例を示しており、図７２のＤは、HdrInfoエレメントの例を示している。
　図７２のＡのToneMapエレメントは、tone_map_idが0のときの図７のTMIに、図７２のＢのToneMapエレメントは、tone_map_idが2のときの図７のTMIに、図７２のＣのToneMapエレメントは、tone_map_idが3のときの図７のTMIに、それぞれ相当する。
　図７２のＤのHdrInfoエレメントは、tone_map_idが4のときの図７のTMIに相当する。
　なお、図７２のToneMapエレメント、及び、HdrInfoエレメント（に格納されるTMI）は、識別情報としてのxml:idによって識別される。
　図７２では、ToneMapエレメント、及び、HdrInfoエレメントのxml:idとして、数字を用いているが、xml:idとしては、任意の文字（列）（数字を含む）を用いることができる。
　ToneMapエレメント、及び、HdrInfoエレメントは、XMLの所定のエレメントとしての、例えば、tt，head，body，region，div，p，span、又は、setエレメント内に配置（記述）することができる。
　図７３は、toneMapRef属性、及び、hdrInfoRef属性の定義の例を示す図である。
　toneMapRef属性(toneMapRef attribute)は、STに適用するTMIが格納されたToneMapエレメントを指定する属性として、所定の名前空間（例えば、後述する名前空間hdr）の下に新規に定義された指定属性である。
　あるエレメントが、toneMapRef属性を有する場合、そのtoneMapRef属性によって指定されるToneMapエレメントに格納されたTMIが取得され、そのtoneMapRef属性を有するエレメントに記述されたSTに適用するTMIとして使用される。
　hdrInfoRef属性(hdrInfoRef attribute)は、STに適用するTMIが格納されたHdrInfoエレメントを指定する属性として、所定の名前空間（例えば、後述する名前空間hdr）の下に新規に定義された指定属性である。
　あるエレメントが、hdrInfoRef属性を有する場合、そのhdrInfoRef属性によって指定されるHdrInfoエレメントに格納されたTMIが取得され、そのhdrInfoRef属性を有するエレメントに記述されたSTに適用するTMIとして使用される。
　toneMapRef属性、及び、hdrInfoRef属性は、XMLの所定のエレメントとしての、例えば、body，div，p，region，span、又は、setエレメントに記述することができる。
　図７４は、新TTデータの第１の例を示す図である。
　図７４の新TTデータでは、記述n1において、HDR情報としてのTMIに関する名前空間hdrが定義されている。
　また、記述n2及びn3は、ToneMapエレメントであり、記述n2のToneMapエレメントは、xml:id="A"で識別され、記述n3のToneMapエレメントは、xml:id="B"で識別される。
　なお、記述n2及びn3のToneMapエレメントは、それぞれ、図７２のＢ及び図７２のＣのToneMapエレメントに相当する。
　また、図７４の記述n2及びn3のToneMapエレメントについては、その記述の一部を省略してある。
　記述n4は、pエレメントであり、toneMapRef属性としてのhdr:toneMapRef="A"を有している。
　記述n4のpエレメントによれば、toneMapRef属性としてのhdr:toneMapRef="A"に従い、xml:id="A"で識別される記述n2のToneMapエレメントに格納されたTMIが取得され、記述n4のpエレメントに記述されているSTとしてのテキスト"this subtitle references ToneMap whose id is A"に適用するTMIとして使用される。
　記述n5は、pエレメントであり、toneMapRef属性としてのhdr:toneMapRef="B"を有している。
　記述n5のpエレメントによれば、toneMapRef属性としてのhdr:toneMapRef="B"に従い、xml:id="B"で識別される記述n3のToneMapエレメントに格納されたTMIが取得され、記述n5のpエレメントに記述されているSTとしてのテキスト"this subtitle references ToneMap whose id is B"に適用するTMIとして使用される。
　なお、図７４では、記述n2及びn3のToneMapエレメントは、bodyエレメントに配置されているが、その他の位置に配置することができる。
　また、図７４では、記述n2やn3のToneMapエレメントと、そのToneMapエレメントを指定するtoneMapRef属性を有する記述n4やn5のpエレメントとは、同一のファイルに記述されているが、異なるファイルに記述することができる。
　図７５は、新TTデータの第２の例を示す図である。
　図７５の新TTデータでは、記述n11において、図７４の記述n1と同様に、HDR情報としてのTMIに関する名前空間hdrが定義されている。
　また、記述n12及びn13は、HdrInfoエレメントであり、記述n12のHdrInfoエレメントは、xml:id="AA"で識別され、記述n13のHdrInfoエレメントは、xml:id="BB"で識別される。
　なお、記述n12及びn13のHdrInfoエレメントは、いずれも、図７２のＤのHdrInfoエレメントに相当する。
　また、図７５の記述n12及びn13のHdrInfoエレメントについては、その記述の一部を省略してある。
　記述n14は、pエレメントであり、hdrInfoRef属性としてのhdr:hdrInfoRef="AA"を有している。
　記述n14のpエレメントによれば、hdrInfoRef属性としてのhdr:hdrInfoRef="AA"に従い、xml:id="AA"で識別される記述n12のHdrInfoエレメントに格納されたTMIが取得され、記述n14のpエレメントに記述されているSTとしてのテキスト"this subtitle references HdrInfo whose id is AA"に適用するTMIとして使用される。
　記述n15は、pエレメントであり、hdrInfoRef属性としてのhdr:hdrInfoRef="BB"を有している。
　記述n15のpエレメントによれば、hdrInfoRef属性としてのhdr:hdrInfoRef="BB"に従い、xml:id="BB"で識別される記述n13のHdrInfoエレメントに格納されたTMIが取得され、記述n15のpエレメントに記述されているSTとしてのテキスト"this subtitle references HdrInfo whose id is BB"に適用するTMIとして使用される。
　なお、図７５では、記述n12及びn13のHdrInfoエレメントは、bodyエレメントに配置されているが、その他の位置に配置することができる。
　また、図７５では、記述n12やn13のHdrInfoエレメントと、そのHdrInfoエレメントを指定するhdrInfoRef属性を有する記述n14やn15のpエレメントとは、同一のファイルに記述されているが、異なるファイルに記述することができる。
　さらに、図７４及び図７５では、新TTデータに、ToneMapエレメント、及び、HdrInfoエレメントのうちの一方だけが記述されているが、新TTデータには、ToneMapエレメント、及び、HdrInfoエレメントの両方を記述することができる。
　さらに、図７４及び図７５では、pエレメントにおいて、toneMapRef属性、及び、hdrInfoRef属性のうちの一方だけを指定しているが、１つのエレメントでは、toneMapRef属性、及び、hdrInfoRef属性の両方を指定することができる。
　図７６は、新TTデータの第３の例を示す図である。
　ここで、図７４の新TTデータの第１の例では、STに適用するTMIが格納されたToneMapエレメントを、toneMapRef属性によって指定することとしたが、図７６の新TTデータの第３の例では、toneMapRef属性を用いずに、STに適用するTMIが格納されたToneMapエレメントが指定される。
　すなわち、図７６の新TTデータの第３の例では、STに適用するTMIが格納されたToneMapエレメントを、そのSTが表示されるエレメントに配置することによって、STに適用するTMIが格納されたToneMapエレメントとして、そのSTが表示されるエレメントに配置されたToneMapエレメントが指定される。
　図７６の新TTデータでは、記述n21において、図７４の記述n1と同様に、HDR情報としてのTMIに関する名前空間hdrが定義されている。
　また、図７６において、記述n22のdivエレメントには、図７４の記述n2と同一の記述n23のToneMapエレメントが配置されている。
　さらに、記述n22のdivエレメントには、STとしてのテキスト"this subtitle references ToneMap whose identifiers are A"が表示される記述n24のpエレメントが配置されている。
　その結果、記述n22のdivエレメントに配置されている記述n24のpエレメントについては、同じく、記述n22のdivエレメントに配置されている記述n23のToneMapエレメントに格納されたTMIが取得され、記述n24のpエレメントに記述されているSTとしてのテキスト"this subtitle references ToneMap whose identifiers are A"に適用するTMIとして使用される。
　また、図７６において、記述n25のdivエレメントには、図７４の記述n3と同一の記述n26のToneMapエレメントが配置されている。
　さらに、記述n25のdivエレメントには、STとしてのテキスト"this subtitle references ToneMap whose identifiers are B"が表示される記述n27のpエレメントが配置されている。
　その結果、記述n25のdivエレメントに配置されている記述n27のpエレメントについては、同じく、記述n25のdivエレメントに配置されている記述n26のToneMapエレメントに格納されたTMIが取得され、記述n27のpエレメントに記述されているSTとしてのテキスト"this subtitle references ToneMap whose identifiers are B"に適用するTMIとして使用される。
　図７７は、新TTデータの第４の例を示す図である。
　ここで、図７５の新TTデータの第２の例では、STに適用するTMIが格納されたHdrInfoエレメントを、hdrInfoRef属性によって指定することとしたが、図７７の新TTデータの第４の例では、hdrInfoRef属性を用いずに、STに適用するTMIが格納されたHdrInfoエレメントが指定される。
　すなわち、図７７の新TTデータの第４の例では、図７６の場合と同様に、STに適用するTMIが格納されたHdrInfoエレメントを、そのSTが表示されるエレメントに配置することによって、STに適用するTMIが格納されたHdrInfoエレメントとして、そのSTが表示されるエレメントに配置されたHdrInfoエレメントが指定される。
　図７７の新TTデータでは、記述n31において、図７４の記述n1と同様に、HDR情報としてのTMIに関する名前空間hdrが定義されている。
　また、図７７において、記述n32のdivエレメントには、図７５の記述n12と同一の記述n33のHdrInfoエレメントが配置されている。
　さらに、記述n32のdivエレメントには、STとしてのテキスト"this subtitle references HdrInfo whose identifiers are AA"が表示される記述n34のpエレメントが配置されている。
　その結果、記述n32のdivエレメントに配置されている記述n34のpエレメントについては、同じく、記述n32のdivエレメントに配置されている記述n33のHdrInfoエレメントに格納されたTMIが取得され、記述n34のpエレメントに記述されているSTとしてのテキスト"this subtitle references HdrInfo whose identifiers are AA"に適用するTMIとして使用される。
　また、図７７において、記述n35のdivエレメントには、図７５の記述n13と同一の記述n36のHdrInfoエレメントが配置されている。
　さらに、記述n35のdivエレメントには、STとしてのテキスト"this subtitle references HdrInfo whose identifiers are BB"が表示される記述n37のpエレメントが配置されている。
　その結果、記述n35のdivエレメントに配置されている記述n37のpエレメントについては、同じく、記述n35のdivエレメントに配置されている記述n36のHdrInfoエレメントに格納されたTMIが取得され、記述n37のpエレメントに記述されているSTとしてのテキスト"this subtitle references HdrInfo whose identifiers are BB"に適用するTMIとして使用される。
　なお、図７６及び図７７では、新TTデータに、ToneMapエレメント、及び、HdrInfoエレメントのうちの一方だけが記述されているが、新TTデータには、ToneMapエレメント、及び、HdrInfoエレメントの両方を記述することができる。
　＜生成装置１のファイル生成処理＞
　図７８は、図７０の生成装置１が行うファイル生成処理の例を説明するフローチャートである。
　マスタのHDRデータが生成装置１に入力されると、ステップＳ３０１において、生成装置１のコントローラ２１は、図２９のステップＳ１と同様に、処理モードがmode-iであるか否かを判定する。
　処理モードがmode-iであるとステップＳ３０１において判定された場合、ステップＳ３０２に進み、符号化処理部３０２は、mode-iでの符号化処理を行う。mode-iでの符号化処理により生成されたビデオストリームとSTストリーム(es)は、符号化処理部３０２からファイル生成部２３に供給される。
　一方、処理モードがmode-iiであるとステップＳ３０１において判定された場合、ステップＳ３０３に進み、符号化処理部３０２は、mode-iiでの符号化処理を行う。mode-iiでの符号化処理により生成されたビデオストリームとSTストリーム(es)は、符号化処理部３０２からファイル生成部２３に供給される。
　ステップＳ３０２又はＳ３０３の後、処理は、ステップＳ３０４に進み、ヘッダ情報生成部３０１Ａは、ヘッダ情報生成処理を行う。ヘッダ情報生成処理により生成されたヘッダ情報としてのmoov、及び、必要なmoofは、ヘッダ情報生成部３０１Ａからファイル生成部２３に供給され、処理は、ステップＳ３０５に進む。
　ステップＳ３０５において、ファイル生成部２３は、符号化処理部３０２からのビデオストリーム、及び、STストリーム、並びに、ヘッダ情報生成部３０１Ａからのヘッダ情報を格納したMP4ファイルを生成して出力し、ファイル生成処理は終了する。
　図７９は、図７８のステップＳ３０２において行われるmode-iの符号化処理の例を説明するフローチャートである。
　ステップＳ３１１ないしＳ３１５において、図３０のステップＳ１１ないしＳ１５とそれぞれ同様の処理が行われる。
　その後、ステップＳ３１６において、符号化処理部３０２（図７１）のストリーム生成部３１１は、符号化データのSEIとして、特性情報生成部３１から供給される特性情報としてのビデオのTMIと、変換情報生成部３４から供給される変換情報としてのビデオのTMIを、エンコーダ３２から供給される符号化データに挿入し、ビデオストリームを生成し、処理は、ステップＳ３１７に進む。
　ステップＳ３１７では、ストリーム生成部３１１は、特性情報生成部３１から供給される特性情報としてのSTのTMIを格納したHdrInfoエレメント、及び、変換情報生成部３４から供給される変換情報としてのSTのTMIを格納したToneMapエレメントを生成する。
　また、ストリーム生成部３１１は、HdrInfoエレメント、及び、ToneMapエレメント、並びに、必要なtoneMapRef属性、及び、hdrInfoRef属性を、エンコーダ３５からのSMPTE-TTフォーマットのSTのデータに挿入することで、新TTデータを生成する。
　そして、ストリーム生成部３１１は、新TTデータのストリームであるSTストリームを、ビデオストリームとともに、ファイル生成部２３（図７０）に供給して、mode-iの符号化処理は終了する（リターンする）。
　図８０は、図７８のステップＳ３０３において行われるmode-iiの符号化処理の例を説明するフローチャートである。
　ステップＳ３２１ないしＳ３２５において、図３１のステップＳ２１ないしＳ２５とそれぞれ同様の処理が行われる。
　そして、ステップＳ３２６及びＳ３２７において、図７９のステップＳ３１６及びＳ３１７とそれぞれ同様の処理が行われる。
　＜再生装置２の第４の構成例＞
　図８１は、図１の再生装置２の第４の構成例を示すブロック図である。
　なお、図中、図３３の場合と対応する部分については、同一の符号を付してあり、以下では、その説明は、適宜、省略する。
　図８１において、再生装置２は、ファイル取得部５１、分離部５２、操作入力部５３、合成出力部５６、コントローラ３２１、及び、復号処理部３２２を有する。
　したがって、図８１の再生装置２は、ファイル取得部５１、分離部５２、操作入力部５３、及び、合成出力部５６を有する点で、図３３の場合と共通する。
　但し、図８１の再生装置２は、コントローラ５４、及び、復号処理部５５に代えて、それぞれ、コントローラ３２１、及び、復号処理部３２２が設けられている点で、図３３の場合と相違する。
　コントローラ３２１は、CPU、ROM、RAM等より構成される。コントローラ３２１は、所定のプログラムを実行し、再生装置２の全体の動作を制御する。
　例えば、コントローラ３２１は、分離部５２から供給されるmoovボックスやmoofボックスに応じて、復号処理部３２２を制御する。
　復号処理部３２２は、デコーダ３２２Ａとデコーダ３２２Ｂとを有する。
　デコーダ３２２Ａは、分離部５２から供給されるビデオストリームのSEIから特性情報及び変換情報としてのTMI(tone_mapping_info)を、ビデオに適用するTMIとして取得する。
　また、デコーダ３２２Ａは、分離部５２から供給されるビデオストリームに含まれる符号化データをHEVC方式で復号する。
　そして、デコーダ３２２Ａは、必要に応じて、復号の結果得られるHDRビデオ又はSTDビデオを、ビデオに適用する変換情報としてのTMIに基づいて、STDビデオ又はHDRビデオに変換し、合成出力部５６に出力する。
　デコーダ３２２Ａは、HDRビデオを出力する場合、HDRビデオとともに、ビデオに適用する特性情報としてのTMIを、合成出力部５６に出力する。
　デコーダ３２２Ｂは、分離部５２から供給されるSTストリームを復号する。
　また、デコーダ３２２Ｂは、STストリームに含まれるToneMapエレメント、及び、HdrInfoエレメント（toneMapRef属性やhdrInfoRef属性によって、ToneMapエレメントやHdrInfoエレメントが指定されている場合には、そのoneMapRef属性やhdrInfoRef属性によって指定されているToneMapエレメントやHdrInfoエレメント）に格納されたTMIを、STに適用するTMIとして取得する取得部として機能する。
　そして、デコーダ３２２Ｂは、必要に応じて、復号の結果得られるHDR ST又はSTD STを、STに適用する変換情報としてのTMIに基づいて、STD ST又はHDR STに変換し、合成出力部５６に出力する。
　デコーダ３２２Ｂは、HDR STを出力する場合、HDR STとともに、STに適用する特性情報としてのTMIを、合成出力部５６に出力する。
　＜再生装置２の再生処理＞
　図８２は、図８１の再生装置２が行う再生処理の例を説明するフローチャートである。
　ステップＳ３３１において、ファイル取得部５１は、生成装置１で生成されたMP4ファイルを取得し、分離部５２に供給する。
　分離部５２は、ファイル取得部５１からのMP4ファイルから、ヘッダ情報としてのmoovボックスやmoofボックスを読み出すとともに、mdatボックスに格納された実データとしてのビデオストリームやSTストリームを読み出す。
　そして、分離部５２は、ヘッダ情報としてのmoovボックスやmoofボックスを、コントローラ３２１に供給するとともに、ビデオストリームやSTストリームを、復号処理部３２２に供給する。
　その後、処理は、ステップＳ３３１からステップＳ３３２に進み、コントローラ３２１は、ファイル取得部５１で取得されたMP4ファイルの処理モードがmode-i又はmode-iiであるかどうかを、図３４のステップＳ４２と同様に判定する。
　処理モードがmode-iであるとステップＳ３３２において判定された場合、ステップＳ３３３に進み、復号処理部３２２は、mode-iの復号処理を行う。
　一方、処理モードがmode-iiであるとステップＳ３３２において判定された場合、ステップＳ３３４に進み、復号処理部３２２は、mode-iiの復号処理を行う。
　ステップＳ３３３又はステップＳ３３４において復号処理が行われた後、再生処理は終了する。
　図８３は、図８２のステップＳ３３３において行われるmode-iの復号処理の例を説明するフローチャートである。
　ステップＳ３４１において、デコーダ３２２Ａは、分離部５２から供給されるビデオストリームのSEIから特性情報及び変換情報としてのTMIを取得する。
　その後、処理は、ステップＳ３４１からステップＳ３４２に進み、デコーダ３２２Ａは、分離部５２からのビデオストリームに含まれる符号化データをHEVC方式で復号し、HDRビデオを生成して、処理は、ステップＳ３４３に進む。なお、ビデオの復号（符号化）方式は、HEVC方式に限定されない。
　ステップＳ３４３では、デコーダ３２２Ｂは、分離部５２から供給されるSTストリーム（新TTデータ）に含まれるToneMapエレメント、及び、HdrInfoエレメントに格納されたTMIを取得し、処理は、ステップＳ３４４に進む。
　ステップＳ３４４において、デコーダ３２２Ｂは、分離部５２から供給されるSTストリームを、HDR STに復号し、処理は、ステップＳ３４５に進む。
　ステップＳ３４５において、コントローラ３２１は、表示装置３が有するモニタがHDRモニタであるか否かを、図３５のステップＳ６４と同様に判定する。
　表示装置３が有するモニタがHDRモニタであるとステップＳ３４５において判定された場合、処理は、ステップＳ３４６に進む。
　ステップＳ３４６において、デコーダ３２２Ａは、ステップＳ３４１で取得したTMIから、ビデオに適用するTMIを取得する。ここで、MP4ファイルに格納されたビデオに適用するTMIを取得する方法としては、例えば、生成装置１及び再生装置２の第１の構成例で説明した方法等を採用することができる。
　また、デコーダ３２２Ｂは、ステップＳ３４３で取得したTMIから、STに適用するTMI（toneMapRef属性やhdrInfoRef属性によって、ToneMapエレメントやHdrInfoエレメントが指定されている場合には、そのoneMapRef属性やhdrInfoRef属性によって指定されているToneMapエレメントやHdrInfoエレメントに格納されたTMI）を取得する。
　その後、処理は、ステップＳ３４６からステップＳ３４７に進み、以下、ステップＳ３４７及びＳ３５１において、図３５のステップＳ６６及びＳ７０とそれぞれ同様の処理が行われる。
　一方、表示装置３が有するモニタがHDRモニタではなく、STDモニタであるとステップＳ３４５において判定された場合、処理は、ステップＳ３４８に進む。
　ステップＳ３４８において、デコーダ３２２Ａ及び３２２Ｂは、ステップＳ３４６と同様に、ビデオ及びSTに適用するTMIとして取得する。
　その後、ステップＳ３４９ないしＳ３５１において、図３５のステップＳ６８ないしＳ６９と同様の処理が行われる。
　図８４は、図８２のステップＳ３３４において行われるmode-iiの復号処理の例を説明するフローチャートである。
　ステップＳ３６１において、デコーダ３２２Ａは、図８３のステップＳ３４１と同様に、分離部５２から供給されるビデオストリームのSEIから特性情報及び変換情報としてのTMIを取得する。
　その後、処理は、ステップＳ３６１からステップＳ３６２に進み、デコーダ３２２Ａは、分離部５２からのビデオストリームに含まれる符号化データをHEVC方式で復号し、STDビデオを生成して、処理は、ステップＳ３６３に進む。なお、ビデオの復号（符号化）方式は、HEVC方式に限定されない。
　ステップＳ３６３では、デコーダ３２２Ｂは、図８３のステップＳ３４３と同様に、分離部５２から供給されるSTストリーム（新TTデータ）に含まれるToneMapエレメント、及び、HdrInfoエレメントに格納されたTMIを取得し、処理は、ステップＳ３６４に進む。
　ステップＳ３６４において、デコーダ３２２Ｂは、分離部５２から供給されるSTストリームを、STD STに復号し、処理は、ステップＳ３６５に進む。
　ステップＳ３６５において、コントローラ３２１は、例えば、図８３のステップＳ３４５と同様に、表示装置３が有するモニタがHDRモニタであるか否かを判定する。
　表示装置３が有するモニタがHDRモニタであるとステップＳ３６５において判定された場合、処理は、ステップＳ３６６に進む。
　ステップＳ３６６において、デコーダ３２２Ａ及び３２２Ｂは、図８３のステップＳ３４６と同様に、ビデオ及びSTに適用するTMIとして取得する。
　すなわち、ステップＳ３６６において、デコーダ３２２Ａは、ステップＳ３６１で取得したTMIから、ビデオに適用するTMIを取得する。
　また、デコーダ３２２Ｂは、ステップＳ３６３で取得したTMIから、STに適用するTMI（toneMapRef属性やhdrInfoRef属性によって、ToneMapエレメントやHdrInfoエレメントが指定されている場合には、そのoneMapRef属性やhdrInfoRef属性によって指定されているToneMapエレメントやHdrInfoエレメントに格納されたTMI）を取得する。
　その後、処理は、ステップＳ３６６からステップＳ３６７に進み、ステップＳ３６７ないしＳ３７０において、図３６のステップＳ８６ないしＳ８９とそれぞれ同様の処理が行われる。
　以上のように、第４の構成例の生成装置１は、HDR情報としてのTMIをXMLのエレメントとして格納するHDR格納エレメントとしてのToneMapエレメントやHdrInfoエレメントを含む、XMLの新TTデータを生成する。
　その結果、再生装置２は、新TTデータから、STに適用するTMIを取得し、STの処理に利用することができる。
　なお、ToneMapエレメントやHdrInfoエレメント、さらには、toneMapRef属性やhdrInfoRef属性は、XMLを利用したSMPTE-TTによって、STを表示する場合の他、任意のマークアップ言語を利用して、STその他の任意の画像を表示する場合に適用することができる。
　＜本技術を適用したコンピュータの説明＞
　次に、上述した一連の処理は、ハードウェアにより行うこともできるし、ソフトウェアにより行うこともできる。一連の処理をソフトウェアによって行う場合には、そのソフトウェアを構成するプログラムが、汎用のコンピュータ等にインストールされる。
　そこで、図８５は、上述した一連の処理を実行するプログラムがインストールされるコンピュータの一実施の形態の構成例を示している。
　プログラムは、コンピュータに内蔵されている記録媒体としてのハードディスク４０５やROM４０３に予め記録しておくことができる。
　あるいはまた、プログラムは、リムーバブル記録媒体４１１に格納（記録）しておくことができる。このようなリムーバブル記録媒体４１１は、いわゆるパッケージソフトウエアとして提供することができる。ここで、リムーバブル記録媒体４１１としては、例えば、フレキシブルディスク、CD-ROM(Compact Disc Read Only Memory)，MO(Magneto Optical)ディスク，DVD(Digital Versatile Disc)、磁気ディスク、半導体メモリ等がある。
　なお、プログラムは、上述したようなリムーバブル記録媒体４１１からコンピュータにインストールする他、通信網や放送網を介して、コンピュータにダウンロードし、内蔵するハードディスク４０５にインストールすることができる。すなわち、プログラムは、例えば、ダウンロードサイトから、ディジタル衛星放送用の人工衛星を介して、コンピュータに無線で転送したり、LAN(Local Area Network)、インターネットといったネットワークを介して、コンピュータに有線で転送することができる。
　コンピュータは、CPU(Central Processing Unit)４０２を内蔵しており、CPU４０２には、バス４０１を介して、入出力インタフェース４１０が接続されている。
　CPU４０２は、入出力インタフェース４１０を介して、ユーザによって、入力部４０７が操作等されることにより指令が入力されると、それに従って、ROM(Read Only Memory)４０３に格納されているプログラムを実行する。あるいは、CPU４０２は、ハードディスク４０５に格納されたプログラムを、RAM(Random Access Memory)４０４にロードして実行する。
　これにより、CPU４０２は、上述したフローチャートにしたがった処理、あるいは上述したブロック図の構成により行われる処理を行う。そして、CPU４０２は、その処理結果を、必要に応じて、例えば、入出力インタフェース４１０を介して、出力部４０６から出力、あるいは、通信部４０８から送信、さらには、ハードディスク４０５に記録等させる。
　なお、入力部４０７は、キーボードや、マウス、マイク等で構成される。また、出力部４０６は、LCD(Liquid Crystal Display)やスピーカ等で構成される。
　ここで、本明細書において、コンピュータがプログラムに従って行う処理は、必ずしもフローチャートとして記載された順序に沿って時系列に行われる必要はない。すなわち、コンピュータがプログラムに従って行う処理は、並列的あるいは個別に実行される処理（例えば、並列処理あるいはオブジェクトによる処理）も含む。
　また、プログラムは、１のコンピュータ（プロセッサ）により処理されるものであっても良いし、複数のコンピュータによって分散処理されるものであっても良い。さらに、プログラムは、遠方のコンピュータに転送されて実行されるものであっても良い。
　さらに、本明細書において、システムとは、複数の構成要素（装置、モジュール（部品）等）の集合を意味し、すべての構成要素が同一筐体中にあるか否かは問わない。したがって、別個の筐体に収納され、ネットワークを介して接続されている複数の装置、及び、１つの筐体の中に複数のモジュールが収納されている１つの装置は、いずれも、システムである。
　なお、本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。
　例えば、本技術は、１つの機能をネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成をとることができる。
　また、上述のフローチャートで説明した各ステップは、１つの装置で実行する他、複数の装置で分担して実行することができる。
　さらに、１つのステップに複数の処理が含まれる場合には、その１つのステップに含まれる複数の処理は、１つの装置で実行する他、複数の装置で分担して実行することができる。
　また、本明細書に記載された効果はあくまで例示であって限定されるものではなく、他の効果があってもよい。
　なお、本技術は、以下のような構成をとることができる。
　＜１＞
　　STD(standard)画像よりも高ダイナミックレンジのHDR(high dynamic range)画像の輝度の特性を表す特性情報と、
　　前記STD画像、及び、前記HDR画像のうちの一方を他方に変換する変換規則を表す変換情報と
　からなるHDR情報をマークアップ言語のエレメントとして格納するHDR格納エレメントを含む、前記マークアップ言語のデータを生成するデータ生成部を備える
　データ生成装置。
　＜２＞
　前記HDR格納エレメントは、前記マークアップ言語の所定のエレメント内に配置される
　＜１＞に記載のデータ生成装置。
　＜３＞
　前記マークアップ言語は、XML(Extensible Markup Language)である
　＜２＞に記載のデータ生成装置。
　＜４＞
　前記HDR格納エレメントは、tt，head，body，region，div，p，span、又は、setエレメント内に配置される
　＜３＞に記載のデータ生成装置。
　＜５＞
　前記データは、SMPTE(Society of Motion Picture and Television Engineers)-TT(Timed Text)のフォーマットのデータである
　＜１＞ないし＜４＞のいずれかに記載のデータ生成装置。
　＜６＞
　前記HDR格納エレメントとして、前記特性情報を格納するエレメントと、前記変換情報を格納するエレメントとがある
　＜１＞ないし＜５＞のいずれかに記載のデータ生成装置。
　＜７＞
　前記データは、画像に適用する前記HDR情報が格納された前記HDR格納エレメントを指定する属性として定義された指定属性を有するエレメントを、さらに含む
　＜１＞ないし＜６＞のいずれかに記載のデータ生成装置。
　＜８＞
　　STD(standard)画像よりも高ダイナミックレンジのHDR(high dynamic range)画像の輝度の特性を表す特性情報と、
　　前記STD画像、及び、前記HDR画像のうちの一方を他方に変換する変換規則を表す変換情報と
　からなるHDR情報をマークアップ言語のエレメントとして格納するHDR格納エレメントを含む、前記マークアップ言語のデータを生成する
　ステップを含むデータ生成方法。
　＜９＞
　　STD(standard)画像よりも高ダイナミックレンジのHDR(high dynamic range)画像の輝度の特性を表す特性情報と、
　　前記STD画像、及び、前記HDR画像のうちの一方を他方に変換する変換規則を表す変換情報と
　からなるHDR情報をマークアップ言語のエレメントとして格納するHDR格納エレメントを含む、前記マークアップ言語のデータから、前記HDR格納エレメントに格納された前記HDR情報を取得する取得部を備える
　データ再生装置。
　＜１０＞
　前記HDR格納エレメントは、前記マークアップ言語の所定のエレメント内に配置され、
　前記取得部は、前記所定のエレメント内で表示される画像に適用する前記HDR情報を、前記所定のエレメント内に配置された前記HDR格納エレメントから取得する
　＜９＞に記載のデータ再生装置。
　＜１１＞
　前記マークアップ言語は、XML(Extensible Markup Language)である
　＜１０＞に記載のデータ再生装置。
　＜１２＞
　前記HDR格納エレメントは、tt，head，body，region，div，p，span、又は、setエレメント内に配置される
　＜１１＞に記載のデータ再生装置。
　＜１３＞
　前記データは、SMPTE(Society of Motion Picture and Television Engineers)-TT(Timed Text)のフォーマットのデータである
　＜９＞ないし＜１２＞のいずれかに記載のデータ再生装置。
　＜１４＞
　前記HDR格納エレメントとして、前記特性情報を格納するエレメントと、前記変換情報を格納するエレメントとがある
　＜９＞ないし＜１３＞のいずれかに記載のデータ再生装置。
　＜１５＞
　前記データは、画像に適用する前記HDR情報が格納された前記HDR格納エレメントを指定する属性として定義された指定属性を有するエレメントを、さらに含み、
　前記取得部は、前記エレメントで表示される画像に適用する前記HDR情報を、前記エレメントが有する指定属性が指定する前記HDR格納エレメントから取得する
　＜９＞ないし＜１４＞のいずれかに記載のデータ再生装置。
　＜１６＞
　　STD(standard)画像よりも高ダイナミックレンジのHDR(high dynamic range)画像の輝度の特性を表す特性情報と、
　　前記STD画像、及び、前記HDR画像のうちの一方を他方に変換する変換規則を表す変換情報と
　からなるHDR情報をマークアップ言語のエレメントとして格納するHDR格納エレメントを含む、前記マークアップ言語のデータから、前記HDR格納エレメントに格納された前記HDR情報を取得する
　ステップを含むデータ再生方法。
　１　生成装置，　２　再生装置，　３　表示装置，　４　ケーブル，　１１　記録媒体，　１２　伝送媒体，　２１　コントローラ，　２１Ａ　ヘッダ情報生成部，　２２　符号化処理部，　２３　ファイル生成部，　３１　特性情報生成部，　３２　エンコーダ，　３３　変換部，　３４　変換情報生成部，　３５　エンコーダ，　３６　ストリーム生成部，　５１　ファイル取得部，　５２　分離部，　５３　操作入力部，　５４　コントローラ，　５５　復号処理部，　５５Ａ，５５Ｂ　デコーダ，　５６　合成出力部，　１０１　コントローラ，　１０１Ａ　メモリ，　１０２　通信部，　１０３　信号処理部，　１０４　モニタ，　１２１Ａ　ヘッダ情報生成部，　１２２　符号化処理部，　１３１　特性情報生成部，　１３２　変換情報生成部，　１３３　ストリーム生成部，　１４１　コントローラ，　１４２　復号処理部，　１４２Ａ，１４２Ｂ　デコーダ，　２０１Ａ　ヘッダ情報生成部，　２０２　符号化処理部，　２０３　ファイル生成部，　２１１　ストリーム生成部，　２３１　分離部，　２３２　コントローラ，　２３３　復号処理部，　２３３Ａ，２３３Ｂ　デコーダ，　３０１Ａ　ヘッダ情報生成部，　３０２　符号化処理部，　３１１　ストリーム生成部，　３２１　コントローラ，　３２２　復号処理部，　３２２Ａ，３２２Ｂ　デコーダ，　４０１　バス，　４０２　CPU，　４０３　ROM，　４０４　RAM，　４０５　ハードディスク，　４０６　出力部，　４０７　入力部，　４０８　通信部，　４０９　ドライブ，　４１０　入出力インタフェース，　４１１　リムーバブル記録媒体，　１００１，１００２　エレメント

Claims (16)

  1. 　　STD(standard)画像よりも高ダイナミックレンジのHDR(high dynamic range)画像の輝度の特性を表す特性情報と、
    　　前記STD画像、及び、前記HDR画像のうちの一方を他方に変換する変換規則を表す変換情報と
    　からなるHDR情報をマークアップ言語のエレメントとして格納するHDR格納エレメントを含む、前記マークアップ言語のデータを生成するデータ生成部を備える
    　データ生成装置。
  2. 　前記HDR格納エレメントは、前記マークアップ言語の所定のエレメント内に配置される
    　請求項１に記載のデータ生成装置。
  3. 　前記マークアップ言語は、XML(Extensible Markup Language)である
    　請求項２に記載のデータ生成装置。
  4. 　前記HDR格納エレメントは、tt，head，body，region，div，p，span、又は、setエレメント内に配置される
    　請求項３に記載のデータ生成装置。
  5. 　前記データは、SMPTE(Society of Motion Picture and Television Engineers)-TT(Timed Text)のフォーマットのデータである
    　請求項３に記載のデータ生成装置。
  6. 　前記HDR格納エレメントとして、前記特性情報を格納するエレメントと、前記変換情報を格納するエレメントとがある
    　請求項５に記載のデータ生成装置。
  7. 　前記データは、画像に適用する前記HDR情報が格納された前記HDR格納エレメントを指定する属性として定義された指定属性を有するエレメントを、さらに含む
    　請求項５に記載のデータ生成装置。
  8. 　　STD(standard)画像よりも高ダイナミックレンジのHDR(high dynamic range)画像の輝度の特性を表す特性情報と、
    　　前記STD画像、及び、前記HDR画像のうちの一方を他方に変換する変換規則を表す変換情報と
    　からなるHDR情報をマークアップ言語のエレメントとして格納するHDR格納エレメントを含む、前記マークアップ言語のデータを生成する
    　ステップを含むデータ生成方法。
  9. 　　STD(standard)画像よりも高ダイナミックレンジのHDR(high dynamic range)画像の輝度の特性を表す特性情報と、
    　　前記STD画像、及び、前記HDR画像のうちの一方を他方に変換する変換規則を表す変換情報と
    　からなるHDR情報をマークアップ言語のエレメントとして格納するHDR格納エレメントを含む、前記マークアップ言語のデータから、前記HDR格納エレメントに格納された前記HDR情報を取得する取得部を備える
    　データ再生装置。
  10. 　前記HDR格納エレメントは、前記マークアップ言語の所定のエレメント内に配置され、
    　前記取得部は、前記所定のエレメント内で表示される画像に適用する前記HDR情報を、前記所定のエレメント内に配置された前記HDR格納エレメントから取得する
    　請求項９に記載のデータ再生装置。
  11. 　前記マークアップ言語は、XML(Extensible Markup Language)である
    　請求項１０に記載のデータ再生装置。
  12. 　前記HDR格納エレメントは、tt，head，body，region，div，p，span、又は、setエレメント内に配置される
    　請求項１１に記載のデータ再生装置。
  13. 　前記データは、SMPTE(Society of Motion Picture and Television Engineers)-TT(Timed Text)のフォーマットのデータである
    　請求項１１に記載のデータ再生装置。
  14. 　前記HDR格納エレメントとして、前記特性情報を格納するエレメントと、前記変換情報を格納するエレメントとがある
    　請求項１３に記載のデータ再生装置。
  15. 　前記データは、画像に適用する前記HDR情報が格納された前記HDR格納エレメントを指定する属性として定義された指定属性を有するエレメントを、さらに含み、
    　前記取得部は、前記エレメントで表示される画像に適用する前記HDR情報を、前記エレメントが有する指定属性が指定する前記HDR格納エレメントから取得する
    　請求項１３に記載のデータ再生装置。
  16. 　　STD(standard)画像よりも高ダイナミックレンジのHDR(high dynamic range)画像の輝度の特性を表す特性情報と、
    　　前記STD画像、及び、前記HDR画像のうちの一方を他方に変換する変換規則を表す変換情報と
    　からなるHDR情報をマークアップ言語のエレメントとして格納するHDR格納エレメントを含む、前記マークアップ言語のデータから、前記HDR格納エレメントに格納された前記HDR情報を取得する
    　ステップを含むデータ再生方法。
PCT/JP2014/068380 2013-07-19 2014-07-10 データ生成装置、データ生成方法、データ再生装置、及び、データ再生方法 WO2015008685A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
CN201480001931.1A CN104488261B (zh) 2013-07-19 2014-07-10 数据生成装置、数据生成方法、数据再生装置及数据再生方法
US14/416,446 US9596430B2 (en) 2013-07-19 2014-07-10 Data generation apparatus, data generating method, data reproduction apparatus, and data reproducing method
EP14826582.0A EP2869566B1 (en) 2013-07-19 2014-07-10 Data generation device, data generation method, data reproduction device, and data reproduction method
JP2014560962A JP6402632B2 (ja) 2013-07-19 2014-07-10 データ生成装置、データ生成方法、データ再生装置、及び、データ再生方法

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2013150438 2013-07-19
JP2013-150438 2013-07-19

Publications (1)

Publication Number Publication Date
WO2015008685A1 true WO2015008685A1 (ja) 2015-01-22

Family

ID=52346148

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2014/068380 WO2015008685A1 (ja) 2013-07-19 2014-07-10 データ生成装置、データ生成方法、データ再生装置、及び、データ再生方法

Country Status (6)

Country Link
US (1) US9596430B2 (ja)
EP (1) EP2869566B1 (ja)
JP (1) JP6402632B2 (ja)
CN (1) CN104488261B (ja)
TW (1) TWI632810B (ja)
WO (1) WO2015008685A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016157839A1 (ja) * 2015-03-27 2016-10-06 パナソニックＩｐマネジメント株式会社 信号処理装置、録画再生装置、信号処理方法、およびプログラム
US20190075296A1 (en) * 2014-06-27 2019-03-07 Panasonic Intellectual Property Management Co., Ltd. Data output apparatus, data output method, and data generation method

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI630820B (zh) 2013-07-19 2018-07-21 新力股份有限公司 File generation device, file generation method, file reproduction device, and file reproduction method
TWI630821B (zh) 2013-07-19 2018-07-21 新力股份有限公司 File generation device, file generation method, file reproduction device, and file reproduction method
CN106464966B (zh) * 2014-05-12 2020-12-08 索尼公司 通信装置、通信方法和计算机可读存储介质
JP6731722B2 (ja) * 2015-05-12 2020-07-29 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ 表示方法および表示装置
KR102337159B1 (ko) * 2015-05-21 2021-12-08 삼성전자주식회사 컨텐츠 출력 장치 및 방법과, 디스플레이 장치
US10477176B2 (en) * 2015-08-24 2019-11-12 Sharp Kabushiki Kaisha Reception device, broadcast system, reception method, and program
EP3375194A1 (en) * 2015-11-09 2018-09-19 Thomson Licensing Method and device for adapting the video content decoded from elementary streams to the characteristics of a display
WO2017116419A1 (en) * 2015-12-29 2017-07-06 Thomson Licensing Method and apparatus for metadata insertion pipeline for streaming media
US10230812B1 (en) * 2016-01-29 2019-03-12 Amazon Technologies, Inc. Dynamic allocation of subtitle packaging
US10264196B2 (en) 2016-02-12 2019-04-16 Contrast, Inc. Systems and methods for HDR video capture with a mobile device
US10257393B2 (en) 2016-02-12 2019-04-09 Contrast, Inc. Devices and methods for high dynamic range video
CA3033242A1 (en) 2016-08-09 2018-02-15 Contrast, Inc. Real-time hdr video for vehicle control
US11265530B2 (en) 2017-07-10 2022-03-01 Contrast, Inc. Stereoscopic camera
US10951888B2 (en) 2018-06-04 2021-03-16 Contrast, Inc. Compressed high dynamic range video
CN112075083B (zh) * 2018-06-25 2023-04-04 华为技术有限公司 一种包含字幕的高动态范围视频处理的方法及装置

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007257641A (ja) * 2006-03-24 2007-10-04 Sharp Corp トーンマッピングのメッセージングのための方法、システム、画像受信装置、画像送信装置、およびプログラム
JP2007534238A (ja) * 2004-04-23 2007-11-22 ブライトサイド テクノロジーズ インコーポレイテッド 高ダイナミックレンジ画像の符号化、復号化、及び表現
JP2009524371A (ja) * 2006-01-23 2009-06-25 マックス−プランク−ゲゼルシャフト・ツア・フェルデルング・デア・ヴィッセンシャフテン・エー・ファオ 高ダイナミックレンジコーデック
WO2012027405A2 (en) * 2010-08-25 2012-03-01 Dolby Laboratories Licensing Corporation Extending image dynamic range

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7068683B1 (en) * 2000-10-25 2006-06-27 Qualcomm, Incorporated Method and apparatus for high rate packet data and low delay data transmissions
TWI261821B (en) * 2002-12-27 2006-09-11 Toshiba Corp Information playback apparatus and information playback method
JP5690267B2 (ja) 2008-08-22 2015-03-25 トムソン ライセンシングＴｈｏｍｓｏｎ Ｌｉｃｅｎｓｉｎｇ コンテンツ配信のための方法およびシステム
US8724007B2 (en) * 2008-08-29 2014-05-13 Adobe Systems Incorporated Metadata-driven method and apparatus for multi-image processing
US8483479B2 (en) * 2009-05-11 2013-07-09 Dolby Laboratories Licensing Corporation Light detection, color appearance models, and modifying dynamic range for image display
US8606009B2 (en) * 2010-02-04 2013-12-10 Microsoft Corporation High dynamic range image generation and rendering
JP6068329B2 (ja) * 2010-04-01 2017-01-25 トムソン ライセンシングＴｈｏｍｓｏｎ Ｌｉｃｅｎｓｉｎｇ 立体表示用のサブタイトルを生成する方法及びシステム
EP4375982A2 (en) 2011-05-10 2024-05-29 Koninklijke Philips N.V. High dynamic range image signal generation and processing
US9417479B2 (en) * 2011-05-13 2016-08-16 Samsung Display Co., Ltd. Method for reducing simultaneous contrast error
WO2013090120A1 (en) 2011-12-15 2013-06-20 Dolby Laboratories Licensing Corporation Backwards-compatible delivery of digital cinema content with extended dynamic range

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007534238A (ja) * 2004-04-23 2007-11-22 ブライトサイド テクノロジーズ インコーポレイテッド 高ダイナミックレンジ画像の符号化、復号化、及び表現
JP2009524371A (ja) * 2006-01-23 2009-06-25 マックス−プランク−ゲゼルシャフト・ツア・フェルデルング・デア・ヴィッセンシャフテン・エー・ファオ 高ダイナミックレンジコーデック
JP2007257641A (ja) * 2006-03-24 2007-10-04 Sharp Corp トーンマッピングのメッセージングのための方法、システム、画像受信装置、画像送信装置、およびプログラム
WO2012027405A2 (en) * 2010-08-25 2012-03-01 Dolby Laboratories Licensing Corporation Extending image dynamic range

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
BENJAMIN BROSS ET AL.: "High Efficiency Video Coding (HEVC) text specification draft 10 (for FDIS & Last Call", JOINT COLLABORATIVE TEAM ON VIDEO CODING (JCT-VC) OF ITU-T SG 16WP 3 AND ISO/IEC JTC 1/SC 29/WG 11, 12TH MEETING: GENEVA, CH, 14 January 2013 (2013-01-14)
JCTVC-L1003_V34, 19 March 2013 (2013-03-19)
SALLY HATTORI ET AL.: "Signalling of Luminance Dynamic Range in Tone mapping information SEI", JOINT COLLABORATIVE TEAM ON VIDEO CODING (JCT- VC) OF ITU-T SG 16 WP 3 AND ISO/IEC JTC 1/SC 29/WG 11, JCTVC-J0149, 10TH MEETING, July 2012 (2012-07-01), STOCKHOLM, SE, pages 1 - 7, XP030112511 *
See also references of EP2869566A4

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20190075296A1 (en) * 2014-06-27 2019-03-07 Panasonic Intellectual Property Management Co., Ltd. Data output apparatus, data output method, and data generation method
US10645390B2 (en) * 2014-06-27 2020-05-05 Panasonic Intellectual Property Management Co., Ltd. Data output apparatus, data output method, and data generation method
US11310507B2 (en) 2014-06-27 2022-04-19 Panasonic Intellectual Property Management Co., Ltd. Data output apparatus, data output method, and data generation method
US11856200B2 (en) 2014-06-27 2023-12-26 Panasonic Intellectual Property Management Co., Ltd. Data output apparatus, data output method, and data generation method
WO2016157839A1 (ja) * 2015-03-27 2016-10-06 パナソニックＩｐマネジメント株式会社 信号処理装置、録画再生装置、信号処理方法、およびプログラム
CN107409191A (zh) * 2015-03-27 2017-11-28 松下知识产权经营株式会社 信号处理装置、录像再生装置、信号处理方法以及程序
JPWO2016157839A1 (ja) * 2015-03-27 2018-03-01 パナソニックＩｐマネジメント株式会社 信号処理装置、録画再生装置、信号処理方法、およびプログラム
US10057104B2 (en) 2015-03-27 2018-08-21 Panasonic Intellectual Property Management Co., Ltd. Signal processing device, display device, signal processing method, and program
US10097886B2 (en) 2015-03-27 2018-10-09 Panasonic Intellectual Property Management Co., Ltd. Signal processing device, record/replay device, signal processing method, and program
CN107409191B (zh) * 2015-03-27 2020-03-27 松下知识产权经营株式会社 信号处理装置、录像再生装置、信号处理方法以及存储介质

Also Published As

Publication number Publication date
EP2869566A1 (en) 2015-05-06
EP2869566A4 (en) 2016-07-20
CN104488261B (zh) 2019-04-23
JPWO2015008685A1 (ja) 2017-03-02
TW201524203A (zh) 2015-06-16
US9596430B2 (en) 2017-03-14
CN104488261A (zh) 2015-04-01
EP2869566B1 (en) 2021-04-28
US20150208024A1 (en) 2015-07-23
JP6402632B2 (ja) 2018-10-10
TWI632810B (zh) 2018-08-11

Similar Documents

Publication Publication Date Title
JP6402632B2 (ja) データ生成装置、データ生成方法、データ再生装置、及び、データ再生方法
JP6402633B2 (ja) ファイル生成装置、ファイル生成方法、ファイル再生装置、及び、ファイル再生方法
JP6402631B2 (ja) ファイル生成装置、ファイル生成方法、ファイル再生装置、及び、ファイル再生方法
JP7033537B2 (ja) 情報処理装置、および情報処理方法、並びにプログラム
CN104813666A (zh) 解码装置和解码方法、以及编码装置和编码方法
JP7238948B2 (ja) 情報処理装置および情報処理方法
KR101732803B1 (ko) 실감 효과 미디어 데이터 파일 구성 방법 및 장치, 실감 효과 미디어 데이터 파일 재생 방법 및 그 장치

Legal Events

Date Code Title Description
ENP Entry into the national phase

Ref document number: 2014560962

Country of ref document: JP

Kind code of ref document: A

WWE Wipo information: entry into national phase

Ref document number: 14416446

Country of ref document: US

WWE Wipo information: entry into national phase

Ref document number: 2014826582

Country of ref document: EP

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 14826582

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE