WO2015005189A1 - 再生装置、再生方法、および記録媒体 - Google Patents

再生装置、再生方法、および記録媒体 Download PDF

Info

Publication number
WO2015005189A1
WO2015005189A1 PCT/JP2014/067645 JP2014067645W WO2015005189A1 WO 2015005189 A1 WO2015005189 A1 WO 2015005189A1 JP 2014067645 W JP2014067645 W JP 2014067645W WO 2015005189 A1 WO2015005189 A1 WO 2015005189A1
Authority
WO
WIPO (PCT)
Prior art keywords
video
luminance
graphics
hdr
data
Prior art date
Application number
PCT/JP2014/067645
Other languages
English (en)
French (fr)
Inventor
山本 和夫
俊也 浜田
しのぶ 服部
高橋 邦明
Original Assignee
ソニー株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニー株式会社 filed Critical ソニー株式会社
Priority to CA2917212A priority Critical patent/CA2917212C/en
Priority to MX2015017583A priority patent/MX352400B/es
Priority to EP14823715.9A priority patent/EP3021573B1/en
Priority to US14/901,870 priority patent/US10171787B2/en
Priority to JP2015526280A priority patent/JP6528683B2/ja
Priority to CN201480037524.6A priority patent/CN105359507B/zh
Priority to KR1020157034849A priority patent/KR102223751B1/ko
Publication of WO2015005189A1 publication Critical patent/WO2015005189A1/ja

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/79Processing of colour television signals in connection with recording
    • H04N9/80Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N9/82Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only
    • H04N9/8205Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only involving the multiplexing of an additional signal and the colour video signal
    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B20/00Signal processing not specific to the method of recording or reproducing; Circuits therefor
    • G11B20/10Digital recording or reproducing
    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/19Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier
    • G11B27/28Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording
    • G11B27/32Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording on separate auxiliary tracks of the same or an auxiliary record carrier
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N11/00Colour television systems
    • H04N11/24High-definition television systems
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs
    • H04N21/4402Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47End-user applications
    • H04N21/485End-user interface for client configuration
    • H04N21/4854End-user interface for client configuration for modifying image parameters, e.g. image brightness, contrast
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/76Television signal recording
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/64Circuits for processing colour signals
    • H04N9/646Circuits for processing colour signals for image enhancement, e.g. vertical detail restoration, cross-colour elimination, contour correction, chrominance trapping filters
    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B2220/00Record carriers by type
    • G11B2220/20Disc-shaped record carriers
    • G11B2220/25Disc-shaped record carriers characterised in that the disc is based on a specific recording technology
    • G11B2220/2537Optical discs
    • G11B2220/2541Blu-ray discs; Blue laser DVR discs
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/64Circuits for processing colour signals
    • H04N9/67Circuits for processing colour signals for matrixing
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/64Circuits for processing colour signals
    • H04N9/68Circuits for processing colour signals for controlling the amplitude of colour signals, e.g. automatic chroma control circuits
    • H04N9/69Circuits for processing colour signals for controlling the amplitude of colour signals, e.g. automatic chroma control circuits for modifying the colour signals by gamma correction

Definitions

  • the present technology relates to a playback device, a playback method, and a recording medium, and in particular, a playback device, a playback method, and a recording that can display graphics with appropriate brightness on a video with a wide dynamic dynamic range. It relates to the medium.
  • BD Blu-ray (registered trademark) Disc
  • the master video was taken with a high-quality camera and has a dynamic range that is greater than the dynamic range that can be displayed on a standard luminance monitor. By compressing, the dynamic range of the master video is naturally lost.
  • monitors that are brighter than the standard, such as 500 nit and 1000 nit, are on the market. There is a demand for content that makes use of the performance of a monitor having such a wide dynamic range.
  • BD it is possible to display graphics such as subtitles overlaid on the video, but if the video with a wide dynamic range is superimposed on the video with a wide dynamic range, the graphics are difficult to see. There is a possibility.
  • the present technology has been made in view of such a situation, and makes it possible to display graphics with appropriate brightness on a video having a wide dynamic range of luminance.
  • a playback device includes encoded data of extended video, which is a video having a second luminance range wider than the first luminance range, luminance characteristic information indicating luminance characteristics of the extended video, and the extended
  • a read unit that reads out the encoded data, the luminance characteristic information, and the graphics data from a recording medium that records the graphic data of the first luminance range to be superimposed on the video; and the encoded data
  • a first decoding unit that decodes the graphics data, a second decoding unit that decodes the graphics data, and the first pixel value of the graphics obtained by the decoding in terms of the luminance characteristics of the graphics
  • the display device capable of displaying the extended video may further include an output unit that outputs the extended video data synthesized with the graphics and the luminance characteristic information.
  • the reading unit further reads the luminance conversion definition information recorded in the recording medium and used for luminance conversion from the extended video to the standard video.
  • the conversion unit can convert the extended video into the standard video based on the luminance conversion definition information read from the recording medium.
  • the synthesizing unit can synthesize the standard video and the graphics of the first pixel value.
  • An output unit for outputting the standard video data obtained by synthesizing the graphics can be further provided for a display device that cannot display the extended video.
  • the luminance characteristic information and the luminance conversion definition information may be inserted into the stream including the encoded data as auxiliary information of the encoded data and recorded on the recording medium.
  • the encoded data may be HEVC encoded data, and the luminance characteristic information and the luminance conversion definition information may be SEI of the HEVC stream.
  • the extended video encoded data that is a video having a second luminance range wider than the first luminance range, luminance characteristic information indicating the luminance characteristics of the extended video, and the extended video
  • the encoded data, the luminance characteristic information, and the graphics data are read from the recording medium on which the graphic data of the first luminance range to be superimposed is recorded, and the encoded data is decoded.
  • the graphics data is decoded, and the first pixel value of the graphics obtained by decoding shows the same luminance as the luminance indicated by the first pixel value on the luminance characteristic of the graphics.
  • the extended video obtained by decoding the encoded data after being converted into the second pixel value on the luminance characteristic of the extended video represented by the luminance characteristic information. When the graphics of the second pixel value are combined.
  • a playback device is a standard that is a video in the first luminance range obtained by performing luminance conversion of an extended video that is a video in a second luminance range wider than the first luminance range.
  • a first decoding unit for decoding data, and the standard video obtained by decoding the encoded data is converted to the extended video based on the luminance conversion definition information.
  • the display device capable of displaying the extended video may further include an output unit that outputs the extended video data synthesized with the graphics and the luminance characteristic information.
  • the synthesizing unit can synthesize the standard video obtained by decoding the encoded data and the graphics of the first pixel value.
  • An output unit for outputting the standard video data obtained by synthesizing the graphics can be further provided for a display device that cannot display the extended video.
  • the luminance characteristic information and the luminance conversion definition information can be inserted into the stream including the encoded data as auxiliary information of the encoded data and recorded on the recording medium.
  • the encoded data may be HEVC encoded data, and the luminance characteristic information and the luminance conversion definition information may be SEI of the HEVC stream.
  • a standard video that is a video in the first luminance range obtained by performing luminance conversion of an extended video that is a video in a second luminance range wider than the first luminance range.
  • the encoded data, the luminance characteristic information, the luminance conversion definition information, and the graphics data are read from a recording medium on which graphics data in the first luminance range is recorded. Further, the encoded data is decoded, and the standard video obtained by decoding the encoded data is converted into the extended video based on the luminance conversion definition information.
  • the graphics data is decoded, and the first pixel value of the graphics obtained by decoding the graphics data is the first pixel value in terms of the luminance characteristics of the graphics.
  • the extended video obtained by converting the standard video, converted to a second pixel value on the luminance characteristics of the extended video represented by the luminance characteristic information, showing the same luminance as The graphics of the second pixel value is synthesized.
  • FIG. 1 is a diagram illustrating a configuration example of a recording / reproducing system according to an embodiment of the present technology. It is a figure which shows the example of the signal processing of the video in mode-i. It is a figure which shows the flow of the signal of the video processed in mode-i. It is a figure which shows the example of the signal processing of the video in mode-ii. It is a figure which shows the flow of the signal of the video processed in mode-ii. It is a figure which shows the structure of the access unit of HEVC. It is a figure which shows the syntax of Tone mapping information. It is a figure which shows the example of the information used as tone mapping definition information and HDR information.
  • FIG. 1 It is a figure which shows the example of the production
  • FIG. 25 is a diagram illustrating the syntax of ProgramInfo () of FIG. 24. It is a figure which shows the syntax of StreamCodingInfo of FIG. It is a block diagram which shows the structural example of a recording device. It is a figure which shows the structural example of PG stream and IG stream. It is a block diagram which shows the structural example of the video encoding process part of FIG. It is a figure which shows the example of the signal processing by a HDR-STD conversion part. It is a figure which shows the example of tone mapping. It is a block diagram which shows the structural example of the reproducing
  • FIG. 33 is a block diagram illustrating a configuration example of a graphics processing unit in FIG. 32. It is a block diagram which shows the structural example of a display apparatus. It is a flowchart explaining the recording process of a recording device. It is a flowchart explaining the encoding process by mode-i performed in step S2 of FIG. It is a flowchart explaining the encoding process in mode-ii performed in step S3 of FIG. It is a flowchart explaining the Data Base information generation process performed in step S4 of FIG. It is a flowchart explaining the reproduction
  • FIG. 10 is a diagram illustrating an example of processing for generating graphics for HDR synthesis based on BD-J graphics. It is a figure which shows the example of a synthetic
  • FIG. 10 is a block diagram illustrating another configuration example of the recording apparatus.
  • FIG. 38 is a block diagram illustrating another configuration example of the playback device. It is a block diagram which shows the other structural example of a graphics process part.
  • FIG. 10 is a diagram illustrating an example of processing for generating HDR synthesis graphics by performing CLUT processing. It is a block diagram which shows the structure of the graphics process part which processes a CLUT.
  • FIG. 44 is a flowchart for describing another HDR synthesis graphics generation process performed in step S65 of FIG. 42 or step S86 of FIG. 43.
  • FIG. It is a figure which shows the concept of allocation of a pixel value. It is a block diagram which shows the structural example of a computer.
  • FIG. 1 is a diagram illustrating a configuration example of a recording / reproducing system according to an embodiment of the present technology.
  • the recording / reproducing system in FIG. 1 includes a recording device 1, a reproducing device 2, and a display device 3.
  • the playback device 2 and the display device 3 are connected via an HDMI (registered trademark) (High Definition Multimedia Interface) cable 4.
  • the playback device 2 and the display device 3 may be connected via a cable of another standard, or may be connected via wireless communication.
  • Recording device 1 records content, and playback device 2 plays back the content.
  • Content is provided from the recording device 1 to the playback device 2 using the optical disc 11.
  • the optical disc 11 is a disc on which content is recorded, for example, in a BD-ROM (Blu-ray (registered trademark) Disc Read-Only) format.
  • Recording content on the optical disc 11 may be performed in other formats such as BD-R and -RE.
  • provision of content from the recording device 1 to the playback device 2 may be performed using a removable medium other than the optical disk, such as a memory card equipped with a flash memory.
  • the recording device 1 is, for example, a device used by a content author. In the following description, it is assumed that the optical disc 11 on which content is recorded by the recording device 1 is provided to the playback device 2 in practice. Then, the optical disc 11 as one of them is provided to the playback device 2.
  • An HDR (High Dynamic Range) video that is a video having a dynamic range greater than or equal to a dynamic range (luminance range) that can be displayed on a standard luminance monitor is input to the recording apparatus 1.
  • the recording device 1 records the input master HDR video on the optical disc 11 as an HDR video, that is, as a video having a dynamic range higher than the dynamic range that can be displayed on a monitor having a standard luminance.
  • information indicating the luminance characteristics of the master HDR video and information used when converting the HDR video into the STD video are also recorded on the optical disc 11.
  • STD video (standard video) is a dynamic range video that can be displayed on a monitor with standard brightness.
  • the dynamic range of STD video is 0-100%
  • the dynamic range of HDR video is expressed as a range from 0% to 101% or more, such as 0-500%, 0-1000%.
  • the recording device 1 converts the input master HDR video into STD video, that is, converts it into a video having a dynamic range that can be displayed on a monitor having a standard luminance, and records it on the optical disc 11.
  • information indicating the luminance characteristics of the master HDR video and information used when converting the STD video into the HDR video are also recorded on the optical disc 11.
  • the HDR video recorded by the recording device 1 or the STD video obtained by converting the HDR video is, for example, a so-called 4K resolution video having horizontal and vertical resolutions of 4096 ⁇ 2160, 3840 ⁇ 2160 pixels, and the like.
  • HEVC High Efficiency Video Coding
  • SEI Supplemental Enhancement Information
  • the recording device 1 also records graphics data superimposed on the HDR video or STD video on the optical disc 11.
  • BD graphics include graphics using a PG (Presentation Graphic) stream, an IG (Interactive Graphic) stream, and a text subtitle (TextST) stream, and BD-J graphics.
  • the PG stream is a bitmap subtitle data stream that is played back in synchronization with the video stream.
  • the IG stream is a stream of image data such as a menu button that is played back in synchronization with the video stream.
  • the TextST stream is a subtitle text data stream that is played back in synchronization with the video stream.
  • BD-J graphics are graphics displayed by a Java (registered trademark) application in the BD-J mode.
  • the playback mode of the playback device 2 as a BD-ROM player includes an HDMV (High Definition Movie) mode and a BD-J mode.
  • BD graphics include at least one of graphics based on PG, IG, and TextST streams.
  • BD graphics and BD-J graphics recorded on the optical disc 11 are graphics having a dynamic range that can be displayed on a monitor having a standard luminance.
  • the playback device 2 communicates with the display device 3 via the HDMI cable 4 and acquires information regarding the display performance of the display device 3.
  • the playback device 2 identifies whether the display device 3 is a device having an HDR monitor that is a monitor capable of displaying HDR video or a device having an STD monitor that is a monitor capable of only displaying STD video.
  • the playback device 2 drives the drive to read and decode the HEVC stream recorded on the optical disc 11.
  • the playback device 2 displays the HDR video data obtained by decoding the HEVC stream on the display device 3. Output to.
  • the playback device 2 outputs information indicating the luminance characteristics of the master HDR video to the display device 3 together with the HDR video data.
  • the playback device 2 converts the HDR video obtained by decoding the HEVC stream into STD video. , Output STD video data.
  • the conversion of the HDR video into the STD video is performed using information that is recorded on the optical disc 11 and used when converting the HDR video into the STD video.
  • the playback device 2 converts the STD video obtained by decoding the HEVC stream into HDR video, and the HDR Video data is output to the display device 3.
  • the conversion of the STD video into the HDR video is performed using information used when converting the STD video into the HDR video recorded on the optical disc 11.
  • the playback device 2 outputs information indicating the luminance characteristics of the master HDR video to the display device 3 together with the HDR video.
  • the playback device 2 displays the STD video data obtained by decoding the HEVC stream on the display device 3. Output to.
  • Graphics are appropriately combined with the HDR video or STD video output from the playback device 2. Graphics combined with HDR video and graphics combined with STD video are both standard dynamic range graphics.
  • the display device 3 receives the video data transmitted from the playback device 2 and displays the content video on the monitor. Audio data of content is also transmitted from the playback device 2. The display device 3 outputs the audio of the content from the speaker based on the audio data transmitted from the playback device 2.
  • the display device 3 transmits information indicating the luminance characteristics of the master HDR video (information indicating the relationship between the pixel value and the luminance) together with the video data
  • the video data transmitted from the playback device 2 is Recognize as HDR video data.
  • information indicating the luminance characteristics of the master HDR video is transmitted together with the HDR video data to the display device 3 having the HDR monitor.
  • the display device 3 displays the HDR video image according to the characteristics specified by the information indicating the brightness characteristics of the master HDR video.
  • the display device 3 is a monitor whose own monitor has a dynamic range of 0-500%.
  • the display device 3 Based on the information indicating the luminance characteristics of the master HDR video, the display device 3 has a predetermined HDR video dynamic range of 0-500%. If it is designated as a characteristic, the video is displayed with the brightness adjusted in the range of 0-500% according to the predetermined characteristic.
  • the content author By enabling the specification of the luminance characteristics of the master HDR video, the content author (Author) can display the video with the intended luminance.
  • a display device such as a TV recognizes an externally input video as a video having a dynamic range of 0-100%. Further, when the monitor of the display device has a wider dynamic range, the display device expands the luminance itself according to the characteristics of the monitor and displays the video. By designating the luminance characteristic and adjusting the luminance of the HDR video according to the designated characteristic, it is possible to prevent the luminance adjustment not intended by the author from being performed on the display device side.
  • a playback device that outputs video to a display device such as a TV usually outputs the video after converting the luminance according to the characteristics of the transmission path.
  • the display device that has received the video converts the luminance of the received video in accordance with the characteristics of the monitor and displays the video.
  • the display device 3 displays the STD video image.
  • STD video is transmitted from the playback device 2
  • the display device 3 is a device having an STD monitor.
  • mode-i the mode in which the master HDR video is recorded on the optical disc 11 as the HDR video is referred to as mode-i.
  • mode-i information indicating the luminance characteristics of the master HDR video and information used when converting the HDR video into STD video are recorded on the optical disc 11.
  • mode-ii the mode in which the master HDR video is converted to STD video and recorded on the optical disc 11 is called mode-ii.
  • mode-ii information indicating the luminance characteristics of the master HDR video and information used when converting the STD video into the HDR video are recorded on the optical disc 11.
  • FIG. 2 is a diagram showing an example of video signal processing in mode-i.
  • the process on the left side indicated by the solid line L1 indicates the encoding process performed in the recording apparatus 1, and the process on the right side indicated by the solid line L2 indicates the decoding process performed in the reproduction apparatus 2.
  • the recording apparatus 1 detects the brightness of the master HDR video and, as indicated by the tip of arrow # 1, HDR information that is information indicating the brightness characteristics of the master HDR video Is generated. Also, the recording device 1 encodes the master HDR video with HEVC as indicated by the tip of arrow # 2.
  • the recording device 1 converts the master HDR video into STD video as indicated by the tip of arrow # 3.
  • the video of the STD video obtained by the conversion is displayed on a monitor (not shown).
  • the conversion of the HDR video to the STD video is appropriately performed while the author visually confirms the video of the converted STD video and adjusts the conversion parameters.
  • the recording device 1 Based on the adjustment by the author, the recording device 1 generates tone-mapping definition information for HDR-STD conversion, which is information used when converting HDR video to STD video, as indicated by the tip of arrow # 4. .
  • the tone mapping definition information includes each pixel value indicating the brightness of a dynamic range such as 0-400%, which is wider than the standard dynamic range, and each pixel indicating the brightness of the dynamic range of 0-100%, which is the standard dynamic range. This information defines the correspondence between values.
  • the recording device 1 inserts the HDR information and tone mapping definition information as SEI into HEVC encoded data as shown at the tip of arrow # 5, and generates a HEVC stream.
  • the recording device 1 records the generated HEVC stream on the optical disc 11 in the BD format and provides it to the playback device 2 as indicated by arrow # 11.
  • the information indicating the luminance characteristics of the master HDR video and the information used when converting the HDR video into the STD video are provided to the playback device 2 by inserting into the stream using the SEI of HEVC. Is done.
  • the playback device 2 reads the HEVC stream from the optical disc 11, and extracts the HDR information and tone mapping definition information from the SEI of the HEVC stream as indicated by arrows # 21 and # 22.
  • the playback device 2 decodes the HEVC encoded data as indicated by the tip of arrow # 23.
  • the playback device 2 adds the HDR information to the HDR video data obtained by decoding the encoded data, as indicated by the tip of the arrow # 24. Output to the display device 3 as shown above.
  • the playback device 2 uses the tone-mapping definition information for HDR-STD conversion extracted from the HEVC stream, as indicated by the tip of arrow # 26, to generate encoded data.
  • the HDR video obtained by decoding is converted to STD video.
  • the playback device 2 outputs the STD video data obtained by the conversion to the display device 3 as indicated by the tip of arrow # 27.
  • HDR video data obtained by decoding HEVC encoded data is output to the display device 3 having an HDR monitor together with the HDR information. Also, HDR video data obtained by decoding HEVC encoded data is converted into STD video, and then output to a display device 3 having an STD monitor.
  • FIG. 3 is a diagram showing a flow of processing from when the master HDR video is input to the recording device 1 to when video data is output from the playback device 2.
  • the master HDR video is transferred to the playback device 2 together with the HDR information generated in the recording device 1 based on the master HDR video and tone-mapping definition information for HDR-STD conversion, as indicated by the tip of the white arrow # 51.
  • the HDR information includes information indicating that the dynamic range is extended to a range of 0 to 400%.
  • the playback device 2 adds HDR information to the HDR video data obtained by decoding the HEVC encoded data, as indicated by the arrows # 52 and # 53. Is done. Also, the HDR video data to which the HDR information is added is output to the display device 3 as indicated by the tip of arrow # 54.
  • the playback device 2 converts the HDR video obtained by decoding the HEVC encoded data into HDR-STD conversion as indicated by the arrows # 55 and # 56. Is converted into STD video using tone mapping definition information. Also, the STD video data obtained by the conversion is output to the display device 3 as indicated by the tip of arrow # 57.
  • the amplitude of the waveform indicating the HDR video and the amplitude of the waveform indicating the STD video each indicate a dynamic range.
  • the master HDR video is recorded on the optical disc 11 as the HDR video. Also, depending on the performance of the display device 3 as the output destination, the HDR video obtained by decoding the encoded data is output with the HDR information added as it is, or the HDR video is converted into the STD video and output. Can be switched.
  • FIG. 4 is a diagram illustrating an example of video signal processing in mode-ii.
  • the recording apparatus 1 detects the brightness of the master HDR video and generates HDR information as indicated by the tip of arrow # 71.
  • Recording device 1 converts the master HDR video into STD video as indicated by the tip of arrow # 72.
  • the video of the STD video obtained by the conversion is displayed on a monitor (not shown).
  • the recording device 1 Based on the adjustment by the author, the recording device 1 generates tone mapping definition information for STD-HDR conversion, which is information used when converting STD video to HDR video, as indicated by the tip of arrow # 73. .
  • the recording apparatus 1 encodes the STD video obtained by converting the master HDR video by HEVC.
  • Recording device 1 inserts HDR information and tone mapping definition information as SEI into HEVC encoded data as shown at the tip of arrow # 75, and generates a HEVC stream.
  • the recording device 1 records the generated HEVC stream on the optical disc 11 in the BD format and provides it to the playback device 2 as indicated by arrow # 91.
  • the playback device 2 reads out the HEVC stream from the optical disc 11, and extracts the HDR information and tone mapping definition information from the SEI of the HEVC stream as indicated by arrows # 101 and # 102.
  • the playback device 2 decodes the HEVC encoded data as indicated by the tip of arrow # 103.
  • the playback device 2 outputs the STD video data obtained by decoding the encoded data to the display device 3 as indicated by the tip of arrow # 104.
  • the playback device 2 uses the tone mapping definition information for STD-HDR conversion extracted from the HEVC stream, as indicated by the tip of arrow # 105, to generate encoded data.
  • STD video obtained by decoding is converted to HDR video.
  • the playback device 2 adds the HDR information to the HDR video data obtained by the conversion as indicated by the tip of the arrow # 106, and outputs it to the display device 3 as indicated by the tip of the arrow # 107.
  • the STD video data obtained by decoding the HEVC encoded data is converted into HDR video and then output to the display device 3 having the HDR monitor together with the HDR information. Also, STD video data obtained by decoding HEVC encoded data is output as it is to the display device 3 having an STD monitor.
  • FIG. 5 is a diagram showing the flow of processing from when the master HDR video is input to the recording device 1 to when the video data is output from the playback device 2.
  • the master HDR video is converted into STD video as shown by the white arrow # 121, and then the HDR information generated in the recording device 1 based on the master HDR video and the tone for STD-HDR conversion are displayed. It is provided to the playback device 2 together with the mapping definition information.
  • the STD video obtained by decoding the HEVC encoded data is used for STD-HDR conversion, as indicated by arrows # 122 and # 123. It is converted into HDR video using tone mapping definition information. Further, as indicated by the tip of arrows # 124 and # 125, the HDR information is added to the HDR video data obtained by converting the STD video, and is output to the display device 3 as indicated by the tip of arrow # 126.
  • the playback device 2 outputs the STD video obtained by decoding the HEVC encoded data to the display device 3 as indicated by the tip of arrow # 127. .
  • the master HDR video is converted to STD video and recorded on the optical disc 11. Also, depending on the performance of the display device 3 serving as the output destination, the STD video obtained by decoding the encoded data is converted into HDR video, and is output with the addition of HDR information, or the STD video is output as it is. Can be switched.
  • FIG. 6 is a diagram showing the configuration of the HEVC access unit.
  • the HEVC stream is composed of access units that are a collection of NAL (Network Abstraction Layer) units.
  • One access unit includes one picture of video data.
  • one access unit includes AU delimiter (Access Unit delimiter), VPS (Video Parameter Set), SPS (Sequence Parameter Set), PPS (Picture Parameter Set), SEI, VCL (Video Coding Layer) , EOS (End of Sequence), and EOS (End of Stream).
  • AU delimiter Access Unit delimiter
  • VPS Video Parameter Set
  • SPS Sequence Parameter Set
  • PPS Picture Parameter Set
  • SEI Supplemental Coding Layer
  • VCL Video Coding Layer
  • EOS End of Sequence
  • EOS End of Stream
  • VPS includes metadata representing the contents of the bitstream.
  • the SPS includes information that the HEVC decoder needs to refer to through a sequence decoding process, such as a picture size and a CTB (Coding Tree Block) size.
  • the PPS includes information that the HEVC decoder needs to refer to in order to execute a picture decoding process.
  • VPS, SPS, and PPS are used as header information.
  • SEI is auxiliary information including timing information of each picture and information on random access. HDR information and tone mapping definition information are included in Tone mapping information which is one of SEI.
  • VCL is one picture data.
  • EOS End of Sequence
  • EOS End of Stream
  • FIG. 7 is a diagram showing the syntax of Tone mapping information.
  • Tone mapping information the brightness and color of the picture obtained by decoding are converted according to the performance of the monitor that is the output destination of the picture. Note that the line numbers and colons (:) on the left side of FIG. 7 are shown for convenience of explanation, and are not information included in Tone mapping information. The main information included in Tone mapping information is explained.
  • the tone_map_id on the second line is identification information of Tone mapping information.
  • the purpose of Tone mapping information is identified by tone_map_id.
  • an ID for mode-i and an ID for mode-ii are secured.
  • an ID for mode-i is set in tone_map_id of Tone mapping information inserted in SEI of the encoded data of HDR video.
  • an ID for mode-ii is set in tone_map_id of Tone mapping information inserted in the SEI of the encoded data of STD video.
  • the tone_map_id of the optical disc 11 is set with any one of an ID for mode-i and an ID for mode-ii.
  • the tone_map_model_id on the 8th line represents a tone map model used for conversion of coded data (coded data).
  • tone_map_model_id In the recording apparatus 1, one Tone mapping ⁇ information in which any one of 0, 2, and 3 is set as tone_map_model_id and one Tone mapping information in which a value of 4 is set as tone_map_model_id are generated.
  • Tone mapping information in which one of 0, 2, and 3 is set as tone_map_model_id is used as tone mapping definition information for HDR-STD conversion or STD-HDR conversion. Further, information included in Tone mapping information in which a value of 4 is set as tone_map_model_id is used as HDR information.
  • tone_map_model_id 0.
  • min_value and max_value are described.
  • the horizontal axis indicates coded_data (RGB value before conversion), and the vertical axis indicates target_data (RGB value after conversion).
  • the tone curve of FIG. 9 the RGB values below the encoded data D1 are converted into RGB values indicated by min_value, as indicated by white arrow # 151.
  • the RGB value of the encoded data D2 or higher is converted into an RGB value indicated by max_value as indicated by a white arrow # 152.
  • tone_map_model_id 2
  • start_of_coded_interval [i] having the same number as max_target_data representing the step function is described.
  • tone_map_model_id 3
  • num_pivots 3
  • Tone mapping information in which any value of 0,2,3 is set as tone_map_model_id is used as tone mapping definition information for STD-HDR conversion or HDR-STD conversion, and reproduced from the recording device 1 Is transmitted to the device 2.
  • tone_map_model_id 4
  • ref_screen_luminance_white 4
  • extended_range_white_level 4
  • nominal_black_level_code_value 2
  • nominal_white_level_code_value 3
  • extended_white_level_code_value 3
  • FIG. 12 is a diagram illustrating an example of each piece of information included in the HDR information.
  • the horizontal axis of FIG. 12 shows each pixel value of RGB. When the bit length is 10 bits, each pixel value is 0-1023.
  • the vertical axis in FIG. 12 indicates brightness (luminance).
  • the function F1 is a gamma function indicating the relationship between the pixel value and the brightness in a standard luminance monitor. The dynamic range of a standard luminance monitor is 0-100%.
  • ref_screen_luminance_white indicates the brightness (cd / m 2 ) of the standard monitor.
  • extended_range_white_level indicates the maximum value of the dynamic range brightness after extension. In the example of FIG. 12, 400 is set as the value of extended_range_white_level.
  • Nominal_black_level_code_value indicates a pixel value of black (brightness 0%)
  • nominal_white_level_code_value indicates a pixel value of white (brightness 100%) in a standard luminance monitor.
  • extended_white_level_code_value indicates a white pixel value in the extended dynamic range.
  • the dynamic range of 0-100% is expanded to the dynamic range of 0-400% according to the value of extended_range_white_level.
  • a pixel value corresponding to 400% brightness is specified by extended_white_level_code_value.
  • the luminance characteristics of HDR video are the characteristics that the values of nominal_black_level_code_value, nominal_white_level_code_value, and extended_white_level_code_value indicate 0%, 100%, and 400%, respectively.
  • the luminance characteristic of the HDR video is represented by a function F2 that is a gamma function of the HDR video.
  • Tone mapping information in which a value of 4 is set as tone_map_model_id, and transmitted from the recording device 1 to the playback device 2.
  • the playback device 2 combines graphics such as PG and IG with the HDR video or STD video obtained by decoding the HEVC stream, and outputs the synthesized video to the display device 3.
  • FIG. 13 is a diagram illustrating an example of a BD graphics gamma function.
  • the horizontal axis of FIG. 13 shows each pixel value of RGB. Each pixel value is represented by 8 bits and takes a value of 0-255. The vertical axis in FIG. 13 indicates brightness. The dynamic range of BD graphics is 0-100%.
  • the function F11 is a BD graphics gamma function acquired based on data recorded on the optical disc 11. As described above, gamma conversion is applied to the BD graphics. For example, when recording 2K-HD video on a BD, the same gamma conversion as ITU-709 is applied to BD graphics, which is the same as the gamma conversion applied to the video.
  • FIG. 14 is a diagram showing an example of a video gamma function.
  • the horizontal axis of FIG. 14 shows each pixel value of RGB. Each pixel value is represented by 10 bits and takes a value of 0-1023.
  • the vertical axis in FIG. 14 indicates the brightness.
  • the dynamic range of the HDR video is 0 to 400%, which is the same as the dynamic range shown in FIG.
  • the dynamic range of STD video is 0-100%.
  • the function F1 is a gamma function of STD video
  • the function F2 is a gamma function of HDR video.
  • the playback device 2 When the playback device 2 combines the HDR video obtained by decoding the HEVC stream with the BD graphics, the playback device 2 specifies the pixel value and luminance characteristics of the HDR video represented by the function F2 based on the HDR information.
  • the playback device 2 converts the RGB pixel values of the BD graphics that are values in the range of 0-255 to 0- brightness in the HDR video gamma function system. Assign to a pixel value in the 100% range.
  • each 8-bit pixel value of the original BD graphics before allocation is allocated to a 10-bit pixel value in the range from the value V1 to the value V2.
  • the playback device 2 combines the scaled BD graphics represented by the pixel values in the HDR video gamma function system with the HDR video.
  • FIG. 15 is a diagram showing the concept of pixel value assignment.
  • the value V11 that is the pixel value of the original BD graphics is a pixel in the gamma function system of the HDR video that indicates the luminance within the same range of 0-100% as the luminance indicated by the value V11. It is assigned to the value V12 which is the value.
  • FIG. 16 is a diagram illustrating an example of processing for generating graphics for HDR synthesis.
  • the HDR composition graphics are graphics used for composition with HDR video.
  • the playback device 2 calculates an allocation function based on the HDR information as indicated by the tip of arrow # 201.
  • the allocation function is a function used for allocation of pixel values of BD graphics as described with reference to FIGS. 14 and 15.
  • FIG. 17 is a diagram illustrating an example of an allocation function.
  • the playback device 2 specifies a function F2 indicating the relationship between each pixel value of the HDR video and the luminance based on the HDR information, and inputs the brightness and outputs the pixel value as indicated by the tip of arrow # 211.
  • a function F2 ′ which is a function for assigning pixel values, is obtained by calculation.
  • the brightness that is input to the function F2 ′ is the brightness indicated by the 8-bit pixel value before BD graphics allocation, and the output pixel value is the 10-bit pixel value that indicates the same brightness in the HDR video gamma function system. It is.
  • the playback device 2 performs conversion using CLUT (Color Lookup Table) on BD graphics obtained by decoding a PG stream, for example.
  • CLUT Color Lookup Table
  • BD graphics after CLUT conversion are represented by YCrCb pixel values of 8 bits each.
  • the playback device 2 converts YCrCb BD graphics into 8-bit RGB BD graphics as indicated by the tip of arrow # 203.
  • the playback device 2 Since gamma conversion is performed on the BD graphics, the playback device 2 performs inverse gamma conversion on the BD graphics as indicated by the tip of arrow # 204.
  • the BD graphics after the inverse gamma conversion are represented by 8-bit R′G′B ′ values.
  • the R′G′B ′ value and the luminance have a linear relationship.
  • the playback device 2 uses the R'G'B 'value, which is the pixel value of the BD graphics after the inverse gamma conversion, as an input of an allocation function, and outputs R' 'as an output. Each G''B '' is obtained (pixel value is assigned).
  • the gamma function of the HDR video specified based on the HDR information is a function that represents the relationship between the pixel value and the luminance by the following equation (1).
  • X is a normalized input value (pixel value). X takes a value in the range of 0-1.
  • is a gamma coefficient, for example, 2.2.
  • is a luminance expansion coefficient and takes a value of 1 to 4, for example.
  • is obtained by dividing the value of extended_range_white_level by 100.
  • L is luminance and takes a value of 0 to ⁇ .
  • the playback apparatus 2 performs such pixel value assignment using each R′G′B ′ value, which is each pixel value of BD graphics, as input, and obtains R ′′ G ′′ B ′′.
  • the playback apparatus 2 converts the R ′′ G ′′ ′′ B ′′ BD graphics into 10-bit Y′Cr′Cb ′ BD graphics, as indicated by the tip of arrow # 206 in FIG.
  • the BD graphics of Y′Cr′Cb ′ obtained by the conversion becomes graphics for HDR synthesis.
  • FIG. 18 is a diagram illustrating an example of the synthesis process.
  • the playback device 2 combines the HDR synthesis graphics and the HDR video as indicated by arrows # 221 and # 222, and displays the synthesized HDR video together with the HDR information as indicated by the arrow # 223. Output to device 3.
  • the HDR video used for synthesis with the HDR synthesis graphics is an HDR video generated as shown in FIG. 3 or FIG.
  • BD graphics is expanded to 0-400%, for example, according to the dynamic range of HDR video, and synthesized with HDR video, graphics such as subtitles may be dazzling and difficult to see. This can be prevented.
  • video is a general image source such as a movie
  • an image with a large area of a high luminance part is rare, but graphics can easily create an image with a large area of a maximum luminance part.
  • an image with a large area of the maximum luminance portion may be an image that is difficult to see, even if the video is an HDR video, it is preferable to display graphics within a luminance range of 0-100%.
  • FIG. 19 is a diagram illustrating an example of the synthesis process of STD video and BD graphics.
  • the playback device 2 performs a conversion process by CLUT on, for example, BD graphics obtained by decoding a PG stream.
  • BD graphics after CLUT conversion are represented by 8bit YCrCb values. Each 8-bit YCrCb is shifted to 10 bits.
  • the playback apparatus 2 combines the 10-bit YCrCb BD graphics and the STD video as indicated by the arrows # 232 and # 233, and the synthesized STD video as indicated by the arrow # 234. Is output to the display device 3. Since the dynamic range of BD graphics is 0-100%, the BD graphics after CLUT conversion are used for synthesis with STD video as they are.
  • the STD video used for the synthesis with the BD graphic is an STD video generated as shown in FIG. 3 or FIG.
  • the STD video synthesized with the BD graphics is acquired in the form of synthesizing the BD graphics after converting the HDR video into the STD video. This eliminates the need for assigning pixel values for BD graphics, etc., compared to when synthesizing BD graphics first and converting the HDR video after BD graphics synthesis to STD video. Becomes easier.
  • FIG. 20 is a diagram illustrating an example of an AV stream management structure in the BD-ROM format.
  • AV streams including HEVC streams is performed using two layers, PlayList and Clip.
  • the AV stream may be recorded not only on the optical disc 11 but also on the local storage of the playback device 2.
  • One AV stream and Clip Information which is information accompanying it are managed as one object.
  • a pair of AV stream and ClipCInformation is called Clip.
  • the AV stream is developed on the time axis, and the access point of each Clip is mainly designated in the PlayList with a time stamp. Clip Information is used to find the address where decoding in the AV stream should start.
  • PlayList is a collection of AV stream playback sections.
  • One playback section in the AV stream is called PlayItem.
  • PlayItem is represented by a pair of IN point and OUT point of the playback section on the time axis. As shown in FIG. 20, the PlayList is composed of one or a plurality of PlayItems.
  • the first PlayList from the left in FIG. 20 is composed of two PlayItems, and the two PlayItems refer to the first half and the second half of the AV stream included in the left Clip, respectively.
  • the second PlayList from the left is composed of one PlayItem, so that the entire AV stream included in the right Clip is referenced.
  • the third PlayList from the left is made up of two PlayItems, and the two PlayItems refer to a part of the AV stream included in the left Clip and a part of the AV stream included in the right Clip, respectively.
  • the PlayList is used as playback management information for managing playback of AV streams.
  • a playback path created by an array of one or more PlayItems in a PlayList is called a main path.
  • a playback path created by an arrangement of one or more SubPlayItems in parallel with the Main Path is called a sub path (Sub Path).
  • FIG. 21 is a diagram showing the structure of the main path and the sub path.
  • the PlayList has one Main path and one or more Sub paths.
  • the PlayList in FIG. 21 has one Main Path and three Sub Paths created from a sequence of three PlayItems.
  • the PlayItems that make up the Main Path are set with IDs in order from the top.
  • the AV stream referred to by one PlayItem includes at least a video stream (main image data).
  • the AV stream may or may not include one or more audio streams that are played back at the same timing (synchronously) as the video stream included in the AV stream.
  • the AV stream may or may not include one or more bitmap subtitle data (PG (Presentation Graphic)) streams that are reproduced in synchronization with the video stream included in the AV stream. .
  • PG Presentation Graphic
  • the AV stream may or may not include one or more IG (Interactive Graphic) streams that are played back in synchronization with the video stream included in the AV stream file.
  • the IG stream is used to display graphics such as buttons operated by the user.
  • a video stream and a graphics stream such as an audio stream and a PG stream that are reproduced in synchronization with the AV stream referred to by one PlayItem are multiplexed.
  • one SubPlayItem refers to a video stream, an audio stream, a graphics stream, and the like, which are different from the AV stream referred to by the PlayItem.
  • PlayList and Clip Information including information related to playback of the AV stream are appropriately referred to as Data ⁇ Base information.
  • FIG. 22 is a diagram illustrating an example of a management structure of files recorded on the optical disc 11.
  • Each file recorded on the optical disc 11 is hierarchically managed by the directory structure.
  • One root directory is created on the optical disc 11.
  • BDMV directory is placed under the root directory.
  • an Index file that is a file with the name “Index.bdmv” and a Movie Object file that is a file with the name “MovieObject.bdmv” are stored.
  • Index file for example, a list of title numbers recorded on the optical disc 11 and the types and numbers of objects executed corresponding to the title numbers are described.
  • objects There are two types of objects: movie objects (Movie Object) and BD-J objects (BD-J Object).
  • a movie object is an object in which navigation commands, which are commands used for PlayList playback and the like, are described.
  • the BD-J object is an object in which a BD-J application is described. Movie objects are described in the Movie Object file.
  • PLAYLIST directory CLIPINF directory, STREAM directory, and BDJO directory are provided under the BDMV directory.
  • the PLAYLIST directory stores a PlayList file that describes the PlayList.
  • Each PlayList file has a name that is a combination of a 5-digit number and an extension “.mpls”.
  • One PlayList file shown in FIG. 22 has a file name “00000.mpls”.
  • the Clip Information file is stored in the CLIPINF directory. Each Clip Information file is set with a name combining a five-digit number and the extension “.clpi”. File names “00001.clpi”, “00002.clpi”, and “00003.clpi” are set in the three Clip Information files in FIG. 22, respectively.
  • Stream file is stored in STREAM directory.
  • Each stream file has a name that is a combination of a 5-digit number and an extension “.m2ts”.
  • file names “00001.m2ts”, “00002.m2ts”, and “00003.m2ts” are set, respectively.
  • the clip information file in which the same 5-digit number is set as the file name and the stream file constitute a single clip.
  • the “00001.m2ts” stream file is played, the “00001.clpi” ClipCInformation file is used, and when the “00002.m2ts” stream file is played, the “00002.clpi” Clip Information file is used.
  • the Clip Information file used for playback of the AV stream including the HEVC stream includes information related to processing of the HDR video.
  • the BDJO directory stores BD-J object files that describe BD-J objects.
  • Each BD-J object file has a name that is a combination of a 5-digit number and the extension “.bdjo”.
  • file names “00001.bdjo”, “00002.bdjo”, and “00003.bdjo” are set, respectively.
  • FIG. 23 is a diagram showing the syntax of the PlayList file.
  • the PlayList file is a file with the extension “.mpls” stored in the PLAYLIST directory of FIG.
  • AppInfoPlayList stores parameters related to playback control of the PlayList, such as playback restrictions.
  • PlayList stores parameters related to Main Path and Sub Path.
  • PlayListMark stores PlayList mark information, that is, information about a mark that is a jump destination (jump point) in a user operation or command that commands chapter jump or the like.
  • FIG. 24 is a diagram showing the syntax of the Clip® Information file.
  • the Clip Information file is a file with the extension “.clpi” stored in the CLIPINF directory of FIG.
  • ClipInfo stores information indicating the type of AV stream constituting the Clip, information indicating the recording rate of the AV stream, and the like.
  • the SequenceInfo () includes information indicating the position on the time axis of the source packet constituting the AV stream, information indicating the display time, and the like.
  • ProgramInfo includes information such as the PID of the AV stream that constitutes the Clip and the encoding of the AV stream.
  • FIG. 25 is a diagram showing the syntax of ProgramInfo () in FIG.
  • “Number_of_program_sequences” indicates the number of program sequences described in ProgramInfo ().
  • the program sequence is composed of a sequence of source packets constituting the program.
  • SPN_program_sequence_start [i] indicates the number of the source packet at the beginning of the program sequence (source packet number).
  • StreamCodingInfo includes information related to encoding of the AV stream constituting the Clip.
  • FIG. 26 is a diagram showing the syntax of StreamCodingInfo in FIG.
  • Stream_coding_type indicates the encoding method of elementary stream included in the AV stream. For example, in StreamCodingInfo of Clip
  • Video_format indicates a video scanning method.
  • a value indicating a 4K scanning method such as 2160p (2160 line progressive) is set as the stream_coding_type.
  • “Frame_rate” indicates the frame rate of the video stream.
  • Aspect_ratio indicates the aspect ratio of the video.
  • Cc_flag is a 1-bit flag and indicates whether or not closed caption data is included in the video stream.
  • Mode_flag is a 1-bit flag indicating the recording mode of the HEVC stream.
  • the flag indicating whether or not the HEVC stream included in the AV stream to be played back using the Clip Information is a stream in which the master is an HDR video, and the recording mode of the HEVC stream are set.
  • a flag to indicate is included.
  • the playback device 2 can identify whether the master video is an HDR video or the like without actually analyzing the HEVC stream by referring to the flag included in Clip Information.
  • FIG. 27 is a block diagram illustrating a configuration example of the recording apparatus 1.
  • the recording apparatus 1 includes a controller 21, a video encoding processing unit 22, a graphics encoder 23, a multiplexing unit 24, and a disk drive 25.
  • the master HDR video is input to the video encoding processing unit 22, and BD graphics data is input to the graphics encoder 23.
  • the controller 21 includes a CPU (Central Processing Unit), ROM (Read Only Memory), RAM (Random Access Memory), and the like.
  • the controller 21 executes a predetermined program and controls the overall operation of the recording apparatus 1.
  • a Data Base information generation unit 21A is realized by executing a predetermined program.
  • the Data Base information generation unit 21 ⁇ / b> A generates a PlayList and Clip Information that are Data Base information, and outputs them to the disk drive 25.
  • the video encoding processing unit 22 encodes the master HDR video.
  • the video encoding processing unit 22 outputs the HEVC stream obtained by encoding the master HDR video to the multiplexing unit 24.
  • the graphics encoder 23 encodes the input BD graphics data and outputs the graphics stream to the multiplexing unit 24.
  • FIG. 28 is a diagram illustrating a configuration example of a PG stream and an IG stream.
  • the PG stream and the IG stream are configured by collecting display sets that are data related to graphics for one screen.
  • One display set is composed of a plurality of segments.
  • FIG. 28A shows a PG stream display set.
  • the display set of the PG stream includes PCS (Presentation Composition Segment), WDS (Window Definition Segment), PDS (Palette Definition Segment), ODS (Object Definition Definition), and END (End Of Display Display Set Segment).
  • PCS is a subtitle segment for one screen.
  • an ID assigned to a caption corresponding to each ODS is described.
  • the WDS information indicating the structure such as the position and size of the window indicating the display range of subtitles is described.
  • PDS describes palette information including information on graphics colors, such as information for specifying colors that can be used as subtitle colors.
  • the ODS information indicating the shape of the caption is described.
  • END is a segment indicating the end of the display set.
  • FIG. 28B shows an IG stream display set.
  • the display set of the IG stream is composed of ICS (Interactive Composition Segment), PDS, ODS, and END.
  • ICS Interactive Composition Segment
  • ICS is a menu button segment for one screen.
  • ICS a command executed by operating the menu button, an ID unique to the menu button corresponding to each ODS, and the like are described.
  • PDS describes palette information including information about graphics colors, such as information for specifying colors that can be used as menu button colors.
  • ODS information indicating the shape of the menu button is described.
  • END is a segment indicating the end of the display set.
  • the graphics stream having such a data structure is supplied from the graphics encoder 23 to the multiplexing unit 24.
  • the TextST stream is also composed of a plurality of segments in the same manner as the PG and IG streams.
  • the multiplexing unit 24 multiplexes the HEVC stream supplied from the video encoding processing unit 22 and the graphics stream supplied from the graphics encoder 23, and outputs the multiplexed stream to the disk drive 25.
  • the disk drive 25 records the file storing the PlayList, Clip Information supplied from the controller 21 and the multiplexed stream supplied from the multiplexing unit 24 on the optical disk 11 according to the directory structure of FIG.
  • FIG. 29 is a block diagram illustrating a configuration example of the video encoding processing unit 22 of FIG.
  • the video encoding processing unit 22 includes an HDR information generation unit 31, an HEVC encoder 32, an HDR-STD conversion unit 33, a definition information generation unit 34, and an HEVC stream generation unit 35.
  • the HDR information generation unit 31 detects the luminance of the input master HDR video, and generates HDR information including each piece of information described with reference to FIG.
  • the HDR information generation unit 31 outputs the generated HDR information to the HEVC stream generation unit 35.
  • the HEVC encoder 32 When the recording mode is mode-i, the HEVC encoder 32 encodes the input master HDR video with HEVC. In addition, when the recording mode is mode-ii, the HEVC encoder 32 encodes the STD video supplied from the HDR-STD conversion unit 33 with HEVC. The HEVC encoder 32 outputs the encoded data of the HDR video or the encoded data of the STD video to the HEVC stream generation unit 35.
  • the HDR-STD conversion unit 33 converts the input master HDR video into STD video.
  • the conversion by the HDR-STD conversion unit 33 is appropriately performed according to the conversion parameter input by the author.
  • the HDR-STD conversion unit 33 outputs to the definition information generation unit 34 information indicating a correspondence relationship between input data and output data, where the HDR video RGB signal is input data and the STD video RGB signal is output data.
  • FIG. 30 is a diagram illustrating an example of signal processing by the HDR-STD conversion unit 33.
  • the HDR-STD conversion unit 33 converts the input master HDR video YCrCb signal into an RGB signal, and converts each RGB signal into an RGB signal for each RGB signal. Convert to (tone mapping).
  • the HDR-STD conversion unit 33 outputs to the definition information generation unit 34 information indicating the correspondence between the RGB values of the HDR video as input data and the RGB values of the STD video as output data.
  • the information output to the definition information generation unit 34 is used to generate tone mapping definition information as indicated by the tip of arrow # 302.
  • the HDR-STD conversion unit 33 converts the RGB signal of the STD video into a YCrCb signal and outputs it as indicated by the tip of arrow # 303.
  • FIG. 31 shows an example of tone mapping.
  • the HDR video RGB signal is converted into an STD video RGB signal by compressing a high luminance component and expanding a middle / low frequency luminance component.
  • the definition information generation unit 34 generates information indicating a function F that associates the RGB signal of the HDR video and the RGB signal of the STD video as illustrated in FIG.
  • the HDR-STD conversion unit 33 outputs the STD video obtained by converting the HDR video to the HEVC encoder 32 when the recording mode is mode-ii.
  • the definition information generation unit 34 generates tone-mapping definition information for HDR-STD conversion based on the information supplied from the HDR-STD conversion unit 33.
  • tone_map_model_id 0
  • tone_map_model_id 2
  • the definition information generation unit 34 generates Tone mapping information including start_of_coded_interval [i] in FIG. 10 as tone mapping definition information for HDR-STD conversion.
  • tone_map_model_id 3
  • the definition information generation unit 34 converts Tone mapping information including the number of coded_pivot_value [i] and target_pivot_value [i] specified by num_pivots in FIG. 11 to tone mapping for HDR-STD conversion. Generate as definition information.
  • the HEVC stream generation unit 35 sets the tone_map_id of Tone mapping information including the HDR information supplied from the HDR information generation unit 31 and tone_map_id of the tone mapping information including the tone mapping definition information supplied from the definition information generation unit 34 to the recording mode. Set the same value accordingly. Also, the HEVC stream generation unit 35 inserts Tone mapping information including HDR information and Tone mapping information including tone mapping definition information into the encoded data as SEI, and generates an HEVC stream. The HEVC stream generation unit 35 outputs the generated HEVC stream to the disk drive 25.
  • FIG. 32 is a block diagram illustrating a configuration example of the playback device 2.
  • the playback device 2 includes a controller 51, a disk drive 52, a memory 53, a local storage 54, a network interface 55, an operation input unit 56, a separation unit 57, a video decoding processing unit 58, a graphics processing unit 59, a combining unit 60, and HDMI.
  • the communication unit 61 is configured.
  • the controller 51 includes a CPU, a ROM, a RAM, and the like.
  • the controller 51 executes a predetermined program and controls the overall operation of the playback device 2.
  • the disk drive 52 reads data from the optical disk 11 and outputs the read data to the controller 51, the memory 53, or the separation unit 57.
  • the disk drive 52 outputs Data Base information read from the optical disk 11 to the controller 51 and outputs the multiplexed stream to the separation unit 57.
  • the memory 53 stores data necessary for the controller 51 to execute various processes.
  • a register 53A which is a PSR (Player Status Register) is formed.
  • the register 53A stores various types of information that the playback device 2 that is a BD player refers to when the optical disc 11 is played back.
  • the local storage 54 is composed of, for example, an HDD (Hard Disk Drive). In the local storage 54, a stream downloaded from the server is recorded.
  • HDD Hard Disk Drive
  • the network interface 55 communicates with a server via a network such as the Internet, and supplies data downloaded from the server to the local storage 54.
  • the separation unit 57 separates the HEVC stream data and the graphics stream data from the multiplexed stream supplied from the disk drive 52.
  • the separation unit 57 outputs the separated HEVC stream data to the video decoding processing unit 58, and outputs the graphics stream data to the graphics processing unit 59.
  • the video decoding processing unit 58 decodes the HEVC stream composed of the data supplied from the separation unit 57 and outputs the HDR video or STD video data to the synthesis unit 60. Also, the video decoding processing unit 58 outputs the HDR information to the HDMI communication unit 61 when outputting the HDR video to the synthesis unit 60. The video decoding processing unit 58 also outputs the HDR information to the graphics processing unit 59.
  • the graphics processing unit 59 decodes the graphics stream supplied from the separation unit 57 and outputs BD graphics data having a standard dynamic range to the synthesis unit 60.
  • the synthesizing unit 60 synthesizes the HDR video or STD video supplied from the video decoding processing unit 58 and the BD graphics supplied from the graphics processing unit 59, and performs HDMI communication on the synthesized HDR video or STD video data. To the unit 61.
  • FIG. 33 is a diagram illustrating an example of plane synthesis by the synthesis unit 60.
  • the composition of video and graphics is performed by overlapping the planes as shown in FIG.
  • the video plane is data for one screen of video
  • the graphics plane (PG / IG plane) is data for one screen of graphics.
  • the synthesizing unit 60 synthesizes a PG graphics plane that displays subtitles and the like obtained by decoding the PG stream on the video plane.
  • the synthesizing unit 60 synthesizes an IG graphics plane that displays menu buttons and the like obtained by decoding the IG stream on the PG graphics plane.
  • the HDMI communication unit 61 in FIG. acquires information regarding the performance of the monitor included in the display device 3 and outputs the information to the controller 51. Also, the HDMI communication unit 61 outputs the HDR video or STD video data supplied from the synthesis unit 60 to the display device 3. When outputting the HDR video data, the HDMI communication unit 61 outputs the HDR information supplied from the video decoding processing unit 58 together with the HDR video data.
  • FIG. 34 is a block diagram illustrating a configuration example of the video decoding processing unit 58 of FIG.
  • the video decoding processing unit 58 includes a parameter extraction unit 71, a HEVC decoder 72, an HDR-STD conversion unit 73, an STD-HDR conversion unit 74, and an output unit 75.
  • the output unit 75 includes an HDR video output unit 75A and an STD video output unit 75B.
  • the HEVC stream output from the separation unit 57 is input to the parameter extraction unit 71.
  • the monitor performance of the display device 3 specified by information indicating the recording mode specified by mode_flag included in Clip ⁇ Information and information acquired from the display device 3 The information regarding is supplied from the controller 51.
  • the parameter extraction unit 71 extracts the HDR information and tone mapping definition information from the SEI of the HEVC stream. For example, when the recording mode is mode-i and the HDR video is output to the display device 3, the parameter extraction unit 71 outputs the HDR information to the HDMI communication unit 61. Further, when the recording mode is mode-i and the STD video is output to the display device 3, the parameter extraction unit 71 outputs tone-mapping definition information for HDR-STD conversion to the HDR-STD conversion unit 73.
  • the parameter extraction unit 71 outputs HDR information to the HDMI communication unit 61 and tone mapping definition information for STD-HDR conversion Is output to the STD-HDR converter 74.
  • the recording mode is mode-ii and STD video is output to the display device 3
  • the extracted HDR information and tone mapping definition information are not used.
  • the HDR information extracted by the parameter extraction unit 71 when outputting the HDR video is also output to the graphics processing unit 59.
  • the parameter extraction unit 71 outputs the encoded data included in the HEVC stream to the HEVC decoder 72.
  • the HEVC decoder 72 decodes the HEVC encoded data supplied from the parameter extraction unit 71.
  • the HEVC decoder 72 outputs the HDR video obtained by decoding to the HDR-STD conversion unit 73 and the HDR video output unit 75A.
  • the HEVC decoder 72 outputs the STD video obtained by decoding to the STD-HDR conversion unit 74 and the STD video output unit 75B.
  • the HDR-STD conversion unit 73 converts the HDR video supplied from the HEVC decoder 72 into STD video based on tone-mapping definition information for HDR-STD conversion supplied from the parameter extraction unit 71.
  • the HDR-STD conversion unit 73 outputs the STD video obtained by the conversion to the STD video output unit 75B.
  • the STD-HDR conversion unit 74 converts the STD video supplied from the HEVC decoder 72 into an HDR video based on the tone map mapping definition information for STD-HDR conversion supplied from the parameter extraction unit 71.
  • the STD-HDR conversion unit 74 outputs the HDR video obtained by the conversion to the HDR video output unit 75A.
  • the HDR video output unit 75A of the output unit 75 outputs the HDR video supplied from the HEVC decoder 72 or the HDR video supplied from the STD-HDR conversion unit 74 when outputting the HDR video to the display device 3. Output to.
  • the STD video output unit 75B When outputting the STD video to the display device 3, the STD video output unit 75B outputs the STD video supplied from the HEVC decoder 72 or the STD video supplied from the HDR-STD conversion unit 73 to the HDMI communication unit 61.
  • FIG. 35 is a block diagram illustrating a configuration example of the graphics processing unit 59 of FIG.
  • the graphics processing unit 59 includes a TS buffer 91, a graphics decoder 92, a graphics plane generation unit 93, a CLUT management unit 94, an RGB conversion unit 95, an inverse gamma conversion unit 96, an HDR information acquisition unit 97, a calculation unit 98, and an allocation. Part 99 and the YCrCb conversion part 100.
  • the graphics decoder 92 includes an ES buffer 111, a processor 112, a decoder buffer 113, a composition buffer 114, and a graphics controller 115.
  • a TS packet that is graphics stream data supplied from the separation unit 57 is input to the TS buffer 91.
  • the HDR information supplied from the video decoding processing unit 58 is input to the HDR information acquisition unit 97.
  • the TS buffer (Transport Stream) 91 stores the TS packet of the graphics stream supplied from the separation unit 57.
  • the TS buffer 91 outputs an ES (Elementary Stream) composed of stored TS packets to the graphics decoder 92.
  • the ES buffer 111 of the graphics decoder 92 stores an ES composed of TS packets supplied from the TS buffer 91.
  • the processor 112 reads the ES from the ES buffer 111 and supplies graphics control data included in the ES to the composition buffer 114. For example, when ES is a PG stream, the processor 112 supplies the PCS, WDS, and PDS included in the PG stream to the composition buffer 114. On the other hand, when ES is an IG stream, the processor 112 supplies the ICS and PDS included in the IG stream to the composition buffer 114.
  • the processor 112 decodes the actual data included in the ES, and supplies the decoded data to the decoder buffer 113 for holding. For example, when the ES is a PG stream or an IG stream, the processor 112 decodes ODS and supplies graphics data obtained by decoding to the decoder buffer 113.
  • the decoder buffer 113 stores graphics data supplied from the processor 112.
  • the composition buffer 114 stores the control data supplied from the processor 112.
  • the graphics controller 115 reads control data from the composition buffer 114.
  • the graphics controller 115 controls the read timing in the decoder buffer 113 and the graphics plane generation unit 93 based on PCS and WDS in the read control data.
  • the graphics controller 115 supplies palette information included in the PDS to the CLUT management unit 94.
  • the graphics plane generation unit 93 generates a graphics plane based on the data read from the decoder buffer 113 according to the control timing by the graphics controller 115.
  • the graphics plane generator 93 outputs the generated graphics plane data to the CLUT manager 94 according to the control timing of the graphics controller 115.
  • the CLUT management unit 94 stores a CLUT defined based on palette information supplied from the graphics controller 115.
  • CLUT is a table in which input values are associated with YCrCb pixel values.
  • the CLUT management unit 94 converts the graphics plane supplied from the graphics plane generation unit 93 into data composed of 8-bit YCrCb values.
  • the CLUT management unit 94 outputs YCrCb BD graphics data to the RGB conversion unit 95 when synthesizing BD graphics into HDR video.
  • the CLUT management unit 94 outputs the YCrCb BD graphics to the combining unit 60.
  • a transparency value is also added to the YCrCb pixel value output by the CLUT management unit 94.
  • the RGB conversion unit 95 converts the YCrCb BD graphics supplied from the CLUT management unit 94 into 8-bit RGB BD graphics and outputs them to the inverse gamma conversion unit 96.
  • the inverse gamma conversion unit 96 performs reverse gamma conversion on the BD graphics and outputs the result to the allocation unit 99.
  • the RGB value and luminance after inverse gamma conversion have a linear relationship.
  • the HDR information acquisition unit 97 acquires the HDR information supplied from the video decoding processing unit 58 and outputs it to the calculation unit 98.
  • the calculation unit 98 receives, as an HDR function, an allocation function that receives each pixel value of the BD graphics and outputs a 10-bit pixel value in an HDR video gamma function system that shows the same luminance as the luminance indicated by the pixel value. Calculation is performed based on the HDR information acquired by the acquisition unit 97. The calculation unit 98 outputs the allocation function obtained by calculation to the allocation unit 99.
  • the allocation unit 99 functions as a pixel value conversion unit, and based on the allocation function obtained by the calculation unit 98, RGB pixel values of BD graphics after inverse gamma conversion are converted into HDR video gamma function systems. Assign to the pixel value at.
  • the allocation unit 99 outputs the BD graphics represented by each 10-bit RGB value after allocation to the YCrCb conversion unit 100.
  • the YCrCb conversion unit 100 converts the RGB BD graphics supplied from the allocation unit 99 into 10-bit YCrCb BD graphics, and outputs them to the synthesis unit 60 as HDR synthesis graphics.
  • FIG. 36 is a block diagram illustrating a configuration example of the display device 3.
  • the display device 3 includes a controller 131, an HDMI communication unit 132, a signal processing unit 133, and a monitor 134.
  • the controller 131 has a memory 131A.
  • the controller 131 includes a CPU, ROM, RAM, and the like.
  • the controller 131 executes a predetermined program and controls the overall operation of the display device 3.
  • the controller 131 stores and manages EDID (Extended display identification data) representing the performance of the monitor 134 in the memory 131A.
  • EDID Extended display identification data
  • the controller 131 outputs the EDID stored in the memory 131 ⁇ / b> A to the HDMI communication unit 132 so that the playback device 2 transmits the EDID.
  • the playback device 2 Based on the EDID, the playback device 2 identifies the performance of the monitor 134 of the display device 3.
  • the HDMI communication unit 132 communicates with the playback device 2 via the HDMI cable 4.
  • the HDMI communication unit 132 receives the video data transmitted from the playback device 2 and outputs it to the signal processing unit 133. Further, the HDMI communication unit 132 transmits the EDID supplied from the controller 131 to the playback device 2.
  • the signal processing unit 133 processes the video data supplied from the HDMI communication unit 132 and displays the video on the monitor 134.
  • step S1 the controller 21 of the recording apparatus 1 determines whether or not the recording mode is mode-i.
  • the recording mode is set by the author, for example.
  • step S2 When it is determined in step S1 that the recording mode is mode-i, in step S2, the video encoding processing unit 22 performs an encoding process in mode-i.
  • the HEVC stream generated by the encoding process in mode-i is supplied to the multiplexing unit 24.
  • step S1 when it is determined in step S1 that the recording mode is mode-ii, the video encoding processing unit 22 performs the encoding process in mode-ii in step S3.
  • the HEVC stream generated by the encoding process in mode-ii is supplied to the multiplexing unit 24.
  • step S4 the Data Base information generation unit 21A performs Data Base information generation processing.
  • the PlayList file and the Clip Information file generated by the Data Base information generation process are supplied to the disk drive 25.
  • step S5 the graphics encoder 23 encodes the BD graphics data and outputs the graphics stream to the multiplexing unit 24.
  • step S6 the multiplexing unit 24 multiplexes the HEVC stream supplied from the video encoding processing unit 22 and the graphics stream supplied from the graphics encoder 23, and outputs the multiplexed stream to the disk drive 25.
  • step S7 the disc drive 25 records the PlayList file, ClipCInformation file, and multiplexed stream file on the optical disc 11. Thereafter, the process is terminated.
  • step S11 the HDR information generation unit 31 of the video encoding processing unit 22 detects the luminance of the master HDR video and generates HDR information.
  • step S12 the HEVC encoder 32 performs encoding by HEVC on the master HDR video, and generates encoded data of the HDR video.
  • step S13 the HDR-STD conversion unit 33 converts the input master HDR video into STD video.
  • Information indicating the correspondence between input data and output data in which the RGB signal of HDR video is input data and the RGB signal of STD video is output data is supplied to the definition information generation unit 34.
  • step S14 the definition information generation unit 34 generates tone-mapping definition information for HDR-STD conversion based on the information supplied from the HDR-STD conversion unit 33.
  • step S15 the HEVC stream generation unit 35 sets tone_map_id of Tone mapping information including the HDR information generated by the HDR information generation unit 31 and tone mapping information including the tone mapping definition information generated by the definition information generation unit 34. Set the ID for mode-i. Moreover, the HEVC stream generation unit 35 inserts Tone mapping information including HDR information and Tone mapping information including tone mapping definition information into the encoded data, and generates an HEVC stream. Thereafter, the process returns to step S2 in FIG. 37, and the subsequent processing is performed.
  • step S21 the HDR information generating unit 31 of the video encoding processing unit 22 detects the luminance of the master HDR video and generates HDR information.
  • step S22 the HDR-STD conversion unit 33 converts the input master HDR video into STD video.
  • Information indicating the correspondence between input data and output data in which the RGB signal of HDR video is input data and the RGB signal of STD video is output data is supplied to the definition information generation unit 34.
  • step S23 the definition information generation unit 34 generates tone mapping definition information for STD-HDR conversion based on the information supplied from the HDR-STD conversion unit 33.
  • step S24 the HEVC encoder 32 performs encoding by HEVC on the STD video obtained by converting the master HDR video, and generates encoded data of the STD video.
  • step S25 the HEVC stream generating unit 35 sets tone_map_id of Tone mapping information including the HDR information generated by the HDR information generating unit 31 and tone mapping information including the tone mapping definition information generated by the definition information generating unit 34. Set the ID for mode-ii. Moreover, the HEVC stream generation unit 35 inserts Tone mapping information including HDR information and Tone mapping information including tone mapping definition information into the encoded data, and generates an HEVC stream. Thereafter, the process returns to step S3 in FIG. 37, and the subsequent processing is performed.
  • step S31 the Data Base information generation unit 21A of the controller 21 generates a PlayList including each piece of information described with reference to FIG.
  • the PlayList generated by the Data Base information generation unit 21A includes information related to PlayItem that specifies the HEVC stream as a playback section.
  • step S32 the Data Base information generation unit 21A generates Clip Information including HDR_flag and mode_flag in StreamCodingInfo of ProgramInfo ().
  • the Data Base information generation unit 21 ⁇ / b> A sets 1 as a value indicating the HDR_flag.
  • Data Base information generation unit 21A is a value indicating that the recording mode is mode-i as the value of mode_flag. 1 is set.
  • the Data Base information generation unit 21A is a value indicating that the recording mode is mode-ii as the value of mode_flag when the encoding process in mode-ii is performed in step S3 of FIG. Set to 0. Thereafter, the process returns to step S4 in FIG. 37, and the subsequent processing is performed.
  • the HEVC stream and Data Base information generated by the above processing are recorded on the optical disc 11.
  • the controller 51 of the reproduction device 2 controls the HDMI communication unit 61 to communicate with the display device 3 and reads the EDID from the memory 131A of the display device 3.
  • the controller 51 stores and manages information indicating the performance of the monitor included in the display device 3 in the register 53A.
  • step S41 the controller 51 controls the disc drive 52 to read out the PlayList and ClipCInformation that are Data Base information from the optical disc 11.
  • the controller 51 specifies the HEVC stream and graphics stream to be reproduced based on information included in the PlayList.
  • the controller 51 reads the multiplexed stream including the specified HEVC stream and graphics stream from the optical disc 11 by controlling the disc drive 52.
  • step S42 the separation unit 57 separates the multiplexed stream read from the optical disc 11 into HEVC stream data and graphics stream data.
  • step S43 the controller 51 refers to HDR_flag and mode_flag included in Clip ⁇ Information.
  • the HDR_flag is set to a value indicating that recording using the HDR as the master is being performed. Thereby, the state of the playback device 2 becomes a state of playing back the HDR video or the STD video obtained by converting the HDR video.
  • step S44 the controller 51 determines whether or not the recording mode is mode-i based on the value of mode_flag.
  • step S44 When it is determined in step S44 that the recording mode is mode-i, the video decoding processing unit 58 performs a decoding process in mode-i in step S45.
  • step S46 the video decoding processing unit 58 performs a decoding process in mode-ii.
  • step S45 or step S46 After the decoding process is performed in step S45 or step S46, the process ends.
  • the determination whether or not the recording mode is mode-i is made based on the value of mode_flag, but it seems to be made based on tone_map_id of Tone mapping information inserted in the HEVC stream It may be.
  • step S61 the parameter extraction unit 71 of the video decoding processing unit 58 extracts the HDR information and tone mapping definition information from the SEI of the HEVC stream.
  • the parameter extraction unit 71 outputs the HEVC encoded data included in the HEVC stream to the HEVC decoder 72.
  • step S62 the HEVC decoder 72 decodes the HEVC encoded data, and outputs the HDR video obtained by the decoding to the HDR-STD conversion unit 73 and the HDR video output unit 75A.
  • step S63 the controller 51 determines whether the monitor of the display device 3 is an HDR monitor based on the information stored in the register 53A.
  • the register 53A stores information related to the performance of the monitor included in the display device 3 based on the HDMI EDID read from the display device 3.
  • the HDR video output unit 75A When it is determined in step S63 that the monitor included in the display device 3 is an HDR monitor, the HDR video output unit 75A outputs the HDR video supplied from the HEVC decoder 72 to the synthesis unit 60 in step S64.
  • the HDR information extracted by the parameter extraction unit 71 is output to the HDMI communication unit 61.
  • step S65 the graphics processing unit 59 performs graphics generation processing for HDR synthesis.
  • the HDR composition graphics generated by the HDR composition graphics generation processing is supplied to the composition unit 60.
  • step S66 the synthesizing unit 60 synthesizes the HDR video supplied from the video decoding processing unit 58 and the HDR synthesizing graphics supplied from the graphics processing unit 59, and the HDR video after synthesizing the BD graphics. Data is output to the HDMI communication unit 61.
  • step S67 the HDMI communication unit 61 outputs the HDR video data after the synthesis of the BD graphics and the HDR information supplied from the video decoding processing unit 58 to the display device 3.
  • step S68 the HDR-STD conversion unit 73 converts the HDR video supplied from the HEVC decoder 72, Based on tone-mapping definition information for HDR-STD conversion supplied from the parameter extraction unit 71, the video is converted into STD video.
  • step S69 the STD video output unit 75B outputs the STD video obtained by the conversion by the HDR-STD conversion unit 73 to the synthesis unit 60.
  • step S70 the graphics processing unit 59 decodes the graphics stream and outputs BD graphics data to the synthesizing unit 60. That is, in the graphics decoder 92 of the graphics processing unit 59, the processor 112 decodes the graphics stream stored in the ES buffer 111 and stores the BD graphics data obtained by decoding in the decoder buffer 113. .
  • the graphics plane generation unit 93 generates a BD graphics plane based on the data stored in the decoder buffer 113.
  • the CLUT management unit 94 performs CLUT conversion of the BD graphics plane, and outputs the BD graphics data after the CLUT conversion to the combining unit 60 as STD combining data.
  • step S71 the synthesizing unit 60 synthesizes the STD video supplied from the video decoding processing unit 58 and the BD graphics supplied from the graphics processing unit 59.
  • step S72 the HDMI communication unit 61 outputs the STD video data after the synthesis of the BD graphics to the display device 3.
  • step S73 After the HDR video after the synthesis of BD graphics is output in step S67 or after the STD video after the synthesis of BD graphics is output in step S72, the controller 51 determines in step S73 whether or not the reproduction has ended. Determine whether.
  • step S73 If it is determined in step S73 that the reproduction has not ended, the controller 51 returns to step S61 and repeats the above processing. If it is determined in step S73 that the reproduction has ended, the process returns to step S45 in FIG. 41, and the subsequent processing is performed.
  • step S81 the parameter extraction unit 71 of the video decoding processing unit 58 extracts the HDR information and tone mapping definition information from the SEI of the HEVC stream.
  • the parameter extraction unit 71 outputs HEVC encoded data included in the HEVC stream to the HEVC decoder 72.
  • step S82 the HEVC decoder 72 decodes the HEVC encoded data, and outputs the STD video obtained by the decoding to the STD-HDR conversion unit 74 and the STD video output unit 75B.
  • step S83 the controller 51 determines whether or not the monitor included in the display device 3 is an HDR monitor based on the information stored in the register 53A.
  • the STD-HDR conversion unit 74 is supplied with the STD video supplied from the HEVC decoder 72 from the parameter extraction unit 71 in step S84. Based on tone mapping definition information for STD-HDR conversion, it is converted to HDR video.
  • step S85 the HDR video output unit 75A outputs the HDR video obtained by the conversion by the STD-HDR conversion unit 74 to the synthesis unit 60.
  • the HDR information extracted by the parameter extraction unit 71 is output to the HDMI communication unit 61.
  • step S86 the graphics processing unit 59 performs graphics generation processing for HDR synthesis.
  • the HDR composition graphics generated by the HDR composition graphics generation processing is supplied to the composition unit 60.
  • step S87 the synthesizing unit 60 synthesizes the HDR video supplied from the video decoding processing unit 58 and the HDR synthesizing graphics supplied from the graphics processing unit 59, and the HDR video after synthesizing the BD graphics. Data is output to the HDMI communication unit 61.
  • step S88 the HDMI communication unit 61 outputs the HDR video data after the synthesis of the BD graphics and the HDR information supplied from the video decoding processing unit 58 to the display device 3.
  • the STD video output unit 75B outputs the STD video supplied from the HEVC decoder 72 to the synthesis unit 60 in step S89.
  • step S90 the graphics processing unit 59 decodes the graphics stream and outputs the BD graphics data for STD synthesis to the synthesizing unit 60.
  • step S91 the synthesizing unit 60 synthesizes the STD video supplied from the video decoding processing unit 58 and the BD graphics supplied from the graphics processing unit 59.
  • step S92 the HDMI communication unit 61 outputs the STD video data after the synthesis of the BD graphics to the display device 3.
  • step S93 the controller 51 determines whether or not the reproduction ends. Determine whether.
  • step S93 If it is determined in step S93 that the reproduction has not ended, the controller 51 returns to step S81 and repeats the above processing. If it is determined in step S93 that the reproduction has ended, the process returns to step S46 in FIG. 41, and the subsequent processing is performed.
  • step S111 the HDR information acquisition unit 97 of the graphics processing unit 59 acquires the HDR information extracted by the parameter extraction unit 71 of the video decoding processing unit 58.
  • step S112 the calculation unit 98 receives the original pixel values of the BD graphics, and assigns the 10-bit pixel values in the HDR video gamma function system that output the same luminance as the luminance indicated by the pixel values. Function is calculated based on the HDR information.
  • step S113 the graphics decoder 92 decodes the graphics stream. Based on the data obtained by decoding the graphics stream, the graphics plane generating unit 93 generates a BD graphics plane.
  • step S114 the CLUT management unit 94 converts BD graphics based on the CLUT.
  • step S115 the RGB conversion unit 95 converts the YCrCb BD graphics obtained by the conversion by the CLUT management unit 94 into 8-bit RGB BD graphics.
  • step S116 the inverse gamma conversion unit 96 performs inverse gamma conversion on the BD graphics.
  • step S117 the allocation unit 99 allocates the RGB pixel values of the BD graphics after the inverse gamma conversion to the pixel values in the gamma function system of the HDR video based on the allocation function obtained by the calculation unit 98. .
  • step S118 the YCrCb conversion unit 100 converts the RGB BD graphics after the allocation by the allocation unit 99 into BD graphics composed of 10-bit YCrCb values, and outputs the BD graphics as HDR synthesis graphics to the synthesis unit 60. . Thereafter, the process returns to step S65 in FIG. 42 or step S86 in FIG. 43, and the subsequent processing is performed.
  • the monitor 134 included in the display device 3 is an HDR monitor
  • the HDR video to which the HDR information is added is transmitted from the playback device 2.
  • the HDR video transmitted from the playback device 2 is a video in which BD graphics is synthesized.
  • step S131 the HDMI communication unit 132 of the display device 3 receives the HDR video and the HDR information transmitted from the playback device 2.
  • step S132 the controller 131 refers to the HDR information and determines whether the HDR video transmitted from the playback device 2 can be displayed as it is.
  • the HDR information includes information indicating the luminance characteristics of the master HDR video, that is, the HDR video transmitted from the playback device 2.
  • the determination in step S132 is performed by comparing the brightness characteristics of the HDR video specified by the HDR information with the display performance of the monitor 134.
  • the dynamic range of HDR video specified by HDR information is 0-400%
  • the dynamic range is 0-500% of the monitor 134 (for example, the brightness of 100% and 100cd / m 2 500cd / m 2 ) If it is, it is determined that the HDR video can be displayed as it is.
  • the dynamic range of the HDR video specified by the HDR information is 0-400% and the dynamic range of the monitor 134 is 0-300%, it is determined that the HDR video cannot be displayed as it is.
  • step S133 the signal processing unit 133 causes the monitor 134 to display the video of the HDR video according to the luminance specified by the HDR information. For example, when the luminance characteristic indicated by the curve L12 in FIG. 12 is specified by the HDR information, each pixel value represents the brightness in the range of 0 to 400% indicated by the curve L12.
  • step S134 the signal processing unit 133 adjusts the luminance according to the display performance of the monitor 134, and adjusts the luminance of the adjusted HDR video. Display video. For example, when the luminance characteristic indicated by the curve L12 in FIG. 12 is specified by the HDR information and the dynamic range of the monitor 134 is 0-300%, each pixel value represents the brightness in the range of 0-300%. So that it is compressed.
  • step S135 the controller 131 determines whether or not to end the display. If it is determined that the display is not ended, the process from step S131 is repeated. . If it is determined in step S135 that the display is to be ended, the controller 131 ends the process.
  • the recording apparatus 1 can record the master HDR video on the optical disc 11 as the HDR video, and cause the playback apparatus 2 to play back the HDR video image on the display apparatus 3.
  • the recording device 1 can convert the master HDR video into the STD video, record it on the optical disc 11, restore the HDR video to the playback device 2, and display the HDR video on the display device 3.
  • the content author can display the HDR video image at the intended brightness. It becomes possible.
  • BD graphics are displayed with standard dynamic range brightness, it is possible to prevent graphics such as subtitles from becoming difficult to see.
  • the HDMI communication unit 132 of the display device 3 receives the STD video synthesized from the playback device 2 and combined with the BD graphics.
  • the signal processing unit 133 displays the STD video received by the HDMI communication unit 132 on the monitor 134 as it is.
  • FIG. 46 is a diagram illustrating an example of a screen displayed based on the BD-J object.
  • BD-J object BD-J application described in a BD-J object
  • BD-J graphics plane BD-J graphics plane and a background plane are generated.
  • the BD-J graphics plane is synthesized before the video plane
  • the background plane is synthesized behind the video plane.
  • FIG. 47 is a diagram illustrating an example of processing for generating graphics for HDR synthesis based on BD-J graphics.
  • BD-J graphics obtained by executing BD-J objects are represented by RGB values of 8 bits each. Since the BD graphics after the CLUT conversion described with reference to FIG. 16 are represented by YCrCb values, it is necessary to perform RGB conversion before assigning the pixel values, but the BD-J graphics are converted to HDR video. When combining, RGB conversion is not necessary.
  • the process of synthesizing BD-J graphics into HDR video is basically the same as the process of synthesizing BD graphics into HDR video, except that RGB conversion is not required.
  • the overlapping description will be omitted as appropriate.
  • the calculation unit 98 constituting the graphics processing unit 59 of the playback device 2 calculates an allocation function based on the HDR information acquired by the HDR information acquisition unit 97, as indicated by the tip of arrow # 301. To do.
  • the reverse gamma conversion unit 96 performs reverse gamma conversion on the RGB BD-J graphics as indicated by the tip of arrow # 302. Similar to BD graphics, gamma conversion is applied to BD-J graphics.
  • the BD-J graphics after the inverse gamma conversion are represented by 8-bit R′G′B ′ values.
  • the R′G′B ′ value and the luminance have a linear relationship.
  • the allocation unit 99 uses the R′G′B ′ value, which is the pixel value of the BD-J graphics after the inverse gamma conversion, as an input to the allocation function, and outputs each as an output.
  • R′G′B ′ value which is the pixel value of the BD-J graphics after the inverse gamma conversion
  • the YCrCb conversion unit 100 converts R ′′ G ′′ B ′′ BD graphics into 10-bit Y′Cr′Cb ′ BD graphics as indicated by the tip of arrow # 304.
  • the Y′Cr′Cb ′ BD-J graphics obtained by the conversion are graphics for HDR synthesis.
  • FIG. 48 is a diagram illustrating an example of the synthesis process.
  • the synthesizing unit 60 of the playback device 2 performs the HDR synthesis graphics generated based on the BD-J graphics and the HDR obtained by decoding the HEVC stream, as indicated by the arrows # 321 and # 322. Compose the video. As indicated by the tip of arrow # 323, the HDMI communication unit 61 outputs the combined HDR video to the display device 3 together with the HDR information.
  • FIG. 49 is a diagram illustrating an example of the synthesis process of STD video and BD-J graphics.
  • the YCrCb conversion unit 100 that constitutes the graphics processing unit 59 of the playback apparatus 2 applies the RGB BD-J graphics obtained by executing the BD-J object, as indicated by the tip of arrow # 331. Perform YCrCb conversion.
  • BD-J graphics after YCrCb conversion are represented by 8-bit YCrCb values. Each 8-bit YCrCb is shifted to 10 bits.
  • the synthesizing unit 60 synthesizes 10-bit YCrCb BD-J graphics and STD video as indicated by the tip of arrows # 332 and # 333.
  • the HDMI communication unit 61 outputs the combined STD video to the display device 3 as indicated by the tip of arrow # 334.
  • FIG. 50 is a block diagram illustrating a configuration example of the recording apparatus 1.
  • a Data Base information generation unit 21A and a BD-J object generation unit 21B are realized by executing a predetermined program.
  • the Data Base information generation unit 21 ⁇ / b> A generates a PlayList and Clip Information that are Data Base information, and outputs them to the disk drive 25.
  • the BD-J object generation unit 21B generates a BD-J object that describes a BD-J graphics playback command based on the input graphics data.
  • the BD-J object generation unit 21B outputs the generated BD-J object to the disc drive 25.
  • the video encoding processing unit 22 encodes the master HDR video.
  • the video encoding processing unit 22 outputs the HEVC stream obtained by encoding the master HDR video to the multiplexing unit 24.
  • the multiplexing unit 24 multiplexes the HEVC stream supplied from the video encoding processing unit 22 and various data, and outputs the multiplexed stream to the disk drive 25.
  • the disc drive 25 records the file that stores the PlayList, Clip Information, and BD-J objects supplied from the controller 21 and the multiplexed stream supplied from the multiplexing unit 24 on the optical disc 11 according to the directory structure of FIG. To do.
  • FIG. 51 is a block diagram illustrating a configuration example of the playback device 2.
  • the BD-J object execution unit 51A is realized by executing the BD-J object supplied from the disk drive 52.
  • the BD-J object execution unit 51A functions as a BD-J graphics decoding unit, and generates BD-J graphics data according to a playback command.
  • the BD-J object execution unit 51A outputs the generated BD-J graphics data to the graphics processing unit 59.
  • the disk drive 52 outputs the Data Base information and the BD-J object read from the optical disk 11 to the controller 51, and outputs the multiplexed stream to the separation unit 57.
  • the separation unit 57 separates the HEVC stream data from the multiplexed stream supplied from the disk drive 52.
  • the separation unit 57 outputs the separated HEVC stream data to the video decoding processing unit 58.
  • the graphics processing unit 59 processes the BD-J graphics data supplied from the BD-J object execution unit 51A, and outputs the BD-J graphics data to the synthesizing unit 60.
  • the synthesizing unit 60 synthesizes the HDR video or STD video supplied from the video decoding processing unit 58 and the BD-J graphics supplied from the graphics processing unit 59, and the HDR video after the synthesis of the BD-J graphics Alternatively, the STD video data is output to the HDMI communication unit 61.
  • FIG. 52 is a block diagram illustrating a configuration example of the graphics processing unit 59.
  • BD-J graphics data supplied from the BD-J object execution unit 51A is input to the inverse gamma conversion unit 96 and the YCrCb conversion unit 100.
  • the HDR information supplied from the video decoding processing unit 58 is input to the HDR information acquisition unit 97.
  • the inverse gamma conversion unit 96 performs reverse gamma conversion on the BD-J graphics and outputs the result to the allocation unit 99.
  • the HDR information acquisition unit 97 acquires the HDR information supplied from the video decoding processing unit 58 and outputs it to the calculation unit 98.
  • the calculation unit 98 receives the pixel values of the BD-J graphics as input, and assigns an allocation function that outputs a 10-bit pixel value in the gamma function system of the HDR video, showing the same luminance as the luminance indicated by the pixel value, Calculation is performed based on the HDR information acquired by the HDR information acquisition unit 97.
  • the calculation unit 98 outputs the allocation function obtained by calculation to the allocation unit 99.
  • the allocation unit 99 allocates the RGB pixel values of the BD-J graphics after the inverse gamma conversion to the pixel values in the HDR video gamma function system, based on the allocation function obtained by the calculation unit 98.
  • the allocation unit 99 outputs the BD-J graphics represented by each 10-bit RGB value after allocation to the YCrCb conversion unit 100.
  • the YCrCb conversion unit 100 converts the RGB BD graphics supplied from the allocation unit 99 into 10-bit YCrCb BD graphics, and outputs them to the synthesis unit 60 as HDR synthesis graphics.
  • the YCrCb conversion unit 100 converts the RGB BD-J graphics supplied from the BD-J object execution unit 51A into YCrCb BD-J graphics. .
  • the YCrCb conversion unit 100 outputs the 10-bit YCrCb BD-J graphics after the bit shift to the synthesis unit 60 as STD synthesis graphics.
  • each configuration of FIG. 50 that implements processing related to BD-J graphics can be provided in the recording apparatus 1 of FIG.
  • each pixel value of BD graphics is assigned to a pixel value in the gamma function system of HDR video to generate data for HDR synthesis, but CLUT is based on HDR information Then, data for HDR synthesis may be generated by performing conversion using the CLUT after processing.
  • the CLUT defined based on the palette information included in the graphics stream is processed based on the HDR information so that each 10-bit pixel value in the HDR video gamma function system is output.
  • FIG. 53 is a diagram illustrating an example of processing for generating HDR composition graphics by performing CLUT processing.
  • the CLUT management unit 94 constituting the graphics processing unit 59 of the playback apparatus 2 converts the CLUT defined based on the palette information into the gamma function of the HDR video based on the HDR information, as indicated by the tip of arrow # 351. Process into CLUT that outputs each 10-bit pixel value in the system.
  • the CLUT before processing defined based on the palette information is a table that outputs each 8-bit YCrCb in the BD graphic gamma function system with respect to the input value.
  • the CLUT management unit 94 performs conversion using the processed CLUT on the BD graphics obtained by decoding the PG stream, for example, as indicated by the tip of the arrow 352.
  • the BD graphics after the CLUT conversion are represented by 10-bit Y′Cr′Cb ′ pixel values.
  • Y'Cr'Cb 'BD graphics after CLUT conversion is used as graphics for HDR synthesis.
  • the synthesizing unit 60 synthesizes the HDR synthesis graphics and the HDR video as indicated by arrows # 353 and # 354, and displays the synthesized HDR video together with the HDR information as indicated by the arrow # 355. Output to device 3.
  • FIG. 54 is a block diagram showing the configuration of the graphics processing unit 59 that processes the CLUT.
  • the configuration of the playback device 2 including the graphics processing unit 59 of FIG. 54 is the same as the configuration shown in FIG.
  • the CLUT management unit 94 stores a CLUT defined based on palette information supplied from the graphics controller 115.
  • the CLUT before processing is a table in which input values are associated with respective 8-bit YCrCb pixel values.
  • the CLUT management unit 94 When synthesizing BD graphics into HDR video, the CLUT management unit 94 stores the stored CLUT based on the HDR information supplied from the HDR information acquisition unit 97 for each 10-bit YCrCb in the gamma function system of the HDR video. It is processed into a CLUT that outputs a pixel value (Y′Cr′Cb ′ in FIG. 53). Based on the processed CLUT, the CLUT management unit 94 converts the BD graphics plane data supplied from the graphics plane generation unit 93 into data consisting of 10-bit YCrCb values, and outputs the data as HDR synthesis graphics. To do.
  • the CLUT management unit 94 converts each BD graphics plane data supplied from the graphics plane generation unit 93 based on the CLUT defined based on the palette information. Convert to data consisting of 8-bit YCrCb values.
  • the CLUT management unit 94 outputs BD graphics plane data composed of 8-bit YCrCb values as STD composition graphics.
  • the HDR information acquisition unit 97 acquires the HDR information supplied from the video decoding processing unit 58 and outputs it to the CLUT management unit 94.
  • the processing of the playback apparatus 2 including the graphics processing unit 59 having such a configuration is the same as the processing of FIGS. 41 to 43 except for the processing of generating graphics for HDR synthesis.
  • step S65 of FIG. 42 or step S86 of FIG. 43 will be described.
  • step S201 the HDR information acquisition unit 97 of the graphics processing unit 59 acquires the HDR information extracted by the parameter extraction unit 71 of the video decoding processing unit 58.
  • step S202 the CLUT management unit 94 processes the CLUT based on the HDR information acquired by the HDR information acquisition unit 97.
  • step S203 the graphics decoder 92 decodes the graphics stream. Based on the data obtained by decoding the graphics stream, the graphics plane generating unit 93 generates a BD graphics plane.
  • step S204 the CLUT management unit 94 converts the BD graphics plane into data composed of 10-bit YCrCb values based on the processed CLUT, and outputs the data to the synthesis unit 60 as HDR synthesis graphics. Thereafter, the process returns to step S65 in FIG. 42 or step S86 in FIG. 43, and the subsequent processing is performed.
  • a new navigation command may be added, and the graphics dynamic range may be designated for the playback device 2 by the navigation command described in the movie object.
  • a new API may be added, and the graphics dynamic range may be specified for the playback device 2 by a command described in the BD-J object.
  • the graphics dynamic range may be designated for the playback apparatus 2 by the user's operation.
  • Designation of the dynamic range of graphics for the playback device 2 is performed using one argument. For example, if the argument is 100, it indicates that the maximum luminance of the dynamic range is 100%. The case where the argument is less than 100 is handled in the same way.
  • the argument is less than the maximum luminance of the dynamic range of the HDR video specified by extended_range_white_level.
  • the maximum luminance of the graphics dynamic range is treated as the luminance specified by extended_range_white_level.
  • a range of 0-101% or more may be designated to the playback apparatus 2 as a graphics dynamic range.
  • FIG. 56 is a diagram showing a concept of pixel value allocation when a dynamic range of 0-101% or more is designated.
  • the value V21 which is the pixel value of the original BD graphics, represents the luminance Y1 in the BD graphics function system indicated by the gamma function F11.
  • the maximum luminance is specified as 200%, which is twice the standard luminance of 100%, as shown by an arrow # 401, HDR indicating a luminance Y2 that is twice the luminance Y1.
  • V31 which is a pixel value in the video gamma function system.
  • Such allocation of pixel values is performed by the allocation unit 99.
  • HDR video data is transmitted from the playback device 2 to the display device 3, the HDR information is added and transmitted.
  • the HDR video data may be transmitted without adding the HDR information.
  • the playback device 2 is a BD player
  • the above-described functions of the playback device 2 may be mounted on a mobile terminal.
  • the portable terminal has a role as the playback device 2.
  • the playback device 2 receives content transmitted from a server connected via a network such as the Internet, plays it, and outputs the HDR video to the display device 3.
  • FIG. 57 is a block diagram showing an example of the hardware configuration of a computer that executes the above-described series of processing by a program.
  • the CPU 501, the ROM 502, and the RAM 503 are connected to each other by a bus 504.
  • An input / output interface 505 is further connected to the bus 504.
  • the input / output interface 505 is connected to an input unit 506 including a keyboard and a mouse, and an output unit 507 including a display and a speaker.
  • the input / output interface 505 is connected to a storage unit 508 including a hard disk and a non-volatile memory, a communication unit 509 including a network interface, and a drive 510 that drives a removable medium 511.
  • the CPU 501 loads the program stored in the storage unit 508 to the RAM 503 via the input / output interface 505 and the bus 504 and executes the program, for example. Is done.
  • the program executed by the CPU 501 is recorded on the removable medium 511 or provided via a wired or wireless transmission medium such as a local area network, the Internet, or digital broadcasting, and is installed in the storage unit 508.
  • the program executed by the computer may be a program that is processed in time series in the order described in this specification, or in parallel or at a necessary timing such as when a call is made. It may be a program for processing.
  • Embodiments of the present technology are not limited to the above-described embodiments, and various modifications can be made without departing from the gist of the present technology.
  • the system means a set of a plurality of components (devices, modules (parts), etc.), and it does not matter whether all the components are in the same housing. Accordingly, a plurality of devices housed in separate housings and connected via a network and a single device housing a plurality of modules in one housing are all systems. .
  • Encoded data of extended video which is a video having a second luminance range wider than the first luminance range, luminance characteristic information indicating luminance characteristics of the extended video, and the first video to be superimposed on the extended video
  • a read unit that reads out the encoded data, the luminance characteristic information, and the graphics data from a recording medium that records graphics data of a luminance range;
  • a first decoding unit for decoding the encoded data;
  • the first pixel value of the graphics obtained by decoding is represented by the luminance characteristic information indicating the same luminance as the luminance indicated by the first pixel value on the luminance characteristic of the graphics.
  • a first conversion unit for converting to a second pixel value on the luminance characteristics of the extended video;
  • a playback device comprising: the extended video obtained by decoding the encoded data; and a synthesis unit that synthesizes graphics of the second pixel value.
  • the playback device further including an output unit that outputs the data of the extended video obtained by synthesizing the graphics and the luminance characteristic information to a display device capable of displaying the extended video.
  • the readout unit further reads out luminance conversion definition information recorded in the recording medium and used when performing luminance conversion from the extended video to the standard video,
  • the playback device according to (1) or (2), wherein the second conversion unit converts the extended video into the standard video based on the luminance conversion definition information read from the recording medium.
  • the playback device further including an output unit that outputs data of the standard video obtained by combining the graphics to a display device that cannot display the extended video.
  • Encoded data of extended video which is a video having a second luminance range wider than the first luminance range, luminance characteristic information indicating luminance characteristics of the extended video, and the first video to be superimposed on the extended video
  • a reproduction method including a step of combining the extended video obtained by decoding the encoded data and graphics of the second pixel value.
  • Encoded data of extended video which is a video in a second luminance range wider than the first luminance range; Luminance characteristic information indicating luminance characteristics of the extended video; A recording medium for recording graphics data of the first luminance range to be superimposed on the extended video, In a playback device for playing back the recording medium, Read the encoded data, the luminance characteristic information, and the graphics data from the recording medium, Decoding the encoded data; Decoding the graphics data; The first pixel value of the graphics obtained by decoding is represented by the luminance characteristic information indicating the same luminance as the luminance indicated by the first pixel value on the luminance characteristic of the graphics. Converted to the second pixel value on the luminance characteristics of the extended video, A recording medium on which processing for synthesizing the extended video obtained by decoding the encoded data and graphics of the second pixel value is performed.
  • the encoded data of the standard video which is the video in the first luminance range, obtained by performing the luminance conversion of the extended video, which is the video in the second luminance range wider than the first luminance range, the luminance of the extended video Luminance characteristic information indicating the characteristics of the video, luminance conversion definition information used when performing luminance conversion from the standard video to the extended video, and graphics of the first luminance range to be superimposed on the extended video
  • a read unit that reads out the encoded data, the luminance characteristic information, the luminance conversion definition information, and the graphics data from a recording medium on which data is recorded;
  • a first decoding unit for decoding the encoded data A first converter that converts the standard video obtained by decoding the encoded data into the extended video based on the luminance conversion definition information;
  • the luminance characteristic wherein the first pixel value of the graphics obtained by decoding the graphics data shows the same luminance as the luminance indicated by the first pixel value on the luminance characteristic of the graphics
  • the playback device further including an output unit that outputs the data of the extended video obtained by combining the graphics and the luminance characteristic information to a display device capable of displaying the extended video.
  • the playback device further including an output unit that outputs the data of the standard video obtained by synthesizing the graphics to a display device that cannot display the extended video.
  • the luminance characteristic information and the luminance conversion definition information are inserted into the stream including the encoded data as auxiliary information of the encoded data and recorded on the recording medium.
  • the reproducing apparatus as described.
  • the encoded data of the standard video which is the video in the first luminance range, obtained by performing the luminance conversion of the extended video, which is the video in the second luminance range wider than the first luminance range, the luminance of the extended video Luminance characteristic information indicating the characteristics of the video, luminance conversion definition information used when performing luminance conversion from the standard video to the extended video, and graphics of the first luminance range to be superimposed on the extended video
  • Luminance characteristic information indicating the characteristics of the video
  • luminance conversion definition information used when performing luminance conversion from the standard video to the extended video and graphics of the first luminance range to be superimposed on the extended video
  • Encoded data of a standard video which is a video of the first luminance range, obtained by performing luminance conversion of an extended video that is a video of a second luminance range wider than the first luminance range; Luminance characteristic information indicating luminance characteristics of the extended video; Luminance conversion definition information used when performing luminance conversion from the standard video to the extended video; A recording medium for recording graphics data of the first luminance range to be superimposed on the extended video, In a playback device for playing back the recording medium, Read the encoded data, the luminance characteristic information, the luminance conversion definition information, and the graphics data from the recording medium, Decoding the encoded data; Converting the standard video obtained by decoding the encoded data into the extended video based on the luminance conversion definition information; Decoding the graphics data; The luminance characteristic, wherein the first pixel value of the graphics obtained by decoding the graphics data shows the same luminance as the luminance indicated by the first pixel value on the luminance characteristic of the graphics Converting to a second pixel value on the luminance characteristic

Abstract

 本技術は、輝度のダイナミックレンジが広いビデオ上に適切な明るさのグラフィックスを表示させることができるようにする再生装置、再生方法、および記録媒体に関する。 本技術の一側面の再生装置が再生する記録媒体には、第1の輝度範囲より広い第2の輝度範囲のビデオである拡張ビデオの符号化データ、拡張ビデオの輝度の特性を示す輝度特性情報、および、拡張ビデオに重畳される、第1の輝度範囲のグラフィックスのデータが記録される。再生装置は、グラフィックスの第1の画素値を、グラフィックスの輝度の特性上で第1の画素値が示す輝度と同じ輝度を示す、輝度特性情報により表される拡張ビデオの輝度の特性上における第2の画素値に変換し、符号化データを復号して得られた拡張ビデオと、第2の画素値のグラフィックスを合成する。本技術は、コンテンツを再生するプレーヤに適用することができる。

Description

再生装置、再生方法、および記録媒体
 本技術は、再生装置、再生方法、および記録媒体に関し、特に、輝度のダイナミックレンジが広いビデオ上に適切な明るさのグラフィックスを表示させることができるようにした再生装置、再生方法、および記録媒体に関する。
 映画などのコンテンツの記録メディアとしてBlu-ray(登録商標) Disc(以下、適宜、BDという)がある。従来、BDに収録するビデオのオーサリングは、標準の輝度(100nit=100cd/m2)のモニタで視聴することを前提に、マスターのビデオのダイナミックレンジを圧縮して行われている。
 マスターとなるビデオは、高品質なカメラで撮影されたものであり、標準の輝度のモニタで表示可能なダイナミックレンジ以上のダイナミックレンジを有している。圧縮されることにより、マスターのビデオのダイナミックレンジは当然損なわれることになる。
特開2009-58692号公報 特開2009-89209号公報
 有機EL(Electroluminescence)ディスプレイやLCD(Liquid Crystal Display)等のディスプレイ技術の進歩により、500nitや1000nitといったような、標準よりも明るいモニタが市販されている。このような広いダイナミックレンジを有するモニタの性能を活かすようなコンテンツに対する要求がある。
 BDにおいては字幕などのグラフィックスをビデオに重ねて表示させることが可能とされているが、ダイナミックレンジの広いビデオに対して、同様にダイナミックレンジの広いグラフィックスを重ねた場合、グラフィックスが見づらくなる可能性がある。
 本技術はこのような状況に鑑みてなされたものであり、輝度のダイナミックレンジが広いビデオ上に適切な明るさのグラフィックスを表示させることができるようにするものである。
 本技術の一側面の再生装置は、第1の輝度範囲より広い第2の輝度範囲のビデオである拡張ビデオの符号化データ、前記拡張ビデオの輝度の特性を示す輝度特性情報、および、前記拡張ビデオに重畳される、前記第1の輝度範囲のグラフィックスのデータを記録した記録媒体から、前記符号化データ、前記輝度特性情報、および前記グラフィックスのデータを読み出す読み出し部と、前記符号化データを復号する第1の復号部と、前記グラフィックスのデータを復号する第2の復号部と、復号して得られた前記グラフィックスの第1の画素値を、前記グラフィックスの輝度の特性上で前記第1の画素値が示す輝度と同じ輝度を示す、前記輝度特性情報により表される前記拡張ビデオの輝度の特性上における第2の画素値に変換する第1の変換部と、前記符号化データを復号して得られた前記拡張ビデオと、前記第2の画素値のグラフィックスを合成する合成部とを備える。
 前記拡張ビデオを表示可能な表示装置に対して、前記グラフィックスを合成した前記拡張ビデオのデータと前記輝度特性情報を出力する出力部をさらに設けることができる。
 前記拡張ビデオを、前記第1の輝度範囲のビデオである標準ビデオに変換する第2の変換部をさらに設けることができる。この場合、前記読み出し部に対しては、前記記録媒体に記録されている、前記拡張ビデオから前記標準ビデオへの輝度変換を行うときに用いられる輝度変換定義情報をさらに読み出させ、前記第2の変換部には、前記記録媒体から読み出された前記輝度変換定義情報に基づいて、前記拡張ビデオを前記標準ビデオに変換させることができる。
 前記合成部には、前記標準ビデオと、前記第1の画素値の前記グラフィックスを合成させることができる。
 前記拡張ビデオを表示することができない表示装置に対して、前記グラフィックスを合成した前記標準ビデオのデータを出力する出力部をさらに設けることができる。
 前記輝度特性情報と前記輝度変換定義情報が、前記符号化データを含むストリームに前記符号化データの補助情報として挿入され、前記記録媒体に記録されるようにすることができる。
 前記符号化データはHEVCの符号化データであり、前記輝度特性情報と前記輝度変換定義情報はHEVCストリームのSEIであるようにすることができる。
 本技術の一側面においては、第1の輝度範囲より広い第2の輝度範囲のビデオである拡張ビデオの符号化データ、前記拡張ビデオの輝度の特性を示す輝度特性情報、および、前記拡張ビデオに重畳される、前記第1の輝度範囲のグラフィックスのデータを記録した記録媒体から、前記符号化データ、前記輝度特性情報、および前記グラフィックスのデータが読み出され、前記符号化データが復号され、前記グラフィックスのデータが復号され、復号して得られた前記グラフィックスの第1の画素値が、前記グラフィックスの輝度の特性上で前記第1の画素値が示す輝度と同じ輝度を示す、前記輝度特性情報により表される前記拡張ビデオの輝度の特性上における第2の画素値に変換され、前記符号化データを復号して得られた前記拡張ビデオと、前記第2の画素値のグラフィックスが合成される。
 本技術の他の側面の再生装置は、第1の輝度範囲より広い第2の輝度範囲のビデオである拡張ビデオの輝度変換を行って得られた、前記第1の輝度範囲のビデオである標準ビデオの符号化データ、前記拡張ビデオの輝度の特性を示す輝度特性情報、前記標準ビデオから前記拡張ビデオへの輝度変換を行うときに用いられる輝度変換定義情報、および、前記拡張ビデオに重畳される、前記第1の輝度範囲のグラフィックスのデータを記録した記録媒体から、前記符号化データ、前記輝度特性情報、前記輝度変換定義情報、および前記グラフィックスのデータを読み出す読み出し部と、前記符号化データを復号する第1の復号部と、前記符号化データを復号して得られた前記標準ビデオを、前記輝度変換定義情報に基づいて前記拡張ビデオに変換する第1の変換部と、前記グラフィックスのデータを復号する第2の復号部と、前記グラフィックスのデータを復号して得られた前記グラフィックスの第1の画素値を、前記グラフィックスの輝度の特性上で前記第1の画素値が示す輝度と同じ輝度を示す、前記輝度特性情報により表される前記拡張ビデオの輝度の特性上における第2の画素値に変換する第2の変換部と、前記標準ビデオを変換して得られた前記拡張ビデオと、前記第2の画素値のグラフィックスを合成する合成部とを備える。
 前記拡張ビデオを表示可能な表示装置に対して、前記グラフィックスを合成した前記拡張ビデオのデータと前記輝度特性情報を出力する出力部をさらに設けることができる。
 前記合成部には、前記符号化データを復号して得られた前記標準ビデオと、前記第1の画素値の前記グラフィックスを合成させることができる。
 前記拡張ビデオを表示することができない表示装置に対して、前記グラフィックスを合成した前記標準ビデオのデータを出力する出力部をさらに設けることができる。
 前記輝度特性情報と前記輝度変換定義情報を、前記符号化データを含むストリームに前記符号化データの補助情報として挿入し、前記記録媒体に記録することができる。
 前記符号化データはHEVCの符号化データであり、前記輝度特性情報と前記輝度変換定義情報はHEVCストリームのSEIであるようにすることができる。
 本技術の他の側面においては、第1の輝度範囲より広い第2の輝度範囲のビデオである拡張ビデオの輝度変換を行って得られた、前記第1の輝度範囲のビデオである標準ビデオの符号化データ、前記拡張ビデオの輝度の特性を示す輝度特性情報、前記標準ビデオから前記拡張ビデオへの輝度変換を行うときに用いられる輝度変換定義情報、および、前記拡張ビデオに重畳される、前記第1の輝度範囲のグラフィックスのデータを記録した記録媒体から、前記符号化データ、前記輝度特性情報、前記輝度変換定義情報、および前記グラフィックスのデータが読み出される。また、前記符号化データが復号され、前記符号化データを復号して得られた前記標準ビデオが、前記輝度変換定義情報に基づいて前記拡張ビデオに変換される。さらに、前記グラフィックスのデータが復号され、前記グラフィックスのデータを復号して得られた前記グラフィックスの第1の画素値が、前記グラフィックスの輝度の特性上で前記第1の画素値が示す輝度と同じ輝度を示す、前記輝度特性情報により表される前記拡張ビデオの輝度の特性上における第2の画素値に変換され、前記標準ビデオを変換して得られた前記拡張ビデオと、前記第2の画素値のグラフィックスが合成される。
 本技術によれば、輝度のダイナミックレンジが広いビデオ上に適切な明るさのグラフィックスを表示させることができる。
本技術の一実施形態に係る記録・再生システムの構成例を示す図である。 mode-iにおけるビデオの信号処理の例を示す図である。 mode-iにおいて処理されるビデオの信号の流れを示す図である。 mode-iiにおけるビデオの信号処理の例を示す図である。 mode-iiにおいて処理されるビデオの信号の流れを示す図である。 HEVCのアクセスユニットの構成を示す図である。 Tone mapping informationのシンタクスを示す図である。 tone mapping定義情報とHDR情報として用いられる情報の例を示す図である。 tone_map_model_id=0のTone mapping informationにより示されるトーンカーブの例を示す図である。 tone_map_model_id=2のTone mapping informationにより示される階段関数の例を示す図である。 tone_map_model_id=3のTone mapping informationにより示される折れ線関数の例を示す図である。 HDR情報に含まれる各情報の例を示す図である。 BDグラフィックスのガンマ関数の例を示す図である。 ビデオのガンマ関数の例を示す図である。 画素値の割り付けの概念を示す図である。 HDR合成用グラフィックスの生成処理の例を示す図である。 割り付け用関数の例を示す図である。 合成処理の例を示す図である。 STDビデオとBDグラフィックスの合成処理の例を示す図である。 BD-ROMフォーマットにおけるAVストリームの管理構造の例を示す図である。 Main PathとSub Pathの構造を示す図である。 ファイルの管理構造の例を示す図である。 PlayListファイルのシンタクスを示す図である。 Clip Informationファイルのシンタクスを示す図である。 図24のProgramInfo()のシンタクスを示す図である。 図25のStreamCodingInfoのシンタクスを示す図である。 記録装置の構成例を示すブロック図である。 PGストリームとIGストリームの構成例を示す図である。 図27のビデオ符号化処理部の構成例を示すブロック図である。 HDR-STD変換部による信号処理の例を示す図である。 tone mappingの例を示す図である。 再生装置の構成例を示すブロック図である。 プレーン合成の例を示す図である。 図32のビデオ復号処理部の構成例を示すブロック図である。 図32のグラフィックス処理部の構成例を示すブロック図である。 表示装置の構成例を示すブロック図である。 記録装置の記録処理について説明するフローチャートである。 図37のステップS2において行われるmode-iでの符号化処理について説明するフローチャートである。 図37のステップS3において行われるmode-iiでの符号化処理について説明するフローチャートである。 図37のステップS4において行われるData Base情報生成処理について説明するフローチャートである。 再生装置の再生処理について説明するフローチャートである。 図41のステップS45において行われるmode-iでの復号処理について説明するフローチャートである。 図41のステップS46において行われるmode-iiでの復号処理について説明するフローチャートである。 図42のステップS65、または図43のステップS86において行われるHDR合成用グラフィックス生成処理について説明するフローチャートである。 表示装置の表示処理について説明するフローチャートである。 BD-Jオブジェクトに基づいて表示される画面の例を示す図である。 BD-Jグラフィックスに基づくHDR合成用グラフィックスの生成処理の例を示す図である。 合成処理の例を示す図である。 STDビデオとBD-Jグラフィックスの合成処理の例を示す図である。 記録装置の他の構成例を示すブロック図である。 再生装置の他の構成例を示すブロック図である。 グラフィックス処理部の他の構成例を示すブロック図である。 CLUTの加工を行ってHDR合成用グラフィックスを生成する処理の例を示す図である。 CLUTの加工を行うグラフィックス処理部の構成を示すブロック図である。 図42のステップS65、または図43のステップS86において行われる他のHDR合成用グラフィックス生成処理について説明するフローチャートである。 画素値の割り付けの概念を示す図である。 コンピュータの構成例を示すブロック図である。
 以下、本技術を実施するための形態について説明する。説明は以下の順序で行う。
 1.記録・再生システムについて
 2.HEVCについて
 3.BDグラフィックスの合成について
 4.BDフォーマットについて
 5.各装置の構成について
 6.各装置の動作について
 7.BD-Jグラフィックスの合成について
 8.変形例
<1.記録・再生システムについて>
 図1は、本技術の一実施形態に係る記録・再生システムの構成例を示す図である。
 図1の記録・再生システムは、記録装置1、再生装置2、および表示装置3から構成される。再生装置2と表示装置3はHDMI(登録商標)(High Definition Multimedia Interface)ケーブル4を介して接続される。再生装置2と表示装置3が他の規格のケーブルを介して接続されるようにしてもよいし、無線による通信を介して接続されるようにしてもよい。
 記録装置1はコンテンツを記録し、再生装置2はコンテンツを再生する。記録装置1から再生装置2に対するコンテンツの提供は光ディスク11を用いて行われる。光ディスク11は、例えばBD-ROM(Blu-ray(登録商標) Disc Read-Only)フォーマットでコンテンツが記録されたディスクである。
 光ディスク11に対するコンテンツの記録がBD-R,-REなどの他のフォーマットで行われるようにしてもよい。また、記録装置1から再生装置2に対するコンテンツの提供が、フラッシュメモリを搭載したメモリカードなどの、光ディスク以外のリムーバブルメディアを用いて行われるようにしてもよい。
 光ディスク11がBD-ROMのディスクである場合、記録装置1は例えばコンテンツのオーサーが使う装置となる。以下、適宜、記録装置1によってコンテンツが記録された光ディスク11が再生装置2に提供されるものとして説明するが、実際には、記録装置1によりコンテンツが記録されたマスター盤に基づいて光ディスクが複製され、その一つである光ディスク11が再生装置2に提供される。
 記録装置1に対しては、標準の輝度のモニタで表示可能なダイナミックレンジ(輝度範囲)以上のダイナミックレンジを有するビデオであるHDR(High Dynamic Range)ビデオが入力される。標準の輝度は例えば100cd/m2(=100nit)である。
 記録装置1は、入力されたマスターのHDRビデオをHDRビデオのまま、すなわち標準の輝度を有するモニタで表示可能なダイナミックレンジ以上のダイナミックレンジを有するビデオのまま、光ディスク11に記録する。この場合、光ディスク11には、マスターのHDRビデオの輝度の特性を示す情報と、HDRビデオをSTDビデオに変換するときに用いられる情報も記録される。
 STDビデオ(standardビデオ)は、標準の輝度を有するモニタで表示可能なダイナミックレンジのビデオである。STDビデオのダイナミックレンジを0-100%とすると、HDRビデオのダイナミックレンジは0-500%、0-1000%といったような、0%から101%以上の範囲として表される。
 また、記録装置1は、入力されたマスターのHDRビデオをSTDビデオに変換して、すなわち標準の輝度を有するモニタで表示可能なダイナミックレンジを有するビデオに変換して、光ディスク11に記録する。この場合、光ディスク11には、マスターのHDRビデオの輝度の特性を示す情報と、STDビデオをHDRビデオに変換するときに用いられる情報も記録される。
 記録装置1が記録するHDRビデオ、またはHDRビデオを変換して得られたSTDビデオは、例えば、横×縦の解像度が4096×2160、3840×2160画素などのいわゆる4K解像度のビデオである。記録装置1によるビデオデータの符号化には例えばHEVC(High Efficiency Video Coding)が用いられる。
 マスターのHDRビデオの輝度の特性を示す情報と、HDRビデオをSTDビデオに、またはSTDビデオをHDRビデオに変換するときに用いられる情報は、SEI(Supplemental Enhancement Information)としてHEVCの符号化データに挿入される。HEVCの符号化データにSEIを挿入したHEVCストリームが、BDフォーマットで光ディスク11に記録される。
 光ディスク11には、HDRビデオ、またはSTDビデオに重畳されるグラフィックスのデータも記録装置1により記録される。BDのグラフィックスには、PG(Presentation Graphic)ストリーム、IG(Interactive Graphic)ストリーム、テキストサブタイトル(TextST)ストリームを用いたグラフィックスと、BD-Jグラフィックスがある。
 PGストリームは、ビデオストリームと同期して再生されるビットマップの字幕データのストリームである。IGストリームは、ビデオストリームと同期して再生されるメニューボタンなどの画像データのストリームである。TextSTストリームは、ビデオストリームと同期して再生される字幕のテキストデータのストリームである。
 BD-Jグラフィックスは、BD-Jモード時にJava(登録商標)のアプリケーションによって表示されるグラフィックスである。BD-ROM playerとしての再生装置2の再生モードには、HDMV(High Definition Movie)モードとBD-Jモードがある。
 以下、適宜、PG、IG、TextSTをそれぞれ区別する必要がない場合、まとめてBDグラフィックスという。BDグラフィックスには、PG、IG、TextSTストリームによるグラフィックスの少なくともいずれかが含まれる。
 後述するように、光ディスク11に記録されるBDグラフィックス、BD-Jグラフィックスは、標準の輝度を有するモニタで表示可能なダイナミックレンジのグラフィックスである。
 再生装置2は、HDMIケーブル4を介して表示装置3と通信を行い、表示装置3の表示性能に関する情報を取得する。再生装置2は、表示装置3がHDRビデオの表示が可能なモニタであるHDRモニタを有する装置であるのか、STDビデオの表示しかできないモニタであるSTDモニタを有する装置であるのかを特定する。
 また、再生装置2は、ドライブを駆動し、光ディスク11に記録されたHEVCストリームを読み出して復号する。
 例えば、再生装置2は、復号して得られたビデオデータがHDRビデオのデータであり、表示装置3がHDRモニタを有する場合、HEVCストリームを復号して得られたHDRビデオのデータを表示装置3に出力する。この場合、再生装置2は、HDRビデオのデータとともに、マスターのHDRビデオの輝度の特性を示す情報を表示装置3に出力する。
 一方、再生装置2は、復号して得られたビデオデータがHDRビデオのデータであり、表示装置3がSTDモニタを有する場合、HEVCストリームを復号して得られたHDRビデオをSTDビデオに変換し、STDビデオのデータを出力する。HDRビデオのSTDビデオへの変換は、光ディスク11に記録されている、HDRビデオをSTDビデオに変換するときに用いられる情報を用いて行われる。
 再生装置2は、復号して得られたビデオデータがSTDビデオのデータであり、表示装置3がHDRモニタを有する場合、HEVCストリームを復号して得られたSTDビデオをHDRビデオに変換し、HDRビデオのデータを表示装置3に出力する。STDビデオのHDRビデオへの変換は、光ディスク11に記録されている、STDビデオをHDRビデオに変換するときに用いられる情報を用いて行われる。この場合、再生装置2は、HDRビデオとともに、マスターのHDRビデオの輝度の特性を示す情報を表示装置3に出力する。
 一方、再生装置2は、復号して得られたビデオデータがSTDビデオのデータであり、表示装置3がSTDモニタを有する場合、HEVCストリームを復号して得られたSTDビデオのデータを表示装置3に出力する。
 再生装置2が出力するHDRビデオ、またはSTDビデオには、適宜、グラフィックスが合成されている。HDRビデオに合成されるグラフィックスとSTDビデオに合成されるグラフィックスは、いずれも標準のダイナミックレンジのグラフィックスである。
 表示装置3は、再生装置2から送信されたビデオデータを受信し、コンテンツの映像をモニタに表示する。再生装置2からはコンテンツのオーディオデータも送信されてくる。表示装置3は、再生装置2から送信されてきたオーディオデータに基づいて、コンテンツの音声をスピーカから出力させる。
 例えば、表示装置3は、マスターのHDRビデオの輝度の特性を示す情報(画素値と輝度の関係を示す情報)がビデオデータとともに送信されてきた場合、再生装置2から送信されてきたビデオデータがHDRビデオのデータであるとして認識する。上述したように、HDRモニタを有する表示装置3に対しては、HDRビデオのデータとともに、マスターのHDRビデオの輝度の特性を示す情報が送信されてくる。
 この場合、表示装置3は、HDRビデオの映像を、マスターのHDRビデオの輝度の特性を示す情報により指定される特性に従って表示する。すなわち、表示装置3は、自身が有するモニタが0-500%のダイナミックレンジを有するモニタであり、マスターのHDRビデオの輝度の特性を示す情報により、HDRビデオのダイナミックレンジが0-500%の所定の特性であると指定された場合、その所定の特性に従って、0-500%の範囲で輝度を調整して映像を表示する。
 マスターのHDRビデオの輝度の特性を指定することができるようにすることにより、コンテンツのオーサー(Author)は、意図したとおりの輝度で映像を表示させることが可能になる。
 通常、TVなどの表示装置は、外部から入力されたビデオを0-100%のダイナミックレンジを有するビデオとして認識する。また、表示装置は、自身のモニタがそれより広いダイナミックレンジを有する場合には、モニタの特性に応じて輝度を自ら拡張して映像を表示させてしまう。輝度の特性を指定し、指定した特性に従ってHDRビデオの輝度を調整させることにより、オーサーの意図しない輝度調整が表示装置側で行われるのを防ぐことが可能になる。
 また、通常、TVなどの表示装置にビデオを出力する再生装置は、伝送路の特性に応じて輝度を変換してからビデオを出力する。そのビデオを受信した表示装置は、受信したビデオの輝度をモニタの特性に応じて変換し、映像を表示させることになる。再生装置2において輝度の変換を行わずに、再生装置2からHDRビデオのまま表示装置3に出力させることにより、輝度変換の回数を減らすことができ、マスターにより近い輝度の映像を表示装置3に表示させることが可能になる。
 一方、表示装置3は、再生装置2から送信されたビデオデータがSTDビデオのデータである場合、STDビデオの映像を表示する。再生装置2からSTDビデオが送信されてくるということは、表示装置3はSTDモニタを有する装置である。
 以下、適宜、マスターのHDRビデオをHDRビデオのまま光ディスク11に記録するモードをmode-iという。mode-iの場合、光ディスク11には、マスターのHDRビデオの輝度の特性を示す情報と、HDRビデオをSTDビデオに変換するときに用いられる情報が記録される。
 また、マスターのHDRビデオをSTDビデオに変換して光ディスク11に記録するモードをmode-iiという。mode-iiの場合、光ディスク11には、マスターのHDRビデオの輝度の特性を示す情報と、STDビデオをHDRビデオに変換するときに用いられる情報が記録される。
[mode-iにおける信号処理]
 はじめに、ビデオの処理について説明する。
 図2は、mode-iにおけるビデオの信号処理の例を示す図である。
 実線L1で囲んで示す左側の処理が記録装置1において行われる符号化処理を示し、実線L2で囲んで示す右側の処理が再生装置2において行われる復号処理を示す。
 マスターのHDRビデオが入力された場合、記録装置1は、マスターのHDRビデオの輝度を検出し、矢印#1の先に示すように、マスターのHDRビデオの輝度の特性を示す情報であるHDR情報を生成する。また、記録装置1は、矢印#2の先に示すように、マスターのHDRビデオをHEVCで符号化する。
 記録装置1は、矢印#3の先に示すように、マスターのHDRビデオをSTDビデオに変換する。変換して得られたSTDビデオの映像は図示せぬモニタに表示される。HDRビデオのSTDビデオへの変換は、適宜、変換後のSTDビデオの映像をオーサーが目で確認し、変換パラメータを調整しながら行われる。
 オーサーによる調整に基づいて、記録装置1は、矢印#4の先に示すように、HDRビデオをSTDビデオに変換するときに用いられる情報であるHDR-STD変換用のtone mapping定義情報を生成する。
 tone mapping定義情報は、標準のダイナミックレンジより広い0-400%などのダイナミックレンジの明るさを示す各画素値と、標準のダイナミックレンジである0-100%のダイナミックレンジの明るさを示す各画素値の対応関係を定義する情報である。
 記録装置1は、矢印#5の先に示すように、HDR情報とtone mapping定義情報をSEIとしてHEVCの符号化データに挿入し、HEVCストリームを生成する。記録装置1は、生成したHEVCストリームをBDフォーマットで光ディスク11に記録し、矢印#11に示すように再生装置2に提供する。
 このように、マスターのHDRビデオの輝度の特性を示す情報とHDRビデオをSTDビデオに変換するときに用いられる情報は、HEVCのSEIを用いて、ストリーム中に挿入する形で再生装置2に提供される。
 再生装置2は、光ディスク11からHEVCストリームを読み出し、矢印#21,#22の先に示すように、HEVCストリームのSEIからHDR情報とtone mapping定義情報を抽出する。
 また、再生装置2は、矢印#23の先に示すように、HEVCの符号化データを復号する。再生装置2は、表示装置3がHDRモニタを有する場合、矢印#24の先に示すように、符号化データを復号して得られたHDRビデオのデータにHDR情報を付加し、矢印#25の先に示すように表示装置3に出力する。
 一方、再生装置2は、表示装置3がSTDモニタを有する場合、矢印#26の先に示すように、HEVCストリームから抽出されたHDR-STD変換用のtone mapping定義情報を用いて、符号化データを復号して得られたHDRビデオをSTDビデオに変換する。再生装置2は、矢印#27の先に示すように、変換して得られたSTDビデオのデータを表示装置3に出力する。
 このように、HEVCの符号化データを復号して得られたHDRビデオのデータは、HDR情報とともに、HDRモニタを有する表示装置3に出力される。また、HEVCの符号化データを復号して得られたHDRビデオのデータは、STDビデオに変換された後、STDモニタを有する表示装置3に出力される。
 図3は、マスターのHDRビデオが記録装置1に入力されてから、再生装置2からビデオデータが出力されるまでの処理の流れを示す図である。
 マスターのHDRビデオは、白抜き矢印#51の先に示すように、マスターのHDRビデオに基づいて記録装置1において生成されたHDR情報とHDR-STD変換用のtone mapping定義情報とともに再生装置2に提供される。HDR情報には例えばダイナミックレンジが0-400%の範囲に拡張されていることを表す情報が含まれる。
 表示装置3がHDRモニタを有する場合、再生装置2においては、矢印#52,#53の先に示すように、HEVCの符号化データを復号して得られたHDRビデオのデータにHDR情報が付加される。また、HDR情報が付加されたHDRビデオのデータが矢印#54の先に示すように表示装置3に出力される。
 一方、表示装置3がSTDモニタを有する場合、再生装置2においては、矢印#55,#56の先に示すように、HEVCの符号化データを復号して得られたHDRビデオがHDR-STD変換用のtone mapping定義情報を用いてSTDビデオに変換される。また、変換して得られたSTDビデオのデータが矢印#57の先に示すように表示装置3に出力される。図3において、HDRビデオを示す波形の振幅とSTDビデオを示す波形の振幅はそれぞれダイナミックレンジを示す。
 このように、mode-iにおいては、マスターのHDRビデオがHDRビデオのまま光ディスク11に記録される。また、出力先となる表示装置3の性能に応じて、符号化データを復号して得られたHDRビデオをそのままHDR情報を付加して出力するのか、HDRビデオをSTDビデオに変換して出力するのかが切り替えられる。
[mode-iiにおける信号処理]
 図4は、mode-iiにおけるビデオの信号処理の例を示す図である。
 マスターのHDRビデオが入力された場合、記録装置1は、マスターのHDRビデオの輝度を検出し、矢印#71の先に示すようにHDR情報を生成する。
 記録装置1は、矢印#72の先に示すように、マスターのHDRビデオをSTDビデオに変換する。変換して得られたSTDビデオの映像は図示せぬモニタに表示される。
 オーサーによる調整に基づいて、記録装置1は、矢印#73の先に示すように、STDビデオをHDRビデオに変換するときに用いられる情報であるSTD-HDR変換用のtone mapping定義情報を生成する。
 また、記録装置1は、矢印#74の先に示すように、マスターのHDRビデオを変換して得られたSTDビデオをHEVCで符号化する。
 記録装置1は、矢印#75の先に示すように、HDR情報とtone mapping定義情報をSEIとしてHEVCの符号化データに挿入し、HEVCストリームを生成する。記録装置1は、生成したHEVCストリームをBDフォーマットで光ディスク11に記録し、矢印#91に示すように再生装置2に提供する。
 再生装置2は、光ディスク11からHEVCストリームを読み出し、矢印#101,#102の先に示すように、HEVCストリームのSEIからHDR情報とtone mapping定義情報を抽出する。
 また、再生装置2は、矢印#103の先に示すように、HEVCの符号化データを復号する。再生装置2は、表示装置3がSTDモニタを有する場合、矢印#104の先に示すように、符号化データを復号して得られたSTDビデオのデータを表示装置3に出力する。
 一方、再生装置2は、表示装置3がHDRモニタを有する場合、矢印#105の先に示すように、HEVCストリームから抽出されたSTD-HDR変換用のtone mapping定義情報を用いて、符号化データを復号して得られたSTDビデオをHDRビデオに変換する。再生装置2は、矢印#106の先に示すように、変換して得られたHDRビデオのデータにHDR情報を付加し、矢印#107の先に示すように表示装置3に出力する。
 このように、HEVCの符号化データを復号して得られたSTDビデオのデータは、HDRビデオに変換された後、HDR情報とともに、HDRモニタを有する表示装置3に出力される。また、HEVCの符号化データを復号して得られたSTDビデオのデータは、STDモニタを有する表示装置3にそのまま出力される。
 図5は、マスターのHDRビデオが記録装置1に入力されてから、再生装置2からビデオデータが出力されるまでの処理の流れを示す図である。
 マスターのHDRビデオは、白抜き矢印#121の先に示すように、STDビデオに変換された後、マスターのHDRビデオに基づいて記録装置1において生成されたHDR情報とSTD-HDR変換用のtone mapping定義情報とともに再生装置2に提供される。
 表示装置3がHDRモニタを有する場合、再生装置2においては、矢印#122,#123の先に示すように、HEVCの符号化データを復号して得られたSTDビデオがSTD-HDR変換用のtone mapping定義情報を用いてHDRビデオに変換される。また、矢印#124,#125の先に示すように、STDビデオを変換して得られたHDRビデオのデータにHDR情報が付加され、矢印#126の先に示すように表示装置3に出力される。
 一方、表示装置3がSTDモニタを有する場合、再生装置2においては、矢印#127の先に示すように、HEVCの符号化データを復号して得られたSTDビデオが表示装置3に出力される。
 このように、mode-iiにおいては、マスターのHDRビデオがSTDビデオに変換されて光ディスク11に記録される。また、出力先となる表示装置3の性能に応じて、符号化データを復号して得られたSTDビデオがHDRビデオに変換され、HDR情報を付加して出力するのか、STDビデオをそのまま出力するのかが切り替えられる。
 以上のような記録装置1と再生装置2の構成と動作の詳細については後述する。
<2.HEVCについて>
 ここで、HEVCについて説明する。
 図6は、HEVCのアクセスユニットの構成を示す図である。
 HEVCストリームは、NAL(Network Abstraction Layer)ユニットの集まりであるアクセスユニットから構成される。1つのアクセスユニットには1ピクチャのビデオデータが含まれる。
 図6に示すように、1つのアクセスユニットは、AUデリミタ(Access Unit delimiter)、VPS(Video Parameter Set)、SPS(Sequence Parameter Set)、PPS(Picture Parameter Set)、SEI、VCL(Video Coding Layer)、EOS(End of Sequence)、およびEOS(End of Stream)から構成される。
 AUデリミタは、アクセスユニットの先頭を示す。VPSは、ビットストリームの内容を表すメタデータを含む。SPSは、ピクチャサイズ、CTB(Coding Tree Block)サイズなどの、HEVCデコーダがシーケンスの復号処理を通じて参照する必要のある情報を含む。PPSは、HEVCデコーダがピクチャの復号処理を実行するために参照する必要のある情報を含む。VPS,SPS,PPSがヘッダ情報として用いられる。
 SEIは、各ピクチャのタイミング情報やランダムアクセスに関する情報などを含む補助情報である。HDR情報とtone mapping定義情報は、SEIの一つであるTone mapping informationに含まれる。VCLは1ピクチャのデータである。EOS(End of Sequence)はシーケンスの終了位置を示し、EOS(End of Stream)はストリームの終了位置を示す。
 図7は、Tone mapping informationのシンタクスを示す図である。
 Tone mapping informationを用いて、デコードして得られたピクチャの明るさや色が、ピクチャの出力先となるモニタの性能に合わせて変換される。なお、図7の左側の行番号とコロン(:)は説明の便宜上示すものであり、Tone mapping informationに含まれる情報ではない。Tone mapping informationに含まれる主な情報について説明する。
 2行目のtone_map_idは、Tone mapping informationの識別情報である。tone_map_idにより、Tone mapping informationの目的が識別される。
 例えば、mode-i用のIDとmode-ii用のIDが確保される。記録モードがmode-iである場合、HDRビデオの符号化データのSEIに挿入されるTone mapping informationのtone_map_idにはmode-i用のIDが設定される。また、記録モードがmode-iiである場合、STDビデオの符号化データのSEIに挿入されるTone mapping informationのtone_map_idにはmode-ii用のIDが設定される。光ディスク11のtone_map_idには、mode-i用のIDとmode-ii用のIDのうちのいずれかのIDが設定される。
 8行目のtone_map_model_idは、符号化データ(coded data)の変換に用いるtone mapのモデルを表す。
 記録装置1においては、tone_map_model_idとして0,2,3のうちのいずれかの値が設定された1つのTone mapping informationと、tone_map_model_idとして4の値が設定された1つのTone mapping informationが生成される。
 図8に示すように、tone_map_model_idとして0,2,3のうちのいずれかの値が設定されたTone mapping informationが、HDR-STD変換用またはSTD-HDR変換用のtone mapping定義情報として用いられる。また、tone_map_model_idとして4の値が設定されたTone mapping informationに含まれる情報が、HDR情報として用いられる。
 図7の9~11行目がtone_map_model_id=0に関する記述である。tone_map_model_id=0である場合、min_valueとmax_valueが記述される。
 図9は、tone_map_model_id=0のTone mapping informationにより示されるトーンカーブの例を示す図である。
 図9の横軸がcoded_data(変換前のRGB値)を示し、縦軸がtarget_data(変換後のRGB値)を示す。図9のトーンカーブを用いた場合、符号化データD1以下のRGB値は、白抜き矢印#151で示すようにmin_valueにより示されるRGB値に変換される。また、符号化データD2以上のRGB値は、白抜き矢印#152で示すようにmax_valueにより示されるRGB値に変換される。
 tone_map_model_id=0のTone mapping informationは、HDR-STD変換用のtone mapping定義情報として用いられる。tone_map_model_id=0のTone mapping informationを用いた場合、max_value以上とmin_value以下の輝度(RGB値により表される輝度)が失われることになるが、変換処理の負荷は軽くなる。
 図7の15~17行目がtone_map_model_id=2に関する記述である。tone_map_model_id=2である場合、階段関数を表す、max_target_dataの数と同じ数のstart_of_coded_interval[i]が記述される。
 図10は、tone_map_model_id=2のTone mapping informationにより示される階段関数の例を示す図である。
 図10の階段関数を用いた場合、例えばcoded_data=5はtarget_data=3に変換される。start_of_coded_interval[i]が{1,3,4,5,5,5,7,7,・・・}であるとすると、coded_data-target_data変換テーブルは{0,1,1,2,3,5,5,・・・}として表される。
 tone_map_model_id=2のTone mapping informationは、STD-HDR変換用またはHDR-STD変換用のtone mapping定義情報として用いられる。tone_map_model_id=2のTone mapping informationは、データ量が多いことから、その作成時に変換テーブルへの畳み込みを行う必要があるが、変換処理の負荷は軽い。
 図7の18~23行目がtone_map_model_id=3に関する記述である。tone_map_model_id=3である場合、折れ線関数を表す、num_pivotsにより指定される数のcoded_pivot_value[i]とtarget_pivot_value[i]が記述される。
 図11は、tone_map_model_id=3のTone mapping informationにより示される折れ線関数の例を示す図である。
 図11の折れ線関数を用いた場合、例えばcoded_data=D11はtarget_data=D11’に変換され、coded_data=D12はtarget_data=D12’に変換される。tone_map_model_id=3のTone mapping informationは、STD-HDR変換用またはHDR-STD変換用のtone mapping定義情報として用いられる。
 このように、tone_map_model_idとして0,2,3のいずれかの値が設定されたTone mapping informationが、STD-HDR変換用またはHDR-STD変換用のtone mapping定義情報として用いられ、記録装置1から再生装置2に伝送される。
 図7の24~39行目がtone_map_model_id=4に関する記述である。tone_map_model_id=4に関する情報のうち、ref_screen_luminance_white、extended_range_white_level、nominal_black_level_code_value、nominal_white_level_code_value、およびextended_white_level_code_valueが、HDR情報を構成するパラメータとなる。
 図12は、HDR情報に含まれる各情報の例を示す図である。
 図12の横軸は、RGBの各画素値を示す。ビット長が10bitである場合、各画素値は0-1023の値となる。図12の縦軸は明るさ(輝度)を示す。関数F1が、標準の輝度のモニタにおける画素値と明るさの関係を示すガンマ関数となる。標準の輝度のモニタのダイナミックレンジは0-100%である。
 ref_screen_luminance_whiteは、標準となるモニタの明るさ(cd/m2)を示す。extended_range_white_levelは、拡張後のダイナミックレンジの明るさの最大値を示す。図12の例の場合、extended_range_white_levelの値として400が設定される。
 nominal_black_level_code_valueは、黒(明るさ0%)の画素値を示し、nominal_white_level_code_valueは、標準の輝度のモニタにおける白(明るさ100%)の画素値を示す。extended_white_level_code_valueは、拡張後のダイナミックレンジにおける白の画素値を示す。
 図12の例の場合、白抜き矢印#161で示すように、0-100%のダイナミックレンジは、extended_range_white_levelの値に従って、0-400%のダイナミックレンジに拡張される。また、400%の明るさに相当する画素値が、extended_white_level_code_valueにより指定される。
 HDRビデオの輝度の特性は、nominal_black_level_code_value、nominal_white_level_code_value、extended_white_level_code_valueの値がそれぞれ明るさ0%、100%、400%を示す特性となる。このHDRビデオの輝度の特性が、HDRビデオのガンマ関数である関数F2により表される。
 このように、tone_map_model_idとして4の値が設定されたTone mapping informationにより、マスターのHDRビデオの輝度の特性が示され、記録装置1から再生装置2に伝送される。
<3.BDグラフィックスの合成について>
 上述したように、光ディスク11には、標準のダイナミックレンジのグラフィックスのデータが記録されている。再生装置2は、HEVCストリームをデコードして得られたHDRビデオまたはSTDビデオにPG,IGなどのグラフィックスを合成し、表示装置3に出力する。
[HDRビデオとBDグラフィックスの合成]
 はじめに、HDRビデオとBDグラフィックスの合成について説明する。
 図13は、BDグラフィックスのガンマ関数の例を示す図である。
 図13の横軸はRGBの各画素値を示す。各画素値は8bitで表され、0-255の値をとる。図13の縦軸は明るさを示す。BDグラフィックスのダイナミックレンジは0-100%である。
 関数F11は、光ディスク11に記録されているデータに基づいて取得されるBDグラフィックスのガンマ関数である。このように、BDグラフィックスに対してはガンマ変換が施されている。例えば、2K-HDのビデオをBDに記録する場合にビデオに施されるガンマ変換と同じ、ITU-709で規定されるガンマ変換がBDグラフィックスに対して施されている。
 図14は、ビデオのガンマ関数の例を示す図である。
 図14の横軸はRGBの各画素値を示す。各画素値は10bitで表され、0-1023の値をとる。図14の縦軸は明るさを示す。図14の例においては、HDRビデオのダイナミックレンジは、図12に示すダイナミックレンジと同じ0-400%とされている。STDビデオのダイナミックレンジは0-100%である。関数F1はSTDビデオのガンマ関数であり、関数F2はHDRビデオのガンマ関数である。
 再生装置2は、HEVCストリームをデコードして得られたHDRビデオとBDグラフィックスを合成するとき、HDR情報に基づいて、関数F2により表されるHDRビデオの画素値と輝度の特性を特定する。
 また、再生装置2は、矢印#171の先に示すように、0-255の範囲の値であるBDグラフィックスのRGBの各画素値を、HDRビデオのガンマ関数系における、明るさが0-100%の範囲内の画素値に割り付ける。図14の例においては、割り付け前のオリジナルのBDグラフィックスの8bitの各画素値は、値V1から値V2までの範囲の10bitの画素値に割り付けられる。
 再生装置2は、HDRビデオのガンマ関数系における画素値により表されるスケーリング後のBDグラフィックスを、HDRビデオに合成する。
 図15は、画素値の割り付けの概念を示す図である。
 図15の右側に示すように、オリジナルのBDグラフィックスの画素値である値V11は、値V11が示す輝度と同じ0-100%の範囲内の輝度を示す、HDRビデオのガンマ関数系における画素値である値V12に割り付けられる。
 このように、0-400%のダイナミックレンジを有するHDRビデオに合成する場合であっても、ダイナミックレンジの拡張は行われず、標準のダイナミックレンジのBDグラフィックスがHDRビデオとの合成に用いられる。
 図16は、HDR合成用グラフィックスの生成処理の例を示す図である。HDR合成用グラフィックスは、HDRビデオとの合成に用いられるグラフィックスである。
 再生装置2は、矢印#201の先に示すように、HDR情報に基づいて、割り付け用関数を計算する。割り付け用関数は、図14、図15を参照して説明したような、BDグラフィックスの各画素値の割り付けに用いられる関数である。
 図17は、割り付け用関数の例を示す図である。
 再生装置2は、HDRビデオの各画素値と輝度の関係を示す関数F2をHDR情報に基づいて特定し、矢印#211の先に示すような、明るさを入力、画素値を出力とする、画素値の割り付け用の関数である関数F2’を計算により求める。関数F2’の入力となる明るさは、BDグラフィックスの割り付け前の8bitの画素値が示す輝度であり、出力となる画素値は、HDRビデオのガンマ関数系において同じ輝度を示す10bitの画素値である。
 再生装置2は、図16の矢印#202の先に示すように、例えばPGストリームをデコードして得られたBDグラフィックスに対してCLUT(Color Lookup Table)による変換を施す。CLUT変換後のBDグラフィックスは各8bitのYCrCbの画素値により表される。
 再生装置2は、矢印#203の先に示すように、YCrCbのBDグラフィックスを、各8bitのRGBのBDグラフィックスに変換する。
 BDグラフィックスに対してはガンマ変換が施されているため、再生装置2は、矢印#204の先に示すように、BDグラフィックスに逆ガンマ変換を施す。逆ガンマ変換後のBDグラフィックスは各8bitのR’G’B’値により表される。R’G’B’値と輝度はリニアの関係を有する。
 再生装置2は、矢印#205の先に示すように、逆ガンマ変換後のBDグラフィックスの画素値であるR’G’B’値をそれぞれ割り付け用関数の入力とし、出力としてのR’’G’’B’’をそれぞれ求める(画素値の割り付けを行う)。
 ここで、割り付け用関数の具体例について説明する。
 HDR情報に基づいて特定されるHDRビデオのガンマ関数を、画素値と輝度の関係を下式(1)により表す関数とする。
Figure JPOXMLDOC01-appb-M000001
 式(1)において、Xは、正規化した入力値(画素値)である。Xは0~1の範囲の値をとる。γはガンマ係数であり、例えば2.2である。αは、輝度伸張の係数であり、1~例えば4の値をとる。αは、extended_range_white_levelの値を100で割ることにより求められる。Lは輝度であり、0~αの値をとる。
 この場合、ガンマ関数の逆関数は下式(2)により表される。
Figure JPOXMLDOC01-appb-M000002
 画素値の割り付けの入力となるBDグラフィックスの画素値を8bitの値d、出力となる画素値を10bitの値tとする。BDグラフィックスのガンマ関数(図15)は、式(2)においてα=1の関数であるため、BDグラフィックスの明るさをLgとすると、t,Lgはそれぞれ下式(3)、(4)により表される。
Figure JPOXMLDOC01-appb-M000003
Figure JPOXMLDOC01-appb-M000004
 例えば、γ=2.2, d=128, α=4のとき、Lg≒0.2176、t≒272.6として求められる。すなわち、この場合、再生装置2は、入力となる画素値が128であるときには、272.6の画素値を求めることになる。
 再生装置2は、このような画素値の割り付けを、BDグラフィックスの各画素値であるR’G’B’値のそれぞれを入力として行い、R’’G’’B’’を求める。
 再生装置2は、図16の矢印#206の先に示すように、R’’G’’B’’のBDグラフィックスを、各10bitのY’Cr’Cb’のBDグラフィックスに変換する。変換によって得られたY’Cr’Cb’のBDグラフィックスが、HDR合成用グラフィックスとなる。
 図18は、合成処理の例を示す図である。
 再生装置2は、矢印#221,#222の先に示すように、HDR合成用グラフィックスとHDRビデオを合成し、矢印#223の先に示すように、合成後のHDRビデオをHDR情報とともに表示装置3に出力する。HDR合成用グラフィックスとの合成に用いられるHDRビデオは、図3または図5に示すようにして生成されたHDRビデオである。
 このように、標準のダイナミックレンジのBDグラフィックスをHDRビデオに合成することにより、より見やすいグラフィックスの表示が可能となる。
 仮に、BDグラフィックスのダイナミックレンジをHDRビデオのダイナミックレンジに合わせて例えば0-400%にまで拡張し、HDRビデオに合成した場合、字幕などのグラフィックスがまぶしくて見づらくなることがあるが、そのようなことを防ぐことができる。
 通常、ビデオは映画等の一般画源であるので、高輝度部分の面積が大きい画像となることはまれであるが、グラフィックスでは最大輝度部分の面積が大きい画像を簡単に作成できてしまう。最大輝度部分の面積が大きい画像は見づらい画像となることがあることから、ビデオがHDRビデオであっても、グラフィックスについては0-100%の輝度の範囲内で表示したほうが好ましいと考えられる。
[STDビデオとBDグラフィックスの合成]
 図19は、STDビデオとBDグラフィックスの合成処理の例を示す図である。
 再生装置2は、矢印#231の先に示すように、例えばPGストリームをデコードして得られたBDグラフィックスに対してCLUTによる変換処理を施す。CLUT変換後のBDグラフィックスは各8bitのYCrCb値により表される。各8bitのYCrCbはそれぞれ10bitにシフトされる。
 また、再生装置2は、矢印#232,#233の先に示すように、各10bitのYCrCbのBDグラフィックスとSTDビデオを合成し、矢印#234の先に示すように、合成後のSTDビデオを表示装置3に出力する。BDグラフィックスのダイナミックレンジは0-100%であるから、CLUT変換後のBDグラフィックスがそのままSTDビデオとの合成に用いられる。BDグラフィックとの合成に用いられるSTDビデオは、図3または図5に示すようにして生成されたSTDビデオである。
 このように、BDグラフィックスを合成したSTDビデオは、HDRビデオをSTDビデオに変換した後にBDグラフィックスを合成する形で取得される。これにより、BDグラフィックスの合成を先に行い、BDグラフィックスの合成後のHDRビデオをSTDビデオに変換する場合に較べて、BDグラフィックスの画素値の割り付け等が不要となることから、処理が容易になる。
<4.BDフォーマットについて>
 ここで、BD-ROMフォーマットについて説明する。
[データの管理構造]
 図20は、BD-ROMフォーマットにおけるAVストリームの管理構造の例を示す図である。
 HEVCストリームを含むAVストリームの管理は、PlayListとClipの2つのレイヤを用いて行われる。AVストリームは、光ディスク11だけでなく、再生装置2のローカルストレージに記録されることもある。
 1つのAVストリームと、それに付随する情報であるClip Informationのペアが1つのオブジェクトとして管理される。AVストリームとClip InformationのペアをClipという。
 AVストリームは時間軸上に展開され、各Clipのアクセスポイントは、主に、タイムスタンプでPlayListにおいて指定される。Clip Informationは、AVストリーム中のデコードを開始すべきアドレスを見つけるためなどに使用される。
 PlayListはAVストリームの再生区間の集まりである。AVストリーム中の1つの再生区間はPlayItemと呼ばれる。PlayItemは、時間軸上の再生区間のIN点とOUT点のペアで表される。図20に示すように、PlayListは1つまたは複数のPlayItemにより構成される。
 図20の左から1番目のPlayListは2つのPlayItemから構成され、その2つのPlayItemにより、左側のClipに含まれるAVストリームの前半部分と後半部分がそれぞれ参照される。
 左から2番目のPlayListは1つのPlayItemから構成され、それにより、右側のClipに含まれるAVストリーム全体が参照される。
 左から3番目のPlayListは2つのPlayItemから構成され、その2つのPlayItemにより、左側のClipに含まれるAVストリームのある部分と、右側のClipに含まれるAVストリームのある部分がそれぞれ参照される。
 例えば、左から1番目のPlayListに含まれる左側のPlayItemが再生対象としてディスクナビゲーションプログラムにより指定された場合、そのPlayItemが参照する、左側のClipに含まれるAVストリームの前半部分の再生が行われる。このように、PlayListは、AVストリームの再生を管理するための再生管理情報として用いられる。
 PlayListの中で、1つ以上のPlayItemの並びによって作られる再生パスをメインパス(Main Path)という。また、PlayListの中で、Main Pathに並行して、1つ以上のSubPlayItemの並びによって作られる再生パスをサブパス(Sub Path)という。
 図21は、Main PathとSub Pathの構造を示す図である。
 PlayListは、1つのMain Pathと1つ以上のSub Pathを持つ。図21のPlayListは、3つのPlayItemの並びにより作られる1つのMain Pathと3つのSub Pathを有する。
 Main Pathを構成するPlayItemには、先頭から順番にそれぞれIDが設定される。Sub Pathにも、先頭から順番にSubpath_id=0、Subpath_id=1、およびSubpath_id=2のIDが設定される。
 図21の例においては、Subpath_id=0のSub Pathには1つのSubPlayItemが含まれ、Subpath_id=1のSub Pathには2つのSubPlayItemが含まれる。また、Subpath_id=2のSub Pathには1つのSubPlayItemが含まれる。
 1つのPlayItemが参照するAVストリームには、少なくともビデオストリーム(メイン画像データ)が含まれる。AVストリームには、AVストリームに含まれるビデオストリームと同じタイミングで(同期して)再生されるオーディオストリームが1つ以上含まれてもよいし、含まれなくてもよい。
 AVストリームには、AVストリームに含まれるビデオストリームと同期して再生されるビットマップの字幕データ(PG(Presentation Graphic))のストリームが1つ以上含まれてもよいし、含まれなくてもよい。
 AVストリームには、AVストリームファイルに含まれるビデオストリームと同期して再生されるIG(Interactive Graphic)のストリームが1つ以上含まれてもよいし、含まれなくてもよい。IGのストリームは、ユーザにより操作されるボタンなどのグラフィックを表示させるために用いられる。
 1つのPlayItemが参照するAVストリームには、ビデオストリームと、それと同期して再生されるオーディオストリーム、PGストリームなどのグラフィックスストリームが多重化される。
 また、1つのSubPlayItemは、PlayItemが参照するAVストリームとは異なるストリームの、ビデオストリーム、オーディオストリーム、グラフィックスストリームなどを参照する。
 このように、HEVCストリームを含むAVストリームの再生はPlayListとClip Informationを用いて行われる。AVストリームの再生に関する情報を含むPlayListとClip Informationを、適宜、Data Base情報という。
[ディレクトリ構造]
 図22は、光ディスク11に記録されるファイルの管理構造の例を示す図である。
 光ディスク11に記録される各ファイルはディレクトリ構造により階層的に管理される。光ディスク11上には1つのrootディレクトリが作成される。
 rootディレクトリの下にはBDMVディレクトリが置かれる。
 BDMVディレクトリの下には、「Index.bdmv」の名前が設定されたファイルであるIndexファイルと、「MovieObject.bdmv」の名前が設定されたファイルであるMovie Objectファイルが格納される。
 Indexファイルには、例えば、光ディスク11に記録されているタイトルの番号の一覧と、そのタイトルの番号に対応して実行されるオブジェクトの種類および番号が記述される。オブジェクトの種類としては、ムービーオブジェクト(Movie Object)とBD-Jオブジェクト(BD-J Object)の2種類がある。
 ムービーオブジェクトは、PlayListの再生等に用いられるコマンドであるナビゲーションコマンドが記述されるオブジェクトである。BD-Jオブジェクトは、BD-Jアプリケーションが記述されるオブジェクトである。Movie Objectファイルには、ムービーオブジェクトが記述される。
 BDMVディレクトリの下には、PLAYLISTディレクトリ、CLIPINFディレクトリ、STREAMディレクトリ、BDJOディレクトリが設けられる。
 PLAYLISTディレクトリには、PlayListを記述したPlayListファイルが格納される。各PlayListファイルには、5桁の数字と拡張子「.mpls」を組み合わせた名前が設定される。図22に示す1つのPlayListファイルには「00000.mpls」のファイル名が設定されている。
 CLIPINFディレクトリにはClip Informationファイルが格納される。各Clip Informationファイルには、5桁の数字と拡張子「.clpi」を組み合わせた名前が設定される。図22の3つのClip Informationファイルには、それぞれ、「00001.clpi」、「00002.clpi」、「00003.clpi」のファイル名が設定されている。
 STREAMディレクトリにはストリームファイルが格納される。各ストリームファイルには、5桁の数字と拡張子「.m2ts」を組み合わせた名前が設定される。図22の3つのストリームファイルには、それぞれ、「00001.m2ts」、「00002.m2ts」、「00003.m2ts」のファイル名が設定されている。
 同じ5桁の数字がファイル名に設定されているClip Informationファイルとストリームファイルが1つのClipを構成するファイルとなる。「00001.m2ts」のストリームファイルの再生時には「00001.clpi」のClip Informationファイルが用いられ、「00002.m2ts」のストリームファイルの再生時には「00002.clpi」のClip Informationファイルが用いられる。後述するように、HEVCストリームを含むAVストリームの再生に用いられるClip InformationファイルにはHDRビデオの処理に関する情報が含まれる。
 BDJOディレクトリには、BD-Jオブジェクトが記述されるBD-Jオブジェクトファイルが格納される。各BD-Jオブジェクトファイルには、5桁の数字と拡張子「.bdjo」を組み合わせた名前が設定される。図22の3つのBD-Jオブジェクトファイルには、それぞれ、「00001.bdjo」、「00002.bdjo」、「00003.bdjo」のファイル名が設定されている。
[各ファイルのシンタクス]
 ここで、各ファイルのシンタクスの主な記述について説明する。
 図23は、PlayListファイルのシンタクスを示す図である。
 PlayListファイルは、図22のPLAYLISTディレクトリに格納される、拡張子「.mpls」が設定されるファイルである。
 AppInfoPlayList()には、再生制限などの、PlayListの再生コントロールに関するパラメータが格納される。
 PlayList()には、Main PathやSub Pathに関するパラメータが格納される。
 PlayListMark()には、PlayListのマーク情報、すなわち、チャプタジャンプなどを指令するユーザオペレーションまたはコマンドなどにおけるジャンプ先(ジャンプポイント)であるマークに関する情報が格納される。
 図24は、Clip Informationファイルのシンタクスを示す図である。
 Clip Informationファイルは、図22のCLIPINFディレクトリに格納される、拡張子「.clpi」が設定されるファイルである。
 ClipInfo()には、Clipを構成するAVストリームのタイプを示す情報、AVストリームの記録レートを示す情報などが格納される。
 SequenceInfo()には、AVストリームを構成するsource packetの時間軸上の位置を示す情報、表示時刻を示す情報などが含まれる。
 ProgramInfo()には、Clipを構成するAVストリームのPID、AVストリームの符号化に関する情報などが含まれる。
 図25は、図24のProgramInfo()のシンタクスを示す図である。
 number_of_program_sequencesは、ProgramInfo()に記述されるプログラムシーケンスの数を示す。プログラムシーケンスは、プログラムを構成するソースパケットの並びにより構成される。
 SPN_program_sequence_start[i]は、プログラムシーケンスの先頭のソースパケットの番号(source packet number)を示す。
 StreamCodingInfoには、Clipを構成するAVストリームの符号化に関する情報が含まれる。
 図26は、図25のStreamCodingInfoのシンタクスを示す図である。
 stream_coding_typeは、AVストリームに含まれるelementary streamの符号化方式を示す。例えば、HEVCストリームの再生に用いられるClip InformationのStreamCodingInfoにおいては、符号化方式がHEVCであることを示す値がstream_coding_typeとして設定される。
 video_formatは、ビデオの走査方式を示す。HEVCストリームの再生に用いられるvideo_formatには、2160p(2160ラインプログレッシブ)などの4Kの走査方式を示す値がstream_coding_typeとして設定される。
 frame_rateは、ビデオストリームのフレームレートを示す。
 aspect_ratioは、ビデオのアスペクト比を示す。
 cc_flagは1ビットのフラグであり、クローズドキャプションのデータがビデオストリームに含まれているか否かを示す。
 HDR_flagは1ビットのフラグであり、HDRビデオをマスターとした記録が行われているか否かを示す。例えば、HDR_flag=1は、HDRビデオをマスターとした記録が行われていることを示す。また、HDR_flag=0は、STDビデオをマスターとした記録が行われていることを示す。
 mode_flagは1ビットのフラグであり、HEVCストリームの記録モードを示す。mode_flagは、HDR_flag=1である場合に有効になる。例えば、mode_flag=1は、記録モードがmode-iであることを示す。また、mode_flag=0は、記録モードがmode-iiであることを示す。
 このように、Clip Informationには、そのClip Informationを用いて再生が行われるAVストリームに含まれるHEVCストリームがマスターをHDRビデオとするストリームであるか否かを示すフラグ、およびHEVCストリームの記録モードを示すフラグが含まれる。
 再生装置2は、Clip Informationに含まれるフラグを参照することにより、HEVCストリームを実際に解析することなく、マスターのビデオがHDRビデオであるかなどを特定することが可能になる。
<5.各装置の構成について>
 ここで、各装置の構成について説明する。
[記録装置1の構成]
 図27は、記録装置1の構成例を示すブロック図である。
 記録装置1は、コントローラ21、ビデオ符号化処理部22、グラフィックスエンコーダ23、多重化部24、およびディスクドライブ25から構成される。マスターのHDRビデオがビデオ符号化処理部22に入力され、BDグラフィックスのデータがグラフィックスエンコーダ23に入力される。
 コントローラ21は、CPU(Central Processing Unit)、ROM(Read Only Memory)、RAM(Random Access Memory)などより構成される。コントローラ21は、所定のプログラムを実行し、記録装置1の全体の動作を制御する。
 コントローラ21においては、所定のプログラムが実行されることによってData Base情報生成部21Aが実現される。Data Base情報生成部21Aは、Data Base情報であるPlayListとClip Informationを生成し、ディスクドライブ25に出力する。
 ビデオ符号化処理部22は、マスターのHDRビデオの符号化を行う。ビデオ符号化処理部22は、マスターのHDRビデオを符号化して得られたHEVCストリームを多重化部24に出力する。
 グラフィックスエンコーダ23は、入力されたBDグラフィックスのデータを符号化し、グラフィックスストリームを多重化部24に出力する。
 図28は、PGストリームとIGストリームの構成例を示す図である。
 図28に示すように、PGストリームとIGストリームは、1画面分のグラフィックスに関するデータであるディスプレイセットを集めて構成される。1つのディスプレイセットは複数のセグメントから構成される。
 図28のAは、PGストリームのディスプレイセットを示す。PGストリームのディスプレイセットは、PCS(Presentation Composition Segment)、WDS(Window Definition Segment)、PDS(Palette Definition Segment)、ODS(Object Definition Segment)、およびEND(End of Display Set Segment)により構成される。
 PCSは1画面分の字幕のセグメントである。PCSには、各ODSに対応する字幕に付与されたIDなどが記述される。WDSには、字幕の表示範囲を示すウィンドウの位置やサイズなどの構造を示す情報などが記述される。PDSには、字幕の色として使用可能な色を指定する情報などの、グラフィックスの色に関する情報を含むパレット情報が記述される。ODSには、字幕の形状を示す情報が記述される。ENDは、ディスプレイセットの終端を示すセグメントである。
 図28のBは、IGストリームのディスプレイセットを示す。IGストリームのディスプレイセットは、ICS(Interactive Composition Segment)、PDS、ODS、およびENDにより構成される。
 ICSは、1画面分のメニューボタンのセグメントである。ICSには、メニューボタンの操作により実行されるコマンド、各ODSに対応するメニューボタンに固有のIDなどが記述される。PDSには、メニューボタンの色として使用可能な色を指定する情報などの、グラフィックスの色に関する情報を含むパレット情報が記述される。ODSには、メニューボタンの形状を示す情報が記述される。ENDは、ディスプレイセットの終端を示すセグメントである。
 このようなデータ構造を有するグラフィックスストリームがグラフィックスエンコーダ23から多重化部24に供給される。図示は省略するが、TextSTストリームも、PG,IGストリームと同様に複数のセグメントから構成される。
 多重化部24は、ビデオ符号化処理部22から供給されたHEVCストリームとグラフィックスエンコーダ23から供給されたグラフィックスストリームを多重化し、多重化ストリームをディスクドライブ25に出力する。
 ディスクドライブ25は、コントローラ21から供給されたPlayList、Clip Informationと、多重化部24から供給された多重化ストリームを格納するファイルを、図22のディレクトリ構造に従って光ディスク11に記録する。
 図29は、図27のビデオ符号化処理部22の構成例を示すブロック図である。
 ビデオ符号化処理部22は、HDR情報生成部31、HEVCエンコーダ32、HDR-STD変換部33、定義情報生成部34、およびHEVCストリーム生成部35から構成される。
 HDR情報生成部31は、入力されたマスターのHDRビデオの輝度を検出し、図12を参照して説明した各情報を含むHDR情報を生成する。HDR情報生成部31は、生成したHDR情報をHEVCストリーム生成部35に出力する。
 HEVCエンコーダ32は、記録モードがmode-iである場合、入力されたマスターのHDRビデオをHEVCで符号化する。また、HEVCエンコーダ32は、記録モードがmode-iiである場合、HDR-STD変換部33から供給されたSTDビデオをHEVCで符号化する。HEVCエンコーダ32は、HDRビデオの符号化データ、またはSTDビデオの符号化データをHEVCストリーム生成部35に出力する。
 HDR-STD変換部33は、入力されたマスターのHDRビデオをSTDビデオに変換する。HDR-STD変換部33による変換は、適宜、オーサーにより入力された変換パラメータに従って行われる。HDR-STD変換部33は、HDRビデオのRGB信号をinput data、STDビデオのRGB信号をoutput dataとしたinput dataとoutput dataの対応関係を示す情報を定義情報生成部34に出力する。
 図30は、HDR-STD変換部33による信号処理の例を示す図である。
 HDR-STD変換部33は、矢印#301の先に示すように、入力されたマスターのHDRビデオのYCrCb信号をRGB信号に変換し、RGBの各信号を対象として、STDビデオのRGBの各信号への変換(tone mapping)を行う。
 HDR-STD変換部33は、input dataであるHDRビデオのRGB値とoutput dataであるSTDビデオのRGB値の対応関係を示す情報を定義情報生成部34に出力する。定義情報生成部34に出力された情報は、矢印#302の先に示すようにtone mapping定義情報の生成に用いられる。
 また、HDR-STD変換部33は、矢印#303の先に示すように、STDビデオのRGB信号をYCrCb信号に変換し、出力する。
 図31は、tone mappingの例を示す図である。
 HDRビデオのRGB信号は、例えば図31に示すように、高輝度成分を圧縮し、中・低域輝度成分を伸張するようにしてSTDビデオのRGB信号に変換される。図31に示すようなHDRビデオのRGB信号とSTDビデオのRGB信号を対応付ける関数Fを示す情報が、定義情報生成部34により生成される。なお、図31に示す関数Fは、図11を参照して説明した、coded_dataとtarget_dataの関係を折れ線関数により示すtone_map_model_id=3のTone mapping informationである。
 図29の説明に戻り、また、HDR-STD変換部33は、記録モードがmode-iiである場合、HDRビデオを変換して得られたSTDビデオをHEVCエンコーダ32に出力する。
 定義情報生成部34は、HDR-STD変換部33から供給された情報に基づいて、HDR-STD変換用のtone mapping定義情報を生成する。
 例えば、定義情報生成部34は、tone_map_model_id=0が用いられる場合、図9のmin_valueとmax_valueの値を含むTone mapping informationをHDR-STD変換用のtone mapping定義情報として生成する。
 また、定義情報生成部34は、tone_map_model_id=2が用いられる場合、図10のstart_of_coded_interval[i]を含むTone mapping informationをHDR-STD変換用のtone mapping定義情報として生成する。
 さらに、定義情報生成部34は、tone_map_model_id=3が用いられる場合、図11のnum_pivotsにより指定される数のcoded_pivot_value[i]とtarget_pivot_value[i]を含むTone mapping informationをHDR-STD変換用のtone mapping定義情報として生成する。
 HEVCストリーム生成部35は、HDR情報生成部31から供給されたHDR情報を含むTone mapping informationと、定義情報生成部34から供給されたtone mapping定義情報を含むTone mapping informationのtone_map_idに、記録モードに応じた同じ値を設定する。また、HEVCストリーム生成部35は、HDR情報を含むTone mapping informationとtone mapping定義情報を含むTone mapping informationをSEIとして符号化データに挿入し、HEVCストリームを生成する。HEVCストリーム生成部35は、生成したHEVCストリームをディスクドライブ25に出力する。
[再生装置2の構成]
 図32は、再生装置2の構成例を示すブロック図である。
 再生装置2は、コントローラ51、ディスクドライブ52、メモリ53、ローカルストレージ54、ネットワークインタフェース55、操作入力部56、分離部57、ビデオ復号処理部58、グラフィックス処理部59、合成部60、およびHDMI通信部61から構成される。
 コントローラ51は、CPU、ROM、RAMなどより構成される。コントローラ51は、所定のプログラムを実行し、再生装置2の全体の動作を制御する。
 ディスクドライブ52は、光ディスク11からデータを読み出し、読み出したデータを、コントローラ51、メモリ53、または分離部57に出力する。例えば、ディスクドライブ52は、光ディスク11から読み出したData Base情報をコントローラ51に出力し、多重化ストリームを分離部57に出力する。
 メモリ53は、コントローラ51が各種の処理を実行する上において必要なデータなどを記憶する。メモリ53には、PSR(Player Status Register)であるレジスタ53Aが形成される。レジスタ53Aには、BD Playerである再生装置2が光ディスク11の再生時に参照する各種の情報が記憶される。
 ローカルストレージ54は例えばHDD(Hard Disk Drive)により構成される。ローカルストレージ54には、サーバからダウンロードされたストリームなどが記録される。
 ネットワークインタフェース55は、インターネットなどのネットワークを介してサーバと通信を行い、サーバからダウンロードしたデータをローカルストレージ54に供給する。
 分離部57は、ディスクドライブ52から供給された多重化ストリームから、HEVCストリームのデータとグラフィックスストリームのデータを分離する。分離部57は、分離したHEVCストリームのデータをビデオ復号処理部58に出力し、グラフィックスストリームのデータをグラフィックス処理部59に出力する。
 ビデオ復号処理部58は、分離部57から供給されたデータからなるHEVCストリームを復号し、HDRビデオまたはSTDビデオのデータを合成部60に出力する。また、ビデオ復号処理部58は、HDRビデオを合成部60に出力する場合、HDR情報をHDMI通信部61に出力する。ビデオ復号処理部58は、HDR情報をグラフィックス処理部59に対しても出力する。
 グラフィックス処理部59は、分離部57から供給されたグラフィックスストリームを復号し、標準のダイナミックレンジのBDグラフィックスのデータを合成部60に出力する。
 合成部60は、ビデオ復号処理部58から供給されたHDRビデオまたはSTDビデオと、グラフィックス処理部59から供給されたBDグラフィックスを合成し、合成後のHDRビデオまたはSTDビデオのデータをHDMI通信部61に出力する。
 図33は、合成部60によるプレーン合成の例を示す図である。
 ビデオとグラフィックスの合成は、図33に示すようにプレーン同士を重ねるようにして行われる。ビデオプレーンは、ビデオの1画面分のデータであり、グラフィックスプレーン(PG/IGプレーン)は、グラフィックスの1画面分のデータである。
 図33に示すように、合成部60は、ビデオプレーンの上に、PGストリームをデコードして得られた、字幕などを表示するPGグラフィックスプレーンを合成する。また、合成部60は、PGグラフィックスプレーンの上に、IGストリームをデコードして得られた、メニューボタンなどを表示するIGグラフィックスプレーンを合成する。
 図32のHDMI通信部61は、HDMIケーブル4を介して表示装置3との間で通信を行う。例えば、HDMI通信部61は、表示装置3が有するモニタの性能に関する情報を取得し、コントローラ51に出力する。また、HDMI通信部61は、合成部60から供給されたHDRビデオまたはSTDビデオのデータを表示装置3に出力する。HDMI通信部61は、HDRビデオのデータを出力する場合、ビデオ復号処理部58から供給されたHDR情報をHDRビデオのデータとともに出力する。
 図34は、図32のビデオ復号処理部58の構成例を示すブロック図である。
 ビデオ復号処理部58は、パラメータ抽出部71、HEVCデコーダ72、HDR-STD変換部73、STD-HDR変換部74、および出力部75から構成される。出力部75は、HDRビデオ出力部75AとSTDビデオ出力部75Bから構成される。
 分離部57から出力されたHEVCストリームはパラメータ抽出部71に入力される。ビデオ復号処理部58に対しては、例えば、Clip Informationに含まれるmode_flagにより特定される記録モードを表す情報と、表示装置3から取得された情報により特定される、表示装置3が有するモニタの性能に関する情報がコントローラ51から供給される。
 パラメータ抽出部71は、HEVCストリームのSEIからHDR情報とtone mapping定義情報を抽出する。例えば、パラメータ抽出部71は、記録モードがmode-iであり、表示装置3にHDRビデオを出力する場合、HDR情報をHDMI通信部61に出力する。また、パラメータ抽出部71は、記録モードがmode-iであり、表示装置3にSTDビデオを出力する場合、HDR-STD変換用のtone mapping定義情報をHDR-STD変換部73に出力する。
 一方、パラメータ抽出部71は、記録モードがmode-iiであり、表示装置3にHDRビデオを出力する場合、HDR情報をHDMI通信部61に出力するとともに、STD-HDR変換用のtone mapping定義情報をSTD-HDR変換部74に出力する。記録モードがmode-iiであり、表示装置3にSTDビデオを出力する場合、抽出されたHDR情報とtone mapping定義情報は用いられない。
 HDRビデオを出力する場合にパラメータ抽出部71により抽出されたHDR情報は、グラフィックス処理部59に対しても出力される。
 また、パラメータ抽出部71は、HEVCストリームに含まれる符号化データをHEVCデコーダ72に出力する。
 HEVCデコーダ72は、パラメータ抽出部71から供給されたHEVCの符号化データを復号する。HEVCデコーダ72は、記録モードがmode-iである場合、復号して得られたHDRビデオをHDR-STD変換部73とHDRビデオ出力部75Aに出力する。また、HEVCデコーダ72は、記録モードがmode-iiである場合、復号して得られたSTDビデオをSTD-HDR変換部74とSTDビデオ出力部75Bに出力する。
 HDR-STD変換部73は、HEVCデコーダ72から供給されたHDRビデオを、パラメータ抽出部71から供給されたHDR-STD変換用のtone mapping定義情報に基づいてSTDビデオに変換する。HDR-STD変換部73は、変換して得られたSTDビデオをSTDビデオ出力部75Bに出力する。
 STD-HDR変換部74は、HEVCデコーダ72から供給されたSTDビデオを、パラメータ抽出部71から供給されたSTD-HDR変換用のtone mapping定義情報に基づいてHDRビデオに変換する。STD-HDR変換部74は、変換して得られたHDRビデオをHDRビデオ出力部75Aに出力する。
 出力部75のHDRビデオ出力部75Aは、表示装置3にHDRビデオを出力する場合、HEVCデコーダ72から供給されたHDRビデオ、またはSTD-HDR変換部74から供給されたHDRビデオをHDMI通信部61に出力する。
 STDビデオ出力部75Bは、表示装置3にSTDビデオを出力する場合、HEVCデコーダ72から供給されたSTDビデオ、またはHDR-STD変換部73から供給されたSTDビデオをHDMI通信部61に出力する。
 図35は、図32のグラフィックス処理部59の構成例を示すブロック図である。
 グラフィックス処理部59は、TSバッファ91、グラフィックスデコーダ92、グラフィックスプレーン生成部93、CLUT管理部94、RGB変換部95、逆ガンマ変換部96、HDR情報取得部97、計算部98、割り付け部99、およびYCrCb変換部100から構成される。グラフィックスデコーダ92は、ESバッファ111、プロセッサ112、デコーダバッファ113、コンポジッションバッファ114、およびグラフィックスコントローラ115から構成される。分離部57から供給されたグラフィックスストリームのデータであるTSパケットはTSバッファ91に入力される。ビデオ復号処理部58から供給されたHDR情報はHDR情報取得部97に入力される。
 TSバッファ(Transport Stream)91は、分離部57から供給されたグラフィックスストリームのTSパケットを記憶する。TSバッファ91は、記憶しているTSパケットからなるES(Elementary Stream)をグラフィックスデコーダ92に出力する。
 グラフィックスデコーダ92のESバッファ111は、TSバッファ91から供給されたTSパケットからなるESを記憶する。
 プロセッサ112は、ESバッファ111からESを読み出し、そのESに含まれるグラフィックスの制御データをコンポジッションバッファ114に供給する。例えば、ESがPGストリームである場合、プロセッサ112は、PGストリームに含まれるPCS、WDS、およびPDSをコンポジッションバッファ114に供給する。一方、ESがIGストリームである場合、プロセッサ112は、IGストリームに含まれるICSとPDSをコンポジッションバッファ114に供給する。
 また、プロセッサ112は、ESに含まれる実データを復号し、デコーダバッファ113に供給して保持させる。例えば、ESがPGストリームまたはIGストリームである場合、プロセッサ112は、ODSを復号し、復号して得られたグラフィックスのデータをデコーダバッファ113に供給する。
 デコーダバッファ113は、プロセッサ112から供給されたグラフィックスのデータを記憶する。
 コンポジッションバッファ114は、プロセッサ112から供給された制御データを記憶する。
 グラフィックスコントローラ115は、コンポジッションバッファ114から制御データを読み出す。グラフィックスコントローラ115は、読み出した制御データのうちのPCSやWDSに基づいて、デコーダバッファ113とグラフィックスプレーン生成部93における読み出しタイミングを制御する。また、グラフィックスコントローラ115は、PDSに含まれるパレット情報をCLUT管理部94に供給する。
 グラフィックスプレーン生成部93は、グラフィックスコントローラ115による制御タイミングに従って、デコーダバッファ113から読み出したデータに基づいてグラフィックスプレーンを生成する。グラフィックスプレーン生成部93は、生成したグラフィックスプレーンのデータを、グラフィックスコントローラ115による制御タイミングに従ってCLUT管理部94に出力する。
 CLUT管理部94は、グラフィックスコントローラ115から供給されるパレット情報に基づいて定義されるCLUTを記憶する。CLUTは、入力値とYCrCbの各画素値とを対応付けたテーブルである。CLUT管理部94は、CLUTに基づいて、グラフィックスプレーン生成部93から供給されたグラフィックスプレーンを各8bitのYCrCb値からなるデータに変換する。
 CLUT管理部94は、BDグラフィックスをHDRビデオに合成する場合、YCrCbのBDグラフィックスのデータをRGB変換部95に出力する。一方、BDグラフィックスをSTDビデオに合成する場合、CLUT管理部94は、YCrCbのBDグラフィックスを合成部60に出力する。CLUT管理部94が出力するYCrCbの画素値には、透明度の値も付加される。
 RGB変換部95は、CLUT管理部94から供給されたYCrCbのBDグラフィックスを、各8bitのRGBのBDグラフィックスに変換し、逆ガンマ変換部96に出力する。
 逆ガンマ変換部96は、BDグラフィックスに対して逆ガンマ変換を施し、割り付け部99に出力する。逆ガンマ変換後のRGB値と輝度はリニアの関係を有する。
 HDR情報取得部97は、ビデオ復号処理部58から供給されたHDR情報を取得し、計算部98に出力する。
 計算部98は、BDグラフィックスの各画素値を入力とし、その画素値が示す輝度と同じ輝度を示す、HDRビデオのガンマ関数系における10bitの画素値を出力とする割り付け用関数を、HDR情報取得部97により取得されたHDR情報に基づいて計算する。計算部98は、計算により求めた割り付け用関数を割り付け部99に出力する。
 割り付け部99は、画素値の変換部として機能し、計算部98により求められた割り付け用関数に基づいて、逆ガンマ変換後のBDグラフィックスのRGBの各画素値を、HDRビデオのガンマ関数系における画素値に割り付ける。割り付け部99は、割り付け後の各10bitのRGB値により表されるBDグラフィックスをYCrCb変換部100に出力する。
 YCrCb変換部100は、割り付け部99から供給されたRGBのBDグラフィックスを、各10bitのYCrCbのBDグラフィックスに変換し、HDR合成用グラフィックスとして合成部60に出力する。
[表示装置3の構成]
 図36は、表示装置3の構成例を示すブロック図である。
 表示装置3は、コントローラ131、HDMI通信部132、信号処理部133、およびモニタ134から構成される。コントローラ131はメモリ131Aを有する。
 コントローラ131は、CPU、ROM、RAMなどより構成される。コントローラ131は、所定のプログラムを実行し、表示装置3の全体の動作を制御する。
 例えば、コントローラ131は、モニタ134の性能を表すEDID(Extended display identification data)をメモリ131Aに記憶させて管理する。コントローラ131は、再生装置2との認証時、メモリ131Aに記憶させているEDIDをHDMI通信部132に出力し、再生装置2に対して送信させる。EDIDに基づいて、表示装置3のモニタ134の性能が再生装置2により特定される。
 HDMI通信部132は、HDMIケーブル4を介して再生装置2との間で通信を行う。HDMI通信部132は、再生装置2から送信されてきたビデオデータを受信し、信号処理部133に出力する。また、HDMI通信部132は、コントローラ131から供給されたEDIDを再生装置2に送信する。
 信号処理部133は、HDMI通信部132から供給されたビデオデータの処理を行い、映像をモニタ134に表示させる。
<6.各装置の動作について>
 ここで、以上のような構成を有する各装置の動作について説明する。
[記録処理]
 はじめに、図37のフローチャートを参照して、記録装置1の記録処理について説明する。図37の処理は、マスターのHDRビデオとBDグラフィックスのデータが記録装置1に入力されたときに開始される。
 ステップS1において、記録装置1のコントローラ21は、記録モードがmode-iであるか否かを判定する。記録モードは例えばオーサーにより設定される。
 記録モードがmode-iであるとステップS1において判定された場合、ステップS2において、ビデオ符号化処理部22はmode-iでの符号化処理を行う。mode-iでの符号化処理により生成されたHEVCストリームは多重化部24に供給される。
 一方、記録モードがmode-iiであるとステップS1において判定された場合、ステップS3において、ビデオ符号化処理部22はmode-iiでの符号化処理を行う。mode-iiでの符号化処理により生成されたHEVCストリームは多重化部24に供給される。
 ステップS4において、Data Base情報生成部21AはData Base情報生成処理を行う。Data Base情報生成処理により生成されたPlayListファイルとClip Informationファイルはディスクドライブ25に供給される。
 ステップS5において、グラフィックスエンコーダ23は、BDグラフィックスのデータの符号化を行い、グラフィックスストリームを多重化部24に出力する。
 ステップS6において、多重化部24は、ビデオ符号化処理部22から供給されたHEVCストリームとグラフィックスエンコーダ23から供給されたグラフィックスストリームを多重化し、多重化ストリームをディスクドライブ25に出力する。
 ステップS7において、ディスクドライブ25は、PlayListファイル、Clip Informationファイル、および多重化ストリームファイルを光ディスク11に記録する。その後、処理は終了される。
 次に、図38のフローチャートを参照して、図37のステップS2において行われるmode-iでの符号化処理について説明する。
 ステップS11において、ビデオ符号化処理部22のHDR情報生成部31は、マスターのHDRビデオの輝度を検出し、HDR情報を生成する。
 ステップS12において、HEVCエンコーダ32は、マスターのHDRビデオを対象としてHEVCによる符号化を行い、HDRビデオの符号化データを生成する。
 ステップS13において、HDR-STD変換部33は、入力されたマスターのHDRビデオをSTDビデオに変換する。HDRビデオのRGB信号をinput data、STDビデオのRGB信号をoutput dataとしたinput dataとoutput dataの対応関係を示す情報は定義情報生成部34に供給される。
 ステップS14において、定義情報生成部34は、HDR-STD変換部33から供給された情報に基づいてHDR-STD変換用のtone mapping定義情報を生成する。
 ステップS15において、HEVCストリーム生成部35は、HDR情報生成部31により生成されたHDR情報を含むTone mapping informationと、定義情報生成部34により生成されたtone mapping定義情報を含むTone mapping informationのtone_map_idに、mode-i用のIDを設定する。また、HEVCストリーム生成部35は、HDR情報を含むTone mapping informationとtone mapping定義情報を含むTone mapping informationを符号化データに挿入し、HEVCストリームを生成する。その後、図37のステップS2に戻り、それ以降の処理が行われる。
 次に、図39のフローチャートを参照して、図37のステップS3において行われるmode-iiでの符号化処理について説明する。
 ステップS21において、ビデオ符号化処理部22のHDR情報生成部31は、マスターのHDRビデオの輝度を検出し、HDR情報を生成する。
 ステップS22において、HDR-STD変換部33は、入力されたマスターのHDRビデオをSTDビデオに変換する。HDRビデオのRGB信号をinput data、STDビデオのRGB信号をoutput dataとしたinput dataとoutput dataの対応関係を示す情報は定義情報生成部34に供給される。
 ステップS23において、定義情報生成部34は、HDR-STD変換部33から供給された情報に基づいてSTD-HDR変換用のtone mapping定義情報を生成する。
 ステップS24において、HEVCエンコーダ32は、マスターのHDRビデオを変換して得られたSTDビデオを対象としてHEVCによる符号化を行い、STDビデオの符号化データを生成する。
 ステップS25において、HEVCストリーム生成部35は、HDR情報生成部31により生成されたHDR情報を含むTone mapping informationと、定義情報生成部34により生成されたtone mapping定義情報を含むTone mapping informationのtone_map_idに、mode-ii用のIDを設定する。また、HEVCストリーム生成部35は、HDR情報を含むTone mapping informationとtone mapping定義情報を含むTone mapping informationを符号化データに挿入し、HEVCストリームを生成する。その後、図37のステップS3に戻り、それ以降の処理が行われる。
 次に、図40のフローチャートを参照して、図37のステップS4において行われるData Base情報生成処理について説明する。
 ステップS31において、コントローラ21のData Base情報生成部21Aは、図23を参照して説明した各情報を含むPlayListを生成する。Data Base情報生成部21Aが生成するPlayListには、HEVCストリームを再生区間として指定するPlayItemに関する情報が含まれる。
 ステップS32において、Data Base情報生成部21Aは、HDR_flagとmode_flagをProgramInfo()のStreamCodingInfoに含むClip Informationを生成する。この例においてはマスターのビデオがHDRビデオであるから、Data Base情報生成部21Aは、HDR_flagの値として、そのことを示す値である1を設定する。
 また、図37のステップS2においてmode-iでの符号化処理が行われている場合、Data Base情報生成部21Aは、mode_flagの値として、記録モードがmode-iであることを示す値である1を設定する。一方、Data Base情報生成部21Aは、図37のステップS3においてmode-iiでの符号化処理が行われている場合、mode_flagの値として、記録モードがmode-iiであることを示す値である0を設定する。その後、図37のステップS4に戻り、それ以降の処理が行われる。
 記録装置1においては、以上の処理によって生成されたHEVCストリームとData Base情報が光ディスク11に記録される。
[再生処理]
 次に、図41のフローチャートを参照して、再生装置2の再生処理について説明する。
 光ディスク11の再生を開始する前などの所定のタイミングにおいて、再生装置2のコントローラ51は、HDMI通信部61を制御して表示装置3と通信を行い、表示装置3のメモリ131AからEDIDを読み出す。コントローラ51は、表示装置3が有するモニタの性能を表す情報をレジスタ53Aに記憶させて管理する。
 ステップS41において、コントローラ51は、ディスクドライブ52を制御し、Data Base情報であるPlayListとClip Informationを光ディスク11から読み出す。また、コントローラ51は、再生するHEVCストリームとグラフィックスストリームをPlayListに含まれる情報に基づいて特定する。コントローラ51は、特定したHEVCストリームとグラフィックスストリームを含む多重化ストリームを、ディスクドライブ52を制御して光ディスク11から読み出す。
 ステップS42において、分離部57は、光ディスク11から読み出された多重化ストリームを、HEVCストリームのデータとグラフィックスストリームのデータに分離する。
 ステップS43において、コントローラ51は、Clip Informationに含まれるHDR_flagとmode_flagを参照する。この例においては、マスターをHDRビデオとした記録が行われていることを示す値がHDR_flagに設定されている。これにより、再生装置2の状態は、HDRビデオ、または、HDRビデオを変換して得られたSTDビデオを再生する状態となる。
 ステップS44において、コントローラ51は、記録モードがmode-iであるか否かをmode_flagの値に基づいて判定する。
 記録モードがmode-iであるとステップS44において判定された場合、ステップS45において、ビデオ復号処理部58はmode-iでの復号処理を行う。
 一方、記録モードがmode-iiであるとステップS44において判定された場合、ステップS46において、ビデオ復号処理部58はmode-iiでの復号処理を行う。
 ステップS45またはステップS46において復号処理が行われた後、処理は終了される。
 なお、ここでは、記録モードがmode-iであるか否かの判定がmode_flagの値に基づいて行われるものとしたが、HEVCストリームに挿入されているTone mapping informationのtone_map_idに基づいて行われるようにしてもよい。
 次に、図42のフローチャートを参照して、図41のステップS45において行われるmode-iでの復号処理について説明する。
 ステップS61において、ビデオ復号処理部58のパラメータ抽出部71は、HEVCストリームのSEIからHDR情報とtone mapping定義情報を抽出する。パラメータ抽出部71は、HEVCストリームに含まれるHEVCの符号化データをHEVCデコーダ72に出力する。
 ステップS62において、HEVCデコーダ72は、HEVCの符号化データを復号し、復号して得られたHDRビデオをHDR-STD変換部73とHDRビデオ出力部75Aに出力する。
 ステップS63において、コントローラ51は、レジスタ53Aに記憶させておいた情報に基づいて、表示装置3が有するモニタがHDRモニタであるか否かを判定する。上述したように、レジスタ53Aには、表示装置3から読み出されたHDMIのEDIDに基づいて、表示装置3が有するモニタの性能に関する情報が記憶されている。
 表示装置3が有するモニタがHDRモニタであるとステップS63において判定された場合、ステップS64において、HDRビデオ出力部75Aは、HEVCデコーダ72から供給されたHDRビデオを合成部60に出力する。パラメータ抽出部71により抽出されたHDR情報はHDMI通信部61に出力される。
 ステップS65において、グラフィックス処理部59はHDR合成用グラフィックス生成処理を行う。HDR合成用グラフィックス生成処理により生成されたHDR合成用グラフィックスは合成部60に供給される。
 ステップS66において、合成部60は、ビデオ復号処理部58から供給されたHDRビデオと、グラフィックス処理部59から供給されたHDR合成用グラフィックスを合成し、BDグラフィックスの合成後のHDRビデオのデータをHDMI通信部61に出力する。
 ステップS67において、HDMI通信部61は、BDグラフィックスの合成後のHDRビデオのデータと、ビデオ復号処理部58から供給されたHDR情報を表示装置3に出力する。
 一方、表示装置3が有するモニタがHDRモニタではなく、STDモニタであるとステップS63において判定された場合、ステップS68において、HDR-STD変換部73は、HEVCデコーダ72から供給されたHDRビデオを、パラメータ抽出部71から供給されたHDR-STD変換用のtone mapping定義情報に基づいてSTDビデオに変換する。
 ステップS69において、STDビデオ出力部75Bは、HDR-STD変換部73により変換が行われることによって得られたSTDビデオを合成部60に出力する。
 ステップS70において、グラフィックス処理部59は、グラフィックスストリームをデコードし、BDグラフィックスのデータを合成部60に出力する。すなわち、グラフィックス処理部59のグラフィックスデコーダ92において、プロセッサ112は、ESバッファ111に記憶されたグラフィックスストリームをデコードし、デコードして得られたBDグラフィックスのデータをデコーダバッファ113に記憶させる。グラフィックスプレーン生成部93は、デコーダバッファ113に記憶されたデータに基づいて、BDグラフィックスプレーンを生成する。CLUT管理部94は、BDグラフィックスプレーンのCLUT変換を行い、CLUT変換後のBDグラフィックスのデータを、STD合成用のデータとして合成部60に出力する。
 ステップS71において、合成部60は、ビデオ復号処理部58から供給されたSTDビデオとグラフィックス処理部59から供給されたBDグラフィックスを合成する。
 ステップS72において、HDMI通信部61は、BDグラフィックスの合成後のSTDビデオのデータを表示装置3に出力する。
 ステップS67においてBDグラフィックスの合成後のHDRビデオが出力された後、または、ステップS72においてBDグラフィックスの合成後のSTDビデオが出力された後、ステップS73において、コントローラ51は、再生終了か否かを判定する。
 再生終了ではないとステップS73において判定した場合、コントローラ51は、ステップS61に戻り、以上の処理を繰り返し実行する。再生終了であるとステップS73において判定された場合、図41のステップS45に戻り、それ以降の処理が行われる。
 次に、図43のフローチャートを参照して、図41のステップS46において行われるmode-iiでの復号処理について説明する。
 ステップS81において、ビデオ復号処理部58のパラメータ抽出部71は、HEVCストリームのSEIからHDR情報とtone mapping定義情報を抽出する。パラメータ抽出部71は、HEVCストリームに含まれる、HEVCの符号化データをHEVCデコーダ72に出力する。
 ステップS82において、HEVCデコーダ72は、HEVCの符号化データを復号し、復号して得られたSTDビデオをSTD-HDR変換部74とSTDビデオ出力部75Bに出力する。
 ステップS83において、コントローラ51は、レジスタ53Aに記憶させておいた情報に基づいて、表示装置3が有するモニタがHDRモニタであるか否かを判定する。
 表示装置3が有するモニタがHDRモニタであるとステップS83において判定された場合、ステップS84において、STD-HDR変換部74は、HEVCデコーダ72から供給されたSTDビデオを、パラメータ抽出部71から供給されたSTD-HDR変換用のtone mapping定義情報に基づいてHDRビデオに変換する。
 ステップS85において、HDRビデオ出力部75Aは、STD-HDR変換部74により変換が行われることによって得られたHDRビデオを合成部60に出力する。パラメータ抽出部71により抽出されたHDR情報はHDMI通信部61に出力される。
 ステップS86において、グラフィックス処理部59はHDR合成用グラフィックス生成処理を行う。HDR合成用グラフィックス生成処理により生成されたHDR合成用グラフィックスは合成部60に供給される。
 ステップS87において、合成部60は、ビデオ復号処理部58から供給されたHDRビデオと、グラフィックス処理部59から供給されたHDR合成用グラフィックスを合成し、BDグラフィックスの合成後のHDRビデオのデータをHDMI通信部61に出力する。
 ステップS88において、HDMI通信部61は、BDグラフィックスの合成後のHDRビデオのデータと、ビデオ復号処理部58から供給されたHDR情報を表示装置3に出力する。
 一方、表示装置3が有するモニタがSTDモニタであるとステップS83において判定された場合、ステップS89において、STDビデオ出力部75Bは、HEVCデコーダ72から供給されたSTDビデオを合成部60に出力する。
 ステップS90において、グラフィックス処理部59は、グラフィックスストリームをデコードし、STD合成用のBDグラフィックスのデータを合成部60に出力する。
 ステップS91において、合成部60は、ビデオ復号処理部58から供給されたSTDビデオとグラフィックス処理部59から供給されたBDグラフィックスを合成する。
 ステップS92において、HDMI通信部61は、BDグラフィックスの合成後のSTDビデオのデータを表示装置3に出力する。
 ステップS88においてBDグラフィックスの合成後のHDRビデオが出力された後、または、ステップS92においてBDグラフィックスの合成後のSTDビデオが出力された後、ステップS93において、コントローラ51は、再生終了か否かを判定する。
 再生終了ではないとステップS93において判定した場合、コントローラ51は、ステップS81に戻り、以上の処理を繰り返し実行する。再生終了であるとステップS93において判定された場合、図41のステップS46に戻り、それ以降の処理が行われる。
 次に、図44のフローチャートを参照して、図42のステップS65、または図43のステップS86において行われるHDR合成用グラフィックス生成処理について説明する。
 ステップS111において、グラフィックス処理部59のHDR情報取得部97は、ビデオ復号処理部58のパラメータ抽出部71により抽出されたHDR情報を取得する。
 ステップS112において、計算部98は、BDグラフィックスのオリジナルの各画素値を入力とし、その画素値が示す輝度と同じ輝度を示す、HDRビデオのガンマ関数系における10bitの画素値を出力とする割り付け用関数をHDR情報に基づいて計算する。
 ステップS113において、グラフィックスデコーダ92は、グラフィックスストリームをデコードする。グラフィックスストリームをデコードすることによって得られたデータに基づいて、グラフィックスプレーン生成部93によりBDグラフィックスプレーンが生成される。
 ステップS114において、CLUT管理部94は、CLUTに基づいて、BDグラフィックスの変換を行う。
 ステップS115において、RGB変換部95は、CLUT管理部94による変換によって得られたYCrCbのBDグラフィックスを、各8bitのRGBのBDグラフィックスに変換する。
 ステップS116において、逆ガンマ変換部96は、BDグラフィックスに対して逆ガンマ変換を施す。
 ステップS117において、割り付け部99は、計算部98により求められた割り付け用関数に基づいて、逆ガンマ変換後のBDグラフィックスのRGBの各画素値を、HDRビデオのガンマ関数系における画素値に割り付ける。
 ステップS118において、YCrCb変換部100は、割り付け部99による割り付け後のRGBのBDグラフィックスを、各10bitのYCrCb値からなるBDグラフィックスに変換し、HDR合成用グラフィックスとして合成部60に出力する。その後、図42のステップS65、または図43のステップS86に戻り、それ以降の処理が行われる。
[表示処理]
 次に、図45のフローチャートを参照して、表示装置3の表示処理について説明する。
 ここでは、表示装置3が有するモニタ134がHDRモニタである場合について説明する。HDRモニタを有する表示装置3に対しては、HDR情報が付加されたHDRビデオが再生装置2から送信されてくる。再生装置2から送信されてくるHDRビデオは、BDグラフィックスが合成されたビデオである。
 ステップS131において、表示装置3のHDMI通信部132は、再生装置2から送信されてきたHDRビデオとHDR情報を受信する。
 ステップS132において、コントローラ131は、HDR情報を参照し、再生装置2から送信されてきたHDRビデオをそのまま表示可能であるか否かを判定する。HDR情報には、マスターのHDRビデオ、すなわち再生装置2から送信されてきたHDRビデオの輝度の特性を示す情報が含まれる。ステップS132における判定は、HDR情報により特定されるHDRビデオの輝度の特性と、モニタ134の表示性能を比較することによって行われる。
 例えば、HDR情報により特定されるHDRビデオのダイナミックレンジが0-400%であり、モニタ134のダイナミックレンジが0-500%(例えば100%の明るさを100cd/m2とすると500cd/m2)である場合、HDRビデオをそのまま表示可能であると判定される。一方、HDR情報により特定されるHDRビデオのダイナミックレンジが0-400%であり、モニタ134のダイナミックレンジが0-300%である場合、HDRビデオをそのまま表示することができないと判定される。
 HDRビデオをそのまま表示可能であるとステップS132において判定された場合、ステップS133において、信号処理部133は、HDRビデオの映像を、HDR情報により指定される輝度に従ってモニタ134に表示させる。例えば、図12の曲線L12で示す輝度の特性がHDR情報により指定されている場合、各画素値は曲線L12で示す0-400%の範囲の明るさを表す。
 一方、HDRビデオをそのまま表示させることができないとステップS132において判定された場合、ステップS134において、信号処理部133は、モニタ134の表示性能に応じて輝度を調整し、輝度を調整したHDRビデオの映像を表示させる。例えば、図12の曲線L12で示す輝度の特性がHDR情報により指定されており、モニタ134のダイナミックレンジが0-300%である場合、各画素値が0-300%の範囲の明るさを表すように圧縮される。
 ステップS133、またはステップS134においてHDRビデオの映像が表示された後、ステップS135において、コントローラ131は、表示を終了するか否かを判定し、終了しないと判定した場合、ステップS131以降の処理を繰り返す。ステップS135において表示を終了すると判定した場合、コントローラ131は、処理を終了させる。
 以上の一連の処理により、記録装置1は、マスターのHDRビデオをHDRビデオのまま光ディスク11に記録し、再生装置2に再生させてHDRビデオの映像を表示装置3に表示させることができる。
 また、記録装置1は、マスターのHDRビデオをSTDビデオに変換して光ディスク11に記録し、再生装置2にHDRビデオに復元させてHDRビデオの映像を表示装置3に表示させることができる。
 HDRビデオを再生する際、マスターのHDRビデオの輝度の特性をHDR情報によって指定することができるようにすることにより、コンテンツのオーサーは、意図したとおりの輝度でHDRビデオの映像を表示させることが可能になる。
 さらに、BDグラフィックスについては、標準のダイナミックレンジの輝度で表示されることから、字幕などのグラフィックスが見づらくなるといったことを防ぐことが可能になる。
 なお、モニタ134がSTDモニタである場合、表示装置3のHDMI通信部132は、再生装置2から送信されてきた、BDグラフィックスが合成されたSTDビデオを受信する。信号処理部133は、HDMI通信部132により受信されたSTDビデオを、そのままモニタ134に表示させることになる。
<7.BD-Jグラフィックスの合成について>
 図46は、BD-Jオブジェクトに基づいて表示される画面の例を示す図である。
 図46において矢印で示すように、BD-Jオブジェクト(BD-Jオブジェクトに記述されたBD-Jアプリケーション)が実行されることにより、例えばBD-Jグラフィックスプレーンと背景プレーンが生成される。BD-Jグラフィックスプレーンは、ビデオプレーンより手前に合成され、背景プレーンはビデオプレーンより奥側に合成される。
[HDRビデオとBD-Jグラフィックスの合成]
 図47は、BD-Jグラフィックスに基づくHDR合成用グラフィックスの生成処理の例を示す図である。
 BD-Jオブジェクトを実行することによって得られるBD-Jグラフィックスは、各8bitのRGB値により表される。図16を参照して説明したCLUT変換後のBDグラフィックスはYCrCb値によって表されることから、画素値の割り付けの前にRGB変換を行う必要があるが、BD-JグラフィックスをHDRビデオに合成する場合、RGB変換は不要となる。
 RGB変換が不要となる点を除いて、BD-JグラフィックスをHDRビデオに合成する処理は、BDグラフィックスをHDRビデオに合成する処理と基本的に同様の処理である。重複する説明については適宜省略する。
 再生装置2のグラフィックス処理部59を構成する計算部98(図35)は、矢印#301の先に示すように、HDR情報取得部97により取得されたHDR情報に基づいて割り付け用関数を計算する。
 逆ガンマ変換部96は、矢印#302の先に示すように、RGBのBD-Jグラフィックスに逆ガンマ変換を施す。BDグラフィックスと同様に、BD-Jグラフィックスに対してもガンマ変換が施されている。逆ガンマ変換後のBD-Jグラフィックスは各8bitのR’G’B’値により表される。R’G’B’値と輝度はリニアの関係を有する。
 割り付け部99は、矢印#303の先に示すように、逆ガンマ変換後のBD-Jグラフィックスの画素値であるR’G’B’値をそれぞれ割り付け用関数の入力とし、出力としての各10bitのR’’G’’B’’をそれぞれ求める(画素値の割り付けを行う)。
 YCrCb変換部100は、矢印#304の先に示すように、R’’G’’B’’のBDグラフィックスを、各10bitのY’Cr’Cb’のBDグラフィックスに変換する。変換によって得られたY’Cr’Cb’のBD-Jグラフィックスが、HDR合成用グラフィックスとなる。
 図48は、合成処理の例を示す図である。
 再生装置2の合成部60は、矢印#321,#322の先に示すように、BD-Jグラフィックスに基づいて生成されたHDR合成用グラフィックスと、HEVCストリームをデコードして得られたHDRビデオを合成する。HDMI通信部61は、矢印#323の先に示すように、合成後のHDRビデオをHDR情報とともに表示装置3に出力する。
 このように、標準のダイナミックレンジのBD-JグラフィックスをHDRビデオに合成することにより、より見やすいグラフィックスの表示が可能となる。
[STDビデオとBD-Jグラフィックスの合成]
 図49は、STDビデオとBD-Jグラフィックスの合成処理の例を示す図である。
 再生装置2のグラフィックス処理部59を構成するYCrCb変換部100は、矢印#331の先に示すように、BD-Jオブジェクトを実行することによって得られたRGBのBD-Jグラフィックスに対してYCrCb変換を施す。YCrCb変換後のBD-Jグラフィックスは各8bitのYCrCb値により表される。各8bitのYCrCbはそれぞれ10bitにシフトされる。
 合成部60は、矢印#332,#333の先に示すように、各10bitのYCrCbのBD-JグラフィックスとSTDビデオを合成する。HDMI通信部61は、矢印#334の先に示すように、合成後のSTDビデオを表示装置3に出力する。
[各装置の構成について]
 ここで、以上のようなBD-Jグラフィックスの合成を実現する各装置の構成について説明する。上述した構成と同じ構成には同じ符号を付してある。重複する説明については適宜省略する。
 図50は、記録装置1の構成例を示すブロック図である。
 コントローラ21においては、所定のプログラムが実行されることによってData Base情報生成部21AとBD-Jオブジェクト生成部21Bが実現される。Data Base情報生成部21Aは、Data Base情報であるPlayListとClip Informationを生成し、ディスクドライブ25に出力する。
 BD-Jオブジェクト生成部21Bは、入力されたグラフィックスのデータに基づいて、BD-Jグラフィックスの再生コマンドを記述するBD-Jオブジェクトを生成する。BD-Jオブジェクト生成部21Bは、生成したBD-Jオブジェクトをディスクドライブ25に出力する。
 ビデオ符号化処理部22は、マスターのHDRビデオの符号化を行う。ビデオ符号化処理部22は、マスターのHDRビデオを符号化して得られたHEVCストリームを多重化部24に出力する。
 多重化部24は、ビデオ符号化処理部22から供給されたHEVCストリームと各種のデータを多重化し、多重化ストリームをディスクドライブ25に出力する。
 ディスクドライブ25は、コントローラ21から供給されたPlayList、Clip Information、およびBD-Jオブジェクトと、多重化部24から供給された多重化ストリームを格納するファイルを、図22のディレクトリ構造に従って光ディスク11に記録する。
 図51は、再生装置2の構成例を示すブロック図である。
 コントローラ51においては、ディスクドライブ52から供給されるBD-Jオブジェクトが実行されることによってBD-Jオブジェクト実行部51Aが実現される。BD-Jオブジェクト実行部51Aは、BD-Jグラフィックスの復号部として機能し、再生コマンドに従ってBD-Jグラフィックスのデータを生成する。BD-Jオブジェクト実行部51Aは、生成したBD-Jグラフィックスのデータをグラフィックス処理部59に出力する。
 ディスクドライブ52は、光ディスク11から読み出したData Base情報とBD-Jオブジェクトをコントローラ51に出力し、多重化ストリームを分離部57に出力する。
 分離部57は、ディスクドライブ52から供給された多重化ストリームから、HEVCストリームのデータを分離する。分離部57は、分離したHEVCストリームのデータをビデオ復号処理部58に出力する。
 グラフィックス処理部59は、BD-Jオブジェクト実行部51Aから供給されたBD-Jグラフィックスのデータを処理し、BD-Jグラフィックスのデータを合成部60に出力する。
 合成部60は、ビデオ復号処理部58から供給されたHDRビデオまたはSTDビデオと、グラフィックス処理部59から供給されたBD-Jグラフィックスを合成し、BD-Jグラフィックスの合成後のHDRビデオまたはSTDビデオのデータをHDMI通信部61に出力する。
 図52は、グラフィックス処理部59の構成例を示すブロック図である。
 BD-Jオブジェクト実行部51Aから供給されたBD-Jグラフィックスのデータは逆ガンマ変換部96とYCrCb変換部100に入力される。ビデオ復号処理部58から供給されたHDR情報はHDR情報取得部97に入力される。
 逆ガンマ変換部96は、BD-Jグラフィックスに対して逆ガンマ変換を施し、割り付け部99に出力する。
 HDR情報取得部97は、ビデオ復号処理部58から供給されたHDR情報を取得し、計算部98に出力する。
 計算部98は、BD-Jグラフィックスの各画素値を入力とし、その画素値が示す輝度と同じ輝度を示す、HDRビデオのガンマ関数系における10bitの画素値を出力とする割り付け用関数を、HDR情報取得部97により取得されたHDR情報に基づいて計算する。計算部98は、計算により求めた割り付け用関数を割り付け部99に出力する。
 割り付け部99は、計算部98により求められた割り付け用関数に基づいて、逆ガンマ変換後のBD-JグラフィックスのRGBの各画素値を、HDRビデオのガンマ関数系における画素値に割り付ける。割り付け部99は、割り付け後の各10bitのRGB値により表されるBD-JグラフィックスをYCrCb変換部100に出力する。
 YCrCb変換部100は、割り付け部99から供給されたRGBのBDグラフィックスを、各10bitのYCrCbのBDグラフィックスに変換し、HDR合成用グラフィックスとして合成部60に出力する。
 また、YCrCb変換部100は、BD-JグラフィックスをSTDビデオに合成する場合、BD-Jオブジェクト実行部51Aから供給されたRGBのBD-JグラフィックスをYCrCbのBD-Jグラフィックスに変換する。YCrCb変換部100は、ビットシフト後の各10bitのYCrCbのBD-JグラフィックスをSTD合成用グラフィックスとして合成部60に出力する。
 なお、BD-Jグラフィックスに関する処理を実現する図50の各構成を図27の記録装置1に設けることも可能である。また、BD-Jグラフィックスに関する処理を実現する図51の各構成を図32の再生装置2に設けることも可能である。
<8.変形例>
[CLUTを加工する例]
 BDグラフィックスをHDRビデオに合成する場合、BDグラフィックスの各画素値をHDRビデオのガンマ関数系における画素値に割り付けてHDR合成用のデータを生成するものとしたが、CLUTをHDR情報に基づいて加工し、加工後のCLUTを用いて変換を行うことによってHDR合成用のデータを生成するようにしてもよい。
 この場合、グラフィックスストリームに含まれるパレット情報に基づいて定義されるCLUTは、HDRビデオのガンマ関数系における各10bitの画素値を出力するものとなるようにHDR情報に基づいて加工される。
 図53は、CLUTの加工を行ってHDR合成用グラフィックスを生成する処理の例を示す図である。
 再生装置2のグラフィックス処理部59を構成するCLUT管理部94は、矢印#351の先に示すように、パレット情報に基づいて定義されるCLUTを、HDR情報に基づいて、HDRビデオのガンマ関数系における各10bitの画素値を出力するCLUTに加工する。パレット情報に基づいて定義される加工前のCLUTは、入力値に対して、BDグラフィックのガンマ関数系における各8bitのYCrCbを出力するテーブルである。
 CLUT管理部94は、矢印352の先に示すように、例えばPGストリームをデコードして得られたBDグラフィックスに対して加工後のCLUTを用いた変換を施す。CLUT変換後のBDグラフィックスは、各10bitのY’Cr’Cb’の画素値により表される。CLUT変換後のY’Cr’Cb’のBDグラフィックスが、HDR合成用グラフィックスとして用いられる。
 合成部60は、矢印#353,#354の先に示すように、HDR合成用グラフィックスとHDRビデオを合成し、矢印#355の先に示すように、合成後のHDRビデオをHDR情報とともに表示装置3に出力する。
 このように、HDR情報に基づいてCLUTを加工し、加工後のCLUTを用いて変換を行うことによってHDR合成用のBDグラフィックスを生成するようにすることも可能である。
 図54は、CLUTの加工を行うグラフィックス処理部59の構成を示すブロック図である。図54のグラフィックス処理部59を含む再生装置2の構成は、図32に示す構成と同じ構成である。
 図54に示す構成のうち、図35に示す構成と同じ構成には同じ符号を付してある。重複する説明については適宜省略する。
 CLUT管理部94は、グラフィックスコントローラ115から供給されるパレット情報に基づいて定義されるCLUTを記憶する。加工前のCLUTは、入力値と各8bitのYCrCbの各画素値とを対応付けたテーブルである。
 CLUT管理部94は、BDグラフィックスをHDRビデオに合成する場合、HDR情報取得部97から供給されるHDR情報に基づいて、記憶しているCLUTを、HDRビデオのガンマ関数系における各10bitのYCrCb(図53のY’Cr’Cb’)の画素値を出力するCLUTに加工する。CLUT管理部94は、加工後のCLUTに基づいて、グラフィックスプレーン生成部93から供給されたBDグラフィックスプレーンのデータを各10bitのYCrCb値からなるデータに変換し、HDR合成用グラフィックスとして出力する。
 一方、BDグラフィックスをSTDビデオに合成する場合、CLUT管理部94は、パレット情報に基づいて定義されるCLUTに基づいて、グラフィックスプレーン生成部93から供給されたBDグラフィックスプレーンのデータを各8bitのYCrCb値からなるデータに変換する。CLUT管理部94は、各8bitのYCrCb値からなるBDグラフィックスプレーンのデータをSTD合成用グラフィックスとして出力する。
 HDR情報取得部97は、ビデオ復号処理部58から供給されたHDR情報を取得し、CLUT管理部94に出力する。
 このような構成を有するグラフィックス処理部59を含む再生装置2の処理は、HDR合成用グラフィックスを生成する処理を除いて、図41乃至図43の処理と同じ処理である。
 図55のフローチャートを参照して、図42のステップS65、または図43のステップS86において行われる他のHDR合成用グラフィックス生成処理について説明する。
 ステップS201において、グラフィックス処理部59のHDR情報取得部97は、ビデオ復号処理部58のパラメータ抽出部71により抽出されたHDR情報を取得する。
 ステップS202において、CLUT管理部94は、HDR情報取得部97により取得されたHDR情報に基づいてCLUTを加工する。
 ステップS203において、グラフィックスデコーダ92は、グラフィックスストリームをデコードする。グラフィックスストリームをデコードすることによって得られたデータに基づいて、グラフィックスプレーン生成部93によりBDグラフィックスプレーンが生成される。
 ステップS204において、CLUT管理部94は、加工後のCLUTに基づいて、BDグラフィックスプレーンを各10bitのYCrCb値からなるデータに変換し、HDR合成用グラフィックスとして合成部60に出力する。その後、図42のステップS65、または図43のステップS86に戻り、それ以降の処理が行われる。
 以上のようにCLUTを加工してHDR合成用のBDグラフィックスを生成することによっても、見やすいグラフィックスの表示が可能となる。
[グラフィックスのダイナミックレンジを可変とする例]
 以上においては、0-100%の固定の範囲のダイナミックレンジを有するグラフィックスを再生装置2の内部で生成し、HDRビデオに合成するものとしたが、グラフィックスのダイナミックレンジが可変であってもよい。この場合、どの範囲のダイナミックレンジを有するグラフィックスを生成するのかが、光ディスク11に記録された情報によって、またはユーザによる操作によって再生装置2に対して指定される。
 例えば、200%などの、グラフィックスのダイナミックレンジの上限を指定する情報がClip informationやPlayListに記述されることによって、再生装置2に対して、グラフィックスのダイナミックレンジが指定される。
 また、新規のナビゲーションコマンドが追加され、ムービーオブジェクトに記述されるナビゲーションコマンドによって、グラフィックスのダイナミックレンジが再生装置2に対して指定されるようにしてもよい。
 新規のAPIが追加され、BD-Jオブジェクトに記述されるコマンドによって、グラフィックスのダイナミックレンジが再生装置2に対して指定されるようにしてもよい。
 ユーザの操作によって、グラフィックスのダイナミックレンジが再生装置2に対して指定されるようにしてもよい。
 再生装置2に対するグラフィックスのダイナミックレンジの指定は、1つの引数を用いて行われる。例えば、引数が100である場合、それは、ダイナミックレンジの最大輝度が100%であることを表す。引数が100未満である場合も同様にして扱われる。
 なお、引数は、extended_range_white_levelにより指定される、HDRビデオのダイナミックレンジの最大輝度未満とされる。引数としての値がextended_range_white_levelにより指定される値を超えている場合、グラフィックスのダイナミックレンジの最大輝度は、extended_range_white_levelにより指定される輝度であるとして扱われる。
 このように、0-101%以上の範囲をグラフィックスのダイナミックレンジとして再生装置2に対して指定することができるようにしてもよい。
 図56は、0-101%以上のダイナミックレンジが指定された場合の画素値の割り付けの概念を示す図である。
 図56の右側に示すように、オリジナルのBDグラフィックスの画素値である値V21は、ガンマ関数F11により示されるBDグラフィックスの関数系において輝度Y1を表す。例えば、最大輝度が、標準の輝度である100%の2倍である200%として指定されている場合、矢印#401に示すように、輝度Y1の2倍の輝度である輝度Y2を示す、HDRビデオのガンマ関数系における画素値である値V31に割り付けられる。このような画素値の割り付けが、割り付け部99により行われる。
[その他の変形例]
 HDRビデオのデータを再生装置2から表示装置3に送信する場合、HDR情報を付加して送信するものとしたが、HDR情報を付加しないで送信するようにしてもよい。
 また、再生装置2がBD Playerである場合について主に説明したが、再生装置2が有する上述した機能を携帯端末に搭載するようにしてもよい。この場合、携帯端末が再生装置2としての役割を有することになる。
 さらに、再生装置2が再生するコンテンツがリムーバブルメディアに記録されたコンテンツであるとしたが、上述した技術は、ネットワークを介して配信されたコンテンツを再生する場合にも適用可能である。この場合、再生装置2は、インターネットなどのネットワークを介して接続されたサーバから送信されてきたコンテンツを受信し、再生してHDRビデオを表示装置3に出力することになる。
[コンピュータの構成例]
 上述した一連の処理は、ハードウェアにより実行することもできるし、ソフトウェアにより実行することもできる。一連の処理をソフトウェアにより実行する場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または汎用のパーソナルコンピュータなどに、プログラム記録媒体からインストールされる。
 図57は、上述した一連の処理をプログラムにより実行するコンピュータのハードウェアの構成例を示すブロック図である。
 CPU501、ROM502、RAM503は、バス504により相互に接続されている。
 バス504には、さらに、入出力インタフェース505が接続されている。入出力インタフェース505には、キーボード、マウスなどよりなる入力部506、ディスプレイ、スピーカなどよりなる出力部507が接続される。また、入出力インタフェース505には、ハードディスクや不揮発性のメモリなどよりなる記憶部508、ネットワークインタフェースなどよりなる通信部509、リムーバブルメディア511を駆動するドライブ510が接続される。
 以上のように構成されるコンピュータでは、CPU501が、例えば、記憶部508に記憶されているプログラムを入出力インタフェース505及びバス504を介してRAM503にロードして実行することにより、上述した一連の処理が行われる。
 CPU501が実行するプログラムは、例えばリムーバブルメディア511に記録して、あるいは、ローカルエリアネットワーク、インターネット、デジタル放送といった、有線または無線の伝送媒体を介して提供され、記憶部508にインストールされる。
 なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。
 本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。
 なお、本明細書において、システムとは、複数の構成要素(装置、モジュール(部品)等)の集合を意味し、すべての構成要素が同一筐体中にあるか否かは問わない。したがって、別個の筐体に収納され、ネットワークを介して接続されている複数の装置、及び、1つの筐体の中に複数のモジュールが収納されている1つの装置は、いずれも、システムである。
 なお、本明細書に記載された効果はあくまで例示であって限定されるものでは無く、また他の効果があってもよい。
[構成の組み合わせ例]
 本技術は、以下のような構成をとることもできる。
(1)
 第1の輝度範囲より広い第2の輝度範囲のビデオである拡張ビデオの符号化データ、前記拡張ビデオの輝度の特性を示す輝度特性情報、および、前記拡張ビデオに重畳される、前記第1の輝度範囲のグラフィックスのデータを記録した記録媒体から、前記符号化データ、前記輝度特性情報、および前記グラフィックスのデータを読み出す読み出し部と、
 前記符号化データを復号する第1の復号部と、
 前記グラフィックスのデータを復号する第2の復号部と、
 復号して得られた前記グラフィックスの第1の画素値を、前記グラフィックスの輝度の特性上で前記第1の画素値が示す輝度と同じ輝度を示す、前記輝度特性情報により表される前記拡張ビデオの輝度の特性上における第2の画素値に変換する第1の変換部と、
 前記符号化データを復号して得られた前記拡張ビデオと、前記第2の画素値のグラフィックスを合成する合成部と
 を備える再生装置。
(2)
 前記拡張ビデオを表示可能な表示装置に対して、前記グラフィックスを合成した前記拡張ビデオのデータと前記輝度特性情報を出力する出力部をさらに備える
 前記(1)に記載の再生装置。
(3)
 前記拡張ビデオを、前記第1の輝度範囲のビデオである標準ビデオに変換する第2の変換部をさらに備え、
 前記読み出し部は、前記記録媒体に記録されている、前記拡張ビデオから前記標準ビデオへの輝度変換を行うときに用いられる輝度変換定義情報をさらに読み出し、
 前記第2の変換部は、前記記録媒体から読み出された前記輝度変換定義情報に基づいて、前記拡張ビデオを前記標準ビデオに変換する
 前記(1)または(2)に記載の再生装置。
(4)
 前記合成部は、前記標準ビデオと、前記第1の画素値の前記グラフィックスを合成する
 前記(3)に記載の再生装置。
(5)
 前記拡張ビデオを表示することができない表示装置に対して、前記グラフィックスを合成した前記標準ビデオのデータを出力する出力部をさらに備える
 前記(4)に記載の再生装置。
(6)
 前記輝度特性情報と前記輝度変換定義情報は、前記符号化データを含むストリームに前記符号化データの補助情報として挿入され、前記記録媒体に記録される
 前記(3)乃至(5)のいずれかに記載の再生装置。
(7)
 前記符号化データはHEVCの符号化データであり、前記輝度特性情報と前記輝度変換定義情報はHEVCストリームのSEIである
 前記(3)乃至(6)のいずれかに記載の再生装置。
(8)
 第1の輝度範囲より広い第2の輝度範囲のビデオである拡張ビデオの符号化データ、前記拡張ビデオの輝度の特性を示す輝度特性情報、および、前記拡張ビデオに重畳される、前記第1の輝度範囲のグラフィックスのデータを記録した記録媒体から、前記符号化データ、前記輝度特性情報、および前記グラフィックスのデータを読み出し、
 前記符号化データを復号し、
 前記グラフィックスのデータを復号し、
 復号して得られた前記グラフィックスの第1の画素値を、前記グラフィックスの輝度の特性上で前記第1の画素値が示す輝度と同じ輝度を示す、前記輝度特性情報により表される前記拡張ビデオの輝度の特性上における第2の画素値に変換し、
 前記符号化データを復号して得られた前記拡張ビデオと、前記第2の画素値のグラフィックスを合成する
 ステップを含む再生方法。
(9)
 第1の輝度範囲より広い第2の輝度範囲のビデオである拡張ビデオの符号化データと、
 前記拡張ビデオの輝度の特性を示す輝度特性情報と、
 前記拡張ビデオに重畳される、前記第1の輝度範囲のグラフィックスのデータと
 を記録した記録媒体であって、
 前記記録媒体を再生する再生装置においては、
 前記記録媒体から、前記符号化データ、前記輝度特性情報、および前記グラフィックスのデータを読み出し、
 前記符号化データを復号し、
 前記グラフィックスのデータを復号し、
 復号して得られた前記グラフィックスの第1の画素値を、前記グラフィックスの輝度の特性上で前記第1の画素値が示す輝度と同じ輝度を示す、前記輝度特性情報により表される前記拡張ビデオの輝度の特性上における第2の画素値に変換し、
 前記符号化データを復号して得られた前記拡張ビデオと、前記第2の画素値のグラフィックスを合成する
 処理が行われる記録媒体。
(10)
 第1の輝度範囲より広い第2の輝度範囲のビデオである拡張ビデオの輝度変換を行って得られた、前記第1の輝度範囲のビデオである標準ビデオの符号化データ、前記拡張ビデオの輝度の特性を示す輝度特性情報、前記標準ビデオから前記拡張ビデオへの輝度変換を行うときに用いられる輝度変換定義情報、および、前記拡張ビデオに重畳される、前記第1の輝度範囲のグラフィックスのデータを記録した記録媒体から、前記符号化データ、前記輝度特性情報、前記輝度変換定義情報、および前記グラフィックスのデータを読み出す読み出し部と、
 前記符号化データを復号する第1の復号部と、
 前記符号化データを復号して得られた前記標準ビデオを、前記輝度変換定義情報に基づいて前記拡張ビデオに変換する第1の変換部と、
 前記グラフィックスのデータを復号する第2の復号部と、
 前記グラフィックスのデータを復号して得られた前記グラフィックスの第1の画素値を、前記グラフィックスの輝度の特性上で前記第1の画素値が示す輝度と同じ輝度を示す、前記輝度特性情報により表される前記拡張ビデオの輝度の特性上における第2の画素値に変換する第2の変換部と、
 前記標準ビデオを変換して得られた前記拡張ビデオと、前記第2の画素値のグラフィックスを合成する合成部と
 を備える再生装置。
(11)
 前記拡張ビデオを表示可能な表示装置に対して、前記グラフィックスを合成した前記拡張ビデオのデータと前記輝度特性情報を出力する出力部をさらに備える
 前記(10)に記載の再生装置。
(12)
 前記合成部は、前記符号化データを復号して得られた前記標準ビデオと、前記第1の画素値の前記グラフィックスを合成する
 前記(10)に記載の再生装置。
(13)
 前記拡張ビデオを表示することができない表示装置に対して、前記グラフィックスを合成した前記標準ビデオのデータを出力する出力部をさらに備える
 前記(12)に記載の再生装置。
(14)
 前記輝度特性情報と前記輝度変換定義情報は、前記符号化データを含むストリームに前記符号化データの補助情報として挿入され、前記記録媒体に記録される
 前記(10)乃至(13)のいずれかに記載の再生装置。
(15)
 前記符号化データはHEVCの符号化データであり、前記輝度特性情報と前記輝度変換定義情報はHEVCストリームのSEIである
 前記(14)に記載の再生装置。
(16)
 第1の輝度範囲より広い第2の輝度範囲のビデオである拡張ビデオの輝度変換を行って得られた、前記第1の輝度範囲のビデオである標準ビデオの符号化データ、前記拡張ビデオの輝度の特性を示す輝度特性情報、前記標準ビデオから前記拡張ビデオへの輝度変換を行うときに用いられる輝度変換定義情報、および、前記拡張ビデオに重畳される、前記第1の輝度範囲のグラフィックスのデータを記録した記録媒体から、前記符号化データ、前記輝度特性情報、前記輝度変換定義情報、および前記グラフィックスのデータを読み出し、
 前記符号化データを復号し、
 前記符号化データを復号して得られた前記標準ビデオを、前記輝度変換定義情報に基づいて前記拡張ビデオに変換し、
 前記グラフィックスのデータを復号し、
 前記グラフィックスのデータを復号して得られた前記グラフィックスの第1の画素値を、前記グラフィックスの輝度の特性上で前記第1の画素値が示す輝度と同じ輝度を示す、前記輝度特性情報により表される前記拡張ビデオの輝度の特性上における第2の画素値に変換し、
 前記標準ビデオを変換して得られた前記拡張ビデオと、前記第2の画素値のグラフィックスを合成する
 ステップを含む再生方法。
(17)
 第1の輝度範囲より広い第2の輝度範囲のビデオである拡張ビデオの輝度変換を行って得られた、前記第1の輝度範囲のビデオである標準ビデオの符号化データと、
 前記拡張ビデオの輝度の特性を示す輝度特性情報と、
 前記標準ビデオから前記拡張ビデオへの輝度変換を行うときに用いられる輝度変換定義情報と、
 前記拡張ビデオに重畳される、前記第1の輝度範囲のグラフィックスのデータと
 を記録した記録媒体であって、
 前記記録媒体を再生する再生装置においては、
 前記記録媒体から、前記符号化データ、前記輝度特性情報、前記輝度変換定義情報、および前記グラフィックスのデータを読み出し、
 前記符号化データを復号し、
 前記符号化データを復号して得られた前記標準ビデオを、前記輝度変換定義情報に基づいて前記拡張ビデオに変換し、
 前記グラフィックスのデータを復号し、
 前記グラフィックスのデータを復号して得られた前記グラフィックスの第1の画素値を、前記グラフィックスの輝度の特性上で前記第1の画素値が示す輝度と同じ輝度を示す、前記輝度特性情報により表される前記拡張ビデオの輝度の特性上における第2の画素値に変換し、
 前記標準ビデオを変換して得られた前記拡張ビデオと、前記第2の画素値のグラフィックスを合成する
 処理が行われる記録媒体。
 1 記録装置, 2 再生装置, 3 表示装置, 11 光ディスク, 21 コントローラ, 21A Data Base情報生成部, 22 符号化処理部, 23 グラフィックスエンコーダ, 24 多重化部, 25 ディスクドライブ, 31 HDR情報生成部, 32 HEVCエンコーダ, 33 HDR-STD変換部, 34 定義情報生成部, 35 HEVCストリーム生成部, 51 コントローラ, 52 ディスクドライブ, 53 メモリ, 57 分離部, 58 ビデオ復号処理部, 59 グラフィックス処理部, 60 合成部, 61 HDMI通信部, 71 パラメータ抽出部, 72 HEVCデコーダ, 73 HDR-STD変換部, 74 STD-HDR変換部, 75 出力部

Claims (17)

  1.  第1の輝度範囲より広い第2の輝度範囲のビデオである拡張ビデオの符号化データ、前記拡張ビデオの輝度の特性を示す輝度特性情報、および、前記拡張ビデオに重畳される、前記第1の輝度範囲のグラフィックスのデータを記録した記録媒体から、前記符号化データ、前記輝度特性情報、および前記グラフィックスのデータを読み出す読み出し部と、
     前記符号化データを復号する第1の復号部と、
     前記グラフィックスのデータを復号する第2の復号部と、
     復号して得られた前記グラフィックスの第1の画素値を、前記グラフィックスの輝度の特性上で前記第1の画素値が示す輝度と同じ輝度を示す、前記輝度特性情報により表される前記拡張ビデオの輝度の特性上における第2の画素値に変換する第1の変換部と、
     前記符号化データを復号して得られた前記拡張ビデオと、前記第2の画素値のグラフィックスを合成する合成部と
     を備える再生装置。
  2.  前記拡張ビデオを表示可能な表示装置に対して、前記グラフィックスを合成した前記拡張ビデオのデータと前記輝度特性情報を出力する出力部をさらに備える
     請求項1に記載の再生装置。
  3.  前記拡張ビデオを、前記第1の輝度範囲のビデオである標準ビデオに変換する第2の変換部をさらに備え、
     前記読み出し部は、前記記録媒体に記録されている、前記拡張ビデオから前記標準ビデオへの輝度変換を行うときに用いられる輝度変換定義情報をさらに読み出し、
     前記第2の変換部は、前記記録媒体から読み出された前記輝度変換定義情報に基づいて、前記拡張ビデオを前記標準ビデオに変換する
     請求項1に記載の再生装置。
  4.  前記合成部は、前記標準ビデオと、前記第1の画素値の前記グラフィックスを合成する
     請求項3に記載の再生装置。
  5.  前記拡張ビデオを表示することができない表示装置に対して、前記グラフィックスを合成した前記標準ビデオのデータを出力する出力部をさらに備える
     請求項4に記載の再生装置。
  6.  前記輝度特性情報と前記輝度変換定義情報は、前記符号化データを含むストリームに前記符号化データの補助情報として挿入され、前記記録媒体に記録される
     請求項3に記載の再生装置。
  7.  前記符号化データはHEVCの符号化データであり、前記輝度特性情報と前記輝度変換定義情報はHEVCストリームのSEIである
     請求項6に記載の再生装置。
  8.  第1の輝度範囲より広い第2の輝度範囲のビデオである拡張ビデオの符号化データ、前記拡張ビデオの輝度の特性を示す輝度特性情報、および、前記拡張ビデオに重畳される、前記第1の輝度範囲のグラフィックスのデータを記録した記録媒体から、前記符号化データ、前記輝度特性情報、および前記グラフィックスのデータを読み出し、
     前記符号化データを復号し、
     前記グラフィックスのデータを復号し、
     復号して得られた前記グラフィックスの第1の画素値を、前記グラフィックスの輝度の特性上で前記第1の画素値が示す輝度と同じ輝度を示す、前記輝度特性情報により表される前記拡張ビデオの輝度の特性上における第2の画素値に変換し、
     前記符号化データを復号して得られた前記拡張ビデオと、前記第2の画素値のグラフィックスを合成する
     ステップを含む再生方法。
  9.  第1の輝度範囲より広い第2の輝度範囲のビデオである拡張ビデオの符号化データと、
     前記拡張ビデオの輝度の特性を示す輝度特性情報と、
     前記拡張ビデオに重畳される、前記第1の輝度範囲のグラフィックスのデータと
     を記録した記録媒体であって、
     前記記録媒体を再生する再生装置においては、
     前記記録媒体から、前記符号化データ、前記輝度特性情報、および前記グラフィックスのデータを読み出し、
     前記符号化データを復号し、
     前記グラフィックスのデータを復号し、
     復号して得られた前記グラフィックスの第1の画素値を、前記グラフィックスの輝度の特性上で前記第1の画素値が示す輝度と同じ輝度を示す、前記輝度特性情報により表される前記拡張ビデオの輝度の特性上における第2の画素値に変換し、
     前記符号化データを復号して得られた前記拡張ビデオと、前記第2の画素値のグラフィックスを合成する
     処理が行われる記録媒体。
  10.  第1の輝度範囲より広い第2の輝度範囲のビデオである拡張ビデオの輝度変換を行って得られた、前記第1の輝度範囲のビデオである標準ビデオの符号化データ、前記拡張ビデオの輝度の特性を示す輝度特性情報、前記標準ビデオから前記拡張ビデオへの輝度変換を行うときに用いられる輝度変換定義情報、および、前記拡張ビデオに重畳される、前記第1の輝度範囲のグラフィックスのデータを記録した記録媒体から、前記符号化データ、前記輝度特性情報、前記輝度変換定義情報、および前記グラフィックスのデータを読み出す読み出し部と、
     前記符号化データを復号する第1の復号部と、
     前記符号化データを復号して得られた前記標準ビデオを、前記輝度変換定義情報に基づいて前記拡張ビデオに変換する第1の変換部と、
     前記グラフィックスのデータを復号する第2の復号部と、
     前記グラフィックスのデータを復号して得られた前記グラフィックスの第1の画素値を、前記グラフィックスの輝度の特性上で前記第1の画素値が示す輝度と同じ輝度を示す、前記輝度特性情報により表される前記拡張ビデオの輝度の特性上における第2の画素値に変換する第2の変換部と、
     前記標準ビデオを変換して得られた前記拡張ビデオと、前記第2の画素値のグラフィックスを合成する合成部と
     を備える再生装置。
  11.  前記拡張ビデオを表示可能な表示装置に対して、前記グラフィックスを合成した前記拡張ビデオのデータと前記輝度特性情報を出力する出力部をさらに備える
     請求項10に記載の再生装置。
  12.  前記合成部は、前記符号化データを復号して得られた前記標準ビデオと、前記第1の画素値の前記グラフィックスを合成する
     請求項10に記載の再生装置。
  13.  前記拡張ビデオを表示することができない表示装置に対して、前記グラフィックスを合成した前記標準ビデオのデータを出力する出力部をさらに備える
     請求項12に記載の再生装置。
  14.  前記輝度特性情報と前記輝度変換定義情報は、前記符号化データを含むストリームに前記符号化データの補助情報として挿入され、前記記録媒体に記録される
     請求項10に記載の再生装置。
  15.  前記符号化データはHEVCの符号化データであり、前記輝度特性情報と前記輝度変換定義情報はHEVCストリームのSEIである
     請求項14に記載の再生装置。
  16.  第1の輝度範囲より広い第2の輝度範囲のビデオである拡張ビデオの輝度変換を行って得られた、前記第1の輝度範囲のビデオである標準ビデオの符号化データ、前記拡張ビデオの輝度の特性を示す輝度特性情報、前記標準ビデオから前記拡張ビデオへの輝度変換を行うときに用いられる輝度変換定義情報、および、前記拡張ビデオに重畳される、前記第1の輝度範囲のグラフィックスのデータを記録した記録媒体から、前記符号化データ、前記輝度特性情報、前記輝度変換定義情報、および前記グラフィックスのデータを読み出し、
     前記符号化データを復号し、
     前記符号化データを復号して得られた前記標準ビデオを、前記輝度変換定義情報に基づいて前記拡張ビデオに変換し、
     前記グラフィックスのデータを復号し、
     前記グラフィックスのデータを復号して得られた前記グラフィックスの第1の画素値を、前記グラフィックスの輝度の特性上で前記第1の画素値が示す輝度と同じ輝度を示す、前記輝度特性情報により表される前記拡張ビデオの輝度の特性上における第2の画素値に変換し、
     前記標準ビデオを変換して得られた前記拡張ビデオと、前記第2の画素値のグラフィックスを合成する
     ステップを含む再生方法。
  17.  第1の輝度範囲より広い第2の輝度範囲のビデオである拡張ビデオの輝度変換を行って得られた、前記第1の輝度範囲のビデオである標準ビデオの符号化データと、
     前記拡張ビデオの輝度の特性を示す輝度特性情報と、
     前記標準ビデオから前記拡張ビデオへの輝度変換を行うときに用いられる輝度変換定義情報と、
     前記拡張ビデオに重畳される、前記第1の輝度範囲のグラフィックスのデータと
     を記録した記録媒体であって、
     前記記録媒体を再生する再生装置においては、
     前記記録媒体から、前記符号化データ、前記輝度特性情報、前記輝度変換定義情報、および前記グラフィックスのデータを読み出し、
     前記符号化データを復号し、
     前記符号化データを復号して得られた前記標準ビデオを、前記輝度変換定義情報に基づいて前記拡張ビデオに変換し、
     前記グラフィックスのデータを復号し、
     前記グラフィックスのデータを復号して得られた前記グラフィックスの第1の画素値を、前記グラフィックスの輝度の特性上で前記第1の画素値が示す輝度と同じ輝度を示す、前記輝度特性情報により表される前記拡張ビデオの輝度の特性上における第2の画素値に変換し、
     前記標準ビデオを変換して得られた前記拡張ビデオと、前記第2の画素値のグラフィックスを合成する
     処理が行われる記録媒体。
PCT/JP2014/067645 2013-07-12 2014-07-02 再生装置、再生方法、および記録媒体 WO2015005189A1 (ja)

Priority Applications (7)

Application Number Priority Date Filing Date Title
CA2917212A CA2917212C (en) 2013-07-12 2014-07-02 Reproduction device, reproduction method, and recording medium
MX2015017583A MX352400B (es) 2013-07-12 2014-07-02 Dispositivo de reproducción, método de reproducción y medio de grabación.
EP14823715.9A EP3021573B1 (en) 2013-07-12 2014-07-02 Player device, play method, and recording medium
US14/901,870 US10171787B2 (en) 2013-07-12 2014-07-02 Reproduction device, reproduction method, and recording medium for displaying graphics having appropriate brightness
JP2015526280A JP6528683B2 (ja) 2013-07-12 2014-07-02 再生装置、再生方法
CN201480037524.6A CN105359507B (zh) 2013-07-12 2014-07-02 再现装置、再现方法和记录介质
KR1020157034849A KR102223751B1 (ko) 2013-07-12 2014-07-02 재생 장치, 재생 방법, 및 기록 매체

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2013146740 2013-07-12
JP2013-146740 2013-07-12

Publications (1)

Publication Number Publication Date
WO2015005189A1 true WO2015005189A1 (ja) 2015-01-15

Family

ID=52279874

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2014/067645 WO2015005189A1 (ja) 2013-07-12 2014-07-02 再生装置、再生方法、および記録媒体

Country Status (10)

Country Link
US (1) US10171787B2 (ja)
EP (1) EP3021573B1 (ja)
JP (2) JP6528683B2 (ja)
KR (1) KR102223751B1 (ja)
CN (1) CN105359507B (ja)
CA (1) CA2917212C (ja)
MX (1) MX352400B (ja)
MY (1) MY173495A (ja)
TW (1) TWI627627B (ja)
WO (1) WO2015005189A1 (ja)

Cited By (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015141333A (ja) * 2014-01-29 2015-08-03 キヤノン株式会社 画像処理装置、画像処理方法、表示装置、表示装置の制御方法、及び、プログラム
WO2016038950A1 (ja) * 2014-09-11 2016-03-17 ソニー株式会社 画像処理装置及び画像処理方法
WO2016092759A1 (ja) * 2014-12-09 2016-06-16 パナソニックIpマネジメント株式会社 送信方法、受信方法、送信装置および受信装置
WO2016117383A1 (ja) * 2015-01-23 2016-07-28 ソニー株式会社 再生装置、情報処理方法、およびプログラム
WO2017026230A1 (ja) * 2015-08-11 2017-02-16 ソニー株式会社 情報処理装置、および情報処理方法、並びにプログラム
EP3145167A1 (en) * 2014-05-16 2017-03-22 Panasonic Intellectual Property Management Co., Ltd. Conversion method and conversion device
JP2017097941A (ja) * 2015-11-12 2017-06-01 ソニー株式会社 情報処理装置、情報記録媒体、および情報処理方法、並びにプログラム
JP2017134421A (ja) * 2014-06-10 2017-08-03 パナソニックIpマネジメント株式会社 再生装置、再生方法、および、コンピュータプログラム
WO2018012244A1 (ja) * 2016-07-11 2018-01-18 シャープ株式会社 映像信号変換装置、映像信号変換方法、映像信号変換システム、制御プログラム、および記録媒体
US20190075296A1 (en) * 2014-06-27 2019-03-07 Panasonic Intellectual Property Management Co., Ltd. Data output apparatus, data output method, and data generation method
JP2019506817A (ja) * 2015-11-24 2019-03-07 コーニンクレッカ フィリップス エヌ ヴェKoninklijke Philips N.V. 複数のhdr画像ソースの処理
JP2019118058A (ja) * 2017-12-27 2019-07-18 キヤノン株式会社 電子機器
JP2019213215A (ja) * 2014-09-22 2019-12-12 パナソニックIpマネジメント株式会社 ネットワークサーバ装置および配信方法
US10708560B2 (en) 2014-09-22 2020-07-07 Panasonic Intellectual Property Management Co., Ltd. Reproduction method and reproduction apparatus
JP2020198612A (ja) * 2014-12-09 2020-12-10 パナソニックIpマネジメント株式会社 受信方法および受信装置

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
MX356133B (es) * 2013-09-27 2018-05-14 Sony Corp Dispositivo de reproducción, método de reproducción y medio de grabación.
KR101978222B1 (ko) 2014-07-11 2019-05-14 엘지전자 주식회사 방송 신호 송수신 방법 및 장치
KR20170007333A (ko) * 2014-07-11 2017-01-18 엘지전자 주식회사 방송 신호 송수신 방법 및 장치
US10368144B2 (en) 2014-07-29 2019-07-30 Lg Electronics Inc. Method and device for transmitting and receiving broadcast signal
WO2016038811A1 (ja) * 2014-09-12 2016-03-17 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 記録媒体、再生装置、および再生方法
US10924184B2 (en) 2014-11-07 2021-02-16 Sony Corporation Transmission apparatus, transmission method, reception apparatus, and reception method
HUE056171T2 (hu) * 2014-12-29 2022-01-28 Sony Group Corp Adókészülék, adási eljárás, vevõkészülék és vételi eljárás
US10200690B2 (en) * 2015-09-22 2019-02-05 Qualcomm Incorporated Video decoder conformance for high dynamic range (HDR) video coding using a core video standard
CN109792504B (zh) * 2016-09-29 2021-08-03 松下知识产权经营株式会社 再生方法、生成方法、再生装置、生成装置以及记录介质
KR102534495B1 (ko) * 2017-01-16 2023-05-22 소니그룹주식회사 비디오 처리 장치, 비디오 처리 방법 및 프로그램
US9986200B1 (en) * 2017-05-11 2018-05-29 Novatek Microelectronics Corp. Method and video conversion system of updating video setting
JP7117558B2 (ja) 2017-07-07 2022-08-15 パナソニックIpマネジメント株式会社 映像表示装置及び映像表示方法
EP3687162B1 (en) * 2017-09-21 2022-11-16 Sony Group Corporation Reproduction device, reproduction method and recording medium
CN111462268B (zh) * 2020-03-31 2022-11-11 北京市商汤科技开发有限公司 图像重建方法及装置、电子设备和存储介质

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006013750A (ja) * 2004-06-24 2006-01-12 Canon Inc 映像処理方法及び装置
JP2007257641A (ja) * 2006-03-24 2007-10-04 Sharp Corp トーンマッピングのメッセージングのための方法、システム、画像受信装置、画像送信装置、およびプログラム
JP2007534238A (ja) * 2004-04-23 2007-11-22 ブライトサイド テクノロジーズ インコーポレイテッド 高ダイナミックレンジ画像の符号化、復号化、及び表現
JP2009058692A (ja) 2007-08-30 2009-03-19 Sony Corp 表示装置およびその駆動方法、電子機器
JP2009089209A (ja) 2007-10-02 2009-04-23 Sony Computer Entertainment Inc 送信装置、画像データ送信方法、受信装置および受信装置における画像表示方法
JP2010213360A (ja) * 2006-02-24 2010-09-24 Sharp Corp 画像データの符号化方法
WO2012147010A1 (en) * 2011-04-28 2012-11-01 Koninklijke Philips Electronics N.V. Method and apparatus for generating an image coding signal

Family Cites Families (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2006025359A1 (ja) * 2004-09-03 2006-03-09 Sharp Kabushiki Kaisha 表示装置の駆動方法、表示装置の駆動装置、そのプログラムおよび記録媒体、並びに、表示装置
JP4372747B2 (ja) * 2005-01-25 2009-11-25 シャープ株式会社 輝度レベル変換装置、輝度レベル変換方法、固体撮像装置、輝度レベル変換プログラム、および記録媒体
US20070076971A1 (en) * 2005-09-30 2007-04-05 Nokia Corporation Compression of images for computer graphics
TWI466093B (zh) * 2007-06-26 2014-12-21 Apple Inc 用於視訊播放的管理技術
US8135230B2 (en) * 2007-07-30 2012-03-13 Dolby Laboratories Licensing Corporation Enhancing dynamic ranges of images
EP2045774B1 (en) * 2007-10-05 2016-05-04 Sony Computer Entertainment Europe Ltd. Homography estimation from multithreshold edges of a feature
WO2012122423A1 (en) * 2011-03-10 2012-09-13 Dolby Laboratories Licensing Corporation Pre-processing for bitdepth and color format scalable video coding
EP2684365A1 (en) * 2011-03-10 2014-01-15 Dolby Laboratories Licensing Corporation Bitdepth and color scalable video coding
US20130131985A1 (en) * 2011-04-11 2013-05-23 James D. Weiland Wearable electronic image acquisition and enhancement system and method for image acquisition and visual enhancement
WO2012172460A1 (en) * 2011-06-14 2012-12-20 Koninklijke Philips Electronics N.V. Graphics processing for high dynamic range video
UA116082C2 (uk) * 2011-09-27 2018-02-12 Конінклійке Філіпс Н.В. Пристрій та спосіб для перетворення динамічного діапазону зображень
JP2013110540A (ja) * 2011-11-18 2013-06-06 Sony Corp 画像データ送信装置、画像データ送信方法、画像データ受信装置および画像データ受信方法
EP2919471A4 (en) * 2012-11-12 2016-07-13 Lg Electronics Inc SIGNAL TRANSMITTING APPARATUS AND SIGNAL TRANSMITTING-RECEIVING METHOD
JP2014155005A (ja) * 2013-02-07 2014-08-25 Canon Inc 表示装置及びその制御方法
MY178948A (en) * 2013-06-20 2020-10-23 Sony Corp Reproduction device, reproduction method, and recording medium
JP2015005878A (ja) * 2013-06-20 2015-01-08 ソニー株式会社 再生装置、再生方法、および記録媒体
TWI630820B (zh) * 2013-07-19 2018-07-21 新力股份有限公司 File generation device, file generation method, file reproduction device, and file reproduction method
JP6241683B2 (ja) * 2013-08-20 2017-12-06 ソニー株式会社 再生装置、再生方法、および記録媒体
US9036908B2 (en) * 2013-09-30 2015-05-19 Apple Inc. Backwards compatible extended image format
US9854270B2 (en) * 2013-12-19 2017-12-26 Qualcomm Incorporated Device and method for scalable coding of video information
JP6381215B2 (ja) * 2014-01-29 2018-08-29 キヤノン株式会社 画像処理装置、画像処理方法、表示装置、表示装置の制御方法、及び、プログラム
US10880565B2 (en) * 2014-03-24 2020-12-29 Qualcomm Incorporated Use of specific HEVC SEI messages for multi-layer video codecs
WO2015175549A1 (en) * 2014-05-12 2015-11-19 Apple Inc. Techniques for hdr/wcr video coding
US9984446B2 (en) * 2015-12-26 2018-05-29 Intel Corporation Video tone mapping for converting high dynamic range (HDR) content to standard dynamic range (SDR) content

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007534238A (ja) * 2004-04-23 2007-11-22 ブライトサイド テクノロジーズ インコーポレイテッド 高ダイナミックレンジ画像の符号化、復号化、及び表現
JP2006013750A (ja) * 2004-06-24 2006-01-12 Canon Inc 映像処理方法及び装置
JP2010213360A (ja) * 2006-02-24 2010-09-24 Sharp Corp 画像データの符号化方法
JP2007257641A (ja) * 2006-03-24 2007-10-04 Sharp Corp トーンマッピングのメッセージングのための方法、システム、画像受信装置、画像送信装置、およびプログラム
JP2009058692A (ja) 2007-08-30 2009-03-19 Sony Corp 表示装置およびその駆動方法、電子機器
JP2009089209A (ja) 2007-10-02 2009-04-23 Sony Computer Entertainment Inc 送信装置、画像データ送信方法、受信装置および受信装置における画像表示方法
WO2012147010A1 (en) * 2011-04-28 2012-11-01 Koninklijke Philips Electronics N.V. Method and apparatus for generating an image coding signal

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
GARY SULLIVAN ET AL.: "New profiles for professional applications", AMENDMENT TO ITU-T REC. H.264 & ISO/IEC 14496-10(AMENDMENT 2 TO 2005 EDITION), JOINT VIDEO TEAM (JVT) OF ISO/IEC MPEG & ITU-T VCEG (ISO/IEC JTC 1/SC 29/WG 11 AND ITU-T SG 16 Q.6), JVT-V204, 22ND MEETING, January 2007 (2007-01-01), pages 1 - 4, XP030006948 *
SALLY HATTORI ET AL.: "Signalling of Luminance Dynamic Range in Tone mapping information SEI", JOINT COLLABORATIVE TEAM ON VIDEO CODING (JCT- VC) OF ITU-T SG 16 WP 3 AND ISO/IEC JTC 1/SC 29/WG 11, JCTVC-J0149, 10TH MEETING, July 2012 (2012-07-01), STOCKHOLM, SE, pages 1 - 7, XP030053806 *
See also references of EP3021573A4

Cited By (39)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015141333A (ja) * 2014-01-29 2015-08-03 キヤノン株式会社 画像処理装置、画像処理方法、表示装置、表示装置の制御方法、及び、プログラム
US11375168B2 (en) 2014-05-16 2022-06-28 Panasonic Intellectual Property Management Co., Ltd. Method for converting luminance range of picture signal
US9967533B2 (en) 2014-05-16 2018-05-08 Panasonic Intellectual Property Management Co., Ltd. Method for converting luminance range of picture signal
US11057600B2 (en) 2014-05-16 2021-07-06 Panasonic Intellectual Property Management Co., Ltd. Method for converting luminance range of picture signal
EP3678359A1 (en) * 2014-05-16 2020-07-08 Panasonic Intellectual Property Management Co., Ltd. Converting method and converting apparatus
EP3145167A1 (en) * 2014-05-16 2017-03-22 Panasonic Intellectual Property Management Co., Ltd. Conversion method and conversion device
EP3145167A4 (en) * 2014-05-16 2017-04-05 Panasonic Intellectual Property Management Co., Ltd. Conversion method and conversion device
US10708565B2 (en) 2014-05-16 2020-07-07 Panasonic Intellectual Property Management Co., Ltd. Method for converting luminance range of picture signal
US10362286B2 (en) 2014-05-16 2019-07-23 Panasonic Intellectual Property Management Co., Ltd. Method for converting luminance range of picture signal
JP2017134421A (ja) * 2014-06-10 2017-08-03 パナソニックIpマネジメント株式会社 再生装置、再生方法、および、コンピュータプログラム
JP2017134420A (ja) * 2014-06-10 2017-08-03 パナソニックIpマネジメント株式会社 再生装置、再生方法、及び、コンピュータプログラム
US11310507B2 (en) 2014-06-27 2022-04-19 Panasonic Intellectual Property Management Co., Ltd. Data output apparatus, data output method, and data generation method
US10645390B2 (en) * 2014-06-27 2020-05-05 Panasonic Intellectual Property Management Co., Ltd. Data output apparatus, data output method, and data generation method
US20190075296A1 (en) * 2014-06-27 2019-03-07 Panasonic Intellectual Property Management Co., Ltd. Data output apparatus, data output method, and data generation method
US11856200B2 (en) 2014-06-27 2023-12-26 Panasonic Intellectual Property Management Co., Ltd. Data output apparatus, data output method, and data generation method
US10032300B2 (en) 2014-09-11 2018-07-24 Sony Corporation Image processing apparatus and image processing method
JPWO2016038950A1 (ja) * 2014-09-11 2017-06-22 ソニー株式会社 画像処理装置及び画像処理方法
US9501855B2 (en) 2014-09-11 2016-11-22 Sony Corporation Image processing apparatus and image processing method
US9665964B2 (en) 2014-09-11 2017-05-30 Sony Corporation Image processing apparatus and image processing method
US10402681B2 (en) 2014-09-11 2019-09-03 Sony Corporation Image processing apparatus and image processing method
WO2016038950A1 (ja) * 2014-09-11 2016-03-17 ソニー株式会社 画像処理装置及び画像処理方法
JP2019213215A (ja) * 2014-09-22 2019-12-12 パナソニックIpマネジメント株式会社 ネットワークサーバ装置および配信方法
US10708560B2 (en) 2014-09-22 2020-07-07 Panasonic Intellectual Property Management Co., Ltd. Reproduction method and reproduction apparatus
JP2020198612A (ja) * 2014-12-09 2020-12-10 パナソニックIpマネジメント株式会社 受信方法および受信装置
WO2016092759A1 (ja) * 2014-12-09 2016-06-16 パナソニックIpマネジメント株式会社 送信方法、受信方法、送信装置および受信装置
JP7174924B2 (ja) 2014-12-09 2022-11-18 パナソニックIpマネジメント株式会社 受信方法および受信装置
JP7361289B2 (ja) 2014-12-09 2023-10-16 パナソニックIpマネジメント株式会社 受信方法および受信装置
JP2022095692A (ja) * 2014-12-09 2022-06-28 パナソニックIpマネジメント株式会社 受信方法および受信装置
US10547821B2 (en) 2015-01-23 2020-01-28 Sony Corporation Reproduction apparatus and information processing method
JPWO2016117383A1 (ja) * 2015-01-23 2017-11-02 ソニー株式会社 再生装置、情報処理方法、およびプログラム
CN107211108A (zh) * 2015-01-23 2017-09-26 索尼公司 再现设备、信息处理方法以及程序
CN107211108B (zh) * 2015-01-23 2020-10-13 索尼公司 再现设备、信息处理方法以及程序
WO2016117383A1 (ja) * 2015-01-23 2016-07-28 ソニー株式会社 再生装置、情報処理方法、およびプログラム
WO2017026230A1 (ja) * 2015-08-11 2017-02-16 ソニー株式会社 情報処理装置、および情報処理方法、並びにプログラム
JPWO2017026230A1 (ja) * 2015-08-11 2018-06-07 ソニー株式会社 情報処理装置、および情報処理方法、並びにプログラム
JP2017097941A (ja) * 2015-11-12 2017-06-01 ソニー株式会社 情報処理装置、情報記録媒体、および情報処理方法、並びにプログラム
JP2019506817A (ja) * 2015-11-24 2019-03-07 コーニンクレッカ フィリップス エヌ ヴェKoninklijke Philips N.V. 複数のhdr画像ソースの処理
WO2018012244A1 (ja) * 2016-07-11 2018-01-18 シャープ株式会社 映像信号変換装置、映像信号変換方法、映像信号変換システム、制御プログラム、および記録媒体
JP2019118058A (ja) * 2017-12-27 2019-07-18 キヤノン株式会社 電子機器

Also Published As

Publication number Publication date
CA2917212A1 (en) 2015-01-15
MX2015017583A (es) 2016-04-21
JP6528683B2 (ja) 2019-06-12
TW201517027A (zh) 2015-05-01
CN105359507A (zh) 2016-02-24
KR20160031455A (ko) 2016-03-22
CN105359507B (zh) 2019-08-09
US10171787B2 (en) 2019-01-01
JP2019097212A (ja) 2019-06-20
JP6684456B2 (ja) 2020-04-22
JPWO2015005189A1 (ja) 2017-03-02
EP3021573A4 (en) 2017-02-15
MX352400B (es) 2017-11-23
US20160373712A1 (en) 2016-12-22
TWI627627B (zh) 2018-06-21
MY173495A (en) 2020-01-29
EP3021573A1 (en) 2016-05-18
KR102223751B1 (ko) 2021-03-05
EP3021573B1 (en) 2019-09-04
CA2917212C (en) 2023-03-07

Similar Documents

Publication Publication Date Title
JP6684456B2 (ja) 再生装置、再生方法
US20240089482A1 (en) Reproduction device, reproduction method, and recording medium
US10880532B2 (en) Reproduction device, reproduction method, and recording medium
JP2024042071A (ja) 表示装置および表示制御方法
US9832440B2 (en) Reproduction device, reproduction method, and recording medium that display graphics based on tone mapping
US9706184B2 (en) Reproduction device, reproduction method, and recording medium
JP6241683B2 (ja) 再生装置、再生方法、および記録媒体
US20160232937A1 (en) Reproduction device, reproduction method, and recording medium
US10694196B2 (en) Reproduction device, reproduction method, and program

Legal Events

Date Code Title Description
WWE Wipo information: entry into national phase

Ref document number: 201480037524.6

Country of ref document: CN

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 14823715

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2015526280

Country of ref document: JP

Kind code of ref document: A

ENP Entry into the national phase

Ref document number: 20157034849

Country of ref document: KR

Kind code of ref document: A

WWE Wipo information: entry into national phase

Ref document number: 2014823715

Country of ref document: EP

WWE Wipo information: entry into national phase

Ref document number: MX/A/2015/017583

Country of ref document: MX

WWE Wipo information: entry into national phase

Ref document number: 14901870

Country of ref document: US

ENP Entry into the national phase

Ref document number: 2917212

Country of ref document: CA

NENP Non-entry into the national phase

Ref country code: DE