WO2016002154A1 - データ再生方法及び再生装置 - Google Patents

データ再生方法及び再生装置 Download PDF

Info

Publication number
WO2016002154A1
WO2016002154A1 PCT/JP2015/003050 JP2015003050W WO2016002154A1 WO 2016002154 A1 WO2016002154 A1 WO 2016002154A1 JP 2015003050 W JP2015003050 W JP 2015003050W WO 2016002154 A1 WO2016002154 A1 WO 2016002154A1
Authority
WO
WIPO (PCT)
Prior art keywords
hdr
luminance
sdr
display
video
Prior art date
Application number
PCT/JP2015/003050
Other languages
English (en)
French (fr)
Inventor
遠間 正真
小塚 雅之
洋 矢羽田
西 孝啓
健吾 寺田
Original Assignee
パナソニックIpマネジメント株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by パナソニックIpマネジメント株式会社 filed Critical パナソニックIpマネジメント株式会社
Priority to JP2016530818A priority Critical patent/JP6512458B2/ja
Priority to EP15815800.6A priority patent/EP3163888A4/en
Priority to MX2016016604A priority patent/MX366401B/es
Priority to CN201580019779.4A priority patent/CN106233741B/zh
Publication of WO2016002154A1 publication Critical patent/WO2016002154A1/ja
Priority to US15/386,038 priority patent/US10063828B2/en
Priority to US15/593,495 priority patent/US10171788B2/en
Priority to US15/596,190 priority patent/US10257486B2/en
Priority to US16/282,687 priority patent/US10582177B2/en

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/79Processing of colour television signals in connection with recording
    • H04N9/87Regeneration of colour television signals
    • H04N9/8715Regeneration of colour television signals involving the mixing of the reproduced video signal with a non-recorded signal, e.g. a text signal
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B20/00Signal processing not specific to the method of recording or reproducing; Circuits therefor
    • G11B20/10Digital recording or reproducing
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N11/00Colour television systems
    • H04N11/24High-definition television systems
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/01Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0125Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level one of the standards being a high definition standard
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/015High-definition television systems
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/64Circuits for processing colour signals
    • H04N9/642Multi-standard receivers
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/79Processing of colour television signals in connection with recording
    • H04N9/87Regeneration of colour television signals

Definitions

  • This disclosure relates to a data reproduction method and a reproduction apparatus.
  • Patent Document 1 An image signal processing apparatus for improving the displayable luminance level has been disclosed (see, for example, Patent Document 1).
  • a data reproduction method is a data reproduction method for displaying graphics superimposed on an image in a first luminance range, wherein the reproduction device has a second luminance range that is narrower than the first luminance range. It is determined whether or not the first graphics has a function of converting to the second graphics in the first luminance range, and when the playback device has the function, the playback device causes the first graphics to be When the second graphics is converted into the second graphics and the second graphics is displayed superimposed on the video, and the playback device does not have the function, the video is provided with a third graphics different from the second graphics. Superimposed display.
  • FIG. 1 is a diagram for explaining the evolution of video technology.
  • FIG. 2 is a diagram illustrating an example of EOTF (Electro-Optical Transfer Function).
  • FIG. 3 is an explanatory diagram of a method for determining the code value of the luminance signal stored in the content and the process of restoring the luminance value from the code value during reproduction.
  • FIG. 4 is an explanatory diagram of the production of a BD (Blu-ray (registered trademark, hereinafter the same) Disc) and a player that plays the BD.
  • FIG. 5A is an example in which a BD player and a TV are connected by HDMI (registered trademark, the same applies hereinafter), and shows a case where the TV supports HDR display.
  • FIG. 1 is a diagram for explaining the evolution of video technology.
  • FIG. 2 is a diagram illustrating an example of EOTF (Electro-Optical Transfer Function).
  • FIG. 3 is an explanatory diagram of a method for determining the code value
  • FIG. 5B is an example in which a BD player and a TV are connected by HDMI, and shows a case where the TV does not support HDR display.
  • FIG. 6 is a block diagram illustrating a configuration of the remapping processing unit in the conversion device.
  • FIG. 7 is a flowchart of the remapping process in the conversion device.
  • FIG. 8 is a diagram illustrating a combination example of HDR and SDR in the case where one video stream and one graphics stream are included in the content.
  • FIG. 9 is a diagram showing that the graphics master is generated using the same EOTF as the video master.
  • FIG. 10A is a diagram for describing a case of mapping to an SDR signal in the generation of a graphics master.
  • FIG. 10B is a diagram for describing a case of mapping to an HDR signal in the generation of the graphics master.
  • FIG. 11 is a block diagram illustrating a configuration of a generation unit that generates a graphics signal in authoring.
  • FIG. 12 is a flowchart showing a method for generating a graphics signal in authoring.
  • FIG. 13 is a diagram for explaining a relationship between video production, a distribution method, and a display device when a new video expression is introduced into content.
  • FIG. 14 is a diagram for explaining the relationship between the master, the distribution method, and the display device when HDR is introduced.
  • FIG. 15A is a diagram for explaining the SDR display processing in SDRTV.
  • FIG. 15B is a diagram for describing the SDR display process in the SDRTV having a peak luminance of 300 nits.
  • FIG. 16 is a diagram for explaining conversion from HDR to SDR.
  • FIG. 17A is a diagram for describing a case 1 in which only HDR signals corresponding to HDR are stored in the HDR disk.
  • FIG. 17B is a diagram for describing a case 2 in which an HDR signal corresponding to HDR and an SDR signal corresponding to SDR are stored in the HDR disk.
  • FIG. 18 is a diagram for explaining a conversion process from HDR to pseudo-HDR.
  • FIG. 19A is a diagram illustrating an example of EOTF (Electro-Optical Transfer Function) corresponding to each of HDR and SDR.
  • FIG. EOTF Electro-Optical Transfer Function
  • FIG. 19B is a diagram illustrating an example of inverse EOTF corresponding to each of HDR and SDR.
  • FIG. 20A is a diagram illustrating an example of a display process in which HDR display is performed by converting an HDR signal in HDRTV.
  • FIG. 20B is a diagram illustrating an example of display processing for performing HDR display using an HDR-compatible playback device and SDRTV.
  • FIG. 20C is a diagram illustrating an example of display processing for performing HDR display on the HDR-compatible playback device and SDRTV connected to each other via the standard interface.
  • FIG. 21 is a block diagram illustrating configurations of the conversion device and the display device according to the embodiment.
  • FIG. 22 is a flowchart illustrating a conversion method and a display method performed by the conversion device and the display device according to the embodiment.
  • FIG. 23A is a diagram for describing the first luminance conversion.
  • FIG. 23B is a diagram for describing another example of the first luminance conversion.
  • FIG. 24 is a diagram for describing the second luminance conversion.
  • FIG. 25 is a flowchart showing detailed processing for display setting.
  • FIG. 26 is a diagram for describing the third luminance conversion.
  • FIG. 27 is a diagram for explaining a conversion process from HDR to pseudo-HDR.
  • FIG. 28 is a diagram for explaining the reproduction operation of the dual disc.
  • FIG. 29 is a diagram showing the types of BDs.
  • FIG. 30 is a diagram showing the BD type in more detail.
  • FIG. 31 is a diagram illustrating an example of a combination of a video stream and a graphic stream recorded on each of a BD and a dual stream disc.
  • FIG. 32 is a diagram illustrating an example of a combination of a video stream and a graphic stream recorded on each of a BD and a dual stream disc.
  • FIG. 33 is a diagram illustrating an example of a graphic stream.
  • FIG. 34 is a diagram showing an example of a combination of a video stream and a graphic stream recorded on each of a BD and a dual stream disc.
  • FIG. 35 is a diagram illustrating an example of a graphic stream.
  • FIG. 36 is a diagram illustrating an example of a graphic stream.
  • FIG. 37 is a diagram illustrating an example of a combination of a video stream and a graphic stream recorded on each of a BD and a dual stream disc.
  • FIG. 38 is a diagram illustrating an example of a graphic stream.
  • FIG. 39 is a flowchart showing processing of the playback device.
  • a data reproduction method is a data reproduction method for displaying graphics superimposed on an image in a first luminance range, wherein the reproduction device has a second luminance range that is narrower than the first luminance range. It is determined whether or not the first graphics has a function of converting to the second graphics in the first luminance range, and when the playback device has the function, the playback device causes the first graphics to be When the second graphics is converted into the second graphics and the second graphics is displayed superimposed on the video, and the playback device does not have the function, the video is provided with a third graphics different from the second graphics. Superimposed display.
  • the data reproduction method can perform different operations depending on whether or not the reproduction apparatus has a function of changing and printing the luminance range of graphics. Thereby, the data reproducing method can perform an appropriate operation according to the function of the reproducing apparatus.
  • the third graphics may be generated using a color conversion table for the first luminance range.
  • the third graphics may be the first graphics.
  • the playback device may determine whether or not the playback device has the function by executing a playback control program.
  • the playback control program checks whether or not the playback device has the function by checking a register storing information indicating whether or not the playback device has the function. You may judge.
  • a playback device is a playback device that superimposes and displays graphics on a video in a first brightness range, and the playback device has a second brightness range that is narrower than the first brightness range.
  • a determination unit that determines whether or not to have a function of converting the first graphics of the first graphics into the second graphics of the first luminance range; and when the playback device has the function, When the playback device has the function, the conversion unit that converts to 2 graphics displays the second graphics superimposed on the video, and when the playback device does not have the function, A display unit that superimposes and displays third graphics different from the second graphics.
  • the playback device can perform different operations depending on whether or not the playback device has a function of changing the luminance range of graphics. Thereby, the playback device can perform an appropriate operation according to the function of the playback device.
  • each of the embodiments described below shows a specific example of the present disclosure.
  • constituent elements that are not described in the independent claims indicating the highest concept are described as optional constituent elements.
  • the present disclosure relates to an HDR (High Dynamic Range) signal, which is a high luminance signal having a high luminance range, and a TV or projector corresponding to an SDR (Standard Dynamic Range) signal, which is a normal luminance signal having a maximum luminance value of 100 nits.
  • the present invention relates to an image conversion / playback method and apparatus for displaying on a display device such as a tablet or a smartphone.
  • FIG. 1 is a diagram for explaining the evolution of video technology.
  • SD Standard Definition
  • HD high definition 1920 x 1080 pixels
  • the dynamic range is the maximum brightness to express bright light such as specular reflection light that cannot be expressed by the current TV signal with more realistic brightness while maintaining the dark gradation in the conventional video.
  • HDR High Dynamic Range
  • SDR Standard Dynamic Range
  • the maximum luminance value was 100 nits, whereas in HDR the maximum is 1000 nits or more. It is assumed that the luminance value is enlarged. Standardization of HDR is underway in SMPTE (Society of Motion Picture & Television Engineers) and ITU-R (International Telecommunications Union Radiocommunications Sector).
  • HDR high definition video recorder
  • package media Blu-ray Disc, etc.
  • Internet distribution etc., like HD and UHD.
  • the luminance of the video is composed of luminance values in the HDR luminance range, and a luminance signal obtained by quantizing the luminance value of the video is referred to as an HDR signal.
  • the luminance of the video is composed of luminance values in the luminance range of SDR, and a luminance signal obtained by quantizing the luminance value of the video is called an SDR signal.
  • FIG. 2 is a diagram showing an example of EOTF (Electro-Optical Transfer Function) corresponding to each of HDR and SDR.
  • EOTF Electro-Optical Transfer Function
  • EOTF is generally called a gamma curve, shows the correspondence between luminance values and code values, and quantizes the luminance values and converts them into code values. That is, EOTF is relationship information indicating the correspondence between the luminance value and the plurality of code values. For example, when the luminance value of an image corresponding to SDR is expressed by an 8-bit gradation code value, the luminance value in the luminance range up to 100 nit is quantized and mapped to 256 integer values of 0-255. Is done. That is, by performing quantization based on EOTF, the luminance value in the luminance range up to 100 nit (the luminance value of the video corresponding to SDR) is converted into an SDR signal that is an 8-bit code value.
  • HDR EOTF In EOTF corresponding to HDR (hereinafter referred to as “HDR EOTF”), it is possible to express a luminance value higher than that of EOTF corresponding to SDR (hereinafter referred to as “SDR EOTF”).
  • SDR EOTF a luminance value higher than that of EOTF corresponding to SDR
  • the maximum luminance value (peak luminance) is 1000 nits. That is, the HDR luminance range includes the entire SDR luminance range, and the HDR peak luminance is larger than the SDR peak luminance.
  • the HDR luminance range is a luminance range in which the maximum value is expanded from, for example, 100 nit, which is the maximum value of the SDR luminance range, to 1000 nit.
  • the HDR signal is expressed by, for example, a 10-bit gradation.
  • FIG. 3 is an explanatory diagram of a method for determining the code value of the luminance signal stored in the content and the process of restoring the luminance value from the code value during reproduction.
  • the luminance signal indicating the luminance in this example is an HDR signal corresponding to HDR.
  • the image after grading is quantized by an inverse function of HDR EOTF, and a code value corresponding to the luminance value of the image is determined. Image coding or the like is performed based on this code value, and elementary streams of video and graphics are generated. At the time of reproduction, the luminance value for each pixel is restored by performing inverse quantization on the decoding result of the elementary stream based on the HDR EOTF.
  • BD stream structure As described above, there is a possibility that HDR is used in an optical disc such as a BD or broadcasting.
  • BD as an example of a medium using HDR will be described with reference to FIG.
  • FIG. 4 is an explanatory diagram of production of a BD and a player that plays the BD.
  • the production process includes authoring of Blu-ray content, creation of a BD storing the authored Blu-ray content, and the like.
  • Blu-ray content includes graphics data for generating subtitles and menus, and scenario data for providing interactivity in displaying menus and user operations.
  • Scenario data has a format called HDMV (High Definition Movie) controlled by a specified command, and a format called BD-J (Blu-ray Disc Java) controlled by a Java (registered trademark, the same shall apply hereinafter) program. To do.
  • HDMV High Definition Movie
  • BD-J Blu-ray Disc Java
  • video and audio are encoded, and the encoded stream and graphics data indicating subtitles, menus, and the like are multiplexed into an M2TS format transport stream, and a playlist, an EP map, and the like are reproduced. Management information necessary for control is generated. Data generated by authoring is stored in the BD.
  • the BD player refers to the management information, separates and decodes the video and audio elementary streams necessary for reproduction and the graphics data, and outputs them.
  • the video and graphics such as subtitles and menus are output after the planes are combined. If the video resolution and the graphics resolution are different, the video and the graphics are synthesized after up-converting the graphics in accordance with the video resolution.
  • a display such as a TV receives and displays an output signal from a playback device such as a BD player.
  • a playback device such as a BD player.
  • the display of video corresponding to HDR is referred to as “HDR display”
  • the display of video corresponding to SDR is referred to as “SDR display”.
  • the output signal output from the playback device may also be an HDR signal corresponding to HDR.
  • the playback device converts the output signal into an SDR signal corresponding to SDR and outputs the SDR signal.
  • the case where the display does not support HDR display is a case where the display supports only SDR display.
  • FIGS. 5A and 5B are examples in which the BD player 200 and the TVs 300 and 310 are connected by HDMI.
  • FIG. 5A shows a case where the TV 300 supports HDR display
  • FIG. 5B shows that the TV 310 performs HDR display. The case where it does not correspond is shown.
  • the BD player 200 in FIG. 5A and the BD player 200 in FIG. 5B have different configurations
  • the case of FIG. 5A shows a case in which remapping described later is not performed, and a conversion device that performs remapping
  • the configuration of 210 is omitted.
  • the BD player 200 reads video and graphics from the medium 100 and decodes them. Then, the BD player 200 combines the decoded video and graphics HDR data, and outputs the HDR signal generated by the combining to the HDR display compatible TV 300 by HDMI.
  • the BD player 200 uses the HDR EOTF and the SDR EOTF to synthesize the HDR data of the video and graphics before synthesizing the video and graphics. Remap each to SDR data. Then, the BD player 200 combines the remapped video and graphics SDR data, and outputs the SDR signal generated by the combining to the TV 310 that does not support HDR display by HDMI.
  • the remapping is a process of converting the first code value in the first EOTF into the second code value in the second EOTF when there are two types of EOTFs, the first EOTF and the second EOTF.
  • the remapping is a process of converting the HDR EOTF code value into the SDR EOTF code value in the conversion from HDR to SDR.
  • the BD player 200 uses the acquisition unit that acquires the first luminance signal (HDR signal) corresponding to the first luminance range (HDR), the HDR EOTF, and the SDR EOTF, From the code value indicated by the first luminance signal acquired by the acquisition unit, the code value associated by quantization with respect to the second luminance range (SDR) is determined as the converted code value, and the first luminance signal is converted
  • a conversion device 210 including a conversion unit that converts the code value into a second luminance signal. More specifically, in the conversion to the second luminance signal, the conversion unit uses the first EOTF and the second EOTF and uses the corresponding second value from the code value indicated by the first luminance signal acquired by the acquisition unit.
  • the code value is determined as the converted code value.
  • the BD player 200 performs a conversion method in which steps corresponding to each unit of the conversion device 210 are performed.
  • 5B illustrates the case where the conversion device 210 converts the HDR signal into an SDR signal and outputs the signal, but the conversion device 210 may convert the SDR signal into an HDR signal and output the signal as described later.
  • luminance exceeding 100 nits cannot be expressed in SDR
  • the HDR-to-SDR conversion process performed in conversion device 210 at least the luminance exceeding 100 nits in the HDR signal and the SDR code value corresponding to the luminance It is necessary to perform the attachment based on a predefined conversion table or an adaptive process according to the luminance distribution of the image in the content. Also, in the conversion process, it is assumed that different conversion rules are required for data with discrete luminance values such as captions and video.
  • the amount of processing is particularly large for high-resolution images such as 4K. Further, since the luminance value changes before and after the remapping, the image after the remapping may have an impression different from the intention of the producer.
  • FIG. 6 is a block diagram illustrating a configuration of the remapping processing unit in the conversion device.
  • the remap processing unit 220 is included in the conversion device 210. As illustrated in FIG. 6, the remapping processing unit 220 temporarily transmits an EOTF determination unit 221, a processing target determination unit 222, a luminance value variable remapping unit 223, a luminance value fixed remapping unit 224, and a content (video) stream. And a storage unit 225 for storing the target.
  • the EOTF determination unit 221 includes an EOTF that corresponds to the content (video and graphics) signal read from the medium 100 and an EOTF that corresponds to an output signal to be output to a display such as the TV 300 or 310 that displays the video. Are different from each other.
  • the EOTF corresponding to the output signal is an EOTF of the output signal that can be displayed by a display such as a TV.
  • the processing target determination unit 222 determines whether the processing target is video (graphics).
  • the luminance value variable remapping unit 223 converts the stream signal stored in the storage unit 225 into a signal corresponding to the EOTF of the output signal by the luminance value variable remapping (second remapping).
  • the luminance value fixed remapping unit 224 converts the stream signal stored in the storage unit 225 into a signal corresponding to the output signal EOTF by the luminance value fixed remapping (first remapping).
  • FIG. 7 is a diagram showing a flowchart of the remapping process in the conversion apparatus.
  • the EOTF determination unit 221 corresponds to the EOTF to which the acquired content (video and graphics) signal corresponds and the output signal to be output to the display. It is determined whether or not the EOTF is different (step 101). If it is determined as “Yes” in step 101, the processing of step 102 to step 104 is performed in order to convert the method of the luminance range to which the content signal corresponds to the EOTF to which the output signal corresponds. On the other hand, if “NO” is determined in step 101, the remapping process is terminated, and the content signal is output without remapping.
  • the format of the output signal is determined based on whether or not a display such as a TV that displays video is compatible with HDR display. The format of the output signal may be determined so as to match the main video such as the main part.
  • the processing target determining unit 222 determines whether or not the processing target is video (graphics) (step 102). If it is determined as “Yes” in step 102, the luminance value variable remapping unit 223 converts the content signal into a signal corresponding to the EOTF of the output signal by the luminance value variable remapping (second remapping) (step 103).
  • the luminance value fixed remapping unit 224 converts the luminance value fixed remapping (first remapping) into a signal corresponding to the EOTF of the output signal (step 104).
  • the second remapping is performed, and when the content (video) is graphics, the first remapping is performed.
  • a plurality of tables are adaptively switched based on the luminance distribution in the image or each scene, or an optimum table is sequentially created for each content. May be. That is, for example, in the determination of the second luminance value that is the luminance value after remapping, the video is obtained from a plurality of pieces of relationship information (table) indicating the relationship between the luminance value in the first luminance range and the luminance value in the second luminance expression.
  • the second luminance value may be determined from the determined first luminance value using the selected relationship information.
  • step 103 processing is performed in the following procedure.
  • the first luminance signal corresponding to the first EOTF is converted to the second luminance signal corresponding to the second EOTF.
  • a first luminance value (luminance value before remapping) corresponding to the code value of the first EOTF is determined.
  • a second luminance value (luminance value after remapping) of the second EOTF corresponding to the first luminance value determined in (1) is determined.
  • processing is performed in the following procedure.
  • the first luminance signal corresponding to the first EOTF is converted to the second luminance signal corresponding to the second EOTF.
  • a luminance value corresponding to the code value of the first EOTF is determined.
  • the conversion device 210 After completion of the remap processing of step 103 and step 104, the conversion device 210 synthesizes and outputs the video and graphics. That is, the conversion apparatus 210 may further synthesize and output the video and graphics converted into the second luminance signal by performing the first remapping and the second remapping.
  • the conversion device 210 may transmit information for identifying the EOTF of the output signal as meta information. That is, the conversion device 210 may further output the second luminance signal converted from the acquired first luminance signal together with meta information for identifying the second EOTF.
  • the brightness does not change before and after remapping, so the image quality intended by the creator can be maintained. Further, it is not necessary to associate luminance values between EOTFs before and after conversion, and the amount of processing related to remapping can be reduced.
  • FIG. 8 is a diagram illustrating a combination example of HDR and SDR in the case where one video stream and one graphics stream are included in the content. In this example, there are four combinations, and HDR and SDR masters are required for video and graphics, respectively.
  • the HDR effect is the greatest in the video of the main part of the movie and the graphics such as subtitles are considered to be less effective than the video. Nevertheless, the creation of HDR and SDR masters for graphics as well as for video has a problem that the burden of content production is large.
  • FIG. 9 is a diagram showing that the graphics master is generated using the same EOTF as the video master.
  • the luminance range in the graphics master is matched with the SDR luminance range. That is, the peak luminance in the graphics master is set to be equal to or lower than the upper limit value of the SDR luminance range.
  • FIG. 10A is a diagram for explaining a case of mapping to an SDR signal in the generation of a graphics master.
  • the definition range of the code value in the SDR EOTF is all valid.
  • FIG. 10B is a diagram for explaining a case of mapping to an HDR signal in the generation of the graphics master. In this case, only code values equal to or less than the code value corresponding to the peak luminance of SDR are effective.
  • identification information indicating that the peak luminance is within the luminance range of the SDR may be stored in management information such as an elementary stream or a playlist. .
  • management information such as an elementary stream or a playlist.
  • this identification information may be stored as meta information of the output interface.
  • Graphics EOTF can be determined according to the video. That is, if the video is HDR, the graphics data is also HDR, and if the video is SDR, the graphics data is also SDR. Alternatively, the graphics data may always be SDR.
  • the same concept can be applied when there are multiple videos. For example, if there is a sub video that is superimposed on the main video or displayed side by side, the EOTF of the sub video can be adjusted to the main video.
  • FIG. 11 is a block diagram illustrating a configuration of a generation unit that generates a graphics signal in authoring.
  • the generation unit 400 includes a GFX grading unit 410, a determination unit 420, an HDR signal generation unit 430, and an SDR signal generation unit 440.
  • the GFX grading unit 410 grades the graphics master so that the luminance value is equal to or less than the peak luminance of SDR.
  • the determination unit 420 determines whether or not the video displayed simultaneously with the graphics is HDR.
  • the HDR signal generation unit 430 converts the luminance value of the graphics into a code value using the HDR EOTF.
  • the SDR signal generation unit 440 converts the luminance value of the graphics into a code value using the SDR EOTF when the determination unit 420 determines that the video displayed simultaneously with the graphics is not HDR (that is, SDR). To do.
  • FIG. 12 is a flowchart showing a method for generating a graphics signal in authoring.
  • the GFX grading unit 410 grades the graphics master so that the luminance value is equal to or less than the peak luminance of SDR (step 201).
  • the determination unit 420 determines whether or not the video displayed simultaneously with the graphics is HDR (step 202).
  • the HDR signal generation unit 430 converts the luminance value of the graphics into a code value using the HDR EOTF (step 203).
  • the SDR signal generation unit 440 converts the luminance value of graphics into a code value using the EOTF of SDR (step 204).
  • step 202 it is determined whether or not the graphic is to be displayed simultaneously with the video. For example, if the graphic is a subtitle, the video on which the subtitle is superimposed is determined. Further, graphics that are not displayed at the same time as the video, such as menus, may be determined based on whether the main video is HDR or not. Since the same graphics as the conventional 2K format is used for graphics, it is assumed that conversion is always performed using SDR EOTF, and step 204 is always performed without performing step 202 determination processing. .
  • grading so that the brightness of the HDR master is within the SDR range is also possible for data other than graphics.
  • the merit of using a luminance value higher than the peak luminance of SDR is small. Therefore, in the remapping from SDR to HDR, the luminance value fixed remapping may be applied regardless of whether grading is within the range of SDR.
  • HDR and SDR have been described as the format of the output signal output from the conversion device 210.
  • the output is based on either HDR or SDR as a standard.
  • the signal can be directly output from the conversion apparatus 210 to the display device.
  • the data in the content corresponding to the HDR can be re-mapped according to the EOTF of the display device.
  • remapping processing may be performed again on the EOTF corresponding to the peak luminance of the display device.
  • the conversion to the second luminance signal is performed by setting the acquired first luminance signal to the first EOTF and the luminance range that can be displayed on the display device to which the second luminance signal is output as the second luminance range. It may be performed using the second EOTF.
  • video, audio, or graphics to be played can be specified for each play item in the playlist.
  • video, audio, or graphics to be played back in units of play items is specified
  • HDR and SDR are switched in units of play items in an interface such as HDMI
  • reset processing is performed at the boundary of the play items. May not play seamlessly. Therefore, when HDR and SDR are switched between play items that are seamlessly connected, the remap process is performed in the conversion device provided in the BD player or the like so that the EOTF of the output signal is the same as that of the immediately preceding play item. You may go.
  • EOTF switching may be prohibited between play items that are seamlessly connected, and identification information indicating that EOTF will not be switched may be stored in management information such as a playlist.
  • the authoring or conversion method of each of the above embodiments can be applied not only to package media such as optical discs but also to broadcasting and OTT (Over The Top) services.
  • OTT Over The Top
  • data broadcasts transmitted by broadcasting and contents acquired via a communication network can be displayed superimposed on the main part video.
  • the main video will be a mixture of HDR programs and SDR programs, and the peak luminance limitation by the method described so far will be applied to graphics and videos in content acquired separately from the main video.
  • remapping processing can be performed.
  • FIG. 13 is a diagram for explaining a relationship between video production, a distribution method, and a display device when a new video expression is introduced into content.
  • HDR display the HDR compatible video display
  • HDR display the HDR compatible video display
  • SDRTV A TV (hereinafter referred to as “SDRTV”) that supports only video display corresponding to SDR (hereinafter referred to as “SDR display”) normally receives an input signal having a luminance value of up to 100 nits. For this reason, SDRTV is sufficient to represent the luminance value of the input signal if its display capability is 100 nits. However, SDRTV actually has a function of reproducing an image with an optimal luminance value in accordance with the viewing environment (dark room: cinema mode, bright room: dynamic mode, etc.), and the ability to express an image of 200 nits or more. There are many things that have. That is, such SDRTV can display video up to the maximum luminance (for example, 300 nits) of display capability by selecting a display mode according to the viewing environment.
  • the maximum luminance for example, 300 nits
  • the luminance upper limit of the input signal is determined to be 100 nits. Therefore, as long as the SDR input interface is used as usual, a high-intensity video exceeding 100 nits that SDRTV has. It is difficult to use the reproduction capability for reproducing the HDR signal (see FIGS. 15A and 15B).
  • High-luminance video content (hereinafter referred to as “HDR content”) distributed by a distribution method such as HDR compatible broadcasting, moving image distribution via a communication network, or HDR compatible package media (for example, HDR compatible Blu-ray Disc). Or “HDR video”) is assumed to be output by SDRTV via an HDR-compatible playback device (for example, a communication STB (Set Top Box), Blu-ray device, IPTV playback device).
  • HDR content is played back with SDRTV
  • "HDR ⁇ SDR conversion” is implemented to convert HDR signals corresponding to HDR into SDR luminance range SDR signals with a maximum value of 100 nits so that images can be displayed correctly with SDRTV. To do.
  • SDRTV can display the SDR video obtained by converting from the HDR video using the converted SDR signal (see FIG. 16).
  • HDR-compatible content for example, Blu-ray Disc, HDR IPTV content
  • an HDR-compatible playback device for example, Blu-ray device, HDR-compatible IPTV playback device.
  • SDRTV can only enjoy video in SDR video representation (SDR representation). That is, even if HDR content and a playback device that supports HDR are prepared, if there is no HDR-compatible display device (for example, HDRTV) and only SDRTV is available, the video is displayed in HDR video representation (HDR representation). Cannot watch.
  • HDR that is, superiority to SDR due to high image quality of HDR
  • the spread of HDR contents and HDR compatible distribution methods is determined according to the spread rate of HDRTV.
  • FIGS. 17A and 17B Two cases can be assumed as shown in FIGS. 17A and 17B below.
  • FIG. 17A is a diagram for describing Case 1 in which only an HDR signal corresponding to HDR is stored in an HDR-compatible BD.
  • FIG. 17B is a diagram for describing Case 2 in which an HDR signal corresponding to HDR and an SDR signal corresponding to SDR are stored in an HDR-compatible BD.
  • HDRTV can display both HDR signals and SDR signals, it performs display processing according to the input luminance signal and displays HDR video or SDR video.
  • the Blu-ray device when displaying the video reproduced from the BD by the Blu-ray device on the SDRTV, when the HDRBD is reproduced, the Blu-ray device performs a conversion process for converting the HDR signal into the SDR signal.
  • the SDR signal obtained by the conversion process is output to SDRTV.
  • the Blu-ray device When SDRBD is played back, the Blu-ray device outputs the SDR signal stored in the BD as it is to the SDRTV without conversion. Thereby, SDRTV displays an SDR video.
  • the Blu-ray device when displaying the video reproduced from the BD by the Blu-ray device on the SDRTV, the Blu-ray device is stored in the BD regardless of whether the HDRBD is reproduced or the SDRBD is reproduced.
  • the SDR signal is directly output to SDRTV without being converted.
  • HDR ⁇ pseudo HDR conversion From the above, it can be said that in order to promote the spread of HDR, it is important to be able to promote the commercialization of HDR contents and distribution methods without waiting for the spread of HDRTV. For this purpose, if the HDR signal can be viewed with existing SDRTV as HDR video or pseudo HDR video closer to HDR video than SDR video, instead of SDR video, the user can view HDRTV. Even if you don't buy it, you can watch a higher quality video that is clearly different from the SDR video and is close to the HDR video.
  • pseudo-HDR video can be a user's motive for purchasing HDR content and HDR distribution equipment (see FIG. 18).
  • the HDR signal is displayed so that the HDR content video can be correctly displayed on SDRTV when the HDR content is played back in a configuration in which SDRTV is connected to the HDR distribution method.
  • a pseudo HDR signal for displaying a video having a maximum display capability of SDRTV for example, a video of 200 nits or more, is generated by using an input of a video signal whose maximum value is 100 nits of SDRTV. Therefore, it is necessary to realize “HDR ⁇ pseudo HDR conversion processing” that enables the generated pseudo HDR signal to be sent to SDRTV.
  • FIG. 19A is a diagram showing an example of EOTF (Electro-Optical Transfer Function) corresponding to each of HDR and SDR.
  • EOTF Electro-Optical Transfer Function
  • EOTF is generally called a gamma curve, indicates the correspondence between code values and luminance values, and converts code values into luminance values. That is, EOTF is relationship information indicating a correspondence relationship between a plurality of code values and luminance values.
  • FIG. 19B is a diagram illustrating an example of reverse EOTF corresponding to each of HDR and SDR.
  • Inverse EOTF indicates the correspondence between the luminance value and the code value.
  • the luminance value is quantized and converted into a code value. That is, inverse EOTF is relationship information indicating a correspondence relationship between a luminance value and a plurality of code values. For example, when the luminance value of a video corresponding to HDR is expressed by a 10-bit gradation code value, the luminance values in the HDR luminance range up to 10,000 nits are quantized and 1024 from 0 to 1023 Mapped to the integer value of.
  • HDR EOTF an EOTF corresponding to HDR
  • HDR inverse EOTF an EOTF corresponding to HDR
  • SDR EOTF an EOTF corresponding to SDR
  • inverse EOTF of SDR an inverse EOTF corresponding to SDR
  • the value (peak luminance) is 10,000 nits. That is, the HDR luminance range includes the entire SDR luminance range, and the HDR peak luminance is larger than the SDR peak luminance.
  • the HDR luminance range is a luminance range obtained by expanding the maximum value from 100 nit, which is the maximum value of the SDR luminance range, to 10,000 nit.
  • HDR EOTF and HDR inverse EOTF are, for example, SMPTE 2084 standardized by the American Film and Television Engineers Association (SMPTE).
  • the luminance range from 0 nit to 100 nit which is the peak luminance described in FIGS. 19A and 19B may be described as the first luminance range.
  • the luminance range described in FIGS. 19A and 19B from 0 nit to 10,000 nit which is the peak luminance may be described as the second luminance range.
  • FIG. 20A is a diagram illustrating an example of a display process for performing HDR display by converting an HDR signal in HDRTV.
  • the maximum value of the HDR luminance range (peak luminance (HPL (HDR Peak Luminance): example 1500 nit)) is displayed as it is, even if the display device is HDRTV. May not be possible.
  • the linear signal after inverse quantization using HDR EOTF is adjusted to the maximum value of the luminance range of the display device (peak luminance (DPL (Display Peak Iluminance): example 750 nit)).
  • DPL Display Peak Iluminance
  • FIG. 20B is a diagram illustrating an example of a display process for performing HDR display using an HDR-compatible playback device and SDRTV.
  • the maximum value of the brightness range of SDRTV to be displayed exceeds 100 nits.
  • 20B is the maximum value of the HDRRT EOTF conversion and SDRTV luminance range performed in the HDRTV in the “HDR ⁇ pseudo HDR conversion process” in the HDR-compatible playback device (Blu-ray device) in FIG. 20B. If the signal obtained by performing “luminance conversion” using DPL (eg 300 nit) and “luminance conversion” can be directly input to the “display device” of SDRTV, the same effect as HDRTV can be achieved even if SDRTV is used. Can be realized.
  • FIG. 20C is a diagram illustrating an example of display processing for performing HDR display using an HDR-compatible playback device and SDRTV connected to each other via a standard interface.
  • a signal input via an input interface passes through “SDR EOTF conversion”, “brightness conversion for each mode”, and “display device” in order, and an image that matches the maximum luminance range of the display device. Is displayed. For this reason, a signal (pseudo HDR signal) that can cancel the “SDR EOTF conversion” and “brightness conversion for each mode” that passes immediately after the input interface in SDRTV in the HDR-compatible Blu-ray device.
  • an input interface such as HDMI
  • FIG. 21 is a block diagram illustrating configurations of the conversion device and the display device according to the embodiment.
  • FIG. 22 is a flowchart illustrating a conversion method and a display method performed by the conversion device and the display device according to the embodiment.
  • the conversion apparatus 500 includes an HDR EOTF converter 501, a luminance converter 502, an inverse luminance converter 503, and an inverse SDR EOTF converter 504.
  • the display device 600 includes a display setting unit 601, an SDR EOTF conversion unit 602, a luminance conversion unit 603, and a display unit 604.
  • a conversion method performed by the conversion apparatus 500 will be described with reference to FIG.
  • the conversion method includes steps S101 to S104 described below.
  • the HDR EOTF conversion unit 501 of the conversion apparatus 500 acquires the HDR video that has been subjected to the reverse HDR EOTF conversion.
  • the HDR EOTF conversion unit 501 of the conversion device 500 performs HDR EOTF conversion on the acquired HDR video HDR signal (S101). Thereby, the HDR EOTF conversion unit 501 converts the acquired HDR signal into a linear signal indicating a luminance value.
  • HDR EOTF is, for example, SMPTE 2084.
  • the luminance conversion unit 502 of the conversion device 500 performs first luminance conversion that converts the linear signal converted by the HDR EOTF conversion unit 501 using display characteristic information and content luminance information (S102). .
  • a luminance value corresponding to the HDR luminance range (hereinafter referred to as “HDR luminance value”) is changed to a luminance value corresponding to the display luminance range (hereinafter referred to as “display luminance value”). Convert. Details will be described later.
  • the HDR EOTF conversion unit 501 functions as an acquisition unit that acquires the HDR signal as the first luminance signal indicating the code value obtained by quantizing the luminance value of the video.
  • the HDR EOTF conversion unit 501 and the luminance conversion unit 502 determine the code value indicated by the HDR signal acquired by the acquisition unit based on the luminance range of the display (display device 600). It functions as a conversion unit that converts to a display luminance value corresponding to the luminance range of the display that is a maximum value (DPL) that is smaller than the value (HPL) and larger than 100 nits.
  • DPL maximum value
  • the HDR EOTF conversion unit 501 uses the acquired HDR signal and the HDR EOTF in step S101 to determine the HDR code value as the first code value indicated by the acquired HDR signal.
  • An HDR luminance value associated with the HDR code value in the HDR EOTF is determined.
  • the HDR signal is obtained by quantizing the luminance value of the video (content) using the HDR inverse EOTF that associates the luminance value in the HDR luminance range with a plurality of HDR code values.
  • the code value of HDR is shown.
  • step S102 the luminance conversion unit 502 determines, for the HDR luminance value determined in step S101, a display luminance value corresponding to the luminance range of the display that is related in advance to the HDR luminance value.
  • the first luminance conversion is performed to convert the HDR luminance value corresponding to the luminance range of the display into the display luminance value corresponding to the luminance range of the display.
  • the conversion device 500 includes content luminance information including at least one of a maximum luminance value (CPL: Content Peak luminance) and an average luminance value (CAL: Content Average luminance) of video (content) before step S102. Is acquired as information relating to the HDR signal.
  • CPL first maximum luminance value
  • CAL is an average luminance value that is an average of luminance values for a plurality of images constituting an HDR video, for example.
  • the conversion device 500 acquires the display characteristic information of the display device 600 from the display device 600 before step S102.
  • the display characteristic information includes the maximum value (DPL) of luminance that can be displayed by the display device 600, the display mode of the display device 600 (see later), the input / output characteristics (EOTF corresponding to the display device), and the like. This is information indicating display characteristics.
  • the conversion apparatus 500 may transmit recommended display setting information (referred to below-mentioned, hereinafter also referred to as “setting information”) to the display apparatus 600.
  • recommended display setting information referred to below-mentioned, hereinafter also referred to as “setting information”.
  • the reverse luminance conversion unit 503 of the conversion device 500 performs reverse luminance conversion according to the display mode of the display device 600. Accordingly, the inverse luminance conversion unit 503 performs the second luminance conversion for converting the luminance value corresponding to the luminance range of the display into the luminance value corresponding to the luminance range (0 to 100 [nit]) of the SDR (S103). . Details will be described later. That is, the inverse luminance conversion unit 503 uses the display luminance value obtained in step S102 as the third luminance value corresponding to the luminance range of the SDR that is associated with the display luminance value in advance and has a maximum value of 100 nits.
  • SDR luminance value Luminance value corresponding to SDR
  • the luminance value of SDR is determined, and the display luminance value corresponding to the luminance range of the display is changed to the luminance value of SDR corresponding to the luminance range of SDR.
  • a second luminance conversion for conversion is performed.
  • the inverse SDR EOTF conversion unit 504 of the conversion apparatus 500 performs pseudo SDR EOTF conversion to generate a pseudo HDR video (S104). That is, the inverse SDR EOTF conversion unit 504 performs inverse dynamic EOTF (Electro-Optical) of SDR (Standard Dynamic Range), which is third relation information in which a luminance value in the HDR luminance range is associated with a plurality of third code values.
  • SDR Standard Dynamic Range
  • the determined SDR brightness value is quantized using Transfer Function
  • the third code value obtained by the quantization is determined, and the SDR brightness value corresponding to the SDR brightness range is indicated as the third code value.
  • a pseudo HDR signal is generated by converting the SDR signal as the third luminance signal.
  • the third code value is a code value corresponding to SDR, and is hereinafter referred to as “SDR code value”. That is, the SDR signal is obtained by quantizing the luminance value of the video using the SDR inverse EOTF that associates the luminance value in the luminance range of the SDR and a plurality of SDR code values. Expressed as a code value. Then, conversion device 500 outputs the pseudo HDR signal (SDR signal) generated in step S104 to display device 600.
  • SDR code value a code value corresponding to SDR
  • the conversion apparatus 500 generates the SDR luminance value corresponding to the pseudo HDR by performing the first luminance conversion and the second luminance conversion on the HDR luminance value obtained by dequantizing the HDR signal. Then, the SDR luminance value is quantized using the SDR EOTF to generate an SDR signal corresponding to the pseudo HDR.
  • the SDR luminance value is a numerical value in the luminance range of 0 to 100 nits corresponding to the SDR.
  • the HDR EOTF and the SDR are converted to the HDR luminance value. This is a numerical value different from the luminance value in the luminance range of 0 to 100 nit corresponding to the SDR obtained by performing luminance conversion using the EOTF.
  • the display method includes steps S105 to S108 described below.
  • the display setting unit 601 of the display device 600 sets the display setting of the display device 600 using the setting information acquired from the conversion device 500 (S105).
  • the display device 600 is an SDRTV.
  • the setting information is information indicating display settings recommended for the display device, and information indicating how to perform pseudo-HDR video EOTF and display at which setting a beautiful video can be displayed (that is, Information for switching the display setting of the display device 600 to the optimal display setting).
  • the setting information includes, for example, a gamma curve characteristic at the time of output in the display device, a display mode such as a living mode (normal mode) and a dynamic mode, a numerical value of backlight (brightness), and the like.
  • a message that prompts the user to change the display setting of the display device 600 by manual operation may be displayed on the display device 600 (hereinafter also referred to as “SDR display”). Details will be described later.
  • the display device 600 acquires an SDR signal (pseudo HDR signal) and setting information indicating display settings recommended for the display device 600 when displaying a video before step S105.
  • the display device 600 may acquire the SDR signal (pseudo HDR signal) before step S106 or after step S105.
  • the SDR EOTF converter 602 of the display device 600 performs SDR EOTF conversion on the acquired pseudo-HDR signal (S106). That is, the SDR EOTF conversion unit 602 performs inverse quantization on the SDR signal (pseudo HDR signal) using the SDR EOTF. As a result, the SDR EOTF converter 602 converts the SDR code value indicated by the SDR signal into an SDR luminance value.
  • the luminance conversion unit 603 of the display device 600 performs luminance conversion according to the display mode set in the display device 600. Accordingly, the luminance conversion unit 603 converts the SDR luminance value corresponding to the SDR luminance range (0 to 100 [nit]) into the display luminance value corresponding to the display luminance range (0 to DPL [nit]). The third luminance conversion is performed (S107). Details will be described later.
  • the display device 600 uses the setting information acquired in step S105 to display the third code value indicated by the acquired SDR signal (pseudo HDR signal) in step S106 and step S107. 0 to DPL [nit]).
  • step S106 in the conversion from the SDR signal (pseudo HDR signal) to the display luminance value, in step S106, using the EOTF that associates the luminance value in the luminance range of the SDR with a plurality of third code values. Then, for the SDR code value indicated by the acquired SDR signal, the SDR luminance value related to the SDR code value by the SDR EOTF is determined.
  • step S107 the display brightness value corresponding to the brightness range of the display, which is related in advance to the determined brightness value of the SDR, is determined, and the SDR value corresponding to the SDR brightness range is determined.
  • a third luminance conversion is performed for converting the luminance value into a display luminance value corresponding to the luminance range of the display.
  • the display unit 604 of the display device 600 displays the pseudo HDR video on the display device 600 based on the converted display luminance value (S108).
  • FIG. 23A is a diagram for describing an example of the first luminance conversion.
  • the luminance conversion unit 502 of the conversion device 500 performs first luminance conversion that converts the linear signal (HDR luminance value) obtained in step S101 using display characteristic information and content luminance information of the HDR video. .
  • the HDR luminance value input luminance value
  • the display luminance value output luminance value
  • the DPL is determined using the maximum brightness and display mode of the SDR display, which is display characteristic information.
  • the display mode is, for example, mode information such as a theater mode that is displayed dark on the SDR display and a dynamic mode that is displayed brightly.
  • DPL second maximum luminance value
  • DPL is the maximum luminance value that can be displayed in the display mode in which the SDR display is currently set. That is, in the first luminance conversion, DPL as the second maximum luminance value is determined using display characteristic information that is information indicating display characteristics of the SDR display.
  • the first luminance conversion CAL and CPL in the content luminance information are used, luminance values below the CAL are the same before and after the conversion, and the luminance value is changed only for luminance values near the CPL.
  • the first luminance conversion when the HDR luminance value is CAL or less, the HDR luminance value is not converted, and the HDR luminance value is determined as the display luminance value.
  • the DPL as the second maximum luminance value is determined as the display luminance value.
  • the peak luminance (CPL) of the HDR video in the luminance information is used, and when the HDR luminance value is CPL, DPL is determined as the display luminance value.
  • the linear signal (HDR luminance value) obtained in step S101 may be converted so as to be clipped to a value not exceeding DPL.
  • the processing in the conversion device 500 can be simplified, and the device can be reduced, the power can be reduced, and the processing speed can be increased.
  • FIG. 23B is a diagram for describing another example of the first luminance conversion.
  • FIG. 24 is a diagram for describing the second luminance conversion.
  • the reverse luminance conversion unit 503 of the conversion device 500 performs reverse luminance conversion corresponding to the display mode on the display luminance value of the display luminance range (0 to DPL [nit]) converted by the first luminance conversion in step S102. Apply.
  • the reverse luminance conversion when the luminance conversion processing (step S107) according to the display mode by the SDR display is performed, the display luminance value of the display luminance range (0 to DPL [nit]) after the processing of step S102 is acquired. This is a process for making it possible. That is, the second luminance conversion is an inverse luminance conversion of the third luminance conversion.
  • the second luminance conversion converts the display luminance value (input luminance value) in the luminance range of the display into the SDR luminance value (output luminance value) in the SDR luminance range.
  • the conversion formula is switched depending on the display mode of the SDR display. For example, when the display mode of the SDR display is the normal mode, the luminance is converted to a directly proportional value that is directly proportional to the display luminance value.
  • the second luminance conversion when the display mode of the SDR display is a dynamic mode in which a high luminance pixel is brighter and a low luminance pixel is darker than in the normal mode, the inverse function is used to obtain the low luminance pixel.
  • the luminance value of the SDR is converted to a value higher than the direct proportional value that is directly proportional to the display luminance value, and the luminance value of the SDR of the high luminance pixel is converted to a value lower than the direct proportional value that is directly proportional to the display luminance value. That is, in the second luminance conversion, the display luminance value determined in step S102 is related to the display luminance value using luminance relationship information corresponding to the display characteristic information that is information indicating the display characteristic of the SDR display. The brightness value is determined as the brightness value of the SDR, and the brightness conversion process is switched according to the display characteristic information.
  • the luminance relation information according to the display characteristic information is, for example, a display luminance value (input luminance value) determined for each display parameter (display mode) of the SDR display as shown in FIG. This is information relating brightness values (output brightness values).
  • FIG. 25 is a flowchart showing detailed processing for display setting.
  • the display setting unit 601 of the SDR display performs the following steps S201 to S208 in step S105.
  • the display setting unit 601 uses the setting information to determine whether the EOTF set for the SDR display (EOF for SDR display) is consistent with the EOTF assumed when generating the pseudo HDR video (SDR signal). Determine (S201).
  • the display setting unit 601 determines that the EOTF set in the SDR display is different from the EOTF indicated by the setting information (EOTF that matches the pseudo HDR video) (Yes in S201), the display setting unit 601 uses the EOTF for the SDR display in the system. It is determined whether switching is possible on the side (S202).
  • the display setting unit 601 determines that switching is possible, the setting information is used to switch the SDR display EOTF to an appropriate EOTF (S203).
  • step S105 in the display setting setting (S105), the EOTF set in the SDR display is set to the recommended EOTF corresponding to the acquired setting information. Accordingly, in step S106 performed after step S105, the luminance value of SDR can be determined using the recommended EOTF.
  • a message prompting the user to change the EOTF manually is displayed on the screen (S204). For example, a message “Please set the display gamma to 2.4” is displayed on the screen. That is, if the EOTF set in the SDR display cannot be switched in the display setting setting (S105), the display setting unit 601 switches the EOTF set in the SDR display (EOF for SDR display) to the recommended EOTF. A message for prompting the user to do so is displayed on the SDR display.
  • the pseudo-HDR image (SDR signal) is displayed on the SDR display, but it is determined whether or not the display parameters of the SDR display match the setting information using the setting information before display (S205).
  • the display setting unit 601 determines whether the display parameter of the SDR display can be switched (S206). .
  • the display setting unit 601 determines that the display parameters of the SDR display can be switched (Yes in S206)
  • the display setting unit 601 switches the display parameters of the SDR display according to the setting information (S207).
  • step S105 in the display setting setting (S105), the display parameter set in the SDR display is set to the recommended display parameter corresponding to the acquired setting information.
  • a message prompting the user to manually change the display parameters set in the SDR display is displayed on the screen (S208). For example, a message “Please set the display mode to dynamic mode and maximize the backlight” is displayed on the screen. That is, in the setting (S105), when the display parameter set in the SDR display cannot be switched, a message for prompting the user to switch the display parameter set in the SDR display to the recommended display parameter is displayed. To display.
  • FIG. 26 is a diagram for describing the third luminance conversion.
  • the luminance conversion unit 603 of the display device 600 converts the SDR luminance value in the SDR luminance range (0 to 100 [nit]) into (0 to DPL [nit]) according to the display mode set in step S105. .
  • This processing is performed so as to be an inverse function of inverse luminance conversion for each mode in S103.
  • the conversion formula is switched depending on the display mode of the SDR display. For example, when the display mode of the SDR display is the normal mode (that is, when the set display parameter is a parameter corresponding to the normal mode), the display luminance value is converted into a direct proportional value that is directly proportional to the luminance value of the SDR. .
  • the display mode of the SDR display is the dynamic mode in which the high luminance pixel is brighter and the low luminance pixel is darker than the normal mode, the display luminance value of the low luminance pixel is SDR.
  • the luminance value of the display luminance value of the high luminance pixel is converted to a value higher than the direct proportional value that is directly proportional to the luminance value of the SDR. That is, in the third luminance conversion, for the luminance value of the SDR determined in step S106, luminance related in advance to the luminance value of the SDR using luminance relationship information corresponding to the display parameter indicating the display setting of the SDR display. The value is determined as the display luminance value, and the luminance conversion processing is switched according to the display parameter.
  • the luminance-related information according to the display parameter is, for example, as shown in FIG. 26, the SDR luminance value (input luminance value) determined for each display parameter (display mode) of the SDR display, and the display luminance. This is information that relates values (output luminance values).
  • a normal SDRTV has an input signal of 100 nits, but has an ability to express an image of 200 nits or more according to the viewing environment (dark room: cinema mode, bright room: dynamic mode, etc.). However, since the upper limit of the luminance of the input signal to SDRTV was determined to be 100 nits, it was not possible to directly use this capability.
  • HDR video in SDRTV When displaying HDR video in SDRTV, using the fact that the peak brightness of SDRTV to be displayed exceeds 100 nits (usually 200 nits or more), the HDR video is not converted to SDR video of 100 nits or less, but luminance exceeding 100 nits. “HDR ⁇ pseudo HDR conversion processing” is performed so as to maintain the gradation of the range to some extent. For this reason, it can be displayed on SDRTV as a pseudo HDR video close to the original HDR.
  • HDR signals sent by Internet distribution such as OTT are converted into pseudo HDR signals by performing HDR-pseudo HDR conversion processing.
  • HDR-pseudo HDR conversion processing it is possible to display the HDR signal as a pseudo HDR video with the existing SDRTV.
  • HDR video is, for example, Blu-ray Disc, DVD, Internet video distribution site, broadcast, video in HDD.
  • the conversion device 500 (HDR ⁇ pseudo HDR conversion processing unit) may exist inside a disk player, a disk recorder, a set-top box, a television, a personal computer, or a smartphone.
  • the conversion device 500 may exist inside a server device in the Internet.
  • the display device 600 (SDR display unit) is, for example, a television, a personal computer, or a smartphone.
  • the display characteristic information acquired by the conversion device 500 may be acquired from the display device 600 via an HDMI cable or a LAN cable using HDMI or another communication protocol.
  • the display characteristic information acquired by the conversion apparatus 500 may acquire display characteristic information included in the model information of the display apparatus 600 via the Internet. Further, the user may perform a manual operation to set the display characteristic information in the conversion apparatus 500.
  • the display device 500 may acquire display characteristic information immediately before pseudo-HDR video generation (steps S101 to S104), or may be at the time of initial setting of the device or at the time of display connection. For example, the display characteristic information may be acquired immediately before the conversion to the display luminance value, or may be performed at the timing when the conversion device 500 is first connected to the display device 600 with an HDMI cable.
  • HDR video CPL or CAL there may be one HDR video CPL or CAL per content, or there may be one for each scene. That is, in the conversion method, the luminance information corresponding to each of the plurality of scenes of the video, and for each scene, the first maximum luminance value that is the maximum value among the luminance values for the plurality of images constituting the scene. And luminance information (CPL, CAL) including at least one of average luminance values that are averages of luminance values for a plurality of images constituting the scene, and in the first luminance conversion, for each of the plurality of scenes, The display brightness value may be determined according to the brightness information corresponding to the scene.
  • CPL and CAL may be included in the same medium (Blu-ray Disc, DVD, etc.) as the HDR video, or acquired from a different location from the HDR video, such as acquired by the conversion device 500 from the Internet. May be. That is, luminance information including at least one of CPL and CAL may be acquired as video meta information or may be acquired via a network.
  • a fixed value may be used without using CPL, CAL, and display peak luminance (DPL). Further, the fixed value may be changed from the outside.
  • CPL, CAL, and DPL may be switched in several types. For example, DPL may be set to only three types of 200 nit, 400 nit, and 800 nit, and the value closest to the display characteristic information is used. You may make it do.
  • the HDR EOTF may not be SMPTE 2084, but other types of HDR EOTF may be used.
  • the maximum luminance (HPL) of the HDR video may not be 10,000 nits, for example, 4,000 nits or 1,000 nits.
  • the bit width of the code value may be 16, 14, 12, 10, 8 bits, for example.
  • inverse SDR EOTF conversion is determined from the display characteristic information
  • a fixed conversion function (which can be changed from the outside) may be used.
  • Inverse SDR EOTF conversion is performed in, for example, Rec. ITU-R BT.
  • a function defined in 1886 may be used.
  • the types of inverse SDR EOTF conversion may be limited to several types, and the one closest to the input / output characteristics of the display device 600 may be selected and used.
  • the display mode may be a fixed mode and may not be included in the display characteristic information.
  • the conversion device 500 may not transmit the setting information, and the display device 600 may have a fixed display setting or may not change the display setting.
  • the display setting unit 601 is not necessary.
  • the setting information may be flag information indicating whether or not the image is a pseudo HDR video.
  • the setting information may be changed to a setting that displays the brightest image. That is, in the display setting setting (S105), when the acquired setting information indicates that the signal indicates a pseudo HDR video image converted using DPL, the brightness setting of the display device 600 is set to be displayed brightest. You may switch to.
  • the first luminance conversion (HPL ⁇ DPL) of the conversion device 500 is converted by, for example, the following formula.
  • L indicates a luminance value normalized to 0 to 1
  • S1, S2, a, b, and M are values set based on CAL, CPL, and DPL.
  • V is a luminance value after conversion normalized to 0 to 1.
  • CAL is set to 300 nit
  • CPL is set to 2,000 nit
  • DPL is set to 750 nit
  • CAL + 50 nit is not converted, and conversion is performed for 350 nit or more
  • each value is, for example, It becomes a value like this.
  • the conversion formula can be changed according to the content, and conversion can be performed so as to keep the HDR gradation as much as possible. It becomes.
  • adverse effects such as being too dark and too bright can be suppressed.
  • the gradation is kept as much as possible by mapping the content peak luminance of the HDR video to the display peak luminance.
  • the overall brightness is prevented from changing by not changing the pixel values below the average luminance.
  • the conversion formula can be changed according to the display environment of the SDR display, and there is a sense of HDR according to the performance of the SDR display.
  • Video can be displayed with the same gradation and brightness as the original HDR video.
  • the display peak brightness is determined according to the maximum brightness of the SDR display and the display mode, and the HDR video is converted so as not to exceed the peak brightness value.
  • the display is performed with almost no gradation reduction, and the brightness that cannot be displayed is reduced to the displayable brightness.
  • the display can be displayed in a form close to the original HDR video without reducing the gradation of displayable brightness.
  • the overall brightness is maintained by converting to a pseudo HDR video with a peak luminance of 1,000 nits, and the luminance value changes depending on the display mode of the display. For this reason, the luminance conversion formula is changed according to the display mode of the display. If the pseudo-HDR image allows a luminance larger than the peak luminance of the display, the high luminance may be replaced with the peak luminance on the display side, and in that case, it is darker than the original HDR video. Become.
  • the performance relating to the gradation of the display is not used at the maximum.
  • the pseudo HDR video can be better displayed by switching the display setting using the setting information. For example, when the brightness is set to dark, high brightness display cannot be performed, so that the HDR feeling is impaired. In that case, by changing the display setting or displaying a message prompting the user to change the display setting, the display performance can be maximized and a high gradation video can be displayed.
  • video signals and graphics signals such as subtitles and menus are multiplexed as independent data. At the time of reproduction, each is decoded individually, and the decoded result is synthesized and displayed. Specifically, subtitles and menu planes are superimposed on the video plane.
  • graphics signals such as subtitles and menus may be SDR.
  • HPL ⁇ DPL conversion of the video signal the following two conversions (a) and (b) are possible.
  • the graphics peak luminance is 100 nits.
  • the DPL is high luminance such as 1000 nits
  • the graphics luminance remains 100 nits.
  • the luminance of graphics is lowered with respect to the video after the HPL ⁇ DPL conversion.
  • adverse effects such as darkening of subtitles superimposed on video are assumed. Therefore, the luminance of graphics may be converted according to the value of DPL.
  • the luminance of the caption may be preliminarily defined as what percentage of the DPL value is set, and may be converted based on the set value. Graphics other than subtitles such as menus can be processed similarly.
  • FIG. 28 is a diagram for describing multiplexed data stored in a dual disk.
  • the HDR signal and the SDR signal are stored as different multiplexed streams.
  • data of a plurality of media such as video, audio, subtitles, and graphics is stored as one multiplexed stream by an MPEG-2 TS-based multiplexing method called M2TS.
  • M2TS MPEG-2 TS-based multiplexing method
  • These multiplexed streams are referred to from reproduction control metadata such as a playlist, and are reproduced by the player analyzing the metadata at the time of reproduction, or individual languages stored in the multiplexed stream. Select the data.
  • playlists for HDR and SDR are individually stored, and each playlist refers to an HDR signal or an SDR signal. Further, identification information indicating that both the HDR signal and the SDR signal are stored may be separately indicated.
  • HDR and SDR signals are multiplexed to satisfy a buffer model such as T-STD (System Target Decoder) defined in MPEG-2 TS.
  • T-STD System Target Decoder
  • Data such as audio, subtitles, or graphics needs to be stored for each multiplexed stream, and the amount of data increases compared to the case of multiplexing to one.
  • the increase in the amount of data can reduce the amount of video data by using a video encoding method with a high compression rate.
  • the compression ratio can be improved by 1.6 to 2 times.
  • the dual disk is stored in a combination of 2K HDR and SDR, such as a combination of 4K SDR and 2K HDR, or 2K, or a combination of 2K and 4K. It is also possible to allow only combinations that fit within the capacity of the optical disk by prohibiting storing two.
  • the HDR video when HDR video is displayed in SDRTV, the HDR video is converted to SDR video of 100 nit or less by using the peak brightness of SDRTV to be displayed exceeds 100 nit (usually 200 nit or more). Instead, it realizes a “HDR ⁇ pseudo HDR conversion process” that can be converted to maintain a certain level of gradation in a region exceeding 100 nits, converted into pseudo HDR video close to the original HDR, and displayed on SDRTV.
  • the conversion method of “HDR ⁇ pseudo HDR conversion processing” may be switched depending on the display characteristics (maximum luminance, input / output characteristics, and display mode) of SDRTV.
  • the display characteristic information can be acquired by (1) automatic acquisition through HDMI or a network, (2) generation by allowing the user to input information such as manufacturer name and product number, and (3) manufacturer name and product number. It is conceivable to obtain information from the cloud using this information.
  • the display characteristic information acquisition timing of the conversion device 500 includes (1) acquisition immediately before pseudo-HDR conversion, and (2) when connecting to the display device 600 (such as SDRTV) for the first time (when connection is established). ) Can be considered.
  • the conversion method may be switched according to the luminance information (CAL, CPL) of the HDR video.
  • the method of acquiring luminance information of the HDR video of the conversion device 500 (1) acquiring as meta information attached to the HDR video, (2) acquiring by causing the user to input content title information, And (3) It is conceivable to acquire from the cloud or the like using input information that has been instructed by the user.
  • the details of the conversion method are as follows: (1) Conversion so as not to exceed DPL; (2) Conversion so that CPL becomes DPL; (3) CAL and its surrounding luminance are not changed; 4) Conversion using natural logarithm, (5) Clip processing by DPL.
  • display settings such as the display mode and display parameters of SDRTV can be transmitted to the display device 600 and switched. For example, the user is prompted to perform display settings. A message may be displayed on the screen.
  • FIG. 29 is a diagram showing the types of BDs.
  • FIG. 30 is a diagram showing the BD type in more detail.
  • the playback device (Blu-ray device) plays back the content recorded on the inserted BD and displays it on the display device.
  • a BD on which a video signal having a resolution of the first resolution and a luminance range of the first luminance range is recorded as a 2K_SDR-compatible BD.
  • a video signal whose resolution is the first resolution and whose luminance range is the first luminance range is stored as a stream on the BD. This stream is described as a 2K_SDR stream.
  • the 2K_SDR compatible BD is a conventional BD.
  • a BD on which a video signal having a resolution of the second resolution and a luminance range of the first luminance range is recorded as a 4K_SDR compatible BD.
  • a video signal whose resolution is the second resolution and whose luminance range is the first luminance range is stored as a stream on the BD. This stream is described as a 4K_SDR stream ((b) in FIG. 30).
  • a BD on which a video signal having a resolution of the first resolution and a luminance range of the second luminance range is recorded as a 2K_HDR compatible BD.
  • a video signal whose resolution is the first resolution and whose luminance range is the second luminance range is stored as a stream on the BD. This stream is described as a 2K_HDR stream ((d) in FIG. 30).
  • a BD on which a video signal having a resolution of the second resolution and a luminance range of the second luminance range is recorded as a 4K_HDR compatible BD.
  • a video signal whose resolution is the second resolution and whose luminance range is the second luminance range is stored as a stream on the BD. This stream is described as a 4K_HDR stream ((e) in FIG. 30).
  • the first resolution is, for example, a so-called 2K resolution (1920 ⁇ 1080, 2048 ⁇ 1080), but may be any resolution including such a resolution.
  • the first resolution may be simply described as 2K.
  • the second resolution is a so-called 4K resolution (3840 ⁇ 2160, 4096 ⁇ 2160), but may be an arbitrary resolution including such a resolution.
  • the second resolution is a resolution having more pixels than the first resolution.
  • the first luminance range is, for example, the SDR (luminance range with a peak luminance of 100 nit) described so far.
  • the second luminance range is, for example, the HDR described so far (luminance range in which the peak luminance exceeds 100 nits).
  • the second luminance range includes the entire first luminance range, and the peak luminance of the second luminance range is larger than the peak luminance of the first luminance range.
  • the dual stream disc is a BD on which a plurality of video signals for reproducing the same content and having a plurality of video signals different in at least one of resolution and luminance range are recorded.
  • the dual stream disc shown in (c) of FIG. 30 is a BD in which a 4K_SDR stream and a 2K_SDR stream are recorded.
  • the dual stream disc shown in (f) of FIG. 30 is a BD in which a 2K_HDR stream and a 2K_SDR stream are recorded.
  • the dual stream disc shown in FIG. 30 (g) is a BD on which a 4K_HDR stream and a 4K_SDR stream are recorded.
  • the dual stream disc shown in (h) of FIG. 30 is a BD in which a 4K_HDR stream and a 2K_SDR stream are recorded.
  • the dual stream disc shown in FIG. 30 (c) is not essential because the Blu-ray device can perform down conversion (hereinafter also referred to as down conversion) with a resolution of 4K to 2K.
  • FIG. 31 is a diagram illustrating an example of a combination of a video stream and a graphic stream recorded on each disc for each BD including a dual stream disc.
  • the graphic stream is recorded with a resolution of 2K and a luminance range in SDR regardless of the resolution and luminance range of the corresponding video stream in consideration of content production.
  • the 2K_SDR stream, 4K_SDR stream, 2K_HDR stream, and 4K_HDR stream can all share a graphic stream.
  • conversion of the resolution of the graphic stream from 2K to 4K and conversion of the luminance range of the graphic stream from SDR to HDR are both executed by the Blu-ray device.
  • FIG. 33 is a diagram showing details of the graphic stream shown in FIG.
  • SDR graphics PG, IG, Java Graphics, Java Drawing
  • PG graphics
  • IG Java Graphics
  • Java Drawing all the functions including the Java drawing command (Java Drawing) are not restricted.
  • the Blu-ray device performs conversion from SDR to HDR, there are no restrictions on the Java side, and all functions can be used.
  • FIG. 34 is a diagram showing an example of a combination of a video stream and a graphic stream recorded on each disc for each BD including a dual stream disc.
  • FIG. 34 shows that the graphic stream is recorded at a resolution of 2K regardless of the resolution of the corresponding video stream in consideration of the production of the content (BD).
  • the graphic stream can be shared between the 2K_SDR stream and the 4K_SDR stream. However, the graphic stream is recorded in a luminance range that matches the luminance range of the corresponding video stream.
  • the video stream is HDR
  • an HDR graphics stream is recorded.
  • the video stream is SDR
  • an SDR graphics stream is recorded. Conversion of the graphic stream from SDR to HDR is performed at the time of content creation.
  • FIG. 35 is a diagram showing details of the graphic stream shown in FIG.
  • the SDR graphic stream and the HDR graphic stream have the same basic specifications of the graphic stream.
  • the Java color space (BT 2020 for 4K), EOTF (EOTF for HDR), etc.
  • EOTF EOTF for HDR
  • the Popup menu may be displayed by IG using HDMV mode instead of Java.
  • the Popup menu using Java cannot be displayed, but the Popup menu can be displayed by IG using the HDMV mode.
  • the playback device is not limited to a player such as a BD device, but may be a display device such as a TV.
  • FIG. 39 is a flowchart showing the processing of the playback device.
  • the playback device reads a playback control program described in a playback control programming language called BD-J (BD-Java) or HDMV stored in the disc and executes the playback control program.
  • the processing shown in FIG. 39 is executed by this reproduction control program.
  • the playback control program plays back the menu and presents the main video playback selection menu to the user.
  • the playback control program determines whether the playback device supports HDR graphics (has a function for processing HDR graphics) (S401). ).
  • the playback control program plays back the graphics content of the HDR signal (S403).
  • the playback control program determines whether the playback device has a function of converting graphics of the SDR signal into graphics of the HDR signal. Is determined (S402). Specifically, the playback control program checks the register value of the playback device. For example, the player register number 25 (32-bit register called PSR25) indicates whether or not there is a function for converting and outputting SDR signal graphics as HDR signal graphics. The playback control program determines whether or not the playback device has a conversion output function by checking the value of this register.
  • the player register number 25 32-bit register called PSR25
  • the playback control program plays back the playlist #A prepared for converting the graphics of the SDR signal into the graphics of the HDR signal and outputting it.
  • the playback device outputs the converted HDR signal graphics while converting the SDR signal graphics into the HDR signal graphics (S404).
  • the playback control program plays back playlist #B including a pseudo HDR signal graphics signal prepared so that this conversion processing is unnecessary.
  • the playback apparatus plays back the caption and the HDMV menu using the CLUT prepared for the HDR signal (S405).
  • subtitles Presentation Graphics
  • graphics such as BD-J menus (BD-J Graphics)
  • HDMV menus Interactive Graphics
  • CLUT color conversion table in which the correspondence between the index number, color, and luminance
  • the playback apparatus uses the CLUT prepared for the SDR signal when outputting the graphics of the SDR signal, and is prepared for the HDR signal when outputting the graphics of the HDR signal.
  • Another CLUT is used.
  • Java cannot easily cope with HDR because of the limitation of the color space, but the HDR luminance range can be dealt with by using the HDR CLUT in the subtitle and HDMV menus. This makes it possible to avoid the problem that it is difficult to visually recognize menu and subtitle graphics video in a playback device that cannot convert SDR signal graphics into HDR signal graphics.
  • the playback apparatus superimposes and displays graphics on the first luminance range (HDR) video.
  • the playback device has a function of converting the first graphics in the second brightness range (SDR) narrower than the first brightness range (HDR) into the second graphics in the first brightness range (HDR)? It is determined whether or not (S402). Specifically, it is determined whether or not the playback device has the above function by executing the playback control program. Further, the playback control program determines whether or not the playback device has the above function by checking a register in which information indicating whether or not the playback device has the above function is stored. In addition, the playback device acquires the video of the first luminance range (HDR), the first graphics of the second luminance range (SDR), and the playback control program from the disc.
  • the playback device converts the first graphics into the second graphics and displays the second graphics superimposed on the video (S404).
  • the playback device when the playback device does not have the above function, the playback device superimposes and displays the third graphics different from the second graphics on the video. Specifically, the playback device generates the third graphics using the color conversion table for the first luminance range (S405).
  • the color conversion table (CLUT) for the first luminance range (HDR) the corresponding color associated with each number is included in the first luminance range.
  • the color conversion table can express luminance values that are not included in the second luminance range (SDR) and included in the first luminance range.
  • the playback device may superimpose and display the first graphics in the second luminance range (SDR) on the video without performing the graphics conversion process.
  • the third graphics may be the first graphics.
  • a case where the playback device (player) has a function of converting graphics from SDR to HDR is divided into a case where the playback device does not have graphics.
  • the above process is performed with the SDR signal, the result is converted from SDR to HDR, and the obtained HDR graphics is combined with the HDR video.
  • all processes using Java or the like can be performed, and high-quality graphics can be provided.
  • each component may be configured by dedicated hardware or may be realized by executing a software program suitable for each component.
  • Each component may be realized by a program execution unit such as a CPU or a processor reading and executing a software program recorded on a recording medium such as a hard disk or a semiconductor memory.
  • This disclosure can be applied to playback devices such as Blu-ray devices.
  • BD Player 210 Conversion Device 220 Remap Processing Unit 221 Determination Unit 222 Processing Object Determination Unit 223 Luminance Value Variable Remap Unit 224 Luminance Value Fixed Remap Unit 225 Storage Units 300 and 310 TV 400 generation unit 410 grading unit 420 determination unit 430 HDR signal generation unit 440 SDR signal generation unit 500 conversion device 501 EOTF conversion unit 502 luminance conversion unit 503 reverse luminance conversion unit 504 reverse SDR EOTF conversion unit 600 display device 601 display setting unit 602 SDR EOTF converter 603 Luminance converter 604 Display unit

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Picture Signal Circuits (AREA)
  • Television Signal Processing For Recording (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Image Generation (AREA)

Abstract

 本開示の一態様に係るデータ再生方法は、第1輝度範囲の映像にグラフィックスを重畳して表示するデータ再生方法であって、再生装置が、前記第1輝度範囲より狭い第2輝度範囲の第1グラフィックスを前記第1輝度範囲の第2グラフィックスに変換する機能を有するか否かを判定し、前記再生装置が前記機能を有する場合、前記再生装置により、前記第1グラフィックスを前記第2グラフィックスに変換し、前記映像に前記第2グラフィックスを重畳して表示し、前記再生装置が前記機能を有さない場合、前記映像に前記第2グラフィックスと異なる第3グラフィックスを重畳して表示する。

Description

データ再生方法及び再生装置
 本開示は、データ再生方法及び再生装置に関する。
 従来、表示可能な輝度レベルを改善するための画像信号処理装置が開示されている(例えば特許文献1参照)。
特開2008-167418号公報
 本開示の一態様に係るデータ再生方法は、第1輝度範囲の映像にグラフィックスを重畳して表示するデータ再生方法であって、再生装置が、前記第1輝度範囲より狭い第2輝度範囲の第1グラフィックスを前記第1輝度範囲の第2グラフィックスに変換する機能を有するか否かを判定し、前記再生装置が前記機能を有する場合、前記再生装置により、前記第1グラフィックスを前記第2グラフィックスに変換し、前記映像に前記第2グラフィックスを重畳して表示し、前記再生装置が前記機能を有さない場合、前記映像に前記第2グラフィックスと異なる第3グラフィックスを重畳して表示する。
 なお、これらの包括的または具体的な態様は、システム、方法、集積回路、コンピュータプログラムまたはコンピュータ読み取り可能なCD-ROMなどの記録媒体で実現されてもよく、システム、方法、集積回路、コンピュータプログラムまたは記録媒体の任意な組み合わせで実現されてもよい。
図1は、映像技術の進化について説明するための図である。 図2は、EOTF(Electro-Optical Transfer Function)の例について示す図である。 図3は、コンテンツに格納される輝度信号のコード値の決定方法、および、再生時にコード値から輝度値を復元するプロセスの説明図である。 図4は、BD(Blu-ray(登録商標、以下同様) Disc)の制作、および、BDを再生するプレーヤについての説明図である。 図5Aは、BDプレーヤとTVとをHDMI(登録商標、以下同様)により接続する例であり、TVがHDR表示に対応している場合を示す図である。 図5Bは、BDプレーヤとTVとをHDMIにより接続する例であり、TVがHDR表示に対応していない場合を示す図である。 図6は、変換装置におけるリマップ処理部の構成を示すブロック図である。 図7は、変換装置におけるリマップ処理のフローチャートを示す図である。 図8は、コンテンツ内にビデオおよびグラフィックスのストリームのそれぞれが1本ずつ含まれる場合におけるHDRおよびSDRの組合せ例を示す図である。 図9は、グラフィックス・マスターをビデオマスターと共通のEOTFを用いて生成することを示す図である。 図10Aは、グラフィックス・マスターの生成において、SDR信号にマッピングする場合について説明するための図である。 図10Bは、グラフィックス・マスターの生成において、HDR信号にマッピングする場合について説明するための図である。 図11は、オーサリングにおけるグラフィックス信号を生成する生成部の構成を示すブロック図である。 図12は、オーサリングにおけるグラフィックス信号の生成方法を示すフローチャートである。 図13は、コンテンツに新たな映像表現を導入するときの、映像制作、配信方式、および表示装置の関係について説明するための図である。 図14は、HDR導入時のマスター、配信方式、および表示装置の関係について説明するための図である。 図15Aは、SDRTV内のSDR表示処理について説明するための図である。 図15Bは、ピーク輝度が300nitのSDRTV内のSDR表示処理について説明するための図である。 図16は、HDRからSDRへの変換について説明するための図である。 図17Aは、HDRディスクにHDRに対応したHDR信号のみが格納されているケース1について説明するための図である。 図17Bは、HDRディスクにHDRに対応したHDR信号およびSDRに対応したSDR信号が格納されているケース2について説明するための図である。 図18は、HDRから疑似HDRへの変換処理について説明するための図である。 図19Aは、HDRおよびSDRのそれぞれに対応したEOTF(Electro-Optical Transfer Function)の例について示す図である。 図19Bは、HDRおよびSDRのそれぞれに対応した逆EOTFの例について示す図である。 図20Aは、HDRTV内で、HDR信号を変換してHDR表示を行う表示処理の一例を示す図である。 図20Bは、HDR対応の再生装置とSDRTVとを用いてHDR表示を行う表示処理の一例を示す図である。 図20Cは、標準インターフェースを介して互いに接続したHDR対応の再生装置とSDRTVとをHDR表示を行う表示処理の一例を示す図である。 図21は、実施の形態の変換装置および表示装置の構成を示すブロック図である。 図22は、実施の形態の変換装置および表示装置により行われる変換方法および表示方法を示すフローチャートである。 図23Aは、第1輝度変換について説明するための図である。 図23Bは、第1輝度変換の他の一例について説明するための図である。 図24は、第2輝度変換について説明するための図である。 図25は、表示設定の詳細な処理を示すフローチャートである。 図26は、第3輝度変換について説明するための図である。 図27は、HDRから疑似HDRへの変換処理について説明するための図である。 図28は、デュアルディスクの再生動作について説明するための図である。 図29は、BDの種類を示す図である。 図30は、BDの種類をさらに詳細に示す図である。 図31は、BD及びデュアルストリームディスクの各ディスクに記録された、ビデオストリームとグラフィックストリームとの組み合わせの一例を示す図である。 図32は、BD及びデュアルストリームディスクの各ディスクに記録された、ビデオストリームとグラフィックストリームとの組み合わせの一例を示す図である。 図33は、グラフィックストリームの一例を示す図である。 図34は、BD及びデュアルストリームディスクの各ディスクに記録された、ビデオストリームとグラフィックストリームとの組み合わせの一例を示す図である。 図35は、グラフィックストリームの一例を示す図である。 図36は、グラフィックストリームの一例を示す図である。 図37は、BD及びデュアルストリームディスクの各ディスクに記録された、ビデオストリームとグラフィックストリームとの組み合わせの一例を示す図である。 図38は、グラフィックストリームの一例を示す図である。 図39は、再生装置の処理を示すフローチャートである。
 本開示の一態様に係るデータ再生方法は、第1輝度範囲の映像にグラフィックスを重畳して表示するデータ再生方法であって、再生装置が、前記第1輝度範囲より狭い第2輝度範囲の第1グラフィックスを前記第1輝度範囲の第2グラフィックスに変換する機能を有するか否かを判定し、前記再生装置が前記機能を有する場合、前記再生装置により、前記第1グラフィックスを前記第2グラフィックスに変換し、前記映像に前記第2グラフィックスを重畳して表示し、前記再生装置が前記機能を有さない場合、前記映像に前記第2グラフィックスと異なる第3グラフィックスを重畳して表示する。
 これによれば、当該データ再生方法は、再生装置が、グラフィックスの輝度範囲を変更刷る機能を有するか否かに応じて、異なる動作を行うことができる。これにより、当該データ再生方法は、再生装置の機能に応じた適切な動作を行える。
 例えば、前記再生装置が前記機能を有さない場合、前記第1輝度範囲用の色変換テーブルを用いて前記第3グラフィックスを生成してもよい。
 これによれば、グラフィックス映像が視認しにくくなることを抑制できる。
 例えば、前記第3グラフィックスは、前記第1グラフィックスであってもよい。
 例えば、前記判定では、前記再生装置が再生制御プログラムを実行することで、前記再生装置が前記機能を有するか否かを判定してもよい。
 例えば、前記判定では、前記再生制御プログラムが、前記再生装置が前記機能を有するか否かを示す情報が格納されているレジスタを確認することで、前記再生装置が前記機能を有するか否かを判定してもよい。
 また、本開示の一態様に係る再生装置は、第1輝度範囲の映像にグラフィックスを重畳して表示する再生装置であって、前記再生装置が、前記第1輝度範囲より狭い第2輝度範囲の第1グラフィックスを前記第1輝度範囲の第2グラフィックスに変換する機能を有するか否かを判定する判定部と、前記再生装置が前記機能を有する場合、前記第1グラフィックスを前記第2グラフィックスに変換する変換部と、前記再生装置が前記機能を有する場合、前記映像に前記第2グラフィックスを重畳して表示し、前記再生装置が前記機能を有さない場合、前記映像に前記第2グラフィックスと異なる第3グラフィックスを重畳して表示する表示部とを備える。
 これによれば、当該再生装置は、当該再生装置が、グラフィックスの輝度範囲を変更刷る機能を有するか否かに応じて、異なる動作を行うことができる。これにより、当該再生装置は、当該再生装置の機能に応じた適切な動作を行える。
 なお、これらの包括的または具体的な態様は、システム、方法、集積回路、コンピュータプログラムまたはコンピュータ読み取り可能なCD-ROMなどの記録媒体で実現されてもよく、システム、方法、集積回路、コンピュータプログラムまたは記録媒体の任意な組み合わせで実現されてもよい。
 また、上記特徴に関しては、主に、[5-3.再生装置の動作]において説明する。
 また、以下で説明する実施の形態は、いずれも本開示の一具体例を示すものである。以下の実施の形態で示される数値、形状、材料、構成要素。構成要素の配置位置及び接続形態、ステップ、ステップの順序などは、一例であり、本開示を限定する主旨ではない。また、以下の実施の形態における構成要素のうち、最上位概念を示す独立請求項に記載されていない構成要素については、任意の構成要素として説明される。
 以下、添付の図面を参照して、本開示の一態様に係る再生方法および再生装置について、具体的に説明する。
 なお、以下で説明する実施の形態は、いずれも本開示の一具体例を示すものである。以下の実施の形態で示される数値、形状、材料、構成要素。構成要素の配置位置及び接続形態、ステップ、ステップの順序などは、一例であり、本開示を限定する主旨ではない。また、以下の実施の形態における構成要素のうち、最上位概念を示す独立請求項に記載されていない構成要素については、任意の構成要素として説明される。
 (実施の形態1)
 本開示は、輝度範囲が高い高輝度信号であるHDR(High Dynamic Range)信号を、最大輝度値が100nitである輝度範囲の通常輝度信号であるSDR(Standard Dynamic Range)信号に対応したTV、プロジェクタ、タブレット、スマートフォン等のディスプレイ装置で表示させるための画像変換・再生方法、装置に関する。
 [1-1.背景]
 まず、映像技術の変遷について、図1を用いて説明する。図1は、映像技術の進化について説明するための図である。
 これまで、映像の高画質化としては、表示画素数の拡大に主眼がおかれ、Standard Definition(SD)の720×480画素の映像から、High Definition(HD)の1920×1080画素の、所謂2K映像が普及している。
 近年、映像の更なる高画質化を目指して、Ultra High Definition(UHD)の3840×1920画素、あるいは、4Kの4096×1920画素の、所謂4K映像の導入が開始された。
 そして、4Kの導入による映像の高解像度化を行うと共に、ダイナミックレンジ拡張や色域の拡大、あるいは、フレームレートの追加、向上などを行うことで映像を高画質化することが検討されている。
 その中でも、ダイナミックレンジについては、従来の映像における暗部階調を維持しつつ、現行のTV信号では表現不能な鏡面反射光などの明るい光を、より現実に近い明るさで表現するために最大輝度値を拡大した輝度範囲に対応させた方式として、HDR(High Dynamic Range)が注目されている。具体的には、これまでのTV信号が対応している輝度範囲の方式は、SDR(Standard Dynamic Range)と呼ばれ、最大輝度値が100nitであったのに対して、HDRでは1000nit以上まで最大輝度値を拡大することが想定されている。HDRは、SMPTE(Society of Motion Picture & Television Engineers)やITU-R(International Telecommunications Union Radiocommunications Sector)などにおいて、標準化が進行中である。
 HDRの具体的な適用先としては、HDやUHDと同様に、放送やパッケージメディア(Blu-ray Disc等)、インターネット配信などで使われることが想定されている。
 なお、以下では、HDRに対応した映像において、当該映像の輝度は、HDRの輝度範囲の輝度値からなり、当該映像の輝度値が量子化されることで得られた輝度信号をHDR信号と呼ぶ。SDRに対応した映像において、当該映像の輝度は、SDRの輝度範囲の輝度値からなり、当該映像の輝度値が量子化されることで得られた輝度信号をSDR信号と呼ぶ。
 [1-2.EOTFについて]
 ここで、EOTFについて、図2を用いて説明する。
 図2は、HDRおよびSDRのそれぞれに対応したEOTF(Electro-Optical Transfer Function)の例について示す図である。
 EOTFは、一般的にガンマカーブと呼ばれるものであり、輝度値とコード値との対応を示し、輝度値を量子化してコード値に変換するものである。つまり、EOTFは、輝度値と複数のコード値との対応関係を示す関係情報である。例えば、SDRに対応した映像の輝度値を8ビットの階調のコード値で表現する場合、100nitまでの輝度範囲における輝度値は、量子化されて、0-255の256個の整数値にマッピングされる。つまり、EOTFに基づいて量子化することで、100nitまでの輝度範囲の輝度値(SDRに対応した映像の輝度値)を、8ビットのコード値であるSDR信号に変換する。HDRに対応したEOTF(以下、「HDRのEOTF」という。」)においては、SDRに対応したEOTF(以下、「SDRのEOTF」という。)よりも高い輝度値を表現することが可能であり、例えば図2においては、輝度の最大値(ピーク輝度)は1000nitsである。つまり、HDRの輝度範囲は、SDRの輝度範囲を全て含み、HDRのピーク輝度は、SDRのピーク輝度より大きい。HDRの輝度範囲は、SDRの輝度範囲の最大値である例えば100nitから、1000nitまで、最大値を拡大した輝度範囲である。また、HDR信号は、例えば10ビットの階調で表現される。
 [1-3.EOTFの使い方]
 図3は、コンテンツに格納される輝度信号のコード値の決定方法、および、再生時にコード値から輝度値を復元するプロセスの説明図である。
 本例における輝度を示す輝度信号はHDRに対応したHDR信号である。グレーディング後の画像は、HDRのEOTFの逆関数により量子化され、当該画像の輝度値に対応するコード値が決定される。このコード値に基づいて画像符号化などが行われ、ビデオおよびグラフィックスそれぞれのエレメンタリ・ストリームが生成される。再生時には、エレメンタリ・ストリームの復号結果に対して、HDRのEOTFに基づいて逆量子化することにより、画素毎の輝度値が復元される。
 [1-4.BDのストリーム構成]
 BDなどの光ディスク、あるいは、放送などにおいてHDRが使われる可能性があることを先に述べた。以下、HDRが利用される媒体の一例としてのBDについて図4を用いて説明する。
 図4は、BDの制作、および、BDを再生するプレーヤについての説明図である。
 図4に示すように、制作プロセスは、Blu-rayコンテンツのオーサリング、オーサリングしたBlu-rayコンテンツを格納したBDの作成などを含む。Blu-rayコンテンツには、ビデオおよびオーディオの他にも、字幕やメニューを生成するためのグラフィックスデータ、および、メニューの表示やユーザ操作におけるインタラクティビティを提供するためのシナリオデータなどが含まれる。シナリオデータには、規定のコマンドにより制御するHDMV(High Definition Movie)と呼ばれる形式と、Java(登録商標、以下同様)プログラムにより制御するBD-J(Blu-ray Disc Java)と呼ばれる形式とが存在する。オーサリングにおいては、ビデオおよびオーディオを符号化して、それらの符号化ストリームと、字幕、メニューなどを示すグラフィックスデータとをM2TS形式のトランスポートストリームに多重化すると共に、プレイリストやEPマップなどの再生制御に必要な管理情報を生成する。そして、オーサリングにより生成されたデータは、BDに格納される。
 BDプレーヤでは、管理情報を参照して再生に必要なビデオおよびオーディオのエレメンタリ・ストリームと、グラフィックスデータとを分離して復号し、出力する。ここで、ビデオと、字幕、メニューなどのグラフィックスとは、互いのプレーンを合成した後に出力される。ビデオの解像度とグラフィックスの解像度とが異なる場合には、ビデオの解像度に合わせてグラフィックスをアップコンバートした後に、ビデオとグラフィックスとを合成する。
 [1-5.装置の構成)]
 HDRに対応したコンテンツ(映像)を再生する際には、TVなどのディスプレイは、BDプレーヤなどの再生装置からの出力信号を受信して表示する。以下、HDRに対応した映像の表示を「HDR表示」、SDRに対応した映像の表示を「SDR表示」と記載する。このとき、ディスプレイがHDR表示に対応していれば、再生装置が出力する出力信号も、HDRに対応したHDR信号のままでよい。一方、ディスプレイがHDR表示に対応していない場合には、再生装置は、出力信号をSDRに対応したSDR信号に変換して出力する。ディスプレイがHDR表示に対応していない場合とは、ディスプレイがSDR表示のみに対応している場合である。
 図5Aおよび図5Bは、それぞれ、BDプレーヤ200とTV300、310とをHDMIにより接続する例であり、図5AはTV300がHDR表示に対応している場合を示し、図5BはTV310がHDR表示に対応していない場合を示す。なお、図5AにおけるBDプレーヤ200と、図5BにおけるBDプレーヤ200とでは、構成が異なるが、図5Aの場合には、後述するリマップを行わない場合を示した図であり、リマップを行う変換装置210の構成を省略して図示している。
 図45では、BDプレーヤ200は、メディア100からビデオおよびグラフィックスを読み込んでデコードする。そして、BDプレーヤ200は、デコードされたビデオおよびグラフィックスのHDRデータを合成し、合成することで生成したHDR信号を、HDMIによりHDR表示対応のTV300に出力する。
 一方、図5Bでは、TV310がHDR表示非対応であるため、BDプレーヤ200は、ビデオおよびグラフィックスを合成する前に、HDRのEOTFおよびSDRのEOTFを用いて、ビデオおよびグラフィックスのHDRデータのそれぞれを、SDRデータにリマップする。そして、BDプレーヤ200は、リマップされたビデオおよびグラフィックスのSDRデータを合成し、合成することで生成したSDR信号を、HDMIによりHDR表示非対応のTV310に出力する。
 なお、リマップとは、第1EOTFおよび第2EOTFの2種類のEOTFが存在する際に、第1EOTFにおける第1コード値を、第2EOTFにおける第2コード値に変換する処理である。図5Bの場合、リマップは、HDRからSDRへの変換において、HDRのEOTFのコード値を、SDRのEOTFのコード値に変換する処理である。
 つまり、図5Bの場合、BDプレーヤ200は、第1輝度範囲(HDR)に対応する第1輝度信号(HDR信号)を取得する取得部と、HDRのEOTFと、SDRのEOTFとを用いて、取得部により取得された第1輝度信号が示すコード値から、第2輝度範囲(SDR)に対する量子化により対応付けられたコード値を変換後コード値として決定し、第1輝度信号を、変換後コード値を示す第2輝度信号へ変換する変換部とを備える変換装置210を含む。より具体的には、変換部は、第2輝度信号への変換において、第1EOTFと、第2EOTFとを用いて、取得部により取得された第1輝度信号が示すコード値から、対応する第2コード値を変換後コード値として決定する。なお、BDプレーヤ200は、変換装置210の各部に対応するステップを行う変換方法を行う。なお、図5Bでは、変換装置210は、HDR信号をSDR信号に変換して出力する場合が例示されているが、後述するように、SDR信号をHDR信号に変換して出力してもよい。
 SDRにおいては100nitを超える輝度を表現できないため、変換装置210で行われるHDRからSDRへの変換処理では、少なくとも、HDR信号において100nitを超える輝度と、当該輝度に対応するSDRのコード値との対応付けを、予め定義した変換テーブル、あるいは、コンテンツにおける画像の輝度分布などに応じた適応的な処理、に基づいて行う必要がある。また、変換処理では、字幕のように輝度値が離散的になるデータと、ビデオとでは異なる変換ルールが必要になると想定される。また、リマップは、フレーム単位で発生するため、特に4Kなどの高解像度の画像においては処理量が大きい。さらに、リマップの前後では輝度値が変化するため、リマップ後の画像は制作者の意図と異なる印象の画像となる可能性がある。
 HDRに対応した映像(コンテンツ)のHDR信号をSDR信号に変換して出力する際には、グラフィックスについてもビデオと同様のリマップが必要となる。ビデオとグラフィックスとの両方にリマップを行うことで、リマップにかかる処理量が大きくなると共に、制作者の意図しない輝度値に変換される可能性があるという課題も想定される。
 [1-6.変換方法、および、変換装置]
 図6は、変換装置におけるリマップ処理部の構成を示すブロック図である。
 リマップ処理部220は、変換装置210に含まれる。図6に示すように、リマップ処理部220は、EOTF判定部221と、処理対象判定部222と、輝度値可変リマップ部223と、輝度値固定リマップ部224と、コンテンツ(映像)のストリームを一時的に記憶しておく記憶部225とを有する。
 EOTF判定部221は、メディア100から読み込んだコンテンツ(ビデオおよびグラフィックス)の信号が対応しているEOTFと、映像を表示するTV300、310などのディスプレイに出力すべき出力信号が対応しているEOTFとが異なるか否かを判定する。なお、出力信号が対応しているEOTFとは、ここでは、TVなどのディスプレイが対応しており表示することができる出力信号のEOTFである。
 処理対象判定部222は、処理対象がビデオであるか否(グラフィックスである)かを判定する。
 輝度値可変リマップ部223は、記憶部225に記憶されているストリームの信号を、輝度値可変リマップ(第2リマップ)により出力信号のEOTFに対応する信号に変換する。
 輝度値固定リマップ部224は、記憶部225に記憶されているストリームの信号を、輝度値固定リマップ(第1リマップ)により出力信号のEOTFに対応する信号に変換する。
 図7は、変換装置におけるリマップ処理のフローチャートを示す図である。
 図7に示すように、リマップ処理では、まず、EOTF判定部221が、取得したコンテンツ(ビデオおよびグラフィックス)の信号が対応しているEOTFと、ディスプレイに出力すべき出力信号が対応しているEOTFとが異なるか否かを判定する(step101)。step101において「はい」と判定されれば、コンテンツの信号が対応している輝度範囲の方式を、出力信号が対応しているEOTFに変換するために、step102~step104の処理を行う。一方で、step101において「いいえ」と判定されれば、リマップ処理を終了し、リマップすることなくコンテンツの信号を出力する。このように、step101が行われることにより、出力信号の形式は、映像を表示するTVなどのディスプレイが、HDR表示対応であるかどうかに基づいて決定される。なお、出力信号の形式は、本編などのメインのビデオに合わせるように決定されてもよい。
 次に、処理対象判定部222は、処理対象がビデオであるか否(グラフィックスである)かを判定する(step102)。step102において「はい」と判定されれば、輝度値可変リマップ部223は、コンテンツの信号を、輝度値可変リマップ(第2リマップ)により出力信号のEOTFに対応する信号に変換する(step103)。
 一方で、step102において「いいえ」と判定されれば、輝度値固定リマップ部224は、輝度値固定リマップ(第1リマップ)により出力信号のEOTFに対応する信号に変換する(step104)。
 このように、コンテンツ(映像)がビデオである場合、第2リマップが行われ、コンテンツ(映像)がグラフィックスである場合、第1リマップが行われる。
 step103の輝度値可変リマップとstep104の輝度値固定リマップとにおいては、それぞれ、HDRおよびSDRの輝度値の対応関係を示すテーブルを予め用意しておく。このテーブルにおいては、HDRのEOTFおよびSDRのEOTFにおいて、それぞれ、コード値が存在する輝度値の間の対応関係が記述されていてもよい。こうすることで、リマップ後のEOTFの輝度値に対応するコード値が必ず存在するため、輝度値に対応するコード値が存在しない場合に、当該の輝度値に最も近い輝度値を有するコード値を探索する必要がなくなる。
 また、輝度値可変リマップ(第2リマップ)では、画像内、あるいは、シーン毎の輝度分布などに基づいて、複数のテーブルを適応的に切替える、あるいは、コンテンツ毎に最適なテーブルを逐次作成するなどしてもよい。つまり、例えば、リマップ後の輝度値である第2輝度値の決定では、第1輝度範囲における輝度値と、第2輝度表現における輝度値との関係を示す複数の関係情報(テーブル)から、映像のシーンに応じた関係情報を選択し、選択した関係情報を用いて、決定した第1輝度値から第2輝度値を決定してもよい。
 step103の輝度値可変リマップでは、次のような手順で処理が行われる。この場合、第1EOTFに対応した第1輝度信号から第2EOTFに対応した第2輝度信号に変換するものとする。
 (1)第1EOTFのコード値に対応する第1輝度値(リマップ前の輝度値)を決定する。
 (2)(1)で決定した第1輝度値に対応する第2EOTFの第2輝度値(リマップ後の輝度値)を決定する。
 (3)(2)で決定した第2輝度値に対応する第2EOTFのコード値を決定する。
 step104の輝度値固定リマップでは、次のような手順で処理が行われる。この場合、第1EOTFに対応した第1輝度信号から第2EOTFに対応した第2輝度信号に変換するものとする。
 (1)第1EOTFのコード値に対応する輝度値を決定する。
 (2)(1)で決定した輝度値に対応する第2EOTFのコード値を決定する。
 ※輝度値固定リマップの場合、リマップの前後で輝度値は変化しないため、step103における(2)の処理は不要となる。
 step103およびstep104のリマップ処理の完了後、変換装置210は、ビデオおよびグラフィックスを合成して出力する。つまり、変換装置210は、さらに、第1リマップおよび第2リマップが行われることで、第2輝度信号に変換されたビデオおよびグラフィックスが合成して出力してもよい。
 また、変換装置210は、さらに、HDMIなどのインターフェースによりディスプレイに出力する際には、出力信号のEOTFを識別するための情報をメタ情報として送信してもよい。つまり、変換装置210は、さらに、取得した第1輝度信号から変換した第2輝度信号を、第2EOTFを識別するためのメタ情報とともに出力してもよい。
 [1-7.効果等]
 実施の形態1では、コンテンツの再生においては、映像の出力先がHDR対応であるかどうかに応じて、HDR、または、SDRのどちらで出力するかを決定し、出力形式に合わせて、映像とグラフィックスをSDRからHDRに、あるいは、HDRからSDRにリマップ処理を行う。グラフィックスに対しては、リマップの前後で輝度値が変化しない輝度固定リマップ処理を適用し、映像に対しては、リマップの前後で輝度値が変化し得る輝度可変リマップ処理を適用する。
 グラフィックスについては、リマップの前後で輝度が変化しないため、制作者の意図した画質を保持することができる。また、変換前後EOTFの間での輝度値の対応付けが不要であり、リマップに係る処理量を削減できる。
 (実施の形態2)
 [2-1.コンテンツの生成方法]
 ビデオやグラフィックスのマスターの作成においては、制作者の意図を反映するように、カメラで撮影したデジタル画像やフィルムのスキャン画像に対して、画素毎の輝度や色合いを修正する、図3で示したグレーディングという工程が必要であり、グレーディングには高度なノウハウが必要であると共に、必要な工数も膨大となる。従って、生成するマスターの数は最小限に抑えられることが望ましい。一方で、HDRとSDRとでは、ピーク輝度が異なるため、一般的にはそれぞれに対して異なるマスターを生成する必要がある。図8は、コンテンツ内にビデオおよびグラフィックスのストリームのそれぞれが1本ずつ含まれる場合におけるHDRおよびSDRの組合せ例を示す図である。この例においては、4通りの組合せがあり、ビデオおよびグラフィックスに対して、それぞれHDRおよびSDRのマスターが必要となる。
 一方で、映像コンテンツにおいてHDRの効果が最も大きいのは、映画の本編などのビデオであり、字幕などのグラフィックスについてはビデオと比較すると効果が小さいと考えられる。それにもかかわらず、グラフィックスに対しても、ビデオと同様にHDRおよびSDRのマスターを作成することは、コンテンツ制作の負荷が大きいという課題があった。
 そこで、本開示のグラフィックスのマスター生成においては、図9に示すように、SDRおよびHDRのマスターを共通化する。図9は、グラフィックス・マスターをビデオマスターと共通のEOTFを用いて生成することを示す図である。このために、グラフィックスのマスターにおける輝度範囲は、SDRの輝度範囲と一致させる。すなわち、グラフィックス・マスターにおけるピーク輝度は、SDRの輝度範囲の上限値以下とする。コンテンツ内のグラフィックスデータを、SDRに対応させたSDR信号にマッピングする場合には、SDRのEOTFに基づいて画素毎のコード値が決定され、HDRに対応させたHDR信号にマッピングする場合には、HDRのEOTFに基づいて画素毎のコード値が決定される。
 図10Aは、グラフィックス・マスターの生成において、SDR信号にマッピングする場合について説明するための図である。この場合、SDRの輝度範囲とグラフィックスのマスターの輝度範囲とは一致するため、SDRのEOTFにおけるコード値の定義域は、全て有効となる。
 図10Bは、グラフィックス・マスターの生成において、HDR信号にマッピングする場合について説明するための図である。この場合、SDRのピーク輝度に相当するコード値以下のコード値のみが有効となる。
 なお、グラフィックス・マスターをHDR信号にマッピングした場合に、ピーク輝度がSDRの輝度範囲内であることを示す識別情報を、エレメンタリ・ストリーム、あるいは、プレイリストなどの管理情報に格納してもよい。上述したリマップ処理においては、この識別情報に基づいて、輝度値固定リマップ、あるいは、輝度値可変リマップのどちらを適用するかを決定できる。また、HDMIなどのインターフェースにより出力する際には、出力インターフェースのメタ情報として、この識別情報を格納してもよい。
 グラフィックスのEOTFは、ビデオに合わせて決定できる。すなわち、ビデオがHDRであればグラフィックスデータもHDRとし、ビデオがSDRであればグラフィックスデータもSDRとする。あるいは、グラフィックスデータは常にSDRとしてもよい。
 なお、複数のビデオが存在する際にも同様の考え方を適用できる。例えば、メインのビデオに対して重畳、あるいは、並べて表示するサブのビデオがある場合には、サブのビデオのEOTFはメインのビデオに合わせるなどが可能である。
 [2-2.データ生成方法、および、装置]
 図11は、オーサリングにおけるグラフィックス信号を生成する生成部の構成を示すブロック図である。
 生成部400は、GFXグレーディング部410と、判定部420と、HDR信号生成部430と、SDR信号生成部440とを備える。
 GFXグレーディング部410は、輝度値がSDRのピーク輝度以下となるようにグラフィックス・マスターをグレーディングする。
 判定部420は、グラフィックスと同時に表示されるビデオはHDRであるか否かを判定する。
 HDR信号生成部430は、判定部420によりグラフィックスと同時に表示されるビデオはHDRであると判定された場合、HDRのEOTFを用いてグラフィックスの輝度値をコード値に変換する。
 SDR信号生成部440は、判定部420によりグラフィックスと同時に表示されるビデオはHDRでない(つまりSDRである)と判定された場合、SDRのEOTFを用いてグラフィックスの輝度値をコード値に変換する。
 図12は、オーサリングにおけるグラフィックス信号の生成方法を示すフローチャートである。
 まず、GFXグレーディング部410が、輝度値がSDRのピーク輝度以下となるようにグラフィックス・マスターをグレーディングする(step201)。
 次に、判定部420は、グラフィックスと同時に表示されるビデオはHDRであるか否かを判定する(step202)。
 HDR信号生成部430は、step202で「はい」と判定された場合、HDRのEOTFを用いてグラフィックスの輝度値をコード値に変換する(step203)。
 SDR信号生成部440は、step202で「いいえ」と判定された場合、SDRのEOTFを用いてグラフィックスの輝度値をコード値に変換する(step204)。
 なお、step202において、ビデオと同時に表示されるグラフィックスであるかどうかを判定しているが、例えば、グラフィックスが字幕であれば、当該字幕が重畳されるビデオについて判定することになる。また、メニューなど、ビデオと同時には表示されないグラフィックスについては、本編のビデオがHDRであるかどうかなどに基づいて判定してもよい。なお、グラフィックスは従来の2K向けのフォーマットと同じものを使用するために、常にSDRのEOTFを用いて変換するものとして、step202の判定処理を行わずに、常にstep204の処理を行ってもよい。
 このように、グラフィックスの輝度範囲をSDRのピーク輝度以下とすることで、リマップの前後で輝度値を変化させずにリマップする輝度値固定リマップを行うことができるという利点がある。
 なお、HDRマスターの輝度をSDRの範囲内とするようにグレーディングすることは、グラフィックス以外のデータについても可能である。また、特に字幕などのグラフィックスでは、SDRのピーク輝度よりも高い輝度値を用いるメリットが小さい。従って、SDRからHDRへのリマップにおいては、グレーディングがSDRの範囲内であるかどうかに関わらず、輝度値固定リマップを適用してもよい。
 [2-3.効果等]
 本実施の形態2に係る生成装置および生成方法では、ビデオの他にグラフィックスなどの映像データが含まれるコンテンツをオーサリングする際に、ビデオ以外の映像データについては、HDRとSDRで共通のマスターを使用する。このため、マスターにおけるピーク輝度は、SDRの輝度範囲内となるようにグレーディングを行う。
 これにより、ビデオ以外のマスターをHDRおよびSDRで共通化できるため、マスター生成に係る工数を削減できる。
 (他の実施の形態)
 以上のように、本出願において開示する技術の例示として、実施の形態を説明した。しかしながら、本開示における技術は、これに限定されず、適宜、変更、置き換え、付加、省略などを行った実施の形態にも適用可能である。また、上記実施の形態で説明した各構成要素を組み合わせて、新たな実施の形態とすることも可能である。
 そこで、以下では、他の実施の形態を例示する。
 例えば、上記の各実施の形態では、変換装置210から出力される出力信号の形式としては、HDRおよびSDRの2種類について説明した。HDMIなどに出力する際には、標準規格としてHDRあるいはSDRのいずれかにより出力するが、例えば、TVにBDプレーヤが内蔵されている場合や、TVで放送を受信して再生する、あるいは、タブレットなどにおいてOTTサービスを視聴する際には、変換装置210からディスプレイデバイスに対して直接信号を出力することが可能である。
 このとき、HDR規格におけるピーク輝度と、ディスプレイデバイスにおいて表示可能なピーク輝度とが異なる場合には、HDRに対応したコンテンツ内のデータに対して、ディスプレイデバイスのEOTFに応じたリマップ処理を行ってもよい。また、ディスプレイデバイスに対してHDMIで入力されたSDRやHDRの信号についても、ディスプレイデバイスのピーク輝度に応じたEOTFに対して再度リマップ処理を行ってもよい。つまり、この場合は、第2輝度信号への変換は、取得した第1輝度信号を、第1EOTFと、第2輝度信号の出力先のディスプレイデバイスにおいて表示可能な輝度範囲を第2輝度範囲とする第2EOTFとを用いて、行われてもよい。
 また、上記の各実施の形態では、言及していないが、BDのオーサリングにおいては、プレイリスト内のプレイアイテム単位で再生するビデオやオーディオ、あるいは、グラフィックスを指定できる。このように、プレイアイテム単位で再生するビデオやオーディオ、或いは、グラフィックスが指定されている場合、HDMIなどのインターフェースでは、プレイアイテム単位でHDRとSDRが切替わると、プレイアイテムの境界においてリセット処理がかかり、シームレスに再生できないことがある。従って、シームレスに接続されるプレイアイテム間でHDRとSDRとが切替わる場合には、出力信号のEOTFが直前のプレイアイテムと同一となるように、BDプレーヤなどに備えられる変換装置においてリマップ処理を行ってもよい。あるいは、シームレスに接続されるプレイアイテム間では、EOTFの切替わりを禁止し、さらに、EOTFが切替わらないことを示す識別情報をプレイリストなどの管理情報に格納してもよい。
 また、上記の各実施の形態のオーサリング、あるいは、変換方法などは、光ディスクのようなパッケージメディアだけでなく、放送やOTT(Over The Top)サービスにおいても適用できる。例えば、放送では、放送番組の本編の他に、放送により送られるデータ放送や、通信ネットワーク経由で取得したコンテンツを、本編のビデオに対して重畳表示することができる。このとき、本編のビデオはHDRの番組とSDRの番組とが混在することが予想され、本編とは別に取得するコンテンツにおけるグラフィックスやビデオに対しても、これまで説明した手法によるピーク輝度の制限や、リマップ処理を行うことができる。
 (実施の形態3)
 [3-1.マスター生成、配信方式、および表示装置の関係]
 図13は、コンテンツに新たな映像表現を導入するときの、映像制作、配信方式、および表示装置の関係について説明するための図である。
 映像の高画質化のために新たな映像表現(画素数の増加等)を導入する場合には、図13に示すように、(1)映像制作側のHome Entertainment向けマスターを変更する必要がある。それに応じて、(2)放送、通信、パッケージメディア等の配信方式も、(3)その映像を表示するTV、プロジェクタ等の表示装置も更新する必要がある。
 [3-2.HDR導入時のマスター、配信方式、および表示装置の関係]
 ユーザが新たな映像表現に対応したコンテンツ(例えば、高輝度映像コンテンツ(HDRコンテンツ))を家庭内で楽しむためには、HDR対応配信方式およびHDR対応表示装置の両方を新たに導入する必要がある。つまり、新たな映像表現に対応したコンテンツを家庭内で楽しむためには、ユーザは、新たな映像表現に対応した配信方式および表示装置を用意する必要がある。このことは、SDの映像からHDの映像、HDの映像から3Dの映像、HDの映像からUHD(4K)の映像に代わったときのような新たな映像表現が導入された場合にも避けることができなかった。
 このため、高価で、大きさ・重量等の点でも置き換えが容易でない、TVを買い替える必要がある、新たな映像表現への変更は、新たな機能を持つ表示装置(例えばTV)の普及に依存することになる。媒体側も、コンテンツ側も当初は大きな投資ができないため、新たな映像表現の普及が遅くなることが多かった。
 よって、図14に示すように、HDRについても、HDR本来の映像表現をフルに生かすためには、HDRに対応した映像の表示(以下、「HDR表示」という。)に対応したTV(以下、「HDRTV」という。)への買い替えが必要になると予想される。
 [3-3.SDRTV]
 SDRに対応した映像の表示(以下、「SDR表示」という。)のみに対応したTV(以下、「SDRTV」という。)は、通常、輝度値が100nitまでの入力信号が入力される。このため、SDRTVは、その表示能力が100nitであれば入力信号の輝度値を表現するのに十分である。しかし、SDRTVは、実際は、視聴環境(暗い部屋:シネマモード、明るい部屋:ダイナミックモード等)に合わせて、最適な輝度値の映像を再生する機能を有し、200nit以上の映像表現が可能な能力を持っているものが多い。つまり、このようなSDRTVは、視聴環境に応じた表示モードを選択することで、表示能力の最大輝度(例えば、300nit)までの映像を表示できる。
 しかし、SDRTVに入力されるSDR方式の入力信号では、入力信号の輝度上限が100nitに決められているため、従来通りにSDR方式の入力インターフェースを使う限り、SDRTVが持つ100nitを超える高輝度の映像再生能力をHDR信号の再生用に使うことは難しい(図15Aおよび図15B参照)。
 [3-4.HDR→SDR変換]
 HDR対応の放送、通信ネットワークを介した動画配信、あるいは、HDR対応のパッケージメディア(例えば、HDR対応のBlu-ray Disc)等の配信方式により配信された高輝度映像コンテンツ(以下、「HDRコンテンツ」または「HDR映像」ともいう。)は、HDR対応の再生装置(例えば、通信STB(Set Top Box)、Blu-ray機器、IPTV再生機器)を介して、SDRTVにより出力される場合が想定される。SDRTVでHDRコンテンツを再生する場合、SDRTVで映像が正しく表示できるように、HDRに対応するHDR信号を、100nitを最大値とするSDR輝度範囲のSDR信号に変換する「HDR→SDR変換」を実現する。これにより、SDRTVは、変換されたSDR信号を用いて、HDR映像から変換されることで得られたSDR映像の表示を行うことが可能となる(図16参照)。
 ただし、この場合でも、ユーザはHDR対応のコンテンツ(例えばBlu-ray Disc、HDR IPTVコンテンツ)とHDR対応の再生装置(例えばBlu-ray機器、HDR対応のIPTV再生機器)とを購入したのにも関わらず、SDRTVではSDRの映像表現(SDR表現)でしか映像を楽しむことができない。つまり、HDRコンテンツと、HDRに対応した再生機器とを用意しても、HDRに対応した表示装置(例えばHDRTV)がなく、SDRTVしかない場合には、HDRの映像表現(HDR表現)で映像を視聴することができない。
 よって、ユーザは、HDRTVを用意できなければ、HDRコンテンツや伝送媒体(再生装置)を購入しても、HDRの価値(つまりHDRが高画質であることによるSDRに対する優位性)が解らない。このように、ユーザは、HDRTVが無ければHDRの価値が分からないため、HDRコンテンツやHDR対応配信方式の普及は、HDRTVの普及速度に応じて決まると言える。
 [3-5.HDR→SDR変換を実現する2つの方式]
 Blu-ray Disc(BD)を用いてHDR信号をTVに送る場合、下記の図17Aおよび図17Bに示すように2つのケースが想定できる。図17Aは、HDR対応のBDに、HDRに対応したHDR信号のみが格納されているケース1について説明するための図である。図17Bは、HDR対応のBDにHDRに対応したHDR信号およびSDRに対応したSDR信号が格納されているケース2について説明するための図である。
 図17Aに示すように、ケース1において、HDRTVにBlu-ray機器でBDを再生した映像を表示させる場合には、HDR対応のBD(以下、「HDRBD」という。)を再生したときでも、SDR対応のBD(以下、「SDRBD」という。)を再生したときでも、Blu-ray機器は、BDに格納された輝度信号を変換することなくそのままHDRTVに出力する。そして、HDRTVは、HDR信号もSDR信号も表示処理することができるため、入力された輝度信号に応じた表示処理を行い、HDR映像またはSDR映像を表示する。
 一方で、ケース1において、SDRTVにBlu-ray機器でBDを再生した映像を表示させる場合には、HDRBDを再生したときは、Blu-ray機器は、HDR信号からSDR信号へ変換する変換処理を行い、変換処理により得られたSDR信号をSDRTVに出力する。また、SDRBDを再生したときは、Blu-ray機器は、BDに格納されたSDR信号を変換することなくそのままSDRTVに出力する。これにより、SDRTVは、SDR映像を表示する。
 また、図17Bに示すように、ケース2において、HDRTVにBlu-ray機器でBDを再生した映像を表示させる場合には、ケース1と同様である。
 一方で、ケース2において、SDRTVにBlu-ray機器でBDを再生した映像を表示させる場合には、HDRBDを再生したときでも、SDRBDを再生したときでも、Blu-ray機器は、BDに格納されたSDR信号を変換することなくそのままSDRTVに出力する。
 ケース1も、ケース2も、共にHDRBDとHDR対応のBlu-ray機器を買っても、HDRTVが無ければ、SDR映像しか楽しむことができない。したがって、ユーザがHDR映像を見るためにはHDRTVが必要になり、HDR対応のBlu-ray機器またはHDRBDの普及には時間がかかることが予測される。
 [3-6.HDR→疑似HDR変換]
 以上のことからHDRの普及を促進するためには、HDRTVの普及を待たずに、HDRコンテンツや配信方式の事業化を推進できることが重要であると言える。このためには、既存のSDRTVで、HDR信号を、SDR映像としてではなく、HDR映像または、SDR映像よりもHDR映像に近づけた疑似HDR映像として視聴可能にすることができれば、ユーザは、HDRTVを買わなくても、SDR映像とは明らかに異なる、HDR映像に近いより高画質な映像を視聴できる。つまり、ユーザは、SDRTVで疑似HDR映像を視聴できれば、HDRTVを用意しなくてもHDRコンテンツやHDR配信機器を用意するだけで、SDR映像よりも高画質な映像を視聴することができるようになる。要するに、疑似HDR映像をSDRTVで視聴できるようにすることは、HDRコンテンツやHDR配信機器を購入するためのユーザの動機になり得る(図18参照)。
 疑似HDR映像をSDRTVに表示させることを実現するために、HDR配信方式にSDRTVが接続された構成で、HDRコンテンツを再生した時に、SDRTVでHDRコンテンツの映像が正しく表示できるように、HDR信号をSDR映像信号に変換する代わりに、SDRTVの100nitを最大値とする映像信号の入力を用いて、SDRTVが持つ表示能力の最大輝度、例えば、200nit以上の映像を表示させるための疑似HDR信号を生成し、生成した疑似HDR信号をSDRTVに送ることを可能にする「HDR→疑似HDR変換処理」を実現することが必要になる。
 [3-7.EOTFについて]
 ここで、EOTFについて、図19Aおよび図19Bを用いて説明する。
 図19Aは、HDRおよびSDRのそれぞれに対応したEOTF(Electro-Optical Transfer Function)の例について示す図である。
 EOTFは、一般的にガンマカーブと呼ばれるものであり、コード値と輝度値との対応を示し、コード値を輝度値に変換するものである。つまり、EOTFは、複数のコード値と輝度値との対応関係を示す関係情報である。
 また、図19Bは、HDRおよびSDRのそれぞれに対応した逆EOTFの例について示す図である。
 逆EOTFは、輝度値とコード値との対応を示し、EOTFとは逆に輝度値を量子化してコード値に変換するものである。つまり、逆EOTFは、輝度値と複数のコード値との対応関係を示す関係情報である。例えば、HDRに対応した映像の輝度値を10ビットの階調のコード値で表現する場合、10,000nitまでのHDRの輝度範囲における輝度値は、量子化されて、0~1023までの1024個の整数値にマッピングされる。つまり、逆EOTFに基づいて量子化することで、10,000nitまでの輝度範囲の輝度値(HDRに対応した映像の輝度値)を、10ビットのコード値であるHDR信号に変換する。HDRに対応したEOTF(以下、「HDRのEOTF」という。)またはHDRに対応した逆EOTF(以下、「HDRの逆EOTF」という。)においては、SDRに対応したEOTF(以下、「SDRのEOTF」という。)またはSDRに対応した逆EOTF(以下、「SDRの逆EOTF」という。)よりも高い輝度値を表現することが可能であり、例えば、図19Aおよび図19Bにおいては、輝度の最大値(ピーク輝度)は、10,000nitである。つまり、HDRの輝度範囲は、SDRの輝度範囲を全て含み、HDRのピーク輝度は、SDRのピーク輝度より大きい。HDRの輝度範囲は、SDRの輝度範囲の最大値である100nitから、10,000nitまで、最大値を拡大した輝度範囲である。
 例えば、HDRのEOTFおよびHDRの逆EOTFは、一例として、米国映画テレビ技術者協会(SMPTE)で規格化されたSMPTE 2084がある。
 なお、以降の明細書中において、図19A及び図19Bに記載されている0nitからピーク輝度である100nitまでの輝度範囲は、第1輝度範囲と記載される場合がある。同様に、図19A及び図19Bに記載されている、0nitからピーク輝度である10,000nitまでの輝度範囲は、第2輝度範囲と記載される場合がある。
 [3-8.疑似HDRの必要性]
 次に、疑似HDRの必要性について図20A~図20Cを用いて説明する。
 図20Aは、HDRTV内で、HDR信号を変換してHDR表示を行う表示処理の一例を示す図である。
 図20Aに示すように、HDR映像を表示する場合、表示装置がHDRTVであっても、HDRの輝度範囲の最大値(ピーク輝度(HPL(HDR Peak Luminance):例1500nit))をそのまま表示することができない場合がある。この場合、HDRのEOTFを用いた逆量子化を行った後のリニアな信号を、その表示装置の輝度範囲の最大値(ピーク輝度(DPL(Display Peak Iuminance):例750nit))に合わせるための輝度変換を行う。そして、輝度変換を行うことで得られた映像信号を表示装置に入力することで、その表示装置の限界である最大値の輝度範囲に合わせたHDR映像を表示することができる。
 図20Bは、HDR対応の再生装置とSDRTVとを用いて、HDR表示を行う表示処理の一例を示す図である。
 図20Bに示すように、HDR映像を表示する場合、表示装置がSDRTVであれば、表示するSDRTVの輝度範囲の最大値(ピーク輝度(DPL:例300nit))が100nitを超えることを利用して、図20BのHDR対応の再生装置(Blu-ray機器)内の「HDR→疑似HDR変換処理」で、HDRTV内で行っている、「HDRのEOTF変換」とSDRTVの輝度範囲の最大値であるDPL(例:300nit)を使った「輝度変換」を行い、「輝度変換」を行うことで得られた信号をSDRTVの「表示装置」に直接入力できれば、SDRTVを使っても、HDRTVと同じ効果を実現することができる。
 しかしながら、SDRTVには、このような信号を、外部から直接入力するための手段が無いため、実現できない。
 図20Cは、標準インターフェースを介して互いに接続したHDR対応の再生装置とSDRTVと用いて、HDR表示を行う表示処理の一例を示す図である。
 図20Cに示すように、通常、SDRTVが備える入力インターフェース(HDMI等)を使って、図20Bの効果を得られるような信号をSDRTVに入力する必要がある。SDRTVでは、入力インターフェースを介して入力した信号は、「SDRのEOTF変換」と「モード毎の輝度変換」と「表示装置」を順に通過し、その表示装置の最大値の輝度範囲に合わせた映像を表示する。このため、HDR対応のBlu-ray機器内で、SDRTVで入力インターフェースの直後に通過する、「SDRのEOTF変換」と「モード毎の輝度変換」とをキャンセルできるような信号(疑似HDR信号)を生成する。つまり、HDR対応のBlu-ray機器内で、「HDRのEOTF変換」とSDRTVのピーク輝度(DPL)を使った「輝度変換」との直後に、「モード毎の逆輝度変換」と「逆SDRのEOTF変換」とを行うことで、「輝度変換」直後の信号を「表示装置」に入力した場合(図20Cの破線矢印)と同じ効果を疑似的実現する。
 [3-9.変換装置および表示装置]
 図21は、実施の形態の変換装置および表示装置の構成を示すブロック図である。図22は、実施の形態の変換装置および表示装置により行われる変換方法および表示方法を示すフローチャートである。
 図21に示すように、変換装置500は、HDRのEOTF変換部501、輝度変換部502、逆輝度変換部503、および逆SDRのEOTF変換部504を備える。また、表示装置600は、表示設定部601、SDRのEOTF変換部602、輝度変換部603、および表示部604を備える。
 変換装置500および表示装置600の各構成要素についての詳細な説明は、変換方法および表示方法の説明において行う。
 [3-10.変換方法および表示方法]
 変換装置500が行う変換方法について、図22を用いて説明する。なお、変換方法は、以下で説明するステップS101~ステップS104を含む。
 まず、変換装置500のHDRのEOTF変換部501は、逆HDRのEOTF変換が行われたHDR映像を取得する。変換装置500のHDRのEOTF変換部501は、取得したHDR映像のHDR信号に対して、HDRのEOTF変換を実施する(S101)。これにより、HDRのEOTF変換部501は、取得したHDR信号を、輝度値を示すリニアな信号に変換する。HDRのEOTFは、例えばSMPTE 2084がある。
 次に、変換装置500の輝度変換部502は、HDRのEOTF変換部501により変換されたリニアな信号を、ディスプレイ特性情報とコンテンツ輝度情報とを用いて変換する第1輝度変換を行う(S102)。第1輝度変換において、HDRの輝度範囲に対応した輝度値(以下、「HDRの輝度値」という。)を、ディスプレイの輝度範囲に対応した輝度値(以下、「ディスプレイ輝度値」という。)に変換する。詳細は後述する。
 上記のことから、HDRのEOTF変換部501は、映像の輝度値が量子化されることで得られたコード値を示す第1輝度信号としてのHDR信号を取得する取得部として機能する。また、HDRのEOTF変換部501および輝度変換部502は、取得部により取得されたHDR信号が示すコード値を、ディスプレイ(表示装置600)の輝度範囲に基づいて決定する、HDRの輝度範囲の最大値(HPL)よりも小さく、かつ、100nitよりも大きい最大値(DPL)であるディスプレイの輝度範囲に対応するディスプレイ輝度値へ変換する変換部として機能する。
 より具体的には、HDRのEOTF変換部501は、ステップS101において、取得したHDR信号と、HDRのEOTFとを用いて、取得したHDR信号が示す第1コード値としてのHDRのコード値について、HDRのコード値にHDRのEOTFにおいて関係付けられたHDRの輝度値を決定する。なお、HDR信号は、HDRの輝度範囲における輝度値と、複数のHDRのコード値とを関係付けたHDRの逆EOTFを用いて、映像(コンテンツ)の輝度値が量子化されることで得られたHDRのコード値を示す。
 また、輝度変換部502は、ステップS102において、ステップS101で決定したHDRの輝度値について、当該HDRの輝度値に予め関係付けられた、ディスプレイの輝度範囲に対応するディスプレイ輝度値を決定し、HDRの輝度範囲に対応するHDRの輝度値を、ディスプレイの輝度範囲に対応するディスプレイ輝度値へ変換する第1輝度変換を行う。
 また、変換装置500は、ステップS102の前に、映像(コンテンツ)の輝度の最大値(CPL:Content Peak luminance)および映像の平均輝度値(CAL:Content Average luminance)の少なくとも一方を含むコンテンツ輝度情報をHDR信号に関する情報として取得している。CPL(第1最大輝度値)は、例えば、HDR映像を構成する複数の画像に対する輝度値のうちの最大値である。また、CALは、例えば、HDR映像を構成する複数の画像に対する輝度値の平均である平均輝度値である。
 また、変換装置500は、ステップS102の前に、表示装置600から表示装置600のディスプレイ特性情報を取得している。なお、ディスプレイ特性情報とは、表示装置600が表示できる輝度の最大値(DPL)、表示装置600の表示モード(後述参照)、入出力特性(表示装置が対応するEOTF)などの表示装置600の表示特性を示す情報である。
 また、変換装置500は、推奨表示設定情報(後述参照、以下、「設定情報」ともいう。)を表示装置600に送信してもよい。
 次に、変換装置500の逆輝度変換部503は、表示装置600の表示モードに応じた逆輝度変換を行う。これにより、逆輝度変換部503は、ディスプレイの輝度範囲に対応した輝度値を、SDRの輝度範囲(0~100〔nit〕)に対応する輝度値に変換する第2輝度変換を行う(S103)。詳細は後述する。つまり、逆輝度変換部503は、ステップS102で得られたディスプレイ輝度値について、当該ディスプレイ輝度値に予め関係付けられた、100nitを最大値とするSDRの輝度範囲に対応する第3輝度値としてのSDRに対応した輝度値(以下、「SDRの輝度値」という。)SDRの輝度値を決定し、ディスプレイの輝度範囲に対応するディスプレイ輝度値を、SDRの輝度範囲に対応するSDRの輝度値へ変換する第2輝度変換を行う。
 そして、変換装置500の逆SDRのEOTF変換部504は、逆SDRのEOTF変換を行うことで、疑似HDR映像を生成する(S104)。つまり、逆SDRのEOTF変換部504は、HDRの輝度範囲における輝度値と、複数の第3コード値とを関係付けた第3関係情報であるSDR(Standard Dynamic Range)の逆EOTF(Electro-Optical Transfer Function)を用いて、決定したSDRの輝度値を量子化し、量子化により得られた第3コード値を決定し、SDRの輝度範囲に対応するSDRの輝度値を、第3コード値を示す第3輝度信号としてのSDR信号へ変換することで、疑似HDR信号を生成する。なお、第3コード値は、SDRに対応したコード値であり、以下では、「SDRのコード値」という。つまり、SDR信号は、SDRの輝度範囲における輝度値と、複数のSDRのコード値とを関係付けたSDRの逆EOTFを用いて、映像の輝度値が量子化されることで得られたSDRのコード値で表される。そして、変換装置500は、ステップS104で生成した疑似HDR信号(SDR信号)を表示装置600へ出力する。
 変換装置500は、HDR信号を逆量子化することで得られたHDRの輝度値に対して、第1輝度変換および第2輝度変換を行うことで、疑似HDRに対応したSDRの輝度値を生成し、SDRの輝度値をSDRのEOTFを用いて量子化することで、疑似HDRに対応したSDR信号を生成する。なお、SDRの輝度値は、SDRに対応した0~100nitの輝度範囲内の数値であるが、ディスプレイの輝度範囲に基づく変換を行っているため、HDRの輝度値に対してHDRのEOTFおよびSDRのEOTFを用いた輝度変換を行うことで得られたSDRに対応した0~100nitの輝度範囲内の輝度値とは異なる数値である。
 次に、表示装置600が行う表示方法について、図22を用いて説明する。なお、表示方法は、以下で説明するステップS105~ステップS108を含む。
 まず、表示装置600の表示設定部601は、変換装置500から取得した設定情報を用いて、表示装置600の表示設定を設定する(S105)。ここで、表示装置600は、SDRTVである。設定情報は、表示装置に対して推奨する表示設定を示す情報であり、疑似HDR映像をどのようにEOTFし、どの設定で表示すれば美しい映像を表示することができるかを示す情報(つまり、表示装置600の表示設定を最適な表示設定に切り替えるための情報)である。設定情報は、例えば、表示装置における出力時のガンマカーブ特性や、リビングモード(ノーマルモード)やダイナミックモード等の表示モード、バックライト(明るさ)の数値などを含む。また、ユーザに、表示装置600の表示設定をマニュアル操作で変更することを促すようなメッセージを、表示装置600(以下、「SDRディスプレイ」ともいう)に表示してもよい。詳細は後述する。
 なお、表示装置600は、ステップS105の前に、SDR信号(疑似HDR信号)と、映像の表示にあたって表示装置600に対して推奨する表示設定を示す設定情報とを取得する。
 また、表示装置600は、SDR信号(疑似HDR信号)の取得を、ステップS106の前に行えばよく、ステップS105の後に行ってもよい。
 次に、表示装置600のSDRのEOTF変換部602は、取得した疑似HDR信号に対し、SDRのEOTF変換を行う(S106)。つまり、SDRのEOTF変換部602は、SDR信号(疑似HDR信号)を、SDRのEOTFを用いて逆量子化を行う。これにより、SDRのEOTF変換部602は、SDR信号が示すSDRのコード値を、SDRの輝度値に変換する。
 そして、表示装置600の輝度変換部603は、表示装置600に設定された表示モードに応じた輝度変換を行う。これにより、輝度変換部603は、SDRの輝度範囲(0~100〔nit〕)に対応したSDRの輝度値を、ディスプレイの輝度範囲(0~DPL〔nit〕)に対応したディスプレイ輝度値に変換する第3輝度変換を行う(S107)。詳細は後述する。
 上記のことから、表示装置600は、ステップS106およびステップS107において、取得したSDR信号(疑似HDR信号)が示す第3コード値を、ステップS105で取得した設定情報を用いて、ディスプレイの輝度範囲(0~DPL〔nit〕)に対応するディスプレイ輝度値へ変換する。
 より具体的には、SDR信号(疑似HDR信号)からディスプレイ輝度値への変換では、ステップS106において、SDRの輝度範囲における輝度値と、複数の第3コード値とを関係付けたEOTFを用いて、取得したSDR信号が示すSDRのコード値について、SDRのコード値にSDRのEOTFで関係付けられたSDRの輝度値を決定する。
 そして、ディスプレイ輝度値への変換では、ステップS107において、決定したSDRの輝度値に予め関係付けられた、ディスプレイの輝度範囲に対応するディスプレイ輝度値を決定し、SDRの輝度範囲に対応するSDRの輝度値を、ディスプレイの輝度範囲に対応するディスプレイ輝度値へ変換する第3輝度変換を行う。
 最後に、表示装置600の表示部604は、変換したディスプレイ輝度値に基づいて、疑似HDR映像を表示装置600に表示する(S108)。
 [3-11.第1輝度変換]
 次に、ステップS102の第1輝度変換(HPL→DPL)の詳細について、図23Aを用いて説明する。図23Aは、第1輝度変換の一例について説明するための図である。
 変換装置500の輝度変換部502は、ステップS101で得られたリニアな信号(HDRの輝度値)を、ディスプレイ特性情報と、HDR映像のコンテンツ輝度情報とを用いて変換する第1輝度変換を行う。第1輝度変換は、HDRの輝度値(入力輝度値)を、ディスプレイピーク輝度(DPL)を超えないディスプレイ輝度値(出力輝度値)に変換する。DPLは、ディスプレイ特性情報であるSDRディスプレイの最大輝度および表示モードを用いて決定する。表示モードは、例えば、SDRディスプレイに暗めに表示するシアターモードや、明るめに表示するダイナミックモード等のモード情報である。表示モードが、例えば、SDRディスプレイの最大輝度が1,500nitであり、かつ、表示モードが最大輝度の50%の明るさにするモードである場合、DPLは、750nitとなる。ここで、DPL(第2最大輝度値)とは、SDRディスプレイが現在設定されている表示モードにおいて表示できる輝度の最大値である。つまり、第1輝度変換では、SDRディスプレイの表示特性を示す情報であるディスプレイ特性情報を用いて、第2最大輝度値としてのDPLを決定する。
 また、第1輝度変換では、コンテンツ輝度情報のうちのCALとCPLとを用い、CAL付近以下の輝度値は、変換の前後で同一とし、CPL付近以上の輝度値に対してのみ輝度値を変更する。つまり、図23Aに示すように、第1輝度変換では、当該HDRの輝度値がCAL以下の場合、当該HDRの輝度値を変換せず、当該HDRの輝度値を、ディスプレイ輝度値として決定し、当該HDRの輝度値がCPL以上の場合、第2最大輝度値としてのDPLを、ディスプレイ輝度値として決定する。
 また、第1輝度変換では、輝度情報のうちのHDR映像のピーク輝度(CPL)を用い、HDRの輝度値がCPLの場合、DPLを、ディスプレイ輝度値として決定する。
 なお、第1輝度変換では、図23Bのように、ステップS101で得られたリニアな信号(HDRの輝度値)を、DPLを超えない値にクリップするように変換してもよい。このような輝度変換を行うことで、変換装置500での処理を簡素化することができ、装置の縮小化、低電力化、処理の高速化が図れる。なお、図23Bは、第1輝度変換の他の一例について説明するための図である。
 [3-12.第2輝度変換]
 次に、ステップS103の第2輝度変換(DPL→100〔nit〕)の詳細について、図24を用いて説明する。図24は、第2輝度変換について説明するための図である。
 変換装置500の逆輝度変換部503は、ステップS102の第1輝度変換で変換されたディスプレイの輝度範囲(0~DPL〔nit〕)のディスプレイ輝度値に対し、表示モードに応じた逆輝度変換を施す。逆輝度変換は、SDRディスプレイによる表示モードに応じた輝度変換処理(ステップS107)が行われた場合に、ステップS102処理後のディスプレイの輝度範囲(0~DPL〔nit〕)のディスプレイ輝度値を取得できるようにするための処理である。つまり、第2輝度変換は、第3輝度変換の逆輝度変換である。
 上記の処理により、第2輝度変換は、ディスプレイの輝度範囲のディスプレイ輝度値(入力輝度値)を、SDRの輝度範囲のSDRの輝度値(出力輝度値)に変換する。
 第2輝度変換では、SDRディスプレイの表示モードによって変換式を切り替える。例えば、SDRディスプレイの表示モードがノーマルモードの場合、ディスプレイ輝度値に正比例する正比例値に輝度変換する。また、第2輝度変換では、SDRディスプレイの表示モードがノーマルモードよりも高輝度画素をより明るく、かつ、低輝度画素をより暗くするダイナミックモードの場合、その逆関数を用いることで、低輝度画素のSDRの輝度値は、ディスプレイ輝度値に正比例する正比例値より高い値に、高輝度画素のSDRの輝度値は、ディスプレイ輝度値に正比例する正比例値より低い値に輝度変換する。つまり、第2輝度変換では、ステップS102において決定したディスプレイ輝度値について、SDRディスプレイの表示特性を示す情報であるディスプレイ特性情報に応じた輝度関係情報を用いて、当該ディスプレイ輝度値に関係付けられた輝度値をSDRの輝度値として決定し、ディスプレイ特性情報に応じて輝度変換処理を切り替える。ここで、ディスプレイ特性情報に応じた輝度関係情報とは、例えば図24に示すような、SDRディスプレイの表示パラメータ(表示モード)毎に定められた、ディスプレイ輝度値(入力輝度値)と、SDRの輝度値(出力輝度値)とを関係付けた情報である。
 [3-13.表示設定]
 次に、ステップS105の表示設定の詳細について、図25を用いて説明する。図25は、表示設定の詳細な処理を示すフローチャートである。
 SDRディスプレイの表示設定部601は、ステップS105において、下記のステップS201~ステップS208の処理を行う。
 まず、表示設定部601は、設定情報を用いて、SDRディスプレイに設定されているEOTF(SDRディスプレイ用EOTF)が、疑似HDR映像(SDR信号)の生成時に想定したEOTFと整合しているかどうかを判定する(S201)。
 表示設定部601は、SDRディスプレイに設定されているEOTFが、設定情報が示すEOTF(疑似HDR映像に整合するEOTF)と異なっていると判定した場合(S201でYes)、SDRディスプレイ用EOTFをシステム側で切り替え可能かを判定する(S202)。
 表示設定部601は、切り替え可能であると判定した場合、設定情報を用いて、SDRディスプレイ用EOTFを適切なEOTFに切り替える(S203)。
 ステップS201~ステップS203から、表示設定の設定(S105)では、SDRディスプレイに設定されているEOTFを、取得した設定情報に応じた推奨EOTFに設定する。また、これにより、ステップS105の後に行われるステップS106では、推奨EOTFを用いて、SDRの輝度値を決定することができる。
 システム側で切り替え可能でないと判定した場合(S202でNo)、EOTFをユーザがマニュアル操作で変更することを促すメッセージを画面に表示する(S204)。例えば、「表示ガンマを2.4に設定して下さい」というメッセージを画面に表示する。つまり、表示設定部601は、表示設定の設定(S105)において、SDRディスプレイに設定されているEOTFを切り替えできない場合、SDRディスプレイに設定されているEOTF(SDRディスプレイ用EOTF)を、推奨EOTFに切り替えることをユーザに促すためのメッセージを、SDRディスプレイに表示する。
 次に、SDRディスプレイでは、疑似HDR映像(SDR信号)を表示するが、表示の前に設定情報を用いてSDRディスプレイの表示パラメータが設定情報に合っているかを判定する(S205)。
 表示設定部601は、SDRディスプレイに設定されている表示パラメータが、設定情報とは異なっていると判定した場合(S205でYes)、SDRディスプレイの表示パラメータを、切り替え可能かを判定する(S206)。
 表示設定部601は、SDRディスプレイの表示パラメータを切り替え可能であると判定した場合(S206でYes)、設定情報に合わせて、SDRディスプレイの表示パラメータを切り替える(S207)。
 ステップS204~ステップS207から、表示設定の設定(S105)では、SDRディスプレイに設定されている表示パラメータを、取得した設定情報に応じた推奨表示パラメータに設定する。
 システム側で切り替え可能でないと判定した場合(S206でNo)、SDRディスプレイに設定されている表示パラメータをユーザがマニュアル操作で変更することを促すメッセージを画面に表示する(S208)。例えば、「表示モードをダイナミックモードにし、バックライトを最大にして下さい」というメッセージを画面に表示する。つまり、設定(S105)では、SDRディスプレイに設定されている表示パラメータを切り替えできない場合、SDRディスプレイに設定されている表示パラメータを、推奨表示パラメータに切り替えることをユーザに促すためのメッセージを、SDRディスプレイに表示する。
 [3-14.第3輝度変換]
 次に、ステップS107の第3輝度変換(100→DPL〔nit〕)の詳細について、図26を用いて説明する。図26は、第3輝度変換について説明するための図である。
 表示装置600の輝度変換部603は、SDRの輝度範囲(0~100〔nit〕)のSDRの輝度値をステップS105で設定された表示モードに応じて(0~DPL〔nit〕)に変換する。本処理はS103のモード毎の逆輝度変換の逆関数となるように処理する。
 第3輝度変換では、SDRディスプレイの表示モードによって変換式を切り替える。例えば、SDRディスプレイの表示モードがノーマルモードの場合(つまり、設定された表示パラメータがノーマルモードに対応したパラメータである場合)、ディスプレイ輝度値は、SDRの輝度値に正比例する正比例値に輝度変換する。また、第3輝度変換では、SDRディスプレイの表示モードがノーマルモードよりも高輝度画素をより明るく、かつ、低輝度画素をより暗くするダイナミックモードの場合、低輝度画素のディスプレイ輝度値は、SDRの輝度値に正比例する正比例値より低い値に、高輝度画素のディスプレイ輝度値は、SDRの輝度値に正比例する正比例値より高い値に輝度変換する。つまり、第3輝度変換では、ステップS106において決定したSDRの輝度値について、SDRディスプレイの表示設定を示す表示パラメータに応じた輝度関係情報を用いて、当該SDRの輝度値に予め関係付けられた輝度値をディスプレイ輝度値として決定し、表示パラメータに応じて輝度変換処理を切り替える。ここで、表示パラメータに応じた輝度関係情報とは、例えば図26に示すような、SDRディスプレイの表示パラメータ(表示モード)毎に定められた、SDRの輝度値(入力輝度値)と、ディスプレイ輝度値(出力輝度値)とを関係付けた情報である。
 [3-15.効果等]
 通常のSDRTVは入力信号が100nitであるが、視聴環境(暗い室:シネマモード、明るい部屋:ダイナミックモード等)に合わせて200nit以上の映像表現が可能な能力を持つ。しかし、SDRTVへの入力信号の輝度上限が100nitに決められていたため、その能力を直接つかうことはできなかった。
 HDR映像をSDRTVで表示する場合において、表示するSDRTVのピーク輝度が100nitを超える(通常200nit以上)ことを利用して、HDR映像を100nit以下のSDR映像に変換するのではなく、100nitを超える輝度範囲の階調をある程度保つように、「HDR→疑似HDR変換処理」を行っている。このため、元のHDRに近い疑似HDR映像としてSDRTVに表示させることができる。
 この「HDR→疑似HDR変換処理」技術をBlu-rayに応用した場合は、図27に示すように、HDRディスクにはHDR信号のみを格納し、Blu-ray機器にSDRTVを接続した場合、Blu-ray機器が、「HDR→疑似HDR変換処理」を行い、HDR信号を疑似HDR信号に変換してSDRTVに送る。これにより、SDRTVは、受信した疑似HDR信号から輝度値に変換することで、疑似的なHDR効果を持った映像を表示させることができる。このように、HDR対応TVが無い場合でも、HDR対応のBDとHDR対応のBlu-ray機器を用意すれば、SDRTVであっても、SDR映像よりも高画質な疑似HDR映像を表示させることができる。
 従って、HDR映像を見るためにはHDR対応TVが必要と考えられていたが、HDR的な効果を実感できる疑似HDR映像を、既存のSDRTVで見ることができる。これにより、HDR対応Blu-rayの普及が期待できる。
 放送、Blu-ray等のパッケージメディア、OTT等のインターネット配信により送られてきたHDR信号を、HDR-疑似HDR変換処理を行うことで、疑似HDR信号に変換する。これにより、HDR信号を疑似HDR映像として既存のSDRTVで表示することが可能となる。
 (実施の形態4)
 以上のように、本出願において開示する技術の例示として、実施の形態1を説明した。しかしながら、本開示における技術は、これに限定されず、適宜、変更、置き換え、付加、省略などを行った実施の形態1にも適用可能である。また、上記実施の形態1で説明した各構成要素を組み合わせて、新たな実施の形態とすることも可能である。
 そこで、以下では、他の実施の形態を実施の形態2として例示する。
 HDR映像は、例えばBlu-ray Disc、DVD、インターネットの動画配信サイト、放送、HDD内の映像である。
 変換装置500(HDR→疑似HDR変換処理部)は、ディスクプレイヤー、ディスクレコーダ、セットトップボックス、テレビ、パソコン、スマートフォンの内部に存在していてもよい。変換装置500は、インターネット内のサーバ装置の内部に存在していてもよい。
 表示装置600(SDR表示部)は、例えばテレビ、パソコン、スマートフォンである。
 変換装置500が取得するディスプレイ特性情報は、表示装置600からHDMIや他の通信プロトコルを用いてHDMIケーブルやLANケーブルを介して取得してもよい。変換装置500が取得するディスプレイ特性情報は、インターネットを介して表示装置600の機種情報等に含まれるディスプレイ特性情報を取得してもよい。また、ユーザがマニュアル操作を行い、ディスプレイ特性情報を、変換装置500に設定してもよい。また、変換装置500のディスプレイ特性情報の取得は、疑似HDR映像生成(ステップS101~S104)時の直前でもよいし、機器の初期設定時やディスプレイ接続時のタイミングでもよい。例えば、ディスプレイ特性情報の取得は、ディスプレイ輝度値への変換の直前に行ってもよいし、変換装置500がHDMIケーブルで最初に表示装置600に接続したタイミングで行ってもよい。
 また、HDR映像のCPLやCALは、コンテンツ1つに対して1つでもよいし、シーン毎に存在していてもよい。つまり、変換方法では、映像の複数のシーンのそれぞれに対応した輝度情報であって、当該シーン毎に、当該シーンを構成する複数の画像に対する輝度値のうちの最大値である第1最大輝度値と、当該シーンを構成する複数の画像に対する輝度値の平均である平均輝度値との少なくとも一方を含む輝度情報(CPL、CAL)を取得し、第1輝度変換では、複数のシーンのそれぞれについて、当該シーンに対応した輝度情報に応じてディスプレイ輝度値を決定してもよい。
 また、CPLおよびCALは、HDR映像と同じ媒体(Blu-ray Disc、DVD等)に同梱していてもよいし、変換装置500がインターネットから取得する等、HDR映像とは別の場所から取得してもよい。つまり、CPLおよびCALの少なくとも一方を含む輝度情報を映像のメタ情報として取得してもよいし、ネットワーク経由で取得してもよい。
 また、変換装置500の第1輝度変換(HPL→DPL)において、CPL、CAL、およびディスプレイピーク輝度(DPL)は使用せずに、固定値を用いてもよい。また、その固定値を外部から変更可能にしてもよい。また、CPL、CAL、およびDPLは、数種類で切り替えるようにしてもよく、例えば、DPLは200nit、400nit、800nitの3種類のみとするようにしてもよいし、ディスプレイ特性情報に最も近い値を使用するようにしてもよい。
 また、HDRのEOTFはSMPTE 2084でなくてもよく、他の種類のHDRのEOTFを用いてもよい。また、HDR映像の最大輝度(HPL)は10,000nitでなくてもよく、例えば4,000nitや1,000nitでもよい。
 また、コード値のビット幅は、例えば16,14,12,10,8bitでもよい。
 また、逆SDRのEOTF変換は、ディスプレイ特性情報から決定するが、(外部からも変更可能な)固定の変換関数を用いてもよい。逆SDRのEOTF変換は、例えばRec. ITU-R BT.1886で規定されている関数を用いてもよい。また、逆SDRのEOTF変換の種類を数種類に絞り、表示装置600の入出力特性に最も近いものを選択して使用するようにしてもよい。
 また、表示モードは、固定のモードを使うようにしてもよく、ディスプレイ特性情報の中に含めなくてもよい。
 また、変換装置500は、設定情報を送信しなくてもよく、表示装置600では固定の表示設定としてもよいし、表示設定を変更しなくてもよい。この場合、表示設定部601は不要となる。また、設定情報は、疑似HDR映像かどうかのフラグ情報でもよく、例えば、疑似HDR映像である場合は最も明るく表示する設定に変更するようにしてもよい。つまり、表示設定の設定(S105)では、取得した設定情報が、DPLを用いて変換された疑似HDR映像を示す信号であることを示す場合、表示装置600の明るさ設定を最も明るく表示する設定に切り替えてもよい。
 また、変換装置500の第1輝度変換(HPL→DPL)は例えば次の算式で変換する。
 ここで、Lは、0~1に正規化された輝度値を示し、S1、S2、a、b、MはCAL、CPL、およびDPLに基づいて設定する値である。lnは自然対数である。Vは0~1に正規化された変換後の輝度値である。図23Aの例のように、CALを300nitとし、CPLを2,000nitとし、DPLを750nitとし、CAL + 50nitまでは変換しないとし、350nit以上に対して変換する場合、それぞれの値は例えば次のような値となる。
  S1 =  350/10000
  S2 = 2000/10000
  M  =  750/10000
  a  = 0.023
  b  = S1 - a*ln(S1) = 0.112105
 つまり、第1輝度変換では、SDRの輝度値が、平均輝度値(CAL)と第1最大輝度値(CPL)との間である場合、自然対数を用いて、当該HDRの輝度値に対応するディスプレイ輝度値を決定する。
 HDR映像のコンテンツピーク輝度やコンテンツ平均輝度等の情報を用いてHDR映像を変換することにより、コンテンツに応じて変換式を変えることができ、HDRの階調をなるべく保つように変換することが可能となる。また、暗すぎる、明るすぎるといった悪影響を抑制することができる。具体的には、HDR映像のコンテンツピーク輝度をディスプレイピーク輝度にマッピングすることにより、階調をなるべく保つようにしている。また、平均輝度付近以下の画素値を変えないことにより、全体的な明るさが変わらないようにしている。
 また、SDRディスプレイのピーク輝度値および表示モードを用いてHDR映像を変換することにより、SDRディスプレイの表示環境に応じて変換式を変えることができ、SDRディスプレイの性能に合わせて、HDR感のある映像(疑似HDR映像)を、元のHDR映像と同様の階調や明るさで表示することができる。具体的には、SDRディスプレイの最大輝度および表示モードによってディスプレイピーク輝度を決定し、そのピーク輝度値を超えないようにHDR映像を変換することにより、SDRディスプレイで表示可能な明るさまではHDR映像の階調をほとんど減らさずに表示し、表示不可能な明るさは表示可能な明るさまで輝度値を下げている。
 以上により、表示不可能な明るさ情報を削減し、表示可能な明るさの階調を落とさず、元のHDR映像に近い形で表示することが可能となる。例えば、ピーク輝度1,000nitのディスプレイ用には、ピーク輝度1,000nitに抑えた疑似HDR映像に変換することにより、全体的な明るさを維持し、ディスプレイの表示モードによって輝度値は変わる。このため、ディスプレイの表示モードに応じて、輝度の変換式を変更するようにしている。もし、ディスプレイのピーク輝度よりも大きな輝度を疑似HDR映像で許容すると、その大きな輝度をディスプレイ側でのピーク輝度に置き換えて表示する場合があり、その場合は元のHDR映像よりも全体的に暗くなる。逆にディスプレイのピーク輝度よりも小さな輝度を最大輝度として変換すると、その小さな輝度をディスプレイ側でのピーク輝度に置き換え、元のHDR映像よりも全体的に明るくなる。しかもディスプレイ側のピーク輝度よりも小さいためにディスプレイの階調に関する性能を最大限使っていないことになる。
 また、ディスプレイ側では、設定情報を用いて表示設定を切り替えることにより、疑似HDR映像をよりよく表示することが可能となる。例えば、明るさを暗く設定している場合には高輝度表示ができないため、HDR感が損なわれる。その場合には表示設定を変更するもしくは、変更してもらうよう促すメッセージを表示することにより、ディスプレイの性能を最大限引出し、高階調な映像を表示できるようにする。
 Blu-rayなどのコンテンツにおいては、ビデオ信号と字幕やメニューなどのグラフィックス信号は独立のデータとして多重化される。再生時には、それぞれを個別に復号し、復号結果を合成して表示する。具体的には、ビデオのプレーンの上に、字幕やメニューのプレーンが重畳される。
 ここで、ビデオ信号がHDRであっても、字幕やメニューなどのグラフィックス信号はSDRとなることがある。ビデオ信号のHPL→DPL変換においては、下記の(a)および(b)の2通りの変換が可能である。
 (a)グラフィックスの合成後にHPL→DPL変換を実施する場合
1. グラフィックスのEOTFをSDRのEOTFからHDRのEOTFに変換する。
2. EOTF変換後のグラフィックスをビデオと合成する。
3. 合成結果に対して、HPL→DPL変換を実施する。
 (b)グラフィックスの合成前にHPL→DPL変換を実施する場合
1. グラフィックスのEOTFをSDRのEOTFからHDRのEOTFに変換する。
2. ビデオに対してHPL→DPL変換を実施する。
3. EOTF変換後のグラフィックスとDPL変換後のビデオとを合成する。
 なお、(b)の場合1と2の順番は入れ替わってもよい。
 (a)および(b)のいずれの方式においても、グラフィックスのピーク輝度は100nitとなるが、例えば、DPLが1000nitのような高輝度である場合には、グラフィックスの輝度が100nitのままでは、HPL→DPL変換後のビデオに対して、グラフィックスの輝度が低下することがある。特に、ビデオに重畳される字幕が暗くなるなどの弊害が想定される。従って、グラフィックスについても、DPLの値に応じて、輝度を変換してもよい。例えば、字幕の輝度については、DPL値の何%の値に設定するなどを予め規定し、設定値に基づいて変換してもよい。メニューなどの字幕以外のグラフィックスについても同様に処理することができる。
 以上では、HDR信号のみが格納されたHDRディスクの再生動作について説明した。
 次に、HDR信号とSDR信号との両方が格納されたデュアルディスクに格納される多重化データについて図28を用いて説明する。図28は、デュアルディスクに格納される多重化データについて説明するための図である。
 デュアルディスクでは、図28に示すように、HDR信号とSDR信号とがそれぞれ異なる多重化ストリームとして格納される。例えば、Blu-rayなどの光ディスクにおいては、M2TSと呼ばれるMPEG-2 TSベースの多重化方式により、ビデオやオーディオ、字幕、グラフィックスなど複数メディアのデータが1本の多重化ストリームとして格納される。これらの多重化ストリームは、プレイリストなどの再生制御用のメタデータから参照され、再生時にはプレーヤがメタデータを解析することで再生する多重化ストリーム、あるいは、多重化ストリームに格納される個別の言語のデータを選択する。本例では、HDR用とSDR用とのプレイリストを個別に格納し、それぞれのプレイリストがHDR信号、あるいは、SDR信号を参照するケースを示す。また、HDR信号とSDR信号の両方が格納されていることを示す識別情報などを別途示しても良い。
 同一の多重化ストリームにHDR信号とSDR信号との両方を多重化することも可能であるが、MPEG-2 TSにおいて規定されるT-STD(System Target Decoder)などのバッファモデルを満たすように多重化する必要があり、特に、予め定められたデータの読み出しレートの範囲内で、ビットレートの高いビデオを2本多重化するのは困難である。このため、多重化ストリームを分離することが望ましい。
 オーディオ、字幕、あるいはグラフィックスなどのデータは、それぞれの多重化ストリームに対して格納する必要があり、1本に多重化する場合に比べてデータ量が増加する。ただし、データ量の増加は、圧縮率の高いビデオ符号化方式を用いてビデオのデータ量を削減することができる。例えば、従来のBlu-rayにおいて使用していたMPEG-4 AVCを、HEVC(High Efficiency Video Coding)に変えることで、1.6~2倍の圧縮率向上が見込まれる。また、デュアルディスクに格納するのは、2KのHDRとSDRとの組み合わせ、4KのSDRと2KのHDRとの組み合わせなど、2Kを2本、あるいは、2Kと4Kとの組合せとするなど、4Kを2本格納することは禁止することにより、光ディスクの容量に収まる組合せのみを許容してもよい。
 本開示の変換方法では、HDR映像をSDRTVで表示する場合において、表示するSDRTVのピーク輝度が100nitを超える(通常200nit以上)ことを利用して、HDR映像を100nit以下のSDR映像に変換するのではなく、100nitを超える領域の階調をある程度保つよう変換し、元のHDRに近い疑似HDR映像に変換してSDRTVに表示させることができる「HDR→疑似HDR変換処理」を実現する。
 また、変換方法では、SDRTVのディスプレイ特性(最高輝度、入出力特性、および表示モード)によって「HDR→疑似HDR変換処理」の変換方法を切り替えてもよい。
 ディスプレイ特性情報の取得方法としては、(1)HDMIやネットワークを通して自動取得すること、(2)ユーザにメーカー名、品番等の情報入力させることで生成すること、および(3)メーカー名や品番等の情報を使ってクラウド等から取得することが考えられる。
 また、変換装置500のディスプレイ特性情報の取得タイミングとしては、(1)疑似HDR変換する直前に取得すること、および(2)表示装置600(SDRTV等)と初めて接続する時(接続が確立した時)に取得することが考えられる。
 また、変換方法では、HDR映像の輝度情報(CAL、CPL)によって変換方法を切り替えてもよい。
 例えば、変換装置500のHDR映像の輝度情報の取得方法としては、(1)HDR映像に付随したメタ情報として取得すること、(2)ユーザにコンテンツのタイトル情報を入力させることで取得すること、および(3)ユーザに有力させた入力情報を使ってクラウド等から取得すること等が考えられる。
 また、変換方法の詳細としては、(1)DPLを超えないように変換し、(2)CPLがDPLになるように変換し、(3)CALおよびその周辺以下の輝度は変更せず、(4)自然対数を用いて変換し、(5)DPLでクリップ処理をする。
 また、変換方法では、疑似HDRの効果を高めるために、SDRTVの表示モード、表示パラメータなどの表示設定を、表示装置600に送信して切り替えることも可能であり、例えば、ユーザに表示設定を促すメッセージを画面に表示してもよい。
 (実施の形態5)
 [5-1.ディスクの種類]
 以下、実施の形態3について説明する。上述のように、表示装置が高解像度化及び高輝度範囲化されることで、表示装置の仕様に合わせた複数種別のBlu-ray Discを提供する。図29は、BDの種類を示す図である。図30は、BDの種類をさらに詳細に示す図である。再生装置(Blu-ray機器)は、挿入されたBDに記録されたコンテンツを再生して表示装置に表示する。図29及び図30に示されるように、以下の実施の形態3においては、解像度が第1解像度であり、輝度範囲が第1輝度範囲である映像信号が記録されたBDは、2K_SDR対応BDと記載する(図30の(a))。解像度が第1解像度であり、輝度範囲が第1輝度範囲である映像信号は、BDにストリームとして格納される。このストリームは、2K_SDRストリームと記載する。2K_SDR対応BDは、従来のBDである。
 また、解像度が第2解像度であり、輝度範囲が第1輝度範囲である映像信号が記録されたBDは、4K_SDR対応BDと記載する。解像度が第2解像度であり、輝度範囲が第1輝度範囲である映像信号は、BDにストリームとして格納される。このストリームは、4K_SDRストリームと記載する(図30の(b))。
 同様に、解像度が第1解像度であり、輝度範囲が第2輝度範囲である映像信号が記録されたBDは、2K_HDR対応BDと記載する。解像度が第1解像度であり、輝度範囲が第2輝度範囲である映像信号は、BDにストリームとして格納される。このストリームは、2K_HDRストリームと記載する(図30の(d))。
 また、解像度が第2解像度であり、輝度範囲が第2輝度範囲である映像信号が記録されたBDは、4K_HDR対応BDと記載する。解像度が第2解像度であり、輝度範囲が第2輝度範囲である映像信号は、BDにストリームとして格納される。このストリームは、4K_HDRストリームと記載する(図30の(e))。
 なお、第1解像度は、例えば、所謂2K(1920x1080、2048x1080)の解像度であるが、このような解像度を含む任意の解像度であってよい。実施の形態3においては、第1解像度を単に2Kと記載する場合がある。
 また、第2解像度は、所謂4K(3840x2160、4096x2160)の解像度であるが、このような解像度を含む任意の解像度であってよい。第2解像度は、第1解像度より画素数が多い解像度である。
 なお、第1輝度範囲は、例えば、これまで説明したSDR(ピーク輝度が100nitの輝度範囲)である。第2輝度範囲は、例えば、これまで説明したHDR(ピーク輝度が100nitを超える輝度範囲)である。第2輝度範囲は、第1輝度範囲を全て含み、第2輝度範囲のピーク輝度は、第1輝度範囲のピーク輝度よりも大きい。
 図30の(c)、(f)、(g)、及び(h)に示されるように、1枚のBDで複数の映像表現に対応したデュアルストリームディスクが考えられる。デュアルストリームディスクは、同一のコンテンツを再生するための複数の映像信号であって、解像度及び輝度範囲の少なくとも一方が異なる複数の映像信号が記録されたBDである。
 具体的には、図30の(c)に示されるデュアルストリームディスクは、4K_SDRストリームと、2K_SDRストリームとが記録されたBDである。図30の(f)に示されるデュアルストリームディスクは、2K_HDRストリームと、2K_SDRストリームとが記録されたBDである。
 図30の(g)に示されるデュアルストリームディスクは、4K_HDRストリームと、4K_SDRストリームとが記録されたBDである。図30の(h)に示されるデュアルストリームディスクは、4K_HDRストリームと、2K_SDRストリームとが記録されたBDである。
 なお、図30の(c)に示されるデュアルストリームディスクは、Blu-ray機器が4Kから2Kの解像度のダウンコンバージョン(以下、ダウンコンバートとも記載する)を行うことが可能であるため、必須でない。
 [5-2.ディスクの種類の詳細]
 図31は、デュアルストリームディスクを含む各BDに対し、各ディスクに記録された、ビデオストリームとグラフィックストリームとの組み合わせの一例を示す図である。
 図31では、コンテンツの制作の手間を考慮して、グラフィックストリームは、対応するビデオストリームの解像度及び輝度範囲によらず、解像度が2K、かつ、輝度範囲がSDRで記録する。2K_SDRストリーム、4K_SDRストリーム、2K_HDRストリーム、及び、4K_HDRストリーム全てで、グラフィックストリームを共有することができる。この場合は、グラフィックストリームの解像度の2Kから4Kへの変換、及び、グラフィックストリームの輝度範囲のSDRからHDRへの変換は、いずれもBlu-ray機器で実行される。
 この場合、図32に示すように、Blu-ray機器でSDRからHDRへの変換を行うため、Java側に制約が無く、全ての機能が使える。
 図33は、図31に示すグラフィックストリームの詳細を示す図である。図33に示す例では、HDRビデオストリームに対してもSDRグラフィック(PG、IG、Java Graphics、Java Drawing)が使用される。この場合、Javaの描画コマンド(Java Drawing)を含む全ての機能が制約を受けない。具体的には、Blu-ray機器でSDRからHDRへの変換を行うため、Java側に制約が無く、全ての機能が使える。
 図34は、デュアルストリームディスクを含む各BDに対し、各ディスクに記録された、ビデオストリームとグラフィックストリームとの組み合わせの一例を示す図である。
 図34は、コンテンツ(BD)の制作の手間を考慮して、グラフィックストリームは、対応するビデオストリームの解像度によらず、解像度が2Kで記録する。2K_SDRストリームと4K_SDRストリームとで、グラフィックストリームを共有することができる。ただし、グラフィックストリームは、対応するビデオストリームの輝度範囲に合わせた輝度範囲で記録する。ビデオストリームがHDRの場合は、HDRのグラフィックスストリームを記録する。ビデオストリームがSDRの場合は、SDRのグラフィックスストリームを記録する。グラフィックストリームのSDRからHDRへの変換は、コンテンツの制作時に行う。
 図35は図34に示すグラフィックストリームの詳細を示す図である。
 SDRのグラフィックストリームとHDRのグラフィックストリームとは、グラフィックストリームの基本スペックは同一であるが、HDRのグラフィックストリームにおいては、Javaの色空間(4K用のBT 2020)、EOTF(HDR用のEOTF)等の制約がある。このため、Java描画コマンドをそのまま使うことができない。
 つまり、4K_SDR対応BD、2K_HDR対応BD、及び、4K_HDR対応BDにおいては、Java描画コマンドを抑止する必要がある。
 なお、色及び輝度の値の指定において、EOTF変換(SDR->HDR)、カラー空間(BT709->BT2020)変換等の結果を想定した値を指定することにより、Java描画コマンドを利用することも可能である。
 この場合、ビデオストリームがSDRとHDRのどちらか、あるいは、色空間がBT709とBT2020のどちらであるかに応じて、異なるグラフィックスストリームを作成する必要があり、コンテンツの制作が困難である。そこで、メニューをSDRとして、本編及び字幕のみをHDRにするほうが解りやすい。
 つまり、図36に示すように、字幕(PG)以外の使用を禁止したほうが、オーサリングも楽になり、ユーザにも解りやすくなる。但し、この場合は、Javaを使って通常表示すること、及び、ビデオストリームの再生中に、映像にオーバーレイして表示するPopupメニューを出すことができない。
 また、図37に示すように、2K_HDR Graphics Streamの場合には、Java側に制約が掛かるため字幕(PG)のみが格納される。
 別の例として、図38に示すように、HDRビデオ再生の場合は、JavaではなくHDMVモードを使い、IGでPopupメニューを表示してもよい。これにより、Javaを使ったPopupメニューを出すことができないが、HDMVモードを使ったIGでPopupメニューを表示できる。
 [5-3.再生装置の動作]
 以下、再生装置(データ再生装置)として、SDR信号のグラフィックスをHDR信号のグラフィックスに変換して出力する機能があるタイプと、当該機能が無いタイプの2種類が存在する場合を説明する。このような再生装置では、ビデオ映像としてHDR信号を扱いつつも、そのビデオに重畳するメニュー及び字幕などのグラフィックスに関してはSDR信号又はHDR信号が扱われる。
 この場合、変換出力機能が無いタイプの再生装置(プレーヤ)では、例えば、グラフィックスはSDR信号のままで処理される。これにより、再生映像品位が低くなる、又は、メニュー又は字幕の輝度がコンテンツ作成者の意図と異なるものとなり、ユーザに視認しにくいという課題が起こりうる。この課題を解決するため、コンテンツ制作側でHDR信号のグラフィックスコンテンツとSDR信号のグラフィックスコンテンツとの両方のグラフィックスコンテンツを準備し、ブルーレイディスクとして提供することが考えられる。
 なお、再生装置とは、BD機器等のプレーヤに限らず、TV等の表示装置であってもよい。
 図39は、再生装置の処理を示すフローチャートである。再生装置は、ディスク内に記憶されている、BD-J(BD-Java)又はHDMVと呼ばれる再生制御プログラミング言語で記述された再生制御プログラムを読み出し、当該再生制御プログラムを実行する。この再生制御プログラムにより、図39に示す処理が実行される。
 まず、再生制御プログラムは、メニューを再生し、本編映像の再生選択メニューをユーザに提示する。ここでユーザがHDR信号の本編映像の再生を指定した場合、再生制御プログラムは、再生装置が、HDRグラフィックスに対応しているか(HDRグラフィックスを処理する機能を有するか)を判断する(S401)。
 再生装置が、HDRグラフィックスに対応している場合(S401でYes)、再生制御プログラムは、HDR信号のグラフィックスコンテンツを再生する(S403)。
 一方、再生装置が、HDRグラフィックスに対応していない場合(S401でNo)、再生制御プログラムは、再生装置が、SDR信号のグラフィックスをHDR信号のグラフィックスに変換する機能を有するか否かを判定する(S402)。具体的には、再生制御プログラムは、再生装置のレジスタ値を確認する。例えば、プレイヤーレジスタの25番(PSR25と呼ばれる32ビット長のレジスタ)により、SDR信号グラフィックスをHDR信号グラフィックスとして変換して出力する機能があるか否かが示される。再生制御プログラムは、このレジスタの値を確認することで、再生装置が変換出力機能を有するか否かを判定する。
 変換出力機能を有する再生装置では(S402でYes)、再生制御プログラムは、SDR信号のグラフィックスをHDR信号のグラフィックスへ変換して出力するために準備されたプレイリスト#Aを再生する。これにより、再生装置は、SDR信号のグラフィックスをHDR信号のグラフィックスへ変換しながら変換後のHDR信号のグラフィックスを出力する(S404)。
 一方、変換出力機能がない再生装置では(S402でNo)、再生制御プログラムは、この変換処理が不要なように準備された擬似的なHDR信号グラフィックス信号を含むプレイリスト#Bを再生する。具体的には、再生装置は、HDR信号用に準備されたCLUTを用いて字幕とHDMVメニューを再生する(S405)。
 ここで、ブルーレイディスクでは、字幕(Presentation Graphics)と、BD-Jによるメニューなどのグラフィックス(BD-J Graphics)と、HDMVによるメニューなどのグラフィックス(Interactive Graphics)との3種類のグラフィックスが利用できる。上記のように、変換出力機能の有無に応じてプレイリストが選択され、再生される場合、変換出力機能が無い再生装置向けのプレイリストでは、字幕(Presentation Graphics)、及びHDMVによるメニュー(Interactive Graphics)に用いられるCLUT(インデックス番号と色および輝度との対応関係が定義された色変換テーブル)を工夫する。具体的には、再生装置は、SDR信号のグラフィックスを出力する場合には、SDR信号用に準備されたCLUTを用い、HDR信号のグラフィックスを出力する場合には、HDR信号用に準備された別のCLUTを用いる。つまり、Javaでは色空間の制限があるためHDRに容易に対応することはできないが、字幕及びHDMVのよるメニューでは、HDR用のCLUTを用いることで、HDRの輝度範囲に対応することができる。これにより、SDR信号グラフィックスをHDR信号グラフィックスへ変換処理ができない再生装置において、メニュー及び字幕のグラフィックス映像が視認しにくいという問題を安価に回避することが可能となる。
 以上のように、本実施の形態に係る再生装置は、第1輝度範囲(HDR)の映像にグラフィックスを重畳して表示する。
 再生装置は、当該再生装置が、第1輝度範囲(HDR)より狭い第2輝度範囲(SDR)の第1グラフィックスを第1輝度範囲(HDR)の第2グラフィックスに変換する機能を有するか否かを判定する(S402)。具体的には、再生装置が再生制御プログラムを実行することで、再生装置が上記機能を有するか否かが判定される。また、再生制御プログラムが、再生装置が上記機能を有するか否かを示す情報が格納されているレジスタを確認することで、再生装置が上記機能を有するか否かを判定する。また、再生装置は、第1輝度範囲(HDR)の映像と、第2輝度範囲(SDR)の第1グラフィックスと、再生制御プログラムとをディスクから取得する。
 再生装置は、当該再生装置が上記機能を有する場合、第1グラフィックスを第2グラフィックスに変換し、映像に第2グラフィックスを重畳して表示する(S404)。
 また、再生装置は、再生装置が上記機能を有さない場合、映像に第2グラフィックスとは異なる第3グラフィックスを重畳して表示する。具体的には、再生装置は、第1輝度範囲用の色変換テーブルを用いて第3グラフィックスを生成する(S405)。ここで、第1輝度範囲(HDR)用の色変換テーブル(CLUT)では、各番号に対応付けられた対応色が第1輝度範囲に含まれる。言い換えると、当該色変換テーブルは、第2輝度範囲(SDR)に含まれず、かつ、第1輝度範囲に含まれる輝度値を表現できる。
 なお、再生装置は、再生装置が上記機能を有さない場合、グラフィックスの変換処理を行わず、映像に、第2輝度範囲(SDR)の第1グラフィックスを重畳して表示してもよい。つまり、上記第3グラフィックスは、第1グラフィックスであってもよい。
 以上、説明したように、基本の2KかつSDR映像に加え、4KかつSDR映像の場合、2KかつHDR映像の場合、4KかつHDR映像の場合の4つの場合が存在する。これにより、複雑なオーサリング作業及び再生機器での内部処理が必要になる。
 さらにHDR映像を格納したBlu-rayの場合、字幕及びメニュー用グラフィックス、Java用グラフィックス、Java用描画処理等をHDRコンテンツとして処理すると、JavaではHDRの色空間の定義が無いため表示できない等の各種制約が掛かる。
 本実施の形態では、再生装置(プレーヤ)がグラフィックスをSDRからHDRへ変換する機能を有する場合と、有さない場合とに分け、再生装置が変換機能を有する場合は、全てのグラフィックス関連の処理をSDR信号で行い、その結果をSDRからHDRへ変換し、得られたHDRのグラフィックスをHDRのビデオとを合成する。これにより、Java等を用いた全ての処理が可能になるとともに、高品質のグラフィックスを提供できる。
 一方で、再生装置が変換機能を有さない場合は、HDRではJavaの処理が不可能なため、Popupメニュー等の処理ができない。このため、JavaからHDMVモードを呼び出し、HDMVモードでHDRグラフィック(字幕、Popupメニュー等)の処理を行うことで、HDR映像であっても、SDRと同じようなユーザ経験を、簡単なオーサリング処理で実現できる。
 なお、上記各実施の形態において、各構成要素は、専用のハードウェアで構成されるか、各構成要素に適したソフトウェアプログラムを実行することによって実現されてもよい。各構成要素は、CPUまたはプロセッサなどのプログラム実行部が、ハードディスクまたは半導体メモリなどの記録媒体に記録されたソフトウェアプログラムを読み出して実行することによって実現されてもよい。
 以上、本開示の一つまたは複数の態様に係る変換方法および変換装置について、実施の形態に基づいて説明したが、本開示は、この実施の形態に限定されるものではない。本開示の趣旨を逸脱しない限り、当業者が思いつく各種変形を本実施の形態に施したもの、異なる実施の形態における構成要素を組み合わせて構築される形態なども、本開示の一つまたは複数の態様の範囲内に含まれてもよい。
 本開示は、Blu-ray機器等の再生装置に適用できる。
100 メディア
200 BDプレーヤ
210 変換装置
220 リマップ処理部
221 判定部
222 処理対象判定部
223 輝度値可変リマップ部
224 輝度値固定リマップ部
225 記憶部
300,310 TV
400 生成部
410 グレーディング部
420 判定部
430 HDR信号生成部
440 SDR信号生成部
500 変換装置
501 EOTF変換部
502 輝度変換部
503 逆輝度変換部
504 逆SDRのEOTF変換部
600 表示装置
601 表示設定部
602 SDRのEOTF変換部
603 輝度変換部
604 表示部

Claims (6)

  1.  第1輝度範囲の映像にグラフィックスを重畳して表示するデータ再生方法であって、
     再生装置が、前記第1輝度範囲より狭い第2輝度範囲の第1グラフィックスを前記第1輝度範囲の第2グラフィックスに変換する機能を有するか否かを判定し、
     前記再生装置が前記機能を有する場合、前記再生装置により、前記第1グラフィックスを前記第2グラフィックスに変換し、前記映像に前記第2グラフィックスを重畳して表示し、
     前記再生装置が前記機能を有さない場合、前記映像に前記第2グラフィックスと異なる第3グラフィックスを重畳して表示する
     データ再生方法。
  2.  前記再生装置が前記機能を有さない場合、前記第1輝度範囲用の色変換テーブルを用いて前記第3グラフィックスを生成する
     請求項1記載のデータ再生方法。
  3.  前記第3グラフィックスは、前記第1グラフィックスである
     請求項1記載のデータ再生方法。
  4.  前記判定では、前記再生装置が再生制御プログラムを実行することで、前記再生装置が前記機能を有するか否かを判定する
     請求項1~3のいずれか1項に記載のデータ再生方法。
  5.  前記判定では、前記再生制御プログラムが、前記再生装置が前記機能を有するか否かを示す情報が格納されているレジスタを確認することで、前記再生装置が前記機能を有するか否かを判定する
     請求項4記載のデータ再生方法。
  6.  第1輝度範囲の映像にグラフィックスを重畳して表示する再生装置であって、
     前記再生装置が、前記第1輝度範囲より狭い第2輝度範囲の第1グラフィックスを前記第1輝度範囲の第2グラフィックスに変換する機能を有するか否かを判定する判定部と、
     前記再生装置が前記機能を有する場合、前記第1グラフィックスを前記第2グラフィックスに変換する変換部と、
     前記再生装置が前記機能を有する場合、前記映像に前記第2グラフィックスを重畳して表示し、前記再生装置が前記機能を有さない場合、前記映像に前記第2グラフィックスと異なる第3グラフィックスを重畳して表示する表示部とを備える
     再生装置。
PCT/JP2015/003050 2014-06-30 2015-06-18 データ再生方法及び再生装置 WO2016002154A1 (ja)

Priority Applications (8)

Application Number Priority Date Filing Date Title
JP2016530818A JP6512458B2 (ja) 2014-06-30 2015-06-18 データ再生方法及び再生装置
EP15815800.6A EP3163888A4 (en) 2014-06-30 2015-06-18 Data reproduction method and reproduction device
MX2016016604A MX366401B (es) 2014-06-30 2015-06-18 Metodo de reproduccion de datos y dispositivo de reproduccion de datos.
CN201580019779.4A CN106233741B (zh) 2014-06-30 2015-06-18 数据再现方法以及再现装置
US15/386,038 US10063828B2 (en) 2014-06-30 2016-12-21 Playback method according to function of playback device
US15/593,495 US10171788B2 (en) 2014-06-30 2017-05-12 Playback method according to function of playback device
US15/596,190 US10257486B2 (en) 2014-06-30 2017-05-16 Playback method according to function of playback device
US16/282,687 US10582177B2 (en) 2014-06-30 2019-02-22 Playback method according to function of playback device

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US201462018912P 2014-06-30 2014-06-30
US62/018,912 2014-06-30
JP2015114328 2015-06-04
JP2015-114328 2015-06-04

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US15/386,038 Continuation US10063828B2 (en) 2014-06-30 2016-12-21 Playback method according to function of playback device

Publications (1)

Publication Number Publication Date
WO2016002154A1 true WO2016002154A1 (ja) 2016-01-07

Family

ID=55018735

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2015/003050 WO2016002154A1 (ja) 2014-06-30 2015-06-18 データ再生方法及び再生装置

Country Status (6)

Country Link
US (4) US10063828B2 (ja)
EP (1) EP3163888A4 (ja)
JP (3) JP6512458B2 (ja)
CN (2) CN106233741B (ja)
MX (1) MX366401B (ja)
WO (1) WO2016002154A1 (ja)

Cited By (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016092759A1 (ja) * 2014-12-09 2016-06-16 パナソニックIpマネジメント株式会社 送信方法、受信方法、送信装置および受信装置
JP2017069934A (ja) * 2015-09-29 2017-04-06 日立マクセル株式会社 放送受信装置
JP2017151308A (ja) * 2016-02-25 2017-08-31 キヤノン株式会社 情報処理装置および情報処理方法
WO2017159123A1 (ja) * 2016-03-17 2017-09-21 シャープ株式会社 受信装置、表示制御方法、及びプログラム
JP2017175459A (ja) * 2016-03-24 2017-09-28 シャープ株式会社 信号変換装置、信号変換方法、テレビジョン受像機、プログラム、および記録媒体
JP2017181762A (ja) * 2016-03-30 2017-10-05 キヤノン株式会社 表示装置及び表示方法
JP2017181828A (ja) * 2016-03-31 2017-10-05 シャープ株式会社 階調値変換装置、テレビジョン受像機、階調値変換方法、制御プログラム、および記録媒体
JP2017199974A (ja) * 2016-04-25 2017-11-02 キヤノン株式会社 撮像装置、表示装置及び画像処理装置
CN107786891A (zh) * 2016-08-26 2018-03-09 晨星半导体股份有限公司 应用于播放装置的影像处理方法及相关的电路
JP2018117281A (ja) * 2017-01-19 2018-07-26 日本放送協会 文字スーパー合成装置及びそのプログラム
WO2019087775A1 (ja) * 2017-10-31 2019-05-09 ソニー株式会社 再生装置、再生方法、プログラム、および記録媒体
CN109982007A (zh) * 2017-12-27 2019-07-05 晨星半导体股份有限公司 应用在机顶盒的格式转换电路及相关的方法
JP2019213119A (ja) * 2018-06-07 2019-12-12 日本電気株式会社 映像スイッチャおよび切替方法
JP2020061781A (ja) * 2015-09-30 2020-04-16 マクセル株式会社 受信装置
US10708647B2 (en) 2015-09-25 2020-07-07 Maxell, Ltd. Broadcast receiving apparatus
US11895353B2 (en) 2015-09-25 2024-02-06 Maxell, Ltd. Broadcast receiving apparatus

Families Citing this family (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110460744B (zh) * 2014-06-10 2022-03-08 松下知识产权经营株式会社 亮度变换装置和亮度变换方法
JP6741975B2 (ja) * 2014-12-09 2020-08-19 パナソニックIpマネジメント株式会社 送信方法および送信装置
US20170353704A1 (en) * 2016-06-01 2017-12-07 Apple Inc. Environment-Aware Supervised HDR Tone Mapping
WO2019059022A1 (ja) * 2017-09-21 2019-03-28 ソニー株式会社 再生装置、再生方法、プログラム、および記録媒体
JP6723969B2 (ja) * 2017-11-06 2020-07-15 株式会社ソニー・インタラクティブエンタテインメント 画像処理装置、表示装置、および画像処理方法
JP6821269B2 (ja) 2017-12-05 2021-01-27 株式会社ソニー・インタラクティブエンタテインメント 画像処理装置および画像処理方法
US10630934B2 (en) 2017-12-11 2020-04-21 Disney Enterprises, Inc. High dynamic range enhancement authorization
TWI650998B (zh) * 2017-12-15 2019-02-11 晨星半導體股份有限公司 應用在機上盒的格式轉換電路及相關的方法
JP7012562B2 (ja) * 2018-03-02 2022-01-28 日本放送協会 文字スーパー合成装置及びプログラム
KR102445544B1 (ko) * 2018-04-02 2022-09-21 삼성전자 주식회사 전자장치, 그 제어방법 및 기록매체
JP7129813B2 (ja) * 2018-04-24 2022-09-02 キヤノン株式会社 画像処理装置およびその制御方法、プログラム並びに記憶媒体
US10917583B2 (en) * 2018-04-27 2021-02-09 Apple Inc. Standard and high dynamic range display systems and methods for high dynamic range displays
TWI808970B (zh) 2018-04-30 2023-07-21 圓剛科技股份有限公司 影像訊號轉換裝置
JP7100493B2 (ja) * 2018-05-16 2022-07-13 キヤノン株式会社 表示制御装置及びその制御方法及びプログラム
CN111757172A (zh) * 2019-03-29 2020-10-09 Tcl集团股份有限公司 Hdr视频获取方法、hdr视频获取装置及终端设备
CN110867172B (zh) 2019-11-19 2021-02-26 苹果公司 动态控制标准动态范围和高动态范围内容的电子设备
US11666823B1 (en) 2021-06-29 2023-06-06 Amazon Technologies, Inc. Video game streaming with dynamic range conversion
US11617946B1 (en) 2021-06-29 2023-04-04 Amazon Technologies, Inc. Video game streaming with dynamic range conversion
US11612812B1 (en) * 2021-06-29 2023-03-28 Amazon Technologies, Inc. Video game streaming with dynamic range conversion

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2012172460A1 (en) * 2011-06-14 2012-12-20 Koninklijke Philips Electronics N.V. Graphics processing for high dynamic range video
WO2013059116A1 (en) * 2011-10-20 2013-04-25 Dolby Laboratories Licensing Corporation Method and system for video equalization

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040213542A1 (en) * 2003-04-22 2004-10-28 Hiroshi Hamasaka Apparatus and method to reproduce multimedia content for a multitude of resolution displays
JP5145017B2 (ja) 2006-12-05 2013-02-13 日本放送協会 画像信号処理装置
TWI479898B (zh) * 2010-08-25 2015-04-01 Dolby Lab Licensing Corp 擴展影像動態範圍
TWI538473B (zh) * 2011-03-15 2016-06-11 杜比實驗室特許公司 影像資料轉換的方法與設備
RU2013152741A (ru) * 2011-04-28 2015-06-10 Конинклейке Филипс Н.В. Способ и устройство для генерирования сигнала кодирования изображения
US11640656B2 (en) * 2011-09-27 2023-05-02 Koninklijke Philips N.V. Apparatus and method for dynamic range transforming of images
EP3016379B1 (en) * 2013-06-24 2020-04-22 Sony Corporation Playback device, playback method, and recording medium
US9973723B2 (en) * 2014-02-24 2018-05-15 Apple Inc. User interface and graphics composition with high dynamic range video

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2012172460A1 (en) * 2011-06-14 2012-12-20 Koninklijke Philips Electronics N.V. Graphics processing for high dynamic range video
WO2013059116A1 (en) * 2011-10-20 2013-04-25 Dolby Laboratories Licensing Corporation Method and system for video equalization

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP3163888A4 *

Cited By (34)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016092759A1 (ja) * 2014-12-09 2016-06-16 パナソニックIpマネジメント株式会社 送信方法、受信方法、送信装置および受信装置
US10708647B2 (en) 2015-09-25 2020-07-07 Maxell, Ltd. Broadcast receiving apparatus
US11895353B2 (en) 2015-09-25 2024-02-06 Maxell, Ltd. Broadcast receiving apparatus
US11445239B2 (en) 2015-09-25 2022-09-13 Maxell, Ltd. Broadcast receiving apparatus
US11102541B2 (en) 2015-09-25 2021-08-24 Maxell, Ltd. Broadcast receiving apparatus
JP2020061780A (ja) * 2015-09-29 2020-04-16 マクセル株式会社 放送システム
JP2017069934A (ja) * 2015-09-29 2017-04-06 日立マクセル株式会社 放送受信装置
JP2020061779A (ja) * 2015-09-29 2020-04-16 マクセル株式会社 受信装置
JP2020061782A (ja) * 2015-09-30 2020-04-16 マクセル株式会社 放送システム
JP2020061781A (ja) * 2015-09-30 2020-04-16 マクセル株式会社 受信装置
JP2020145744A (ja) * 2015-09-30 2020-09-10 マクセル株式会社 放送システム
JP2020145743A (ja) * 2015-09-30 2020-09-10 マクセル株式会社 表示装置
US10997454B2 (en) 2016-02-25 2021-05-04 Canon Kabushiki Kaisha Information-processing apparatus and information-processing method for generating waveform information of input image data
JP2017151308A (ja) * 2016-02-25 2017-08-31 キヤノン株式会社 情報処理装置および情報処理方法
JP2017169097A (ja) * 2016-03-17 2017-09-21 シャープ株式会社 受信装置、表示制御方法、及びプログラム
WO2017159123A1 (ja) * 2016-03-17 2017-09-21 シャープ株式会社 受信装置、表示制御方法、及びプログラム
WO2017163692A1 (ja) * 2016-03-24 2017-09-28 シャープ株式会社 信号変換装置、信号変換方法、テレビジョン受像機、プログラム、および記録媒体
JP2017175459A (ja) * 2016-03-24 2017-09-28 シャープ株式会社 信号変換装置、信号変換方法、テレビジョン受像機、プログラム、および記録媒体
JP2017181762A (ja) * 2016-03-30 2017-10-05 キヤノン株式会社 表示装置及び表示方法
JP2017181828A (ja) * 2016-03-31 2017-10-05 シャープ株式会社 階調値変換装置、テレビジョン受像機、階調値変換方法、制御プログラム、および記録媒体
JP2017199974A (ja) * 2016-04-25 2017-11-02 キヤノン株式会社 撮像装置、表示装置及び画像処理装置
US10721432B2 (en) 2016-04-25 2020-07-21 Canon Kabushiki Kaisha Image capturing apparatus connectable to display apparatus, display apparatus connectable to external apparatus, and image processing apparatus performing image processing
TWI631505B (zh) * 2016-08-26 2018-08-01 晨星半導體股份有限公司 應用於播放裝置的影像處理方法及相關的電路
CN107786891A (zh) * 2016-08-26 2018-03-09 晨星半导体股份有限公司 应用于播放装置的影像处理方法及相关的电路
US10104306B2 (en) 2016-08-26 2018-10-16 Mstar Semiconductor, Inc. Image processing method applied to a display and associated circuit
JP2018117281A (ja) * 2017-01-19 2018-07-26 日本放送協会 文字スーパー合成装置及びそのプログラム
JPWO2019087775A1 (ja) * 2017-10-31 2020-11-19 ソニー株式会社 再生装置、再生方法、プログラム、および記録媒体
WO2019087775A1 (ja) * 2017-10-31 2019-05-09 ソニー株式会社 再生装置、再生方法、プログラム、および記録媒体
US11153548B2 (en) 2017-10-31 2021-10-19 Sony Corporation Reproduction apparatus, reproduction method, program, and recording medium
JP7251480B2 (ja) 2017-10-31 2023-04-04 ソニーグループ株式会社 再生装置、再生方法、プログラム
CN111345034A (zh) * 2017-10-31 2020-06-26 索尼公司 再现设备、再现方法、程序及记录介质
CN109982007A (zh) * 2017-12-27 2019-07-05 晨星半导体股份有限公司 应用在机顶盒的格式转换电路及相关的方法
JP2019213119A (ja) * 2018-06-07 2019-12-12 日本電気株式会社 映像スイッチャおよび切替方法
JP7110740B2 (ja) 2018-06-07 2022-08-02 日本電気株式会社 映像スイッチャおよび切替方法

Also Published As

Publication number Publication date
CN111263096B (zh) 2021-06-01
CN106233741A (zh) 2016-12-14
JP6512458B2 (ja) 2019-05-15
US20170251190A1 (en) 2017-08-31
CN106233741B (zh) 2020-02-14
JP2017184253A (ja) 2017-10-05
EP3163888A4 (en) 2017-05-31
US20170251166A1 (en) 2017-08-31
CN111263096A (zh) 2020-06-09
US10257486B2 (en) 2019-04-09
US20170104973A1 (en) 2017-04-13
US10582177B2 (en) 2020-03-03
EP3163888A1 (en) 2017-05-03
JPWO2016002154A1 (ja) 2017-04-27
US10171788B2 (en) 2019-01-01
US10063828B2 (en) 2018-08-28
JP2017200186A (ja) 2017-11-02
MX2016016604A (es) 2017-04-27
US20190191140A1 (en) 2019-06-20
MX366401B (es) 2019-07-08

Similar Documents

Publication Publication Date Title
US10582177B2 (en) Playback method according to function of playback device
JP6573237B2 (ja) 表示装置、変換装置、表示方法、および、コンピュータプログラム
JP6292495B2 (ja) 再生方法および再生装置
JP6566320B2 (ja) データ出力装置及びデータ出力方法
JP6497522B2 (ja) 再生方法および再生装置
WO2015174026A1 (ja) 変換方法および変換装置
WO2015198552A1 (ja) コンテンツデータ生成方法、映像ストリーム伝送方法及び映像表示方法
JP6731627B2 (ja) 再生装置で実行される方法、及び再生装置
JP2017139511A (ja) コンテンツデータ生成方法、映像ストリーム伝送方法及び映像表示方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 15815800

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2016530818

Country of ref document: JP

Kind code of ref document: A

WWE Wipo information: entry into national phase

Ref document number: MX/A/2016/016604

Country of ref document: MX

REEP Request for entry into the european phase

Ref document number: 2015815800

Country of ref document: EP

WWE Wipo information: entry into national phase

Ref document number: 2015815800

Country of ref document: EP

NENP Non-entry into the national phase

Ref country code: DE