WO2016189774A1 - 表示方法および表示装置 - Google Patents

表示方法および表示装置 Download PDF

Info

Publication number
WO2016189774A1
WO2016189774A1 PCT/JP2016/000627 JP2016000627W WO2016189774A1 WO 2016189774 A1 WO2016189774 A1 WO 2016189774A1 JP 2016000627 W JP2016000627 W JP 2016000627W WO 2016189774 A1 WO2016189774 A1 WO 2016189774A1
Authority
WO
WIPO (PCT)
Prior art keywords
luminance
video
hdr
display
video data
Prior art date
Application number
PCT/JP2016/000627
Other languages
English (en)
French (fr)
Inventor
小塚 雅之
隆司 東田
美裕 森
晴康 平川
遠間 正真
弘一 中西
Original Assignee
パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from JP2015247985A external-priority patent/JP6663214B2/ja
Application filed by パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ filed Critical パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ
Priority to EP19187293.6A priority Critical patent/EP3595322B1/en
Priority to MX2017014707A priority patent/MX371402B/es
Priority to EP16799494.6A priority patent/EP3306944B1/en
Priority to CN201680007487.3A priority patent/CN107211182B/zh
Publication of WO2016189774A1 publication Critical patent/WO2016189774A1/ja
Priority to US15/795,443 priority patent/US10402953B2/en
Priority to US16/512,846 priority patent/US10891722B2/en

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/435Processing of additional data, e.g. decrypting of additional data, reconstructing software from modules extracted from the transport stream

Definitions

  • the present disclosure relates to a display method and a display device.
  • a recording medium such as a device, a system, an integrated circuit, a computer program, or a computer-readable CD-ROM.
  • the device, system, integrated circuit, computer You may implement
  • FIG. 6 is a diagram for describing a specific example of luminance conversion processing in the display method according to Embodiment 1.
  • FIG. It is the table
  • linear luminance is calculated for each pixel based on the linear RGB value calculated from the pixels constituting the subject, and for each pixel based on the linear RGB value and the linear luminance.
  • the corrected linear luminance and the corrected linear RGB value of the combined pixel obtained by synthesizing a plurality of pixels including the pixel are calculated, and the corrected linear luminance and the corrected linear RGB value are respectively gamma corrected to calculate the display luminance and the display RGB value.
  • the number of gradations that can be displayed is increased by correcting the linear luminance based on the corrected linear RGB values.
  • HDR video which is a video whose brightness is defined by HDR (High Dynamic Range), which is a dynamic range wider than the dynamic range in which the brightness of the conventional video is defined, is displayed on a TV or the like.
  • HDR High Dynamic Range
  • a technique for displaying on a display device is known.
  • the transition of video technology will be described with reference to FIG.
  • FIG. 1 is a diagram for explaining the evolution of video technology.
  • SD Standard Definition
  • HD high definition 1920 x 1080 pixels
  • CMOS Complementary metal-oxide-semiconductor
  • the conventional TV signal is called SDR (Standard Dynamic Range) and has a peak luminance (maximum luminance) of 100 nits, whereas it is HDR (especially ST 2084 which is an EOTF standardized by SMPTE (PQ curve).
  • peak luminance can be expressed up to 10,000 nits or more.
  • FIG. 2 is a diagram for explaining the difference between the SDR signal and the HDR signal.
  • the SDR signal is a video signal indicating an SDR video corresponding to SDR
  • the HDR signal is a video signal indicating an HDR video corresponding to HDR.
  • the HDR signal removes the restriction that the peak luminance is 100 nit like the SDR signal, and the maximum luminance of the luminance dynamic range is up to 10,000 nit so as to meet the restriction of ST2084 (hereinafter referred to as “PQ curve”).
  • PQ curve This is a video signal obtained by performing color correction (grading) processing so as to become an HDR video.
  • the HDR signal is a video signal defined by a dynamic range of luminance of 0 to 10,000 nits.
  • the maximum luminance of the dynamic range of the luminance of the HDR signal is not limited to 10000 nit, but may be, for example, 800 to 4000 nit.
  • FIG. 3 is an explanatory diagram of a method for determining the code value of the luminance signal stored in the content and the process of restoring the luminance from the code value during reproduction.
  • the peak luminance that can be displayed in HDRTV (hereinafter referred to as “display peak luminance”) is higher than the peak luminance of the HDR signal. ) Is often small. Therefore, in order to match the HDR signal peak luminance to the HDRTV display peak luminance, it is necessary to reduce the HDR signal luminance dynamic range to the luminance dynamic range supported by HDRTV.
  • SDR EOTF gamma curve: relative luminance standard
  • HDR EOTF ST2084: PQ curve: absolute luminance standard
  • SDR compatible display device for example, SDRTV
  • the tone mapping process including the knee curve process using the knee curve indicating the relationship between the input luminance and the output luminance is performed, the luminance of the image is reduced. Conversion can be performed according to the display peak luminance of HDRTV. However, when the same knee curve process is applied independently to the RGB values of the video signal, the color may change.
  • the luminance of the first color corresponding to the luminance within the luminance range that is not knee-curved does not change, so the first color value is hardly affected, and the value of the first color is knee-curved.
  • the luminance changes small, so the value of the second color also changes.
  • the relative relationship between the values of RGB colors is broken, and the color changes.
  • the rate of change in which the luminance is reduced is different depending on the size of the luminance in the luminance range that is knee-curved. The relative relationship of the values between the colors will be broken. Therefore, in order to reduce the color change before and after the predetermined tone mapping processing, complicated processing such as three-dimensional color conversion processing has been required.
  • FIG. 5 is a diagram for explaining an example of display processing in a case where the HDR signal of the HDR content graded by the high brightness master monitor is displayed by HDRTV.
  • FIG. 5A is a diagram showing HDR EOTF in which the luminance of the HDR content video is defined.
  • FIG. 5B is a diagram showing a tone mapping process (brightness conversion process) for converting the brightness of the HDR content in accordance with the display peak brightness of HDRTV.
  • HDR content graded by a high-luminance master monitor it may have a peak luminance of 2000 nits, for example.
  • tone mapping processing including knee curve processing as shown in FIG. 5 is performed. By doing so, it is required that HDRTV express 2000 nit which is the peak luminance of the HDR video.
  • the present inventor examined the following improvement measures in order to solve the above-mentioned problems.
  • YUV spatial tone mapping is performed to reduce the luminance defined in the YUV space of the pixel.
  • RGB space tone mapping for reducing the value of each color of RGB defined in the RGB space of the pixel may be performed.
  • YUV spatial tone mapping is performed. It is possible to effectively suppress the change of the color of each pixel before and after. Also, for a plurality of pixels included in the HDR video of the HDR content, when the luminance of the pixel exceeds the first predetermined luminance, RGB space tone mapping is performed, so before and after the luminance conversion processing The color reproducibility of each pixel can be maintained as much as possible.
  • the video data includes static metadata, and based on the static metadata included in the acquired video data, the luminance of the video included in the video data is managed as absolute luminance or relative luminance A second determination is made to determine whether or not the image is managed. If the luminance of the video included in the video data is managed as an absolute luminance as a result of the second determination, the dual tone mapping is performed and the second determination is performed. As a result, when the luminance of the video included in the video data is managed as relative luminance, the RGB defined in the RGB space of each of the plurality of pixels constituting the video included in the video data is determined. RGB space tone mapping may be performed to reduce the value of each color.
  • the video data includes information of ST2086 as the static metadata, and in the second determination, when the master video that is included in the information of ST2086 and is based on which the video data is generated is generated. It is determined whether or not the characteristics of the master monitor used for the master monitor are close to the characteristics of a predetermined master monitor used when generating an image whose absolute luminance is managed. When it is determined that the characteristics of the video data are close to the characteristics of the monitor, it is determined that the brightness of the video of the video data is managed in absolute brightness, and when it is determined that the characteristics of the master monitor are not close to the characteristics of the predetermined master monitor, You may determine with the brightness
  • the second determination it is determined whether or not the display peak luminance is a value in the vicinity of 4000 nits based on display peak luminance information indicating the display peak luminance of the master monitor as a characteristic of the master monitor.
  • display peak luminance information indicating the display peak luminance of the master monitor as a characteristic of the master monitor.
  • the luminance of the video included in the video data is absolute luminance management. If the display peak luminance is not a value near 4000 nit, it may be determined that the luminance of the video included in the video data is managed with relative luminance.
  • the white point is a value near the white point of the predetermined master monitor based on white point information indicating the white point of the master monitor as a characteristic of the master monitor.
  • white point information indicating the white point of the master monitor as a characteristic of the master monitor.
  • the video data includes maximum frame average luminance information indicating maximum frame average luminance which is a maximum value of average luminance of each of a plurality of frames constituting the video, and in the second determination, the maximum frame average luminance information It is determined whether or not the maximum frame average luminance indicated by the reference value exceeds a third predetermined luminance, and when the maximum frame average luminance exceeds the third predetermined luminance, the luminance of the video included in the video data is an absolute luminance. It may be determined that the luminance is managed, and when the maximum frame average luminance is equal to or less than the third predetermined luminance, it may be determined that the luminance of the video included in the video data is managed as relative luminance.
  • a recording medium such as a device, a system, an integrated circuit, a computer program, or a computer-readable CD-ROM.
  • the device, system, integrated circuit, computer You may implement
  • This disclosure is a high dynamic signal (HDR) that is a high luminance signal with a high dynamic range and encoded with SMPTE (Society of Motion Picture & Television Engineers) ST2084 standard EOTF (hereinafter referred to as “PQ curve”).
  • a display device for example, a TV, a projector, a tablet, a smart phone, etc.
  • the present invention relates to an HDR signal format, an HDR signal display method, and a display device for realizing display.
  • FIG. 6 is a diagram showing a scale of luminance at the time of image shooting.
  • 18% gray is a gray having a reflectance of 18%, as a reference point for brightness. That is, 18% gray is a reference reflectance that serves as a reference for brightness.
  • the number of Stops is defined to increase by 1 each time the luminance is doubled, with the luminance at 18% gray as a reference point.
  • the camera when shooting a daytime indoor scene of (2) in FIG. 6, the camera is set for exposure so that the balance between the dark part and the bright part is improved.
  • the exposure is set to the camera in order to prevent the white portion of the bright part from being crushed.
  • FIG. 7 is a diagram illustrating an example of luminance of a captured image.
  • the photographed image (hereinafter referred to as “original image”) 10 A) has a luminance (hereinafter referred to as “0 Stop”) corresponding to 18% gray (0 Stop), which is a reference reflectivity.
  • B) of the original image 10 shows a pixel having a luminance corresponding to 90% reflectance (90% gray) (2.3 Stops).
  • C) of the original image 10 shows a pixel having a luminance corresponding to substantially black 2.3% gray ( ⁇ 3 Stops).
  • D) of the original image 10 shows a pixel obtained by photographing the sun, has a very bright luminance, and has a luminance corresponding to 1150% gray (6 Stops).
  • E) of the original image 10 shows a pixel obtained by photographing a position causing specular reflection, and has a luminance corresponding to 290% gray (4 Stops).
  • FIG. 8 is a diagram for explaining the relationship between a flow for creating a home entertainment master compatible with SDR, a distribution medium, and a display device.
  • the original image 10 as described in FIG. 7 is an image having a maximum luminance of 1300 nit. That is, when a master image (SDR image) corresponding to an SDR having a maximum luminance of 100 nit is produced using the original image 10, a pixel having a luminance of 100 nit or more cannot be expressed in the SDR. It is not possible to produce a master image corresponding to SDR using as it is without conversion. That is, if an original image 10 is used to produce a master image corresponding to SDR, it is necessary to convert the luminance of the original image 10 into luminance in a dynamic range corresponding to SDR.
  • the luminance is maintained linearly until about 80 nits in normal grading processing.
  • the upper part is subjected to knee curve processing for bending so that the maximum luminance is within 100 nits.
  • the knee curve process is a process of linearly displaying a luminance below a certain value and attenuating the luminance above a certain value in accordance with the display peak luminance of the display device to be displayed.
  • FIG. 9A is a diagram showing an example of luminance as a result of mastering the original image shown in FIG. 7 into an SDR image.
  • FIG. 9B is a diagram illustrating an example of a relationship between an original signal value and an SDR signal value for converting (mastering) the original signal value into an SDR signal value.
  • the original signal value is the luminance in the dynamic range of 0 to 1300 nit of the original image 10 (hereinafter referred to as “the luminance of the original image 10”)
  • the SDR signal value is the luminance in the luminance range of the SDR (hereinafter referred to as “the luminance of the original image 10”).
  • SDR brightness is the luminance in the luminance range of the SDR.
  • the pixel corresponding to the reference reflectance of 18% gray (0 Stop) has the reference luminance that becomes the reference of the brightness. Pixel. Therefore, in the mastering to the SDR image, even after the original image 10 is converted into the SDR image 11, the luminance (18 nit) of the original image 10 corresponding to 18% gray in the original image 10 is not changed. It is determined as the brightness of SDR.
  • the brightness of the original image 10 corresponding to 90% gray in the original image 10 is determined as the SDR brightness without changing the brightness (90 nit).
  • the luminance (1150 nit) of the original image 10 corresponding to 1150% gray in the original image 10 Is converted to 100 nit which is the maximum brightness of SDR.
  • the luminance of the original image 10 corresponding to 290% gray in the original image 10 is set. Convert to 95 nits.
  • FIG. 10A is a diagram illustrating an example of luminance as a result of mastering the original image illustrated in FIG. 7 into an HDR image.
  • FIG. 10B is a diagram illustrating an example of a relationship between an original signal value and an HDR signal value for converting (mastering) the original signal value into an HDR signal value.
  • the HDR signal value is the luminance in the HDR luminance range (hereinafter referred to as “HDR luminance”).
  • HDR luminance the luminance in the HDR luminance range
  • a pixel corresponding to the reference reflectance of 18% gray (0 Stop), such as A) of the HDR image 12 is a pixel having a reference luminance that serves as a reference for brightness. Therefore, mastering to the HDR image is performed. Then, even after the original image 10 is converted to the HDR image 12, the luminance (18 nit) of the original image 10 corresponding to 18% gray in the original image 10 is not changed and is determined as the HDR luminance.
  • a pixel corresponding to 90% gray such as HDR image 12 B
  • a 2.3% gray such as HDR image 12 C
  • a pixel corresponding to 1150% gray (6 Stops), such as HDR image 12 D)
  • a 290% gray (4 Stops) corresponding to HDR image 12, E)
  • the brightness of the original image 10 is determined as the HDR brightness without changing the brightness.
  • FIG. 11 is a diagram for describing a specific example of luminance conversion processing in the display method according to the first embodiment.
  • the display method of the present embodiment performs dual tone mapping.
  • a tone mapping process (hereinafter referred to as “RGB space tone”) is performed for each color value of RGB defined in a normal RGB space for a pixel having a luminance equal to or lower than a first predetermined luminance (for example, 1000 nit). "Mapping"). For example, when the display peak brightness of HDRTV is 500 nits, RGB space tone mapping is performed on pixels having a brightness of 1000 nits or less, so that brightness of HDR content of HDR content is 1000 nits or less in the brightness range up to 460 nits of HDRTV. Represents a pixel having the same.
  • tone mapping processing (hereinafter referred to as “YUV spatial tone”) is not performed for the luminance defined in the YUV space, but in the normal tone mapping processing in the RGB space. "Mapping").
  • YUV spatial tone In the YUV space tone mapping, in addition to the process for the luminance constituting the pixel, the process is also performed for the color difference constituting the pixel.
  • HDR video data is acquired, and for each of a plurality of pixels constituting the video included in the acquired video data, the luminance of the pixel has the first predetermined luminance.
  • a first determination is made to determine whether or not it exceeds.
  • For each of the plurality of pixels as a result of the first determination, when the luminance of the pixel exceeds the first predetermined luminance and when the luminance of the pixel is equal to or lower than the first predetermined luminance, Perform dual tone mapping to reduce brightness. Thereafter, the HDR video is displayed on the display device using the result of the dual tone mapping.
  • YUV spatial tone mapping is performed for each of a plurality of pixels when the luminance of the pixel exceeds the first predetermined luminance.
  • the RGB spatial tone Perform mapping is performed for each of a plurality of pixels when the luminance of the pixel exceeds the first predetermined luminance.
  • two tone mappings are performed for a plurality of pixels included in the HDR video of the HDR content depending on whether or not the luminance of the pixel exceeds the first predetermined luminance.
  • FIG. 1 There are three main grading methods for HDR content as shown in FIG. Specifically, there are a DolbyVision system, a system similar to the SDR (hereinafter referred to as “conventional system”), and an ACES (Academy Color Encoding System) system.
  • DolbyVision system a system similar to the SDR (hereinafter referred to as “conventional system”)
  • ACES Anacademy Color Encoding System
  • the generated master video is used to generate an SDR video by separating the SDR video SDR signal into an auxiliary signal for reproducing HDR.
  • compatibility between HDR and SDR is realized.
  • the luminance range (band) of about 80 nits or less is common to HDR and SDR, and the value (point) of 18% gray (Middle Gray).
  • the peak luminance (maximum luminance) of the HDR video generated by the DlobyVision method can be expressed up to the maximum luminance of the high luminance master monitor, and is extremely high as 2000 to 4000 nits.
  • the grading policy is the same as that of the DlobyVision method, which is an absolute luminance standard.
  • a master video is generated using a standard master monitor (for example, Sony X300, high-end consumer TV, etc.) having a display peak luminance equivalent to 1000 nit as the master monitor.
  • the HDR video graded by the conventional method has the same characteristics as the DV method.
  • the HDR video is about 800 to 1000 nit because it depends on the maximum brightness of the standard master monitor.
  • HDRTV As described above, the characteristics of the HDR video obtained by grading in each of the three methods are different. For this reason, in HDRTV, if display processing (tone mapping processing, etc.) is performed on the premise of any one of these three methods, HDR video different from CI (Creator's Intent) is displayed in HDRTV. May be displayed.
  • display processing tone mapping processing, etc.
  • FIG. 13 is a diagram showing an overall configuration of HDR / SDR mastering when HDR grading is performed in a conventional manner using a standard master monitor.
  • FIG. 14A is a diagram illustrating an example of luminance as a result of mastering the original image illustrated in FIG. 7 into an HDR image by a conventional method.
  • FIG. 14B is a diagram illustrating an example of a relationship between the original signal value and the HDR signal value for converting the original signal value into the HDR signal value (mastering by the conventional method).
  • the luminance of the original image 10 in the luminance range (900 to 10000 nit) of the original image 10 larger than the luminance (900 nit) of the original image 10 corresponding to 900% gray of the original image 10 is set to 900 to It assigns to the luminance of HDR in the luminance range of 1000 nit by linear conversion.
  • the HDR image 13 for pixels corresponding to 90% gray (2.3 Stops) such as the HDR image 13 B
  • the brightness of the original image 10 corresponding to 90% gray in the original image 10 is determined as the HDR brightness without changing the brightness (90 nit).
  • FIG. 15 is a diagram illustrating an example of an SDR image obtained by HDR grading according to a conventional method.
  • FIG. 16 is a diagram illustrating an example of an HDR image obtained by performing HDR grading according to a conventional method.
  • FIG. 17 is a diagram showing an overall configuration of HDR / SDR mastering when ACES / HDR grading is performed by the ACES method using a standard master monitor.
  • FIG. 18A is a diagram illustrating an example of luminance as a result of mastering the original image illustrated in FIG. 7 to the HDR image by the ACES method.
  • FIG. 18B is a diagram illustrating an example of a relationship between the original signal value and the HDR signal value for converting the original signal value into the HDR signal value (mastering by the ACES method).
  • the value is changed from 18 nit to 36 nit.
  • the original image 10 corresponding to 1150% gray in the original image 10 is converted to, for example, 950 nit by knee curve processing.
  • FIG. 19 is a diagram illustrating an example of an SDR image automatically generated from an ACES / HDR master video obtained by ACES / HDR grading using the ACES method.
  • FIG. 21 is a diagram showing an overall configuration of HDR / SDR mastering when HDR grading is performed by the DolbyVision method using a high-luminance master monitor.
  • the DolbyVision system there is a master monitor dedicated to HDR DolbyVision in each theater and consumer, and grading processing is performed in accordance with these master monitors.
  • the SDR is automatically generated from a high brightness master image generated by the DolbyVision method.
  • grading material data such as the original image 10 before grading is produced using a high-intensity master monitor that supports HDR, and a high-intensity master video is produced. Since the high-luminance master image has a high-luminance master monitor display peak luminance of, for example, 4000 nits, grading can be normally performed without performing luminance conversion processing.
  • the high-intensity master image obtained by grading on the high-intensity master monitor takes advantage of the display capability of the high-intensity master monitor up to 4000 nits, and is generally submerged, with lightning, neon signs, fireworks, fire, etc. Therefore, the HDR effect is realized in which the brightness of the video is extremely high and the contrast is emphasized.
  • This high-intensity master video can be made into a dedicated distribution format for DolbyVision devices, and can be used in common with each distribution medium (Blu-ray (registered trademark), broadcast, OTT) in standard HDR format for devices that do not support DolbyVision You can also That is, the HDR master includes DolbyVision metadata and SDR master for DolbyVision (for details, refer to http://www.dolby.com/us/en/technologies/dolby-vision.html and http: // www.dolby.com/us/en/technologies/dolby-vision-color-grading.pdf).
  • FIG. 22A is a diagram illustrating an example of luminance as a result of mastering the original image illustrated in FIG. 7 to the HDR image by the DolbyVision method.
  • FIG. 22B is a diagram illustrating an example of a relationship between an original signal value and an HDR signal value for converting an original signal value into an HDR signal value (mastering by the DolbyVision method).
  • the brightness of the original image 10 corresponding to 18% gray in the image 10 is determined as the HDR brightness without changing the brightness (18 nit).
  • the luminance of the original image 10 corresponding to 1150% gray in the original image 10 (1150 nit) is converted to, for example, 1050 nit by knee curve processing.
  • FIG. 23 is a diagram illustrating an example of digital cinema evaluation content “Stem” that seems to have the same effect as an automatically generated SDR image from a high-luminance master video obtained by HDR grading in the DolbyVision format. .
  • FIG. 24 is a diagram showing an example of digital cinema evaluation content “Stem” that seems to have the same tendency as a high-luminance master video obtained by HDR grading in the DolbyVision format.
  • the HDR image has a very high value in a portion with a high luminance such as a light bulb and a candle compared to the SDR image, but the luminance does not change in a portion of about 90 nit or less. Recognize.
  • FIG. 25 is a table explaining the problems of the three grading methods.
  • the characteristics of the HDR content obtained by grading by the three methods are different.
  • the subject of HDRTV in performing display processing (tone mapping processing etc.) with consumer HDRTV is different as shown in FIG.
  • the issue of HDRTV differs greatly depending on whether the video is based on absolute luminance management or the video based on relative luminance management, and it is necessary to perform display processing suitable for each video.
  • the display processing is different between absolute luminance management and relative luminance management by determining whether the video is based on absolute luminance management or relative luminance management.
  • HDRTV In order to determine whether the video is based on absolute brightness management or relative brightness management, it is necessary to identify three grading methods. However, in the case of HDRTV of a system that is not the DolbyVision system, there is no means for determining whether the HDR signal that is sent is graded according to the DolbyVision, the conventional system, or the ACES system. For this reason, HDRTV ignores the difference between the three grading methods and displays the HDR video of the HDR signal.
  • HDRTV can know which of the three methods the HDR content is graded before reproducing the HDR content, display processing such as tone mapping processing suitable for the method is performed. be able to.
  • HDRTV is difficult to specify the grading method because the HDR content does not include information directly indicating which method was graded at the start of playback of the HDR content. .
  • FIG. 26 is a diagram illustrating an example in which an Ultra HD Blu-ray (registered trademark) device compatible with HDR is connected to HDRTV via HDR (registered trademark) 2.0a.
  • more appropriate display control is realized by determining whether or not it is graded by the DolbyVision method by effectively using information obtained from static metadata included in video data.
  • estimation is performed using information of ST2086 included in static metadata by using grading using a special high-intensity master monitor (Pulsar) as described above.
  • Pulsar high-intensity master monitor
  • the information of ST2086 includes the characteristics of the master monitor used for grading. For this reason, if the information of ST2086 is used, it can be estimated whether the HDR content is generated using a special high-intensity master monitor used in the DolbyVision grading.
  • the display method of the present embodiment it is determined whether the luminance of the video included in the video data is managed in absolute luminance or relative luminance based on the static metadata included in the acquired video data. A second determination is made. If the luminance of the video included in the video data is managed as an absolute luminance as a result of the second determination, the dual tone mapping described in the first embodiment is performed. On the other hand, if the luminance of the video included in the video data is managed as a relative luminance as a result of the second determination, each of the plurality of pixels constituting the video included in the video data is defined in the RGB space of the pixel. RGB space tone mapping is performed to reduce the value of each RGB color.
  • a video whose absolute luminance is managed based on the characteristics of the master monitor used when generating the master video that is the basis for generating the video data included in the information of ST2086 is generated. It is determined whether or not it is close to the characteristics of a predetermined master monitor to be used. Then, when it is determined that the characteristics of the master monitor are close to the characteristics of the predetermined master monitor (high brightness master monitor), it is determined that the brightness of the video of the video data is managed in absolute brightness, and the characteristics of the master monitor are When it is determined that the characteristics are not close to those of the master monitor (high brightness master monitor), it is determined that the brightness of the video of the video data is managed with relative brightness.
  • max_display_mastering_luminance included in ST2086 information is around 4000 nits, and if max_display_mastering_luminance is around 4000 nits, the HDR content is generated by a high-intensity master monitor used in the DolbyVision method.
  • the second determination it is determined whether or not the display peak luminance is a value in the vicinity of 4000 nits based on display peak luminance information (max_display_mastering_luminance) indicating the display peak luminance of the master monitor as a characteristic of the master monitor. It is determined whether or not the characteristics of the master monitor are close to those of a predetermined master monitor (high brightness master monitor).
  • the second determination when the display peak luminance is a value in the vicinity of 4000 nit, it is determined that the luminance of the video included in the video data is managed as an absolute luminance, and when the display peak luminance is not a value in the vicinity of 4000 nit, the video is displayed. It is determined that the luminance of the video included in the data is managed with relative luminance.
  • display_primaries included in the information of ST2086 is close to the characteristic value of the high-intensity master monitor (Pulsar), and it is determined that display_primaries is near the characteristic value of the high-intensity master monitor (Pulsar). It may be estimated that the HDR content is generated by a high brightness master monitor used in the DolbyVision method. That is, in the second determination, the display primary color is a value near the display primary color of the predetermined master monitor (high brightness master monitor) based on the display primary color information (display_primaries) indicating the display primary color of the master monitor as the characteristic of the master monitor.
  • the characteristics of the master monitor are close to the characteristics of a predetermined master monitor (high brightness master monitor).
  • the display primary color is a value in the vicinity of the display primary color of a predetermined master monitor (high brightness master monitor)
  • it is determined that the brightness of the video included in the video data is managed for absolute brightness
  • the display when the primary color is not a value near the display primary color of the predetermined master monitor, it is determined that the luminance of the previous image included in the video data is managed with relative luminance.
  • the white_point included in the information of ST2086 is close to the characteristic value of the high-intensity master monitor (Pulsar), and if it is determined that white_point is near the characteristic value of the high-intensity master monitor (Pulsar). It may be estimated that the HDR content is generated by a high brightness master monitor used in the DolbyVision method. That is, in the second determination, the white point is a value near the white point of the predetermined master monitor (high brightness master monitor) based on the white point information (white_point) indicating the white point of the master monitor as the characteristic of the master monitor.
  • the characteristics of the master monitor are close to the characteristics of a predetermined master monitor (high brightness master monitor).
  • a predetermined master monitor high brightness master monitor
  • the white point is a value in the vicinity of the white point of a predetermined master monitor (high luminance master monitor)
  • it is determined that the luminance of the video included in the video data is managed as absolute luminance
  • the point is not a value near the white point of the predetermined master monitor, it is determined that the luminance of the video included in the video data is managed with relative luminance.
  • the above display_primaries and white_point are different from each other in the characteristic value of the high-intensity master monitor and is close to the characteristic value of a standard master monitor (for example, Sony X300).
  • a standard master monitor for example, Sony X300.
  • the HDR content is graded by a method other than the DolbyVision method. Since the master monitor for HDR is different from the consumer TV, and there are very few types, it is possible to hold the management table of the master monitor for HDR and update it appropriately via the Internet or the like. By holding the management table of the HDR compatible master monitor in this way, it becomes possible to appropriately estimate the master monitor used for grading, and it is determined whether grading has been performed by the DolbyVision method. Can be more effective.
  • the second determination uses MaxCLL (The Maximum) of static metadata defined in Blu-ray (registered trademark), Disc Association, HDMI (registered trademark) Forum, UHD Alliance. You may use Content Light Level) and MaxFALL (The Maximum Frame-Average Light Level).
  • MaxCLL is peak luminance information indicating the HDR peak luminance of the HDR content video.
  • MaxCLL is static metadata only for HDR content.
  • MaxFALL is maximum frame average luminance information indicating the maximum frame average luminance that is the maximum value of the average luminance of each of a plurality of frames constituting the HDR video of the HDR content.
  • MaxFALL is static metadata only for HDR content, and an authoring guideline has been created that the Ultra HD Blu-ray (registered trademark) format for HDR content does not exceed 400 nits.
  • the second determination may be performed as follows by using MaxCLL.
  • MaxCLL it is determined whether or not the value of MaxCLL is 2000 nit or more, and when it is 2000 nit or more, since it includes a very high luminance pixel component, it is an HDR video graded by the DolbyVision method (absolute luminance managed). It may be estimated. Note that 2000 nit as a reference for determination is an example, and 3000 nit may be used.
  • the second determination it is determined whether or not the peak luminance indicated by the peak luminance information exceeds a second predetermined luminance (for example, 2000 nit, 3000 nit, etc.). Then, in the second determination, when the peak luminance exceeds the second predetermined luminance, it is determined that the luminance of the video included in the video data is managed as absolute luminance, and when the peak luminance is equal to or lower than the second predetermined luminance, the video data It is determined that the luminance of the video included in the image is managed with relative luminance.
  • a second predetermined luminance for example, 2000 nit, 3000 nit, etc.
  • MaxCLL it is determined whether or not the value of MaxCLL is 1500 nit or more, and when it is 1500 nit or more, since it includes a high-luminance pixel component, it is possible to be an HDR video graded by the DolbyVision method (absolute luminance management) It may be estimated that the property is high.
  • 1500 nit as a reference for determination is an example, and 1200 nit may be used.
  • MaxCLL MaxCLL
  • a high-luminance pixel component is not included. Therefore, HDR video that is managed by relative luminance instead of HDR video that is graded by the DolbyVision method. It may be estimated that there is a high possibility.
  • 1500 nit as a reference for determination is an example, and may be 1750 nit.
  • MaxCLL it is determined whether or not the value of MaxCLL is 800 nit or less.
  • the value is 800 nit or less, it is determined that the HDR video is a relative luminance managed HDR video that is graded by the DolbyVision method (absolute luminance managed). It may be estimated.
  • 800 nit as a criterion for determination is an example, and may be 750 nit or 1000 nit.
  • determination may be made in the same manner as MaxCLL by providing a reference value for the value of MaxFALL. That is, in the second determination, it is determined whether or not the maximum frame average luminance indicated by the maximum frame average luminance information exceeds the third predetermined luminance. In the second determination, when the maximum frame average luminance exceeds the third predetermined luminance, it is determined that the luminance of the video included in the video data is managed as absolute luminance, and the maximum frame average luminance is equal to or less than the third predetermined luminance. In this case, it is determined that the luminance of the video included in the video data is managed with relative luminance.
  • the HDR video of the HDR content graded by the DolbyVision method can be identified, and the dual tone mapping and RGB spatial tone mapping described in the first embodiment can be performed according to the identification result. Any one of the tone mapping processes can be selected appropriately. For this reason, it is possible to perform an appropriate process regardless of whether the HDR video is a video whose absolute luminance is managed or a video whose relative luminance is managed, so that an appropriate video can be displayed.
  • each component may be configured by dedicated hardware or may be realized by executing a software program suitable for each component.
  • Each component may be realized by a program execution unit such as a CPU or a processor reading and executing a software program recorded on a recording medium such as a hard disk or a semiconductor memory.
  • the software that realizes the display method of each of the above embodiments is the following program.
  • this program causes the display device to display video data of which video brightness is defined by the first EOTF (Electro-Optical Transfer Function) indicating the correspondence between the HDR (High Dynamic Range) brightness and code values.
  • a display method for displaying wherein the video data is acquired, and for each of a plurality of pixels constituting the video included in the acquired video data, whether or not the luminance of the pixel exceeds a first predetermined luminance.
  • a first determination is performed, and for each of the plurality of pixels, as a result of the first determination, when the luminance of the pixel exceeds the first predetermined luminance, the luminance of the pixel is equal to or lower than the first predetermined luminance.
  • a dual tone map that reduces the brightness of the pixel in a different way. Perform ring, using the results of the dual tone mapping, to execute the display method for displaying the image on the display device.
  • the display method and the display device have been described based on the embodiments, but the present disclosure is not limited to the embodiments. Unless it deviates from the gist of the present disclosure, one or more of the present disclosure may be applied to various modifications conceived by those skilled in the art in the present embodiment, or forms configured by combining components in different embodiments. It may be included within the scope of the embodiments.
  • the present disclosure is useful as a display method, a display device, and the like that can easily perform luminance conversion of video data corresponding to HDR in accordance with display peak luminance and can suppress a change in color before and after the conversion. is there.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Controls And Circuits For Display Device (AREA)

Abstract

HDR(High Dynamic Range)の輝度およびコード値の対応関係を示す第1EOTF(Electoro-Optical Transfer Function)で映像の輝度が定義される映像データの映像を表示装置に表示する表示方法であって、映像データを取得し、取得した映像データに含まれる映像を構成する複数の画素のそれぞれについて、当該画素の輝度が第1所定輝度を超えるか否かを判定する第1判定を行い、複数の画素のそれぞれについて、第1判定の結果、当該画素の輝度が第1所定輝度を超える場合と、当該画素の輝度が第1所定輝度以下の場合とで、異なる方式で当該画素の輝度を縮小するデュアルトーンマッピングを行い、デュアルトーンマッピングの結果を用いて、映像を表示装置に表示する。

Description

表示方法および表示装置
 本開示は、表示方法および表示装置に関する。
 従来、表示可能な輝度レベルを改善するための画像信号処理装置が開示されている(例えば特許文献1参照)。
特開2008-167418号公報
 しかしながら、上記特許文献では、更なる改善が必要とされていた。
 本開示の一態様に係る表示方法は、HDR(High Dynamic Range)の輝度およびコード値の対応関係を示す第1EOTF(Electoro-Optical Transfer Function)で映像の輝度が定義される映像データの映像を表示装置に表示する表示方法であって、前記映像データを取得し、取得した前記映像データに含まれる前記映像を構成する複数の画素のそれぞれについて、当該画素の輝度が第1所定輝度を超えるか否かを判定する第1判定を行い、前記複数の画素のそれぞれについて、前記第1判定の結果、当該画素の輝度が前記第1所定輝度を超える場合と、当該画素の輝度が前記第1所定輝度以下の場合とで、異なる方式で当該画素の輝度を縮小するデュアルトーンマッピングを行い、前記デュアルトーンマッピングの結果を用いて、前記映像を前記表示装置に表示する。
 なお、これらの全般包括的または具体的な態様は、装置、システム、集積回路、コンピュータプログラムまたはコンピュータ読み取り可能なCD-ROMなどの記録媒体で実現されてもよく、装置、システム、集積回路、コンピュータプログラムまたは記録媒体の任意な組み合わせで実現されてもよい。
 上記態様によれば、更なる改善を実現することができる。
映像技術の進化について説明するための図である。 SDR信号とHDR信号との違いを説明するための図である。 コンテンツに格納される輝度信号のコード値の決定方法、および、再生時にコード値から輝度を復元するプロセスの説明図である。 HDR信号をHDRTVで表示させる場合の表示処理の一例を説明するための図である。 高輝度マスターモニターでグレーディンされたHDRコンテンツのHDR信号をHDRTVで表示させる場合の表示処理の一例を説明するための図である。 画像撮影時の輝度の尺度を示す図である。 撮影した画像の輝度の例に示す図である。 SDRに対応したホームエンターテイメント用マスターを制作するフロー、配信媒体および表示装置の関係について説明するための図である。 図7で示した原画像をSDR画像にマスタリングした結果の輝度の一例を示す図である。 原信号値をSDR信号値に変換する(マスタリングする)ための、原信号値とSDR信号値との関係の一例を示す図である。 図7で示した原画像をHDR画像にマスタリングした結果の輝度の一例を示す図である。 原信号値をHDR信号値に変換する(マスタリングする)ための、原信号値とHDR信号値との関係の一例を示す図である。 実施の形態1に係る表示方法における輝度変換処理の具体例について説明するための図である。 グレーディングの方式について説明した表である。 標準マスターモニターを使って従来方式でHDRグレーディングを行う場合のHDR/SDRマスタリングの全体構成を示す図である。 図7で示した原画像をHDR画像に従来方式でマスタリングした結果の輝度の一例を示す図である。 原信号値をHDR信号値に変換する(従来方式でマスタリングする)ための、原信号値とHDR信号値との関係の一例を示す図である。 従来方式でHDRグレーディングすることにより得られたSDR画像の例を示す図である。 従来方式でHDRグレーディングすることにより得られたHDR画像の例を示す図である。 標準マスターモニターを使ってACES方式でACES/HDRグレーディングを行う場合のHDR/SDRマスタリングの全体構成を示す図である。 図7で示した原画像をHDR画像にACES方式でマスタリングした結果の輝度の一例を示す図である。 原信号値をHDR信号値に変換する(ACES方式でマスタリングする)ための、原信号値とHDR信号値との関係の一例を示す図である。 ACES方式でACES/HDRグレーディングすることにより得られたACES/HDRのマスター映像から、自動生成したSDR画像の例を示す図である。 ACES方式でACES/HDRグレーディングすることにより得られたACES/HDRのマスター映像から、自動生成したHDR画像の例を示す図である。 高輝度マスターモニターを使ってDolbyVision方式でHDRグレーディングを行う場合のHDR/SDRマスタリングの全体構成を示す図である。 図7で示した原画像をHDR画像にDolbyVision方式でマスタリングした結果の輝度の一例を示す図である。 原信号値をHDR信号値に変換する(DolbyVision方式でマスタリングする)ための、原信号値とHDR信号値との関係の一例を示す図である。 DolbyVision方式でHDRグレーディングすることにより得られた高輝度マスター映像から、自動生成したSDR画像と同等の効果を有すると思われるデジタルシネマ評価用コンテンツ”Stem”の例を示す図である。 DolbyVision方式でHDRグレーディングすることにより得られた高輝度マスター映像と同等の傾向を有すると思われるデジタルシネマ評価用コンテンツ”Stem”の例を示す図である。 グレーディングの3つの方式の課題について説明した表である。 HDR対応したUltra HD Blu-ray(登録商標)機器をHDR対応のHDMI(登録商標)2.0a経由でHDRTVに繋いだ場合の例を示す図である。
 (本開示の基礎となった知見)
 本発明者は、「背景技術」の欄において記載した、画像信号処理装置に関し、以下の問題が生じることを見出した。
 特許文献1に開示されている画像信号処理装置では、被写体を構成する画素から算出されたリニアRGB値に基づいて画素毎にリニア輝度を算出し、リニアRGB値およびリニア輝度に基づいて画素毎の補正リニア輝度および当該画素を含む複数の画素を合成した合成画素の補正リニアRGB値を算出し、補正リニア輝度および補正リニアRGB値をそれぞれガンマ補正して表示用輝度および表示用RGB値を算出する。このように、画像信号処理装置では、補正リニアRGB値に基づいてリニア輝度を補正することにより、表示可能な階調数の増加を図っている。
 ところで、近年、映像技術の進化に伴い、従来の映像の輝度が定義されているダイナミックレンジよりも広いダイナミックレンジであるHDR(High Dynamic Range)で輝度を定義した映像であるHDR映像をTVなどの表示装置に表示させる技術が知られている。ここで、映像技術の変遷について、図1を用いて説明する。
 図1は、映像技術の進化について説明するための図である。
 これまで、映像の高画質化としては、表示画素数の拡大に主眼がおかれ、Standard Definition(SD)の720×480画素の映像から、High Definition(HD)の1920×1080画素の、所謂2K映像が普及している。
 近年、更なる高画質化を目指して、Ultra High Definition(UHD)の3840×1920画素、あるいは、4Kの4096x1920画素の、所謂4K映像の導入が開始された。
 4Kの導入による映像の高解像度化を行うと共に、ダイナミックレンジ拡張や色域の拡大、あるいは、フレームレートの追加、向上などを行うことで映像を高画質化することが検討されている。
 ダイナミックレンジ拡張については、デジタルカメラやCMOS(Complementary metal-oxide-semiconductor)イメージセンサの性能向上により、露出を示すStop数が14Stops以上の広いダイナミックレンジの画像の撮影が可能になっている。このため、暗部階調を維持しつつ、100%反射光以上に明るい光(鏡面反射光などの明るい光)を撮影することが可能になっている。このカメラまたはイメージセンサの性能向上を表現力の向上に活かすために、より高輝度な信号も伝送可能にする信号規格として、HDRが注目されている。
 これまでのTV信号は、SDR(Standard Dynamic Range)と呼ばれ、ピーク輝度(最大輝度)が100nitであったのに対して、HDR(特に、SMPTEで標準化されたEOTFであるST 2084(PQカーブ)で符号化するHDR)の場合は、10000nit以上までピーク輝度を表現することができるようになった。
 HDRの具体的な適用先としては、HDやUHDと同様に、放送やパッケージメディア(Blu-ray(登録商標) Disc等)、インターネット配信などで使われることが想定されている。
 次に、SDRおよびHDRについて、図2を用いて説明する。
 図2は、SDR信号とHDR信号との違いを説明するための図である。なお、SDR信号とは、SDRに対応したSDR映像を示す映像信号であり、HDR信号とは、HDRに対応したHDR映像を示す映像信号である。
 ダイナミックレンジ(14Stop等)の広いデジタルカメラで撮ることにより得られた原信号には、0~10000nitの広い範囲の輝度情報が含まれている。
 SDR信号は、bt709等の放送規格を満たす映像であり、原信号から、ピーク輝度が100nitであるSDR映像になるように色補正(グレーディング)処理を行うことで得られた映像信号である。つまり、SDR信号は、映像の輝度が0~100nitの輝度のダイナミックレンジで定義された映像信号である。
 一方で、HDR信号は、SDR信号のようなピーク輝度を100nitとする制約を取り払い、ST2084(以下、「PQカーブ」と言う。)の制約に合わせるように輝度のダイナミックレンジの最大輝度を10000nitまでのHDR映像になるように色補正(グレーディング)処理を行うことで得られた映像信号である。つまり、HDR信号は、映像の輝度が0~10000nitの輝度のダイナミックレンジで定義された映像信号である。なお、HDR信号の輝度のダイナミックレンジの最大輝度は、10000nitに限らずに、例えば、800~4000nitであってもよい。
 このように、HDRの輝度のダイナミックレンジは、SDRの輝度のダイナミックレンジよりもピーク輝度が大きいダイナミックレンジである。なお、HDRの輝度のダイナミックレンジの最小輝度は、SDRの輝度のダイナミックレンジの最小輝度と同じであり、0nitである。
 図3は、コンテンツに格納される輝度信号のコード値の決定方法、および、再生時にコード値から輝度を復元するプロセスの説明図である。
 本例における映像信号はHDRに対応したHDR信号である。グレーディング後の画像は、HDRの逆EOTFにより量子化され、当該画像の輝度に対応するコード値が決定する。このコード値に基づいて画像符号化などが行われ、ビデオのストリームが生成される。再生時には、ストリームの復号結果に対して、HDRのEOTFに基づいて逆量子化することによりリニアな信号に変換され、画素毎の輝度が復元される。以下、HDRの逆EOTFを用いた量子化を「逆HDRのEOTF変換」という。HDRのEOTFを用いた逆量子化を「HDRのEOTF変換」という。同様に、SDRの逆EOTFを用いた量子化を「逆SDRのEOTF変換」という。SDRのEOTFを用いた逆量子化を「SDRのEOTF変換」という。
 上述したようなHDR信号をHDR対応の表示装置(例えば、HDRTV)で表示させる表示制御を行う場合、HDR信号のピーク輝度よりもHDRTVの表示可能なピーク輝度(以下、「表示ピーク輝度」と言う)が小さいことが多い。このため、HDR信号のピーク輝度をHDRTVの表示ピーク輝度に合わせるために、HDR信号の輝度のダイナミックレンジをHDRTVが対応している輝度のダイナミックレンジに縮小する必要がある。
 しかしながら、特許文献1に開示されている画像信号処理装置などの輝度の補正(変換)においては、映像の輝度が定義されているHDRの輝度のダイナミックレンジよりも狭い輝度のダイナミックレンジに輝度を補正(変換)するときの輝度の変換方法については考慮されていなかった。
 このため、次のような課題があった。
 SDRのEOTF(ガンマカーブ:相対輝度基準)とHDRのEOTF(ST2084:PQカーブ:絶対輝度基準)との違いにより、HDRTVでHDR信号を表示する場合は、SDR対応の表示装置(例えば、SDRTV)でSDR信号を表示する場合と異なり、下記の課題があった。
 Blu-ray(登録商標) Disc Association、UHD Alliance等のデジタルAV技術の国際標準化団体は、HDRに対応したコンテンツを、当面10000nitよりも小さい所定輝度(例えば1000nit)を上限としてグレーディング(これ以上の輝度も存在することを許す)することを求めている。
 図4は、HDR信号をHDRTVで表示させる場合の表示処理の一例を説明するための図である。図4の(a)は、HDRコンテンツの映像の輝度が定義されているHDRのEOTFを示す図である。図4の(b)は、HDRTVの表示ピーク輝度に合わせてHDRコンテンツの輝度を変換するためのトーンマッピング処理(輝度変換処理)を示す図である。
 図4に示すように、表示ピーク輝度が所定輝度未満(例えば500nit)のHDRTVに、所定輝度(例えば1000nit)をピーク輝度とするダイナミックレンジで定義されたHDR映像を表示させる場合、当該HDR映像のHDR信号に対して所定のトーンマッピング処理を行うことで、HDRTVにHDR映像のピーク輝度である所定輝度を表現させることが求められている。つまり、HDR映像のピーク輝度がHDRTVで表現できるように、所定輝度をHDRTVの表示ピーク輝度に合わせるトーンマッピング処理を行うことが求められている。
 この場合、輝度成分のみであれば、図4の(b)に示すように、入力輝度と出力輝度との関係を示したニーカーブを用いたニーカーブ処理を含むトーンマッピング処理を行えば映像の輝度をHDRTVの表示ピーク輝度に合わせて変換することができる。しかし、映像信号のRGBの各色の値に対して独立に、同等のニーカーブ処理を適用した場合、色が変化するおそれがあった。
 所定のトーンマッピング処理では、色が変化しないように、RGBの各色の値に対して独立に同等の処理を行う必要がある。このとき、所定のトーンマッピング処理の対象となる1画素の色が、ニーカーブさせるポイントにまたがって配置されるRGBの各色の値で構成されている場合、所定のトーンマッピング処理後のRGBのバランスが崩れ、トーンマッピング処理前後で色が変化してしまう。つまり、RGBの第1の色(例えばR)ではニーカーブされない輝度範囲の輝度に対応する値であり、RGBの第1の色とは異なる第2の色(例えばB)ではニーカーブされている輝度範囲の輝度に対応する値である場合、ニーカーブされていない輝度範囲内にある輝度に対応する第1の色の値では輝度が変化しないため第1の色の値にもほとんど影響せず、ニーカーブされている輝度範囲内にある輝度に対応する第2の色の値では輝度が小さく変化するため第2の色の値も変化する。このため、所定のトーンマッピング処理の前後でRGBの各色間の値の相対関係が崩れ、色が変化してしまう。また、RGBの各色の値がニーカーブされている輝度範囲内の輝度であったとしても、ニーカーブされている輝度範囲では、輝度の大きさに応じて輝度が縮小される変化率が異なるため、RGBの各色間の値の相対関係が崩れてしまう。したがって、所定のトーンマッピング処理の前後での色の変化を低減するために、3次元色変換処理等の複雑な処理が必要とされていた。
 つまり、絶対輝度基準のHDRコンテンツをグレーディングするための高輝度マスターモニター(例えば、DolbyVision)でグレーディングされたHDRコンテンツの場合、1000nit以上の範囲にも有効な画素がある。このため、図4に示すように1000nitでクリップするようにニーカーブ処理を行うトーンマッピング処理では、1000nit以上の輝度を有する画素の色を正しく再現できないおそれがあった。
 図5は、高輝度マスターモニターでグレーディンされたHDRコンテンツのHDR信号をHDRTVで表示させる場合の表示処理の一例を説明するための図である。図5の(a)は、HDRコンテンツの映像の輝度が定義されているHDRのEOTFを示す図である。図5の(b)は、HDRTVの表示ピーク輝度に合わせてHDRコンテンツの輝度を変換するためのトーンマッピング処理(輝度変換処理)を示す図である。
 図5に示すように、高輝度マスターモニターでグレーディングされたHDRコンテンツの場合、例えば2000nitのピーク輝度を有する可能性がある。このようなピーク輝度が2000nitであるHDRコンテンツのHDR映像に対しても、表示ピーク輝度が2000nit未満(例えば500nit)のHDRTVに表示させる場合、図5に示すようなニーカーブ処理を含むトーンマッピング処理を行うことで、HDRTVにHDR映像のピーク輝度である2000nitを表現させることが求められている。
 このトーンマッピング処理を、単純に図4と同様に行った場合、2000nitまでの輝度を500nitに収めるために、リニアに表示できる範囲が非常に狭くなる。つまり、図4と比較して、例えば1000~2000nitの領域の表現が可能になる代わりに、1000nit以下の輝度では、図4のような1000nitまでの輝度に比べて再現性が悪くなると言う課題があった。
 また、例えば1000nitのような所定の高輝度を超える輝度を有する映像は、sparkleと呼ばれる、雷、花火、電球、炎、爆発、太陽、水の反射等の映像であり、全体の映像(画像)に対して小領域の映像である。また、当該映像は、白または単色の場合が多い。このため、所定の高輝度を超える輝度を有する画素に対しては、当該画素で構成される映像が小領域であり、かつ、白または単色の場合が多いという特徴を考慮した処理を行い、所定の高輝度以下の輝度はできるだけ、図4と同様な処理を行うことで、映像を表現することが必要になる。
 以上の検討を踏まえ、本発明者は、上記課題を解決するために、下記の改善策を検討した。
 本開示の一態様に係る表示方法は、HDR(High Dynamic Range)の輝度およびコード値の対応関係を示す第1EOTF(Electoro-Optical Transfer Function)で映像の輝度が定義される映像データの映像を表示装置に表示する表示方法であって、前記映像データを取得し、取得した前記映像データに含まれる前記映像を構成する複数の画素のそれぞれについて、当該画素の輝度が第1所定輝度を超えるか否かを判定する第1判定を行い、前記複数の画素のそれぞれについて、前記第1判定の結果、当該画素の輝度が前記第1所定輝度を超える場合と、当該画素の輝度が前記第1所定輝度以下の場合とで、異なる方式で当該画素の輝度を縮小するデュアルトーンマッピングを行い、前記デュアルトーンマッピングの結果を用いて、前記映像を前記表示装置に表示する。
 これによれば、第1所定輝度を超える輝度と、第1所定輝度以下の輝度とで異なる方式で輝度を縮小するデュアルトーンマッピングを行うため、輝度の変換処理の前後で各画素の色が変化することを抑制することができる。
 また、前記デュアルトーンマッピングでは、前記複数の画素のそれぞれについて、当該画素の輝度が前記第1所定輝度を超える場合、当該画素のYUV空間で定義される輝度を縮小するYUV空間トーンマッピングを行い、当該画素の輝度が前記第1所定輝度以下の場合、当該画素のRGB空間で定義されるRGBの各色の値を縮小するRGB空間トーンマッピングを行ってもよい。
 これによれば、HDRコンテンツのHDR映像に含まれる複数の画素に対して、当該画素が有する輝度が第1所定輝度を超えている場合には、YUV空間トーンマッピングを行うため、輝度の変換処理の前後で各画素の色が変化することを効果的に抑制することができる。また、HDRコンテンツのHDR映像に含まれる複数の画素に対して、当該画素が有する輝度が第1所定輝度を超えている場合には、RGB空間トーンマッピングを行うため、輝度の変換処理の前後で各画素の色の再現性を極力維持することができる。
 また、前記映像データは、静的メタデータを含み、取得した前記映像データに含まれる前記静的メタデータに基づいて、前記映像データに含まれる前記映像の輝度が絶対輝度管理されているか相対輝度管理されているかを判定する第2判定を行い、前記第2判定の結果、前記映像データに含まれる前記映像の輝度が絶対輝度管理されている場合、前記デュアルトーンマッピングを行い、前記第2判定の結果、前記映像データに含まれる前記映像の輝度が相対輝度管理されている場合、前記映像データに含まれる前記映像を構成する複数の画素のそれぞれについて、当該画素のRGB空間で定義されるRGBの各色の値を縮小するRGB空間トーンマッピングを行ってもよい。
 これによれば、映像の輝度が絶対輝度管理されているか相対輝度管理されているかを判定するため、絶対輝度管理か相対輝度管理かに応じてトーンマッピング処理を適切に選択して行うことができる。このように絶対輝度管理された映像であるか、相対輝度管理された映像であるかに関わらず、適切な処理を行うことができるため、適切な映像を表示させることができる。
 また、前記映像データは、ST2086の情報を前記静的メタデータとして含み、前記第2判定では、前記ST2086の情報に含まれる、前記映像データが生成される基になったマスター映像を生成したときに使用していたマスターモニターの特性が、絶対輝度管理されている映像を生成するときに使用する所定のマスターモニターの特性に近いか否かを判定し、前記マスターモニターの特性が前記所定のマスターモニターの特性に近いと判定した場合に前記映像データの映像の輝度が絶対輝度管理されていると判定し、前記マスターモニターの特性が前記所定のマスターモニターの特性に近くないと判定した場合に前記映像データの映像の輝度が相対輝度管理されていると判定してもよい。
 このため、映像の輝度が絶対輝度管理されているか相対輝度管理されているかを容易に判定できる。
 また、前記第2判定では、前記マスターモニターの特性としての前記マスターモニターの表示ピーク輝度を示す表示ピーク輝度情報に基づいて、前記表示ピーク輝度が4000nit近傍の値であるか否かを判定することで前記マスターモニターの特性が前記所定のマスターモニターの特性に近いか否かを判定し、前記表示ピーク輝度が4000nit近傍の値である場合に前記映像データに含まれる前記映像の輝度が絶対輝度管理されていると判定し、前記表示ピーク輝度が4000nit近傍の値でない場合に前記映像データに含まれる前記映像の輝度が相対輝度管理されていると判定してもよい。
 このため、映像の輝度が絶対輝度管理されているか相対輝度管理されているかを容易に判定できる。
 また、前記第2判定では、前記マスターモニターの特性としての前記マスターモニターの表示原色を示す表示原色情報に基づいて、前記表示原色が前記所定のマスターモニターの表示原色近傍の値であるか否かを判定することで前記マスターモニターの特性が前記所定のマスターモニターの特性に近いか否かを判定し、前記表示原色が前記所定のマスターモニターの表示原色近傍の値である場合に前記映像データに含まれる前記映像の輝度が絶対輝度管理されていると判定し、前記表示原色が前記所定のマスターモニターの表示原色近傍の値でない場合に前記映像データに含まれる前記映像の輝度が相対輝度管理されていると判定してもよい。
 このため、映像の輝度が絶対輝度管理されているか相対輝度管理されているかを容易に判定できる。
 また、前記第2判定では、前記マスターモニターの特性としての前記マスターモニターのホワイトポイントを示すホワイトポイント情報に基づいて、前記ホワイトポイントが前記所定のマスターモニターのホワイトポイント近傍の値であるか否かを判定することで前記マスターモニターの特性が前記所定のマスターモニターの特性に近いか否かを判定し、前記ホワイトポイントが前記所定のマスターモニターのホワイトポイント近傍の値である場合に前記映像データに含まれる前記映像の輝度が絶対輝度管理されていると判定し、前記ホワイトポイントが前記所定のマスターモニターのホワイトポイント近傍の値でない場合に前記映像データに含まれる前記映像の輝度が相対輝度管理されていると判定してもよい。
 このため、映像の輝度が絶対輝度管理されているか相対輝度管理されているかを容易に判定できる。
 また、前記映像データは、前記映像のピーク輝度を示すピーク輝度情報を含み、前記第2判定では、前記ピーク輝度情報により示される前記ピーク輝度が第2所定輝度を超えるか否かを判定し、前記ピーク輝度が前記第2所定輝度を超える場合に前記映像データに含まれる前記映像の輝度が絶対輝度管理されていると判定し、前記ピーク輝度が前記第2所定輝度以下の場合に前記映像データに含まれる前記映像の輝度が相対輝度管理されていると判定してもよい。
 このため、映像の輝度が絶対輝度管理されているか相対輝度管理されているかを容易に判定できる。
 また、前記映像データは、前記映像を構成する複数のフレームそれぞれの平均輝度の最大値である最大フレーム平均輝度を示す最大フレーム平均輝度情報を含み、前記第2判定では、前記最大フレーム平均輝度情報により示される前記最大フレーム平均輝度が第3所定輝度を超えるか否かを判定し、前記最大フレーム平均輝度が前記第3所定輝度を超える場合に前記映像データに含まれる前記映像の輝度が絶対輝度管理されていると判定し、前記最大フレーム平均輝度が前記第3所定輝度以下の場合に前記映像データに含まれる前記映像の輝度が相対輝度管理されていると判定してもよい。
 このため、映像の輝度が絶対輝度管理されているか相対輝度管理されているかを容易に判定できる。
 なお、これらの全般包括的または具体的な態様は、装置、システム、集積回路、コンピュータプログラムまたはコンピュータ読み取り可能なCD-ROMなどの記録媒体で実現されてもよく、装置、システム、集積回路、コンピュータプログラムまたは記録媒体の任意な組み合わせで実現されてもよい。
 以下、添付の図面を参照して、本開示の一態様に係る表示方法および表示装置について、具体的に説明する。
 なお、以下で説明する実施の形態は、いずれも本開示の一具体例を示すものである。以下の実施の形態で示される数値、形状、材料、構成要素の配置位置及び接続形態、ステップ、ステップの順序などは、一例であり、本開示を限定する主旨ではない。また、以下の実施の形態における構成要素のうち、最上位概念を示す独立請求項に記載されていない構成要素については、任意の構成要素として説明される。
 本開示は、SMPTE(Society of Motion Picture & Television Engineers) ST2084規格のEOTF(以下、「PQカーブ」という。)で符号化されたダイナミックレンジが高い高輝度信号であるHDR(High Dynamic Range)信号を、HDR信号が対応している輝度のダイナミックレンジにおけるピーク輝度(最大輝度または最高輝度)とは異なる輝度のダイナミックレンジの表示能力を有する表示装置(例えば、TV、プロジェクタ、タブレット、スマートホン等)で表示させることを実現するための、HDR信号形式とそのHDR信号の表示方法および表示装置に関する。
 (実施の形態1)
 以下、図6~図11を用いて実施の形態1について説明する。
 まず、画像の撮影から画像を表示部に表示させるまでの処理の流れについて、図6~図10Bを用いて順に説明する。
 [1-1.画像撮影時の輝度の尺度の考え方]
 図6は、画像撮影時の輝度の尺度を示す図である。
 図6に示すように、カメラで画像を撮影する場合、反射率が18%になるグレーである18%グレーを明るさの基準点として撮影を行う。つまり、18%グレーは、明るさの基準になる基準反射率である。Stop数は、18%グレーにおける輝度を基準点とし、輝度が2倍になる毎に、1ずつ増加するように定義されている。
 実際にカメラで画像を撮影したときに、カメラのイメージセンサ(例えばCMOS、CCDなど)から得られる輝度は、絞り、シャッタースピード、感度設定などによる露出に応じて変化する。つまり、イメージセンサから得られる輝度は、同じ明るさの被写体を撮影したとしても、露出に応じて異なる値となる。このために、Stop数の値自体は絶対的な値では無く、相対的な値である。つまり、Stop数では、輝度を表すことはできない。
 例えば、図6の(1)の夜のシーンを撮影するような場合、黒潰れを起こさないようにするためには、シャッタースピードを遅くする、絞りを開ける等により露出を変えることで、暗い部分の階調を残して、明るい部分を捨てるような露出の設定をカメラに対して行う。
 また、図6の(2)の昼の室内のシーンを撮影するような場合、暗い部分と明るい部分とのバランスが良くなるような露出の設定をカメラに対して行う。また、図6の(3)の昼の屋外のシーンを撮影するような場合、明るい部分の白潰れを防ぐために露出を絞った露出の設定をカメラに対して行う。
 このようにして得られた相対的な輝度を、絶対的な輝度に変換するためには、18%グレーとの相対関係を計算する必要がある。
 [1-2.画像撮影時の輝度]
 図7は、撮影した画像の輝度の例に示す図である。
 図7に示すように、撮影した画像(以下、「原画像」という)10のA)は、明るさの基準になる基準反射率である18%グレー(0 Stop)に対応する輝度(以下、「基準輝度」または「18%グレー(Gray)値」という。)を持つ画素を示す。原画像10のB)は、90%の反射率(90%グレー)(2.3 Stops)に対応する輝度を持つ画素を示す。原画像10のC)は、ほぼ黒の2.3%グレー(-3 Stops)に対応する輝度を持つ画素を示す。原画像10のD)は、太陽を撮影することで得られた画素を示し、非常に明るい輝度が得られており、1150%グレー(6 Stops)に対応する輝度を持つ。原画像10のE)は、鏡面反射を起こしている位置を撮影することで得られた画素を示し、290%グレー(4 Stops)に対応する輝度を持つ。
 [1-3.マスター生成、配信方式、および表示装置の関係]
 図8は、SDRに対応したホームエンターテイメント用マスターを制作するフロー、配信媒体および表示装置の関係について説明するための図である。
 図7で説明したような原画像10は、最大輝度が1300nitの画像である。つまり、原画像10を用いて最大輝度が100nitのSDRに対応したマスター画像(SDR画像)を制作する場合、SDRでは100nit以上の輝度を有する画素を表現することはできないため、原画像10の輝度を変換せずにそのまま用いてSDRに対応したマスター画像を制作することはできない。つまり、原画像10を用いてSDRに対応したマスター画像を制作しようとすれば、原画像10の輝度をSDRに対応したダイナミックレンジの輝度に変換する必要がある。
 [1-4.原画像からSDR画像へのマスタリング]
 次に、原画像10からSDR画像へのSDRグレーディング処理(マスタリング処理)について説明する。
 まず、カメラで撮った、100nit以上の高輝度成分を持ったコンテンツの映像(画像)をBt709等の放送規格に適応させるために、通常のグレーディング処理で、80nit前後まではそのままリニアに輝度を保持し、それから上の部分は、最高輝度が100nitに収めるように曲げるニーカーブ処理を行う。具体的には、ニーカーブ処理は、一定値以下の輝度をリニアに表示し、一定値以上の輝度を、表示させる表示装置の表示ピーク輝度に合わせて減衰させる処理である。
 図9Aは、図7で示した原画像をSDR画像にマスタリングした結果の輝度の一例を示す図である。図9Bは、原信号値をSDR信号値に変換する(マスタリングする)ための、原信号値とSDR信号値との関係の一例を示す図である。なお、原信号値は、原画像10の0~1300nitのダイナミックレンジにおける輝度(「以下、原画像10の輝度」という。)であり、SDR信号値は、SDRの輝度範囲における輝度(以下、「SDRの輝度」という。)である。
 図9Bに示すように、この例における原画像10からSDR画像11へのマスタリングでは、基準反射率である18%グレー(0 Stop)に対応する画素は、明るさの基準になる基準輝度を持つ画素である。このため、SDR画像へのマスタリングでは、原画像10をSDR画像11に変換した後であっても、原画像10における18%グレーに対応する原画像10の輝度(18nit)を変更せずに、SDRの輝度として決定する。
 ここで、図9Bに示すように、原画像10からSDR画像11へのマスタリングでは、原画像10の90%グレーに対応する原画像10の輝度(90nit)以下の輝度範囲(0~90nit)においては、原画像10の輝度を変更せずに、SDRの輝度として決定する。また、図9Bに示すように、原画像10の90%グレーに対応する原画像10の輝度(90nit)より大きい原画像10の輝度範囲(90~1300〔nit〕)における原画像10の輝度を、90~100nitの輝度範囲のSDRの輝度に、線形変換により割り付ける。
 例えば、SDR画像11のB)のような、90%グレー(2.3 Stops)に対応する画素についてのSDR画像11へのマスタリングでは、原画像10をSDR画像11に変換した後であっても、原画像10における90%グレーに対応する原画像10の輝度(90nit)を変更せずに、SDRの輝度として決定する。
 また、例えば、SDR画像11のC)のような、2.3%グレー(-3 Stops)に対応する画素についてのSDR画像へのマスタリングでは、上記と同様に、原画像10をSDR画像11に変換した後であっても、原画像10における2.3%グレーに対応する原画像10の輝度(2nit)を変更せずに、SDRの輝度として決定する。
 例えば、SDR画像11のD)のような、1150%グレー(6 Stops)に対応する画素についてのSDR画像へのマスタリングでは、原画像10における1150%グレーに対応する原画像10の輝度(1150nit)をSDRの最大輝度である100 nitに変換する。
 また、例えば、SDR画像11のE)のような、290%グレー(4 Stops)に対応する画素についてのSDR画像へのマスタリングでは、原画像10における290%グレーに対応する原画像10の輝度を95 nitに変換する。
 [1-5.原画像からHDR画像への第1のマスタリング]
 図10Aは、図7で示した原画像をHDR画像にマスタリングした結果の輝度の一例を示す図である。図10Bは、原信号値をHDR信号値に変換する(マスタリングする)ための、原信号値とHDR信号値との関係の一例を示す図である。なお、HDR信号値は、HDRの輝度範囲における輝度(以下、「HDRの輝度」という。)である。なお、この例における原画像10からHDR画像へのマスタリングでは、2000nitまでの輝度をHDRの輝度として割り付けることが許されているため、HDR画像においても原画像10の輝度をそのまま保持できる。
 例えば、HDR画像12のA)のような、基準反射率である18%グレー(0 Stop)に対応する画素は、明るさの基準になる基準輝度を持つ画素であるため、HDR画像へのマスタリングでは、原画像10をHDR画像12に変換した後であっても、原画像10における18%グレーに対応する原画像10の輝度(18nit)を変更せずに、HDRの輝度として決定する。
 同様にして、例えば、HDR画像12のB)のような、90%グレー(2.3 Stops)に対応する画素と、HDR画像12のC)のような、2.3%グレー(-3 Stops)に対応する画素と、HDR画像12のD)のような、1150%グレー(6 Stops)に対応する画素と、HDR画像12のE)のような、290%グレー(4 Stops)に対応する画素とのそれぞれについて、HDR画像へのマスタリングでは、当該原画像10の輝度を変更せずに、HDRの輝度として決定する。
 [1-6.表示方法]
 次に、実施の形態1の表示方法について、図11を用いて説明する。
 図11は、実施の形態1に係る表示方法における輝度変換処理の具体例について説明するための図である。
 図11に示すように、本実施の形態の表示方法では、デュアルトーンマッピングを行う。デュアルトーンマッピングでは、第1所定輝度(例えば1000nit)以下の輝度を有する画素に対しては、通常のRGB空間で定義されるRGBの各色の値に対してトーンマッピング処理(以下、「RGB空間トーンマッピング」と言う。)を行う。例えば、HDRTVの表示ピーク輝度が500nitの場合、1000nit以下の輝度を有する画素に対してRGB空間トーンマッピングを行うことにより、HDRTVの460nitまでの輝度範囲でHDRコンテンツのHDR映像の1000nit以下の輝度を有する画素を表現する。一方で、第1所定輝度を超える輝度を有する画素に対しては、通常のRGB空間でのトーンマッピング処理ではなく、YUV空間で定義される輝度に対してトーンマッピング処理(以下、「YUV空間トーンマッピング」と言う。)を行う。なお、YUV空間トーンマッピングでは、画素を構成する輝度に対する処理の他に、当該画素を構成する色差に対しても処理を行う。
 要するに、本実施の形態1に係る表示方法では、HDR映像の映像データを取得し、取得した映像データに含まれる映像を構成する複数の画素のそれぞれについて、当該画素の輝度が第1所定輝度を超えるか否かを判定する第1判定を行う。そして、複数の画素のそれぞれについて、第1判定の結果、当該画素の輝度が第1所定輝度を超える場合と、当該画素の輝度が第1所定輝度以下の場合とで、異なる方式で当該画素の輝度を縮小するデュアルトーンマッピングを行う。その後、デュアルトーンマッピングの結果を用いて、HDR映像を表示装置に表示する。
 また、デュアルトーンマッピングでは、複数の画素のそれぞれについて、当該画素の輝度が第1所定輝度を超える場合、YUV空間トーンマッピングを行い、当該画素の輝度が第1所定輝度以下の場合、RGB空間トーンマッピングを行う。
 [1-7.効果等]
 本実施の形態の表示方法によれば、HDRコンテンツのHDR映像に含まれる複数の画素に対して、当該画素が有する輝度が第1所定輝度を超えているか否かに応じて、2つのトーンマッピング処理のいずれかを選択的に行うことで、輝度の変換処理の前後で各画素の色が変化することを抑制することができる。つまり、第1所定輝度としての1000nit以下の輝度範囲での映像の再現性を維持しながら、1000nitを超える輝度範囲の、sparkle部分(雷、花火、電球、炎、爆発、太陽、水の反射等の小領域の映像)の輝度差と色成分の保持とを実現することができる。
 また、本実施の形態の表示方法によれば、HDRコンテンツのHDR映像に含まれる複数の画素に対して、当該画素が有する輝度が第1所定輝度を超えている場合には、YUV空間トーンマッピングを行うため、輝度の変換処理の前後で各画素の色が変化することを効果的に抑制することができる。また、HDRコンテンツのHDR映像に含まれる複数の画素に対して、当該画素が有する輝度が第1所定輝度を超えている場合には、RGB空間トーンマッピングを行うため、輝度の変換処理の前後で各画素の色の再現性を極力維持することができる。
 (実施の形態2)
 次に、実施の形態2の表示方法について、図12~図26を用いて説明する。
 まず、グレーディングの方式について説明する。
 [2-1.グレーディングの方式]
 図12は、グレーディングの方式について説明した表である。
 HDRコンテンツのグレーディング方法は、図12に示すように大きく3つの方式がある。具体的には、DolbyVision方式、SDRと同様な方式(以下、「従来方式」と言う。)、およびACES(Academy Color Encoding System)方式がある。
 以下、3つの方式について順に説明する。
 DlobyVision方式では、マスターモニター(図12では「マスモニ」と表記)の表示能力に合わせて、絶対輝度基準でグレーディングが行われており、グレーディングにより得られた映像信号の輝度をPQカーブ(PQ空間)を用いて量子化することによりHDRのマスター映像を生成している。DlobyVision方式では、マスターモニターとして表示ピーク輝度(最高輝度)が非常に高い、例えば4000nitの高輝度マスターモニター(例えばPulsar)を用いてマスター映像を生成している。
 また、DlobyVision方式では、生成したマスター映像を用いて、SDR映像のSDR信号とHDRを再現するための補助信号とに分離することで、SDR映像を生成している。これにより、DlobyVision方式では、HDRとSDRとの互換性を実現している。このように、DlobyVision方式では、HDRとSDRとの互換を取るために、約80nit以下の輝度範囲(帯域)は、HDRとSDRとで共通とし、18%グレー(Middle Gray)の値(ポイント)も共通としている。つまり、HDRとSDRとでは、約80nitを超える輝度範囲(高輝度部分)のみが異なる輝度となる。また、DlobyVision方式で生成されたHDR映像のピーク輝度(最高輝度)は、高輝度マスターモニターの最高輝度まで表現できるため、2000~4000nitと非常に高い輝度となる。
 従来方式では、DlobyVision方式と同様のグレーディングの方針であり、絶対輝度基準である。しかし、従来方式では、マスターモニターとして、表示ピーク輝度が1000nit相当の標準マスターモニター(例えば、SONYのX300、ハイエンド民生TVなど)を用いてマスター映像を生成している。
 また、従来方式では、HDRとSDRとの互換性はない。つまり、SDRは、HDRとは別にグレーディングすることで生成している。このように従来方式でグレーディングされたHDR映像は、DV方式同様な特性を有する。また、当該HDR映像は、標準マスターモニターの最高輝度に依存するため、800~1000nit程度となる。
 ACES方式では、相対輝度基準でグレーディングが行われている。つまり、マスターモニターの表示能力とは独立にグレーディングを行い、グレーディングにより得られた映像信号の輝度を浮動小数点(相対輝度)で量子化することによりHDRのマスター映像を生成している。ACES方式では、マスターモニターとして上述した標準マスターモニターが使用される。
 また、ACES方式では、ACESで相対輝度管理しているため、生成したHDRのマスター映像からHDR映像またはSDR映像を生成する際に、HDRのマスター映像の輝度の相対関係を維持しながら輝度を変換する。これにより、ピーク輝度が100nitのSDR映像やピーク輝度が例えば1000nitのHDR映像を容易に生成することができる。このように、ACES方式では、相対輝度管理された輝度情報からHDR映像のピーク輝度に合わせて自動変換するため、SDR映像とHDR映像とではピーク輝度が異なるだけで互いの輝度の相対関係は維持されている。HDR映像は、18%グレー(Middle Gray)の値がSDR映像よりも大きい場合がある。ACES方式で生成されたHDR映像は、標準マスターモニターの最高輝度に依存するため、800~1000nit程度となる。
 以上のように、3つの方式のそれぞれでグレーディングされることにより得られたHDR映像の特性は異なる。このためHDRTVで、これらの3つの方式のうちのいずれか1つのグレーディング方式を前提に、表示処理(トーンマッピング処理等)を行うと、CI(Creator’s Intent)とは異なるHDR映像がHDRTVに表示されるおそれがある。
 次に、グレーディングを行う場合の従来のマスタリングの構成について説明する。
 [2-2.従来方式のマスタリングの構成]
 図13は、標準マスターモニターを使って従来方式でHDRグレーディングを行う場合のHDR/SDRマスタリングの全体構成を示す図である。
 グレーディングでは、グレーディング前の原画像10のような素材データをHDRに対応した標準マスターモニターを使って画像を確認しながら、HDRのマスター映像を制作する。このHDRのマスター映像は、標準マスターモニターの表示ピーク輝度(例えば1000nit)の制約を受けるため、当該表示ピーク輝度の1000nit以上の輝度成分を含んだHDRのマスター映像を作ることは難しい。
 このHDRのマスター映像を各配信媒体(Blu-ray(登録商標)、放送、OTTなど)で共通して利用して、各TVメーカがTVの能力に応じた画質調整を行うことで、標準マスターモニターの見え方に合わせたHDR表現を各TVで再現することができる。
 [2-3.原画像からHDR画像への従来方式でのマスタリング]
 図14Aは、図7で示した原画像をHDR画像に従来方式でマスタリングした結果の輝度の一例を示す図である。図14Bは、原信号値をHDR信号値に変換する(従来方式でマスタリングする)ための、原信号値とHDR信号値との関係の一例を示す図である。
 なお、この例における原画像10からHDR画像13へのマスタリングでは、使用する標準マスターモニターの表示ピーク輝度が1000nitに制限されているため、900%程度以上の値はそのまま保持できない。よって、SDR映像にマスタリングする場合と同様に、ピーク輝度を1000nitまで抑えるためにニーカーブ処理を導入している。
 図14Bに示すように、この例における原画像10からHDR画像13へのマスタリングでは、基準反射率である18%グレー(0 Stop)に対応する画素は、明るさの基準になる基準輝度を持つ画素である。このため、HDR画像へのマスタリングでは、原画像10をHDR画像13に変換した後であっても、原画像10における18%グレーに対応する原画像10の輝度(18nit)を変更せずに、HDRの輝度として決定する。
 ここで、図14Bに示すように、原画像10からHDR画像13へのマスタリングでは、原画像10の900%グレーに対応する原画像10の輝度(900nit)以下の輝度範囲(0~900nit)においては、原画像10の輝度を変更せずに、HDRの輝度として決定する。また、図14Bに示すように、原画像10の900%グレーに対応する原画像10の輝度(900nit)より大きい原画像10の輝度範囲(900~10000nit)における原画像10の輝度を、900~1000nitの輝度範囲のHDRの輝度に、線形変換により割り付ける。
 例えば、HDR画像13のA)のような、18%グレー(0 Stops)に対応する画素についてのHDR画像13へのマスタリングでは、原画像10をHDR画像13に変換した後であっても、原画像10における18%グレーに対応する原画像10の輝度(18nit)を変更せずに、HDRの輝度として決定する。
 例えば、HDR画像13のB)のような、90%グレー(2.3 Stops)に対応する画素についてのHDR画像13へのマスタリングでは、原画像10をHDR画像13に変換した後であっても、原画像10における90%グレーに対応する原画像10の輝度(90nit)を変更せずに、HDRの輝度として決定する。
 また、例えば、HDR画像13のC)のような、2.3%グレー(-3 Stops)に対応する画素についてのHDR画像13へのマスタリングでは、原画像10をHDR画像13に変換した後であっても、原画像10における2.3%グレーに対応する原画像10の輝度(2nit)を変更せずに、HDRの輝度として決定する。
 例えば、HDR画像13のD)のような、1150%グレー(6 Stops)に対応する画素についてのHDR画像13へのマスタリングでは、原画像10における1150%グレーに対応する原画像10の輝度(1150nit)をニーカーブ処理により、例えば930nitに変換する。
 また、例えば、HDR画像13のE)のような、290%グレー(4 Stops)に対応する画素についてのHDR画像へのマスタリングでは、原画像10をHDR画像13に変換した後であっても、原画像10における290%グレーに対応する原画像10の輝度(290nit)を変更せずに、HDRの輝度として決定する。
 図15は、従来方式でHDRグレーディングすることにより得られたSDR画像の例を示す図である。
 図16に、従来方式でHDRグレーディングすることにより得られたHDR画像の例を示す図である。
 図15および図16に示すように、SDR画像およびHDR画像を比較することで、波頭、空等の輝度の高い部分はHDRグレーディングで変化するが、90nit程度以下のSDRの部分は輝度が変わっていないことがわかる。
 [2-4.ACES方式のマスタリングの構成]
 図17は、標準マスターモニターを使ってACES方式でACES/HDRグレーディングを行う場合のHDR/SDRマスタリングの全体構成を示す図である。
 グレーディングでは、グレーディング前の原画像10のような素材データをHDRに対応した標準マスターモニターを使って画像を確認しながら、ACES/HDRのマスター映像を制作する。このACES/HDRのマスター映像は、標準マスターモニターの表示ピーク輝度(例えば、1000nit)の制約を受けているが、この場合では絶対輝度基準を使わないで浮動小数点(相対輝度表現)を使ってACES/HDRのマスター映像を制作する。このためACES/HDRのマスター映像は、1000nitの制約を受けない。
 このACES/HDRのマスター映像をACESのHDRコンバーターを通して変換することで、HDRマスタ-映像の最高輝度に合わせたHDRマスター映像を制作できる。この際、マスターモニターの表示ピーク輝度が1000nitであっても、ピーク輝度が1300nitや800nitのマスター映像を制作できる。このHDRのマスター映像を各配信媒体(Blu-ray(登録商標)、放送、OTT)で共通して利用して、各TVメーカが各TVの能力に応じた画質調整を行うことで、当該HDRのマスター映像の見え方に合わせたHDR表現を各TVで再現することができる(詳細は、http://www.oscars.org/science-technology/sci-tech-projects/acesを参照)。
 [2-5.原画像からHDR画像へのACES方式でのマスタリング]
 図18Aは、図7で示した原画像をHDR画像にACES方式でマスタリングした結果の輝度の一例を示す図である。図18Bは、原信号値をHDR信号値に変換する(ACES方式でマスタリングする)ための、原信号値とHDR信号値との関係の一例を示す図である。
 ACESを使った場合でも、図14Aおよび図14Bのように、使用するマスターモニターの表示ピーク輝度に合わせてグレーディングを行うことも可能である。この場合は、図14Aおよび図14Bと同じ結果になる。ACSEの場合は、輝度帯域(輝度範囲)が広がったことを有効使用して、暗部(低輝度範囲)により情報を持たせために、18%グレー値を18nitではなく、例えば2倍の36nitにして変換することもできる。
 図18Aは、図7で示した原画像10の18%グレー値を、通常の2倍の36nitに指定してHDR画像にマスタリングした結果の一例である。
 なお、この例における原画像10からHDR画像14へのマスタリングでは、18%グレー値を18nitから36nitに変更するため、低輝度範囲のリニア部分の傾きを2倍に変化させる。また、ピーク輝度を1000nitに制限するために、ニーカーブ処理を導入している。
 例えば、HDR画像14のA)のような、18%グレー(0 Stop)に対応する画素についてのHDR画像14へのマスタリングでは、18nitから36nitに変更する。
 また、例えば、HDR画像14のB)のような、90%グレー(2.3 Stops)、HDR画像14のC)のような2.3%グレー(-3 Stops)、HDR画像14のE)のような290%グレー(4 Stops)のそれぞれに対応する画素についてのHDR画像14へのマスタリングでは、低輝度範囲のリニア部分の傾きが2倍に変わったので、それぞれ2倍された値となる。
 また、例えば、HDR画像の14のD)のような、1150%グレー(6 Stops)に対応する画素についてのHDR画像14へのマスタリングでは、原画像10における1150%グレーに対応する原画像10の輝度(1150nit)をニーカーブ処理により、例えば950nitに変換する。
 図19は、ACES方式でACES/HDRグレーディングすることにより得られたACES/HDRのマスター映像から、自動生成したSDR画像の例を示す図である。
 図20は、ACES方式でACES/HDRグレーディングすることにより得られたACES/HDRのマスター映像から、自動生成したHDR画像の例を示す図である。
 図19および図20に示すように、SDR画像およびHDR画像を比較することで、太陽、水の反射、暗い森との相対関係をSDR/HDR間で維持しながら、HDR画像が生成されていることがわかる。このため、ACES方式でグレーディングすることにより得られたHDR画像およびSDR画像では、従来方式のHDR画像およびSDR画像のように暗い部分の輝度が同じになっていない。
 [2-6.DolbyVision方式のマスタリングの構成]
 図21は、高輝度マスターモニターを使ってDolbyVision方式でHDRグレーディングを行う場合のHDR/SDRマスタリングの全体構成を示す図である。DolbyVision方式の場合は、劇場と民生とのそれぞれでHDRのDolbyVision専用のマスターモニターがあり、これらのマスターモニターに合わせてグレーディング処理を行う。SDRは、DolbyVision方式で生成された高輝度マスター映像から自動生成される。
 グレーディングでは、グレーディング前の原画像10のような素材データをHDRに対応した高輝度マスターモニターを使って画像を確認しながら、高輝度マスター映像を制作する。この高輝度マスター映像は、高輝度マスターモニターの表示ピーク輝度が、例えば、4000nitと高輝度であるため、通常は輝度変換処理を行わなくてもグレーディングが行える。また、高輝度マスターモニターでグレーディングされることにより得られた高輝度マスター映像は、高輝度マスターモニターの4000nitまで表示能力を活かし、全体的には沈め気味で、稲妻、ネオンサイン、花火、火等の映像の輝度を非常に高くし、明暗が強調されたHDR効果を実現している。
 この高輝度マスター映像をDolbyVision機器用の専用配布フォーマットにすることも、DolbyVision非対応機器向けに、標準HDRフォーマットで各配信媒体(Blu-ray(登録商標)、放送、OTT)で共通して利用することもできる。つまり、HDRマスターは、DolbyVisionメタデータとDolbyVision用SDRマスタとを含むことになる(詳細は、http://www.dolby.com/us/en/technologies/dolby-vision.htmlおよびhttp://www.dolby.com/us/en/technologies/dolby-vision-color-grading.pdfを参照)。
 [2-7.原画像からHDR画像へのDolbyVision方式でのマスタリング]
 図22Aは、図7で示した原画像をHDR画像にDolbyVision方式でマスタリングした結果の輝度の一例を示す図である。図22Bは、原信号値をHDR信号値に変換する(DolbyVision方式でマスタリングする)ための、原信号値とHDR信号値との関係の一例を示す図である。
 この例では、PQカーブを使った場合、マスタリング後も値は10,000nitまで許されており、DolbyVision方式の高輝度マスターモニターの表示ピーク輝度が4000nitまであるため、通常はニーカーブの導入は不要である。具体的には、80~90nit以下の低輝度範囲では、HDR映像とSDR映像とは全く同じである。また、4000nitを超える輝度のみ、ピーク輝度を4000nitに制限するために、SDRと同様のニーカーブ処理を導入している。
 例えば、HDR画像15のA)のような、18%グレー(0 Stop)に対応する画素についてのHDR画像15へのマスタリングでは、原画像10をHDR画像15に変換した後であっても、原画像10における18%グレーに対応する原画像10の輝度(18nit)を変更せずに、HDRの輝度として決定する。
 また、例えば、HDR画像15のB)のような、90%グレー(2.3 Stops)、HDR画像15のC)のような2.3%グレー(-3 Stops)、HDR画像15のE)のような290%グレー(4 Stops)のそれぞれに対応する画素についてのHDR画像15へのマスタリングでは、変換せずに、それぞれ、90nit、2nitおよび290nitをHDRの輝度として決定する。
 また、例えば、HDR画像15のD)のような、1150%グレー(6 Stops)に対応する画素についてのHDR画像15へのマスタリングでは、原画像10における1150%グレーに対応する原画像10の輝度(1150nit)をニーカーブ処理により、例えば1050nitに変換する。
 図23は、DolbyVision方式でHDRグレーディングすることにより得られた高輝度マスター映像から、自動生成したSDR画像と同等の効果を有すると思われるデジタルシネマ評価用コンテンツ”Stem”の例を示す図である。
 図24は、DolbyVision方式でHDRグレーディングすることにより得られた高輝度マスター映像と同等の傾向を有すると思われるデジタルシネマ評価用コンテンツ”Stem”の例を示す図である。
 図23および図24に示すように、HDR画像は、SDR画像と比べて電球、ろうそく等の輝度の高い部分は非常に高い値を持つが、90nit程度以下の部分は輝度が変わっていないことがわかる。
 [2-8.第2の課題]
 図25は、グレーディングの3つの方式の課題について説明した表である。
 図12に示したように、3つの方式でグレーディングされることにより得られたHDRコンテンツの特性はそれぞれ異なる。このため民生HDRTVで表示処理(トーンマッピング処理等)を行う上でのHDRTVの課題は、図25に示すように異なる。言い換えると、絶対輝度管理による映像であるか、相対輝度管理による映像であるかでHDRTVの課題は大きく異なり、それぞれの映像に適した表示処理を行う必要がある。しかしながら、HDRTVでは、絶対輝度管理による映像であるか、相対輝度管理による映像であるかを判定して、絶対輝度管理と相対輝度管理とで表示処理を異ならせることは考慮されていなかった。
 なお、絶対輝度管理による映像であるか、相対輝度管理による映像であるかを判定するためには、グレーディングの3つの方式を識別する必要がある。しかし、DolbyVision方式ではない方式のHDRTVの場合、送られてくるHDR信号が、DolbyVisionか、従来方式か、ACES方式かのどの方式でグレーディングされたか判定する手段がない。このため、HDRTVでは、3つのグレーディング方式の違いを無視して、HDR信号のHDR映像を表示していた。
 そこで、HDRコンテンツを再生する前に、HDRTVがHDRコンテンツがグレーディングされた方式が3方式のうちのどの方式であるかを知ることができれば、当該方式に適したトーンマッピング処理等の表示処理を行うことができる。しかしながら、実際には、HDRTVは、HDRコンテンツの再生開始時点では、当該HDRコンテンツにはどの方式でグレーディングされたかを直接的に示す情報が含まれていないため、グレーディングの方式を特定することは難しい。
 図26は、HDR対応したUltra HD Blu-ray(登録商標)機器をHDR対応のHDMI(登録商標)2.0a経由でHDRTVに繋いだ場合の例を示す図である。
 このようにUltra HD Blu-ray(登録商標)機器とHDRTVとをHDMI(登録商標)2.0a経由で接続した場合、HDR映像を再生する際に、Ultra HD Blu-ray(登録商標)機器から送信するHDR映像に関する静的メタデータ(ST2086+α)を、HDMI(登録商標)のInfoFrameとして送ることができる。したがって、HDRTVは、最低限のHDRコンテンツに関する静的メタデータの情報を得ることができる。
 ただし、HDRTVにとっては、静的メタデータ(ST2086等)のみでは、再生するHDRコンテンツがどのようなマスターモニターを用いてグレーディングされたかの最低情報と、HDRコンテンツの最低限の統計情報が得られるだけである。したがって、静的メタデータを用いて、グレーディングの3つの方式のどの方式によってグレーディングされたHDRコンテンツであるかを判定することは難しい。
 特に、従来方式またはACES方式でグレーディングされたHDRコンテンツの場合は、どちらかに最適な再生制御方式を間違って選んでHDR再生制御処理を行っても、通常は、大きな破綻が無く再生が可能になる。これに対して、従来方式またはACES方式と、DolbyVision方式とではグレーディング方法、グレーディングされたコンテンツの特性が大きく異なるため、方式の選択をあやまると、HDR再生画質に破たんが生じる恐れがある。このため、DolbyVisionでグレーディングしたHDRコンテンツであるかどうかの判定は重要である。
 [2-9.表示方法]
 次に、実施の形態2の表示方法について説明する。
 本実施の形態の表示方法では、映像データに含まれる静的メタデータから得られる情報を有効に使うことにより、DolbyVision方式でグレーディングされたか否かを判定することで、より適切な表示制御を実現させる。
 DolbyVision方式では、上述したように特殊な高輝度マスターモニター(Pulsar)を用いてグレーディングを行うことを利用し、静的メタデータに含まれるST2086の情報を使って推定する。
 ST2086の情報には、グレーディングに用いられたマスターモニターの特性が含まれる。このため、ST2086の情報を利用すれば、DolbyVision方式のグレーディングで用いられる特殊な高輝度マスターモニターを利用して生成されたHDRコンテンツであるか否かを推測できる。
 つまり、本実施の形態の表示方法では、取得した映像データに含まれる静的メタデータに基づいて、映像データに含まれる映像の輝度が絶対輝度管理されているか相対輝度管理されているかを判定する第2判定を行う。そして、第2判定の結果、映像データに含まれる映像の輝度が絶対輝度管理されている場合、実施の形態1で説明したデュアルトーンマッピングを行う。一方で、第2判定の結果、映像データに含まれる映像の輝度が相対輝度管理されている場合、映像データに含まれる映像を構成する複数の画素のそれぞれについて、当該画素のRGB空間で定義されるRGBの各色の値を縮小するRGB空間トーンマッピングを行う。
 また、第2判定では、ST2086の情報に含まれる、映像データが生成される基になったマスター映像を生成したときに使用していたマスターモニターの特性が、絶対輝度管理されている映像を生成するときに使用する所定のマスターモニターの特性に近いか否かを判定する。そして、マスターモニターの特性が所定のマスターモニター(高輝度マスターモニター)の特性に近いと判定した場合に映像データの映像の輝度が絶対輝度管理されていると判定し、マスターモニターの特性が所定のマスターモニター(高輝度マスターモニター)の特性に近くないと判定した場合に映像データの映像の輝度が相対輝度管理されていると判定する。
 なお、第2判定は、具体的には、下記のアルゴリズムを使って行われる。
 例えば、ST2086の情報に含まれるmax_display_mastering_luminanceが4000nit付近であるか否かを判定し、max_display_mastering_luminanceが4000nit付近であると判定すれば、DolbyVision方式で用いられる高輝度マスターモニターにより生成されたHDRコンテンツであると推定する。つまり、第2判定では、マスターモニターの特性としてのマスターモニターの表示ピーク輝度を示す表示ピーク輝度情報(max_display_mastering_luminance)に基づいて、表示ピーク輝度が4000nit近傍の値であるか否かを判定することでマスターモニターの特性が所定のマスターモニター(高輝度マスターモニター)の特性に近いか否かを判定する。そして、第2判定では、表示ピーク輝度が4000nit近傍の値である場合に映像データに含まれる映像の輝度が絶対輝度管理されていると判定し、表示ピーク輝度が4000nit近傍の値でない場合に映像データに含まれる映像の輝度が相対輝度管理されていると判定する。
 また、例えば、ST2086の情報に含まれるdisplay_primariesが高輝度マスターモニター(Pulsar)の特性値に近いか否かを判定し、display_primariesが高輝度マスターモニター(Pulsar)の特性値付近であると判定すれば、DolbyVision方式で用いられる高輝度マスターモニターにより生成されたHDRコンテンツであると推定してもよい。つまり、第2判定では、マスターモニターの特性としてのマスターモニターの表示原色を示す表示原色情報(display_primaries)に基づいて、表示原色が所定のマスターモニター(高輝度マスターモニター)の表示原色近傍の値であるか否かを判定することでマスターモニターの特性が所定のマスターモニター(高輝度マスターモニター)の特性に近いか否かを判定する。そして、第2判定では、表示原色が所定のマスターモニター(高輝度マスターモニター)の表示原色近傍の値である場合に映像データに含まれる映像の輝度が絶対輝度管理されていると判定し、表示原色が所定のマスターモニターの表示原色近傍の値でない場合に映像データに含まれる前像の輝度が相対輝度管理されていると判定する。
 また、例えば、ST2086の情報に含まれるwhite_pointが高輝度マスターモニター(Pulsar)の特性値に近いか否かを判定し、white_pointが高輝度マスターモニター(Pulsar)の特性値付近であると判定すれば、DolbyVision方式で用いられる高輝度マスターモニターにより生成されたHDRコンテンツであると推定してもよい。つまり、第2判定では、マスターモニターの特性としてのマスターモニターのホワイトポイントを示すホワイトポイント情報(white_point)に基づいて、ホワイトポイントが所定のマスターモニター(高輝度マスターモニター)のホワイトポイント近傍の値であるか否かを判定することでマスターモニターの特性が所定のマスターモニター(高輝度マスターモニター)の特性に近いか否かを判定する。そして、第2判定では、ホワイトポイントが所定のマスターモニター(高輝度マスターモニター)のホワイトポイント近傍の値である場合に映像データに含まれる映像の輝度が絶対輝度管理されていると判定し、ホワイトポイントが所定のマスターモニターのホワイトポイント近傍の値でない場合に映像データに含まれる映像の輝度が相対輝度管理されていると判定する。
 また、例えば、上記のdisplay_primariesおよびwhite_pointが、高輝度マスターモニターの特性値は異なり、かつ、標準マスターモニター(例えば、SONYのX300など)の特性値に近いか否かを判定し、標準マスターモニターの特性値に近い場合に、DolbyVision方式ではない方式でグレーディングされたHDRコンテンツであると判定してもよい。HDR対応のマスターモニターは、民生TVとことなり、種類が非常に少ないため、HDR対応のマスターモニターの管理テーブルを保持し、適宜インターネット経由等で更新することが可能である。このようにHDR対応のマスターモニターの管理テーブルを保持しておくことで、グレーディングに用いられたマスターモニターを適切に推定することが可能になり、DolbyVision方式でグレーディングが行われたか否かの判定をより効果的にできる。
 また、第2判定は、ST2086の情報を用いることに加えて、Blu-ray(登録商標) Disc Association、HDMI(登録商標) Forum、UHD Allianceで定義している静的メタデータのMaxCLL(The Maximum Content Light Level)およびMaxFALL(The Maximum Frame-Average Light Level)を用いて行ってもよい。
 なお、MaxCLLは、HDRコンテンツの映像のHDRピーク輝度を示すピーク輝度情報である。MaxCLLは、HDRコンテンツのみの静的メタデータである。
 また、MaxFALLは、HDRコンテンツのHDR映像を構成する複数のフレームそれぞれの平均輝度の最大値である最大フレーム平均輝度を示す最大フレーム平均輝度情報である。MaxFALLは、HDRコンテンツのみの静的メタデータであり、HDRコンテンツのためのUltra HD Blu-ray(登録商標)のフォーマットでは、400nitを超えないことオーサリングガイドラインが作成されている。
 具体的には、MaxCLLを用いることで次のように第2判定を行ってもよい。
 例えば、MaxCLLの値が2000nit以上か否かを判定し、2000nit以上である場合に非常に高輝度の画素成分を含むため、DolbyVision方式でグレーディングされた(絶対輝度管理された)HDR映像であると推定してもよい。なお、判定の基準となる2000nitは一例であり、3000nitでもよい。
 つまり、第2判定では、ピーク輝度情報により示されるピーク輝度が第2所定輝度(例えば、2000nit、3000nitなど)を超えるか否かを判定する。そして、第2判定では、ピーク輝度が第2所定輝度を超える場合に映像データに含まれる映像の輝度が絶対輝度管理されていると判定し、ピーク輝度が第2所定輝度以下の場合に映像データに含まれる映像の輝度が相対輝度管理されていると判定する。
 また、例えば、MaxCLLの値が1500nit以上か否かを判定し、1500nit以上である場合に高輝度の画素成分を含むため、DolbyVision方式でグレーディングされた(絶対輝度管理された)HDR映像である可能性が高いと推定してもよい。なお、判定の基準となる1500nitは一例であり、1200nitでもよい。
 また、例えば、MaxCLLの値が1500nit以下か否かを判定し、1500nit以下である場合に高輝度の画素成分を含まないため、DolbyVision方式でグレーディングされたHDR映像ではなく相対輝度管理されたHDR映像である可能性高いと推定してもよい。なお、判定の基準となる1500nitは一例であり、1750nitでもよい。
 また、例えば、MaxCLLの値が800nit以下か否かを判定し、800nit以下である場合にDolbyVision方式でグレーディングされた(絶対輝度管理された)HDR映像ではなく相対輝度管理されたHDR映像であると推定してもよい。なお、判定の基準となる800nitは一例であり、750nitでも1000nitでもよい。
 また、MaxFALLの値について基準値を設けることによりMaxCLLと同様に判定してもよい。つまり、第2判定では、最大フレーム平均輝度情報により示される最大フレーム平均輝度が第3所定輝度を超えるか否かを判定する。そして、第2判定では、最大フレーム平均輝度が第3所定輝度を超える場合に映像データに含まれる映像の輝度が絶対輝度管理されていると判定し、最大フレーム平均輝度が第3所定輝度以下の場合に映像データに含まれる映像の輝度が相対輝度管理されていると判定する。
 このように、ST2086の情報を用いることに加えて、MaxCLLまたはMaxFALLを用いて第2判定を行うことにより、より効果的に、DolbyVision方式でグレーディングされたか否かを判定でき、絶対輝度管理されたHDR映像であるか否かを判定できる。このため、HDR映像に対してより適切な表示処理を適用することができる。
 [2-10.効果等]
 本実施の形態に係る表示方法によれば、DolbyVision方式でグレーディングされたHDRコンテンツのHDR映像を識別でき、かつ、識別結果に応じて実施の形態1で説明したデュアルトーンマッピングおよびRGB空間トーンマッピングのいずれかのトーンマッピング処理を適切に選択して行うことができる。このため、HDR映像が絶対輝度管理された映像であるか、相対輝度管理された映像であるかに関わらず、適切な処理を行うことができるため、適切な映像を表示させることができる。
 (他の実施の形態)
 また、上記で説明した表示方法を行う表示装置として実現してもよい。
 なお、上記各実施の形態において、各構成要素は、専用のハードウェアで構成されるか、各構成要素に適したソフトウェアプログラムを実行することによって実現されてもよい。各構成要素は、CPUまたはプロセッサなどのプログラム実行部が、ハードディスクまたは半導体メモリなどの記録媒体に記録されたソフトウェアプログラムを読み出して実行することによって実現されてもよい。ここで、上記各実施の形態の表示方法などを実現するソフトウェアは、次のようなプログラムである。
 すなわち、このプログラムは、コンピュータに、HDR(High Dynamic Range)の輝度およびコード値の対応関係を示す第1EOTF(Electoro-Optical Transfer Function)で映像の輝度が定義される映像データの映像を表示装置に表示する表示方法であって、前記映像データを取得し、取得した前記映像データに含まれる前記映像を構成する複数の画素のそれぞれについて、当該画素の輝度が第1所定輝度を超えるか否かを判定する第1判定を行い、前記複数の画素のそれぞれについて、前記第1判定の結果、当該画素の輝度が前記第1所定輝度を超える場合と、当該画素の輝度が前記第1所定輝度以下の場合とで、異なる方式で当該画素の輝度を縮小するデュアルトーンマッピングを行い、前記デュアルトーンマッピングの結果を用いて、前記映像を前記表示装置に表示する表示方法を実行させる。
 以上、本開示の一つまたは複数の態様に係る表示方法および表示装置について、実施の形態に基づいて説明したが、本開示は、この実施の形態に限定されるものではない。本開示の趣旨を逸脱しない限り、当業者が思いつく各種変形を本実施の形態に施したものや、異なる実施の形態における構成要素を組み合わせて構築される形態も、本開示の一つまたは複数の態様の範囲内に含まれてもよい。
 本開示は、HDRに対応した映像データの映像を表示ピーク輝度に合わせた輝度変換を容易に行うことができ、かつ、変換前後での色の変化を抑制できる表示方法、表示装置などとして有用である。

Claims (10)

  1.  HDR(High Dynamic Range)の輝度およびコード値の対応関係を示す第1EOTF(Electoro-Optical Transfer Function)で映像の輝度が定義される映像データの映像を表示装置に表示する表示方法であって、
     前記映像データを取得し、
     取得した前記映像データに含まれる前記映像を構成する複数の画素のそれぞれについて、当該画素の輝度が第1所定輝度を超えるか否かを判定する第1判定を行い、
     前記複数の画素のそれぞれについて、前記第1判定の結果、当該画素の輝度が前記第1所定輝度を超える場合と、当該画素の輝度が前記第1所定輝度以下の場合とで、異なる方式で当該画素の輝度を縮小するデュアルトーンマッピングを行い、
     前記デュアルトーンマッピングの結果を用いて、前記映像を前記表示装置に表示する
     表示方法。
  2.  前記デュアルトーンマッピングでは、前記複数の画素のそれぞれについて、
     当該画素の輝度が前記第1所定輝度を超える場合、当該画素のYUV空間で定義される輝度を縮小するYUV空間トーンマッピングを行い、
     当該画素の輝度が前記第1所定輝度以下の場合、当該画素のRGB空間で定義されるRGBの各色の値を縮小するRGB空間トーンマッピングを行う
     請求項1に記載の表示方法。
  3.  前記映像データは、静的メタデータを含み、
     取得した前記映像データに含まれる前記静的メタデータに基づいて、前記映像データに含まれる前記映像の輝度が絶対輝度管理されているか相対輝度管理されているかを判定する第2判定を行い、
     前記第2判定の結果、前記映像データに含まれる前記映像の輝度が絶対輝度管理されている場合、前記デュアルトーンマッピングを行い、
     前記第2判定の結果、前記映像データに含まれる前記映像の輝度が相対輝度管理されている場合、前記映像データに含まれる前記映像を構成する複数の画素のそれぞれについて、当該画素のRGB空間で定義されるRGBの各色の値を縮小するRGB空間トーンマッピングを行う
     請求項1または2に記載の表示方法。
  4.  前記映像データは、ST2086の情報を前記静的メタデータとして含み、
     前記第2判定では、
     前記ST2086の情報に含まれる、前記映像データが生成される基になったマスター映像を生成したときに使用していたマスターモニターの特性が、絶対輝度管理されている映像を生成するときに使用する所定のマスターモニターの特性に近いか否かを判定し、
     前記マスターモニターの特性が前記所定のマスターモニターの特性に近いと判定した場合に前記映像データの映像の輝度が絶対輝度管理されていると判定し、前記マスターモニターの特性が前記所定のマスターモニターの特性に近くないと判定した場合に前記映像データの映像の輝度が相対輝度管理されていると判定する
     請求項3に記載の表示方法。
  5.  前記第2判定では、
     前記マスターモニターの特性としての前記マスターモニターの表示ピーク輝度を示す表示ピーク輝度情報に基づいて、前記表示ピーク輝度が4000nit近傍の値であるか否かを判定することで前記マスターモニターの特性が前記所定のマスターモニターの特性に近いか否かを判定し、
     前記表示ピーク輝度が4000nit近傍の値である場合に前記映像データに含まれる前記映像の輝度が絶対輝度管理されていると判定し、前記表示ピーク輝度が4000nit近傍の値でない場合に前記映像データに含まれる前記映像の輝度が相対輝度管理されていると判定する
     請求項4に記載の表示方法。
  6.  前記第2判定では、
     前記マスターモニターの特性としての前記マスターモニターの表示原色を示す表示原色情報に基づいて、前記表示原色が前記所定のマスターモニターの表示原色近傍の値であるか否かを判定することで前記マスターモニターの特性が前記所定のマスターモニターの特性に近いか否かを判定し、
     前記表示原色が前記所定のマスターモニターの表示原色近傍の値である場合に前記映像データに含まれる前記映像の輝度が絶対輝度管理されていると判定し、前記表示原色が前記所定のマスターモニターの表示原色近傍の値でない場合に前記映像データに含まれる前記映像の輝度が相対輝度管理されていると判定する
     請求項4または5に記載の表示方法。
  7.  前記第2判定では、
     前記マスターモニターの特性としての前記マスターモニターのホワイトポイントを示すホワイトポイント情報に基づいて、前記ホワイトポイントが前記所定のマスターモニターのホワイトポイント近傍の値であるか否かを判定することで前記マスターモニターの特性が前記所定のマスターモニターの特性に近いか否かを判定し、
     前記ホワイトポイントが前記所定のマスターモニターのホワイトポイント近傍の値である場合に前記映像データに含まれる前記映像の輝度が絶対輝度管理されていると判定し、前記ホワイトポイントが前記所定のマスターモニターのホワイトポイント近傍の値でない場合に前記映像データに含まれる前記映像の輝度が相対輝度管理されていると判定する
     請求項4から6のいずれか1項に記載の表示方法。
  8.  前記映像データは、前記映像のピーク輝度を示すピーク輝度情報を含み、
     前記第2判定では、前記ピーク輝度情報により示される前記ピーク輝度が第2所定輝度を超えるか否かを判定し、
     前記ピーク輝度が前記第2所定輝度を超える場合に前記映像データに含まれる前記映像の輝度が絶対輝度管理されていると判定し、前記ピーク輝度が前記第2所定輝度以下の場合に前記映像データに含まれる前記映像の輝度が相対輝度管理されていると判定する
     請求項4から7のいずれか1項に記載の表示方法。
  9.  前記映像データは、前記映像を構成する複数のフレームそれぞれの平均輝度の最大値である最大フレーム平均輝度を示す最大フレーム平均輝度情報を含み、
     前記第2判定では、前記最大フレーム平均輝度情報により示される前記最大フレーム平均輝度が第3所定輝度を超えるか否かを判定し、
     前記最大フレーム平均輝度が前記第3所定輝度を超える場合に前記映像データに含まれる前記映像の輝度が絶対輝度管理されていると判定し、前記最大フレーム平均輝度が前記第3所定輝度以下の場合に前記映像データに含まれる前記映像の輝度が相対輝度管理されていると判定する
     請求項4から8のいずれか1項に記載の表示方法。
  10.  HDR(High Dynamic Range)の輝度およびコード値の対応関係を示す第1EOTF(Electoro-Optical Transfer Function)で映像の輝度が定義される映像データの映像を表示する表示装置であって、
     前記表示装置は、
     前記映像データを取得し、取得した前記映像データに含まれる前記映像を構成する複数の画素のそれぞれについて、当該画素の輝度が第1所定輝度を超えるか否かを判定する判定部と、
     前記複数の画素のそれぞれについて、前記判定部による判定の結果、当該画素の輝度が前記第1所定輝度を超える場合と、前記第1所定輝度以下の場合とで、異なる方式で当該画素の輝度を縮小するデュアルトーンマッピングを行う処理部と、
     前記デュアルトーンマッピングの結果を用いて、前記映像を前記表示装置に表示する表示部と、を備える
     表示装置。
PCT/JP2016/000627 2015-05-26 2016-02-08 表示方法および表示装置 WO2016189774A1 (ja)

Priority Applications (6)

Application Number Priority Date Filing Date Title
EP19187293.6A EP3595322B1 (en) 2015-05-26 2016-02-08 Display method and display device
MX2017014707A MX371402B (es) 2015-05-26 2016-02-08 Metodo de presentacion visual y dispositivo de presentacion visual.
EP16799494.6A EP3306944B1 (en) 2015-05-26 2016-02-08 Display method and display device
CN201680007487.3A CN107211182B (zh) 2015-05-26 2016-02-08 显示方法和显示装置
US15/795,443 US10402953B2 (en) 2015-05-26 2017-10-27 Display method and display device
US16/512,846 US10891722B2 (en) 2015-05-26 2019-07-16 Display method and display device

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US201562166169P 2015-05-26 2015-05-26
US62/166,169 2015-05-26
JP2015247985A JP6663214B2 (ja) 2015-05-26 2015-12-18 表示方法および表示装置
JP2015-247985 2015-12-18

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US15/795,443 Continuation US10402953B2 (en) 2015-05-26 2017-10-27 Display method and display device

Publications (1)

Publication Number Publication Date
WO2016189774A1 true WO2016189774A1 (ja) 2016-12-01

Family

ID=57393064

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2016/000627 WO2016189774A1 (ja) 2015-05-26 2016-02-08 表示方法および表示装置

Country Status (1)

Country Link
WO (1) WO2016189774A1 (ja)

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014510988A (ja) * 2011-04-15 2014-05-01 ドルビー ラボラトリーズ ライセンシング コーポレイション 高ダイナミックレンジ画像のエンコード、デコードおよび表現

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014510988A (ja) * 2011-04-15 2014-05-01 ドルビー ラボラトリーズ ライセンシング コーポレイション 高ダイナミックレンジ画像のエンコード、デコードおよび表現

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
PAUL LAUGA ET AL.: "SEGMENTATION-BASED OPTIMIZED TONE MAPPING FOR HIGH DYNAMIC RANGE IMAGE AND VIDEO CODING", 2013 PICTURE CODING SYMPOSIUM PROCEEDINGS, 2013, pages 257 - 260, XP032567011, ISBN: 978-1-4799-0292-7 *

Similar Documents

Publication Publication Date Title
JP6663214B2 (ja) 表示方法および表示装置
JP6731722B2 (ja) 表示方法および表示装置
JP7065376B2 (ja) 表示装置、変換装置、表示方法、および、コンピュータプログラム
US9948884B2 (en) Converting method and converting apparatus for converting luminance value of an input video into a second luminance value
CN110489073B (zh) 变换方法及变换装置
WO2016181584A1 (ja) 表示方法および表示装置
WO2016189774A1 (ja) 表示方法および表示装置
JP6980858B2 (ja) 表示方法および表示装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 16799494

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: MX/A/2017/014707

Country of ref document: MX

NENP Non-entry into the national phase

Ref country code: DE