WO2016181584A1 - 表示方法および表示装置 - Google Patents

表示方法および表示装置 Download PDF

Info

Publication number
WO2016181584A1
WO2016181584A1 PCT/JP2016/000626 JP2016000626W WO2016181584A1 WO 2016181584 A1 WO2016181584 A1 WO 2016181584A1 JP 2016000626 W JP2016000626 W JP 2016000626W WO 2016181584 A1 WO2016181584 A1 WO 2016181584A1
Authority
WO
WIPO (PCT)
Prior art keywords
luminance
eotf
conversion
video
peak
Prior art date
Application number
PCT/JP2016/000626
Other languages
English (en)
French (fr)
Inventor
小塚 雅之
隆司 東田
美裕 森
晴康 平川
遠間 正真
Original Assignee
パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from JP2015248025A external-priority patent/JP6731722B2/ja
Application filed by パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ filed Critical パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ
Priority to EP16792319.2A priority Critical patent/EP3297288B1/en
Priority to MX2017013542A priority patent/MX369783B/es
Priority to CN201680008002.2A priority patent/CN107211183B/zh
Priority to EP20179890.7A priority patent/EP3731532A1/en
Publication of WO2016181584A1 publication Critical patent/WO2016181584A1/ja
Priority to US15/728,550 priority patent/US10462407B2/en
Priority to US16/575,729 priority patent/US10992898B2/en

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/435Processing of additional data, e.g. decrypting of additional data, reconstructing software from modules extracted from the transport stream

Definitions

  • the present disclosure relates to a display method and a display device.
  • Patent Document 1 An image signal processing apparatus for improving the displayable luminance level has been disclosed (see, for example, Patent Document 1).
  • the display method is a method of displaying video data in which video brightness is defined by a first EOTF (Electro-Optical Transfer Function) indicating a correspondence relationship between HDR (High Dynamic Range) brightness and code values.
  • a display method for displaying on a display device wherein the video data includes peak luminance information indicating a peak luminance of the video, and in the display method, the video data is acquired and is a part of the first EOTF, With respect to the second EOTF that is the portion of the luminance range in which the peak luminance indicated by the peak luminance information included in the acquired video data is the maximum luminance, the second EOTF is maintained in a relative relationship with the luminance.
  • the maximum brightness of 2EOTF matches the displayable brightness of the display device.
  • the first conversion for converting the luminance of the video is performed to the luminance corresponding to the dynamic range of the third EOTF in which the dynamic range of the luminance of the second EOTF is reduced, and the result of the first conversion is used to perform the video Is displayed on the display device.
  • a recording medium such as a device, a system, an integrated circuit, a computer program, or a computer-readable CD-ROM.
  • the device, system, integrated circuit, computer You may implement
  • FIG. 10A shows an example of the relationship between an original signal value and an HDR signal value for converting an original signal value into an HDR signal value (mastering). It is a figure which shows an example of the result of having acquired the HDR image obtained by the mastering of FIG. 10A, and having carried out the brightness
  • FIG. 6 is a functional block diagram of a display device according to Embodiment 2.
  • FIG. 6 is a functional block diagram of a display device according to Embodiment 2.
  • linear luminance is calculated for each pixel based on the linear RGB value calculated from the pixels constituting the subject, and for each pixel based on the linear RGB value and the linear luminance.
  • the corrected linear luminance and the corrected linear RGB value of the combined pixel obtained by synthesizing a plurality of pixels including the pixel are calculated, and the corrected linear luminance and the corrected linear RGB value are respectively gamma corrected to calculate the display luminance and the display RGB value.
  • the number of gradations that can be displayed is increased by correcting the linear luminance based on the corrected linear RGB values.
  • HDR video which is a video whose brightness is defined by HDR (High Dynamic Range), which is a dynamic range wider than the dynamic range in which the brightness of the conventional video is defined, is displayed on a TV or the like.
  • HDR High Dynamic Range
  • a technique for displaying on a display device is known.
  • the transition of video technology will be described with reference to FIG.
  • FIG. 1 is a diagram for explaining the evolution of video technology.
  • SD Standard Definition
  • HD high definition 1920 x 1080 pixels
  • CMOS Complementary metal-oxide-semiconductor
  • the conventional TV signal is called SDR (Standard Dynamic Range) and has a peak luminance (maximum luminance) of 100 nits, whereas it is HDR (especially ST 2084 which is an EOTF standardized by SMPTE (PQ curve).
  • peak luminance can be expressed up to 10,000 nits or more.
  • HDR high definition video recorder
  • package media Blu-ray (registered trademark) Disc, etc.
  • Internet distribution etc., like HD and UHD.
  • FIG. 2 is a diagram for explaining the difference between the SDR signal and the HDR signal.
  • the SDR signal is a video signal indicating an SDR video corresponding to SDR
  • the HDR signal is a video signal indicating an HDR video corresponding to HDR.
  • the original signal obtained by taking a digital camera with a wide dynamic range includes luminance information in a wide range of 0 to 10,000 nits.
  • the SDR signal is a video that satisfies a broadcast standard such as bt709, and is a video signal obtained by performing color correction (grading) processing from the original signal so that the SDR video has a peak luminance of 100 nits. That is, the SDR signal is a video signal defined by a dynamic range of luminance of 0 to 100 nits.
  • the HDR signal removes the restriction that the peak luminance is 100 nit like the SDR signal, and the maximum luminance of the luminance dynamic range is up to 10,000 nit so as to meet the restriction of ST2084 (hereinafter referred to as “PQ curve”).
  • PQ curve This is a video signal obtained by performing color correction (grading) processing so as to become an HDR video.
  • the HDR signal is a video signal defined by a dynamic range of luminance of 0 to 10,000 nits.
  • the maximum luminance of the dynamic range of the luminance of the HDR signal is not limited to 10000 nit, but may be, for example, 800 to 4000 nit.
  • the dynamic range of the HDR luminance is a dynamic range in which the peak luminance is larger than the dynamic range of the SDR luminance.
  • the minimum luminance of the dynamic range of HDR luminance is the same as the minimum luminance of the dynamic range of SDR luminance and is 0 nit.
  • FIG. 3 is an explanatory diagram of a method for determining the code value of the luminance signal stored in the content and the process of restoring the luminance from the code value during reproduction.
  • the video signal in this example is an HDR signal corresponding to HDR.
  • the image after grading is quantized by HDR inverse EOTF, and a code value corresponding to the luminance of the image is determined. Image coding or the like is performed based on this code value, and a video stream is generated. At the time of reproduction, the decoding result of the stream is converted into a linear signal by inverse quantization based on HDR EOTF, and the luminance for each pixel is restored.
  • quantization using the inverse EOTF of HDR is referred to as “inverse HDR EOTF conversion”.
  • Inverse quantization using HDR EOTF is referred to as “HDR EOTF conversion”.
  • quantization using inverse SDR EOTF is referred to as “inverse SDR EOTF conversion”.
  • Inverse quantization using SDR EOTF is referred to as “SDR EOTF conversion”.
  • the peak luminance that can be displayed in HDRTV (hereinafter referred to as “display peak luminance”) is higher than the peak luminance of the HDR signal. ) Is often small. Therefore, in order to match the HDR signal peak luminance to the HDRTV display peak luminance, it is necessary to reduce the HDR signal luminance dynamic range to the luminance dynamic range supported by HDRTV.
  • the luminance is corrected to a dynamic range narrower than the HDR dynamic range in which the video luminance is defined.
  • the luminance conversion method for (conversion) was not considered.
  • SDR EOTF gamma curve: relative luminance standard
  • HDR EOTF ST2084: PQ curve: absolute luminance standard
  • SDR compatible display device for example, SDRTV
  • the human eye recognizes the relative brightness of the video, not the absolute brightness.
  • the SDR image is a relative luminance reference image that is graded into an SDR image having a peak luminance of 100 nit by quantizing the luminance of the original signal with an SDR EOTF (gamma curve).
  • FIG. 4 is a diagram for explaining an example of display processing when displaying an SDR signal in SDRTV.
  • FIG. 4A is a diagram illustrating an SDR EOTF in which the luminance of the video of the SDR content is defined.
  • FIG. 4B is a diagram showing the SDR EOTF converted in accordance with the display peak luminance of SDRTV.
  • the contrast relation is maintained in accordance with the display performance of the SDRTV luminances.
  • the SDR EOTF brightness is adjusted by maintaining the relative relationship of the contrast by multiplying the variable indicating the brightness of the SDR EOTF by 2.5 in accordance with the display peak brightness of the SDRTV.
  • An EOTF is generated in accordance with the display performance of the luminance of SDR, and an SDR video is displayed on the SDRTV using the EOTF.
  • the SDRTV displays the SDR video indicated by the SDR signal on the basis of relative luminance.
  • the HDR video indicated by the HDR signal is displayed in HDRTV, the HDRQ is based on the fact that the PQ curve was devised in consideration of human visual characteristics (all luminance ranges recognizable by humans). In addition, it is required to display the HDR video faithfully on the absolute luminance standard of the PQ curve.
  • FIG. 5 is a diagram for explaining an example of display processing in a case where an HDR signal is displayed in HDRTV.
  • FIG. 5A is a diagram showing HDR EOTF in which the luminance of the HDR content video is defined.
  • FIG. 5B is a diagram showing a tone mapping process (brightness conversion process) for converting the brightness of the HDR content in accordance with the display peak brightness of HDRTV.
  • HDR video defined by a dynamic range having a predetermined luminance as a peak luminance
  • a predetermined luminance for example, 500 nits
  • the HDR video of the HDR video is displayed. Therefore, it is required to cause HDRTV to express a predetermined luminance that is a peak luminance of the HDR video by performing a predetermined tone mapping process. That is, it is required to perform tone mapping processing that matches the predetermined luminance to the display peak luminance of HDRTV so that the HDR video peak luminance can be expressed in HDRTV.
  • the tone mapping process including the knee curve process using the knee curve indicating the relationship between the input luminance and the output luminance is performed, the luminance of the image is reduced. Conversion can be performed according to the display peak luminance of HDRTV. However, when an equivalent knee curve process is applied independently to each of the RGB colors of the video signal, the color may change.
  • the predetermined tone mapping process it is necessary to perform the same process independently for each color of RGB so that the color does not change.
  • the color of one pixel that is the target of the predetermined tone mapping process is composed of the luminance of each of the RGB colors arranged across the points to be knee-curved
  • the RGB balance after the predetermined tone mapping process is Collapsed and the color changes before and after the tone mapping process. That is, the luminance is in a luminance range that is not knee-curved in the first RGB color (for example, R), and the luminance in the luminance range is knee-curved in the second color (for example, B) that is different from the first RGB color.
  • the luminance does not change at the luminance within the luminance range not knee-curved, and the luminance changes small at the luminance within the luminance range knee-curved.
  • the relative relationship between the luminances of RGB collapses and the color changes.
  • the rate of change in which the luminance is reduced varies depending on the magnitude of the luminance in the knee-curved luminance range. The relative relationship of will collapse. Therefore, in order to reduce the color change before and after the predetermined tone mapping processing, complicated processing such as three-dimensional color conversion processing has been required.
  • the present inventor examined the following improvement measures in order to solve the above-mentioned problems.
  • the display method is a method of displaying video data in which video brightness is defined by a first EOTF (Electro-Optical Transfer Function) indicating a correspondence relationship between HDR (High Dynamic Range) brightness and code values.
  • a display method for displaying on a display device wherein the video data includes peak luminance information indicating a peak luminance of the video, and in the display method, the video data is acquired and is a part of the first EOTF, With respect to the second EOTF that is the portion of the luminance range in which the peak luminance indicated by the peak luminance information included in the acquired video data is the maximum luminance, the second EOTF is maintained in a relative relationship with the luminance.
  • the maximum brightness of 2EOTF matches the displayable brightness of the display device.
  • the first conversion for converting the luminance of the video is performed to the luminance corresponding to the dynamic range of the third EOTF in which the dynamic range of the luminance of the second EOTF is reduced, and the result of the first conversion is used to perform the video Is displayed on the display device.
  • the dynamic range of the luminance of the video corresponding to HDR can be converted in accordance with the displayable luminance of the display device without performing luminance conversion processing such as knee curve processing. For this reason, it is possible to easily perform luminance conversion in which the video of the video data is matched with the luminance of the display device, and it is possible to suppress a change in color before and after the conversion.
  • the third EOTF maintains the relative relationship of the luminance of the second EOTF by multiplying the value obtained by dividing the displayable luminance by the peak luminance by a variable representing the luminance in the second EOTF.
  • the EOTF in which the dynamic range of the luminance of the second EOTF is reduced by matching the maximum luminance of the second EOTF with the displayable luminance may be used.
  • a first determination is made as to whether or not the peak luminance indicated by the peak luminance information exceeds a predetermined luminance stored in advance in the display device.
  • the peak luminance is When the predetermined luminance is exceeded, (i) a fourth EOTF code in which the display device stores in advance the luminance in the luminance range from the predetermined luminance to the peak luminance of the second EOTF among the luminances of the video
  • a relative relationship of the brightness of the fifth EOTF is maintained with respect to the fifth EOTF which is a part of the second EOTF and is a part of a brightness range where the predetermined brightness is the maximum brightness.
  • the maximum luminance of the fifth EOTF is converted to a sixth EOTF that is obtained by reducing the dynamic range of the luminance of the fifth EOTF according to the first luminance, and the luminance of the dynamic range of the fifth EOTF among the luminances of the video is changed.
  • a second conversion including a fourth conversion for converting to a luminance of a dynamic range of the corresponding sixth EOTF may be performed, and the video may be displayed on the display device using a result of the second conversion.
  • the second conversion is performed instead of the first conversion.
  • the luminance conversion process first conversion
  • the luminance relative relationship before and after the luminance conversion processing. Can be suppressed from being greatly different in appearance due to being too dark in the low luminance range.
  • the luminance in the luminance range from the predetermined luminance to the peak luminance of the second EOTF among the luminance of the video is set to a set of the upper limit value of the first luminance and the narrow range, You may convert so that a linear relationship may be satisfy
  • conversion is performed to reduce the dynamic range of the luminance of the second EOTF in accordance with the peak luminance and the first luminance as the displayable luminance.
  • the first conversion may be performed.
  • the full range may be an integer value range from 0 to 1023 in code value, and the narrow range may be an integer value range from 64 to 940 code value.
  • the video data further includes maximum frame average luminance information indicating maximum frame average luminance that is a maximum value of average luminance of each of a plurality of frames constituting the video, and the maximum frame average luminance information indicates the maximum
  • the second determination is made to determine whether or not the frame average luminance is 1 ⁇ 2 or less of the peak luminance, and as a result of the second determination, the maximum frame average luminance is 1 ⁇ 2 or less of the peak luminance
  • the second conversion may be performed using a value that is twice the maximum frame average luminance as the predetermined luminance.
  • the second determination it is possible to determine whether the ratio of the pixels having the peak luminance or the luminance close to the peak luminance is large or small in the video of the video data. Since the second conversion is performed using a value twice the average frame luminance, the luminance of the video can be converted and displayed so as to maintain the gradation of the halftone and the dark portion. For this reason, it can reduce as much as possible that the gradation property of the brightness
  • the video data further includes, for each of a plurality of segment videos constituting the video, segment peak luminance information indicating a segment peak luminance which is a peak luminance of the segment video.
  • segment peak luminance information indicating a segment peak luminance which is a peak luminance of the segment video.
  • the peak brightness information and the section peak brightness information included in the video data are used to determine whether or not the brightness change between two consecutive section videos among the plurality of section videos is abrupt. If the luminance change is abrupt as a result of the third determination, the dynamic range of the luminance of at least one of the two segment videos is converted so that the luminance change falls within a predetermined range.
  • the section corresponding to the section video Over click the interval peak luminance indicated luminance information may perform the first transformation of EOTF in the dynamic range was the first 2EOTF to maximum brightness.
  • the processing is switched depending on whether there is a sudden change in luminance between consecutive segment videos, so it is possible to suppress sudden darkening or brightening of the video, and a sense of unity of the entire video. Can be prevented from being damaged.
  • the ambient light in the space where the display device is installed is acquired, and a fourth determination is made to determine whether the acquired ambient light is bright.
  • the ambient light is When bright, the conversion using the seventh EOTF as the third EOTF in which the dynamic range of the luminance of the second EOTF is reduced in accordance with the display peak luminance of the display device as the displayable luminance is performed as the first conversion, As a result of the fourth determination, when the ambient light is dark, the third EOTF in which the dynamic range of the luminance of the second EOTF is reduced in accordance with the luminance reduced by a predetermined ratio from the display peak luminance as the displayable luminance.
  • the conversion using the eighth EOTF may be performed as the first conversion.
  • the displayable luminance may be a display peak luminance of the display device.
  • the brightness of the video can be converted and displayed according to the display peak brightness of the display device.
  • a recording medium such as a device, a system, an integrated circuit, a computer program, or a computer-readable CD-ROM.
  • the device, system, integrated circuit, computer You may implement
  • This disclosure is a high dynamic signal (HDR) that is a high luminance signal with a high dynamic range and encoded with SMPTE (Society of Motion Picture & Television Engineers) ST2084 standard EOTF (hereinafter referred to as “PQ curve”).
  • a display device for example, a TV, a projector, a tablet, a smart phone, etc.
  • the present invention relates to an HDR signal format, an HDR signal display method, and a display device for realizing display.
  • FIG. 6 is a diagram showing a scale of luminance at the time of image shooting.
  • 18% gray is a gray having a reflectance of 18%, as a reference point for brightness. That is, 18% gray is a reference reflectance that serves as a reference for brightness.
  • the number of Stops is defined to increase by 1 each time the luminance is doubled, with the luminance at 18% gray as a reference point.
  • the luminance obtained from the image sensor (for example, CMOS, CCD, etc.) of the camera changes according to the exposure due to the aperture, shutter speed, sensitivity setting, and the like. That is, the luminance obtained from the image sensor varies depending on the exposure even if a subject having the same brightness is photographed. For this reason, the value of the Stop number itself is not an absolute value but a relative value. That is, the number of Stops cannot represent luminance.
  • the image sensor for example, CMOS, CCD, etc.
  • a dark portion is obtained by changing the exposure by slowing the shutter speed, opening the aperture, or the like.
  • the camera is set for exposure so that the bright portions are discarded while leaving the gray level.
  • the camera when shooting a daytime indoor scene of (2) in FIG. 6, the camera is set for exposure so that the balance between the dark part and the bright part is improved.
  • the exposure is set to the camera in order to prevent the white portion of the bright part from being crushed.
  • FIG. 7 is a diagram illustrating an example of luminance of a captured image.
  • the photographed image (hereinafter referred to as “original image”) 10 A) has a luminance (hereinafter referred to as “0 Stop”) corresponding to 18% gray (0 Stop), which is a reference reflectivity.
  • B) of the original image 10 shows a pixel having a luminance corresponding to 90% reflectance (90% gray) (2.3 Stops).
  • C) of the original image 10 shows a pixel having a luminance corresponding to substantially black 2.3% gray ( ⁇ 3 Stops).
  • D) of the original image 10 shows a pixel obtained by photographing the sun, has a very bright luminance, and has a luminance corresponding to 1150% gray (6 Stops).
  • E) of the original image 10 shows a pixel obtained by photographing a position causing specular reflection, and has a luminance corresponding to 290% gray (4 Stops).
  • FIG. 8 is a diagram for explaining the relationship between a flow for creating a home entertainment master compatible with SDR, a distribution medium, and a display device.
  • the original image 10 as described in FIG. 7 is an image having a maximum luminance of 1300 nit. That is, when a master image (SDR image) corresponding to an SDR having a maximum luminance of 100 nit is produced using the original image 10, pixels having a luminance of 100 nit or more cannot be expressed in the SDR. A master image corresponding to SDR cannot be produced without conversion. That is, if a master image corresponding to SDR is to be produced using the original image 10, it is necessary to convert the luminance of the original image into luminance in a dynamic range corresponding to SDR.
  • the luminance is maintained linearly until about 80 nits in normal grading processing.
  • the upper part is subjected to knee curve processing for bending so that the maximum luminance is within 100 nits.
  • the knee curve process is a process of linearly displaying a luminance below a certain value and attenuating the luminance above a certain value in accordance with the display peak luminance of the display device to be displayed.
  • FIG. 9A is a diagram showing an example of luminance as a result of mastering the original image shown in FIG. 7 into an SDR image.
  • FIG. 9B is a diagram illustrating an example of a relationship between an original signal value and an SDR signal value for converting (mastering) the original signal value into an SDR signal value.
  • the original signal value is the luminance in the dynamic range of 0 to 1300 nit of the original image 10 (hereinafter referred to as “the luminance of the original image”)
  • the SDR signal value is the luminance in the luminance range of the SDR (hereinafter referred to as “SDR”). Is called “luminance”.
  • the pixel corresponding to the reference reflectance of 18% gray (0 Stop) has the reference luminance that becomes the reference of the brightness. Pixel. For this reason, in the mastering to the SDR image, even after the original image 10 is converted into the SDR image 11, the luminance (18 nit) of the original image corresponding to 18% gray in the original image 10 is not changed. The brightness is determined.
  • the luminance of the SDR is determined without changing the luminance of the original image. Further, as shown in FIG. 9B, the luminance of the original image in the luminance range (90 to 1300 [nit]) of the original image 10 larger than the luminance (90 nit) of the original image corresponding to 90% gray of the original image 10 is set to 90.
  • the SDR brightness in the brightness range of ⁇ 100 nit is assigned by linear conversion.
  • the original image 10 is changed to the SDR image 11 in the same manner as described above. Even after the conversion, the luminance (2 nit) of the original image corresponding to 2.3% gray in the original image 10 is not changed and is determined as the luminance of the SDR.
  • the luminance (1150 nit) of the original image corresponding to 1150% gray in the original image 10 is set. Convert to 100 nit which is the maximum brightness of SDR.
  • the luminance of the original image corresponding to 290% gray in the original image 10 is set to 95. Convert to nit.
  • FIG. 10A is a diagram illustrating an example of luminance as a result of mastering the original image illustrated in FIG. 7 into an HDR image.
  • FIG. 10B is a diagram illustrating an example of a relationship between an original signal value and an HDR signal value for converting (mastering) the original signal value into an HDR signal value.
  • the HDR signal value is the luminance in the HDR luminance range (hereinafter referred to as “HDR luminance”).
  • HDR luminance the luminance in the HDR luminance range
  • a pixel corresponding to the reference reflectance of 18% gray (0 Stop), such as A) of the HDR image 12 is a pixel having a reference luminance that serves as a reference for brightness. Therefore, mastering to the HDR image is performed. Then, even after the original image 10 is converted to the HDR image 12, the luminance (18 nit) of the original image corresponding to 18% gray in the original image 10 is not changed and is determined as the HDR luminance.
  • a pixel corresponding to 90% gray such as HDR image 12 B
  • a 2.3% gray such as HDR image 12 C
  • a pixel corresponding to 1150% gray (6 Stops), such as HDR image 12 D)
  • a 290% gray (4 Stops) corresponding to HDR image 12, E)
  • the luminance of the original image is determined without changing the luminance of the original image.
  • FIG. 11A is an example of a result obtained by acquiring the HDR image obtained by the mastering of FIG. 10A and converting the luminance for a display device having the second maximum luminance of 500 nits.
  • FIG. 11B is a diagram illustrating an example of the relationship between the HDR signal value and the TV signal value for luminance conversion of the HDR signal value to the TV signal value.
  • the second maximum luminance that can be displayed by HDRTV is limited to 500 nits. For this reason, it is necessary to convert the HDR luminance indicated by the HDR signal into display luminance in the luminance range of the display.
  • the HDR signal is acquired, and the luminance (reference luminance) corresponding to 18% gray (0 Stop) that is the reference of the brightness is extracted from the acquired HDR signal.
  • the HDR signal indicating the brightness of the HDR image 13 holds 36 nits as the reference brightness, and it can be seen that the producer has intentionally changed the reference brightness.
  • the luminance indicated by the HDR signal below the luminance corresponding to 90% gray (180 nits)
  • the luminance as it is indicated by the HDR signal is held as it is, and the luminance corresponding to 90% gray (180 nits) Is converted linearly so that the first maximum luminance (HPL: 1300 nit) indicated by the HDR signal becomes the second maximum luminance (DPL: 500 nit) that can be displayed by HDRTV. I do.
  • the reference luminance when the reference luminance is the third reference value (36 nit) different from the first reference value (18 nit), it is less than the fourth reference value (90 nit) greater than 36 nit.
  • the HDR luminance indicated by the HDR signal is determined as display luminance.
  • the first maximum luminance (HPL) is set to the HDR luminance from 90 nit to the second maximum luminance (DPL) that can be displayed in HDRTV.
  • DPL second maximum luminance
  • the pixel A) corresponding to 18% gray of the HDR image 13 the pixel B) corresponding to 90% gray of the HDR image 13, and 2.3% gray of the HDR image 13 are obtained.
  • the corresponding pixel C) is determined as display luminance without changing the luminance of the HDR image 13 as it is.
  • the pixel D) corresponding to 1150% gray of the HDR image 13 446 nit obtained by performing the above linear conversion is determined as the display luminance
  • the pixel E) corresponding to 290% gray of the HDR image 13 is determined. Determines 313 nit obtained by performing the above linear conversion as the display luminance.
  • FIG. 12 is a diagram illustrating functional blocks of the display device according to the first embodiment.
  • FIG. 13 is a diagram for describing a specific example of conversion processing (first conversion) in the conversion unit of the display device.
  • the display device 100 includes a conversion unit 101 and a display unit 102.
  • the display device 100 is an HDR display device capable of displaying HDR video, and is, for example, a display compatible with HDRTV or HDR.
  • the conversion unit 101 acquires video data including an HDR signal and static metadata (the peak luminance information for each title (The Maximum Content Light Level (MaxCLL)).
  • the conversion unit 101 corresponds to the acquired static metadata.
  • the HDR effect is controlled, and the PQ curve is converted into a gamma curve in the luminance range supported by the display unit 102.
  • the conversion unit 101 as shown in FIG. (For example, 800 nit) is adjusted from a part of the PQ curve without changing the relative relationship of the luminance of the PQ curve (second EOTF) in the luminance range of 0 to 800 nit so as to match the display peak luminance (for example, 750 nit) of HDRTV.
  • Converting unit 101 is, for example, be implemented by a memory storing processor, a program.
  • the conversion unit 101 sets the maximum luminance of the second EOTF to the second EOTF that is a part of the PQ curve as the first EOTF while maintaining the relative relationship of the luminance of the second EOTF of the display unit 102 of the display device 100.
  • a first conversion is performed to convert the luminance of the video to a luminance corresponding to the dynamic range of the third EOTF obtained by reducing the dynamic range of the luminance of the second EOTF in accordance with the displayable luminance (for example, display peak luminance).
  • the displayable luminance of the display unit 102 in this case is specifically the display peak luminance of the display unit 102.
  • the conversion unit 101 does not perform tone mapping processing using a knee curve that requires a complex circuit when displaying HDR content video data whose luminance is defined by a PQ curve on the HDRTV. It can suppress changing the color of each pixel before and after the 1st conversion in the conversion part 101.
  • the first EOTF indicates the correspondence between HDR brightness and code value.
  • the second EOTF is an EOTF cut out from the first EOTF in a luminance range in which 0 nit is the minimum luminance and the peak luminance indicated by the peak luminance information included in the acquired video data is the maximum luminance.
  • the third EOTF is obtained by, for example, multiplying a value obtained by dividing the displayable luminance by the peak luminance indicated by the peak luminance information by a variable representing the luminance in the second EOTF that is a part of the PQ curve.
  • This is an EOTF in which the dynamic range of the luminance of the second EOTF is reduced by matching the maximum luminance of the second EOTF with the displayable luminance while maintaining the relative relationship of the luminance of the second EOTF. That is, the relative luminance relationship of the second EOTF is a ratio between a plurality of luminance values associated with a plurality of different code values with respect to a set of a plurality of luminance values and code values associated with the second EOTF.
  • conversion while maintaining the relative relationship of the luminance of the second EOTF is when there is a first pre-conversion luminance on the second EOTF and a second pre-conversion luminance on the second EOTF that is different from the first pre-conversion luminance.
  • the first pre-conversion luminance and the second pre-conversion luminance 1 ratio and the second ratio of the first converted luminance and the second converted luminance are substantially equal (the error between the converted first ratio and the second ratio is within a predetermined threshold). To) to convert.
  • the display unit 102 displays an image using the result of the first conversion in the conversion unit 101.
  • the display unit 102 is realized by, for example, an LCD panel, a backlight, an LCD panel drive circuit, a backlight control circuit, and the like.
  • the display unit 102 can display the video of the input video data while maintaining the contrast relationship during content production. At this time, the display unit 102 does not maintain the absolute luminance of each pixel, but displays an image having a luminance different from the absolute luminance at the time of content production and maintaining the contrast ratio between the pixels.
  • FIG. 14 is a diagram for describing another specific example of the conversion process in the conversion unit.
  • the MaxCLL of the HDR content video data exceeds a predetermined luminance (for example, 1000 nits)
  • a predetermined luminance for example, 1000 nits
  • the luminance in the low luminance range before conversion for example, luminance of 100 nit or less
  • the luminance relative relationship is maintained before and after the conversion processing. In the low luminance range, the appearance may be greatly different due to being too dark.
  • the first conversion that maintains the relative relationship is performed in the luminance range below the predetermined luminance out of the luminance of the video, and the region above the predetermined luminance is the second region as the Superle region, the same process as the Super White of the SDR. Perform conversion.
  • the conversion unit 101 sets the MaxCLL to 1023 which is the upper limit code value (CV) of the full range (see later), and out of the luminance of the video .
  • the third conversion for linearly expressing the luminance in the luminance range from 1000 nit to Max CLL, and the value corresponding to 1000 nit is set to 940 which is the upper limit code value (CV) of the narrow range (see later),
  • the luminance conversion in the luminance range from 0 nit to 1000 nit is performed with the fourth conversion to reduce the dynamic range of the luminance while maintaining the relative relationship of the luminance.
  • the video is displayed using the result of the second conversion including the third conversion and the fourth conversion.
  • the conversion unit 101 performs the first conversion that sets the MaxCLL to 940 that is the code value (CV) of the upper limit of the narrow range.
  • the conversion unit 101 performs the first determination as to whether or not the peak luminance indicated by the peak luminance information exceeds a predetermined luminance (for example, 1000 nits) stored in advance in the display device 100, and determines the result of the first determination.
  • a predetermined luminance for example, 1000 nits
  • one of the first conversion and the second conversion is selectively performed. Specifically, when the peak luminance exceeds a predetermined luminance as a result of the first determination, a second conversion different from the first conversion is performed.
  • the second conversion is a conversion including a third conversion that converts the luminance in the luminance range from the predetermined luminance to the peak luminance, and a fourth conversion that converts the luminance in the luminance range from 0 nit to the predetermined luminance.
  • the luminance of the video in the luminance range from the predetermined luminance of the second EOTF to the peak luminance indicated by the peak luminance information is changed from the first luminance to the full range of code values corresponding to the upper limit value 940 of the narrow range of code values. Is converted into luminance in the luminance range up to the second luminance corresponding to 1023 which is the upper limit value of. Further, in the third conversion, the luminance in the luminance range from the predetermined luminance of the second EOTF to the peak luminance in the luminance of the video is set to the upper limit value of the first luminance and the narrow range, and the upper limit value of the second luminance and the full range. To satisfy a linear relationship with
  • the full range is a range in which the code value of the fourth EOTF stored in advance in the display device 100 is defined.
  • the code value is defined in 10 bits, for example, an adjustment from 0 to 1023 is performed.
  • a range of numbers that is, the full range is a range in which the minimum value to the maximum value are used among the integer values that can represent the luminance code value by the bit length.
  • the narrow range is a range narrower than the full range, and is an integer value range of 64 to 940, for example, when the code value is defined by 10 bits.
  • the narrow range is a range in which an integer value in a range narrower than the full range is used among integer values in which a luminance code value can be expressed by a bit length.
  • the maximum brightness of the fifth EOTF is maintained while maintaining the relative relationship of the brightness of the fifth EOTF with respect to the fifth EOTF which is a part of the second EOTF and is a part of the brightness range where the predetermined brightness is the maximum brightness.
  • the fifth EOTF is converted to a sixth EOTF in which the dynamic range of the fifth EOTF is reduced in accordance with the first luminance, and the luminance of the dynamic range of the fifth EOTF of the video is converted to the corresponding luminance of the sixth EOTF.
  • the conversion unit 101 performs conversion that reduces the dynamic range of the second EOTF luminance in accordance with the first luminance as the displayable luminance. As the first conversion.
  • the display unit 102 displays an image using the result of the first conversion or the result of the second conversion.
  • the dynamic range of the luminance of the video corresponding to HDR can be converted in accordance with the display peak luminance of the display device without performing luminance conversion processing such as knee curve processing. it can. For this reason, it is possible to easily perform luminance conversion of video data corresponding to HDR in accordance with the display peak luminance, and to suppress color change before and after the conversion.
  • the second conversion is performed instead of the first conversion.
  • the luminance conversion process first conversion
  • the luminance relative relationship before and after the luminance conversion processing. Can be suppressed from being greatly different in appearance due to being too dark in the low luminance range.
  • the first conversion is performed instead of the second conversion, so that it looks good before and after the conversion process.
  • the first conversion is performed instead of the second conversion, so that it looks good before and after the conversion process.
  • the predetermined brightness is determined according to the value of the maximum frame average brightness information (MaxFALL: Maximum Frame-Average Light Level) indicating the maximum frame average brightness that is the maximum value of the average brightness of each of a plurality of frames constituting the video. May be.
  • the maximum frame average luminance information is information included in static metadata included in video data.
  • the conversion unit 101 performs a second determination for determining whether or not the maximum frame average luminance indicated by the maximum frame average luminance information is 1 ⁇ 2 or less of the peak luminance. Then, as a result of the second determination, when the maximum frame average luminance is 1 ⁇ 2 or less of the peak luminance, the conversion unit 101 performs the second conversion using a value that is twice the maximum frame average luminance as the predetermined luminance.
  • the second determination it is possible to determine whether the ratio of the pixels having the peak luminance or the luminance close to the peak luminance is large or small in the video of the video data. Since the second conversion is performed using a value twice the average frame luminance, the luminance of the video can be converted and displayed so as to maintain the gradation of the halftone and the dark portion. For this reason, it can reduce as much as possible that the gradation property of the brightness
  • the conversion unit 101 performs the first conversion or the second conversion for each content using the peak luminance information included in the static metadata.
  • the present invention is not limited to this.
  • the dynamic metadata is section maximum brightness information (Max SLL) indicating the peak brightness (section peak brightness) of each section video for each of the plurality of section videos.
  • section peak brightness corresponding to each section video is lower than the display peak brightness of HDRTV, the brightness of the section video is displayed as it is without performing the conversion process for expanding in the bright direction while maintaining the relative relationship. May be.
  • the section peak luminance corresponding to each section video is significantly lower than the peak brightness (example 1/2 or less), or when the section peak brightness of consecutive section videos is significantly different from each other (difference of 50% or more). If the above processing is performed as it is, the low luminance range (dark part) suddenly becomes bright and there is a possibility that the whole image cannot be unified. Therefore, the section peak luminance is not used as it is, but the section peak luminance (MaxSLL) is corrected, for example, (MaxCLL + MaxSLL) / 2, (MaxSLL (x) + MaxSLL (X + 1)) / 2, or the like. Thus, by performing the above-described processing using the corrected numerical value, an abrupt luminance change may be suppressed.
  • the conversion unit 101 uses the peak luminance information and the segment peak luminance information included in the acquired video data to determine whether or not the luminance change between two consecutive segment videos among a plurality of segment videos is abrupt. A third determination is made. Then, when the luminance change is abrupt as a result of the third determination, the conversion unit 101 converts the dynamic range of the luminance of at least one of the two section videos so that the luminance change is within a predetermined range. In addition, when the luminance change is not abrupt as a result of the third determination, the conversion unit 101 has a dynamic range in which the section peak brightness indicated by the section peak brightness information corresponding to the section video is the maximum brightness for each of the two section videos. The first conversion is performed in which the EOTF at is a second EOTF. In this way, the processing is switched depending on whether there is a sudden change in luminance between consecutive segment videos, so it is possible to suppress sudden darkening or brightening of the video, and a sense of unity of the entire video. Can be prevented from being damaged.
  • Embodiment 2 Next, Embodiment 2 will be described with reference to FIGS. 15 and 16.
  • the display method of reducing the dynamic range of video brightness in HDR content and displaying it on HDRTV differs from the case of changing the dynamic range of video brightness in SDR content and displaying it on SDRTV. There is also.
  • FIG. 15 is a diagram for explaining an example of display processing when an SDR signal is displayed in SDRTV according to brightness in the viewing environment.
  • the SDR signal of the SDR content is inversely quantized using the SDR EOTF (gamma curve) to maintain the relative luminance (contrast ratio) instead of the absolute luminance. It is displayed.
  • SDR EOTF gamma curve
  • FIG. 15 by providing a dimmer element in the SDRTV and dynamically changing the light emission intensity of the backlight of the display unit according to the brightness of the viewing environment acquired by the dimmer element, There is a method of displaying while maintaining the contrast ratio between the dark part and the bright part of the SDR content according to the brightness of the viewing environment.
  • SDRTV has a capability of displaying a luminance (for example, 250 nits) that exceeds 100 nits, which is a peak luminance of a dynamic range of EOTF (gamma curve) luminance of SDR.
  • a luminance for example, 250 nits
  • EOTF gamma curve
  • the peak luminance to be displayed is extended to a maximum of 250 nits as shown in (b-2) of FIG.
  • the luminance of the video of the SDR signal of the SDR content is managed by the relative luminance, so the peak luminance of the video displayed on SDRTV is changed according to the brightness of the viewing environment while maintaining the relative luminance. Can be easily done.
  • HDRTV for displaying the SDR signal while maintaining the relative brightness of the image
  • HDRTV for displaying the HDR signal image obtained by quantizing the absolute luminance of the captured image with the PQ curve.
  • display control is required to change the dynamic range of the luminance of the video in accordance with the brightness of the viewing environment (a dark room, a dark room, a slightly bright room, etc.) instead of displaying with absolute luminance. That is, for HDRTV as well as SDRTV, even if the brightness of the viewing environment changes, by performing display control to display while maintaining an appropriate contrast ratio, the same HDR effect is given to the viewer as much as possible. There is a need to provide.
  • HDR video of the HDR content is created by the content creator on the assumption that the HDR video is displayed with absolute luminance
  • a conversion method for converting the luminance of the video while maintaining the relative luminance of the luminance of the video is an HDR signal.
  • the peak luminance is often about 800 to 4000 nits, which exceeds the normal HDRTV peak luminance. Therefore, even when the viewing environment is dark, it is necessary to maximize the light emission intensity of the backlight in order to display the peak luminance of the HDR video, and only the control of the backlight corresponds to the viewing environment. Is difficult.
  • the dynamic range of brightness of HDR EOTF is 0 to 10,000 nit
  • the dynamic range of brightness of SDR EOTF gamma curve
  • the dynamic range of luminance is 100 times larger than that of SDR EOTF.
  • the content itself can be displayed on the display device using 0 to 100 nits in full.
  • the content itself is displayed on the display device using a dynamic range of luminance of 0 to 10,000 nits. This is rare, and there is a high possibility that an image having a peak luminance of about 800 to 4000 nits is displayed on the display device. That is, as in the case of displaying SDR video on SDRTV, it is not possible to simply cope with backlight control that matches the peak luminance of the dynamic range of HDR EOTF luminance to HDRRT display peak luminance.
  • FIG. 16 is a diagram illustrating functional blocks of the display device according to the second embodiment.
  • the display device 100a includes a conversion unit 101a, a display unit 102, and a viewing environment light input unit 103.
  • the display unit 102 has the same configuration as the display unit 102 of the display device 100 according to the first embodiment, and thus detailed description thereof is omitted.
  • the viewing environment light input unit 103 detects the intensity of the ambient light in the space where the display device 100a is installed (that is, the brightness of the viewing environment), and sends the detection result to the conversion unit 101a.
  • the viewing environment light input unit 103 is realized by, for example, an illuminance sensor.
  • the conversion unit 101a performs a fourth determination to determine whether or not the ambient light is bright according to the intensity of the ambient light detected by the viewing environment light input unit 103. Then, if the result of the fourth determination is that the ambient light is bright, the conversion unit 101a performs the conversion using the seventh EOTF as the third EOTF as the first conversion.
  • the seventh EOTF is an EOTF in which the display peak luminance of the display device is set as displayable luminance, and the dynamic range of the luminance of the second EOTF is reduced in accordance with the displayable luminance.
  • the conversion unit 101a performs conversion using the eighth EOTF as the third EOTF as the first conversion.
  • the eighth EOTF is an EOTF in which the dynamic range of the luminance of the second EOTF is reduced by matching the luminance reduced by a predetermined ratio from the display peak luminance of the display device.
  • the maximum light emission intensity of the backlight is not set to the maximum light emission intensity of the backlight of the display unit 102. For example, the emission intensity is lowered by 20%. If the detected ambient light intensity exceeds a predetermined threshold and it is determined that the viewing environment is bright, the light emission intensity of the backlight is maximized.
  • the first conversion is performed in accordance with the luminance that is 20% lower than the display peak luminance.
  • the first display is performed according to the display peak luminance. Perform conversion.
  • each component may be configured by dedicated hardware or may be realized by executing a software program suitable for each component.
  • Each component may be realized by a program execution unit such as a CPU or a processor reading and executing a software program recorded on a recording medium such as a hard disk or a semiconductor memory.
  • the software that realizes the display method of each of the above embodiments is the following program.
  • this program displays on the computer a video of video data in which the luminance of the video is defined by the first EOTF (Electro-Optical Transfer Function) indicating the correspondence between the luminance and code values of HDR (High Dynamic Range).
  • the video data includes peak luminance information indicating the peak luminance of the video, and in the display method, the video data is acquired and is a part of the first EOTF.
  • the second EOTF Maximum brightness display of the display device The first conversion for converting the luminance of the video to the luminance corresponding to the dynamic range of the third EOTF in which the dynamic range of the luminance of the second EOTF is reduced in accordance with the active luminance, and using the result of the first conversion, A display method for displaying the video on the display device is executed.
  • the display method and the display device have been described based on the embodiments, but the present disclosure is not limited to the embodiments. Unless it deviates from the gist of the present disclosure, one or more of the present disclosure may be applied to various modifications conceived by those skilled in the art in the present embodiment, or forms configured by combining components in different embodiments. It may be included within the scope of the embodiments.
  • the present disclosure is useful as a display method, a display device, and the like that can easily perform luminance conversion of video data corresponding to HDR in accordance with display peak luminance and can suppress a change in color before and after the conversion. is there.

Abstract

HDR(High Dynamic Range)に対応する第1EOTF(Electoro-Optical Transfer Function)で映像の輝度が定義されている映像データの映像を表示装置に表示する表示方法であって、表示方法では、映像データを取得し、第1EOTFの一部分であって、取得した映像データに含まれるピーク輝度情報により示されるピーク輝度を最大輝度とする輝度範囲の部分である第2EOTFに対して、第2EOTFの輝度の相対関係を維持したまま、第2EOTFの最大輝度を表示装置の表示可能輝度に合わせて第2EOTFの輝度のダイナミックレンジが縮小された第3EOTFのダイナミックレンジに対応する輝度に、映像の輝度を変換する第1変換を行い、第1変換の結果を用いて、映像を表示装置に表示する。

Description

表示方法および表示装置
 本開示は、表示方法および表示装置に関する。
 従来、表示可能な輝度レベルを改善するための画像信号処理装置が開示されている(例えば特許文献1参照)。
特開2008-167418号公報
 しかしながら、上記特許文献では、更なる改善が必要とされていた。
 本開示の一態様に係る表示方法は、HDR(High Dynamic Range)の輝度およびコード値の対応関係を示す第1EOTF(Electoro-Optical Transfer Function)で映像の輝度が定義されている映像データの映像を表示装置に表示する表示方法であって、前記映像データは、前記映像のピーク輝度を示すピーク輝度情報を含み、前記表示方法では、前記映像データを取得し、前記第1EOTFの一部分であって、取得した前記映像データに含まれる前記ピーク輝度情報により示される前記ピーク輝度を最大輝度とする輝度範囲の部分である第2EOTFに対して、前記第2EOTFの輝度の相対関係を維持したまま、前記第2EOTFの最大輝度を前記表示装置の表示可能輝度に合わせて前記第2EOTFの輝度のダイナミックレンジが縮小された第3EOTFのダイナミックレンジに対応する輝度に、前記映像の輝度を変換する第1変換を行い、前記第1変換の結果を用いて、前記映像を前記表示装置に表示する。
 なお、これらの全般包括的または具体的な態様は、装置、システム、集積回路、コンピュータプログラムまたはコンピュータ読み取り可能なCD-ROMなどの記録媒体で実現されてもよく、装置、システム、集積回路、コンピュータプログラムまたは記録媒体の任意な組み合わせで実現されてもよい。
 上記態様によれば、更なる改善を実現することができる。
映像技術の進化について説明するための図である。 SDR信号とHDR信号との違いを説明するための図である。 コンテンツに格納される輝度信号のコード値の決定方法、および、再生時にコード値から輝度を復元するプロセスの説明図である。 SDR信号をSDRTVで表示させる場合の表示処理の一例を説明するための図である。 HDR信号をHDRTVで表示させる場合の表示処理の一例を説明するための図である。 画像撮影時の輝度の尺度を示す図である。 撮影した画像の輝度の例に示す図である。 SDRに対応したホームエンターテイメント用マスターを制作するフロー、配信媒体および表示装置の関係について説明するための図である。 図7で示した原画像をSDR画像にマスタリングした結果の輝度の一例を示す図である。 原信号値をSDR信号値に変換する(マスタリングする)ための、原信号値とSDR信号値との関係の一例を示す図である。 図7で示した原画像をHDR画像にマスタリングした結果の輝度の一例を示す図である。 原信号値をHDR信号値に変換する(マスタリングする)ための、原信号値とHDR信号値との関係の一例を示す図である。 図10Aのマスタリングにより得られたHDR画像を取得して、第2最大輝度が500nitの表示機器用に輝度変換した結果の一例を示す図である。 HDR信号値をTV信号値に輝度変換するための、HDR信号値とTV信号値との関係の一例を示す図である。 実施の形態1に係る表示装置の機能ブロックを示す図である。 表示装置の変換部における変換処理(第1変換)の具体例について説明するための図である。 変換部における変換処理の他の具体例について説明するための図である。 視聴環境に明るさに応じてSDR信号をSDRTVで表示させる場合の表示処理の一例を説明するための図である。 実施の形態2に係る表示装置の機能ブロックを示す図である。
 (本開示の基礎となった知見)
 本発明者は、「背景技術」の欄において記載した、画像信号処理装置に関し、以下の問題が生じることを見出した。
 特許文献1に開示されている画像信号処理装置では、被写体を構成する画素から算出されたリニアRGB値に基づいて画素毎にリニア輝度を算出し、リニアRGB値およびリニア輝度に基づいて画素毎の補正リニア輝度および当該画素を含む複数の画素を合成した合成画素の補正リニアRGB値を算出し、補正リニア輝度および補正リニアRGB値をそれぞれガンマ補正して表示用輝度および表示用RGB値を算出する。このように、画像信号処理装置では、補正リニアRGB値に基づいてリニア輝度を補正することにより、表示可能な階調数の増加を図っている。
 ところで、近年、映像技術の進化に伴い、従来の映像の輝度が定義されているダイナミックレンジよりも広いダイナミックレンジであるHDR(High Dynamic Range)で輝度を定義した映像であるHDR映像をTVなどの表示装置に表示させる技術が知られている。ここで、映像技術の変遷について、図1を用いて説明する。
 図1は、映像技術の進化について説明するための図である。
 これまで、映像の高画質化としては、表示画素数の拡大に主眼がおかれ、Standard Definition(SD)の720×480画素の映像から、High Definition(HD)の1920×1080画素の、所謂2K映像が普及している。
 近年、更なる高画質化を目指して、Ultra High Definition(UHD)の3840×1920画素、あるいは、4Kの4096x1920画素の、所謂4K映像の導入が開始された。
 4Kの導入による映像の高解像度化を行うと共に、ダイナミックレンジ拡張や色域の拡大、あるいは、フレームレートの追加、向上などを行うことで映像を高画質化することが検討されている。
 ダイナミックレンジ拡張については、デジタルカメラやCMOS(Complementary metal-oxide-semiconductor)イメージセンサの性能向上により、露出を示すStop数が14Stops以上の広いダイナミックレンジの画像の撮影が可能になっている。このため、暗部階調を維持しつつ、100%反射光以上に明るい光(鏡面反射光などの明るい光)を撮影することが可能になっている。このカメラまたはイメージセンサの性能向上を表現力の向上に活かすために、より高輝度な信号も伝送可能にする信号規格として、HDRが注目されている。
 これまでのTV信号は、SDR(Standard Dynamic Range)と呼ばれ、ピーク輝度(最大輝度)が100nitであったのに対して、HDR(特に、SMPTEで標準化されたEOTFであるST 2084(PQカーブ)で符号化するHDR)の場合は、10000nit以上までピーク輝度を表現することができるようになった。
 HDRの具体的な適用先としては、HDやUHDと同様に、放送やパッケージメディア(Blu-ray(登録商標) Disc等)、インターネット配信などで使われることが想定されている。
 次に、SDRおよびHDRについて、図2を用いて説明する。
 図2は、SDR信号とHDR信号との違いを説明するための図である。なお、SDR信号とは、SDRに対応したSDR映像を示す映像信号であり、HDR信号とは、HDRに対応したHDR映像を示す映像信号である。
 ダイナミックレンジ(14Stop等)の広いデジタルカメラで撮ることにより得られた原信号には、0~10000nitの広い範囲の輝度情報が含まれている。
 SDR信号は、bt709等の放送規格を満たす映像であり、原信号から、ピーク輝度が100nitであるSDR映像になるように色補正(グレーディング)処理を行うことで得られた映像信号である。つまり、SDR信号は、映像の輝度が0~100nitの輝度のダイナミックレンジで定義された映像信号である。
 一方で、HDR信号は、SDR信号のようなピーク輝度を100nitとする制約を取り払い、ST2084(以下、「PQカーブ」と言う。)の制約に合わせるように輝度のダイナミックレンジの最大輝度を10000nitまでのHDR映像になるように色補正(グレーディング)処理を行うことで得られた映像信号である。つまり、HDR信号は、映像の輝度が0~10000nitの輝度のダイナミックレンジで定義された映像信号である。なお、HDR信号の輝度のダイナミックレンジの最大輝度は、10000nitに限らずに、例えば、800~4000nitであってもよい。
 このように、HDRの輝度のダイナミックレンジは、SDRの輝度のダイナミックレンジよりもピーク輝度が大きいダイナミックレンジである。なお、HDRの輝度のダイナミックレンジの最小輝度は、SDRの輝度のダイナミックレンジの最小輝度と同じであり、0nitである。
 図3は、コンテンツに格納される輝度信号のコード値の決定方法、および、再生時にコード値から輝度を復元するプロセスの説明図である。
 本例における映像信号はHDRに対応したHDR信号である。グレーディング後の画像は、HDRの逆EOTFにより量子化され、当該画像の輝度に対応するコード値が決定する。このコード値に基づいて画像符号化などが行われ、ビデオのストリームが生成される。再生時には、ストリームの復号結果に対して、HDRのEOTFに基づいて逆量子化することによりリニアな信号に変換され、画素毎の輝度が復元される。以下、HDRの逆EOTFを用いた量子化を「逆HDRのEOTF変換」という。HDRのEOTFを用いた逆量子化を「HDRのEOTF変換」という。同様に、SDRの逆EOTFを用いた量子化を「逆SDRのEOTF変換」という。SDRのEOTFを用いた逆量子化を「SDRのEOTF変換」という。
 上述したようなHDR信号をHDR対応の表示装置(例えば、HDRTV)で表示させる表示制御を行う場合、HDR信号のピーク輝度よりもHDRTVの表示可能なピーク輝度(以下、「表示ピーク輝度」と言う)が小さいことが多い。このため、HDR信号のピーク輝度をHDRTVの表示ピーク輝度に合わせるために、HDR信号の輝度のダイナミックレンジをHDRTVが対応している輝度のダイナミックレンジに縮小する必要がある。
 しかしながら、特許文献1に開示されている画像信号処理装置などの輝度の補正(変換)においては、映像の輝度が定義されているHDRの輝度のダイナミックレンジよりも狭い輝度のダイナミックレンジに輝度を補正(変換)するときの輝度の変換方法については考慮されていなかった。
 このため、次のような課題があった。
 SDRのEOTF(ガンマカーブ:相対輝度基準)とHDRのEOTF(ST2084:PQカーブ:絶対輝度基準)との違いにより、HDRTVでHDR信号を表示する場合は、SDR対応の表示装置(例えば、SDRTV)でSDR信号を表示する場合と異なり、下記の課題があった。
 人間の眼は、映像の輝度を、絶対輝度を認識するのではなく、相対輝度を認識している。SDR映像は、原信号の輝度がSDRのEOTF(ガンマカーブ)で量子化されることにより、ピーク輝度が100nitのSDR映像にグレーディングされた、相対輝度基準の映像である。
 図4は、SDR信号をSDRTVで表示させる場合の表示処理の一例を説明するための図である。図4の(a)は、SDRコンテンツの映像の輝度が定義されているSDRのEOTFを示す図である。図4の(b)は、SDRTVの表示ピーク輝度に合わせて変換されたSDRのEOTFを示す図である。
 図4に示すように、SDRTVの表示ピーク輝度が100nitとは異なる場合(この例では、100nitよりも大きい250nit)、そのSDRTVの輝度の表示性能に応じて、コントラストの相対関係を維持した形で、調整され、表示される。具体的には、SDRのEOTFの輝度を示す変数に対して、SDRTVの表示ピーク輝度に合わせて2.5を乗ずることで、コントラストの相対関係を維持した形でSDRのEOTFを調整し、SDRTVの輝度の表示性能に合わせたEOTFを生成し、当該EOTFを用いてSDR映像をSDRTVに表示させている。これにより、SDRTVの輝度の表示性能がSDRコンテンツの輝度のダイナミックレンジと異なっていても、コンテンツ制作者の意図に近い形での表示を実現している。
 このように、SDR信号で示されるSDR映像をSDRTVで表示する場合、SDRTVは、SDR信号で示されるSDR映像を相対輝度基準で表示している。これに対して、HDR信号で示されるHDR映像をHDRTVで表示する場合、PQカーブが人間の視覚特性(人間が認識可能な全ての輝度範囲)を考慮して考案されたことを理由に、HDRTVに、HDR映像をPQカーブの絶対輝度基準で忠実に表示させることが求められている。
 Blu-ray(登録商標) Disc Association、UHD Alliance等のデジタルAV技術の国際標準化団体は、HDRに対応したコンテンツを、当面10000nitよりも小さい所定輝度(例えば1000nit)を上限としてグレーディング(これ以上の輝度も存在することを許す)することを求めている。
 図5は、HDR信号をHDRTVで表示させる場合の表示処理の一例を説明するための図である。図5の(a)は、HDRコンテンツの映像の輝度が定義されているHDRのEOTFを示す図である。図5の(b)は、HDRTVの表示ピーク輝度に合わせてHDRコンテンツの輝度を変換するためのトーンマッピング処理(輝度変換処理)を示す図である。
 図5に示すように、表示ピーク輝度が所定輝度未満(例えば500nit)のHDRTVに、所定輝度をピーク輝度とするダイナミックレンジで定義されたHDR映像を表示させる場合、当該HDR映像のHDR信号に対して所定のトーンマッピング処理を行うことで、HDRTVにHDR映像のピーク輝度である所定輝度を表現させることが求められている。つまり、HDR映像のピーク輝度がHDRTVで表現できるように、所定輝度をHDRTVの表示ピーク輝度に合わせるトーンマッピング処理を行うことが求められている。
 この場合、輝度成分のみであれば、図5の(b)に示すように、入力輝度と出力輝度との関係を示したニーカーブを用いたニーカーブ処理を含むトーンマッピング処理を行えば映像の輝度をHDRTVの表示ピーク輝度に合わせて変換することができる。しかし、映像信号のRGBの各色に対して独立に、同等のニーカーブ処理を適用した場合、色が変化するおそれがあった。
 所定のトーンマッピング処理では、色が変化しないように、RGBの各色に対して独立に同等の処理を行う必要がある。このとき、所定のトーンマッピング処理の対象となる1画素の色が、ニーカーブさせるポイントにまたがって配置されるRGBの各色の輝度で構成されている場合、所定のトーンマッピング処理後のRGBのバランスが崩れ、トーンマッピング処理前後で色が変化してしまう。つまり、RGBの第1の色(例えばR)ではニーカーブされない輝度範囲の輝度であり、RGBの第1の色とは異なる第2の色(例えばB)ではニーカーブされている輝度範囲の輝度である場合、ニーカーブされていない輝度範囲内にある輝度では輝度が変化せず、ニーカーブされている輝度範囲内にある輝度では輝度が小さく変化する。このため、所定のトーンマッピング処理の前後でRGBの輝度の相対関係が崩れ、色が変化してしまう。また、RGBの各色がニーカーブされている輝度範囲内の輝度であったとしても、ニーカーブされている輝度範囲では、輝度の大きさに応じて輝度が縮小される変化率が異なるため、RGBの輝度の相対関係が崩れてしまう。したがって、所定のトーンマッピング処理の前後での色の変化を低減するために、3次元色変換処理等の複雑な処理が必要とされていた。
 特に、非常にコントラストが高いOLEDの場合は、絶対輝度基準のHDR信号に対してニーカーブでの処理を行うと、色の再現性が高いOLEDであっても、色が変化してしまうため、十分にOLEDの表示性能を引き出せないという課題があった。
 以上の検討を踏まえ、本発明者は、上記課題を解決するために、下記の改善策を検討した。
 本開示の一態様に係る表示方法は、HDR(High Dynamic Range)の輝度およびコード値の対応関係を示す第1EOTF(Electoro-Optical Transfer Function)で映像の輝度が定義されている映像データの映像を表示装置に表示する表示方法であって、前記映像データは、前記映像のピーク輝度を示すピーク輝度情報を含み、前記表示方法では、前記映像データを取得し、前記第1EOTFの一部分であって、取得した前記映像データに含まれる前記ピーク輝度情報により示される前記ピーク輝度を最大輝度とする輝度範囲の部分である第2EOTFに対して、前記第2EOTFの輝度の相対関係を維持したまま、前記第2EOTFの最大輝度を前記表示装置の表示可能輝度に合わせて前記第2EOTFの輝度のダイナミックレンジが縮小された第3EOTFのダイナミックレンジに対応する輝度に、前記映像の輝度を変換する第1変換を行い、前記第1変換の結果を用いて、前記映像を前記表示装置に表示する。
 これによれば、ニーカーブ処理のような輝度変換処理を行うことなく、HDRに対応した映像の輝度のダイナミックレンジを、表示装置の表示可能輝度に合わせて変換することができる。このため、映像データの映像を表示装置の輝度に合わせた輝度変換を容易に行うことができ、かつ、変換前後での色の変化を抑制できる。
 また、前記第3EOTFは、前記表示可能輝度を前記ピーク輝度で除することで得られた値を、前記第2EOTFにおける輝度を表す変数に乗ずることにより、前記第2EOTFの輝度の相対関係を維持したまま前記第2EOTFの最大輝度を前記表示可能輝度に合わせて前記第2EOTFの輝度のダイナミックレンジが縮小されたEOTFであってもよい。
 このため、映像データの映像を表示装置の輝度に合わせた輝度変換を容易に行うことができ、かつ、変換前後での色の変化を抑制できる。
 また、さらに、前記ピーク輝度情報が示す前記ピーク輝度が、前記表示装置が予め記憶している所定輝度を超えるか否かの第1判定を行い、前記第1判定の結果、前記ピーク輝度が前記所定輝度を超えている場合、(i)前記映像の輝度のうち、前記第2EOTFの前記所定輝度から前記ピーク輝度までの輝度範囲における輝度を、前記表示装置が予め記憶している第4EOTFのコード値の範囲を規定したフルレンジよりも狭いナローレンジの上限値に対応する第1輝度から前記フルレンジの上限値に対応する第2輝度までの輝度範囲における輝度に変換する第3変換と、(ii)前記第2EOTFの一部分であって、前記所定輝度を最大輝度とする輝度範囲の部分である第5EOTFに対して、前記第5EOTFの輝度の相対関係を維持したまま、前記第5EOTFの最大輝度を前記第1輝度に合わせて前記第5EOTFの輝度のダイナミックレンジを縮小した第6EOTFに変換し、前記映像の輝度のうち、前記第5EOTFのダイナミックレンジの輝度を、対応する前記第6EOTFのダイナミックレンジの輝度に変換する第4変換と、を含む第2変換を行い、前記第2変換の結果を用いて、前記映像を前記表示装置に表示してもよい。
 これによれば、第1判定の結果、ピーク輝度が所定輝度を超えている場合に、第1変換ではなく第2変換を行っている。このように、ピーク輝度が所定輝度を超える場合には、輝度の相対関係を維持したままでの輝度の変換処理(第1変換)を行わないため、輝度の変換処理の前後において輝度の相対関係は維持されていても、低輝度範囲においては暗くなりすぎることにより見栄えが大きく異なってしまうことを抑制できる。
 また、前記第3変換では、前記映像の輝度のうち、前記第2EOTFの前記所定輝度から前記ピーク輝度までの輝度範囲における輝度を、前記第1輝度および前記ナローレンジの上限値の組と、前記第2輝度と前記フルレンジの上限値の組との間でリニアな関係を満たすように変換してもよい。
 また、前記第1判定の結果、前記ピーク輝度が前記所定輝度以下の場合、前記ピーク輝度を前記表示可能輝度としての前記第1輝度に合わせて前記第2EOTFの輝度のダイナミックレンジを縮小する変換を前記第1変換として行ってもよい。
 これによれば、第1判定の結果、ピーク輝度が所定値以下の場合に、第2変換ではなく第1変換を行っているため、変換処理の前後で見栄えが大きく異なってしまう可能性が少ない場合には、より容易な変換処理を行うことができる。このため、処理負荷を低減させることができる。
 また、前記フルレンジは、コード値が0から1023までの整数値の範囲であり、前記ナローレンジは、コード値が64から940までの整数値の範囲であってもよい。
 また、前記映像データは、さらに、前記映像を構成する複数のフレームそれぞれの平均輝度の最大値である最大フレーム平均輝度を示す最大フレーム平均輝度情報を含み、前記最大フレーム平均輝度情報が示す前記最大フレーム平均輝度が前記ピーク輝度の1/2以下であるか否かを判定する第2判定を行い、前記第2判定の結果、前記最大フレーム平均輝度が前記ピーク輝度の1/2以下である場合、前記所定輝度として前記最大フレーム平均輝度の2倍の値を用いて前記第2変換を行ってもよい。
 このように、第2判定を行うことにより、映像データの映像において、ピーク輝度やピーク輝度に近い輝度を有する画素が含まれる割合が多いか少ないかを判定でき、少ないと判定した場合に、最大フレーム平均輝度の2倍の値を用いて第2変換を行うため、より中間調、暗部の階調性を維持するように映像の輝度を変換して表示できる。このため、映像の輝度のうち、映像に含まれている輝度の割合が大きい輝度範囲の階調性が損なわれることを極力低減できる。
 また、前記映像データは、さらに、前記映像を構成する複数の区間映像のそれぞれについて、当該区間映像のピーク輝度である区間ピーク輝度を示す区間ピーク輝度情報を含み、前記表示方法では、さらに、取得した前記映像データに含まれる前記ピーク輝度情報および前記区間ピーク輝度情報を用いて、前記複数の区間映像のうち連続する2つの前記区間映像間の輝度変化が急激であるか否かを判定する第3判定を行い、前記第3判定の結果、前記輝度変化が急激である場合、前記輝度変化が所定の範囲内に収まるように前記2つの区間映像のうちの少なくとも一方の輝度のダイナミックレンジを変換し、前記第3判定の結果、前記輝度変化が急激でない場合、前記2つの区間映像のそれぞれについて、当該区間映像に対応する前記区間ピーク輝度情報が示す前記区間ピーク輝度を最大輝度とするダイナミックレンジにおけるEOTFを前記第2EOTFとした前記第1変換を行ってもよい。
 このように、連続する区間映像間において急激な輝度変化が発生しているかに応じて処理を切替えるため、映像が急に暗くなったり明るくなったりすることを抑えることができ、映像全体の統一感を損なうことを抑制できる。
 また、さらに、前記表示装置が設置されている空間における環境光を取得し、取得した前記環境光が明るいか否かを判定する第4判定を行い、前記第4判定の結果、前記環境光が明るい場合、前記表示可能輝度としての前記表示装置の表示ピーク輝度に合わせて前記第2EOTFの輝度のダイナミックレンジが縮小された前記第3EOTFとしての第7EOTFを用いた変換を前記第1変換として行い、前記第4判定の結果、前記環境光が暗い場合、前記表示可能輝度としての前記表示ピーク輝度から所定の割合だけ下げた輝度に合わせて前記第2EOTFの輝度のダイナミックレンジが縮された前記第3EOTFとしての第8EOTFを用いた変換を前記第1変換として行ってもよい。
 これにより、絶対輝度で表示させることが前提の映像を表示装置に表示させる場合であっても、視聴環境の明るさに応じた表示を容易に実現できる。
 また、前記表示可能輝度は、前記表示装置の表示ピーク輝度であってもよい。
 このため、表示装置の表示ピーク輝度に合わせて、映像の輝度を変換して表示できる。
 なお、これらの全般包括的または具体的な態様は、装置、システム、集積回路、コンピュータプログラムまたはコンピュータ読み取り可能なCD-ROMなどの記録媒体で実現されてもよく、装置、システム、集積回路、コンピュータプログラムまたは記録媒体の任意な組み合わせで実現されてもよい。
 以下、添付の図面を参照して、本開示の一態様に係る表示方法および表示装置について、具体的に説明する。
 なお、以下で説明する実施の形態は、いずれも本開示の一具体例を示すものである。以下の実施の形態で示される数値、形状、材料、構成要素の配置位置及び接続形態、ステップ、ステップの順序などは、一例であり、本開示を限定する主旨ではない。また、以下の実施の形態における構成要素のうち、最上位概念を示す独立請求項に記載されていない構成要素については、任意の構成要素として説明される。
 本開示は、SMPTE(Society of Motion Picture & Television Engineers) ST2084規格のEOTF(以下、「PQカーブ」という。)で符号化されたダイナミックレンジが高い高輝度信号であるHDR(High Dynamic Range)信号を、HDR信号が対応している輝度のダイナミックレンジにおけるピーク輝度(最大輝度または最高輝度)とは異なる輝度のダイナミックレンジの表示能力を有する表示装置(例えば、TV、プロジェクタ、タブレット、スマートホン等)で表示させることを実現するための、HDR信号形式とそのHDR信号の表示方法および表示装置に関する。
 (実施の形態1)
 以下、図6~図14を用いて実施の形態1について説明する。
 まず、画像の撮影から画像を表示部に表示させるまでの処理の流れについて、図6~図11Bを用いて順に説明する。
 [1-1.画像撮影時の輝度の尺度の考え方]
 図6は、画像撮影時の輝度の尺度を示す図である。
 図6に示すように、カメラで画像を撮影する場合、反射率が18%になるグレーである18%グレーを明るさの基準点として撮影を行う。つまり、18%グレーは、明るさの基準になる基準反射率である。Stop数は、18%グレーにおける輝度を基準点とし、輝度が2倍になる毎に、1ずつ増加するように定義されている。
 実際にカメラで画像を撮影したときに、カメラのイメージセンサ(例えばCMOS、CCDなど)から得られる輝度は、絞り、シャッタースピード、感度設定などによる露出に応じて変化する。つまり、イメージセンサから得られる輝度は、同じ明るさの被写体を撮影したとしても、露出に応じて異なる値となる。このために、Stop数の値自体は絶対的な値では無く、相対的な値である。つまり、Stop数では、輝度を表すことはできない。
 例えば、図6の(1)の夜のシーンを撮影するような場合、黒潰れを起こさないようにするためには、シャッタースピードを遅くする、絞りを開ける等により露出を変えることで、暗い部分の階調を残して、明るい部分を捨てるような露出の設定をカメラに対して行う。
 また、図6の(2)の昼の室内のシーンを撮影するような場合、暗い部分と明るい部分とのバランスが良くなるような露出の設定をカメラに対して行う。また、図6の(3)の昼の屋外のシーンを撮影するような場合、明るい部分の白潰れを防ぐために露出を絞った露出の設定をカメラに対して行う。
 このようにして得られた相対的な輝度を、絶対的な輝度に変換するためには、18%グレーとの相対関係を計算する必要がある。
 [1-2.画像撮影時の輝度]
 図7は、撮影した画像の輝度の例に示す図である。
 図7に示すように、撮影した画像(以下、「原画像」という)10のA)は、明るさの基準になる基準反射率である18%グレー(0 Stop)に対応する輝度(以下、「基準輝度」または「18%グレー(Gray)値」という。)を持つ画素を示す。原画像10のB)は、90%の反射率(90%グレー)(2.3 Stops)に対応する輝度を持つ画素を示す。原画像10のC)は、ほぼ黒の2.3%グレー(-3 Stops)に対応する輝度を持つ画素を示す。原画像10のD)は、太陽を撮影することで得られた画素を示し、非常に明るい輝度が得られており、1150%グレー(6 Stops)に対応する輝度を持つ。原画像10のE)は、鏡面反射を起こしている位置を撮影することで得られた画素を示し、290%グレー(4 Stops)に対応する輝度を持つ。
 [1-3.マスター生成、配信方式、および表示装置の関係]
 図8は、SDRに対応したホームエンターテイメント用マスターを制作するフロー、配信媒体および表示装置の関係について説明するための図である。
 図7で説明したような原画像10は、最大輝度が1300nitの画像である。つまり、原画像10を用いて最大輝度が100nitのSDRに対応したマスター画像(SDR画像)を制作する場合、SDRでは100nit以上の輝度を有する画素を表現することはできないため、原画像の輝度を変換せずにそのまま用いてSDRに対応したマスター画像を制作することはできない。つまり、原画像10を用いてSDRに対応したマスター画像を制作しようとすれば、原画像の輝度をSDRに対応したダイナミックレンジの輝度に変換する必要がある。
 [1-4.原画像からSDR画像へのマスタリング]
 次に、原画像10からSDR画像へのSDRグレーディング処理(マスタリング処理)について説明する。
 まず、カメラで撮った、100nit以上の高輝度成分を持ったコンテンツの映像(画像)をBt709等の放送規格に適応させるために、通常のグレーディング処理で、80nit前後まではそのままリニアに輝度を保持し、それから上の部分は、最高輝度が100nitに収めるように曲げるニーカーブ処理を行う。具体的には、ニーカーブ処理は、一定値以下の輝度をリニアに表示し、一定値以上の輝度を、表示させる表示装置の表示ピーク輝度に合わせて減衰させる処理である。
 図9Aは、図7で示した原画像をSDR画像にマスタリングした結果の輝度の一例を示す図である。図9Bは、原信号値をSDR信号値に変換する(マスタリングする)ための、原信号値とSDR信号値との関係の一例を示す図である。なお、原信号値は、原画像10の0~1300nitのダイナミックレンジにおける輝度(「以下、原画像の輝度」という。)であり、SDR信号値は、SDRの輝度範囲における輝度(以下、「SDRの輝度」という。)である。
 図9Bに示すように、この例における原画像10からSDR画像11へのマスタリングでは、基準反射率である18%グレー(0 Stop)に対応する画素は、明るさの基準になる基準輝度を持つ画素である。このため、SDR画像へのマスタリングでは、原画像10をSDR画像11に変換した後であっても、原画像10における18%グレーに対応する原画像の輝度(18nit)を変更せずに、SDRの輝度として決定する。
 ここで、図9Bに示すように、原画像10からSDR画像11へのマスタリングでは、原画像10の90%グレーに対応する原画像の輝度(90nit)以下の輝度範囲(0~90nit)においては、原画像の輝度を変更せずに、SDRの輝度として決定する。また、図9Bに示すように、原画像10の90%グレーに対応する原画像の輝度(90nit)より大きい原画像10の輝度範囲(90~1300〔nit〕)における原画像の輝度を、90~100nitの輝度範囲のSDRの輝度に、線形変換により割り付ける。
 例えば、SDR画像11のB)のような、90%グレー(2.3 Stops)に対応する画素についてのSDR画像11へのマスタリングでは、原画像10をSDR画像11に変換した後であっても、原画像10における90%グレーに対応する原画像の輝度(90nit)を変更せずに、SDRの輝度として決定する。
 また、例えば、SDR画像11のC)のような、2.3%グレー(-3 Stops)に対応する画素についてのSDR画像へのマスタリングでは、上記と同様に、原画像10をSDR画像11に変換した後であっても、原画像10における2.3%グレーに対応する原画像の輝度(2nit)を変更せずに、SDRの輝度として決定する。
 例えば、SDR画像11のD)のような、1150%グレー(6 Stops)に対応する画素についてのSDR画像へのマスタリングでは、原画像10における1150%グレーに対応する原画像の輝度(1150nit)をSDRの最大輝度である100 nitに変換する。
 また、例えば、SDR画像11のE)のような、290%グレー(4 Stops)に対応する画素についてのSDR画像へのマスタリングでは、原画像10における290%グレーに対応する原画像の輝度を95 nitに変換する。
 [1-5.原画像からHDR画像への第1のマスタリング]
 図10Aは、図7で示した原画像をHDR画像にマスタリングした結果の輝度の一例を示す図である。図10Bは、原信号値をHDR信号値に変換する(マスタリングする)ための、原信号値とHDR信号値との関係の一例を示す図である。なお、HDR信号値は、HDRの輝度範囲における輝度(以下、「HDRの輝度」という。)である。なお、この例における原画像からHDR画像へのマスタリングでは、2000nitまでの輝度をHDRの輝度として割り付けることが許されているため、HDR画像においても原画像の輝度をそのまま保持できる。
 例えば、HDR画像12のA)のような、基準反射率である18%グレー(0 Stop)に対応する画素は、明るさの基準になる基準輝度を持つ画素であるため、HDR画像へのマスタリングでは、原画像10をHDR画像12に変換した後であっても、原画像10における18%グレーに対応する原画像の輝度(18nit)を変更せずに、HDRの輝度として決定する。
 同様にして、例えば、HDR画像12のB)のような、90%グレー(2.3 Stops)に対応する画素と、HDR画像12のC)のような、2.3%グレー(-3 Stops)に対応する画素と、HDR画像12のD)のような、1150%グレー(6 Stops)に対応する画素と、HDR画像12のE)のような、290%グレー(4 Stops)に対応する画素とのそれぞれについて、HDR画像へのマスタリングでは、当該原画像の輝度を変更せずに、HDRの輝度として決定する。
 [1-6.輝度変換の具体例]
 図11Aは、図10Aのマスタリングにより得られたHDR画像を取得して、第2最大輝度が500nitの表示機器用に輝度変換した結果の一例である。図11Bは、HDR信号値をTV信号値に輝度変換するための、HDR信号値とTV信号値との関係の一例を示す図である。
 この例では、HDRTVが表示可能な第2最大輝度が500nitに制限されている。このため、HDR信号が示すHDRの輝度をディスプレイの輝度範囲におけるディスプレイ輝度に変換する必要がある。
 HDR信号を取得し、取得したHDR信号から、明るさの基準になる18%グレー(0 Stop)に対応する輝度(基準輝度)を取り出す。そして、HDR画像13の輝度を示すHDR信号は、基準輝度として36nitを保持しており、基準輝度を製作者が意図的に変えたことが解る。このため、90%グレーに対応する輝度(180nit)以下の、当該HDR信号が示す輝度に対しては、当該HDR信号が示す輝度そのままの値を保持し、90%グレーに対応する輝度(180nit)を超える、当該HDR信号が示す輝度に対しては、当該HDR信号が示す第1最大輝度(HPL:1300nit)が、HDRTVが表示可能な第2最大輝度(DPL:500nit)になるように線形変換を行う。
 つまり、この例の場合の輝度変換(S304)では、基準輝度が第1基準値(18nit)とは異なる第3基準値(36nit)である場合、36nitより大きい第4基準値(90nit)以下の輝度を示すHDR信号について、HDR信号が示すHDRの輝度をディスプレイ輝度として決定する。また、輝度変換(S304)では、90nitを超える輝度を示すHDR信号について、90nitからHDRTVにおいて表示可能な第2最大輝度(DPL)までのHDRの輝度に対して、第1最大輝度(HPL)を第2最大輝度(DPL)に対応させた線形変換を行うことにより、HDRの輝度をディスプレイ輝度に変換する。
 このように輝度変換を行うことにより、HDR画像13の18%グレーに対応する画素A)、HDR画像13の90%グレーに対応する画素B)、および、HDR画像13の2.3%グレーに対応する画素C)については、そのままHDR画像13の輝度を変更せずにディスプレイ輝度として決定する。そして、HDR画像13の1150%グレーに対応する画素D)については、上記線形変換を行うことにより得られた446nitをディスプレイ輝度として決定し、HDR画像13の290%グレーに対応する画素E)については、上記線形変換を行うことにより得られた313nitをディスプレイ輝度として決定する。
 [1-7.表示装置および表示方法]
 次に、実施の形態1の表示方法を行う表示装置について、図12および図13を用いて説明する。
 図12は、実施の形態1に係る表示装置の機能ブロックを示す図である。図13は、表示装置の変換部における変換処理(第1変換)の具体例について説明するための図である。
 図12に示すように、表示装置100は、変換部101と、表示部102とを備える。表示装置100は、HDR映像を表示可能なHDR表示装置であり、例えば、HDRTV、HDR対応のディスプレイなどである。
 変換部101は、HDR信号および静的メタデータ(タイトル毎のピーク輝度情報(The Maximum Content Light Level (MaxCLL))を含む映像データを取得する。変換部101は、取得した静的メタデータに応じてHDR効果を制御し、PQカーブから表示部102が対応している輝度範囲のガンマカーブに変換する処理を行う。変換部101は、具体的には、図13に示すように、MaxCLLの値(例えば800nit)を、HDRTVの表示ピーク輝度(例えば、750nit)に合わせるように、0~800nitの輝度範囲のPQカーブ(第2EOTF)の輝度の相対関係を変えずに、PQカーブの一部からHDRTVの表示ピーク輝度に合わせたガンマカーブ(第3EOTF)に変換する。変換部101は、例えば、プロセッサ、プログラムを記憶しているメモリなどにより実現される。
 言い換えると、変換部101は、第1EOTFとしてのPQカーブの一部分である第2EOTFに対して、第2EOTFの輝度の相対関係を維持したまま、第2EOTFの最大輝度を表示装置100の表示部102の表示可能輝度(例えば、表示ピーク輝度)に合わせて第2EOTFの輝度のダイナミックレンジが縮小された第3EOTFのダイナミックレンジに対応する輝度に、前記映像の輝度を変換する第1変換を行う。なお、この場合の表示部102の表示可能輝度は、具体的には、表示部102の表示ピーク輝度である。このように、変換部101は、輝度がPQカーブにより定義されたHDRコンテンツの映像データをHDRTVに表示する際に、複雑な回路が必要なニーカーブを使ったトーンマッピング処理を行わないため、映像の各画素の色を変換部101における第1変換の前後で変化させることを抑制できる。
 ここで、第1EOTFは、HDRの輝度およびコード値の対応関係を示す。第2EOTFは、第1EOTFのうちの、0nitを最小輝度とし、かつ、取得した映像データに含まれるピーク輝度情報により示されるピーク輝度を最大輝度とする輝度範囲で切り取られたEOTFである。
 なお、第3EOTFは、例えば、表示可能輝度をピーク輝度情報により示されるピーク輝度で除することで得られた値を、PQカーブの一部である第2EOTFにおける輝度を表す変数に乗ずることにより、第2EOTFの輝度の相対関係を維持したまま第2EOTFの最大輝度を表示可能輝度に合わせて第2EOTFの輝度のダイナミックレンジが縮小されたEOTFである。つまり、第2EOTFの輝度の相対関係とは、第2EOTFで対応づけられている複数の輝度およびコード値の組について、互いに異なる複数のコード値に対応づけられた複数の輝度間の比率である。よって、第2EOTFの輝度の相対関係を維持したまま変換するとは、第2EOTF上の第1変換前輝度と、第1変換前輝度とは異なる第2EOTF上の第2変換前輝度とがある場合であって、第1変換前輝度の変換後を第1変換後輝度とし、第2変換前輝度の変換後を第2変換後輝度とした場合、第1変換前輝度および第2変換前輝度の第1比率と、第1変換後輝度および第2変換後輝度の第2比率とが略等しくなるように(変換後の第1比率と第2比率との間の誤差が所定の閾値以内となるように)変換することである。
 表示部102は、変換部101における第1変換の結果を用いて映像を表示する。表示部102は、例えば、LCDパネル、バックライト、LCDパネルの駆動回路、バックライトの制御回路などにより実現される。
 なお、第3EOTFは、第1変換が行われることで、PQカーブの一部である第2EOTFの輝度の相対関係を維持したまま生成される。このため、表示部102は、コンテンツ制作時のコントラストの関係を維持して入力された映像データの映像を表示することができる。なお、このとき表示部102は、各画素の絶対輝度は維持せずに、コンテンツ制作時の絶対輝度とは異なる輝度であって、各画素間のコントラスト比を維持した映像を表示する。
 次に、表示装置100の変換部101の変換処理の他の具体例について説明する。図14は、変換部における変換処理の他の具体例について説明するための図である。
 図14に示すように、HDRコンテンツの映像データのMaxCLLが所定輝度(例えば1000nit)を超える場合、MaxCLLまで相対関係を維持したまま輝度を変換すれば、映像の全体の輝度に対する縮小率が小さくなるため、変換前における低輝度範囲の輝度(例えば100nit以下の輝度)が変換後においては非常に小さくなる。このため、MaxCLLの値が所定輝度を超える場合であっても一様に輝度の相対関係を維持したまま輝度の変換処理を行えば、変換処理の前後において輝度の相対関係は維持されていても、低輝度範囲においては暗くなりすぎることにより見栄えが大きく異なってしまう可能性がある。このため、映像の輝度のうち、所定輝度以下の輝度範囲におけるは相対関係を維持する第1変換を行い、所定輝度以上の領域は、Sperkle領域として、SDRのSuper Whiteと同じ処理としての第2変換を行う。
 具体的には、変換部101は、映像データのMaxCLLが1000nitを超える場合は、当該MaxCLLを、フルレンジ(後述参照)の上限のコード値(CV)である1023に設定し、映像の輝度のうち、1000nitからMaxCLLまでの輝度範囲の輝度をリニアに表現する第3変換と、1000nitに対応する値をナローレンジ(後述参照)の上限のコード値(CV)である940にし、映像の輝度のうち、0nitから1000nitまでの輝度範囲の輝度を、図13を用いて説明した第1変換と同様に、輝度の相対関係を維持した上で輝度のダイナミックレンジを縮小する第4変換とを行い、第3変換および第4変換を含む第2変換の結果を用いて映像を表示する。一方で、変換部101は、映像データのMaxCLLが1000nit以下の場合は、当該MaxCLLを、ナローレンジの上限のコード値(CV)である940に設定する第1変換を行う。
 要するに、変換部101は、ピーク輝度情報が示すピーク輝度が、表示装置100が予め記憶している所定輝度(例えば、1000nit)を超えるか否かの第1判定を行い、第1判定の結果に応じて、第1変換および第2変換の1つを選択的に行う。具体的には、第1判定の結果、ピーク輝度が所定輝度を超えている場合、第1変換とは異なる第2変換を行う。第2変換は、所定輝度からピーク輝度までの輝度範囲における輝度を変換する第3変換と、0nitから所定輝度までの輝度範囲における輝度を変換する第4変換とを含む変換である。
 第3変換では、第2EOTFの所定輝度からピーク輝度情報が示すピーク輝度までの輝度範囲における映像の輝度を、コード値のナローレンジの上限値である940に対応する第1輝度からコード値のフルレンジの上限値である1023に対応する第2輝度までの輝度範囲における輝度に変換する。また、第3変換では、映像の輝度のうち、第2EOTFの所定輝度からピーク輝度までの輝度範囲における輝度を、第1輝度およびナローレンジの上限値の組と、第2輝度とフルレンジの上限値の組との間でリニアな関係を満たすように変換する。
 ここでフルレンジとは、表示装置100が予め記憶している第4EOTFのコード値が規定された範囲であり、当該コード値が10bitで規定されている場合には、例えば、0から1023までの整数値の範囲である。つまり、フルレンジは、輝度のコード値をビット長で表現できる整数値のうち、最小値から最大値までが使用された範囲である。また、ナローレンジとは、フルレンジよりも狭い範囲であり、当該コード値が10bitで規定されている場合には、例えば、64から940までの整数値の範囲である。つまり、ナローレンジは、輝度のコード値をビット長で表現できる整数値のうち、フルレンジよりも狭い範囲の整数値が使用された範囲である。
 第4変換では、第2EOTFの一部分であって、所定輝度を最大輝度とする輝度範囲の部分である第5EOTFに対して、第5EOTFの輝度の相対関係を維持したまま、第5EOTFの最大輝度を第1輝度に合わせて第5EOTFの輝度のダイナミックレンジを縮小した第6EOTFに変換し、映像の第5EOTFのダイナミックレンジの輝度を、対応する第6EOTFのダイナミックレンジの輝度に変換する。
 一方で、変換部101は、第1判定の結果、ピーク輝度が所定輝度以下の場合、ピーク輝度を、表示可能輝度としての第1輝度に合わせて第2EOTFの輝度のダイナミックレンジを縮小する変換を第1変換として行う。
 この場合、表示部102は、第1変換の結果または第2変換の結果を用いて、映像を表示する。
 [1-8.効果等]
 本実施の形態に係る表示方法によれば、ニーカーブ処理のような輝度変換処理を行うことなく、HDRに対応した映像の輝度のダイナミックレンジを、表示装置の表示ピーク輝度に合わせて変換することができる。このため、HDRに対応した映像データの映像を表示ピーク輝度に合わせた輝度変換を容易に行うことができ、かつ、変換前後での色の変化を抑制できる。
 また、本実施の形態に係る表示方法によれば、第1判定の結果、ピーク輝度が所定輝度を超えている場合に、第1変換ではなく第2変換を行っている。このように、ピーク輝度が所定輝度を超える場合には、輝度の相対関係を維持したままでの輝度の変換処理(第1変換)を行わないため、輝度の変換処理の前後において輝度の相対関係は維持されていても、低輝度範囲においては暗くなりすぎることにより見栄えが大きく異なってしまうことを抑制できる。
 また、本実施の形態に係る表示方法によれば、第1判定の結果、ピーク輝度が所定値以下の場合に、第2変換ではなく第1変換を行っているため、変換処理の前後で見栄えが大きく異なってしまう可能性が少ない場合には、より容易な変換処理を行うことができる。このため、処理負荷を低減させることができる。
 [1-9.変形例1]
 上記実施の形態では、第1判定の判定基準となる所定輝度として例えば1000nitを採用したが、以下の値を採用してもよい。
 例えば、映像を構成する複数のフレームそれぞれの平均輝度の最大値である最大フレーム平均輝度を示す最大フレーム平均輝度情報(MaxFALL:The Maximum Frame-Average Light Level)の値に応じて所定輝度を決定してもよい。なお、最大フレーム平均輝度情報は、映像データに含まれる静的メタデータに含まれる情報である。
 具体的な処理としては、変換部101は、最大フレーム平均輝度情報が示す最大フレーム平均輝度がピーク輝度の1/2以下であるか否かを判定する第2判定を行う。そして、変換部101は、第2判定の結果、最大フレーム平均輝度がピーク輝度の1/2以下である場合、所定輝度として最大フレーム平均輝度の2倍の値を用いて第2変換を行う。
 このように、第2判定を行うことにより、映像データの映像において、ピーク輝度やピーク輝度に近い輝度を有する画素が含まれる割合が多いか少ないかを判定でき、少ないと判定した場合に、最大フレーム平均輝度の2倍の値を用いて第2変換を行うため、より中間調、暗部の階調性を維持するように映像の輝度を変換して表示できる。このため、映像の輝度のうち、映像に含まれている輝度の割合が大きい輝度範囲の階調性が損なわれることを極力低減できる。
 [1-10.変形例2]
 上記実施の形態では、変換部101は、静的メタデータに含まれるピーク輝度情報を用いて、コンテンツごとに第1変換または第2変換を行うとしたが、これに限らない。例えば、コンテンツに動的メタデータが含まれる場合には、当該コンテンツの映像データの映像を構成する複数の区間映像(カット、一連のシーケンス)のそれぞれについて、当該区間映像に対応する動的メタデータを静的メタデータであるMaxCLLの代わりに用いて、第1変換または第2変換を行ってもよい。なお、動的メタデータは、複数の区間映像のそれぞれについて、当該区間映像のピーク輝度(区間ピーク輝度)を示す区間ピーク輝度情報(The Maximum Sequence Light Level:MaxSLL)である。これにより、より効率的にHDRTVのピーク輝度を使ってHDRコンテンツを表示することができる。
 なお、各区間映像に対応する区間ピーク輝度がHDRTVの表示ピーク輝度よりも低い場合は、相対関係を維持して明るい方向に伸長する変換処理を行わずに、当該区間映像の輝度をそのまま表示してもよい。
 また、各区間映像に対応する区間ピーク輝度がピーク輝度に比べ大幅に低い場合(例1/2以下)や連続する区間映像の区間ピーク輝度が互いに大幅に異なる場合(50%以上の差)は、そのまま、上記処理を行うと、低輝度範囲(暗部)が急に明るくなり映像全体の統一感が取れなくなる恐れがある。このため、そのまま区間ピーク輝度を用いるのではなく、区間ピーク輝度(MaxSLL)に対して、例えば、(MaxCLL+MaxSLL)/2、(MaxSLL(x)+MaxSLL(X+1))/2などの補正を行った上で、補正後の数値を用いて上記処理を行うことで、急激な輝度変化を抑えてもよい。
 つまり、変換部101は、取得した映像データに含まれるピーク輝度情報および区間ピーク輝度情報を用いて、複数の区間映像のうち連続する2つの区間映像間の輝度変化が急激であるか否かを判定する第3判定を行う。そして、変換部101は、第3判定の結果、輝度変化が急激である場合、輝度変化が所定の範囲内に収まるように2つの区間映像のうちの少なくとも一方の輝度のダイナミックレンジを変換する。また、変換部101は、第3判定の結果、輝度変化が急激でない場合、2つの区間映像のそれぞれについて、当該区間映像に対応する区間ピーク輝度情報が示す区間ピーク輝度を最大輝度とするダイナミックレンジにおけるEOTFを第2EOTFとした第1変換を行う。このように、連続する区間映像間において急激な輝度変化が発生しているかに応じて処理を切替えるため、映像が急に暗くなったり明るくなったりすることを抑えることができ、映像全体の統一感を損なうことを抑制できる。
 (実施の形態2)
 次に、図15および図16を用いて実施の形態2について説明する。
 [2-1.第2の課題]
 HDRコンテンツにおける映像の輝度のダイナミックレンジを縮小して、HDRTVに表示させる表示方法には、SDRコンテンツにおける映像の輝度のダイナミックレンジを変更してSDRTVに表示させる場合とは異なり、次のような課題もある。
 図15は、視聴環境に明るさに応じてSDR信号をSDRTVで表示させる場合の表示処理の一例を説明するための図である。
 図4において説明したように、SDRTVでは、SDRコンテンツのSDR信号を、SDRのEOTF(ガンマカーブ)を用いて、逆量子化することにより、絶対輝度ではなく相対輝度(コントラスト比)を維持して表示させている。ところで、図15に示すように、SDRTVに調光素子を設け、調光素子により取得された視聴環境の明るさに応じて、表示部のバックライトの発光強度を動的に変えることにより、SDRTVの視聴環境の明るさに応じて、SDRコンテンツの暗部と明部とのコントラスト比を保って表示する方法がある。
 図15の例では、図15の(a)に示すSDRのEOTFに対応したSDRコンテンツを、SDRTVに表示させる場合に、視聴環境が暗室であるか明るい室であるかに応じて表示制御を変更している。SDRTVは、表示ピーク輝度がSDRのEOTF(ガンマカーブ)の輝度のダイナミックレンジのピーク輝度である100nitを超える輝度(例えば250nit)を表示する能力を有する。このようなSDRTVにおいて、視聴環境が暗室であると判定されれば、図15の(b)の(b-1)に示すように、表示させるピーク輝度を100nitに抑えて表示する。一方で、視聴環境が明るい室であると判定されれば、図15の(b)の(b-2)に示すように表示させるピーク輝度を最大の250nitに引き延ばして表示する。このように、SDRTVでは、SDRコンテンツのSDR信号の映像の輝度が相対輝度によって管理されているため、相対輝度を維持したままSDRTVに表示させる映像のピーク輝度を視聴環境の明るさに応じて変更することが容易にできる。
 SDR信号の映像の輝度の相対関係を維持したまま表示させるSDRTVだけでなく、撮影した映像の絶対輝度がPQカーブで量子化されることにより得られたHDR信号の映像を表示させるHDRTVに対しても、絶対輝度で表示するのではなく、視聴環境の明るさ(暗室、暗い部屋、やや明るい部屋等)に応じて映像の輝度のダイナミックレンジを変更させる表示制御を行うことが求められている。つまり、HDRTVに対しても、SDRTVと同様に、視聴環境の明るさが変わっても、適切なコントラスト比を維持して表示させる表示制御を行うことにより、できるだけ同じようなHDR効果を視聴者に提供することが求められている。
 しかしながら、HDRコンテンツのHDR映像は、絶対輝度で表示させることが前提でコンテンツ制作者に作成されているため、映像の輝度に相対輝度を維持したまま、映像の輝度を変換する変換方法をHDR信号の映像にそのまま適用しても、適切な輝度の映像を表示部に表示させることが難しい。
 また、HDRコンテンツのHDR映像の場合は、ピーク輝度が800~4000nit程度まであることが多いため、通常のHDRTVのピーク輝度を超えてしまう。このため、視聴環境が暗い場合であっても、HDR映像のピーク輝度を表示するために、バックライトの発光強度を最大にする必要があり、バックライトの制御のみでは、視聴環境に応じた対応が困難である。
 さらに、HDRのEOTF(PQカーブ)の輝度のダイナミックレンジは、0~10,000nitであり、SDRのEOTF(ガンマカーブ)の輝度のダイナミックレンジは、0~100nitであるため、HDRのEOTFの方がSDRのEOTFに比べ輝度のダイナミックレンジが100倍大きい。また、コンテンツ自体も、SDR映像の場合は、0~100nitをフルに使って表示装置に表示できるが、HDR映像の場合は、0~10,000nitの輝度のダイナミックレンジを使って表示装置に表示することはまれで、ピーク輝度が800~4000nit程度の映像を表示装置に表示する可能性が高い。つまり、SDR映像をSDRTVに表示させる場合のように、単純に、HDR映像をHDRのEOTFの輝度のダイナミックレンジのピーク輝度をHDRTVの表示ピーク輝度に合わせるようなバックライト制御のみでは対応できない。
 [2-2.表示装置および表示方法]
 次に、実施の形態2の表示方法を行う表示装置について図16を用いて説明する。
 図16は、実施の形態2に係る表示装置の機能ブロックを示す図である。
 図16に示すように、表示装置100aは、変換部101aと、表示部102と、視聴環境光入力部103とを備える。なお、表示部102は、実施の形態1の表示装置100の表示部102と同様の構成であるため、詳細な説明を省略する。
 視聴環境光入力部103は、表示装置100aが設置されている空間の環境光の強度(つまり、視聴環境の明るさ)を検出し、検出結果を変換部101aに送る。視聴環境光入力部103は、例えば、照度センサなどにより実現される。
 変換部101aは、視聴環境光入力部103により検出された環境光の強度に応じて、環境光が明るいか否かを判定する第4判定を行う。そして、変換部101aは、第4判定の結果、環境光が明るい場合、第3EOTFとして第7EOTFを用いた変換を第1変換として行う。第7EOTFは、表示装置の表示ピーク輝度を表示可能輝度として、当該表示可能輝度に合わせて第2EOTFの輝度のダイナミックレンジが縮小されたEOTFである。また、変換部101aは、第4判定の結果、環境光が暗い場合、第3EOTFとして第8EOTFを用いた変換を第1変換として行う。第8EOTFは、表示装置の表示ピーク輝度から所定の割合だけ下げた輝度似合わせて第2EOTFの輝度のダイナミックレンジが縮小されたEOTFである。
 具体的には、検出した環境光の強度が所定の閾値以下であり、視聴環境が暗いと判定した場合は、表示部102のバックライトの発光強度を最大とせずにバックライトの最大の発光強度から例えば20%下げた発光強度とする。また、検出した環境光の強度が所定の閾値を超えており、視聴環境が明るいと判定した場合、バックライトの発光強度を最大とする。なお、視聴環境が暗いと判定した場合には、表示ピーク輝度から20%下げた輝度に合わせて第1変換を行い、視聴環境が明るいと判定した場合には、表示ピーク輝度似合わせて第1変換を行う。
 これにより、絶対輝度で表示させることが前提のHDR映像をHDRTVに表示させる場合であっても、視聴環境の明るさに応じた表示を容易に実現できる。
 (他の実施の形態)
 なお、上記各実施の形態において、各構成要素は、専用のハードウェアで構成されるか、各構成要素に適したソフトウェアプログラムを実行することによって実現されてもよい。各構成要素は、CPUまたはプロセッサなどのプログラム実行部が、ハードディスクまたは半導体メモリなどの記録媒体に記録されたソフトウェアプログラムを読み出して実行することによって実現されてもよい。ここで、上記各実施の形態の表示方法などを実現するソフトウェアは、次のようなプログラムである。
 すなわち、このプログラムは、コンピュータに、HDR(High Dynamic Range)の輝度およびコード値の対応関係を示す第1EOTF(Electoro-Optical Transfer Function)で映像の輝度が定義されている映像データの映像を表示装置に表示する表示方法であって、前記映像データは、前記映像のピーク輝度を示すピーク輝度情報を含み、前記表示方法では、前記映像データを取得し、前記第1EOTFの一部分であって、取得した前記映像データに含まれる前記ピーク輝度情報により示される前記ピーク輝度を最大輝度とする輝度範囲の部分である第2EOTFに対して、前記第2EOTFの輝度の相対関係を維持したまま、前記第2EOTFの最大輝度を前記表示装置の表示可能輝度に合わせて前記第2EOTFの輝度のダイナミックレンジが縮小された第3EOTFのダイナミックレンジに対応する輝度に、前記映像の輝度変換する第1変換を行い、前記第1変換の結果を用いて、前記映像を前記表示装置に表示する表示方法を実行させる。
 以上、本開示の一つまたは複数の態様に係る表示方法および表示装置について、実施の形態に基づいて説明したが、本開示は、この実施の形態に限定されるものではない。本開示の趣旨を逸脱しない限り、当業者が思いつく各種変形を本実施の形態に施したものや、異なる実施の形態における構成要素を組み合わせて構築される形態も、本開示の一つまたは複数の態様の範囲内に含まれてもよい。
 本開示は、HDRに対応した映像データの映像を表示ピーク輝度に合わせた輝度変換を容易に行うことができ、かつ、変換前後での色の変化を抑制できる表示方法、表示装置などとして有用である。
100,100a 表示装置
101,101a 変換部
102 表示部
103 視聴環境光入力部

Claims (11)

  1.  HDR(High Dynamic Range)の輝度およびコード値の対応関係を示す第1EOTF(Electoro-Optical Transfer Function)で映像の輝度が定義されている映像データの映像を表示装置に表示する表示方法であって、
     前記映像データは、前記映像のピーク輝度を示すピーク輝度情報を含み、
     前記表示方法では、
     前記映像データを取得し、
     前記第1EOTFの一部分であって、取得した前記映像データに含まれる前記ピーク輝度情報により示される前記ピーク輝度を最大輝度とする輝度範囲の部分である第2EOTFに対して、前記第2EOTFの輝度の相対関係を維持したまま、前記第2EOTFの最大輝度を前記表示装置の表示可能輝度に合わせて前記第2EOTFの輝度のダイナミックレンジが縮小された第3EOTFのダイナミックレンジに対応する輝度に、前記映像の輝度を変換する第1変換を行い、
     前記第1変換の結果を用いて、前記映像を前記表示装置に表示する
     表示方法。
  2.  前記第3EOTFは、前記表示可能輝度を前記ピーク輝度で除することで得られた値を、前記第2EOTFにおける輝度を表す変数に乗ずることにより、前記第2EOTFの輝度の相対関係を維持したまま前記第2EOTFの最大輝度を前記表示可能輝度に合わせて前記第2EOTFの輝度のダイナミックレンジが縮小されたEOTFである
     請求項1に記載の表示方法。
  3.  さらに、
     前記ピーク輝度情報が示す前記ピーク輝度が、前記表示装置が予め記憶している所定輝度を超えるか否かの第1判定を行い、
     前記第1判定の結果、前記ピーク輝度が前記所定輝度を超えている場合、
     (i)前記映像の輝度のうち、前記第2EOTFの前記所定輝度から前記ピーク輝度までの輝度範囲における輝度を、前記表示装置が予め記憶している第4EOTFのコード値の範囲を規定したフルレンジよりも狭いナローレンジの上限値に対応する第1輝度から前記フルレンジの上限値に対応する第2輝度までの輝度範囲における輝度に変換する第3変換と、(ii)前記第2EOTFの一部分であって、前記所定輝度を最大輝度とする輝度範囲の部分である第5EOTFに対して、前記第5EOTFの輝度の相対関係を維持したまま、前記第5EOTFの最大輝度を前記第1輝度に合わせて前記第5EOTFの輝度のダイナミックレンジを縮小した第6EOTFに変換し、前記映像の輝度のうち、前記第5EOTFのダイナミックレンジの輝度を、対応する前記第6EOTFのダイナミックレンジの輝度に変換する第4変換と、を含む第2変換を行い、
     前記第2変換の結果を用いて、前記映像を前記表示装置に表示する
     請求項1または2に記載の表示方法。
  4.  前記第3変換では、前記映像の輝度のうち、前記第2EOTFの前記所定輝度から前記ピーク輝度までの輝度範囲における輝度を、前記第1輝度および前記ナローレンジの上限値の組と、前記第2輝度と前記フルレンジの上限値の組との間でリニアな関係を満たすように変換する
     請求項3に記載の表示方法。
  5.  前記第1判定の結果、前記ピーク輝度が前記所定輝度以下の場合、前記ピーク輝度を前記表示可能輝度としての前記第1輝度に合わせて前記第2EOTFの輝度のダイナミックレンジを縮小する変換を前記第1変換として行う
     請求項3または4に記載の表示方法。
  6.  前記フルレンジは、コード値が0から1023までの整数値の範囲であり、
     前記ナローレンジは、コード値が64から940までの整数値の範囲である
     請求項3から5のいずれか1項に記載の表示方法。
  7.  前記映像データは、さらに、前記映像を構成する複数のフレームそれぞれの平均輝度の最大値である最大フレーム平均輝度を示す最大フレーム平均輝度情報を含み、
     前記最大フレーム平均輝度情報が示す前記最大フレーム平均輝度が前記ピーク輝度の1/2以下であるか否かを判定する第2判定を行い、
     前記第2判定の結果、前記最大フレーム平均輝度が前記ピーク輝度の1/2以下である場合、前記所定輝度として前記最大フレーム平均輝度の2倍の値を用いて前記第2変換を行う
     請求項3から6のいずれか1項に記載の表示方法。
  8.  前記映像データは、さらに、前記映像を構成する複数の区間映像のそれぞれについて、当該区間映像のピーク輝度である区間ピーク輝度を示す区間ピーク輝度情報を含み、
     前記表示方法では、さらに、
     取得した前記映像データに含まれる前記ピーク輝度情報および前記区間ピーク輝度情報を用いて、前記複数の区間映像のうち連続する2つの前記区間映像間の輝度変化が急激であるか否かを判定する第3判定を行い、
     前記第3判定の結果、前記輝度変化が急激である場合、前記輝度変化が所定の範囲内に収まるように前記2つの区間映像のうちの少なくとも一方の輝度のダイナミックレンジを変換し、
     前記第3判定の結果、前記輝度変化が急激でない場合、前記2つの区間映像のそれぞれについて、当該区間映像に対応する前記区間ピーク輝度情報が示す前記区間ピーク輝度を最大輝度とするダイナミックレンジにおけるEOTFを前記第2EOTFとした前記第1変換を行う
     請求項1から7のいずれか1項に記載の表示方法。
  9.  さらに、
     前記表示装置が設置されている空間における環境光を取得し、
     取得した前記環境光が明るいか否かを判定する第4判定を行い、
     前記第4判定の結果、前記環境光が明るい場合、前記表示可能輝度としての前記表示装置の表示ピーク輝度に合わせて前記第2EOTFの輝度のダイナミックレンジが縮小された前記第3EOTFとしての第7EOTFを用いた変換を前記第1変換として行い、
     前記第4判定の結果、前記環境光が暗い場合、前記表示可能輝度としての前記表示ピーク輝度から所定の割合だけ下げた輝度に合わせて前記第2EOTFの輝度のダイナミックレンジが縮された前記第3EOTFとしての第8EOTFを用いた変換を前記第1変換として行う
     請求項1から8のいずれか1項に記載の表示方法。
  10.  前記表示可能輝度は、前記表示装置の表示ピーク輝度である
     請求項1または2に記載の表示方法。
  11.  HDR(High Dynamic Range)の輝度およびコード値の対応関係を示す第1EOTF(Electoro-Optical Transfer Function)で映像の輝度が定義されている映像データの映像を表示する表示装置であって、
     前記映像データは、前記映像のピーク輝度を示すピーク輝度情報を含み、
     前記表示装置は、
     前記映像データを取得し、前記第1EOTFの一部分であって、取得した前記映像データに含まれる前記ピーク輝度情報により示される前記ピーク輝度を最大輝度とする輝度範囲における第2EOTFに対して、前記第2EOTFの輝度の相対関係を維持したまま、前記第2EOTFの最大輝度を前記表示装置の表示可能輝度に合わせて前記第2EOTFの輝度のダイナミックレンジが縮小された第3EOTFのダイナミックレンジに対応する輝度に、前記映像の輝度を変換する第1変換を行う変換部と、
     前記変換部における前記第1変換の結果を用いて、前記映像を表示する表示部と、を備える
     表示装置。
PCT/JP2016/000626 2015-05-12 2016-02-08 表示方法および表示装置 WO2016181584A1 (ja)

Priority Applications (6)

Application Number Priority Date Filing Date Title
EP16792319.2A EP3297288B1 (en) 2015-05-12 2016-02-08 Display method and display device
MX2017013542A MX369783B (es) 2015-05-12 2016-02-08 Metodo de presentacion visual y dispositivo de presentacion visual.
CN201680008002.2A CN107211183B (zh) 2015-05-12 2016-02-08 显示方法和显示装置
EP20179890.7A EP3731532A1 (en) 2015-05-12 2016-02-08 Conversion of high dynamix range (hdr) luminance
US15/728,550 US10462407B2 (en) 2015-05-12 2017-10-10 Display method and display device
US16/575,729 US10992898B2 (en) 2015-05-12 2019-09-19 Display method and display device

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US201562160016P 2015-05-12 2015-05-12
US62/160,016 2015-05-12
JP2015-248025 2015-12-18
JP2015248025A JP6731722B2 (ja) 2015-05-12 2015-12-18 表示方法および表示装置

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US15/728,550 Continuation US10462407B2 (en) 2015-05-12 2017-10-10 Display method and display device

Publications (1)

Publication Number Publication Date
WO2016181584A1 true WO2016181584A1 (ja) 2016-11-17

Family

ID=57248909

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2016/000626 WO2016181584A1 (ja) 2015-05-12 2016-02-08 表示方法および表示装置

Country Status (1)

Country Link
WO (1) WO2016181584A1 (ja)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018047753A1 (ja) * 2016-09-09 2018-03-15 パナソニックIpマネジメント株式会社 表示装置および信号処理方法
JP2018093386A (ja) * 2016-12-05 2018-06-14 キヤノン株式会社 符号化装置及び符号化方法
WO2019053916A1 (ja) * 2017-09-13 2019-03-21 パナソニックIpマネジメント株式会社 映像表示装置及び映像表示方法
EP3694217A4 (en) * 2017-10-06 2020-12-02 Panasonic Intellectual Property Management Co., Ltd. IMAGE DISPLAY DEVICE AND IMAGE DISPLAY METHOD

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014532195A (ja) * 2011-09-27 2014-12-04 コーニンクレッカ フィリップス エヌ ヴェ 画像のダイナミックレンジ変換のための装置及び方法

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014532195A (ja) * 2011-09-27 2014-12-04 コーニンクレッカ フィリップス エヌ ヴェ 画像のダイナミックレンジ変換のための装置及び方法

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018047753A1 (ja) * 2016-09-09 2018-03-15 パナソニックIpマネジメント株式会社 表示装置および信号処理方法
JP2018093386A (ja) * 2016-12-05 2018-06-14 キヤノン株式会社 符号化装置及び符号化方法
WO2019053916A1 (ja) * 2017-09-13 2019-03-21 パナソニックIpマネジメント株式会社 映像表示装置及び映像表示方法
JPWO2019053916A1 (ja) * 2017-09-13 2019-11-07 パナソニックIpマネジメント株式会社 映像表示装置及び映像表示方法
EP3694217A4 (en) * 2017-10-06 2020-12-02 Panasonic Intellectual Property Management Co., Ltd. IMAGE DISPLAY DEVICE AND IMAGE DISPLAY METHOD
EP3694216A4 (en) * 2017-10-06 2020-12-02 Panasonic Intellectual Property Management Co., Ltd. IMAGE DISPLAY SYSTEM AND IMAGE DISPLAY METHOD

Similar Documents

Publication Publication Date Title
JP6731722B2 (ja) 表示方法および表示装置
US10891722B2 (en) Display method and display device
JP7126184B2 (ja) 表示装置、変換装置、表示方法、および、コンピュータプログラム
JP5991502B2 (ja) 変換方法および変換装置
JP2021193806A (ja) カラー・ピクチャを符号化および復号する方法および装置
CN110545413A (zh) 用于执行高动态范围视频的色调映射的方法及装置
JP6891882B2 (ja) 画像処理装置、および画像処理方法、並びにプログラム
JP6948309B2 (ja) パラメトリック・トーン調整関数を使用してピクチャをトーン・マッピングする方法およびデバイス
WO2016181584A1 (ja) 表示方法および表示装置
JP6980858B2 (ja) 表示方法および表示装置
WO2016189774A1 (ja) 表示方法および表示装置
TW202404342A (zh) 產生高動態範圍影像的方法及影像處理系統

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 16792319

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: MX/A/2017/013542

Country of ref document: MX

REEP Request for entry into the european phase

Ref document number: 2016792319

Country of ref document: EP

NENP Non-entry into the national phase

Ref country code: DE