WO2016181819A1 - 画像処理装置、および画像処理方法、並びにプログラム - Google Patents

画像処理装置、および画像処理方法、並びにプログラム Download PDF

Info

Publication number
WO2016181819A1
WO2016181819A1 PCT/JP2016/062983 JP2016062983W WO2016181819A1 WO 2016181819 A1 WO2016181819 A1 WO 2016181819A1 JP 2016062983 W JP2016062983 W JP 2016062983W WO 2016181819 A1 WO2016181819 A1 WO 2016181819A1
Authority
WO
WIPO (PCT)
Prior art keywords
signal
input
image
output
gamma
Prior art date
Application number
PCT/JP2016/062983
Other languages
English (en)
French (fr)
Inventor
江藤 博昭
秀考 本地
Original Assignee
ソニー株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニー株式会社 filed Critical ソニー株式会社
Priority to KR1020177031563A priority Critical patent/KR20180006898A/ko
Priority to JP2017517866A priority patent/JP6760274B2/ja
Priority to US15/564,048 priority patent/US10565694B2/en
Priority to EP16792544.5A priority patent/EP3296985A4/en
Priority to CN201680025534.7A priority patent/CN107533832B/zh
Publication of WO2016181819A1 publication Critical patent/WO2016181819A1/ja

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/14Picture signal circuitry for video frequency region
    • H04N5/20Circuitry for controlling amplitude response
    • H04N5/202Gamma control
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/90Dynamic range modification of images or parts thereof
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/20Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/003Details of a display terminal, the details relating to the control arrangement of the display terminal and to the interfaces thereto
    • G09G5/005Adapting incoming signals to the display format of the display terminal
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/10Intensity circuits
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/36Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
    • G09G5/39Control of the bit-mapped memory
    • G09G5/391Resolution modifying circuits, e.g. variable screen formats
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/40Picture signal circuits
    • H04N1/407Control or modification of tonal gradation or of extreme levels, e.g. background level
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/46Colour picture communication systems
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/12Picture reproducers
    • H04N9/31Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3179Video signal processing therefor
    • H04N9/3182Colour adjustment, e.g. white balance, shading or gamut
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/64Circuits for processing colour signals
    • H04N9/68Circuits for processing colour signals for controlling the amplitude of colour signals, e.g. automatic chroma control circuits
    • H04N9/69Circuits for processing colour signals for controlling the amplitude of colour signals, e.g. automatic chroma control circuits for modifying the colour signals by gamma correction
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00Control of display operating conditions
    • G09G2320/02Improving the quality of display appearance
    • G09G2320/0271Adjustment of the gradation levels within the range of the gradation scale, e.g. by redistribution or clipping
    • G09G2320/0276Adjustment of the gradation levels within the range of the gradation scale, e.g. by redistribution or clipping for the purpose of adaptation to the characteristics of a display device, i.e. gamma correction
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00Control of display operating conditions
    • G09G2320/06Adjustment of display parameters
    • G09G2320/0673Adjustment of display parameters for control of gamma adjustment, e.g. selecting another gamma curve
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00Aspects of display data processing
    • G09G2340/06Colour space transformation
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2370/00Aspects of data communication
    • G09G2370/04Exchange of auxiliary data, i.e. other than image data, between monitor and graphics controller

Definitions

  • the present disclosure relates to an image processing apparatus, an image processing method, and a program. More specifically, the image quality of a wide dynamic range image (HDR (High Dynamic Range) image) is greatly degraded to an SDR (Standard Dynamic Range) display device, which is a normal dynamic range image display device that is currently widely used.
  • the present invention relates to an image processing apparatus, an image processing method, and a program that can be displayed without any problem.
  • the dynamic range of an image has been advanced due to the increase in the bit of an image sensor (image sensor).
  • the dynamic range of an image can be generally expressed as a ratio of minimum luminance to maximum luminance.
  • An HDR (High Dynamic Range) image known as a high-quality image has a contrast ratio between the maximum brightness color and the minimum brightness color of, for example, 10,000: 1 or more, and can realistically represent the real world.
  • HDR images can record almost all luminance in the visible range and can support a dynamic range and color gamut equivalent to human visual characteristics. It can be said that the HDR image is an extremely high-quality image compared to the conventional image in terms of realistic expression of shadows and expression of glare.
  • the content production side actively shoots and produces HDR images, but on the other hand, many display devices such as televisions in each home that view content are not display devices capable of displaying HDR images.
  • Many display devices such as televisions in each home are SDR (Standard Dynamic Range) display devices in which the dynamic range of images that can be displayed is narrower than that of HDR images.
  • SDR Standard Dynamic Range
  • the present disclosure has been made in view of, for example, such a situation, and when displaying an HDR image on an SDR display device, the gradation of the original wide dynamic range (HDR) image, such as color and brightness, is more accurate. It is an object of the present invention to provide an image processing apparatus, an image processing method, and a program that reproduce an image and realize high-quality image display.
  • HDR wide dynamic range
  • the first aspect of the present disclosure is: A display control unit that inputs an HDR (High Dynamic Range) image or an SDR (Standard Dynamic Range) image-compatible image signal and generates an output signal to the display unit;
  • the display unit is an SDR display unit having a gamma value corresponding to an SDR image,
  • the display control unit When the input signal to the display control unit is an HDR image signal, a conversion process of the input HDR image signal is executed, and a gamma correction curve having input / output characteristics opposite to the gamma curve corresponding to the input / output characteristics of the SDR display unit
  • the image processing apparatus generates a converted HDR signal according to the above and outputs it to the display unit.
  • the second aspect of the present disclosure is: An image processing method executed in an image processing apparatus,
  • the image processing apparatus includes a display control unit that inputs an HDR (High Dynamic Range) image or an SDR (Standard Dynamic Range) image-compatible image signal and generates an output signal to the display unit,
  • the display unit is an SDR display unit having a gamma value corresponding to an SDR image,
  • the display control unit When the input signal to the display control unit is an HDR image signal, a conversion process of the input HDR image signal is executed, and a gamma correction curve having input / output characteristics opposite to the gamma curve corresponding to the input / output characteristics of the SDR display unit
  • the third aspect of the present disclosure is: A program for executing image processing in an image processing apparatus;
  • the image processing apparatus includes a display control unit that inputs an HDR (High Dynamic Range) image or an SDR (Standard Dynamic Range) image-compatible image signal and generates an output signal to the display unit,
  • the display unit is an SDR display unit having a gamma value corresponding to an SDR image,
  • the program is stored in the display control unit.
  • the input signal to the display control unit is an HDR image signal
  • a conversion process of the input HDR image signal is executed, and a gamma correction curve having input / output characteristics opposite to the gamma curve corresponding to the input / output characteristics of the SDR display unit
  • the program of the present disclosure is a program that can be provided by, for example, a storage medium or a communication medium provided in a computer-readable format to an information processing apparatus or a computer system that can execute various program codes.
  • a program in a computer-readable format, processing corresponding to the program is realized on the information processing apparatus or the computer system.
  • system is a logical set configuration of a plurality of devices, and is not limited to one in which the devices of each configuration are in the same casing.
  • an apparatus and a method capable of displaying an HDR image on an SDR display device without causing a large deterioration in image quality are realized.
  • a display control unit that converts an HDR image signal to generate an output signal for the display unit is provided.
  • the display control unit executes conversion processing of the input HDR image signal, and follows a gamma correction curve having input / output characteristics opposite to the gamma curve corresponding to the input / output characteristics of the SDR display unit.
  • a converted HDR signal is generated and output to the display unit.
  • the display control unit executes a conversion process of the input HDR image signal and follows the (1 / 2.2) power curve.
  • a converted HDR signal having input / output characteristics is generated and output to the display unit.
  • the image processing apparatus 50 in FIG. 1 is a user apparatus (client) including a display unit such as a television, a smartphone, or a PC.
  • the image processing apparatus 50 displays, for example, received image data from a broadcasting station or a streaming server, or reproduced image data from a medium such as BD (Blu-ray (registered trademark) Disc) on the display unit 53.
  • BD Blu-ray (registered trademark) Disc
  • the image signal processing unit 51 decodes an encoded stream such as MPEG-2TS that is input from a broadcast station, a server, or a medium such as a BD (Blu-ray (registered trademark) Disc), and generates it based on the decoded data.
  • the processed image signal is output to the display control unit 52.
  • the gamma correction signal 71 corresponding to the display characteristic (gamma characteristic) of the display unit 53 is generated and output to the display control unit 52.
  • the display control unit 52 generates an output signal for the display unit 53 based on the input signal from the image signal processing unit 51.
  • the display unit 53 drives the display panel using an input signal from the display control unit 52, and executes image display.
  • Image data constituting content provided by broadcast stations and servers, or content stored in media, has been changing to higher quality images with the times.
  • the 2K image is changing to a high-resolution image called a 4K image or an 8K image.
  • HDR wide dynamic range
  • An HDR image has a wider dynamic range that can be expressed than an SDR image, and can express all luminance in the visible range, and can support a dynamic range and color gamut that are almost equivalent to human visual characteristics.
  • FIG. 1 (reference diagram) corresponding to the display unit 53 shown in FIG. 1 is a diagram for explaining the color gamut displayed on the display unit 53, and shows two color systems defined in the DCI standard color space. ing. ITU-R BT. 709 color system, ITU-R BT. The 2020 color system is shown.
  • HDR images are for example ITU-R BT. It is output as a 10 to 12-bit signal value obtained by nonlinearly converting the luminance using a 2020-compliant photoelectric conversion function (OETF: Optical-Electro Transfer Function).
  • OETF Optical-Electro Transfer Function
  • the display unit (display) 53 is an HDR display unit capable of outputting a dynamic range corresponding to the HDR image
  • the HDR image is output as an image expressing correct luminance and color information without any problem.
  • the display unit 53 is not compatible with HDR and is a display unit (SDR display unit) corresponding to an SDR image with a narrower range of luminance and color that can be expressed than an HDR image, correct luminance and color information cannot be output. There is a case.
  • the image signal processing unit 51 of the image processing device 50 illustrated in FIG. 1 generates an output signal for the display unit 53.
  • the gamma correction signal 71 corresponding to the display characteristic (gamma characteristic) of the display unit 53 is generated.
  • the display unit 53 drives the display panel using the gamma correction signal 71 and executes image display.
  • FIG. 2 is a diagram illustrating display characteristics of a general SDR display unit, that is, an SDR display unit corresponding to an SDR image having a narrower range of brightness and color that can be expressed than an HDR image.
  • the horizontal axis represents input (signal value 0 to 1.0), and the vertical axis represents output (luminance value).
  • a gamma correction signal that is an output signal for a general SDR display device having display characteristics according to a gamma 2.2 curve will be described.
  • a gamma correction signal 102 having an inverse characteristic of the gamma 2.2 curve shown in FIG. It is possible to obtain a display unit output 103 in which the output (luminance value and color value) of the display unit is linear with respect to the input signal.
  • the correspondence between the input signal and the output signal becomes linear correspondence, and the luminance and color expression of the input image are correctly expressed.
  • An image can be displayed.
  • the processing described with reference to FIG. 3 is a processing example using a gamma correction signal generated corresponding to the gamma 2.2 curve which is the display unit characteristic of the SDR display unit.
  • the displayed SDR image correctly represents the brightness and color expression of the original input SDR image.
  • the HDR image having a wider dynamic range than the SDR image has characteristics that are completely different from the image characteristics of the SDR image.
  • Image characteristics of the HDR image and the SDR image will be described with reference to FIG.
  • the horizontal axis represents input (signal value (0 to 1)), and the vertical axis represents output (luminance (cd / m 2 )), indicating the correspondence between input (signal value) and output (luminance). It is a graph.
  • the SMPTE ST 2084 curve 120 is one typical characteristic curve of an HDR image, and is a curve defined as a standard of SMPTE (American Film and Television Engineers Association).
  • the SMPTE ST 2084 curve is also called a PQ (Perceptual Quantization) curve.
  • the image signal stored in the gradation of a predetermined bit (for example, 12 bits) can be generated by converting according to the above.
  • the luminance range that can be represented by the HDR image is much larger than the luminance range that can be represented by the SDR image. That is, a wide dynamic range is realized.
  • the gamma 2.2 curve corresponding to the SDR image and the SMPTE ST 2084 curve corresponding to the HDR image have completely different characteristics.
  • the image processing device 50 displays the image content including either the SDR image signal or the HDR image signal on the display unit 53.
  • display devices owned by many user devices are display devices that do not support HDR images.
  • SDR display units compatible with SDR images that cannot display images with a wide dynamic range defined in HDR images.
  • the display unit 53 of the image processing device 50 is an SDR display unit corresponding to an SDR image
  • the input image of the image processing device 50 is an SDR image
  • the image processing apparatus 50 shown in FIG. 1 is required to display content composed of HDR images, content composed of SDR images, and these two types of content on the display unit 53.
  • the display unit 53 of the image processing apparatus 50 shown in FIG. 1 is a display unit for displaying an SDR image, that is, an image display characteristic corresponding to the gamma 2.2 curve described above with reference to FIGS.
  • an SDR image that is, an image display characteristic corresponding to the gamma 2.2 curve described above with reference to FIGS.
  • the image processing apparatus 50 displays an HDR image and an SDR image having different image characteristics on the display unit (SDR display unit) 53 as shown in FIG. Note that the image signal processing unit 51 of the image processing apparatus 50 in FIG. 5 generates an output signal corresponding to the gamma correction signal 102 described above with reference to FIG.
  • the SDR image signal shown in FIG. 5A is generated and output to the display control unit 52.
  • the (a) SDR image signal is a signal corresponding to a gamma correction signal corresponding to the SDR image. That is, it is a (1 / 2.2) th power curve having a characteristic opposite to that of the gamma 2.2 curve shown in FIGS.
  • the characteristic curve of the SDR image shown in FIG. 5 is when the horizontal axis (input) is x and the vertical axis (output) is y.
  • y x (1 / 2.2)
  • the input signal (x) is a signal generated corresponding to the luminance and color value displayed on the display unit. Specifically, it corresponds to a signal value of 8 to 12 bits, for example.
  • the output (y) corresponds to a luminance value and a color value displayed on the display unit.
  • the (b) HDR image signal is a (PQ ⁇ 1 ) curve having a characteristic opposite to that of the SMPTE ST 2084 curve (PQ curve) 120 shown in FIG.
  • the image signal processing unit 51 When the input image signal is an HDR image signal, the image signal processing unit 51 generates a gamma correction signal assuming that the display unit is an HDR display unit capable of outputting an HDR image. That is, the (PQ ⁇ 1 ) curve shown in FIG. 5B having the opposite characteristics to the SMPTE ST 2084 curve (PQ curve) 120 shown in FIG. 4 is generated as a gamma correction signal and output to the display control unit 52.
  • the display unit 53 of the image processing apparatus 50 is an SDR display unit. That is, the SDR display unit 53 that does not support display of an HDR image that is a wide dynamic range image is used.
  • FIG. 6 shows a display image when the SDR image corresponding gamma correction signal shown in FIG. 4A is output to the SDR display unit 53 and when the HDR image corresponding gamma correction signal shown in FIG. 4B is output. Will be described with reference to FIG.
  • FIG. 6 shows the following two image signal examples.
  • A Example of SDR image display unit output signal for SDR display unit
  • B Example of HDR image display unit output signal for SDR display unit
  • FIG. 6A is a diagram for explaining the processing described above with reference to FIG. 3, that is, the SDR image display processing for the SDR display unit.
  • the SDR display unit 53 has display characteristics according to the gamma 2.2 curve 101 shown in FIG. As shown in FIG. 6A, a gamma having an inverse characteristic of the gamma 2.2 curve shown in FIG. 6A with respect to the SDR display unit 53 whose input / output characteristics are expressed by the gamma 2.2 curve 101.
  • the correction signal 102 By inputting the correction signal 102, it is possible to obtain the display unit output 103 in which the input (signal value) and output (luminance) of the display unit 53 are linear.
  • the gamma correction signal adapted to the SDR display unit is applied to the SDR image, the linear relationship between the input and output signals is reproduced, and the SDR display unit 53 displays the luminance and color of the original SDR image. An image that correctly represents the expression is displayed.
  • FIG. 6B is a diagram illustrating HDR image display processing on the SDR display unit.
  • the SDR display unit 53 has display characteristics according to the gamma 2.2 curve 101 shown in FIG.
  • the HDR image signal shown in FIG. As shown in FIG. 6B, the HDR compatible gamma correction signal 122 shown in FIG. 6B is input to the SDR display unit 53 whose input / output characteristics are expressed by the gamma 2.2 curve 101.
  • the HDR-compatible gamma correction signal 122 shown in FIG. 6B is a (PQ ⁇ 1 ) curve having a characteristic opposite to that of the SMPTE ST 2084 curve (PQ curve) 120 shown in FIG. Even if the gamma correction signal 122 is output to the SDR display unit 53, the linear relationship between the signal and the luminance is not reproduced.
  • the SDR display unit 53 performs image output in accordance with the display unit output signal 123 having a curve shown in FIG. As a result, the linear relationship between the input (signal) and the output (luminance) is not maintained, and the luminance and color expression of the original HDR image are not correctly represented on the SDR display unit 53.
  • the correct luminance is obtained by the output of the display unit 53 to which the gamma correction signal corresponding to the SDR image generated by the image signal processing unit 51 is applied.
  • SDR image display with color gradation expression when the input image is an HDR image, when the gamma correction signal corresponding to the HDR image generated by the image signal processing unit 51 is applied and output on the display unit 53, the luminance and color of the original HDR image are correctly reflected. An image that is not displayed is displayed.
  • the image processing apparatus performs different processing in the display control unit 52 depending on whether the processing target image is an SDR image or an HDR image. Details of these processes will be described below.
  • FIG. 7 is a diagram for describing processing for an SDR image executed by the display control unit 52 of the image processing apparatus 50.
  • the display unit 53 is a display unit for displaying an SDR image, that is, the SDR display unit 53 having image display characteristics corresponding to the gamma 2.2 curve described above with reference to FIGS. .
  • the image signal processing unit 51 decodes an encoded image signal input as, for example, reception data from a broadcasting station or reproduction data from an information recording medium such as BD (Blu-ray (registered trademark) Disc), and the decoded image signal Is input to the display control unit 52.
  • BD Blu-ray (registered trademark) Disc
  • the input / output characteristics of the decoded image signal input to the display control unit 52 are shown as input / output characteristics [S1].
  • the input / output characteristic [S1] is a signal having characteristics corresponding to the gamma correction signal 102 described above with reference to FIG. That is, the signal follows a (1 / 2.2) power curve having a characteristic opposite to that of the gamma 2.2 curve.
  • the input corresponds to a signal value having a predetermined number of bits, and the output corresponds to a luminance value or a color value displayed on the display unit.
  • Data input from the image signal processing unit 51 to the display control unit 52 is a signal value of a predetermined number of bits corresponding to x (input) on the horizontal axis of the input / output characteristic [S1] shown in FIG.
  • the display control unit 52 includes a color signal conversion unit 201, a level conversion unit 202, a gamma linear conversion unit 203, a display unit corresponding color gamut conversion unit 204, and a linear gamma conversion unit 205.
  • processing for a signal value of a predetermined bit corresponding to x (input) on the horizontal axis of the input / output characteristic [S1] shown in FIG. 7 is executed.
  • the input / output characteristic [S1] shown in FIG. 7 changes to the input / output characteristics [S1] to [S6] as shown in FIG.
  • a signal value corresponding to the horizontal axis x (input) of the signal having the input / output characteristic [S6] is input to the display unit 53.
  • processing of each component of the display control unit 52 will be sequentially described.
  • the color signal conversion unit 201 converts the YCbCr signal output from the image signal processing unit 51 into an RGB signal.
  • This processing example is an example, and is a processing example when the output signal of the color signal conversion unit 201 is a YCbCr signal.
  • the processing of the color signal conversion unit 201 is omitted.
  • the signal output from the image signal processing unit 51 is a YCbCr signal.
  • the image signal processing unit 51 outputs three signals Y, Cb, and Cr to the color signal conversion unit 201.
  • the image signal processing unit 51 has a signal having input / output characteristics [S1] shown in FIG. 7, that is, three image signals (Y, Y) having input / output characteristics according to a (1 / 2.2) power curve.
  • Cb, Cr) is output to the color signal converter 201.
  • the input / output characteristics [S1] shown in FIG. 7 are x (input) and y (output).
  • y x (1 / 2.2) The above input / output characteristics.
  • the color signal conversion unit 201 converts the YCbCr signal output from the image signal processing unit 51 into an RGB signal.
  • the color signal conversion unit 201 generates three color signals of RGB based on the YCbCr signal output from the image signal processing unit 51 and outputs the three color signals to the level conversion unit 202.
  • the color signal converter 201 has a signal having the input / output characteristic [S2] shown in FIG. 7, that is, three image signals having characteristics according to the (1 / 2.2) power curve similar to the input / output characteristic [S1]. (R, G, B) is output to the level converter 202.
  • the input / output characteristic [S2] shown in FIG. 7 is similar to the input / output characteristic [S1] when x (input) and y (output) are obtained.
  • y x (1 / 2.2) The above input / output characteristics.
  • the level conversion unit 202 executes level conversion processing of RGB signals input from the color signal conversion unit 201. For example, when the pixel value range that can be set for each of the R, G, and B signals is 0 to 255, the following low pixel value region and high pixel value region are cut, and signal values obtained by extracting only the intermediate region: 0 to 1.0 are set and output to the gamma linear conversion unit 203. Low pixel value area 0-15, High pixel value regions 236-255, These cut processes are processes for eliminating a low pixel value region with a lot of noise and a high pixel value region close to a saturated pixel value.
  • the level conversion unit 202 converts the signal having the input / output characteristic [S3] shown in FIG. 7, that is, three image signals (R, G, B) according to the (1 / 2.2) power curve into the gamma linear conversion unit 203. Output to.
  • the input / output characteristic [S3] shown in FIG. 7 is similar to the input / output characteristics [S1] and [S2], and is x (input) and y (output).
  • y x (1 / 2.2) The above input / output characteristics.
  • the gamma linear conversion unit 203 executes gamma linear conversion processing of the RGB signal input from the level conversion unit 202.
  • the RGB signals input from the level conversion unit 202 are three image signals (R, G, B) according to the input / output characteristics [S3] shown in FIG. 7, that is, the (1 / 2.2) power curve.
  • the gamma linear conversion unit 203 executes (2.2 power) processing on the three image signals (R, G, B) according to the (1 / 2.2) power curve, and linearly corresponding input / output characteristics.
  • a signal having [S4] an input signal corresponding to the x axis
  • a so-called gamma linear conversion process is executed.
  • the input / output characteristics [S3] shown in FIG. 7 are x (input) and y (output).
  • y x (1 / 2.2)
  • y x A signal having a linear relationship with the above x (input) and y (output), that is, an input / output characteristic [S4] (an input signal x corresponding to the x axis) is generated.
  • the gamma linear conversion unit 203 generates a signal having the input / output characteristic [S4] shown in FIG. 7 by this gamma linear conversion processing. That is, three image signals (R, G, B) whose input / output values correspond linearly are output to the display unit corresponding color gamut conversion unit 204.
  • the display unit corresponding color gamut conversion unit 204 executes a color gamut conversion process of the RGB signals input from the gamma linear conversion unit 203.
  • This color gamut conversion processing is processing for converting the color gamut of the input image in accordance with the color gamut that can be displayed on the display unit 53.
  • the gamut conversion of each color of RGB is executed by applying a 3 ⁇ 3 matrix (matrix) stored in advance as a conversion matrix corresponding to the display unit 53.
  • the display-corresponding color gamut conversion unit 204 generates a signal having the input / output characteristic [S5] shown in FIG. 7 by the color gamut conversion process. That is, three image signals (R, G, B) whose input / output values correspond linearly are output to the linear gamma conversion unit 205.
  • the linear gamma conversion unit 205 executes linear gamma conversion processing of the RGB signal input from the display unit corresponding color gamut conversion unit 204.
  • the RGB signal input from the display unit corresponding color gamut conversion unit 204 is a signal having the input / output characteristic [S5] shown in FIG. 7, that is, three images in which input and output (luminance value and color value) are in a linear relationship.
  • Signal (R, G, B) The linear gamma conversion unit 205 executes (1 / 2.2) power processing on the three image signals (R, G, B) having this linear relationship, and converts the input / output characteristics to the input / output characteristics shown in FIG.
  • the linear gamma conversion unit 205 generates a gamma correction signal corresponding to the SDR display unit 53 by this linear gamma conversion processing.
  • the gamma correction signal is a (1 / 2.2) power curve similar to the gamma correction signal input from the image processing unit 51 and has a reverse characteristic of the 2.2 power curve that is the display characteristic of the SDR display unit 53.
  • FIG. 8 is a view similar to FIG. 3 described above.
  • the processing described with reference to FIG. 7 is performed on the SDR display unit 53 in which the input / output characteristics shown in FIG. 8 are expressed by the gamma 2.2 curve 251, and the input generated by the linear gamma conversion unit 205 shown in FIG.
  • This is a process of inputting a signal having the output characteristic [S6] (a signal corresponding to the horizontal axis (x)).
  • the input / output characteristic [S6] is an input / output characteristic [S6] having an inverse characteristic of the gamma 2.2 curve 251 shown in FIG. 8, that is, a characteristic corresponding to the gamma correction signal 252.
  • a signal having the input / output characteristics [S6] having the inverse characteristics of the gamma 2.2 curve, that is, (1 /2.2) By inputting the gamma correction signal 252 consisting of a power curve, the display unit output 253 in which the luminance value and the color value, which are display signals (outputs) of the display unit, are linear with respect to the input signal is obtained. Can do.
  • the linear relationship between the input signal and the output signal (luminance value and color value) is maintained, and the SDR image displayed on the SDR display unit is converted into the original.
  • the input SDR image can be an image that correctly represents the brightness and color expression.
  • FIG. 9 is a diagram for explaining processing for an HDR image executed in the display control unit 52 of the image processing apparatus 50.
  • the display unit 53 is a display unit for displaying an SDR image, that is, the SDR display unit 53 having image display characteristics corresponding to the gamma 2.2 curve described above with reference to FIGS. .
  • the image signal processing unit 51 decodes an encoded image signal input as, for example, reception data from a broadcasting station or reproduction data from an information recording medium such as a BD (Blu-ray (registered trademark) Disc), and a display control unit An output signal for 52 is generated.
  • This output signal is a signal having the input / output characteristic [H1] shown in FIG.
  • This input / output characteristic [H1] is a signal having a reverse characteristic of the SMPTE ST 2084 curve (PQ curve) described above with reference to FIG. That is, the input / output characteristic is a signal having characteristics corresponding to an HDR image according to a (PQ ⁇ 1 ) curve having a characteristic opposite to that of the PQ curve.
  • the display control unit 52 illustrated in FIG. 9 executes different processing from that when the processing target signal is an SDR image signal.
  • the display control unit 52 of the image processing apparatus 50 determines whether the image signal input from the image signal processing unit 51 is an HDR image signal or an SDR image signal based on, for example, metadata added to the image signal. .
  • the processing mode is changed based on the determination result.
  • details of the processing when the input image is an HDR image will be described.
  • the color signal conversion unit 201 converts the YCbCr signal output from the image signal processing unit 51 into an RGB signal. As described above with reference to FIG. 7, this processing example is an example and is a processing example when the output signal of the color signal conversion unit 201 is a YCbCr signal. When the output signal of the color signal conversion unit 201 is an RGB signal, the processing of the color signal conversion unit 201 is omitted.
  • the signal output from the image signal processing unit 51 is a YCbCr signal.
  • the image signal processing unit 51 outputs three signals Y, Cb, and Cr to the color signal conversion unit 201.
  • the image signal processing unit 51 outputs a signal having an input / output characteristic [H1] shown in FIG. 9, that is, three image signals (Y, Cb, Cr) having an input / output characteristic according to a (PQ ⁇ 1 ) curve as color signals.
  • the data is output to the conversion unit 201.
  • the input / output characteristic [H1] shown in FIG. 9 corresponds to the (PQ ⁇ 1 ) curve shown in FIG. 6 in which the correspondence relationship of xy is assumed to be x (input) and y (output).
  • This is a characteristic specific to the related HDR image. That is, it is an inverse characteristic of the SMPTE ST 2084 curve (PQ curve) 120 described above with reference to FIG.
  • the color signal conversion unit 201 converts the YCbCr signal output from the image signal processing unit 51 into an RGB signal.
  • the color signal conversion unit 201 generates three color signals of RGB based on the YCbCr signal output from the image signal processing unit 51 and outputs the three color signals to the level conversion unit 202.
  • the color signal conversion unit 201 converts the signal having the input / output characteristic [H2] shown in FIG. 9, that is, three image signals (R, G, B) having characteristics according to the (PQ ⁇ 1 ) curve into the level conversion unit 202. Output to.
  • the input / output characteristic [H2] shown in FIG. 9 is a signal having the reverse characteristic of the SMPTE ST 2084 curve (PQ curve) described above with reference to FIG.
  • the input / output characteristic is a signal having characteristics corresponding to an HDR image according to a (PQ ⁇ 1 ) curve having a characteristic opposite to that of the PQ curve.
  • the level conversion unit 202 executes level conversion processing of RGB signals input from the color signal conversion unit 201. For example, when the pixel value range that can be set for each of the R, G, and B signals is 0 to 255, the following low pixel value region and high pixel value region are cut, and signal values obtained by extracting only the intermediate region: 0 to 1.0 are set and output to the gamma linear conversion unit 203. Low pixel value area 0, High pixel value region 255, These cut processes are processes for eliminating a low pixel value region with a lot of noise and a high pixel value region close to a saturated pixel value. However, in the case of an HDR image, both the low luminance region and the high luminance region can be faithfully reproduced, and the cut region is narrower than in the case of the SDR image described above.
  • the level converter 202 has a signal having the input / output characteristic [H3] shown in FIG. 9, that is, three image signals (R) having the input / output characteristic according to the (1/4) power curve. , G, B) are generated and output to the gamma linear conversion unit 203.
  • This gain value multiplication process is performed to convert the input / output characteristic [H2] according to the (PQ ⁇ 1 ) curve shown in FIG. 9 into the input / output characteristic [H3] according to the (1/4) power curve. It is executed as a process.
  • the gamma linear conversion unit 203 executes gamma linear conversion processing of the RGB signal input from the level conversion unit 202.
  • the RGB signal input from the level conversion unit 202 is an input / output characteristic [H3] shown in FIG. 9, that is, three image signals (R, G, B) having input / output characteristics according to a (1/4) power curve. ).
  • the input / output characteristics [H3] shown in FIG. 9 are x (input) and y (output).
  • y x (1 / 4.4) It is in the above correspondence.
  • the gamma linear conversion unit 203 executes (2.2 power) processing on the three image signals (R, G, B) having input / output characteristics according to this (1/4) power curve, A signal having an output characteristic [H4] is generated. That is, for an HDR image, a process for changing the input / output characteristics from the (1 / 4.4) th power curve to the (1 / 2.2) th power curve, instead of linear conversion having a linear relationship between the input / output characteristics. To do.
  • the input / output characteristics [H3] shown in FIG. 9 are x (input) and y (output).
  • y x (1 / 4.4)
  • y (x (1 / 2.2) )
  • a signal having an input / output characteristic [H4] with the above x (input) and y (output) is generated. That is, a signal having an input / output characteristic [H4] corresponding to an input / output value according to a (1 / 2.2) power curve is generated.
  • the gamma linear conversion unit 203 generates a signal having the input / output characteristic [H4] shown in FIG. 9 by this gamma linear conversion processing. That is, three image signals (R, G, B) whose input / output values have a corresponding relationship according to the (1 / 2.2) power curve are output to the display unit corresponding color gamut conversion unit 204.
  • the display unit corresponding color gamut conversion unit 204 executes a color gamut conversion process of the RGB signals input from the gamma linear conversion unit 203.
  • This color gamut conversion processing is processing for converting the color gamut of the input image in accordance with the color gamut that can be displayed on the display unit 53.
  • the gamut conversion of each color of RGB is executed by applying a 3 ⁇ 3 matrix (matrix) stored in advance as a conversion matrix corresponding to the display unit 53.
  • the input / output characteristic relationship for example, the input / output characteristic between the signal value and the luminance is maintained.
  • the display-corresponding color gamut conversion unit 204 generates a signal having the input / output characteristic [H5] shown in FIG. 9 by this color gamut conversion processing. That is, three image signals (R, G, B) whose input / output values have a corresponding relationship according to the (1 / 2.2) power curve are output to the linear gamma conversion unit 205.
  • the linear gamma conversion unit 205 When the processing target image is an HDR image, the linear gamma conversion unit 205 outputs the input signal as it is to the display unit (SDR display unit) 53 without performing processing.
  • the input / output characteristic [S5] having a linear relationship is input / output according to a (1 / 2.2) power curve. Linear gamma conversion for converting to the characteristic [S6] was performed.
  • the linear gamma conversion unit 205 outputs the input signal as it is to the display unit (SDR display unit) 53 without performing processing.
  • the RGB signal input from the display-corresponding color gamut conversion unit 204 has three signals having input / output characteristics [H5] shown in FIG. 9, that is, input / output characteristics according to a (1 / 2.2) power curve. It is an image signal (R, G, B).
  • the linear gamma conversion unit 205 outputs the three image signals (R, G, B) to the display unit (SDR display unit) 53 as they are.
  • FIG. 10 An example of the display signal displayed on the SDR display unit 53 will be described with reference to FIG. With the processing described with reference to FIG. 9, the input / output characteristics shown in FIG. 10 are input / output from the linear gamma conversion unit 205 shown in FIG. 9 to the SDR display unit 53 expressed by the gamma 2.2 curve 251. A signal having the characteristic [H6] is input.
  • the input / output characteristics [H6] having the inverse characteristics of the gamma 2.2 curve, that is, (1/2. 2)
  • the display unit output 303 is obtained in which the luminance value and the color value, which are display signals (outputs) of the display unit, are linear with respect to the input signal. be able to.
  • the display unit output 303 in which the luminance value and the color value are linear with respect to the input signal is obtained for the SDR display device.
  • the HDR image displayed on the SDR display unit can be an image that correctly represents the luminance and color expression of the original input HDR image.
  • the input / output characteristics [H6] of the signal output from the linear gamma conversion unit 205 in FIG. 9 are the same characteristics as the input / output characteristics [H4] and [H5] illustrated in FIG. That is, the generation signal of the gamma linear conversion unit 203 shown in FIG. 10 is already set to the gamma correction signal corresponding to the SDR display unit 53, that is, the input / output characteristics according to the (1 / 2.2) power curve.
  • the output signal of the color signal conversion unit 201 has the same input / output characteristics as the gamma correction curve corresponding to the HDR image (PQ ⁇ 1 ) It has input / output characteristics [H2] according to the curve.
  • the signal is converted into a signal having an input / output characteristic [H4] according to the (1 / 2.2) power curve, which is the same input / output characteristic as the gamma correction curve corresponding to the SDR image.
  • a predetermined gain value is applied to the signal value: 0 to 1.0 obtained by extracting only the intermediate region by cutting the low and high regions.
  • Execute gain control to multiply. Specifically, for signal value: 0 to 1.0, gain 5.1027 ⁇ Power (Luminance ⁇ 0.207)
  • a gain adjustment process for multiplying the gain value is executed.
  • Luminance is the luminance of the display unit or the input luminance.
  • the level conversion unit 202 generates a signal having the input / output characteristic [H3] shown in FIG. 9, that is, a signal having the input / output characteristic [H3] according to the (1/4) power curve. Then, the data is output to the gamma linear conversion unit 203.
  • the gamma linear conversion unit 203 performs (2.2 power) processing on the signal having the input / output characteristic [H3] according to the (1/4) power curve input from the level conversion unit 202. , A signal having input / output characteristics [H4] according to the (1 / 2.2) power curve is generated. That is, for an HDR image, a process for changing the input / output characteristics from the (1 / 4.4) th power curve to the (1 / 2.2) th power curve, instead of linear conversion having a linear relationship between the input / output characteristics. To do.
  • the input / output characteristics [H3] shown in FIG. 9 are x (input) and y (output).
  • y x (1 / 4.4)
  • y (x (1 / 2.2) )
  • a signal having an input / output characteristic [H4] with the above x (input) and y (output) is generated.
  • the gamma linear conversion unit 203 generates a signal having the input / output characteristic [H4] shown in FIG. 9 by this gamma linear conversion processing. In other words, a signal having an input / output value corresponding to a (1 / 2.2) power curve is generated.
  • the display unit (SDR display unit) 53 has input / output characteristics [H6] ([[] according to the (1 / 2.2) power curve generated by the processing of the level conversion unit 202 and the gamma linear conversion unit 203. A signal having the same characteristics as those of [H4] and [H5] is input.
  • the output signal of the color signal conversion unit 201 shown in FIG. 9 has an input / output characteristic [H2] according to a (PQ ⁇ 1 ) curve which is the same input / output characteristic as the gamma correction curve corresponding to the HDR image.
  • the signal having the input / output characteristic [H2] according to the (PQ ⁇ 1 ) curve, which is the same input / output characteristic as the HDR image-corresponding gamma correction curve By the processing, the signal is converted into a signal having an input / output characteristic [H4] according to the (1 / 2.2) power curve, which is the same input / output characteristic as the gamma correction curve corresponding to the SDR image.
  • FIG. 11 shows a gamma 2.2 curve 301 corresponding to the display characteristics of the SDR display unit and a gamma correction signal 302 corresponding to an SDR image having the reverse characteristics. Further, a PQ curve (SMPTE ST 2084 curve) 321 corresponding to the image characteristics of the HDR image and a PQ -1 curve 322 corresponding to the HDR image corresponding gamma correction curve corresponding to the HDR image are shown.
  • SMPTE ST 2084 curve SMPTE ST 2084 curve
  • the PQ -1 curve 322 has input / output characteristics corresponding to the input / output characteristics [H2] of the signal output from the color signal converter 201 in FIG. Further, the gamma correction signal 302 corresponding to the SDR image has the same characteristic as the input / output characteristic [H4] of the signal output from the gamma linear conversion unit 203 in FIG.
  • the level conversion unit 202 and the gamma linear conversion unit 203 convert the PQ ⁇ 1 curve 322 corresponding to the input / output characteristic [H2] of the signal output from the color signal conversion unit 201 to the gamma correction signal 302 corresponding to the SDR image.
  • a process of converting into a signal having similar input / output characteristics [H4] (signal conversion process according to the arrow shown in FIG. 11) is performed. This conversion processing is realized by gain adjustment for the signal value in the level conversion unit 202 and 2.2 power processing for the signal value in the gamma linear conversion unit 203.
  • the disclosed process is applicable.
  • the processing mode in the level conversion unit 202 and the gamma linear conversion unit 203 may be changed according to the gamma value of the display unit to generate a gamma correction signal having a reverse characteristic to the gamma curve that is the display unit characteristic. .
  • FIG. 12 a sequence of processing executed by the display control unit 52 of the image processing apparatus according to the present disclosure will be described with reference to a flowchart illustrated in FIG.
  • the process according to the flow shown in FIG. 12 is executed as the process of the display control unit described with reference to FIGS.
  • the program is executed under the control of a control unit including a CPU having a program execution function.
  • the processing of each step shown in the flow of FIG. 12 will be described sequentially.
  • Step S101 the display control unit 52 determines whether the processed image input to the display control unit 52 is an HDR image or an SDR image. This image determination process is determined with reference to attribute information (metadata) input corresponding to the input image. Or it is good also as a structure which the display control part 52 performs and analyzes the input image.
  • the processes of steps S102 to S105 are executed.
  • the processes of steps S122 to S124 are executed.
  • the processing of the color signal conversion unit 201 shown in FIGS. 7 and 9 is omitted. This is because the color signal conversion unit 201 is a process common to the SDR image and the HDR image, and can be omitted if the input signal is an RGB signal.
  • Step S102 The process of step S102 is the process of the level conversion unit 202 shown in FIGS.
  • the level conversion unit 202 performs level conversion of the SDR image without gain control.
  • the low pixel value region and the high pixel value region are cut and only the intermediate region is extracted, and level conversion processing for setting 0 to 1.0 is performed.
  • the level value thus set is output to the gamma linear conversion unit 203.
  • the signal generated by the processing of the level conversion unit 202 shown in FIG. 7 has the input / output characteristics [S3] shown in FIG. 7, that is, the input / output characteristics according to the (1 / 2.2) power curve.
  • Step S103 The process of step S103 is the process of the gamma linear conversion unit 203 shown in FIGS.
  • the gamma linear conversion unit 203 performs the same processing whether the input image is an SDR image or an HDR image.
  • the gamma linear conversion unit 203 performs (2.2 power) processing on a signal having characteristics according to the (1 / 2.2) power curve.
  • the input / output characteristic [S3] of the signal input to the gamma linear conversion unit 203 is an input / output characteristic according to a (1 / 2.2) power curve as shown in FIG. is there.
  • y x
  • Step S104 The process of step S104 is the process of the display unit corresponding color gamut conversion unit 204 shown in FIGS.
  • the display-corresponding color gamut conversion unit 204 performs the same processing whether the input image is an SDR image or an HDR image.
  • This color gamut conversion processing is processing for converting the color gamut of the input image in accordance with the color gamut that can be displayed on the display unit 53.
  • the gamut conversion of each color of RGB is executed by applying a 3 ⁇ 3 matrix (matrix) stored in advance as a conversion matrix corresponding to the display unit 53.
  • Step S105 The process of step S105 is the process of the linear gamma conversion unit 205 shown in FIGS.
  • the linear gamma conversion unit 205 performs processing only when the input image is an SDR image, and outputs the input signal as it is to the display unit 53 without performing processing when the input image is an HDR image.
  • the linear gamma conversion unit 205 When the input image is an SDR image, the linear gamma conversion unit 205 performs (1/1 /) on a signal having the linear input / output characteristic [S5] shown in FIG. 7 input from the display unit corresponding color gamut conversion unit 204. 2.2) The multiplication process is executed, and as shown in the input / output characteristic [S6] in FIG. 7, the linear gamma conversion process is performed with the characteristic according to the (1 / 2.2) power curve.
  • the linear gamma conversion unit 205 generates a gamma correction signal corresponding to the SDR display unit 53 by this linear gamma conversion processing.
  • This gamma correction signal is a (1 / 2.2) power curve and has a reverse characteristic of the 2.2 power curve, which is the display characteristic of the SDR display unit 53.
  • Step S151 a signal having the input / output characteristic [S6] generated by the linear gamma conversion unit 205 is output to the display unit (SDR display unit) 53.
  • a signal having an input / output characteristic [S6] according to the (1 / 2.2) power curve is input to the display unit 53 to execute display processing. By this processing, it is possible to perform display unit output in which luminance values and color values, which are display signals (output) of the display unit, are linear with respect to the input signal.
  • step S101 determines whether the input image is an HDR image.
  • Step S122 The process of step S122 is the process of the level conversion unit 202 shown in FIGS.
  • the level conversion unit 202 performs level conversion of the HDR image with gain control. As described above with reference to FIG. 9, the low pixel value region and the high pixel value region are cut, and only the intermediate region is extracted. Signal values: 0 to 1.0 are set and further set. The obtained level value is multiplied by a predetermined gain value.
  • Luminance is the luminance of the display unit or the input luminance.
  • the level converter 202 By this gain adjustment processing, the level converter 202 generates a signal having the input / output characteristic [H3] shown in FIG. 9, that is, a signal having the input / output characteristic according to the (1/4) power curve, The data is output to the gamma linear conversion unit 203.
  • the multiplication of the gain value is performed to convert the input / output characteristic [H2] according to the (PQ ⁇ 1 ) curve shown in FIG. 9 into the input / output characteristic [H3] according to the (1 / 4.4) power curve. It is processing.
  • Step S123 The process of step S123 is the process of the gamma linear conversion unit 203 shown in FIGS.
  • the gamma linear conversion unit 203 performs the same processing whether the input image is an SDR image or an HDR image.
  • the gamma linear conversion unit 203 performs (2.2 power) processing on a signal having characteristics according to the (1 / 2.2) power curve.
  • the input / output characteristic [H3] of the signal input to the gamma linear conversion unit 203 is an input / output characteristic according to a (1/4) power curve as shown in FIG. is there.
  • y (x (1 / 2.2)
  • a signal having an input / output characteristic [H4] with the above x (input) and y (output) is generated. That is, a signal having an input / output characteristic [H4] corresponding to an input / output value according to a (1 / 2.2) power curve is generated.
  • Step S124 The process of step S124 is the process of the display unit corresponding color gamut conversion unit 204 shown in FIGS.
  • the display-corresponding color gamut conversion unit 204 performs the same processing whether the input image is an SDR image or an HDR image.
  • This color gamut conversion processing is processing for converting the color gamut of the input image in accordance with the color gamut that can be displayed on the display unit 53.
  • the gamut conversion of each color of RGB is executed by applying a 3 ⁇ 3 matrix (matrix) stored in advance as a conversion matrix corresponding to the display unit 53.
  • the input / output characteristics are maintained as they are. That is, a signal having an input / output characteristic [H5] in which an input / output value similar to the input / output characteristic [H4] has a correspondence relationship according to a (1 / 2.2) power curve is generated.
  • the processing of the linear gamma conversion unit 205 illustrated in FIGS. 7 and 9 is omitted. That is, when the processed image is an HDR image, the generation signal of the display unit corresponding color gamut conversion unit 204 is input to the display unit 53 as it is.
  • the input / output characteristic [H6] of the output signal of the linear gamma conversion unit 205 shown in FIG. 9 is the same as the input / output characteristic [H5] of the generated signal of the display unit corresponding color gamut conversion unit 204, and the input / output value is (1). /2.2) Correspondence according to a power curve.
  • a signal having an input / output characteristic [H6] according to the (1 / 2.2) power curve is input to the display unit 53 to execute display processing. By this processing, it is possible to perform display unit output in which luminance values and color values, which are display signals (output) of the display unit, are linear with respect to the input signal.
  • FIG. 13 is a diagram illustrating a hardware configuration example of an image processing apparatus such as a PC.
  • a CPU (Central Processing Unit) 501 functions as a data processing unit that executes various processes according to a program stored in a ROM (Read Only Memory) 502 or a storage unit 508. For example, processing according to the sequence described in the above-described embodiment is executed.
  • a RAM (Random Access Memory) 503 stores programs executed by the CPU 501, data, and the like.
  • the CPU 501, ROM 502, and RAM 503 are connected to each other by a bus 504.
  • the CPU 501 is connected to an input / output interface 505 via a bus 504.
  • the input / output interface 505 is connected to an input unit 506 including various switches, a keyboard, a mouse, and a microphone, and an output unit 5050 including a display and a speaker. Yes.
  • the CPU 501 executes various processes in response to a command input from the input unit 506 and outputs a processing result to the output unit 507, for example.
  • the storage unit 508 connected to the input / output interface 505 includes, for example, a hard disk and stores programs executed by the CPU 501 and various data.
  • the communication unit 509 functions as a data transmission / reception unit via a network such as the Internet or a local area network, and further as a broadcast wave transmission / reception unit, and communicates with an external device.
  • the drive 510 connected to the input / output interface 505 drives a removable medium 511 such as a magnetic disk, an optical disk, a magneto-optical disk, or a semiconductor memory such as a memory card, and executes data recording or reading.
  • a removable medium 511 such as a magnetic disk, an optical disk, a magneto-optical disk, or a semiconductor memory such as a memory card
  • the technology disclosed in this specification can take the following configurations.
  • a display control unit that inputs an HDR (High Dynamic Range) image or an SDR (Standard Dynamic Range) image-compatible image signal and generates an output signal to the display unit;
  • the display unit is an SDR display unit having a gamma value corresponding to an SDR image,
  • the display control unit When the input signal to the display control unit is an HDR image signal, a conversion process of the input HDR image signal is executed, and a gamma correction curve having input / output characteristics opposite to the gamma curve corresponding to the input / output characteristics of the SDR display unit
  • Image processing apparatus for generating a converted HDR signal according to the above and outputting it to a display unit.
  • the gamma value corresponding to the SDR image is 2.2, and the gamma curve corresponding to the input / output characteristics of the SDR display unit is a 2.2 power curve,
  • the gamma correction curve is a (1 / 2.2) power curve having input / output characteristics opposite to those of the gamma curve.
  • the display control unit When the input signal to the display control unit is an HDR image signal, the input HDR image signal is converted, and a converted HDR signal having input / output characteristics according to a (1 / 2.2) power curve is generated.
  • the image processing apparatus according to (1), which outputs to a display unit.
  • the display control unit When the input signal to the display control unit is an HDR image signal, an HDR image signal having an input / output characteristic according to a curve (PQ ⁇ 1 ) opposite to the input / output characteristic of the SMPTE STTS 2084 curve (PQ curve) is input.
  • the image processing apparatus according to (1) or (2), wherein the signal conversion process is executed.
  • the display control unit A level conversion unit that performs level conversion processing of an input signal to the display control unit; A gamma linear conversion unit that performs signal conversion processing on the output of the level conversion unit; The level converter is When the input signal to the display control unit is an HDR image signal, a gain adjustment process is executed in conjunction with level conversion of the input HDR image signal, The image processing device according to any one of (1) to (3), wherein the gamma linear conversion unit generates a converted HDR signal by performing a signal conversion process on the HDR image signal after gain adjustment.
  • the gamma curve corresponding to the input / output characteristics of the SDR display unit is a 2.2 power curve
  • the gamma correction curve is a (1 / 2.2) power curve having input / output characteristics opposite to those of the gamma curve.
  • the level conversion unit performs the gain adjustment process.
  • An HDR image signal having input / output characteristics according to a (1 / 4.4) power curve is generated,
  • the gamma linear conversion unit performs a 2.2 power process on the gain-adjusted HDR image signal to generate a converted HDR signal having input / output characteristics according to a (1 / 2.2) power curve.
  • the image processing device according to (4) to be generated.
  • the display control unit further includes: The image processing apparatus according to any one of (4) and (5), further including a display unit corresponding color gamut conversion unit that executes a display unit corresponding color gamut conversion process on the output from the gamma linear conversion unit.
  • the display control unit further includes: (6) The image processing apparatus according to (6), further including a linear gamma conversion unit that performs a signal conversion process on an output from the display unit corresponding color gamut conversion unit.
  • the linear gamma converter is The image processing apparatus according to (7), wherein when the input signal to the display control unit is an HDR image signal, the signal conversion process is executed only when the input signal is an SDR image signal without performing any processing.
  • the display control unit further includes: The image processing apparatus according to any one of (1) to (8), further including a color signal conversion unit that executes a color signal conversion process of an input signal to the display control unit.
  • the image processing apparatus includes a display control unit that inputs an HDR (High Dynamic Range) image or an SDR (Standard Dynamic Range) image-compatible image signal and generates an output signal to the display unit,
  • the display unit is an SDR display unit having a gamma value corresponding to an SDR image,
  • the display control unit When the input signal to the display control unit is an HDR image signal, a conversion process of the input HDR image signal is executed, and a gamma correction curve having input / output characteristics opposite to the gamma curve corresponding to the input / output characteristics of the SDR display unit Processing method for generating a converted HDR signal according to the method and outputting it to a display unit.
  • a program for executing image processing in an image processing apparatus includes a display control unit that inputs an HDR (High Dynamic Range) image or an SDR (Standard Dynamic Range) image-compatible image signal and generates an output signal to the display unit,
  • the display unit is an SDR display unit having a gamma value corresponding to an SDR image,
  • the program is stored in the display control unit.
  • the input signal to the display control unit is an HDR image signal
  • a conversion process of the input HDR image signal is executed, and a gamma correction curve having input / output characteristics opposite to the gamma curve corresponding to the input / output characteristics of the SDR display unit
  • generates the conversion HDR signal according to this, and outputs it to a display part.
  • the series of processes described in the specification can be executed by hardware, software, or a combined configuration of both.
  • the program recording the processing sequence is installed in a memory in a computer incorporated in dedicated hardware and executed, or the program is executed on a general-purpose computer capable of executing various processing. It can be installed and run.
  • the program can be recorded in advance on a recording medium.
  • the program can be received via a network such as a LAN (Local Area Network) or the Internet and installed on a recording medium such as a built-in hard disk.
  • the various processes described in the specification are not only executed in time series according to the description, but may be executed in parallel or individually according to the processing capability of the apparatus that executes the processes or as necessary.
  • the system is a logical set configuration of a plurality of devices, and the devices of each configuration are not limited to being in the same casing.
  • an apparatus and a method capable of displaying an HDR image on an SDR display apparatus without causing a large deterioration in image quality are realized.
  • a display control unit that converts an HDR image signal to generate an output signal for the display unit is provided.
  • the display control unit executes conversion processing of the input HDR image signal, and follows a gamma correction curve having input / output characteristics opposite to the gamma curve corresponding to the input / output characteristics of the SDR display unit.
  • a converted HDR signal is generated and output to the display unit.
  • the display control unit executes a conversion process of the input HDR image signal and follows the (1 / 2.2) power curve.
  • a converted HDR signal having input / output characteristics is generated and output to the display unit.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Picture Signal Circuits (AREA)
  • Processing Of Color Television Signals (AREA)
  • Image Processing (AREA)
  • Facsimile Image Signal Circuits (AREA)

Abstract

HDR画像を大きな画質低下を発生させることなくSDR表示装置に表示可能とした装置、方法を提供する。HDR画像信号を変換して表示部に対する出力信号を生成する表示制御部を有する。表示制御部は、HDR画像信号を入力した場合、入力HDR画像信号の変換処理を実行し、SDR表示部の入出力特性に相当するガンマ曲線の逆の入出力特性を持つガンマ補正曲線に従った変換HDR信号を生成して表示部へ出力する。SDR表示部の入出力特性に相当するガンマ曲線が、2.2乗曲線である場合、表示制御部は、入力HDR画像信号の変換処理を実行し、(1/2.2)乗曲線に従った入出力特性を持つ変換HDR信号を生成して表示部へ出力する。

Description

画像処理装置、および画像処理方法、並びにプログラム
 本開示は、画像処理装置、および画像処理方法、並びにプログラムに関する。さらに詳細には、広ダイナミックレンジ画像(HDR(High Dynamic Range)画像)を、現在多く利用されている通常のダイナミックレンジ画像表示装置であるSDR(Standard Dynamic Range)表示装置に画質を大きく劣化させることなく表示可能とする画像処理装置、および画像処理方法、並びにプログラムに関する。
 最近、撮像素子(イメージ・センサー)の高ビット化などにより、画像の広ダイナミックレンジ化が進んでいる。
 画像のダイナミックレンジは、一般に最小輝度と最大輝度の比で表すことができる。
 高画質画像として知られるHDR(High Dynamic Range)画像は、最大明度色と最低明度色の間のコントラスト比が例えば10000:1以上に達し、現実世界をリアルに表現することができる。
 HDR画像は、可視範囲のほとんどすべての輝度を記録することができ、人間の視覚特性と同等のダイナミックレンジと色域をサポートすることができる。HDR画像は、陰影のリアルな表現や、眩しさの表現等の点で、従来画像に比較して極めて高画質な画像であると言える。
 コンテンツ制作側は、HDR画像の撮影、制作を盛んに行っているが、一方、コンテンツを視聴する各家庭内のテレビ等の表示装置の多くはHDR画像を表示可能な表示装置ではないというのが現状である。
 各家庭内のテレビ等の表示装置の多くは、表示可能な画像のダイナミックレンジがHDR画像より狭いSDR(Standard Dynamic Range)表示装置である。現状では、最大輝度が500nitや1000nitであるHDR対応の表示装置を利用しているユーザは少ない。
 HDR画像を入力してSDR表示装置に表示すると、HDR画像本来の輝度情報や、色情報が失われ画質の低下した画像が表示されてしまう。なお、HDR画像をSDR画像として出力する場合、元のコンテンツのダイナミックレンジを、画像出力先のSDR表示装置(ディスプレイ)に適合させる処理(ディスプレイ・マッピングとも呼ぶ)が行われる場合がある(例えば、特許文献1を参照のこと)。
 しかしながら、すべての表示装置がディスプレイ・マッピング機能を備えているわけではない。また、単純に線形スケーリングによりダイナミックレンジの変換を行なうと、多大な情報が失われ、変換の前後で人間の見た目が多いに相違する画像になってしまうことが懸念される。このような情報の損失は、コンテンツの制作者や供給者の意図にも反することである。
特表2014-502480号公報
 本開示は、例えばこのような状況に鑑みてなされたものであり、SDR表示装置にHDR画像を表示する場合に、元の広ダイナミックレンジ(HDR)画像の色や輝度等の階調をより正確に再現し、高品質な画像の表示を実現する画像処理装置、および画像処理方法、並びにプログラムを提供することを目的とする。
 本開示の第1の側面は、
 HDR(High Dynamic Range)画像、またはSDR(Standard Dynamic Range)画像対応の画像信号を入力して、表示部への出力信号を生成する表示制御部を有し、
 前記表示部は、SDR画像対応のガンマ値を有するSDR表示部であり、
 前記表示制御部は、
 前記表示制御部に対する入力信号がHDR画像信号である場合、入力HDR画像信号の変換処理を実行し、前記SDR表示部の入出力特性に相当するガンマ曲線の逆の入出力特性を持つガンマ補正曲線に従った変換HDR信号を生成して表示部へ出力する画像処理装置にある。
 さらに、本開示の第2の側面は、
 画像処理装置において実行する画像処理方法であり、
 前記画像処理装置は、HDR(High Dynamic Range)画像、またはSDR(Standard Dynamic Range)画像対応の画像信号を入力して、表示部への出力信号を生成する表示制御部を有し、
 前記表示部は、SDR画像対応のガンマ値を有するSDR表示部であり、
 前記表示制御部が、
 前記表示制御部に対する入力信号がHDR画像信号である場合、入力HDR画像信号の変換処理を実行し、前記SDR表示部の入出力特性に相当するガンマ曲線の逆の入出力特性を持つガンマ補正曲線に従った変換HDR信号を生成して表示部へ出力する画像処理方法にある。
 さらに、本開示の第3の側面は、
 画像処理装置において画像処理を実行させるプログラムであり、
 前記画像処理装置は、HDR(High Dynamic Range)画像、またはSDR(Standard Dynamic Range)画像対応の画像信号を入力して、表示部への出力信号を生成する表示制御部を有し、
 前記表示部は、SDR画像対応のガンマ値を有するSDR表示部であり、
 前記プログラムは、前記表示制御部に、
 前記表示制御部に対する入力信号がHDR画像信号である場合、入力HDR画像信号の変換処理を実行し、前記SDR表示部の入出力特性に相当するガンマ曲線の逆の入出力特性を持つガンマ補正曲線に従った変換HDR信号を生成して表示部へ出力する処理を実行させるプログラムにある。
 なお、本開示のプログラムは、例えば、様々なプログラム・コードを実行可能な情報処理装置やコンピュータ・システムに対して、コンピュータ可読な形式で提供する記憶媒体、通信媒体によって提供可能なプログラムである。このようなプログラムをコンピュータ可読な形式で提供することにより、情報処理装置やコンピュータ・システム上でプログラムに応じた処理が実現される。
 本開示のさらに他の目的、特徴や利点は、後述する本開示の実施例や添付する図面に基づくより詳細な説明によって明らかになるであろう。なお、本明細書においてシステムとは、複数の装置の論理的集合構成であり、各構成の装置が同一筐体内にあるものには限らない。
 本開示の一実施例の構成によれば、HDR画像を大きな画質低下を発生させることなくSDR表示装置に表示可能とした装置、方法が実現される。
 具体的には、HDR画像信号を変換して表示部に対する出力信号を生成する表示制御部を有する。表示制御部は、HDR画像信号を入力した場合、入力HDR画像信号の変換処理を実行し、SDR表示部の入出力特性に相当するガンマ曲線の逆の入出力特性を持つガンマ補正曲線に従った変換HDR信号を生成して表示部へ出力する。SDR表示部の入出力特性に相当するガンマ曲線が、2.2乗曲線である場合、表示制御部は、入力HDR画像信号の変換処理を実行し、(1/2.2)乗曲線に従った入出力特性を持つ変換HDR信号を生成して表示部へ出力する。
 本開示の処理により、HDR画像を大きな画質低下を発生させることなくSDR表示装置に表示可能とした装置、方法が実現される。
 なお、本明細書に記載された効果はあくまで例示であって限定されるものではなく、また付加的な効果があってもよい。
画像処理装置の構成と処理について説明する図である。 SDR表示装置の入出力特性としてのガンマ曲線の例について説明する図である。 ガンマ曲線とガンマ補正曲線、および表示部出力信号の例について説明する図である。 HDR画像とSDR画像の特性の差異について説明する図である。 画像処理装置の構成と処理について説明する図である。 SDR画像に対する処理とHDR画像に対する処理について説明する図である。 画像処理装置におけるSDR画像に対する処理について説明する図である。 画像処理装置におけるSDR画像に対する処理について説明する図である。 画像処理装置におけるHDR画像に対する処理について説明する図である。 画像処理装置におけるHDR画像に対する処理について説明する図である。 画像処理装置におけるSDR画像に対する処理について説明する図である。 画像処理装置における処理シーケンスについて説明するフローチャートを示す図である。 本開示の画像処理装置の構成例について説明する図である。
 以下、図面を参照しながら本開示の画像処理装置、および画像処理方法、並びにプログラムの詳細について説明する。なお、説明は以下の項目に従って行う。
  1.画像処理装置における画像表示処理の概要について
  2.SDR表示部に対するHDR画像出力処理における問題点について
  3.HDR画像およびSDR画像の画像品質を低下させずにSDR表示部に表示可能とした構成について
  3-1.SDR画像を処理対象とした場合の表示部への入力信号生成処理について
  3-2.HDR画像を処理対象とした場合の表示部への入力信号生成処理について
  4.表示制御部の処理シーケンスについて
  5.画像処理装置の構成例について
  6.本開示の構成のまとめ
  [1.画像処理装置における画像表示処理の概要について]
 まず、図1以下を参照して画像処理装置における画像表示処理の一般的な処理例について説明する。
 図1の画像処理装置50は、例えば、テレビ、スマートフォン、PC等の表示部を備えたユーザ装置(クライアント)である。
 画像処理装置50は、例えば、放送局やストリーミング・サーバ等からの受信画像データ、あるいはBD(Blu-ray(登録商標) Disc)などのメディアからの再生画像データを表示部53に表示する。
 画像信号処理部51は、例えば、放送局やサーバ、あるいはBD(Blu-ray(登録商標) Disc)などのメディアから入力するMPEG―2TSなどの符号化ストリームを復号し、復号データに基づいて生成した画像信号を表示制御部52に出力する。
 例えば、表示部53の表示特性(ガンマ特性)に応じたガンマ補正信号71を生成して表示制御部52に出力する。
 表示制御部52は、画像信号処理部51からの入力信号に基づいて、表示部53に対する出力信号を生成する。
 表示部53は、表示制御部52からの入力信号を用いて表示パネルを駆動し、画像表示を実行する。
 放送局やサーバの提供するコンテンツ、あるいはメディアに格納されるコンテンツを構成する画像データは、時代とともにより高品質な画像に変化してきている。具体的には、これまでの2K画像から、4K画像や8K画像と呼ばれる高解像度画像に推移しつつある。
 さらに、これまでのSDR(Standard Dynamic Range)画像に比較して低輝度から高輝度まで広い輝度範囲の画像を忠実に再現可能とした広ダイナミックレンジ(HDR:High Dynamic Range)画像の利用が普及しつつある。
 HDR画像は、SDR画像より表現可能なダイナミックレンジが広く、可視範囲のすべての輝度を表現可能な画像であり、人間の視覚特性とほぼ同等のダイナミックレンジと色域をサポートすることができる。
 図1に示す表示部53に対応して示す(参考図)は、表示部53に表示される色域を解説する図であり、DCI規格色空間内に規定される2つの表色系を示している。
 ITU-R BT.709表色系、さらに、より広い広範囲な色表現を可能としたITU-R BT.2020表色系を示している。
 HDR画像は、例えばITU-R BT.2020準拠の光電変換関数(OETF:Optical-Electro Transfer Function)を用いて輝度を非線形変換した10~12ビットの信号値によって出力される。
 HDR画像は、表示部(ディスプレイ)53がHDR画像対応のダイナミックレンジを出力可能なHDR表示部であれば、問題なく正しい輝度と色情報を表現した画像として出力される。
 しかし、表示部53がHDR対応でなく、HDR画像より表現可能な輝度や色の範囲が狭いSDR画像に対応した表示部(SDR表示部)である場合、正しい輝度と色情報の出力ができなくなる場合がある。
 図1に示す画像処理装置50の画像信号処理部51は、表示部53に対する出力信号を生成する。例えば、表示部53の表示特性(ガンマ特性)に応じたガンマ補正信号71を生成する。
 表示部53は、ガンマ補正信号71を用いて表示パネルを駆動し、画像表示を実行する。
 図2は、一般的なSDR表示部、すなわちHDR画像より表現可能な輝度や色の範囲が狭いSDR画像に対応したSDR表示部の表示特性を示す図である。
 横軸が入力(信号値0~1.0)、縦軸が出力(輝度値)を示す。図に示す曲線101は、ガンマ値=2.2に対応するガンマ2.2曲線である。一般的なSDR表示装置の入出力特性である。
 曲線101は、横軸に相当する入力xに対して、縦軸に相当する出力yとの関係が、以下の関係式、すなわち、
 y=x2.2
 上記関係にある。
 曲線101は、2.2乗曲線とも呼ばれ、現在利用されている多くの一般的なSDR表示装置(ガンマ値=2.2)の入出力特性を示すガンマ2.2曲線である。
 図3を参照して、ガンマ2.2曲線に従った表示特性を有する一般的なSDR表示装置に対する出力信号であるガンマ補正信号について説明する。
 図3に示すように、入出力特性がガンマ2.2曲線101となるSDR表示部に対して、図3に示すガンマ2.2曲線の逆特性を持つガンマ補正信号102を出力することで、表示部の出力(輝度値や色値)を入力信号に対して線形とした表示部出力103を得ることができる。
 このように、ガンマ補正信号を用いた表示部出力を行うことで、入力信号と出力信号(輝度値や色値)との対応が線形対応となり、入力画像の持つ輝度や色表現を正しく表現した画像を表示することができる。
  [2.SDR表示部に対するHDR画像出力処理における問題点について]
 図3を参照して説明した処理は、SDR表示部の表示部特性であるガンマ2.2曲線に対応して生成されるガンマ補正信号を用いた処理例であり、この場合、SDR表示部に表示されるSDR画像は、オリジナルの入力SDR画像の持つ輝度や色表現を正しく表現したものとなる。
 しかし、SDR画像より広範囲なダイナミックレンジを持つHDR画像は、SDR画像の画像特性と全く異なる特性を持つ。
 図4を参照してHDR画像とSDR画像の画像特性について説明する。
 図4に示すグラフは横軸が入力(信号値(0~1))、縦軸が出力(輝度(cd/m))であり入力(信号値)と出力(輝度)の対応関係を示すグラフである。
 図4には、SDR画像の画像特性(=SDR表示装置の表示特性)に相当するガンマ2.2曲線101と、HDR画像の画像特性(=HDR表示装置の表示特性)に相当するSMPTE ST 2084曲線120を示している。
 SMPTE ST 2084曲線120は、HDR画像の1つの代表的な特性曲線であり、SMPTE(米国映画テレビ技術者協会)の規格として規定された曲線である。
 なお、SMPTE ST 2084曲線は、PQ(Perceptual Quantization)曲線とも呼ばれる。
 PQ曲線(=SMPTE ST 2084曲線)は、HDR画像を構成する輝度範囲:0.05~10,000Nitのダイナミックレンジに対応する符号化データの生成に用いられる。具体的には、HDR画像を構成する輝度範囲:0.05~10,000Nitのダイナミックレンジを、人間の眼に合わせた量子化ステップのカーブとして定義されるPQ曲線(=SMPTE ST 2084曲線120)に従って変換することで所定ビット(例えば12ビット)の階調に収めた画像信号を生成することができる。
 図4から明らかなように、HDR画像の表現可能な輝度範囲は、SDR画像の表現可能な輝度範囲に比較してはるかに大きくなっている。すなわち広ダイナミックレンジ化が実現されている。
 しかし、図4に示すように、SDR画像対応のガンマ2.2曲線と、HDR画像対応のSMPTE ST 2084曲線とは全く異なる特性を有している。
 今後、HDR画像コンテンツが増加すると、図1を参照して説明した画像処理装置50の画像信号処理部51が入力する画像は、SDR画像である場合とHDR画像である場合の2通りのケースが発生する。
 すなわち、画像処理装置50は、SDR画像信号、またはHDR画像信号のいずれかからなる画像コンテンツを表示部53に表示することになる。
 しかし、現状では、多くのユーザ装置の保有する表示装置(ディスプレイ)は、HDR画像に対応しない表示装置である。すなわちHDR画像において規定されている広ダイナミックレンジの画像表示が行えないSDR画像対応のSDR表示部が多く利用されているという現状がある。
 画像処理装置50の表示部53がSDR画像に対応するSDR表示部である場合、画像処理装置50の入力画像がSDR画像であれば、先に図2、図3を参照して説明したガンマ2.2曲線に対応するガンマ補正信号を生成することで、表示部に元のSDR画像の持つ輝度や色表現を正しく表現した画像を出力することができる。
 しかし、SDR画像より広範囲なダイナミックレンジを持ち、図4に示すSMPTE ST 2084曲線に相当する特性を持つHDR画像を入力した場合、SDR画像に対する処理と同様の処理を行なっても、図3を参照して説明したような入力(信号)と出力(輝度や色)とが線形関係となる表示信号103は生成されない。従って、HDR画像の持つ輝度や色が再現されず画質が低下してしまうという問題が発生する。
  [3.HDR画像およびSDR画像の画像品質を低下させずにSDR表示部に表示可能とした構成について]
 次に、上述した問題点を解決する構成、すなわち、HDR画像およびSDR画像の画像品質を低下させずにSDR表示部に表示可能とした構成について説明する。
 図1に示す画像処理装置50は、HDR画像からなるコンテンツと、SDR画像からなるコンテンツ、これら2種類のコンテンツを表示部53に表示することが必要となる。
 以下、図1に示す画像処理装置50の表示部53が、SDR画像表示用の表示部、すなわち、先に図2、図3を参照して説明したガンマ2.2曲線に相当する画像表示特性を持つSDR表示部である構成において、HDR画像、SDR画像いずれの画像についても画像品質を大きく低下させることなく表示可能とした構成について説明する。
 画像処理装置50は、図5に示すように異なる画像特性を持つHDR画像とSDR画像を表示部(SDR表示部)53に表示する。
 なお、図5における画像処理装置50の画像信号処理部51は、先に図3を参照して説明したガンマ補正信号102に相当する出力信号を生成して表示制御部52に出力する。
 画像信号処理部51が入力した画像信号がSDR画像信号である場合、図5(a)に示すSDR画像信号を生成して表示制御部52に出力する。
 この(a)SDR画像信号は、SDR画像に対応するガンマ補正信号に相当する信号である。すなわち、図2~図4に示すガンマ2.2曲線と逆特性の(1/2.2)乗曲線である。
 図5に示すSDR画像の特性曲線は、横軸(入力)をx、縦軸(出力)をyとした場合、
 y=x(1/2.2)
 として示すことができる。
 なお、入力信号(x)は表示部に表示される輝度や色値に対応して生成された信号である。具体的には、例えば8~12ビットの信号値に相当する。また、出力(y)は、表示部に表示される輝度値、色値に相当する。
 画像信号処理部51に対する入力画像信号がHDR画像信号である場合、画像信号処理部51は、図5(b)に示すHDR画像信号を生成して表示制御部52に出力する。
 この(b)HDR画像信号は、図4に示すSMPTE ST 2084曲線(PQ曲線)120と逆特性の(PQ-1)曲線である。
 画像信号処理部51は、入力した画像信号がHDR画像信号である場合、表示部がHDR画像を出力可能なHDR表示部と想定したガンマ補正信号を生成する。すなわち、図4に示すSMPTE ST 2084曲線(PQ曲線)120と逆特性の図5(b)に示す(PQ-1)曲線をガンマ補正信号として生成して表示制御部52に出力する。
 しかし、本実施例において画像処理装置50の表示部53はSDR表示部である。すなわち、広ダイナミックレンジ画像であるHDR画像の表示に対応していないSDR表示部53が利用される。
 このSDR表示部53に図4(a)に示すSDR画像対応のガンマ補正信号を出力した場合と、図4(b)に示すHDR画像対応のガンマ補正信号を出力した場合の表示画像について図6を参照して説明する。
 図6には、以下の2つの画像信号例を示している。
 (A)SDR表示部に対するSDR画像の表示部出力信号の例
 (B)SDR表示部に対するHDR画像の表示部出力信号の例
 図6(A)は、先に図3を参照して説明した処理、すなわち、SDR表示部に対するSDR画像の表示処理を説明する図である。
 SDR表示部53は、図6に示すガンマ2.2曲線101に従った表示特性を有する。
 図6(A)に示すように、入出力特性がガンマ2.2曲線101によって表現されるSDR表示部53に対して、図6(A)に示すガンマ2.2曲線の逆特性を持つガンマ補正信号102を入力することで、表示部53の入力(信号値)と出力(輝度)とが線形となる表示部出力103を得ることができる。
 このように、SDR画像については、SDR表示部に適応したガンマ補正信号が適用されるので、入出力信号の線形関係が再現され、SDR表示部53には、オリジナルのSDR画像の持つ輝度や色表現を正しく表現した画像が表示される。
 図6(B)は、SDR表示部に対するHDR画像の表示処理を説明する図である。
 SDR表示部53は、図6に示すガンマ2.2曲線101に従った表示特性を有する。
 HDR画像表示を行う場合、図5(b)に示すHDR画像信号が表示部53に入力される。図6(B)に示すように、入出力特性がガンマ2.2曲線101によって表現されるSDR表示部53に対して、図6(B)に示すHDR対応ガンマ補正信号122が入力される。
 図6(B)に示すHDR対応ガンマ補正信号122は、図4に示すSMPTE ST 2084曲線(PQ曲線)120と逆特性の(PQ-1)曲線である。このガンマ補正信号122をSDR表示部53に出力しても、信号と輝度との線形関係は再現されない。
 SDR表示部53には、図6(B)に示すカーブを持つ表示部出力信号123に従った画像出力が行われる。
 結果として入力(信号)と出力(輝度)との線形関係は保持されず、SDR表示部53には、元のHDR画像の持つ輝度や色表現が正しく表現されないことになる。
 このように、図5に示す画像処理装置50において、入力画像がSDR画像である場合は、画像信号処理部51の生成したSDR画像対応のガンマ補正信号を適用した表示部53出力により、正しい輝度や色の階調表現のなされたSDR画像表示が可能である。
 しかし、入力画像がHDR画像である場合は、画像信号処理部51の生成したHDR画像対応のガンマ補正信号を適用して表示部53出力を行うと、オリジナルのHDR画像の輝度や色が正しく反映されない画像が表示されてしまう。
 この問題を解決するため、本開示の画像処理装置は、表示制御部52において、処理対象画像がSDR画像である場合と、HDR画像である場合とで異なる処理を実行する。以下、これらの処理の詳細について説明する。
  [3-1.SDR画像を処理対象とした場合の表示部への入力信号生成処理について]
 まず、画像処理装置50における処理対象画像がSDR画像である場合の表示部に対する入力信号生成処理について説明する。
 図7は、画像処理装置50の表示制御部52において実行するSDR画像に対する処理を説明する図である。
 なお、表示部53はSDR画像表示用の表示部、すなわち、先に図2~図4を参照して説明したガンマ2.2曲線に相当する画像表示特性を持つSDR表示部53であるとする。
 画像信号処理部51は、例えば放送局からの受信データ、あるいはBD(Blu-ray(登録商標) Disc)等の情報記録媒体からの再生データとして入力する符号化画像信号を復号し、復号画像信号を表示制御部52に入力する。
 なお、図7には、表示制御部52に入力する復号画像信号の入出力特性を、入出力特性[S1]として示している。
 入出力特性[S1]は、先に図3を参照して説明したガンマ補正信号102に相当する特性を持つ信号である。すなわち、ガンマ2.2曲線と逆特性の(1/2.2)乗曲線に従った信号である。
 なお、図7に示す入出力特性[S1]は、x(入力)、y(出力)としたとき、
 y=x(1/2.2)
 上記対応関係にある。
 なお、入力は所定ビット数の信号値、出力は表示部に表示される輝度値や色値に相当する。
 画像信号処理部51から、表示制御部52に入力されるデータは、図7に示す入出力特性[S1]の横軸のx(入力)に相当する所定ビット数の信号値である。
 図7に示すように、表示制御部52は、色信号変換部201、レベル変換部202、ガンマリニア変換部203、表示部対応色域変換部204、リニアガンマ変換部205を有する。
 これらの各処理部において、図7に示す入出力特性[S1]の横軸のx(入力)に相当する所定ビットの信号値に対する処理が実行される。この処理によって、図7に示す入出力特性[S1]は、図7に示すように入出力特性[S1]~[S6]と変化する。
 最終的に、入出力特性[S6]を持つ信号の横軸x(入力)に相当する信号値が表示部53に入力される。
 以下、表示制御部52の各構成部の処理について、順次、説明する。
 色信号変換部201は、画像信号処理部51から出力されるYCbCr信号をRGB信号に変換する。
 なお、この処理例は一例であり、色信号変換部201の出力信号がYCbCr信号である場合の処理例である。
 色信号変換部201の出力信号がRGB信号である場合は、この色信号変換部201の処理は省略される。
 本実施例では、画像信号処理部51から出力される信号はYCbCr信号であると想定して説明する。
 なお、画像信号処理部51は、Y、Cb、Crの3つの信号を色信号変換部201に出力する。
 画像信号処理部51は、入出力特性が図7に示す入出力特性[S1]を持つ信号、すなわち(1/2.2)乗曲線に従った入出力特性を有する3つの画像信号(Y、Cb、Cr)を色信号変換部201に出力する。
 なお、図7に示す入出力特性[S1]は、x(入力)、y(出力)としたとき、
 y=x(1/2.2)
 上記の入出力特性である。
 色信号変換部201は、画像信号処理部51から出力されるYCbCr信号をRGB信号に変換する。
 色信号変換部201は、画像信号処理部51から出力されるYCbCr信号に基づいて、RGBの3つの色信号を生成して、レベル変換部202に出力する。
 色信号変換部201は、図7に示す入出力特性[S2]を有する信号、すなわち入出力特性[S1]と同様の(1/2.2)乗曲線に従った特性を持つ3つの画像信号(R,G,B)をレベル変換部202に出力する。
 図7に示す入出力特性[S2]は入出力特性[S1]と同様、x(入力)、y(出力)としたとき、
 y=x(1/2.2)
 上記の入出力特性である。
 レベル変換部202は、色信号変換部201から入力するRGB信号のレベル変換処理を実行する。
 例えば、R,G,B各信号に設定可能な画素値範囲を0~255とした場合、以下の低画素値領域と、高画素値領域をカットして、中間領域のみを抽出した信号値:0~1.0を設定してガンマリニア変換部203に出力する。
 低画素値領域0~15、
 高画素値領域236~255、
 これらのカット処理は、ノイズの多い低画素値領域と、飽和画素値に近い高画素値領域を排除する処理である。
 レベル変換部202は、図7に示す入出力特性[S3]を有する信号、すなわち(1/2.2)乗曲線に従った3つの画像信号(R,G,B)をガンマリニア変換部203に出力する。
 なお、図7に示す入出力特性[S3]は入出力特性[S1]、[S2]と同様、x(入力)、y(出力)としたとき、
 y=x(1/2.2)
 上記の入出力特性である。
 ガンマリニア変換部203は、レベル変換部202から入力するRGB信号のガンマリニア変換処理を実行する。
 レベル変換部202から入力するRGB信号は、図7に示す入出力特性[S3]、すなわち(1/2.2)乗曲線に従った3つの画像信号(R,G,B)である。
 ガンマリニア変換部203は、この(1/2.2)乗曲線に従った3つの画像信号(R,G,B)について、(2.2乗)処理を実行し、線形対応の入出力特性[S4]を持つ信号(x軸相当の入力信号)を生成する。いわゆるガンマリニア変換処理を実行する。
 なお、図7に示す入出力特性[S3]は、x(入力)、y(出力)としたとき、
 y=x(1/2.2)
 上記対応関係であり、ガンマリニア変換部203は、この(1/2.2)乗曲線に従った3つの画像信号(R,G,B)について、(2.2乗)処理を実行する。すなわち、
 y=(x(1/2.2)2.2
 上記演算処理によって、
 y=x
 上記のx(入力)、y(出力)との線形関係、すなわち入出力特性[S4]を持つ信号(x軸相当の入力信号x)を生成する。
 ガンマリニア変換部203は、このガンマリニア変換処理によって図7に示す入出力特性[S4]を持つ信号を生成する。すなわち、入出力値が線形対応する3つの画像信号(R,G,B)を表示部対応色域変換部204に出力する。
 なお、図7に示す入出力特性[S4]は、x(入力)、y(出力)としたとき、
 y=x
 上記の線形対応関係となる。
 表示部対応色域変換部204は、ガンマリニア変換部203から入力するRGB信号の色域変換処理を実行する。
 この色域変換処理は、入力画像の色域を表示部53の表示可能な色域に従って変換する処理である。
 例えば、表示部53に対応する変換行列として予めメモリに格納された3×3マトリックス(行列)を適用してRGB各色の色域変換を実行する。
 なお、この色域変換では、入出力特性の線形関係、例えば信号値と輝度との線形性はそのまま維持される。
 表示部対応色域変換部204は、この色域変換処理によって図7に示す入出力特性[S5]を有する信号を生成する。すなわち、入出力値が線形対応する3つの画像信号(R,G,B)をリニアガンマ変換部205に出力する。
 図7に示す入出力特性[S5]は、入出力特性[S4]と同様、x(入力)、y(出力)としたとき、
 y=x
 上記の線形対応関係である。
 リニアガンマ変換部205は、表示部対応色域変換部204から入力するRGB信号のリニアガンマ変換処理を実行する。
 表示部対応色域変換部204から入力するRGB信号は、図7に示す入出力特性[S5]を持つ信号、すなわち、入力と出力(輝度値や色値)とが線形関係にある3つの画像信号(R,G,B)である。
 リニアガンマ変換部205は、この線形関係にある3つの画像信号(R,G,B)に対して、(1/2.2)乗処理を実行し、入出力特性を図7の入出力特性[S6]に示すように、(1/2.2)乗曲線に従った特性とするリニアガンマ変換処理を実行する。
 図7に示す入出力特性[S6]は、x(入力)、y(出力)としたとき、
 y=x(1/2.2)
 上記の入出力特性である。
 リニアガンマ変換部205は、このリニアガンマ変換処理によって、SDR表示部53対応のガンマ補正信号を生成する。このガンマ補正信号は、画像処理部51から入力したガンマ補正信号と同様(1/2.2)乗曲線であり、SDR表示部53の表示特性である2.2乗曲線の逆特性を有する。
 図8を参照して、SDR表示部53に表示される表示信号の例について説明する。図8は、先に説明した図3と同様の図である。
 図7を参照して説明した処理は、図8に示す入出力特性がガンマ2.2曲線251によって表現されるSDR表示部53に対して、図7に示すリニアガンマ変換部205の生成した入出力特性[S6]を持つ信号(横軸(x)相当の信号)を入力する処理である。
 入出力特性[S6]は、図8に示すガンマ2.2曲線251の逆特性を持つ入出力特性[S6]、すなわち、ガンマ補正信号252に相当する特性である。
 このように、入出力特性がガンマ2.2曲線251によって表現されるSDR表示部53に対して、ガンマ2.2曲線の逆特性を持つ入出力特性[S6]を有する信号、すなわち、(1/2.2)乗曲線からなるガンマ補正信号252を入力することで、表示部の表示信号(出力)である輝度値や色値を入力信号に対して線形となる表示部出力253を得ることができる。
 このように、ガンマ補正信号を用いた表示部出力を行うことで、入力信号と出力信号(輝度値や色値)との線形関係が保持され、SDR表示部に表示されるSDR画像を、オリジナルの入力SDR画像の持つ輝度や色表現を正しく表現した画像とすることができる。
  [3-2.HDR画像を処理対象とした場合の表示部への入力信号生成処理について]
 次に、画像処理装置50における処理対象画像がHDR画像である場合の表示部に対する入力信号生成処理について説明する。
 図9は、画像処理装置50の表示制御部52において実行するHDR画像に対する処理を説明する図である。
 なお、表示部53はSDR画像表示用の表示部、すなわち、先に図2~図4を参照して説明したガンマ2.2曲線に相当する画像表示特性を持つSDR表示部53であるとする。
 画像信号処理部51は、例えば放送局からの受信データ、あるいはBD(Blu-ray(登録商標) Disc)等の情報記録媒体からの再生データとして入力する符号化画像信号を復号し、表示制御部52に対する出力信号を生成する。
 この出力信号は、図9に示す入出力特性[H1]を持つ信号である。
 この入出力特性[H1]は、先に図4を参照して説明したSMPTE ST 2084曲線(PQ曲線)の逆特性を持つ信号である。すなわち、入出力特性がPQ曲線と逆特性の(PQ-1)曲線に従ったHDR画像対応の特性を有する信号である。
 図9に示す表示制御部52は、図7を参照して説明した表示制御部52と同様、色信号変換部201、レベル変換部202、ガンマリニア変換部203、表示部対応色域変換部204、リニアガンマ変換部205を有する。
 図9に示す表示制御部52は、処理対象信号がHDR画像信号である場合は、処理対象信号がSDR画像信号である場合と異なる処理を実行する。
 画像処理装置50の表示制御部52は、画像信号処理部51から入力する画像信号がHDR画像信号であるか、SDR画像信号であるかを例えば画像信号に付加されたメタデータに基づいて判断する。この判断結果に基づいて、処理態様を変更する。
 以下、入力画像がHDR画像である場合の処理の詳細について説明する。
 色信号変換部201は、画像信号処理部51から出力されるYCbCr信号をRGB信号に変換する。
 なお、先に図7を参照して説明したと同様、この処理例は一例であり、色信号変換部201の出力信号がYCbCr信号である場合の処理例である。
 色信号変換部201の出力信号がRGB信号である場合は、この色信号変換部201の処理は省略される。
 本実施例では、画像信号処理部51から出力される信号はYCbCr信号であると想定して説明する。
 なお、画像信号処理部51は、Y、Cb、Crの3つの信号を色信号変換部201に出力する。
 画像信号処理部51は、図9に示す入出力特性[H1]を有する信号、すなわち(PQ-1)曲線に従った入出力特性を有する3つの画像信号(Y、Cb、Cr)を色信号変換部201に出力する。
 なお、図9に示す入出力特性[H1]は、x(入力)、y(出力)としたとき、xyの対応関係が先に説明した図6に示す(PQ-1)曲線に従った対応関係となるHDR画像特有の特性である。
 すなわち、先に図4を参照して説明したSMPTE ST 2084曲線(PQ曲線)120の逆特性である。
 色信号変換部201は、画像信号処理部51から出力されるYCbCr信号をRGB信号に変換する。
 色信号変換部201は、画像信号処理部51から出力されるYCbCr信号に基づいて、RGBの3つの色信号を生成して、レベル変換部202に出力する。
 色信号変換部201は、図9に示す入出力特性[H2]を有する信号、すなわち(PQ-1)曲線に従った特性を持つ3つの画像信号(R,G,B)をレベル変換部202に出力する。
 なお、図9に示す入出力特性[H2]は入出力特性[H1]と同様、先に図4を参照して説明したSMPTE ST 2084曲線(PQ曲線)の逆特性を持つ信号である。すなわち、入出力特性がPQ曲線と逆特性の(PQ-1)曲線に従ったHDR画像対応の特性を有する信号である。
 レベル変換部202は、色信号変換部201から入力するRGB信号のレベル変換処理を実行する。
 例えば、R,G,B各信号に設定可能な画素値範囲を0~255とした場合、以下の低画素値領域と、高画素値領域をカットして、中間領域のみを抽出した信号値:0~1.0を設定してガンマリニア変換部203に出力する。
 低画素値領域0、
 高画素値領域255、
 これらのカット処理は、ノイズの多い低画素値領域と、飽和画素値に近い高画素値領域を排除する処理である。ただし、HDR画像の場合、低輝度領域、高輝度領域とも忠実に再現可能な設定であり、先に説明したSDR画像の場合より、カット領域が狭められている。
 レベル変換部202は、さらに、HDR画像特有の処理として、低域と高域をカットして中間領域のみを抽出した信号値:0~1.0に対して、所定のゲイン値を乗算するゲイン制御を実行する。
 具体的には、信号値:0~1.0に対して
 ゲイン=5.1027×Power(Luminance-0.207)
 上記のゲイン値を信号値に乗算するゲイン調整処理を実行する。
 なお、Luminanceは表示部の輝度、または入力輝度である。
 このゲイン調整処理によって、レベル変換部202は、図9に示す入出力特性[H3]を有する信号、すなわち(1/4.4)乗曲線に従った入出力特性を持つ3つの画像信号(R,G,B)を生成して、ガンマリニア変換部203に出力する。
 このゲイン値の乗算処理は、図9に示す(PQ-1)曲線に従った入出力特性[H2]を(1/4.4)乗曲線に従った入出力特性[H3]に変換するための処理として実行される。
 ガンマリニア変換部203は、レベル変換部202から入力するRGB信号のガンマリニア変換処理を実行する。
 レベル変換部202から入力するRGB信号は、図9に示す入出力特性[H3]、すなわち(1/4.4)乗曲線に従った入出力特性を持つ3つの画像信号(R,G,B)である。
 図9に示す入出力特性[H3]は、x(入力)、y(出力)としたとき、
 y=x(1/4.4)
 上記対応関係にある。
 ガンマリニア変換部203は、この(1/4.4)乗曲線に従った入出力特性を持つ3つの画像信号(R,G,B)について、(2.2乗)処理を実行し、入出力特性[H4]持つ信号を生成する。
 すなわち、HDR画像に対しては、入出力特性を線形関係とするリニア変換ではなく、入出力特性を(1/4.4)乗曲線から、(1/2.2)乗曲線に変更する処理を行なう。
 なお、図9に示す入出力特性[H3]は、x(入力)、y(出力)としたとき、
 y=x(1/4.4)
 上記対応関係であり、ガンマリニア変換部203は、この(1/4.4)乗曲線に従った特性を持つ3つの画像信号(R,G,B)について、(2.2乗)処理を実行する。すなわち、
 y=(x(1/4.4)2.2
 上記演算処理によって、
 y=(x(1/2.2)
 上記のx(入力)、y(出力)との入出力特性[H4]を持つ信号を生成する。すなわち、入出力値が(1/2.2)乗曲線に従った対応関係入出力特性[H4]を持つ信号を生成する。
 ガンマリニア変換部203は、このガンマリニア変換処理によって図9に示す入出力特性[H4]を有する信号を生成する。すなわち、入出力値が(1/2.2)乗曲線に従った対応関係となる3つの画像信号(R,G,B)を表示部対応色域変換部204に出力する。
 なお、図9に示す入出力特性[H4]は、x(入力)、y(出力)としたとき、
 y=(x(1/2.2)
 上記の対応関係となる。
 表示部対応色域変換部204は、ガンマリニア変換部203から入力するRGB信号の色域変換処理を実行する。
 この色域変換処理は、入力画像の色域を表示部53の表示可能な色域に従って変換する処理である。
 例えば、表示部53に対応する変換行列として予めメモリに格納された3×3マトリックス(行列)を適用してRGB各色の色域変換を実行する。
 なお、この色域変換では、入出力特性関係、例えば信号値と輝度間の入出力特性はそのまま維持される。
 表示部対応色域変換部204は、この色域変換処理によって図9に示す入出力特性[H5]を有する信号を生成する。すなわち、入出力値が(1/2.2)乗曲線に従った対応関係となる3つの画像信号(R,G,B)をリニアガンマ変換部205に出力する。
 図9に示す入出力特性[H5]は、入出力特性[H4]と同様、x(入力)、y(出力)としたとき、
 y=(x(1/2.2)
 上記の対応関係となる。
 リニアガンマ変換部205は、処理対象画像がHDR画像である場合、処理を行なうことなく入力信号をそのまま表示部(SDR表示部)53に出力する。
 先に図7を参照して説明したように、処理対象画像がSDR画像である場合には、線形関係にある入出力特性[S5]を(1/2.2)乗曲線に従った入出力特性[S6]に変換するリニアガンマ変換を実行した。
 しかし、処理対象画像がHDR画像である場合、リニアガンマ変換部205は、処理を行なうことなく入力信号をそのまま表示部(SDR表示部)53に出力する。
 表示部対応色域変換部204から入力するRGB信号は、図9に示す入出力特性[H5]を持つ信号、すなわち、(1/2.2)乗曲線に従った入出力特性を持つ3つの画像信号(R,G,B)である。
 リニアガンマ変換部205は、この3つの画像信号(R,G,B)をそのまま、表示部(SDR表示部)53に出力する。
 図9に示す入出力特性[H6]は、x(入力)、y(出力)としたとき、
 y=x(1/2.2)
 上記対応関係である。
 リニアガンマ変換部205から表示部53に出力される信号は、ガンマ値=2.2のSDR表示部53対応のガンマ補正信号と同様の特性を有する信号となる。すなわち、(1/2.2)乗曲線であり、SDR表示部53の表示特性である2.2乗曲線の逆特性をSDR表示部対応のガンマ補正信号と同様の入出力特性を持つ信号となる。
 図10を参照して、SDR表示部53に表示される表示信号の例について説明する。
 図9を参照して説明した処理によって、図10に示す入出力特性がガンマ2.2曲線251によって表現されるSDR表示部53に対して、図9に示すリニアガンマ変換部205から、入出力特性[H6]を有する信号が入力される。
 入出力特性[H6]は、図10に示すガンマ2.2曲線301の逆特性を持つ入出力特性[H6]、すなわち、ガンマ値=2.2のSDR表示装置に対応した(1/2.2)乗曲線に従ったガンマ補正信号302に相当する入出力特性を有する。
 このように、入出力特性がガンマ2.2曲線301によって表現されるSDR表示部53に対して、ガンマ2.2曲線の逆特性を持つ入出力特性[H6]、すなわち、(1/2.2)乗曲線に従った特性を持つガンマ補正信号302を入力することで、表示部の表示信号(出力)である輝度値や色値を入力信号に対して線形となる表示部出力303を得ることができる。
 すなわち、処理対象画像がHDR画像であっても、本開示の処理を適用することで、SDR表示装置に対して、輝度値や色値を入力信号に対して線形となる表示部出力303を得ることができ、SDR表示部に表示されるHDR画像を、オリジナルの入力HDR画像の持つ輝度や色表現を正しく表現した画像とすることができる。
 図9におけるリニアガンマ変換部205の出力する信号の入出力特性[H6]は、図9に示す入出力特性[H4],[H5]と同様の特性である。すなわち、図10に示すガンマリニア変換部203の生成信号が、すでにSDR表示部53対応のガンマ補正信号、すなわち(1/2.2)乗曲線に従った入出力特性に設定されている。
 図9に示す入出力特性[H1]~[H6]から理解されるように、色信号変換部201の出力信号は、HDR画像対応のガンマ補正曲線と同様の入出力特性である(PQ-1)曲線に従った入出力特性[H2]を有する。
 このHDR画像対応のガンマ補正曲線と同様の入出力特性である(PQ-1)曲線に従った入出力特性[H2]を持つ信号は、その後のレベル変換部202と、ガンマリニア変換部203の処理によって、SDR画像対応のガンマ補正曲線と同様の入出力特性である(1/2.2)乗曲線に従った入出力特性[H4]を持つ信号に変換される。このような信号変換処理を行なうことで、SDR表示部53において入出力特性を線形対応とした表示画像を出力することを可能としている。
 レベル変換部202とガンマリニア変換部203の処理について、再度説明する。
 レベル変換部202では、前述したように、HDR画像特有の処理として、低域と高域をカットして中間領域のみを抽出した信号値:0~1.0に対して、所定のゲイン値を乗算するゲイン制御を実行する。
 具体的には、信号値:0~1.0に対して
 ゲイン=5.1027×Power(Luminance-0.207)
 上記のゲイン値を乗算するゲイン調整処理を実行する。
 なお、Luminanceは表示部の輝度、または入力輝度である。
 このゲイン調整処理によって、レベル変換部202は、図9に示す入出力特性[H3]を有する信号、すなわち(1/4.4)乗曲線に従った入出力特性[H3]を持つ信号を生成して、ガンマリニア変換部203に出力する。
 ガンマリニア変換部203は、レベル変換部202から入力する(1/4.4)乗曲線に従った入出力特性[H3]を持つ信号に対して、(2.2乗)処理を実行して、(1/2.2)乗曲線に従った入出力特性[H4]を持つ信号を生成する。
 すなわち、HDR画像に対しては、入出力特性を線形関係とするリニア変換ではなく、入出力特性を(1/4.4)乗曲線から、(1/2.2)乗曲線に変更する処理を行なう。
 図9に示す入出力特性[H3]は、x(入力)、y(出力)としたとき、
 y=x(1/4.4)
 上記対応関係であり、ガンマリニア変換部203は、この(1/4.4)乗曲線に従った特性を持つ信号について、(2.2乗)処理を実行する。すなわち、
 y=(x(1/4.4)2.2
 上記演算処理によって、
 y=(x(1/2.2)
 上記のx(入力)、y(出力)との入出力特性[H4]を持つ信号を生成する。
 ガンマリニア変換部203は、このガンマリニア変換処理によって図9に示す入出力特性[H4]を有する信号を生成する。すなわち、入出力値が(1/2.2)乗曲線に従った対応関係となる信号を生成する。
 その後の表示部対応色域変換部204での処理では、入出力特性は不変であり、さらに後段のリニアガンマ変換部205は、HDR画像に対する処理を行なわない。
 この結果、表示部(SDR表示部)53には、レベル変換部202とガンマリニア変換部203の処理によって生成された(1/2.2)乗曲線に従った入出力特性[H6]([H4],[H5]と同様の特性)を持つ信号が入力されることになる。
 図9に示す色信号変換部201の出力信号は、HDR画像対応のガンマ補正曲線と同様の入出力特性である(PQ-1)曲線に従った入出力特性[H2]を有する。
 このHDR画像対応のガンマ補正曲線と同様の入出力特性である(PQ-1)曲線に従った入出力特性[H2]を持つ信号は、その後のレベル変換部202と、ガンマリニア変換部203の処理によって、SDR画像対応のガンマ補正曲線と同様の入出力特性である(1/2.2)乗曲線に従った入出力特性[H4]を持つ信号に変換される。
 この変換処理の意味について、図11を参照して説明する。
 図11には、SDR表示部の表示特性に相当するガンマ2.2曲線301と、その逆特性を持つSDR画像対応のガンマ補正信号302を示している。
 さらに、HDR画像の画像特性に対応したPQ曲線(SMPTE ST 2084曲線)321と、HDR画像に対応するHDR画像対応ガンマ補正曲線に相当するPQ-1曲線322を示している。
 PQ-1曲線322は、図9における色信号変換部201の出力する信号の入出力特性[H2]に相当する入出力特性を有する。
 また、SDR画像対応のガンマ補正信号302は、図9におけるガンマリニア変換部203の出力する信号の入出力特性[H4]と同様の特性を持つ。
 すなわち、レベル変換部202と、ガンマリニア変換部203は、色信号変換部201の出力する信号の入出力特性[H2]に相当するPQ-1曲線322を、SDR画像対応のガンマ補正信号302と同様の入出力特性[H4]を持つ信号に変換する処理(図11に示す矢印に従った信号変換処理)を行なっていることになる。
 レベル変換部202における信号値に対するゲイン調整と、ガンマリニア変換部203における信号値に対する2.2乗処理により、この変換処理を実現している。
 これらの処理を行なうことで、入力画像信号がHDR画像である場合でも、SDR表示部に対して、SDR画像対応のガンマ補正曲線に相当する(1/2.2)乗曲線に従った入出力特性信号を生成して入力することが可能となる。
 この処理の結果、入出力特性を線形とした表示が可能となり、HDR画像本来の輝度や、色をほぼ正確に表現した画像出力が可能となる。
 なお、上述した実施例においては、表示部(SDR表示部)53のガンマ値を2.2として仮定して説明したが、その他のガンマ値、例えば2.4等を持つ表示部においても、本開示の処理は適用可能である。
 表示部のガンマ値に応じて、レベル変換部202と、ガンマリニア変換部203における処理態様を変更して、表示部特性であるガンマ曲線と逆特性のガンマ補正信号を生成する構成とすればよい。
  [4.表示制御部の処理シーケンスについて]
 次に、図12に示すフローチャートを参照して、本開示の画像処理装置の表示制御部52の実行する処理のシーケンスについて説明する。
 なお、図12に示すフローに従った処理は、図7、図9を参照して説明した表示制御部の処理として実行される。
 なお、例えば画像処理装置のメモリに格納されたプログラムに従って実行することも可能である。この場合、プログラム実行機能を有するCPU等を備えた制御部の制御の下で実行される。
 以下、図12のフローに示す各ステップの処理について、順次、説明する。
  (ステップS101)
 まず、表示制御部52は、表示制御部52に入力される処理画像がHDR画像であるか、SDR画像であるかを判別する。この画像判別処理は、入力画像に対応して入力する属性情報(メタデータ)を参照して判断する。あるいは表示制御部52が入力画像の解析処理を行なって判断する構成としてもよい。
 入力画像がSDR画像である場合は、ステップS102~S105の処理を実行する。
 一方、入力画像がHDR画像である場合は、ステップS122~S124の処理を実行する。
 なお、以下の説明では、図7、図9に示す色信号変換部201の処理については省略している。色信号変換部201は、SDR画像、HDR画像に対して共通の処理であり、また入力信号がRGB信号であれば省略できるためである。
 まず、入力画像がSDR画像である場合のステップS102~S105の処理について説明する。
  (ステップS102)
 ステップS102の処理は、図7、図9に示すレベル変換部202の処理である。
 レベル変換部202は、入力画像がSDR画像である場合、ゲイン制御を伴わないSDR画像のレベル変換を実行する。
 先に図7を参照して説明したように、低画素値領域と、高画素値領域をカットして、中間領域のみを抽出した信号値:0~1.0を設定するレベル変換処理を実行して設定したレベル値をガンマリニア変換部203に出力する。
 図7に示すレベル変換部202の処理によって生成される信号は、図7に示す入出力特性[S3]、すなわち、(1/2.2)乗曲線に従った入出力特性を有する。
  (ステップS103)
 ステップS103の処理は、図7、図9に示すガンマリニア変換部203の処理である。
 ガンマリニア変換部203は、入力画像がSDR画像である場合もHDR画像である場合も同様の処理を実行する。
 ガンマリニア変換部203は、(1/2.2)乗曲線に従った特性を持つ信号に対して、(2.2乗)処理を実行する。
 入力画像がSDR画像である場合、ガンマリニア変換部203に入力される信号の入出力特性[S3]は図7に示すように、(1/2.2)乗曲線に従った入出力特性である。
 ガンマリニア変換部203は、この(1/2.2)乗曲線に従った特性[S3]を持つ信号に対して、(2.2乗)処理を実行する。
 すなわち、
 y=(x(1/2.2)2.2
 上記演算処理によって、
 y=x
 上記のx(入力)、y(出力)との線形関係、すなわち図7に示す入出力特性[S4]を持つ信号を生成する。
  (ステップS104)
 ステップS104の処理は、図7、図9に示す表示部対応色域変換部204の処理である。
 表示部対応色域変換部204は、入力画像がSDR画像である場合もHDR画像である場合も同様の処理を実行する。
 この色域変換処理は、入力画像の色域を表示部53の表示可能な色域に従って変換する処理である。
 例えば、表示部53に対応する変換行列として予めメモリに格納された3×3マトリックス(行列)を適用してRGB各色の色域変換を実行する。
 なお、この色域変換では、入出力特性の線形関係、例えば信号値と輝度との線形性はそのまま維持される。
 図7に示す入出力特性[S5]は、入出力特性[S4]と同様、x(入力)、y(出力)としたとき、
 y=x
 上記の線形対応関係である。
  (ステップS105)
 ステップS105の処理は、図7、図9に示すリニアガンマ変換部205の処理である。
 リニアガンマ変換部205は、入力画像がSDR画像である場合のみ処理を行ない、HDR画像である場合には処理を行なわず、入力信号をそのまま表示部53に出力する。
 リニアガンマ変換部205は、入力画像がSDR画像である場合、表示部対応色域変換部204から入力する図7に示す線形対応の入出力特性[S5]を持つ信号に対して、(1/2.2)乗処理を実行し、図7の入出力特性[S6]に示すように、(1/2.2)乗曲線に従った特性とするリニアガンマ変換処理を実行する。
 図7に示す入出力特性[S6]は、x(入力)、y(出力)としたとき、
 y=x(1/2.2)
 上記の入出力特性である。
 リニアガンマ変換部205は、このリニアガンマ変換処理によって、SDR表示部53対応のガンマ補正信号を生成する。このガンマ補正信号は、(1/2.2)乗曲線であり、SDR表示部53の表示特性である2.2乗曲線の逆特性を有する。
  (ステップS151)
 最後に、リニアガンマ変換部205の生成した入出力特性[S6]を有する信号を表示部(SDR表示部)53に出力する。
 表示部(SDR表示部)53は、ガンマ値=2.2のガンマ2.2曲線に対応する表示特性を有する。この表示部53に、(1/2.2)乗曲線に従った入出力特性[S6]を有する信号を入力して表示処理を実行する。
 この処理によって、表示部の表示信号(出力)である輝度値や色値を入力信号に対して線形となる表示部出力を行うことができる。
 次に、ステップS101において、入力画像がHDR画像であると判定された場合の処理、すなわち、ステップS122以下の処理について説明する。
  (ステップS122)
 ステップS122の処理は、図7、図9に示すレベル変換部202の処理である。
 レベル変換部202は、入力画像がHDR画像である場合、ゲイン制御を伴うHDR画像のレベル変換を実行する。
 先に図9を参照して説明したように、低画素値領域と、高画素値領域をカットして、中間領域のみを抽出した信号値:0~1.0を設定して、さらに、設定したレベル値に所定のゲイン値を乗算する。
 具体的には、前述したように信号値:0~1.0に対して
 ゲイン=5.1027×Power(Luminance-0.207)
 上記のゲイン値を乗算するゲイン調整処理を実行する。
 なお、Luminanceは表示部の輝度、または入力輝度である。
 このゲイン調整処理によって、レベル変換部202は、図9に示す入出力特性[H3]を有する信号、すなわち(1/4.4)乗曲線に従った入出力特性を持つ信号を生成して、ガンマリニア変換部203に出力する。
 このゲイン値の乗算は、図9に示す(PQ-1)曲線に従った入出力特性[H2]を(1/4.4)乗曲線に従った入出力特性[H3]に変換するための処理である。
  (ステップS123)
 ステップS123の処理は、図7、図9に示すガンマリニア変換部203の処理である。
 ガンマリニア変換部203は、入力画像がSDR画像である場合もHDR画像である場合も同様の処理を実行する。
 ガンマリニア変換部203は、(1/2.2)乗曲線に従った特性を持つ信号に対して、(2.2乗)処理を実行する。
 入力画像がHDR画像である場合、ガンマリニア変換部203に入力される信号の入出力特性[H3]は図9に示すように、(1/4.4)乗曲線に従った入出力特性である。
 ガンマリニア変換部203は、この(1/4.4)乗曲線に従った特性[H3]を持つ信号に対して、(2.2乗)処理を実行する。
 すなわち、
 y=(x(1/4.4)2.2
 上記演算処理によって、
 y=(x(1/2.2)
 上記のx(入力)、y(出力)との入出力特性[H4]を持つ信号を生成する。すなわち、入出力値が(1/2.2)乗曲線に従った対応関係入出力特性[H4]を持つ信号を生成する。
  (ステップS124)
 ステップS124の処理は、図7、図9に示す表示部対応色域変換部204の処理である。
 表示部対応色域変換部204は、入力画像がSDR画像である場合もHDR画像である場合も同様の処理を実行する。
 この色域変換処理は、入力画像の色域を表示部53の表示可能な色域に従って変換する処理である。
 例えば、表示部53に対応する変換行列として予めメモリに格納された3×3マトリックス(行列)を適用してRGB各色の色域変換を実行する。
 なお、この色域変換では、入出力特性はそのまま維持される。すなわち、入出力特性[H4]と同様の入出力値が(1/2.2)乗曲線に従った対応関係を持つ入出力特性[H5]を持つ信号を生成する。
 処理画像がHDR画像である場合、図7、図9に示すリニアガンマ変換部205の処理は省略される。
 すなわち、処理画像がHDR画像である場合、表示部対応色域変換部204の生成信号がそのまま、表示部53に入力される。
 図9に示すリニアガンマ変換部205の出力信号の入出力特性[H6]は、表示部対応色域変換部204の生成信号の入出力特性[H5]と同一であり、入出力値が(1/2.2)乗曲線に従った対応関係を持つ。
  (ステップS151)
 最後に、表示部対応色域変換部204の出力に相当する入出力特性[H5](=[H6])を有する信号を表示部(SDR表示部)53に出力する。
 表示部(SDR表示部)53は、ガンマ値=2.2のガンマ2.2曲線に対応する表示特性を有する。この表示部53に、(1/2.2)乗曲線に従った入出力特性[H6]を有する信号を入力して表示処理を実行する。
 この処理によって、表示部の表示信号(出力)である輝度値や色値を入力信号に対して線形となる表示部出力を行うことができる。
  [5.画像処理装置の構成例について]
 次に、上述した実施例に従った処理を実行する画像処理装置の構成例について図13を参照して説明する。
 上述した実施例に従った処理は、様々なタイプの画像処理装置において実行可能であるが、以下では、画像処理を実行するPC等の画像処理装置のハードウェア構成例について説明する。
 図13は、PC等の画像処理装置のハードウェア構成例を示す図である。
 CPU(Central Processing Unit)501は、ROM(Read Only Memory)502、または記憶部508に記憶されているプログラムに従って各種の処理を実行するデータ処理部として機能する。例えば、上述した実施例において説明したシーケンスに従った処理を実行する。RAM(Random Access Memory)503には、CPU501が実行するプログラムやデータなどが記憶される。これらのCPU501、ROM502、およびRAM503は、バス504により相互に接続されている。
 CPU501はバス504を介して入出力インタフェース505に接続され、入出力インタフェース505には、各種スイッチ、キーボード、マウス、マイクロホンなどよりなる入力部506、ディスプレイ、スピーカなどよりなる出力部5050が接続されている。CPU501は、入力部506から入力される指令に対応して各種の処理を実行し、処理結果を例えば出力部507に出力する。
 入出力インタフェース505に接続されている記憶部508は、例えばハードディスク等からなり、CPU501が実行するプログラムや各種のデータを記憶する。通信部509は、インターネットやローカルエリアネットワークなどのネットワークを介したデータ通信の送受信部、さらに放送波の送受信部として機能し、外部の装置と通信する。
 入出力インタフェース505に接続されているドライブ510は、磁気ディスク、光ディスク、光磁気ディスク、あるいはメモリカード等の半導体メモリなどのリムーバブルメディア511を駆動し、データの記録あるいは読み取りを実行する。
  [6.本開示の構成のまとめ]
 以上、特定の実施例を参照しながら、本開示の実施例について詳解してきた。しかしながら、本開示の要旨を逸脱しない範囲で当業者が実施例の修正や代用を成し得ることは自明である。すなわち、例示という形態で本発明を開示してきたのであり、限定的に解釈されるべきではない。本開示の要旨を判断するためには、特許請求の範囲の欄を参酌すべきである。
 なお、本明細書において開示した技術は、以下のような構成をとることができる。
 (1) HDR(High Dynamic Range)画像、またはSDR(Standard Dynamic Range)画像対応の画像信号を入力して、表示部への出力信号を生成する表示制御部を有し、
 前記表示部は、SDR画像対応のガンマ値を有するSDR表示部であり、
 前記表示制御部は、
 前記表示制御部に対する入力信号がHDR画像信号である場合、入力HDR画像信号の変換処理を実行し、前記SDR表示部の入出力特性に相当するガンマ曲線の逆の入出力特性を持つガンマ補正曲線に従った変換HDR信号を生成して表示部へ出力する画像処理装置。
 (2) 前記SDR画像対応のガンマ値は2.2であり、前記SDR表示部の入出力特性に相当するガンマ曲線は、2.2乗曲線であり、
 前記ガンマ補正曲線は、前記ガンマ曲線の逆の入出力特性を持つ(1/2.2)乗曲線であり、
 前記表示制御部は、
 前記表示制御部に対する入力信号がHDR画像信号である場合、入力HDR画像信号の変換処理を実行し、(1/2.2)乗曲線に従った入出力特性を持つ変換HDR信号を生成して表示部へ出力する(1)に記載の画像処理装置。
 (3) 前記表示制御部は、
 前記表示制御部に対する入力信号がHDR画像信号である場合、SMPTE STTS 2084曲線(PQ曲線)の入出力特性と逆の(PQ-1)曲線に従った入出力特性を有するHDR画像信号を入力して、信号変換処理を実行する(1)または(2)に記載の画像処理装置。
 (4) 前記表示制御部は、
 前記表示制御部に対する入力信号のレベル変換処理を実行するレベル変換部と、
 前記レベル変換部の出力に対する信号変換処理を実行するガンマリニア変換部を有し、
 前記レベル変換部は、
 前記表示制御部に対する入力信号がHDR画像信号である場合、入力HDR画像信号のレベル変換に併せて、ゲイン調整処理を実行し、
 前記ガンマリニア変換部は、前記ゲイン調整後のHDR画像信号に対する信号変換処理を実行して、前記変換HDR信号を生成する(1)~(3)いずれかに記載の画像処理装置。
 (5) 前記SDR表示部の入出力特性に相当するガンマ曲線は、2.2乗曲線であり、
 前記ガンマ補正曲線は、前記ガンマ曲線の逆の入出力特性を持つ(1/2.2)乗曲線であり、
 前記レベル変換部は、前記ゲイン調整処理により、
 (1/4.4)乗曲線に従った入出力特性を有するHDR画像信号を生成し、
 前記ガンマリニア変換部は、前記ゲイン調整後のHDR画像信号に対して、2.2乗処理を実行して、(1/2.2)乗曲線に従った入出力特性を持つ変換HDR信号を生成する(4)に記載の画像処理装置。
 (6) 前記表示制御部は、さらに、
 前記ガンマリニア変換部からの出力に対する表示部対応色域変換処理を実行する表示部対応色域変換部を有する(4)または(5)いずれかに記載の画像処理装置。
 (7) 前記表示制御部は、さらに、
 前記表示部対応色域変換部からの出力に対する信号変換処理を実行するリニアガンマ変換部を有する(6)に記載の画像処理装置。
 (8) 前記リニアガンマ変換部は、
 前記表示制御部に対する入力信号がHDR画像信号である場合には、処理を行なわず、入力信号がSDR画像信号である場合にのみ信号変換処理を実行する(7)に記載の画像処理装置。
 (9) 前記表示制御部は、さらに、
 前記表示制御部に対する入力信号の色信号変換処理を実行する色信号変換部を有する請(1)~(8)いずれかに記載の画像処理装置。
 (10) 画像処理装置において実行する画像処理方法であり、
 前記画像処理装置は、HDR(High Dynamic Range)画像、またはSDR(Standard Dynamic Range)画像対応の画像信号を入力して、表示部への出力信号を生成する表示制御部を有し、
 前記表示部は、SDR画像対応のガンマ値を有するSDR表示部であり、
 前記表示制御部が、
 前記表示制御部に対する入力信号がHDR画像信号である場合、入力HDR画像信号の変換処理を実行し、前記SDR表示部の入出力特性に相当するガンマ曲線の逆の入出力特性を持つガンマ補正曲線に従った変換HDR信号を生成して表示部へ出力する画像処理方法。
 (11) 画像処理装置において画像処理を実行させるプログラムであり、
 前記画像処理装置は、HDR(High Dynamic Range)画像、またはSDR(Standard Dynamic Range)画像対応の画像信号を入力して、表示部への出力信号を生成する表示制御部を有し、
 前記表示部は、SDR画像対応のガンマ値を有するSDR表示部であり、
 前記プログラムは、前記表示制御部に、
 前記表示制御部に対する入力信号がHDR画像信号である場合、入力HDR画像信号の変換処理を実行し、前記SDR表示部の入出力特性に相当するガンマ曲線の逆の入出力特性を持つガンマ補正曲線に従った変換HDR信号を生成して表示部へ出力する処理を実行させるプログラム。
 明細書中において説明した一連の処理はハードウェア、またはソフトウェア、あるいは両者の複合構成によって実行することが可能である。ソフトウェアによる処理を実行する場合は、処理シーケンスを記録したプログラムを、専用のハードウェアに組み込まれたコンピュータ内のメモリにインストールして実行させるか、あるいは、各種処理が実行可能な汎用コンピュータにプログラムをインストールして実行させることが可能である。例えば、プログラムは記録媒体に予め記録しておくことができる。記録媒体からコンピュータにインストールする他、LAN(Local Area Network)、インターネットといったネットワークを介してプログラムを受信し、内蔵するハードディスク等の記録媒体にインストールすることができる。
 なお、明細書に記載された各種の処理は、記載に従って時系列に実行されるのみならず、処理を実行する装置の処理能力あるいは必要に応じて並列的にあるいは個別に実行されてもよい。また、本明細書においてシステムとは、複数の装置の論理的集合構成であり、各構成の装置が同一筐体内にあるものには限らない。
 以上、説明したように、本開示の一実施例の構成によれば、HDR画像を大きな画質低下を発生させることなくSDR表示装置に表示可能とした装置、方法が実現される。
 具体的には、HDR画像信号を変換して表示部に対する出力信号を生成する表示制御部を有する。表示制御部は、HDR画像信号を入力した場合、入力HDR画像信号の変換処理を実行し、SDR表示部の入出力特性に相当するガンマ曲線の逆の入出力特性を持つガンマ補正曲線に従った変換HDR信号を生成して表示部へ出力する。SDR表示部の入出力特性に相当するガンマ曲線が、2.2乗曲線である場合、表示制御部は、入力HDR画像信号の変換処理を実行し、(1/2.2)乗曲線に従った入出力特性を持つ変換HDR信号を生成して表示部へ出力する。
 本開示の処理により、HDR画像を大きな画質低下を発生させることなくSDR表示装置に表示可能とした装置、方法が実現される。
  50 画像処理装置
  51 画像信号処理部
  52 表示制御部
  53 表示部
 201 色信号変換部
 202 レベル変換部
 203 ガンマリニア変換部
 204 表示部対応色域変換部
 205 リニアガンマ変換部
 501 CPU
 502 ROM
 503 RAM
 504 バス
 505 入出力インタフェース
 506 入力部
 507 出力部
 508 記憶部
 509 通信部
 510 ドライブ
 511 リムーバブルメディア

Claims (11)

  1.  HDR(High Dynamic Range)画像、またはSDR(Standard Dynamic Range)画像対応の画像信号を入力して、表示部への出力信号を生成する表示制御部を有し、
     前記表示部は、SDR画像対応のガンマ値を有するSDR表示部であり、
     前記表示制御部は、
     前記表示制御部に対する入力信号がHDR画像信号である場合、入力HDR画像信号の変換処理を実行し、前記SDR表示部の入出力特性に相当するガンマ曲線の逆の入出力特性を持つガンマ補正曲線に従った変換HDR信号を生成して表示部へ出力する画像処理装置。
  2.  前記SDR画像対応のガンマ値は2.2であり、前記SDR表示部の入出力特性に相当するガンマ曲線は、2.2乗曲線であり、
     前記ガンマ補正曲線は、前記ガンマ曲線の逆の入出力特性を持つ(1/2.2)乗曲線であり、
     前記表示制御部は、
     前記表示制御部に対する入力信号がHDR画像信号である場合、入力HDR画像信号の変換処理を実行し、(1/2.2)乗曲線に従った入出力特性を持つ変換HDR信号を生成して表示部へ出力する請求項1に記載の画像処理装置。
  3.  前記表示制御部は、
     前記表示制御部に対する入力信号がHDR画像信号である場合、SMPTE STTS 2084曲線(PQ曲線)の入出力特性と逆の(PQ-1)曲線に従った入出力特性を有するHDR画像信号を入力して、信号変換処理を実行する請求項1に記載の画像処理装置。
  4.  前記表示制御部は、
     前記表示制御部に対する入力信号のレベル変換処理を実行するレベル変換部と、
     前記レベル変換部の出力に対する信号変換処理を実行するガンマリニア変換部を有し、
     前記レベル変換部は、
     前記表示制御部に対する入力信号がHDR画像信号である場合、入力HDR画像信号のレベル変換に併せて、ゲイン調整処理を実行し、
     前記ガンマリニア変換部は、前記ゲイン調整後のHDR画像信号に対する信号変換処理を実行して、前記変換HDR信号を生成する請求項1に記載の画像処理装置。
  5.  前記SDR表示部の入出力特性に相当するガンマ曲線は、2.2乗曲線であり、
     前記ガンマ補正曲線は、前記ガンマ曲線の逆の入出力特性を持つ(1/2.2)乗曲線であり、
     前記レベル変換部は、前記ゲイン調整処理により、
     (1/4.4)乗曲線に従った入出力特性を有するHDR画像信号を生成し、
     前記ガンマリニア変換部は、前記ゲイン調整後のHDR画像信号に対して、2.2乗処理を実行して、(1/2.2)乗曲線に従った入出力特性を持つ変換HDR信号を生成する請求項4に記載の画像処理装置。
  6.  前記表示制御部は、さらに、
     前記ガンマリニア変換部からの出力に対する表示部対応色域変換処理を実行する表示部対応色域変換部を有する請求項4に記載の画像処理装置。
  7.  前記表示制御部は、さらに、
     前記表示部対応色域変換部からの出力に対する信号変換処理を実行するリニアガンマ変換部を有する請求項6に記載の画像処理装置。
  8.  前記リニアガンマ変換部は、
     前記表示制御部に対する入力信号がHDR画像信号である場合には、処理を行なわず、入力信号がSDR画像信号である場合にのみ信号変換処理を実行する請求項7に記載の画像処理装置。
  9.  前記表示制御部は、さらに、
     前記表示制御部に対する入力信号の色信号変換処理を実行する色信号変換部を有する請求項1に記載の画像処理装置。
  10.  画像処理装置において実行する画像処理方法であり、
     前記画像処理装置は、HDR(High Dynamic Range)画像、またはSDR(Standard Dynamic Range)画像対応の画像信号を入力して、表示部への出力信号を生成する表示制御部を有し、
     前記表示部は、SDR画像対応のガンマ値を有するSDR表示部であり、
     前記表示制御部が、
     前記表示制御部に対する入力信号がHDR画像信号である場合、入力HDR画像信号の変換処理を実行し、前記SDR表示部の入出力特性に相当するガンマ曲線の逆の入出力特性を持つガンマ補正曲線に従った変換HDR信号を生成して表示部へ出力する画像処理方法。
  11.  画像処理装置において画像処理を実行させるプログラムであり、
     前記画像処理装置は、HDR(High Dynamic Range)画像、またはSDR(Standard Dynamic Range)画像対応の画像信号を入力して、表示部への出力信号を生成する表示制御部を有し、
     前記表示部は、SDR画像対応のガンマ値を有するSDR表示部であり、
     前記プログラムは、前記表示制御部に、
     前記表示制御部に対する入力信号がHDR画像信号である場合、入力HDR画像信号の変換処理を実行し、前記SDR表示部の入出力特性に相当するガンマ曲線の逆の入出力特性を持つガンマ補正曲線に従った変換HDR信号を生成して表示部へ出力する処理を実行させるプログラム。
PCT/JP2016/062983 2015-05-12 2016-04-26 画像処理装置、および画像処理方法、並びにプログラム WO2016181819A1 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
KR1020177031563A KR20180006898A (ko) 2015-05-12 2016-04-26 화상 처리 장치 및 화상 처리 방법, 그리고 프로그램
JP2017517866A JP6760274B2 (ja) 2015-05-12 2016-04-26 画像処理装置、および画像処理方法、並びにプログラム
US15/564,048 US10565694B2 (en) 2015-05-12 2016-04-26 Image processing apparatus, image processing method, and program for reproducing tone of a high dynamic range (HDR) image
EP16792544.5A EP3296985A4 (en) 2015-05-12 2016-04-26 Image-processing device, image-processing method, and program
CN201680025534.7A CN107533832B (zh) 2015-05-12 2016-04-26 图像处理装置、图像处理方法与程序

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2015097325 2015-05-12
JP2015-097325 2015-05-12

Publications (1)

Publication Number Publication Date
WO2016181819A1 true WO2016181819A1 (ja) 2016-11-17

Family

ID=57249206

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2016/062983 WO2016181819A1 (ja) 2015-05-12 2016-04-26 画像処理装置、および画像処理方法、並びにプログラム

Country Status (6)

Country Link
US (1) US10565694B2 (ja)
EP (1) EP3296985A4 (ja)
JP (1) JP6760274B2 (ja)
KR (1) KR20180006898A (ja)
CN (1) CN107533832B (ja)
WO (1) WO2016181819A1 (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2545067A (en) * 2015-10-30 2017-06-07 Canon Kk Video processing apparatus, video processing method, program, and medium
WO2017110823A1 (ja) * 2015-12-25 2017-06-29 シャープ株式会社 表示装置、表示装置の制御方法、制御プログラム、および記録媒体
CN107682673A (zh) * 2017-10-09 2018-02-09 成都索贝数码科技股份有限公司 一种基于gpu和视频io卡同时监看4khdr和hdsdr信号的方法

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102508892B1 (ko) * 2016-04-15 2023-03-10 삼성전자주식회사 디스플레이 장치 및 그 제어 방법
CN106210921B (zh) * 2016-08-12 2019-10-11 深圳创维-Rgb电子有限公司 一种图像效果提升方法及其装置
CN108882028B (zh) * 2018-07-05 2019-06-14 华为技术有限公司 视频信号的处理方法及装置

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014130343A2 (en) * 2013-02-21 2014-08-28 Dolby Laboratories Licensing Corporation Display management for high dynamic range video
JP2014531821A (ja) * 2011-09-27 2014-11-27 コーニンクレッカ フィリップス エヌ ヴェ 画像のダイナミックレンジ変換のための装置及び方法
JP2015510600A (ja) * 2011-12-06 2015-04-09 ドルビー ラボラトリーズ ライセンシング コーポレイション 異なる表示機能の間で知覚ルミナンス非線形性ベースの画像データ交換を改善する装置および方法
WO2015190044A1 (ja) * 2014-06-10 2015-12-17 パナソニックIpマネジメント株式会社 表示システム、表示方法および表示装置

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6563534B1 (en) * 1997-03-27 2003-05-13 Hitachi Denshi Kabushiki Kaisha High definition television camera apparatus for correcting a characteristic value of a video signal
GB2408872B (en) * 2003-12-01 2008-12-31 Inventec Appliances Corp Method and apparatus for transforming a high dynamic range image into a low dynamic range image
US7558436B2 (en) * 2006-07-20 2009-07-07 Max-Viz, Inc. Image dynamic range control for visual display
JP4218723B2 (ja) * 2006-10-19 2009-02-04 ソニー株式会社 画像処理装置、撮像装置、画像処理方法およびプログラム
JP2009124638A (ja) * 2007-11-19 2009-06-04 Fujitsu Microelectronics Ltd 画像信号処理回路
US9087382B2 (en) * 2009-06-29 2015-07-21 Thomson Licensing Zone-based tone mapping
KR101642034B1 (ko) * 2009-12-08 2016-07-25 한양대학교 산학협력단 입력 영상의 동적 범위를 변환하는 방법 및 장치
GB2500835B (en) 2010-12-10 2014-02-12 Ibm High-dynamic range video tone mapping
CN103621084A (zh) * 2011-04-28 2014-03-05 皇家飞利浦有限公司 用于生成图像编码信号的方法和装置
US9129445B2 (en) * 2012-03-14 2015-09-08 Dolby Laboratories Licensing Corporation Efficient tone-mapping of high-bit-depth video to low-bit-depth display

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014531821A (ja) * 2011-09-27 2014-11-27 コーニンクレッカ フィリップス エヌ ヴェ 画像のダイナミックレンジ変換のための装置及び方法
JP2015510600A (ja) * 2011-12-06 2015-04-09 ドルビー ラボラトリーズ ライセンシング コーポレイション 異なる表示機能の間で知覚ルミナンス非線形性ベースの画像データ交換を改善する装置および方法
WO2014130343A2 (en) * 2013-02-21 2014-08-28 Dolby Laboratories Licensing Corporation Display management for high dynamic range video
WO2015190044A1 (ja) * 2014-06-10 2015-12-17 パナソニックIpマネジメント株式会社 表示システム、表示方法および表示装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP3296985A4 *

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2545067A (en) * 2015-10-30 2017-06-07 Canon Kk Video processing apparatus, video processing method, program, and medium
GB2545067B (en) * 2015-10-30 2020-01-08 Canon Kk Video processing apparatus, method, program, and medium in which a gamma correction curve for an extended dynamic range is generated using a reference curve
US10582174B2 (en) 2015-10-30 2020-03-03 Canon Kabushiki Kaisha Video processing apparatus, video processing method, and medium
WO2017110823A1 (ja) * 2015-12-25 2017-06-29 シャープ株式会社 表示装置、表示装置の制御方法、制御プログラム、および記録媒体
US10237525B2 (en) 2015-12-25 2019-03-19 Sharp Kabushiki Kaisha Display device, method for controlling display device, control program, and recording medium
CN107682673A (zh) * 2017-10-09 2018-02-09 成都索贝数码科技股份有限公司 一种基于gpu和视频io卡同时监看4khdr和hdsdr信号的方法
CN107682673B (zh) * 2017-10-09 2019-11-12 成都索贝数码科技股份有限公司 一种基于gpu和视频io卡同时监看4khdr和hdsdr信号的方法

Also Published As

Publication number Publication date
US10565694B2 (en) 2020-02-18
EP3296985A1 (en) 2018-03-21
CN107533832A (zh) 2018-01-02
CN107533832B (zh) 2020-11-27
JPWO2016181819A1 (ja) 2018-03-01
KR20180006898A (ko) 2018-01-19
JP6760274B2 (ja) 2020-09-23
EP3296985A4 (en) 2018-12-12
US20180096466A1 (en) 2018-04-05

Similar Documents

Publication Publication Date Title
WO2016181819A1 (ja) 画像処理装置、および画像処理方法、並びにプログラム
JP7018573B2 (ja) 輝度変換装置および輝度変換方法
TWI734978B (zh) 用於執行高動態範圍視訊的色調映射的方法及裝置
JP6478064B2 (ja) 変換方法および変換装置
JP6891882B2 (ja) 画像処理装置、および画像処理方法、並びにプログラム
US11049225B2 (en) Video processing system and video processing method
US8600159B2 (en) Color converting images
JP6872693B2 (ja) 調整装置、調整方法およびプログラム
US10750149B2 (en) Information processing apparatus, information recording medium, information processing method, and program
WO2018062022A1 (ja) 調整装置、調整方法およびプログラム
JP6751901B2 (ja) 輝度変換方法、輝度変換装置および映像表示装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 16792544

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2017517866

Country of ref document: JP

Kind code of ref document: A

WWE Wipo information: entry into national phase

Ref document number: 15564048

Country of ref document: US

ENP Entry into the national phase

Ref document number: 20177031563

Country of ref document: KR

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE