WO2021220333A1 - 画像調整装置、画像調整方法及びプログラム - Google Patents

画像調整装置、画像調整方法及びプログラム Download PDF

Info

Publication number
WO2021220333A1
WO2021220333A1 PCT/JP2020/017942 JP2020017942W WO2021220333A1 WO 2021220333 A1 WO2021220333 A1 WO 2021220333A1 JP 2020017942 W JP2020017942 W JP 2020017942W WO 2021220333 A1 WO2021220333 A1 WO 2021220333A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
shade
brightness
function
converted
Prior art date
Application number
PCT/JP2020/017942
Other languages
English (en)
French (fr)
Inventor
小萌 武
隆仁 川西
邦夫 柏野
Original Assignee
日本電信電話株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日本電信電話株式会社 filed Critical 日本電信電話株式会社
Priority to JP2022518432A priority Critical patent/JP7425361B2/ja
Priority to PCT/JP2020/017942 priority patent/WO2021220333A1/ja
Priority to US17/921,103 priority patent/US20230162335A1/en
Publication of WO2021220333A1 publication Critical patent/WO2021220333A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/90—Dynamic range modification of images or parts thereof
    • G06T5/92—Dynamic range modification of images or parts thereof based on global image properties
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/90—Dynamic range modification of images or parts thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/14—Picture signal circuitry for video frequency region
    • H04N5/20—Circuitry for controlling amplitude response

Definitions

  • the present invention relates to an image adjusting device, an image adjusting method, and a program.
  • Histogram flattening which is one of the image enhancement methods, has attracted the most attention because it has intuitive mounting quality and high efficiency.
  • a function that transforms the brightness of the input image hereinafter referred to as the "luminance conversion function”
  • luminance conversion function a function that transforms the brightness of the input image
  • the gradient of the reflectance component image of the shading image is derived as a local contrast value.
  • a brightness histogram weighted by the contrast value is derived.
  • adaptive image enhancement corresponding to various input images is realized by flattening the luminance histogram without excessively enhancing the brightness of the input image.
  • Non-Patent Document 1 and the histogram flattening a monotonic constraint is imposed on the luminance conversion function. That is, in the method shown in Non-Patent Document 1 and the flattening of the histogram, the constraint that the brightness of the output image converted by using the luminance conversion function must always increase as the luminance of the input image increases. Is imposed on the brightness conversion function.
  • an image in which a natural scene is captured is considered to be a combination of an illumination component image and a reflectance component image.
  • the illumination component image constitutes the global contrast and the reflectance component image constitutes the local details.
  • the reflectance component image is regarded as a desired output image with enhanced contrast.
  • an output image with enhanced contrast as compared with the input image is derived.
  • the dark and local details in the image are effectively emphasized by adjusting the parameters appropriately.
  • the global contrast in the image is completely lost, there is a problem that the global brightness in the image becomes excessive.
  • a method of emphasizing the illumination component in the illumination component image has been proposed for the purpose of brightening the image without losing the global contrast in the image.
  • the input image is decomposed into an illumination component image and a reflectance component image. Further, the illumination component in the illumination component image is appropriately emphasized, and the enhanced illumination component image and the reflectance component image are recombinated.
  • the illumination component in the estimated illumination component image is emphasized by gamma correction, and the illumination component image including the emphasized illumination component and the reflectance component image are recombinated. ..
  • This recombination image is output as an image with enhanced brightness.
  • gamma correction cannot adaptively brighten the image. Therefore, in the method shown in Non-Patent Document 3, the brightness of the image may become excessive. In addition, the brightness of the image may be insufficient.
  • Non-Patent Document 1 As long as the image has a region in which the contrast of luminance (pixel value) is emphasized, the contrast of luminance in other regions in the image is inevitably due to the limitation of monotony. Will be suppressed. As a result of suppressing the contrast, the method shown in Non-Patent Document 1 has a problem that local details in the image are attenuated. The same applies to histogram flattening. Thus, it may not be possible to emphasize local details in an image in which the global brightness is adaptively adjusted.
  • an object of the present invention to provide an image adjustment device, an image adjustment method and a program capable of emphasizing local details in an image in which global brightness is adaptively adjusted. It is said.
  • One aspect of the present invention is an input unit that acquires a shading image that is an image representing shading using the contrast of luminance, and a luminance conversion in which a function value changes according to coordinates in the shading image based on a camera response function. Conversion that is the shade image whose brightness is converted so as to adaptively adjust the global brightness and emphasize the local details by converting the brightness of each pixel of the shade image using a function. It is an image adjustment device including a luminance conversion unit that generates a light and shade image and outputs the converted light and shade image to a predetermined device.
  • One aspect of the present invention is an image adjustment method executed by an image adjusting device, which is an input step of acquiring a shade image which is an image representing shades using brightness contrast, and the shade image based on a camera response function.
  • an image adjustment method including a brightness conversion step of generating a converted light and shade image which is the light and shade image whose brightness is converted as described above and outputting the converted light and shade image to a predetermined device.
  • One aspect of the present invention is a program for operating a computer as the above-mentioned image adjusting device.
  • a post-processing method for an arbitrary image enhancement method (hereinafter referred to as “base image enhancement method”) is proposed.
  • base image enhancement method a shade image whose brightness is adjusted by using the base image enhancement method is referred to as an “enhanced shade image”.
  • the conversion from the shade image “A in ” to the enhanced shade image is approximated to a non-monotonic luminance conversion function. That is, the conversion from the shade image "A in " to the enhanced shade image is approximated by a luminance conversion function (a spatially changing luminance conversion function) that changes according to the coordinates in the image.
  • a method of emphasizing a grayscale image using a non-monotonic luminance conversion function approximated in this way is proposed.
  • the base image enhancement method is, for example, a method that can adaptively emphasize the global brightness of an image.
  • a method of emphasizing a grayscale image using a monotonous luminance conversion function is adopted as an example of the substrate image enhancement method, post-processing for the substrate image enhancement method is remarkably effective. Therefore, in the following, the method of Non-Patent Document 1 is used as an example of the basic image enhancement method.
  • the non-monotonic luminance conversion function needs to be able to emphasize the local details of the image. Therefore, the non-monotonic luminance conversion function needs to be a function that changes spatially, that is, a function whose function value changes according to the coordinates in the image. In the following, a non-monotonic luminance conversion function is derived based on the camera response function so that these requirements are met.
  • the brightness of the output image converted from the brightness of the input image is referred to as "converted brightness”.
  • the conversion brightness is converted from the brightness of the input image by using the brightness conversion function derived from the camera response function.
  • the larger the exposure value the higher the conversion brightness. That is, the smaller the exposure value, the lower the conversion brightness.
  • the luminance conversion function derived from the camera response function for converting the luminance of the input image into the luminance is a monotonically increasing function. Therefore, the luminance conversion function derived from the camera response function for converting the luminance of the input image into the converted luminance cannot be used as it is as a non-monotonous luminance conversion function.
  • the smoothed shade image is referred to as a “smooth shade image”.
  • the pixel value of the smooth shading image is small.
  • the pixel value of the smooth shading image is large. Therefore, in the following, a method of using a positive real number matrix that is inversely proportional to the pixel value of the smooth shading image as the exposure value matrix is proposed.
  • the brightness conversion function with this exposure value matrix as a variable is a function that does not increase monotonically.
  • the conversion brightness is determined according to the brightness of the input image and the original brightness (darkness) in the area around the pixel.
  • the conversion from the shade image to the emphasized shade image is approximated to the luminance conversion function using the above-mentioned exposure value matrix as a variable.
  • the image adjusting device adapts the luminance conversion function to the image data including the shading image and the enhanced shading image.
  • the CRF parameter as a variable of the luminance conversion function is derived.
  • a luminance conversion function with the derived CRF parameter as a variable is applied to the shade image.
  • the shade image is emphasized by converting the brightness of the shade image using the brightness conversion function with the CRF parameter as a variable.
  • a shade image whose brightness is converted by using a brightness conversion function having a CRF parameter as a variable is referred to as a “converted shade image”.
  • the image adjustment device derives the enhanced shading image by using the base image enhancement method.
  • the image adjustment device uses a monotonically increasing function having one or more parameters (CRF parameters) as a camera response function.
  • the image adjuster derives the brightness conversion function by solving the comparison equation of this function.
  • the image adjusting device derives a smooth shading image from the shading image.
  • the image adjustment device derives a positive real number matrix that is inversely proportional to the pixel value of the smooth shading image as an exposure value matrix of the luminance conversion function.
  • the image adjustment device calculates the CRF parameter of the luminance conversion function so that the difference between the enhanced shading image and the converted shading image (for example, the sum of squares of the residuals) satisfies a predetermined condition.
  • This predetermined condition is, for example, a condition that the difference between the enhanced shading image and the converted shading image is minimized.
  • the image adjustment device converts the brightness of the light and shade image by applying the brightness conversion function to the light and shade image. As a result, a converted shade image is generated.
  • FIG. 1 is a diagram showing a configuration example of the image adjusting device 1.
  • the image adjusting device 1 is a device that adjusts an image.
  • the image adjusting device 1 is a device that adjusts the contrast of brightness.
  • the image adjusting device 1 adaptively adjusts the global brightness (luminance) of the input image by using an arbitrary image enhancement method.
  • the image adjusting device 1 emphasizes the local details in the input image whose global brightness has been adjusted in the post-processing.
  • the image adjustment device 1 includes an input unit 10, an image enhancement unit 11, a function derivation unit 12, a matrix derivation unit 13, a parameter derivation unit 14, a brightness conversion unit 15, and an output unit 16.
  • FIG. 2 is a diagram showing a hardware configuration example of the image adjusting device 1.
  • the image adjusting device 1 includes a processor 2, a memory 3, a storage device 4, and a display unit 5.
  • a processor 2 such as a CPU (Central Processing Unit) expands a part or all of each functional unit of the image adjusting device 1 from a storage device 4 which is a non-volatile recording medium (non-temporary recording medium) to a memory 3. It is realized as software by executing the program.
  • the program may be recorded on a computer-readable recording medium.
  • Computer-readable recording media include, for example, flexible disks, optomagnetic disks, portable media such as ROM (ReadOnlyMemory) and CD-ROM (CompactDiscReadOnlyMemory), and storage of hard disks built into computer systems. It is a non-temporary recording medium such as a device.
  • the program may be received via a telecommunication line.
  • the display unit 5 is a device capable of displaying an image.
  • the display unit 5 is, for example, a liquid crystal display.
  • each functional part of the image adjusting device 1 uses, for example, an LSI (Large Scale Integration circuit), an ASIC (Application Specific Integrated Circuit), a PLD (Programmable Logic Device), an FPGA (Field Programmable Gate Array), or the like. It may be realized by using the hardware including the electronic circuit (electronic circuit or circuitry) which has been used.
  • LSI Large Scale Integration circuit
  • ASIC Application Specific Integrated Circuit
  • PLD Programmable Logic Device
  • FPGA Field Programmable Gate Array
  • the input unit 10 acquires a shade image as an input image.
  • the shade image the shade is represented by using each pixel having a different pixel value (brightness or brightness).
  • the input unit 10 derives a camera response function based on the grayscale image.
  • the input unit 10 outputs a shading image to the image enhancement unit 11, the matrix derivation unit 13, the parameter derivation unit 14, and the luminance conversion unit 15.
  • the input unit 10 outputs the camera response function to the function derivation unit 12.
  • the image enhancement unit 11 acquires a shade image as an input image from the input unit 10.
  • the image enhancement unit 11 derives an enhanced shade image by applying the base image enhancement method to the shade image.
  • the image enhancement unit 11 outputs an enhanced shade image to the parameter derivation unit 14.
  • any method of adjusting the brightness can be used as the base image enhancement method.
  • a base image enhancement method for example, a method capable of adaptively enhancing the global brightness of an image is preferable.
  • a method of emphasizing a grayscale image using a monotonous luminance conversion function is adopted as a base image enhancement method, the method of the present embodiment is remarkably effective.
  • Methods for emphasizing grayscale images using a monotonous luminance conversion function include, for example, histogram flattening, gamma correction, and reference 2 "Xiaomeng Wu, Xinhao Liu, Kaoru Hiramatsu, and Kuino Kashino," Contrast-accumulated histogram equalization. Either the method shown in for image enhancement, "In ICIP, pp.3190-3194, 2017.” or the method shown in Non-Patent Document 1 may be used.
  • the image enhancement unit 11 derives the gradient of the reflectance component image of the shading image as a local contrast value of the shading image.
  • the image enhancement unit 11 derives a luminance histogram of a shading image weighted by a contrast value.
  • the image enhancement unit 11 converts the brightness of the light and shade image by flattening the brightness histogram.
  • the image enhancement unit 11 derives the shade image whose brightness is converted in this way as an enhanced shade image.
  • the function derivation unit 12 receives the camera response function as an input and acquires it from the input unit 10.
  • the function derivation unit 12 solves the comparison equation of the monotonically increasing function by using the monotonically increasing function having one or more parameters (CRF parameters) as the camera response function.
  • the function derivation unit 12 derives the luminance conversion function by solving the comparison equation of this monotonically increasing function. This luminance conversion function cannot be used as it is as a non-monotonic luminance conversion function.
  • the function derivation unit 12 outputs the derived luminance conversion function to the parameter derivation unit 14 and the luminance conversion unit 15.
  • any monotonically increasing function with one or more parameters can be used as the camera response function "f ( ⁇ )".
  • the real number matrix "Q” represents the irradiance of each pixel when a grayscale image is taken.
  • the function value "f (Q)" of the camera response function represents an image taken by the camera, that is, a shade image.
  • g ( ⁇ ) is a comparison function (Comparametric Function) of "f ( ⁇ )". According to Reference 1 described above, the comparison function "g (.)” Can be used as a luminance conversion function applied to a shading image.
  • the variable “E” in equation (1) is the exposure value. Normally, the exposure value “E” is a scalar. The exposure value “E” is determined according to the combination of the aperture amount of the camera lens, the exposure time when the grayscale image is taken, the film speed, and the like. However, when the camera information such as the camera parameters is unknown, the exposure value “E” is unknown. When the comparison function "g ( ⁇ )" is used as the luminance conversion function, the exposure value “E” needs to be preset as a parameter. The exposure value "E” is derived by the matrix derivation unit 13.
  • the function derivation unit 12 derives the comparison function “g ( ⁇ )” of the camera response function as a brightness conversion function by solving the equation (1) which is the comparison equation of the camera response function “f ( ⁇ )”.
  • the comparison function "g ( ⁇ )" that can be used as the luminance conversion function can be derived from the equation (2).
  • the first example of the luminance conversion function derived by the function derivation unit 12 is derived as shown in equations (3) to (5).
  • the sigmoid function as the camera response function is used.
  • the sigmoid function is expressed by Eq. (3).
  • ⁇ represents the first CRF parameter in the sigmoid function.
  • ⁇ represents the second CRF parameter in the sigmoid function.
  • Eq. (3) The inverse function of Eq. (3) is expressed as Eq. (4).
  • the function derivation unit 12 derives a comparison function "g ( ⁇ )" that can be used as a luminance conversion function by substituting the equation (3) and the equation (4) into the equation (2).
  • the first example of the luminance conversion function is expressed by the equation (5).
  • the second example of the luminance conversion function derived by the function derivation unit 12 is derived as shown in equations (6) to (8).
  • a power function is used as the camera response function. This power function is expressed by Eq. (6).
  • the function derivation unit 12 derives a comparison function "g ( ⁇ )" that can be used as a luminance conversion function by substituting the equation (6) and the equation (7) into the equation (2).
  • the second example of the luminance conversion function derived by the function derivation unit 12 is expressed by the equation (8).
  • the matrix derivation unit 13 acquires a shade image as an input image from the input unit 10.
  • the matrix derivation unit 13 derives the smoothed shade image as a smooth shade image.
  • the matrix derivation unit 13 derives a positive real number matrix that is inversely proportional to each pixel value of the smooth shading image as an exposure value matrix.
  • the matrix derivation unit 13 outputs the exposure value matrix to the parameter derivation unit 14 and the luminance conversion unit 15.
  • An object of the present embodiment is to recover or emphasize the local details of the image attenuated by the image being emphasized by using the base image enhancement method.
  • the luminance conversion unit 15 converts the luminance of the luminance image by applying the luminance conversion function derived from the function derivation unit 12 to the luminance image. Therefore, the luminance conversion function needs to be a function capable of emphasizing the local details of the image. Therefore, the luminance conversion function used by the luminance conversion unit 15 needs to be a non-monotonous function that changes spatially in the image and takes different values according to the coordinates (positions) of each pixel in the image. ..
  • non-monotonic requirement the requirement that the change of the function value is not monotonic is referred to as “non-monotonic requirement”.
  • spatial variability requirement the requirement that the function value changes spatially in the image and takes a different value (the value fluctuates) according to the coordinates (position) of each pixel in the image.
  • the luminance conversion function derived by the function derivation unit 12 increases monotonically. That is, when the exposure value is a scalar, the luminance conversion function derived by the function derivation unit 12 does not satisfy the above-mentioned non-monotonicity requirement and spatial variability requirement. As shown in equation (5) and (8), the larger the exposure value converted luminance "g (A in)" becomes higher, as the exposure value is smaller conversion luminance "g (A in)" is It gets lower.
  • the image adjusting device 1 needs to increase the conversion brightness of the pixel. Further, when the region around the pixel is originally bright, the image adjusting device 1 needs to reduce the conversion brightness of the pixel. In this way, two viewpoints are considered, one is for improving the visibility of local details and the other is for the area around the pixel to be originally bright.
  • Exposure value requirement such a requirement regarding the exposure value is referred to as an "exposure value requirement”.
  • the smoothed shade image is referred to as a “smooth shade image”.
  • the pixel value of the smooth shading image is small.
  • the pixel value of the smooth shading image is large. That is, a positive real matrix that is inversely proportional to the pixel value of the smooth shading image inevitably satisfies the above-mentioned exposure value requirement.
  • a method of using a positive real matrix that is inversely proportional to the pixel value of a smooth shading image as an exposure value matrix is proposed.
  • the smooth shading image can be derived using any method that can smooth the shading image.
  • edge preservation smoothing methods include a median filter, a bilateral filter, a guided filter, an anisotropic diffusion filter, and Reference 3 "Li Xu, Qiong Yan, Yang Xia, and Jiaya Jia," Structure. There is a method shown in extraction from texture via relative total variation. ACM Trans. Graph, "Vol.31, No.6, pp.139: 1-139: 10, 2012.".
  • the matrix derivation unit 13 derives a smooth shading image by using the method shown in Reference 3 as an example.
  • the ratio of the average absolute value of the first derivative of brightness in the local region around the pixel to the absolute value of the average first derivative of brightness is determined for each pixel as the texture intensity. Be measured.
  • the smooth shading image is optimized so that the sum of the difference between the shading image and the smooth shading image and the texture intensity is as small as possible.
  • the matrix derivation unit 13 derives the image as a result of the optimization as a smooth shading image.
  • the matrix derivation unit 13 derives a positive real number matrix that is inversely proportional to the pixel value of the smooth shading image "I" as an exposure value matrix of the luminance conversion function.
  • the matrix derivation unit 13 can use any positive real matrix that is inversely proportional to the smooth shading image.
  • the matrix "E” may be derived.
  • the exposure value matrix obtained in this way satisfies the above-mentioned exposure value requirement.
  • the luminance transformation function with the exposure value matrix as a variable satisfies the above-mentioned non-monotonicity requirement and spatial variability requirement. Therefore, the luminance conversion unit 15 can emphasize the local details of the image by using the luminance conversion function with the exposure value matrix as a variable.
  • the parameter derivation unit 14 takes a shade image as an input and acquires a shade image from the input unit 10.
  • the parameter derivation unit 14 takes the enhanced shade image as an input and acquires the enhanced shade image from the image enhancement unit 11.
  • the parameter derivation unit 14 takes the luminance conversion function as an input and acquires the luminance conversion function from the function derivation unit 12.
  • the parameter derivation unit 14 takes the exposure value matrix as an input and acquires the exposure value matrix from the matrix derivation unit 13.
  • the parameter derivation unit 14 derives the CRF parameter of the luminance conversion function so that the difference between the enhanced shading image and the converted shading image (for example, the sum of squares of the residuals) satisfies a predetermined condition (for example, becomes the minimum).
  • the parameter derivation unit 14 outputs the CRF parameter of the luminance conversion function to the luminance conversion unit 15.
  • the CRF parameter is set by an expert based on the camera response function, or is derived by a machine learning method based on the data set of the camera response function. In either case, the conventional CRF parameter is a fixed value. Therefore, the conventional CRF parameters are not adaptively set according to the situation of the shade image acquired as the input image.
  • the CRF parameter When the CRF parameter is used as a variable of the brightness conversion function, the CRF parameter mainly plays a role of controlling the global brightness of the converted light and shade image.
  • the enhanced shade image is used as the image having the optimum global brightness, and the CRF parameter is derived so that the converted shade image is as close as possible to the enhanced shade image.
  • the parameter derivation unit 14 can adaptively derive the CRF parameter according to the situation of the shading image.
  • the parameter derivation unit 14 derives the CRF parameter of the luminance conversion function so as to minimize the sum of squares of the residuals between the enhanced shading image and the converted shading image.
  • the CRF parameter is expressed as in Eq. (9).
  • ⁇ represents a set of CRF parameters.
  • B represents an enhanced shade image.
  • G (A in ; ⁇ )” represents the conversion brightness “g (A in )”.
  • the CRF parameter is expressed as the equation (10).
  • E represents an exposure value matrix.
  • the CRF parameter is expressed as the equation (11).
  • the problem of deriving the CRF parameters shown in Eqs. (9), (10) or (11) can be regarded as a non-linear programming problem or a non-linear regression problem. Therefore, the parameter derivation unit 14 derives the CRF parameter by solving the equation (9), the equation (10), or the equation (11) by using an arbitrary method that can solve the nonlinear programming problem or the nonlinear regression problem. Can be done. For example, the Nelder-Mead method (Reference 4 “Jeffrey C. Lagarias, James A. Reeds, Margaret H. Wright, and Paul E.
  • the parameter derivation unit 14 uses the “Nelder-Mead method” as an example to set the end tolerance of both the CRF parameter and the function value to “10 -4”.
  • the parameter derivation unit 14 sets the initial value of the CRF parameter " ⁇ " to "0".
  • the converted grayscale image derived by the parameter derivation unit 14 has the same global brightness as the global brightness of the enhanced grayscale image derived by using the base image enhancement method.
  • the parameter derivation unit 14 adaptively sets the CRF parameter according to the situation of the grayscale image. be able to. Further, in such a case, the luminance conversion unit 15 can recover or enhance the local details attenuated in the image by the substrate image enhancement method by using the luminance conversion function with the exposure value matrix as a variable.
  • the luminance conversion unit 15 acquires a shade image as an input image from the input unit 10.
  • the brightness conversion unit 15 receives a brightness conversion function whose function value changes according to the coordinates in the grayscale image based on the camera response function as an input and acquires it from the function derivation unit 12.
  • the luminance conversion unit 15 receives the exposure value matrix as an input and acquires it from the matrix derivation unit 13.
  • the luminance conversion unit 15 receives the CRF parameter as an input and acquires it from the parameter derivation unit 14.
  • the luminance conversion unit 15 adaptively adjusts the global brightness by applying a luminance conversion function with the exposure value matrix and the CRF parameter as variables to the luminance (pixel value) of each pixel of the grayscale image. Derivation of a transformed shade image, which is a shade image whose brightness has been transformed to adjust and emphasize local details.
  • the luminance conversion unit 15 outputs the converted shading image to the output unit 16.
  • the luminance conversion unit 15 derives the converted shading image “A out ” as in the equation (12).
  • the output unit 16 is a display device, for example, a liquid crystal display.
  • the output unit 16 acquires the converted shading image “A out ” from the luminance conversion unit 15.
  • the output unit 16 displays the converted shading image.
  • the output unit 16 may be a communication device.
  • the output unit 16 may transmit the converted shading image to an external device (not shown).
  • FIG. 3 is a flowchart showing an operation example of the luminance conversion unit 15 of the image adjusting device 1.
  • the luminance conversion unit 15 acquires the luminance conversion function, the CRF parameter, the exposure value matrix, and the shading image (step S101).
  • the luminance conversion unit 15 converts the luminance of each pixel of the shading image by using the luminance conversion function with the CRF parameter and the exposure value matrix as variables (step S102).
  • the luminance conversion unit 15 outputs the converted shading image to a predetermined device such as the output unit 16 (step S103).
  • the image enhancement unit 11 generates an enhanced shade image, which is a shade image in which the contrast of brightness is emphasized, from the shade image.
  • the function derivation unit 12 derives the luminance conversion function based on the camera response function.
  • the matrix derivation unit 13 derives an exposure value matrix based on a smooth shading image.
  • the parameter derivation unit 14 derives a CRF parameter based on the luminance conversion function, the enhanced shading image, the shading image, and the exposure value matrix so that the difference between the emphasized shading image and the converted shading image satisfies a predetermined condition.
  • the luminance conversion unit 15 acquires a luminance conversion function, a CRF parameter, an exposure value matrix, and a shading image.
  • the luminance conversion unit 15 converts the luminance of each pixel of the shade image by using a luminance conversion function having the CRF parameter and the exposure value matrix as variables.
  • the image adjusting device 1 uses a non-monotonous brightness conversion function (a function that changes spatially), that is, a function that changes the function value according to the coordinates in the image, and uses each of the shade images. Converts the brightness of a pixel. For example, the image adjusting device 1 converts the luminance of each pixel of the shade image by using the luminance conversion function having the CRF parameter and the exposure value matrix as variables. This makes it possible to emphasize local details in an image with adaptively adjusted global brightness. It is also possible to recover or emphasize local details that have been attenuated (weakened) in the input image when the input image is emphasized using a conventional image enhancement method (base image enhancement method). ..
  • the converted shade image derived by the luminance conversion unit 15 has the same global brightness as the global brightness of the enhanced shade image derived by using the base image enhancement method.
  • the parameter derivation unit 14 adaptively sets the CRF parameter according to the situation of the grayscale image. be able to. Further, in such a case, the luminance conversion unit 15 can recover or enhance the local details attenuated in the image by the substrate image enhancement method by using the luminance conversion function with the exposure value matrix as a variable.
  • FIGS. 4 to 11 are diagrams showing the first to eighth examples of comparison between the converted shading image and other images in the embodiment.
  • the sigmoid function shown in Eq. (3) is used as the camera response function for the generation of the converted shading image.
  • the enhanced shade image derived by using the basic image enhancement method (the method shown in Non-Patent Document 1) and the converted shade image derived by the luminance conversion unit 15 are compared. It is represented as possible.
  • the shade image 100, the enhanced shade image 110 which is the result of applying the base image enhancement method to the shade image 100, and the brightness conversion function using the exposure value matrix and the CRF parameter as variables are shown in the shade image.
  • the converted shading image 120, which is the result applied to 100, is shown in a comparable manner.
  • the shading image 200, the enhanced shading image 210, and the converted shading image 220 are shown in a comparable manner.
  • the shading image 300, the enhanced shading image 310, and the converted shading image 320 are shown in a comparable manner.
  • the shading image 400, the enhanced shading image 410, and the converted shading image 420 are shown in a comparable manner.
  • the enhanced shade image 110 As shown in the enhanced shade image 110, the enhanced shade image 210, the enhanced shade image 310, and the enhanced shade image 410, in the enhanced shade image generated from the shade image by the base image enhancement method, some local parts in the image are used. Details are inevitably diminished. Since the underlying image enhancement method is designed to enhance the contrast in the dark image area, the local details in the bright area in the image tend to be attenuated.
  • the converted shade image derived by the luminance conversion unit 15 has the global brightness in the enhanced shade image. It is possible to recover or enhance the local details of the image attenuated by the underlying image enhancement method while maintaining.
  • Non-Patent Document 8 to 11 show a light and shade image, a “LIMITE (Low-light IMage Enhancement) image” derived using the method shown in Non-Patent Document 2, and a method shown in Non-Patent Document 3.
  • the "SRIE (Simultaneous Reflectance and Illumination Estimation) image” derived using the above and the converted shading image derived by the luminance conversion unit 15 are shown in a comparable manner.
  • FIG. 8 shows a shading image 500, a Matrix image 510 which is the result of applying the method shown in Non-Patent Document 2 to the shading image 500, and a shading image 500 where the method shown in Non-Patent Document 3 is applied.
  • the SRIE image 520 which is the result applied to the image 520
  • the converted image 530 which is the result of applying the brightness conversion function using the exposure value matrix and the CRF parameter as variables, to the shade image 500 can be compared. It is represented in.
  • the shading image 600, the LIMIT image 610, the SRIE image 620, and the converted shading image 630 are shown in a comparable manner.
  • the shading image 700, the LIMIT image 710, the SRIE image 720, and the converted shading image 730 are shown in a comparable manner.
  • the shading image 800, the LIMIT image 810, the SRIE image 820, and the converted shading image 830 are shown in a comparable manner.
  • the reflectance component image is regarded as the desired enhancement result.
  • the enhancement result is derived by removing the estimated illumination component image from the shading image.
  • the global contrast in the LIMIT image may be completely lost. For this reason, there may be a problem that the brightness becomes excessive.
  • the estimated illumination component image is emphasized by gamma correction.
  • the enhanced illumination component image and the reflectance component image are recombinated. This recombinated image is derived as an enhancement result.
  • the SRIE image 520, the SRIE image 620, the SRIE image 720, and the SRIE image 820 there are cases where the brightness in the image cannot be adaptively increased by using gamma correction. Therefore, there may be a problem that the brightness of the SRIE image may become excessive. In addition, there may be a problem that the brightness of the SRIE image may be insufficient.
  • a method in which a brightness conversion function with an exposure value matrix and CRF parameters as variables is applied to a shade image (not monotonous, it also changes spatially in the image, and takes different values depending on the coordinates of each pixel.
  • the brightness conversion function is used
  • balanced and natural contrast enhancement is consistent as shown in the converted shade image 530, the converted shade image 630, the converted shade image 730, and the converted shade image 830. It is possible.
  • the global brightness of the image is adaptively emphasized according to the situation of the shaded image without weakening the local details of the image.
  • “brightness” may be read as “brightness”.
  • the present invention is applicable to an image processing device.
  • Light and shade image 510 ... LIFE image, 520 ... SRIE image, 530 ... Converted Light and shade image, 600 ... light and shade image, 610 ... 810 ... LIMIT image, 820 ... SRIE image, 830 ... Converted shading image

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Image Processing (AREA)
  • Studio Devices (AREA)

Abstract

画像調整装置は、輝度のコントラストを用いて濃淡を表す画像である濃淡画像を取得する入力部と、カメラ応答関数に基づいて濃淡画像内の座標に応じて関数値が変化する輝度変換関数を用いて濃淡画像の各画素の輝度を変換することによって、大域的な明るさを適応的に調整しかつ局所的な詳細を強調するように輝度が変換された濃淡画像である変換濃淡画像を生成し、変換濃淡画像を所定の装置に出力する輝度変換部とを備える。

Description

画像調整装置、画像調整方法及びプログラム
　本発明は、画像調整装置、画像調整方法及びプログラムに関する。
　近年、画像の強調処理の需要が著しく増大している。例えば、狭いダイナミックレンジを持つ画像に隠れている詳細を明らかにすることを目的として、コントラストを強調する処理が画像に対して実行される場合がある。しかしながら、十分な強調結果をユーザが市販の画像編集ソフトウェアを用いて得るためには、画像編集の専門知識を持つことがユーザに要求される。また、多くの手作業がユーザに要求される場合がある。そこで、様々な入力画像に自動的に対応する適応的な画像強調の方法（画像調整方法）が求められている。
　画像強調の方法の一つであるヒストグラム平坦化は、直感的な実装品質と高効率とを有しているという理由で、最も注目を集めた方法である。ヒストグラム平坦化では、入力画像の輝度を変換する関数（以下「輝度変換関数」という。）が、画像における輝度分布のエントロピーが最大化されるように導出される。以下、画素同士の画素値（輝度）のコントラスト（差）を用いて濃淡を表す画像を「濃淡画像」という。
　非特許文献１に示された方法では、局所的なコントラスト値として濃淡画像の反射率成分画像の勾配が導出される。また、コントラスト値で重み付けされた輝度ヒストグラムが導出される。非特許文献１に示された方法では、入力画像の明るさが過度に強調されることなく、様々な入力画像に対応する適応的な画像強調が、輝度ヒストグラムの平坦化によって実現されている。
　しかしながら、非特許文献１に示された方法とヒストグラム平坦化とにおいて、単調性の制約が輝度変換関数に課される。つまり、非特許文献１に示された方法とヒストグラム平坦化とにおいて、輝度変換関数を用いて変換された出力画像の輝度は入力画像の輝度の増加に応じて常に増加していなければならないという制約が、輝度変換関数に課される。
　また、Ｒｅｔｉｎｅｘ理論では、自然のシーンが撮影されている画像は照明成分画像と反射率成分画像との組み合わせであると見なされる。照明成分画像は大域的なコントラストを構成し、反射率成分画像は局所的な詳細を構成する。
　非特許文献２に示された方法では、反射率成分画像は、コントラストの強調された所望の出力画像であると見なされる。推定された照明成分画像が入力画像から除去されることによって、入力画像と比較してコントラストが強調された出力画像が導出される。非特許文献２に示された方法では、パラメータが適切に調整されることによって、画像における暗く局所的な詳細が効果的に強調される。しかしながら、画像における大域的なコントラストが完全に失われてしまうので、画像における大域的な明るさが過度になってしまうという問題がある。
　画像における大域的なコントラストが失われることなく画像を明るくすることを目的として、照明成分画像における照明成分を強調する方法が提案されている。この方法では、照明成分画像と反射率成分画像とに、入力画像が分解される。また、照明成分画像における照明成分が適度に強調され、強調された照明成分画像と反射率成分画像とが再結合される。
　例えば、非特許文献３に示された方法では、推定された照明成分画像における照明成分がガンマ補正で強調され、強調された照明成分を含む照明成分画像と反射率成分画像とが再結合される。この再結合画像は、明るさが強調された画像として出力される。しかしながら、ガンマ補正では画像を適応的に明るくすることができない。このため、非特許文献３に示された方法では、画像の明るさが過度になってしまう場合がある。また、画像の明るさが不足してしまう場合がある。
Xiaomeng Wu, Takahito Kawanishi, and Kunio Kashino, "REFLECTANCE-GUIDED, CONTRAST-ACCUMULATED HISTOGRAM EQUALIZATION, " IEEE International Conference on Acoustics, Speech, and Signal Processing (ICASSP) 2020. Xiaojie Guo, Yu Li, and Haibin Ling, "LIME: Low-light image enhancement viaillumination map estimation," IEEE Transactions On Image Processing, Vol.26, No.2, pp.982-993, 2017. Xueyang Fu, Delu Zeng, Yue Huang, Xiao-Ping Zhang, and Xinghao Ding, "A weighted variational model for simultaneous reflectance and illumination estimation," In Computer Vision and Pattern Recognition (CVPR), pp.2782-2790, 2016.
　非特許文献１に示された方法では、輝度（画素値）のコントラストが強調された領域が画像に存在する限り、その画像内の他の領域における輝度のコントラストは、単調性の制約によって必然的に抑制されることになる。コントラストが抑制された結果、非特許文献１に示された方法では、画像における局所的な詳細が減衰してしまうという問題がある。ヒストグラム平坦化についても同様である。このように、大域的な明るさが適応的に調整された画像において局所的な詳細を強調することができない場合がある。
　上記事情に鑑み、本発明は、大域的な明るさが適応的に調整された画像において局所的な詳細を強調することが可能である画像調整装置、画像調整方法及びプログラムを提供することを目的としている。
　本発明の一態様は、輝度のコントラストを用いて濃淡を表す画像である濃淡画像を取得する入力部と、カメラ応答関数に基づいて前記濃淡画像内の座標に応じて関数値が変化する輝度変換関数を用いて前記濃淡画像の各画素の輝度を変換することによって、大域的な明るさを適応的に調整しかつ局所的な詳細を強調するように輝度が変換された前記濃淡画像である変換濃淡画像を生成し、前記変換濃淡画像を所定の装置に出力する輝度変換部とを備える画像調整装置である。
　本発明の一態様は、画像調整装置が実行する画像調整方法であって、輝度のコントラストを用いて濃淡を表す画像である濃淡画像を取得する入力ステップと、カメラ応答関数に基づいて前記濃淡画像内の座標に応じて関数値が変化する輝度変換関数を用いて前記濃淡画像の各画素の輝度を変換することによって、大域的な明るさを適応的に調整しかつ局所的な詳細を強調するように輝度が変換された前記濃淡画像である変換濃淡画像を生成し、前記変換濃淡画像を所定の装置に出力する輝度変換ステップとを含む画像調整方法である。
　本発明の一態様は、上記の画像調整装置としてコンピュータを機能させるためのプログラムである。
　本発明により、大域的な明るさが適応的に調整された画像において局所的な詳細を強調することが可能である。
実施形態における、画像調整装置の構成例を示す図である。 実施形態における、画像調整装置のハードウェア構成例を示す図である。 実施形態における、画像調整装置の輝度変換部の動作例を示すフローチャートである。 実施形態における、変換濃淡画像と他の画像との比較の第１例を示す図である。 実施形態における、変換濃淡画像と他の画像との比較の第２例を示す図である。 実施形態における、変換濃淡画像と他の画像との比較の第３例を示す図である。 実施形態における、変換濃淡画像と他の画像との比較の第４例を示す図である。 実施形態における、変換濃淡画像と他の画像との比較の第５例を示す図である。 実施形態における、変換濃淡画像と他の画像との比較の第６例を示す図である。 実施形態における、変換濃淡画像と他の画像との比較の第７例を示す図である。 実施形態における、変換濃淡画像と他の画像との比較の第８例を示す図である。
　以下では、行列の演算は、画像の要素ごとに実行される。また以下では、画像内の全ての画素値は、［０，１］の範囲内で正規化されている。
　以下では、任意の画像強調方法（以下「基盤画像強調方法」という。）に対する後処理の方法が提案される。以下、基盤画像強調方法を用いて輝度が調整された濃淡画像を「強調濃淡画像」という。以下では、濃淡画像「Ａｉｎ」から強調濃淡画像への変換が、非単調な輝度変換関数に近似される。すなわち、濃淡画像「Ａｉｎ」から強調濃淡画像への変換が、画像内の座標に応じて変化する輝度変換関数（空間的に変化する輝度変換関数）に近似される。また、このように近似された非単調な輝度変換関数を用いて濃淡画像を強調する方法が提案される。
　以下では、基盤画像強調方法は、例えば、画像の大域的な明るさを適応的に強調可能な方法である。単調な輝度変換関数を用いて濃淡画像が強調される方法が基盤画像強調方法の一例として採用された場合、基盤画像強調方法に対する後処理は、顕著に有効である。そこで以下では、非特許文献１の方法が、基盤画像強調方法の一例として用いられる。
　画像におけるコントラストを強調する目的で非単調な輝度変換関数が用いられる場合、非単調な輝度変換関数は、画像の局所的な詳細を強調できる必要がある。このため、非単調な輝度変換関数は、空間的に変化する関数、すなわち画像内の座標に応じて関数値が変化する関数である必要がある。これらの要件が満たされるように、以下では、非単調な輝度変換関数が、カメラ応答関数に基づいて導出される。
　参考文献１「Steve Mann, "Comparametric equations with practical applications in quantigraphic image processing," IEEE Trans. Image Processing, Vol.9, No.8, pp.1389-1406, 2000.」では、比較方程式（Comparametric Equation）が解かれることによって輝度変換関数をカメラ応答関数から導出する方法が、提案されている。この輝度変換関数では、カメラ応答関数（Camera Response Function : CRF）のパラメータ（以下「ＣＲＦパラメータ」という。）と、写真の露出値とが、変数として使用されている。ここで、露出値はスカラーである。
　以下、入力画像の輝度から変換された出力画像の輝度を「変換輝度」という。変換輝度は、カメラ応答関数から導出される輝度変換関数が用いられることによって、入力画像の輝度から変換される。露出値が大きいほど、変換輝度は高くなる。すなわち、露出値が小さいほど、変換輝度は低くなる。露出値がスカラーである限り、入力画像の輝度を変換輝度に変換するための、カメラ応答関数から導出される輝度変換関数は、単調に増加する関数である。このため、入力画像の輝度を変換輝度に変換するための、カメラ応答関数から導出される輝度変換関数は、そのままでは、非単調な輝度変換関数として使用できない。
　画素周辺の領域が元々暗い場合、画像の局所的な詳細の視認性を高めるには、画素の変換輝度を上げる必要がある。また、画素周辺の領域が元々明るい場合、画像の局所的な詳細の視認性を高めるには、画素の変換輝度を下げる必要がある。
　上述したように、露出値が大きいほど変換輝度は高くなり、露出値が小さいほど変換輝度は低くなる。つまり、画素周辺の領域が元々暗い場合、画像の局所的な詳細の視認性を高めるには、露出値を大きくする必要がある。また、画素周辺の領域が元々明るい場合、画像の局所的な詳細の視認性を高めるには、露出値を小さくする必要がある。
　以下では、平滑化された濃淡画像に着目する。以下、平滑化された濃淡画像を「平滑濃淡画像」という。画素周辺の領域が元々暗い場合、平滑濃淡画像の画素値が小さい。また、画素周辺の領域が元々明るい場合、平滑濃淡画像の画素値が大きい。そこで以下では、平滑濃淡画像の画素値に反比例する正の実数行列を露出値行列として使用する方法が提案される。
　この露出値行列を変数とする輝度変換関数は、単調には増加しない関数である。変換輝度は、入力画像の輝度と、画素周辺の領域における元々の明るさ（暗さ）とに応じて定まる。露出値行列を変数とする輝度変換関数が使用されることによって、画像の局所的な詳細を強調することが可能になる。
　そこで以下では、濃淡画像から強調濃淡画像への変換が、上述の露出値行列を変数とする輝度変換関数に近似される。このように近似する目的を達成するために、画像調整装置は、濃淡画像と強調濃淡画像とを含む画像データに、輝度変換関数を適合させる。これにより、輝度変換関数の変数としてのＣＲＦパラメータが導出される。導出されたＣＲＦパラメータを変数とする輝度変換関数が、濃淡画像に適用される。ＣＲＦパラメータを変数とする輝度変換関数を用いて濃淡画像の輝度が変換されることによって、濃淡画像が強調される。以下、ＣＲＦパラメータを変数とする輝度変換関数を用いて輝度が変換された濃淡画像を「変換濃淡画像」という。
　このように、画像調整装置は、基盤画像強調方法を使用して、強調濃淡画像を導出する。次に、画像調整装置は、一つ以上のパラメータ（ＣＲＦパラメータ）を有する単調増加関数を、カメラ応答関数として用いる。画像調整装置は、この関数の比較方程式を解くことによって、輝度変換関数を導出する。次に、画像調整装置は、平滑濃淡画像を濃淡画像から導出する。ここで、画像調整装置は、平滑濃淡画像の画素値に反比例する正の実数行列を、輝度変換関数の露出値行列として導出する。次に、強調濃淡画像と変換濃淡画像との差（例えば、残差の二乗和）が所定条件を満たすように、画像調整装置は、輝度変換関数のＣＲＦパラメータを算出する。この所定条件とは、例えば、強調濃淡画像と変換濃淡画像との差が最小となるという条件である。画像調整装置は、輝度変換関数を濃淡画像に適用することによって、濃淡画像の輝度を変換する。これによって、変換濃淡画像が生成される。
　本発明の実施形態について、図面を参照して詳細に説明する。
　図１は、画像調整装置１の構成例を示す図である。画像調整装置１は、画像を調整する装置である。例えば、画像調整装置１は、輝度のコントラストを調整する装置である。画像調整装置１は、入力画像における大域的な明るさ（輝度）を、任意の画像強調方法を用いて適応的に調整する。画像調整装置１は、大域的な明るさが調整された入力画像における局所的な詳細を、後処理において強調する。
　画像調整装置１は、入力部１０と、画像強調部１１と、関数導出部１２と、行列導出部１３と、パラメータ導出部１４と、輝度変換部１５と、出力部１６とを備える。
　図２は、画像調整装置１のハードウェア構成例を示す図である。画像調整装置１は、プロセッサ２と、メモリ３と、記憶装置４と、表示部５とを備える。
　画像調整装置１の各機能部の一部又は全部は、ＣＰＵ（Central Processing Unit）等のプロセッサ２が、不揮発性の記録媒体（非一時的な記録媒体）である記憶装置４からメモリ３に展開されたプログラムを実行することにより、ソフトウェアとして実現される。プログラムは、コンピュータ読み取り可能な記録媒体に記録されてもよい。コンピュータ読み取り可能な記録媒体とは、例えばフレキシブルディスク、光磁気ディスク、ＲＯＭ（Read Only Memory）、ＣＤ－ＲＯＭ（Compact Disc Read Only Memory）等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置などの非一時的な記録媒体である。プログラムは、電気通信回線を経由して受信されてもよい。表示部５は、画像を表示可能なデバイスである。表示部５は、例えば液晶ディスプレイである。
　画像調整装置１の各機能部の一部又は全部は、例えば、ＬＳＩ（Large Scale Integration circuit）、ＡＳＩＣ（Application Specific Integrated Circuit）、ＰＬＤ（Programmable Logic Device）又はＦＰＧＡ（Field Programmable Gate Array）等を用いた電子回路（electronic circuit又はcircuitry）を含むハードウェアを用いて実現されてもよい。
　図１に戻り、画像調整装置１の概要を説明する。
　入力部１０は、濃淡画像を入力画像として取得する。濃淡画像では、画素値（明度又は輝度）が異なる各画素を用いて、濃淡が表されている。入力部１０は、濃淡画像に基づいて、カメラ応答関数を導出する。入力部１０は、画像強調部１１と、行列導出部１３と、パラメータ導出部１４と、輝度変換部１５とに、濃淡画像を出力する。入力部１０は、カメラ応答関数を関数導出部１２に出力する。
　画像強調部１１は、入力画像としての濃淡画像を、入力部１０から取得する。
画像強調部１１は、基盤画像強調方法を濃淡画像に適用することによって、強調濃淡画像を導出する。画像強調部１１は、強調濃淡画像をパラメータ導出部１４に出力する。
　基盤画像強調方法として、輝度を調整する任意の方法を使用可能である。基盤画像強調方法として、例えば、画像の大域的な明るさを適応的に強調できる方法が好ましい。単調な輝度変換関数を使用して濃淡画像を強調する方法が基盤画像強調方法として採用された場合において、本実施形態の方法は顕著に有効である。単調な輝度変換関数を用いて濃淡画像を強調する方法は、例えば、ヒストグラム平坦化と、ガンマ補正と、参考文献２「Xiaomeng Wu, Xinhao Liu, Kaoru Hiramatsu, and Kunio Kashino, "Contrast-accumulated histogram equalization for image enhancement," In ICIP, pp.3190-3194, 2017.」に示された方法と、非特許文献１に示された方法とのうちのいずれでもよい。
　以下では、非特許文献１に示された方法が、基盤画像強調方法として採用される。画像強調部１１は、濃淡画像の反射率成分画像の勾配を、濃淡画像の局所的なコントラスト値として導出する。ここで、画像強調部１１は、コントラスト値で重み付けされた濃淡画像の輝度ヒストグラムを導出する。画像強調部１１は、この輝度ヒストグラムを平坦化することによって、濃淡画像の輝度を変換する。画像強調部１１は、このようにして輝度が変換された濃淡画像を、強調濃淡画像として導出する。
　関数導出部１２は、カメラ応答関数を入力として、入力部１０から取得する。関数導出部１２は、一つ以上のパラメータ（ＣＲＦパラメータ）を有する単調増加関数をカメラ応答関数として用いることによって、この単調増加関数の比較方程式を解く。関数導出部１２は、この単調増加関数の比較方程式を解くことによって、輝度変換関数を導出する。この輝度変換関数は、そのままでは、非単調な輝度変換関数として使用できない。関数導出部１２は、パラメータ導出部１４と輝度変換部１５とに、導出された輝度変換関数を出力する。
　カメラ応答関数「ｆ（・）」として、一つ以上のパラメータを持つ任意の単調増加関数が使用可能である。ここで、「ｆ（０）＝０」及び「ｆ（１）＝１」を満たす関数がカメラ応答関数「ｆ（・）」として使用されることが好ましい。
　濃淡画像と同じサイズの未知の実数行列「Ｑ」が、カメラ応答関数の変数として使用される。実数行列「Ｑ」は、濃淡画像が撮影された場合における、各画素の放射照度を表す。カメラ応答関数の関数値「ｆ（Ｑ）」は、カメラで撮影された画像、すなわち濃淡画像を表す。
　カメラ応答関数の比較方程式は、式（１）のような形式で表される。
Figure JPOXMLDOC01-appb-M000001
　ここで、「ｇ（・）」は、「ｆ（・）」の比較関数（Comparametric Function）である。上述の参考文献１によれば、比較関数「ｇ（・）」は、濃淡画像に適用される輝度変換関数として使用可能である。
　式（１）における変数「Ｅ」は、露出値である。通常、露出値「Ｅ」はスカラーである。露出値「Ｅ」は、カメラレンズの絞り量と、濃淡画像が撮影された際の露光時間と、フィルム感度等との組み合わせに応じて定まる。ただし、カメラパラメータ等のカメラ情報が不明である場合には、露出値「Ｅ」は不明である。比較関数「ｇ（・）」が輝度変換関数として使用される場合、露出値「Ｅ」がパラメータとして事前に設定される必要がある。露出値「Ｅ」は、行列導出部１３によって導出される。
　関数導出部１２は、カメラ応答関数「ｆ（・）」の比較方程式である式（１）を解くことによって、カメラ応答関数の比較関数「ｇ（・）」を輝度変換関数として導出する。カメラ応答関数の関数値「ｆ（Ｑ）」は、濃淡画像「Ａｉｎ」に対応している。つまり、「ｆ（Ｑ）＝Ａｉｎ」が成立している。このため、式（１）は式（２）のように表される。
Figure JPOXMLDOC01-appb-M000002
　したがって、カメラ応答関数「ｆ（・）」が可逆的である場合、輝度変換関数として使用可能である比較関数「ｇ（・）」は、式（２）から導出可能である。
　なお、カメラ応答関数のＣＲＦパラメータの数が多いほど、関数導出部１２によって導出される輝度変換関数の適合能力は高くなる。ただし、ＣＲＦパラメータの数が過剰に多い場合には、処理時間が非常に長くなると共に、パラメータ導出部１４において過剰適合が発生する可能性も高くなる。この過剰適合とは、濃淡画像から強調濃淡画像への変換（基盤画像強調方法）を、関数導出部１２によって導出される輝度変換関数が過剰に近似してしまうことである。これは、関数導出部１２によって導出される輝度変換関数の自由度が高すぎるために発生する。過剰適合が発生した結果として、変換濃淡画像（輝度変換関数を用いて輝度が変換された濃淡画像）と強調濃淡画像とが全く同じ画像になってしまう可能性がある。変換濃淡画像と強調濃淡画像とが全く同じ画像になった場合には、画像の局所的な詳細を回復することができない。基盤画像強調方法を用いてコントラストが強調された画素値が存在する限り、他の画素値のコントラストが必然的に抑制されてしまうという問題は、画像の局所的な詳細を回復することができない場合には解決することができなくなる。そこで、過剰適合を回避し、よりバランスのとれた画像調整性能を得るためには、二つのＣＲＦパラメータを持つ関数が使用される方が適切である。
　関数導出部１２によって導出される輝度変換関数の第１例は、式（３）から式（５）までに示されているように導出される。関数導出部１２によって導出される輝度変換関数の第１例の導出処理では、カメラ応答関数としてのシグモイド関数が用いられる。シグモイド関数は、式（３）のように表される。
Figure JPOXMLDOC01-appb-M000003
　ここで、「α」は、シグモイド関数における第１のＣＲＦパラメータを表す。「β」は、シグモイド関数における第２のＣＲＦパラメータを表す。式（３）の逆関数は、式（４）のように表される。
Figure JPOXMLDOC01-appb-M000004
　関数導出部１２は、式（３）と式（４）とを、式（２）に代入することによって、輝度変換関数として使用可能である比較関数「ｇ（・）」が導出される。輝度変換関数の第１例は、式（５）のように表される。
Figure JPOXMLDOC01-appb-M000005
　一方、関数導出部１２によって導出される輝度変換関数の第２例は、式（６）から式（８）までに示されているように導出される。関数導出部１２によって導出される輝度変換関数の第２例の導出処理では、カメラ応答関数として、べき関数が使用される。このべき関数は、式（６）のように表される。
Figure JPOXMLDOC01-appb-M000006
　ここで、「γ」は、一つのＣＲＦパラメータを表す。式（６）の逆関数は、式（７）のように表される。
Figure JPOXMLDOC01-appb-M000007
　関数導出部１２は、式（６）と式（７）とを式（２）に代入することによって、輝度変換関数として使用可能である比較関数「ｇ（・）」が導出される。関数導出部１２によって導出される輝度変換関数の第２例は、式（８）のように表される。
Figure JPOXMLDOC01-appb-M000008
　輝度変換関数の第１例と輝度変換関数の第２例との各説明は以上である。
　行列導出部１３は、入力画像としての濃淡画像を、入力部１０から取得する。行列導出部１３は、平滑化された濃淡画像を、平滑濃淡画像として導出する。行列導出部１３は、平滑濃淡画像の各画素値に反比例する正の実数行列を、露出値行列として導出する。行列導出部１３は、露出値行列をパラメータ導出部１４及び輝度変換部１５に出力する。
　本実施形態の目的は、基盤画像強調方法を用いて画像が強調されたことによって減衰した画像の局所的な詳細を回復または強調することである。この目的を達成するため、輝度変換部１５は、関数導出部１２から導出された輝度変換関数を濃淡画像に適用することによって、濃淡画像の輝度を変換する。したがって、輝度変換関数は、画像の局所的な詳細を強調することが可能な関数である必要がある。そこで、輝度変換部１５が用いる輝度変換関数は、画像内の空間的に変化し、画像内の各画素の座標（位置）に応じて異なる値を取るという、非単調な関数である必要がある。以下、関数値の変化が単調ではないという要件を「非単調性要件」という。また、画像内の空間的に関数値が変化し、画像内の各画素の座標（位置）に応じて異なる値を取る（値が変動する）という要件を「空間変動性要件」という。
　式（５）及び式（８）に示されているように、露出値がスカラーである場合には、関数導出部１２によって導出された輝度変換関数は、単調増加する。すなわち、露出値がスカラーである場合には、関数導出部１２によって導出された輝度変換関数は、上述の非単調性要件及び空間変動性要件を満たさない。式（５）及び式（８）に示されているように、露出値が大きいほど変換輝度「ｇ（Ａｉｎ）」は高くなり、露出値が小さいほど変換輝度「ｇ（Ａｉｎ）」は低くなる。
　一方、画像の局所的な詳細の視認性が高くなるためには、画素周辺の領域が元々暗い場合、画像調整装置１が画素の変換輝度を上げる必要がある。また、画素周辺の領域が元々明るい場合、画像調整装置１が画素の変換輝度を下げる必要がある。このように、局所的な詳細の視認性を高くするためという視点と、画素周辺の領域が元々明るい場合という視点との二つの視点が考慮される。
　これらの視点の組み合わせから、画素周辺の領域が元々暗い場合には露出値を大きくし、画素周辺の領域が元々明るい場合には露出値を小さくすることが、画像における局所的な詳細の視認性を高めるために必要であることが分かる。以下、露出値に関するこのような要件を「露出値要件」という。
　露出値要件を満たす露出値の導出方法を検討するため、平滑化された濃淡画像に着目することが可能である。以下、平滑化された濃淡画像を「平滑濃淡画像」という。画素周辺の領域が元々暗い場合、平滑濃淡画像の画素値は小さい。画素周辺の領域が元々明るい場合、平滑濃淡画像の画素値が大きい。つまり、平滑濃淡画像の画素値に反比例する正の実数行列は、上述の露出値要件を必然的に満たす。以下では、平滑濃淡画像の画素値に反比例する正の実数行列を露出値行列として使用する方法が提案される。
　平滑濃淡画像は、濃淡画像を平滑化することが可能な任意の方法を用いて導出可能である。ただし、より望ましい平滑濃淡画像が導出されるためには、エッジ保存平滑化と呼ばれる方法を使用する方が適切である。エッジ保存平滑化ではない方法が使用された場合、変換濃淡画像（輝度変換関数を用いて輝度が変換された濃淡画像）にハロー効果が発生する可能性がある。すなわち、明るさが急激に変化するエッジ付近（被写体の境界など）に、違和感のある欠陥が発生する可能性がある。
　エッジ保存平滑化方法の例としては、メディアンフィルタと、バイラテラルフィルタと、ガイド付きフィルタと、異方性拡散フィルタと、参考文献３「Li Xu, Qiong Yan, Yang Xia, and Jiaya Jia, "Structure extraction from texture via relative total variation. ACM Trans. Graph," Vol.31, No.6, pp.139:1-139:10, 2012.」に示された方法とがある。
　行列導出部１３は、一例として、参考文献３に示された方法を使用して平滑濃淡画像を導出する。参考文献３に示された方法では、画素の周囲の局所領域における輝度の一次導関数の絶対値の平均と、輝度の一次導関数の平均の絶対値との比率が、テクスチャ強度として画素ごとに測定される。平滑濃淡画像は、濃淡画像と平滑濃淡画像との差と、テクスチャ強度との合計ができるだけ小さくなるように最適化される。行列導出部１３は、最適化の結果としての画像を、平滑濃淡画像として導出する。
　行列導出部１３は、平滑濃淡画像「Ｉ」の画素値に反比例する正の実数行列を、輝度変換関数の露出値行列として導出する。行列導出部１３は、「Ｅ＝１／Ｉ」のように露出値行列「Ｅ」を導出する。
　なお、行列導出部１３は、平滑濃淡画像に反比例する任意の正の実数行列を使用できる。平滑濃淡画像「Ｉ」の画素値が［０，１］の範囲内で正規化されていると仮定可能な場合には、行列導出部１３は、「Ｅ＝１－Ｉ」のように露出値行列「Ｅ」を導出してもよい。
　このようにして得られた露出値行列は、上述の露出値要件を満たす。結果として、露出値行列を変数とする輝度変換関数は、上述の非単調性要件及び空間変動性要件を満たす。したがって、露出値行列を変数とする輝度変換関数を輝度変換部１５が使用することにより、輝度変換部１５は画像の局所的な詳細を強調することができる。
　パラメータ導出部１４は、濃淡画像を入力として、濃淡画像を入力部１０から取得する。パラメータ導出部１４は、強調濃淡画像を入力として、強調濃淡画像を画像強調部１１から取得する。パラメータ導出部１４は、輝度変換関数を入力として、輝度変換関数を関数導出部１２から取得する。パラメータ導出部１４は、露出値行列を入力として、露出値行列を行列導出部１３から取得する。
　パラメータ導出部１４は、強調濃淡画像と変換濃淡画像との差（例えば、残差の二乗和）が所定条件を満たす（例えば、最小となる）ように、輝度変換関数のＣＲＦパラメータを導出する。パラメータ導出部１４は、輝度変換関数のＣＲＦパラメータを、輝度変換部１５に出力する。
　従来では、ＣＲＦパラメータは、カメラ応答関数に基づいて専門家によって設定されるか、又は、カメラ応答関数のデータセットに基づいて、機械学習の手法によって導出される。いずれの場合でも、従来のＣＲＦパラメータは、固定値である。したがって、従来のＣＲＦパラメータは、入力画像として取得された濃淡画像の状況に応じて適応的に設定されていない。
　輝度変換関数の変数としてＣＲＦパラメータが用いられる場合、ＣＲＦパラメータは、変換濃淡画像の大域的な明るさを制御するという役割を主に果たす。本実施形態では、最適な大域的な明るさを有する画像として強調濃淡画像が使用され、変換濃淡画像が強調濃淡画像に可能な限り近くなるようにＣＲＦパラメータが導出される。これによって、濃淡画像の状況に応じてパラメータ導出部１４がＣＲＦパラメータを適応的に導出することが可能である。
　パラメータ導出部１４は、強調濃淡画像と変換濃淡画像との間の残差の二乗和を最小化するように、輝度変換関数のＣＲＦパラメータを導出する。ＣＲＦパラメータは、式（９）のように表される。ここで、「Θ」は、ＣＲＦパラメータの集合を表す。「Ｂ」は、強調濃淡画像を表す。「ｇ（Ａｉｎ；Θ）」は、変換輝度「ｇ（Ａｉｎ）」を表す。
Figure JPOXMLDOC01-appb-M000009
　また、式（３）に示されたようなシグモイド関数がカメラ応答関数として使用される場合、ＣＲＦパラメータは、式（１０）のように表される。ここで、「Ｅ」は、露出値行列を表す。
Figure JPOXMLDOC01-appb-M000010
　また、式（６）に示されたような「べき関数」がカメラ応答関数として使用される場合、ＣＲＦパラメータは、式（１１）のように表される。
Figure JPOXMLDOC01-appb-M000011
　式（９）、式（１０）又は式（１１）に示されたＣＲＦパラメータを導出するという問題は、非線形計画問題又は非線形回帰問題と見なすことができる。したがって、パラメータ導出部１４は、非線形計画問題又は非線形回帰問題を解決できる任意の方法を用いて、式（９）、式（１０）又は式（１１）を解くことによって、ＣＲＦパラメータを導出することができる。非線形計画問題または非線形回帰問題を解決できる方法は、例えば、ネルダー・ミード法（参考文献４「Jeffrey C. Lagarias, James A. Reeds, Margaret H. Wright, and Paul E. Wright, "Convergence properties of the Nelder-Mead simplex method in low dimensions," SIAM Journal on Optimization, Vol.9, No.1, pp.112-147, 1998.」）と、レーベンバーグ・マルカート法と、信頼領域法と、確率的勾配降下法とである。
　パラメータ導出部１４は、一例として「ネルダー・ミード法」を用いて、ＣＲＦパラメータと関数値との両方の終了許容誤差を「１０－４」に設定する。
　式（３）に示されたようなシグモイド関数がカメラ応答関数として使用される場合、パラメータ導出部１４は、各ＣＲＦパラメータの初期値「α＝０」及び「β＝０」を設定する。
　式（６）に示されたような「べき関数」がカメラ応答関数として使用される場合、パラメータ導出部１４は、ＣＲＦパラメータ「γ」の初期値を「０」と設定する。
　パラメータ導出部１４によって導出された変換濃淡画像は、基盤画像強調方法を用いて導出された強調濃淡画像が持つ大域的な明るさと同じ大域的な明るさを持つ。
　画像強調部１１が実行した基盤画像強調方法によって濃淡画像における大域的な明るさを適応的に強調可能である場合、濃淡画像の状況に応じてパラメータ導出部１４がＣＲＦパラメータを適応的に設定することができる。また、このような場合、基盤画像強調方法によって画像において減衰した局所的な詳細を、露出値行列を変数とする輝度変換関数を用いて、輝度変換部１５が回復又は強調することができる。
　輝度変換部１５は、入力画像としての濃淡画像を、入力部１０から取得する。輝度変換部１５は、カメラ応答関数に基づいて濃淡画像内の座標に応じて関数値が変化する輝度変換関数を入力として、関数導出部１２から取得する。輝度変換部１５は、露出値行列を入力として、行列導出部１３から取得する。輝度変換部１５は、ＣＲＦパラメータを入力として、パラメータ導出部１４から取得する。
　輝度変換部１５は、濃淡画像の各画素の輝度（画素値）に対して、露出値行列とＣＲＦパラメータとを変数とする輝度変換関数を適用することによって、大域的な明るさを適応的に調整しかつ局所的な詳細を強調するように輝度が変換された濃淡画像である変換濃淡画像を導出する。輝度変換部１５は、変換濃淡画像を出力部１６に出力する。輝度変換部１５は、変換濃淡画像「Ａｏｕｔ」を、式（１２）のように導出する。
Figure JPOXMLDOC01-appb-M000012
　出力部１６は、表示装置であり、例えば液晶ディスプレイである。出力部１６は、変換濃淡画像「Ａｏｕｔ」を輝度変換部１５から取得する。出力部１６は、変換濃淡画像を表示する。出力部１６は、通信装置でもよい。出力部１６は、変換濃淡画像を外部装置（不図示）に送信してもよい。
　次に、画像調整装置１の動作例を説明する。
　図３は、画像調整装置１の輝度変換部１５の動作例を示すフローチャートである。輝度変換部１５は、輝度変換関数とＣＲＦパラメータと露出値行列と濃淡画像とを取得する（ステップＳ１０１）。輝度変換部１５は、ＣＲＦパラメータと露出値行列とを変数とする輝度変換関数を用いて、濃淡画像の各画素の輝度を変換する（ステップＳ１０２）。輝度変換部１５は、出力部１６等の所定の装置に変換濃淡画像を出力する（ステップＳ１０３）。
　以上のように、画像強調部１１は、輝度のコントラストが強調された濃淡画像である強調濃淡画像を、濃淡画像から生成する。関数導出部１２は、カメラ応答関数に基づいて輝度変換関数を導出する。行列導出部１３は、平滑濃淡画像に基づいて、露出値行列を導出する。パラメータ導出部１４は、輝度変換関数と強調濃淡画像と濃淡画像と露出値行列とに基づいて、強調濃淡画像と変換濃淡画像との差が所定条件を満たすようにＣＲＦパラメータを導出する。輝度変換部１５は、輝度変換関数とＣＲＦパラメータと露出値行列と濃淡画像とを取得する。輝度変換部１５は、ＣＲＦパラメータと露出値行列とを変数とする輝度変換関数を用いて、濃淡画像の各画素の輝度を変換する。
　このように、画像調整装置１は、非単調な輝度変換関数（空間的に変化する関数）を用いて、すなわち画像内の座標に応じて関数値が変化する関数を用いて、濃淡画像の各画素の輝度を変換する。例えば、画像調整装置１は、ＣＲＦパラメータと露出値行列とを変数とする輝度変換関数を用いて、濃淡画像の各画素の輝度を変換する。これによって、大域的な明るさが適応的に調整された画像において局所的な詳細を強調することが可能である。また、従来の画像強調方法（基盤画像強調方法）を使用して入力画像が強調された際に入力画像において減衰した（弱められた）局所的な詳細を、回復又は強調することが可能である。
　輝度変換部１５によって導出された変換濃淡画像は、基盤画像強調方法を用いて導出された強調濃淡画像が持つ大域的な明るさと同じ大域的な明るさを持つ。画像強調部１１が実行した基盤画像強調方法によって濃淡画像における大域的な明るさを適応的に強調可能である場合、濃淡画像の状況に応じてパラメータ導出部１４がＣＲＦパラメータを適応的に設定することができる。また、このような場合、基盤画像強調方法によって画像において減衰した局所的な詳細を、露出値行列を変数とする輝度変換関数を用いて、輝度変換部１５が回復又は強調することができる。
　図４から図１１までは、実施形態における、変換濃淡画像と他の画像との比較の第１例から第８例までを示す図である。図４から図１１までにおいて、変換濃淡画像の生成に関して、式（３）に示されたシグモイド関数がカメラ応答関数として使用されている。
　図４から図７までには、基盤画像強調方法（非特許文献１に示された方法）を用いて導出された強調濃淡画像と、輝度変換部１５によって導出された変換濃淡画像とが、比較可能に表されている。
　図４には、濃淡画像１００と、基盤画像強調方法が濃淡画像１００に対して適用された結果である強調濃淡画像１１０と、露出値行列とＣＲＦパラメータとを変数とする輝度変換関数が濃淡画像１００に対して適用された結果である変換濃淡画像１２０とが、比較可能に表されている。
　同様に、図５には、濃淡画像２００と強調濃淡画像２１０と変換濃淡画像２２０とが、比較可能に表されている。図６には、濃淡画像３００と強調濃淡画像３１０と変換濃淡画像３２０とが、比較可能に表されている。図７には、濃淡画像４００と強調濃淡画像４１０と変換濃淡画像４２０とが、比較可能に表されている。
　強調濃淡画像１１０と強調濃淡画像２１０と強調濃淡画像３１０と強調濃淡画像４１０とに表されているように、基盤画像強調方法によって濃淡画像から生成された強調濃淡画像では、画像における一部の局所的な詳細が必然的に減衰している。暗い画像領域のコントラストを強調するように基盤画像強調方法が設計されているので、画像において明るい領域の局所的な詳細が減衰する傾向がある。
　変換濃淡画像１２０と変換濃淡画像２２０と変換濃淡画像３２０と変換濃淡画像４２０とに表されているように、輝度変換部１５によって導出された変換濃淡画像では、強調濃淡画像における大域的な明るさを維持しながら、基盤画像強調方法によって減衰した画像の局所的な詳細を回復又は強調することが可能である。
　図８から図１１までには、濃淡画像と、非特許文献２に示された方法を用いて導出された「ＬＩＭＥ（Low-light IMage Enhancement）画像」と、非特許文献３に示された方法を用いて導出された「ＳＲＩＥ（Simultaneous Reflectance and Illumination Estimation）画像」と、輝度変換部１５によって導出された変換濃淡画像とが、比較可能に表されている。
　図８には、濃淡画像５００と、非特許文献２に示された方法が濃淡画像５００に対して適用された結果であるＬＩＭＥ画像５１０と、非特許文献３に示された方法が濃淡画像５００に対して適用された結果であるＳＲＩＥ画像５２０と、露出値行列とＣＲＦパラメータとを変数とする輝度変換関数が濃淡画像５００に対して適用された結果である変換濃淡画像５３０とが、比較可能に表されている。
　同様に、図９には、濃淡画像６００とＬＩＭＥ画像６１０とＳＲＩＥ画像６２０と変換濃淡画像６３０とが、比較可能に表されている。図１０には、濃淡画像７００とＬＩＭＥ画像７１０とＳＲＩＥ画像７２０と変換濃淡画像７３０とが、比較可能に表されている。図１１には、濃淡画像８００とＬＩＭＥ画像８１０とＳＲＩＥ画像８２０と変換濃淡画像８３０とが、比較可能に表されている。
　非特許文献２に示された方法では、反射率成分画像が所望の強調結果と見なされる。推定された照明成分画像が濃淡画像から除去されることによって、強調結果が導出される。しかしながら、ＬＩＭＥ画像５１０とＬＩＭＥ画像６１０とＬＩＭＥ画像８１０とに示されているように、ＬＩＭＥ画像における大域的なコントラストが完全に無くなる場合がある。このため、明るさが過度になるという問題が発生することもある。
　非特許文献３に示された方法では、推定された照明成分画像がガンマ補正で強調される。強調された照明成分画像と反射率成分画像とが再結合される。この再結合された画像は、強調結果として導出される。しかしながら、ＳＲＩＥ画像５２０とＳＲＩＥ画像６２０とＳＲＩＥ画像７２０とＳＲＩＥ画像８２０とに示されているように、ガンマ補正を用いて画像における明るさを適応的に高めることができない場合がある。このため、ＳＲＩＥ画像の明るさが過度になってしまう場合があるという問題が発生することもある。また、ＳＲＩＥ画像の明るさが不足してしまう場合があるという問題が発生することもある。
　露出値行列とＣＲＦパラメータとを変数とする輝度変換関数が濃淡画像に対して適用されるという方法（単調ではなく、画像における空間的にも変化し、各画素の座標に応じて異なる値を取る輝度変換関数が用いられるという方法）では、変換濃淡画像５３０と変換濃淡画像６３０と変換濃淡画像７３０と変換濃淡画像８３０とに示されているように、バランスのとれた自然なコントラスト強調が、一貫して可能となっている。このような方法では、画像の局所的な詳細が弱められることなく、画像における大域的な明るさが濃淡画像の状況に応じて適応的に強調される。また、画像の明るさが過度になってしまう場合があるという問題が発生することと、画像の明るさが不足してしまう場合があるという問題が発生することとを、効率的に回避することが可能である。
　以上、この発明の実施形態について図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も含まれる。
　例えば、「輝度」は「明度」と読み替えられてもよい。
　本発明は、画像処理装置に適用可能である。
１…画像調整装置、２…プロセッサ、３…メモリ、４…記憶装置、５…表示部、１０…入力部、１１…画像強調部、１２…関数導出部、１３…行列導出部、１４…パラメータ導出部、１５…輝度変換部、１６…出力部、１００…濃淡画像、１１０…強調濃淡画像、１２０…変換濃淡画像、２００…濃淡画像、２１０…強調濃淡画像、２２０…変換濃淡画像、３００…濃淡画像、３１０…強調濃淡画像、３２０…変換濃淡画像、４００…濃淡画像、４１０…強調濃淡画像、４２０…変換濃淡画像、５００…濃淡画像、５１０…ＬＩＭＥ画像、５２０…ＳＲＩＥ画像、５３０…変換濃淡画像、６００…濃淡画像、６１０…ＬＩＭＥ画像、６２０…ＳＲＩＥ画像、６３０…変換濃淡画像、７００…濃淡画像、７１０…ＬＩＭＥ画像、７２０…ＳＲＩＥ画像、７３０…変換濃淡画像、８００…濃淡画像、８１０…ＬＩＭＥ画像、８２０…ＳＲＩＥ画像、８３０…変換濃淡画像

Claims (5)

  1. 　輝度のコントラストを用いて濃淡を表す画像である濃淡画像を取得する入力部と、
    　カメラ応答関数に基づいて前記濃淡画像内の座標に応じて関数値が変化する輝度変換関数を用いて前記濃淡画像の各画素の輝度を変換することによって、大域的な明るさを適応的に調整しかつ局所的な詳細を強調するように輝度が変換された前記濃淡画像である変換濃淡画像を生成し、前記変換濃淡画像を所定の装置に出力する輝度変換部と
    　を備える画像調整装置。
  2. 　輝度が調整された前記濃淡画像である強調濃淡画像を前記濃淡画像から生成する画像強調部と、
    　前記カメラ応答関数に基づいて前記輝度変換関数を導出する関数導出部と、
    　平滑化された前記濃淡画像である平滑濃淡画像に基づいて、前記平滑濃淡画像の画素値に反比例する正の実数行列である露出値行列を導出する行列導出部と、
    　前記輝度変換関数と前記強調濃淡画像と前記濃淡画像と前記露出値行列とに基づいて、前記強調濃淡画像と前記変換濃淡画像との差が所定条件を満たすようにパラメータを導出するパラメータ導出部とを備え、
    　前記輝度変換部は、前記露出値行列と前記パラメータとを変数とする前記輝度変換関数を用いて、前記濃淡画像の各画素の輝度を変換する、
    　請求項１に記載の画像調整装置。
  3. 　前記所定条件は、前記強調濃淡画像と前記変換濃淡画像との残差の二乗和が最小となるという条件である、
    　請求項２に記載の画像調整装置。
  4. 　画像調整装置が実行する画像調整方法であって、
    　輝度のコントラストを用いて濃淡を表す画像である濃淡画像を取得する入力ステップと、
    　カメラ応答関数に基づいて前記濃淡画像内の座標に応じて関数値が変化する輝度変換関数を用いて前記濃淡画像の各画素の輝度を変換することによって、大域的な明るさを適応的に調整しかつ局所的な詳細を強調するように輝度が変換された前記濃淡画像である変換濃淡画像を生成し、前記変換濃淡画像を所定の装置に出力する輝度変換ステップと
    　を含む画像調整方法。
  5. 　請求項１から請求項３のいずれか一項に記載の画像調整装置としてコンピュータを機能させるためのプログラム。
PCT/JP2020/017942 2020-04-27 2020-04-27 画像調整装置、画像調整方法及びプログラム WO2021220333A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2022518432A JP7425361B2 (ja) 2020-04-27 2020-04-27 画像調整装置、画像調整方法及びプログラム
PCT/JP2020/017942 WO2021220333A1 (ja) 2020-04-27 2020-04-27 画像調整装置、画像調整方法及びプログラム
US17/921,103 US20230162335A1 (en) 2020-04-27 2020-04-27 Image adjustment apparatus, image adjustment method and program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2020/017942 WO2021220333A1 (ja) 2020-04-27 2020-04-27 画像調整装置、画像調整方法及びプログラム

Publications (1)

Publication Number Publication Date
WO2021220333A1 true WO2021220333A1 (ja) 2021-11-04

Family

ID=78332349

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2020/017942 WO2021220333A1 (ja) 2020-04-27 2020-04-27 画像調整装置、画像調整方法及びプログラム

Country Status (3)

Country Link
US (1) US20230162335A1 (ja)
JP (1) JP7425361B2 (ja)
WO (1) WO2021220333A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114360436B (zh) * 2020-09-28 2023-03-10 京东方科技集团股份有限公司 补偿显示画面的方法、装置、设备及显示屏驱动板

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007158388A (ja) * 2005-11-30 2007-06-21 Tama Tlo Kk 画質改善方法、装置及びプログラム
JP2008301331A (ja) * 2007-06-01 2008-12-11 Keyence Corp 拡大観察装置、拡大画像観察方法、拡大画像観察プログラム及びコンピュータで読み取り可能な記録媒体
JP2019016117A (ja) * 2017-07-05 2019-01-31 日本電信電話株式会社 画像調整装置、局所的コントラスト量計算装置、方法、及びプログラム

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007158388A (ja) * 2005-11-30 2007-06-21 Tama Tlo Kk 画質改善方法、装置及びプログラム
JP2008301331A (ja) * 2007-06-01 2008-12-11 Keyence Corp 拡大観察装置、拡大画像観察方法、拡大画像観察プログラム及びコンピュータで読み取り可能な記録媒体
JP2019016117A (ja) * 2017-07-05 2019-01-31 日本電信電話株式会社 画像調整装置、局所的コントラスト量計算装置、方法、及びプログラム

Also Published As

Publication number Publication date
US20230162335A1 (en) 2023-05-25
JPWO2021220333A1 (ja) 2021-11-04
JP7425361B2 (ja) 2024-01-31

Similar Documents

Publication Publication Date Title
Zhang et al. High-quality exposure correction of underexposed photos
JP7152540B2 (ja) フィルタリング方法、及びシステム
Bae et al. Two-scale tone management for photographic look
US9344636B2 (en) Scene motion correction in fused image systems
Zheng et al. Single image brightening via multi-scale exposure fusion with hybrid learning
US9396526B2 (en) Method for improving image quality
CN109636765B (zh) 基于图像多重曝光融合的高动态显示方法
JP7180885B2 (ja) 画像調整装置及びプログラム
JP2006114005A (ja) 階調変換装置、プログラム、電子カメラ、およびその方法
JP6548907B2 (ja) 画像処理装置、画像処理方法、及びプログラム
US7379561B2 (en) Method and system for differentially and regularly modifying a digital image by pixel
CN109493296A (zh) 图像增强方法、装置、电子设备及计算机可读介质
Yu et al. Perceptually optimized enhancement of contrast and color in images
CN114240767A (zh) 一种基于曝光融合的图像宽动态范围处理方法及装置
WO2021220333A1 (ja) 画像調整装置、画像調整方法及びプログラム
WO2021074946A1 (ja) 画像調整装置、画像調整方法及びプログラム
Zhao et al. Multi-scene image enhancement based on multi-channel illumination estimation
Wu et al. Reflectance-oriented probabilistic equalization for image enhancement
JP5410378B2 (ja) 映像信号補正装置および映像信号補正プログラム
Jen et al. Bayesian structure-preserving image contrast enhancement and its simplification
JP6548403B2 (ja) 画像処理装置、画像処理方法、及びプログラム
CN114283101B (zh) 一种多曝光图像融合的无监督学习方法、装置及电子设备
JP6935842B2 (ja) 画像調整装置、方法、及びプログラム
CN112819699B (zh) 视频处理方法、装置及电子设备
WO2022153348A1 (ja) 画像調整方法、プログラムおよび画像調整装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20932866

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2022518432

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 20932866

Country of ref document: EP

Kind code of ref document: A1