WO2018159162A1 - 画像処理装置およびその制御方法及びプログラム - Google Patents

画像処理装置およびその制御方法及びプログラム Download PDF

Info

Publication number
WO2018159162A1
WO2018159162A1 PCT/JP2018/002127 JP2018002127W WO2018159162A1 WO 2018159162 A1 WO2018159162 A1 WO 2018159162A1 JP 2018002127 W JP2018002127 W JP 2018002127W WO 2018159162 A1 WO2018159162 A1 WO 2018159162A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
image data
luminance
correction
display
Prior art date
Application number
PCT/JP2018/002127
Other languages
English (en)
French (fr)
Inventor
敬行 神野
Original Assignee
キヤノン株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by キヤノン株式会社 filed Critical キヤノン株式会社
Publication of WO2018159162A1 publication Critical patent/WO2018159162A1/ja
Priority to US16/548,039 priority Critical patent/US11328679B2/en

Links

Images

Classifications

    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/003Details of a display terminal, the details relating to the control arrangement of the display terminal and to the interfaces thereto
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/20Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters
    • G09G3/34Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters by control of light from an independent source
    • G09G3/3406Control of illumination source
    • G09G3/3413Details of control of colour illumination sources
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/002D [Two Dimensional] image generation
    • G06T11/001Texturing; Colouring; Generation of texture or colour
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/90Determination of colour characteristics
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/10Intensity circuits
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/36Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/40Picture signal circuits
    • H04N1/407Control or modification of tonal gradation or of extreme levels, e.g. background level
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10024Color image
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00Control of display operating conditions
    • G09G2320/06Adjustment of display parameters
    • G09G2320/0613The adjustment depending on the type of the information to be displayed
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00Control of display operating conditions
    • G09G2320/06Adjustment of display parameters
    • G09G2320/0673Adjustment of display parameters for control of gamma adjustment, e.g. selecting another gamma curve
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00Control of display operating conditions
    • G09G2320/08Arrangements within a display terminal for setting, manually or automatically, display parameters of the display terminal
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2360/00Aspects of the architecture of display systems
    • G09G2360/14Detecting light within display terminals, e.g. using a single or a plurality of photosensors
    • G09G2360/144Detecting light within display terminals, e.g. using a single or a plurality of photosensors the light being ambient light
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2360/00Aspects of the architecture of display systems
    • G09G2360/16Calculation or use of calculated indices related to luminance levels in display data

Definitions

  • the present invention relates to an image processing apparatus, a control method thereof, and a program.
  • the luminance range of a subject has been adjusted so far by combining multiple images taken under different exposure conditions or using an imaging device that expands the luminance range (dynamic range) that can be captured.
  • an imaging device that expands the luminance range (dynamic range) that can be captured.
  • HDR high dynamic range
  • high-intensity subjects such as light reflected on high-gloss objects such as automobile headlights, the sun, or metals, are included in the shooting target, so It becomes possible to widen the range of expression.
  • Patent Document 1 discloses a technique related to a flare correction circuit generated in a display device. This is an edge emphasizing technique in which flare in the display is a problem in which the edge portion is blurred due to the MTF characteristic of a projection lens of a display device such as a projector. Although the periphery of the high-luminance subject becomes bright due to the blur at the edge portion, the cause is on the display device side, but the problem is similar in that the observer perceives flare. In particular, when the surroundings are bright, human visual sensitivity is reduced and the edge enhancement effect is diminished, so the flare correction gain and band are automatically adjusted according to the surrounding brightness.
  • Patent Document 1 discloses a technique for correcting flare of a display device in accordance with ambient brightness, but discloses a technique for correcting artifacts such as flare based on the luminance of a displayed image itself. I don't mean.
  • the present invention has been made in view of the above problems, and is intended to provide a technique for correcting image artifacts related to luminance and color derived from a high luminance region to be displayed based on the luminance of a display device. is there.
  • an image processing apparatus of the present invention has the following configuration. That is, An image processing device for correcting image data to be displayed on a display device, Obtaining means for obtaining information corresponding to a luminance range displayable by the display device; Derivation means for deriving a correction amount for correcting artifacts of image data to be displayed based on the maximum luminance indicated by the information acquired by the acquisition means; Correction means for correcting the image data based on the derived correction amount and generating display image data.
  • the present invention it is possible to correct image artifacts related to luminance and color derived from a high luminance area to be displayed in consideration of luminance of the display device. As a result, it is possible to suppress the uncomfortable feeling of artifacts when observing a display device capable of high brightness display.
  • FIG. 1 is a schematic block configuration diagram of an image processing apparatus according to a first embodiment.
  • 5 is a flowchart illustrating a processing procedure of the image processing apparatus according to the first embodiment.
  • the figure which shows the content of the correction table of embodiment The figure which shows the content of the correction table of embodiment.
  • the figure for demonstrating the correction method of the gradation conversion process in the artifact correction execution part of 1st Embodiment The figure which shows the content of the correction table in 2nd Embodiment.
  • the figure which shows the content of the correction table in 2nd Embodiment The figure for demonstrating the detection method of the artifact in 2nd Embodiment, and the addition method of an artifact.
  • the figure for demonstrating the detection method of the artifact in 2nd Embodiment, and the addition method of an artifact The figure for demonstrating the detection method of the artifact in 2nd Embodiment, and the addition method of an artifact.
  • the figure for demonstrating the detection method of the artifact in 2nd Embodiment, and the addition method of an artifact The figure for demonstrating the detection method of the artifact in 2nd Embodiment, and the addition method of an art
  • the figure for demonstrating the detection method of the artifact in 2nd Embodiment, and the addition method of an artifact The figure which shows the execution example of the artifact correction
  • FIG. 10 is a schematic configuration diagram of an image processing apparatus according to a third embodiment.
  • FIG. 1 is a conceptual diagram showing a schematic configuration of the image processing apparatus according to the present embodiment.
  • the apparatus includes an image acquisition unit 101, an artifact correction unit 102, an image display unit 103, and a display luminance acquisition unit 104, as illustrated.
  • the image acquisition unit 101 is an image editing application or an image display application in an information processing apparatus such as a personal computer (PC), and any type may be used as long as it has a function of acquiring an image to be displayed.
  • a typical example of a generation source of an image to be displayed is an imaging device such as a digital camera.
  • the artifact correction unit 102 derives a correction amount based on the display luminance information acquired by the display luminance acquisition unit 104 described later, and performs an artifact correction process on the image acquired by the image acquisition unit 101 based on the derived correction amount.
  • the display luminance acquisition unit 104 acquires display luminance information used for artifact correction of the artifact correction unit 102.
  • the image display unit 103 includes an image display device such as a display or a projector, and receives and displays the display image data on which the artifact correction by the artifact correction unit 102 has been performed.
  • the display luminance information is the maximum luminance that can be output by the image display device of the image display unit 103, for example.
  • the display luminance information is the maximum display luminance corresponding to the display target image determined from the maximum luminance that can be output by the image display device of the image display unit 103 and the maximum pixel value of the image acquired by the image acquisition unit 101. It is.
  • a table or a conversion formula indicating the correspondence between the pixel value and the display luminance as shown in the graph of FIG. 3 is used. This correspondence is assumed to be stored in the memory of the image display device of the image display unit 103.
  • a database having a correspondence relationship between the model name of the display device and the notation luminance value is prepared in advance and actually used.
  • a display device When a display device is designated, it may be obtained by referring to the table. Therefore, a luminance slightly lower than the maximum luminance may be used instead of the strict maximum luminance. That is, it is only necessary to acquire luminance information indicating luminance that can be classified as high luminance and close to the maximum luminance in the luminance range that can be output by the image display device, and a range that includes luminance close to the maximum luminance may be acquired.
  • the maximum luminance includes this output luminance information.
  • the maximum pixel value of the low frequency component of the image of the image acquisition unit 101 instead of simply adopting the maximum pixel value of the image acquired by the image acquisition unit 101. That is, the maximum display luminance corresponding to the display target image determined from the maximum luminance that can be output by the image display device of the image display unit 103 and the maximum pixel value of the low frequency component of the image acquired by the image acquisition unit 101 is displayed. Let it be luminance information.
  • the display luminance acquisition unit 104 includes a conversion unit that converts the image acquired by the image acquisition unit 101 into a low-frequency image. This conversion unit may be filter processing or resolution conversion. Then, the display luminance acquisition unit 104 obtains the maximum pixel value (maximum luminance value) of the low frequency component.
  • FIG. 4A shows a part of an image acquired by the image acquisition unit 101, and the value of each pixel indicates a pixel value.
  • a value having a high correlation with the brightness of the image such as a Y value of an image converted from an RGB image to a Yuv image, is used.
  • FIG. 4B shows pixel values of an image that has been subjected to resolution conversion processing using the bicubic method, which is a known resolution conversion method, with respect to FIG. 4A.
  • the resolution conversion method is not limited to this, and a known method such as a bilinear method, a Lanczos method, or an average pixel method can be used.
  • the thick frame pixel in FIG. 4A is used.
  • the display luminance information is obtained from the low frequency component of the image acquired by the image acquisition unit 101
  • the thick frame in FIG. A pixel value is obtained from each pixel. Display luminance information is obtained from these pixel values and the correspondence shown in FIG.
  • the display luminance acquired from the image acquisition unit 101 can be used as display luminance information.
  • the display luminance information is not necessarily limited to luminance, and may be different information such as CIE brightness as long as it is information related to brightness.
  • FIG. 2 is a block diagram of the artifact correction unit 102 in the embodiment.
  • the correction presence / absence determination unit 201 determines whether to perform artifact correction based on the display luminance information acquired by the display luminance acquisition unit 104. Specifically, the correction presence / absence determination unit 201 compares the luminance value indicated by the display luminance information with a preset threshold value, and determines that correction is performed when the luminance value is equal to or greater than the threshold value, and is less than the threshold value. In this case, it is determined that there is no correction.
  • the threshold value can be set and changed by the user via the operation unit, and it is desirable to store the threshold value in a non-volatile memory for easy holding unless there is a change instruction.
  • the correction presence / absence determination unit 201 determines not to perform correction
  • the image data acquired by the image acquisition unit 101 is output to the image display unit 103 without performing any processing in subsequent processing blocks. And display.
  • the correction amount calculation unit 203 receives the determination result and calculates a correction amount for correcting the artifact. Although a calculation method of the correction amount will be described later, the correction amount is obtained with reference to the correction table 202 based on the display luminance information acquired by the display luminance acquisition unit 104.
  • the correction amount calculation of the correction amount calculation unit 203 it is possible to calculate the correction amount by further using not only the display luminance information but also the environmental light intensity information acquired by the environmental light acquisition unit 204.
  • This ambient light intensity may be acquired by an illuminance sensor mounted on a display device such as a display, or may be a value measured around the display device by another illuminometer. Alternatively, the user may set the value via an operation unit (not shown).
  • the artifact detection unit 205 detects the artifact of the image acquired by the image acquisition unit 101 when it is determined to be corrected by the correction presence / absence determination unit 201 (details will be described later).
  • the artifact correction execution unit 206 executes artifact correction based on the correction amount calculated by the correction amount calculation unit 203 and the artifact detection result detected by the artifact detection unit 205. Note that the artifact detection unit 205 is not necessarily an essential component, although it depends on the content of the correction processing of the artifact correction execution unit 206.
  • FIG. 5 is a flowchart showing the overall processing flow in the image processing apparatus according to this embodiment.
  • the image acquisition unit 101 acquires an image to be displayed on the image display device of the image display unit 103 (S501).
  • the display luminance acquisition unit 104 acquires display luminance information for display on the image display device of the image display unit 103 (S502).
  • the artifact correction unit 102 corrects the artifacts related to luminance and color derived from the high luminance area of the image based on the display luminance information acquired in S502 for the image acquired in S501.
  • FIG. 5 is also a flowchart showing the flow of the artifact correction unit 102.
  • the artifact correction unit 102 causes the correction presence / absence determination unit 201 to compare the value of the display luminance information acquired by the display luminance acquisition unit 104 with a preset threshold value (S601). If the artifact correction unit 102 determines that the value of the display luminance information is greater than or equal to this threshold, the process proceeds to S602. If the artifact correction unit 102 determines that the value of the display luminance information is less than the threshold value, the artifact correction unit 102 determines not to perform the artifact correction, and ends this process. Next, the artifact correction unit 102 causes the ambient light acquisition unit 204 to acquire ambient light intensity such as illuminance of the image display device or its surroundings (S602).
  • the artifact correction unit 102 controls the correction amount calculation unit 203 to determine the correction amount in the artifact correction process with reference to the correction table 202 based on the value of the display luminance information acquired by the display luminance acquisition unit 104 ( S603).
  • the artifact correction unit 102 controls the artifact detection unit 205 to detect the artifact of the image acquired by the image acquisition unit 101 (S604). Finally, the artifact correction unit 102 controls the artifact correction execution unit 206 to perform artifact correction on the image acquired by the image acquisition unit 101 based on the correction amount determined in S603 and the artifact detected in S604. This is executed (S605). As described above, depending on the content of the artifact correction process, the detection of the artifact is not necessarily required. In the configuration without the artifact detection unit 205, the artifact correction execution unit 206 performs the artifact correction from only the correction amount calculated in S603 in S605. Will be executed.
  • FIG. 7A is a graph showing the contents of the correction table 202
  • FIG. 7B shows a specific example of a lookup table (LUT).
  • the graph in FIG. 7A shows the relationship between the display brightness acquired by the display brightness acquisition unit 104 and the correction amount. It can be seen that the correction amount increases as the value of the display luminance information increases.
  • FIG. 7B is a specific LUT of the display luminance value and the correction amount having the relationship shown in FIG. 7A.
  • the correction table 202 holds data in the LUT format as shown in FIG. 7B.
  • the correction amount of the display luminance in the LUT having the smaller difference from the acquired luminance value is set. Decide what to use.
  • the correction amount may be obtained by interpolation using a known interpolation technique such as linear interpolation.
  • the correction amount may be obtained by extrapolation by a known extrapolation technique such as linear extrapolation.
  • the correction amount is set to 100% when the display luminance is 10,000 nits.
  • the correction amount is not limited to this.
  • the correction amount may be set to 100% when the display luminance is 1000 nits.
  • the relationship between the display luminance and the correction amount may be held as a “function” in addition to the LUT format.
  • the correction amount calculation unit 203 calculates a correction amount based on the display luminance acquired by the display luminance acquisition unit 104 and the environmental light intensity acquired by the environmental light acquisition unit 204.
  • FIG. 8A shows an example of a correction LUT in which the correction amount is increased as the ambient light intensity value is smaller.
  • FIG. 8B shows an example of a correction LUT in which the correction amount is increased as the environmental light intensity value is larger.
  • FIG. 9A shows an example of an image acquired by the image acquisition unit 101.
  • FIG. 9B shows a binary image obtained by performing binarization processing based on a predetermined threshold set in advance for the image of FIG. 9A.
  • a white area indicates a high brightness area
  • a black area indicates a non-high brightness area.
  • the pixel value of the non-high brightness area of the binary image is considered to be zero.
  • the high luminance area of the binary image is set as the average luminance value of the actual image in the area.
  • This binary image represents the determination result of the correction presence / absence determination unit 201.
  • the artifact detection unit 205 calculates the average value of each of R, G, and B from the actual image shown in FIG. 9A corresponding to the region shown in white in FIG. Convert to Y, u, v of the color system. Also, the barycentric coordinates of the area are acquired.
  • information on brightness such as luminance, information on color, and information on position on the image are acquired.
  • a plurality of high-luminance regions may be extracted, but it is preferable to set an upper limit number in advance and determine it from the size and area of the average pixel value.
  • FIG. 10A is an artifact component image detected from the image of FIG. 9A.
  • FIG. 10B shows the pixel distribution crossed by the broken line shown in FIG. 10A in the binary image of FIG. 9B (the binary image in which the high luminance area is the actual average luminance value and the non-high luminance area is zero).
  • the horizontal axis indicates the position on the line, and the vertical direction is the luminance value.
  • FIG. 10C is a graph showing the relationship between the position of the image obtained by blurring FIG. 9B with a predetermined filter and the pixel value, and shows the pixel value on the line indicated by the dotted line in FIG. 10A. Note that a Gaussian filter as shown in FIG.
  • FIG. 11 can be used as a filter for blurring an image from which a high luminance region is extracted, but another filter such as a media filter may be used as long as it is a blur filter.
  • FIG. 11 shows an example of a 5 ⁇ 5 size filter, the filter size and coefficients are not limited to this example.
  • the artifact detection unit 205 stores a plurality of filters, and applies a filter of an appropriate size depending on the image.
  • FIG. 10D is a graph showing the relationship between the position of the image obtained by subtracting the image of FIG. 9B from the image blurred by the predetermined filter and the pixel value, and showing the pixel value on the line indicated by the dotted line in FIG. 10A. Yes. That is, the pixel value profile in FIG.
  • 10A corresponds to the profile in the dotted line of the artifact component shown in FIG. If the pixel value is smaller than 0 when the image in FIG. 9B is subtracted from the image obtained by blurring FIG. 9B with a predetermined filter, the value is clipped to 0.
  • FIG. 12A is an image acquired by the image acquisition unit 101 corresponding to FIG. 9A.
  • FIG. 12B is a corrected artifact component image in which the correction amount calculated by the correction amount calculation unit 203 is applied to the image indicating the artifact component of FIG. 10B generated (detected) by the artifact detection unit 205.
  • the correction amount ⁇ is determined to be 14.6% from the correction table of FIG. 7B.
  • FIG. 12C is an image obtained as a result of subtracting the corrected artifact component image of FIG. 12B from the image of FIG. 12A as the artifact correction processing. Again, if the pixel value is smaller than 0 during the subtraction process, the value is clipped to 0. As shown in FIG. 12B, based on the position and color of the high luminance component of the input image, different amounts of correction are performed depending on the position on the image.
  • one pixel of the image of FIG. 12A has an RGB component
  • one pixel of the corrected artifact component image of FIG. 12B has only one luminance component. Therefore, the artifact correction execution unit temporarily converts the image in FIG. 12A into the Yuv color space, and subtracts the luminance component in FIG. 12B from the luminance Y component to obtain a corrected luminance value Y ′.
  • the artifact correction execution unit reconverts Y ′, u, v into an RGB color space image and outputs the image to the image display unit 103. Note that the image display unit 103 does not need the last reconversion when it can display a Yuv format image.
  • the digital gain based on the correction amount calculated by the correction amount calculation unit 203 is applied to the artifact component in FIG. 10A.
  • the correction amount can also be controlled by generating a plurality of artifact component images using a plurality of filters having different sizes and coefficients, and selecting them based on the correction amount calculated by the correction amount calculation unit 203.
  • FIG. 13A and 13B show Laplacian filters having different intensities.
  • FIG. 13A shows an example of a relatively weak filter
  • FIG. 13B shows an example of a relatively strong filter.
  • only two filters are shown as an example, but it is preferable to store more filters in the artifact correction execution unit 206 so as to cover the correction amount calculated by the correction amount calculation unit 203. .
  • the artifact correction execution unit 206 controls the correction amount by performing filter processing using a filter having a stronger intensity as the correction amount is larger.
  • FIG. 14A is a graph of gamma characteristics showing the relationship of the output pixel value to the input pixel value.
  • the artifact correction execution unit 206 controls the correction amount by selecting a gamma characteristic in which the pixel value decreases as the correction amount increases and performs gradation conversion processing. To do. That is, the gamma characteristic 1402 shows an example of a gamma characteristic when the correction amount is relatively small, and the gamma characteristic 1403 shows an example of a gamma characteristic when the correction amount is relatively large.
  • FIG. 14B is a graph showing the relationship between the position and the pixel value in a line passing through the center of the sun, which is the high luminance region in FIG. 9A.
  • Reference numeral 1404 is a pixel value when correction is not performed.
  • Reference numeral 1405 indicates a pixel value when converted by the gamma characteristic of the gamma characteristic 1402, and reference numeral 1406 indicates a pixel value when converted by the gamma characteristic of the gamma characteristic 1403. It can be seen that the pixel value curve 1406 to which the gamma characteristic 1403 when the correction amount calculated by the correction amount calculation unit 203 is large is corrected more than the pixel value curve 1405.
  • correction processing may be performed on the RGB values or may be performed on the converted Yuv.
  • the present embodiment it is possible to perform correction so that the higher the luminance of the image displayed on the image display device, the smaller the luminance and color artifact components derived from the high luminance region of the image. As a result, it is possible to suppress a sense of discomfort derived from artifacts when observing a display device capable of high brightness display.
  • FIG. 15A is a correction curve indicated by the correction table 202
  • FIG. 15B is a specific look-up table (LUT).
  • the graph in FIG. 15A shows the relationship between the display brightness acquired by the display brightness acquisition unit 104 and the correction amount. It can be seen that the correction amount increases as the value of the display luminance information decreases.
  • FIG. 15B is an LUT describing the relationship shown in FIG. 15A.
  • the correction table 202 is stored in the LUT format as shown in FIG. 15B.
  • the correction amount corresponding to the closest display luminance is referred to.
  • the correction amount may be obtained by interpolation using a known interpolation technique such as linear interpolation.
  • the relationship between the display luminance and the correction amount may be held as a function.
  • correction may be performed based on the ambient light intensity acquired by the ambient light acquisition unit 204, and the correction table 202 holds LUTs for a plurality of ambient light intensities. It is preferable.
  • Artifact Correction Processing A method of detecting an artifact by the artifact detection unit 205 and a method of adding the artifact correction execution unit 206 in the second embodiment will be described with reference to FIGS. 16A to 16E.
  • FIG. 16A is an artifact component detected from the image of FIG. 9A as in FIG. 10A.
  • FIG. 16B is a graph showing the relationship between the position of the image and the pixel value corresponding to FIG. 9A, as in FIG. 10B.
  • FIG. 16C is a graph showing the relationship between the position of the image obtained by blurring FIG. 9B with a predetermined filter and the pixel value, as in FIG. 10C.
  • the dotted lines in FIGS. 16D and 16E are graphs showing the relationship between the position of the image obtained by subtracting the image of FIG. 9B from the image obtained by blurring the image of FIG. 9B) with a predetermined filter and the pixel values, and showing the artifact component of FIG. Yes.
  • FIG. 16D and 16E indicate the reference values of the artifact components added by the artifact correction execution unit 206.
  • a solid line in FIG. 16D indicates a pixel value obtained by applying a digital gain based on the correction amount to the pixel value indicated by the dotted line.
  • the digital gain in FIG. 16D is a gain having such a characteristic that the value increases as the distance from the high luminance region increases, and the luminance value to be added depends on the correction amount.
  • FIG. 16E shows a pixel value obtained by applying a digital gain based on the correction amount to the pixel value indicated by the dotted line, as in FIG. 16D.
  • 16E is a gain having such a characteristic that the value becomes higher as the distance from the high luminance region is closer, and the luminance value to be added corresponds to the correction amount. Note that the image with gain is clipped at the maximum pixel value in the high luminance region.
  • either of the solid lines in FIGS. 16D and 16E may be used. This selection is made to be selected by the user.
  • FIGS. 17A to 17D are diagrams illustrating an execution example of the artifact correction in the artifact correction execution unit 206 according to the second embodiment.
  • 17A is an image acquired by the image acquisition unit 101 corresponding to FIG. 9A
  • FIG. 17B is an artifact component detected by the artifact detection unit 205 corresponding to FIG. 16A.
  • FIG. 17C shows an artifact component to be added.
  • This artifact component is an image obtained by applying a digital gain based on the correction amount calculated by the correction amount calculation unit 203 to the reference value of the artifact component to be added, which is indicated by the solid line in FIG. 16D or FIG. 16E.
  • the artifact correction execution unit 206 first subtracts (removes) the artifact component shown in FIG. 17B from the original image shown in FIG. 17A. If the pixel value after subtraction is less than 0, the value is clipped to 0. Next, the artifact correction execution unit 206 adds the artifact component of FIG. 17C to the image after subtraction.
  • FIG. 17D shows an image of this processing result, and it can be seen that the artifact component is increased.
  • FIG. 18A is a gamma characteristic graph showing the relationship between the input pixel value and the output pixel value.
  • Reference numerals 1802 and 1803 have gamma characteristics that increase the output pixel value, compared to reference numeral 1801 when gradation conversion is not performed.
  • the artifact correction execution unit 206 controls the correction amount by selecting a gamma characteristic in which the pixel value increases as the correction amount increases and performs gradation conversion processing. To do.
  • reference numeral 1802 indicates an example of gamma characteristics when the correction amount is relatively small
  • reference numeral 1803 indicates an example of the gamma characteristic when the correction amount is relatively large
  • FIG. 18B is a graph showing the relationship between the position and the pixel value in a line passing through the center of the sun, which is the high luminance region in FIG. 9A.
  • Reference numeral 1804 denotes a curve of pixel values when correction is not performed.
  • Reference numeral 1805 indicates a curve of the pixel value when converted by the gamma characteristic 1802, and reference numeral 1806 indicates a curve of the pixel value when converted by the gamma characteristic 1803.
  • the lower the luminance of the image displayed on the image display device the larger the artifact component relating to the luminance and color derived from the high luminance region of the image can be corrected. .
  • FIG. 19 is a conceptual diagram showing a schematic configuration of the image processing apparatus according to the third embodiment.
  • the image acquisition unit 1901 acquires an image to be displayed.
  • the generation source of the acquired image is not particularly limited.
  • the first artifact correction unit 1902 is a process similar to the artifact correction process described in the first embodiment for the image acquired by the image acquisition unit 1901 based on the display luminance information acquired by the display luminance acquisition unit 1903 described later. Apply.
  • the display luminance acquisition unit 1903 acquires display luminance information used for artifact correction of the first artifact correction unit 1902.
  • the second artifact correction unit 1904 is an image acquired by the image acquisition unit 1901 or an image subjected to correction processing by the first artifact correction unit 1902 based on a correction amount adjusted by a user by a correction amount adjustment unit 1905 described later. Perform artifact correction for.
  • the correction amount adjustment unit 1905 has a user interface (UI) that allows the user to adjust the correction amount of the artifact, and determines the correction amount of the second artifact correction unit 1904.
  • the image display unit 1906 includes an image display device.
  • the image display unit 1905 is based on the image acquired by the image acquisition unit 1901, the image in which the artifact is automatically corrected based on the display luminance by the first artifact correction unit 1902, and the adjustment by the user in the second artifact correction unit 1904. Display images with corrected artifacts for comparison.
  • the image display unit 1906 may not display all of these images at the same time, but may display two of these images at the same time, or may display the images while switching them one by one.
  • the image selection unit 1907 includes a UI that allows the user to select an image using the image display of the image display unit 1906.
  • FIG. 20 is a UI (User Interface) for the user to adjust the correction amount for artifact correction, which is included in the correction amount adjustment unit 1905.
  • This UI has a toggle button for selecting an image as a reference for correction from an image acquired by the image acquisition unit 1901 and an image subjected to correction processing by the first artifact correction unit 1902. Is preferred.
  • the illustrated radio buttons “no correction” and “automatic correction” are examples of this alternative.
  • the image used as a reference for correction is not necessarily selected from these images, and either one of the reference images may be used.
  • this UI has a function of displaying an image corrected based on the correction amount adjusted by the user. The user determines the correction amount while confirming the correction result. In the figure, it is shown that the user designates the amount of correction with a slider bar.
  • FIG. 21 shows a UI for the user to select an image, which is included in the image selection unit 1907.
  • This UI is selected from the image acquired by the image acquisition unit 1901, the image corrected by the first artifact correction unit 1902, and the image corrected by the second artifact correction unit 1904 based on the adjustment instruction from the user. It has a toggle button that can be selected at one time.
  • the images to be selected need not necessarily be all of these images, and may be configured to display two of these images.
  • FIG. 22A and 22B show image display examples on the image display unit 1906.
  • FIG. FIG. 22A shows a method for displaying images to be compared side by side
  • FIG. 22B shows an example in which different images are displayed on the left and right of the divided areas.
  • the dividing boundary position can be moved to the left and right by using a mouse pointer as shown in the drawing, a keyboard not shown in the drawing, or the like.
  • the display position in FIG. 22A and the division direction in FIG. 22B are not limited to this.
  • the image to be displayed is based on the image acquired by the image acquisition unit 1901, the image subjected to the correction processing by the first artifact correction unit 1902, and the correction amount adjusted by the user by the second artifact correction unit 1904. You may display the corrected image simultaneously.
  • the user can adjust the correction amount of the artifacts related to the luminance and color derived from the high luminance region of the image due to the difference in luminance of the display device.
  • the present invention supplies a program that realizes one or more functions of the above-described embodiments to a system or apparatus via a network or a storage medium, and one or more processors in a computer of the system or apparatus read and execute the program This process can be realized. It can also be realized by a circuit (for example, ASIC) that realizes one or more functions.
  • a circuit for example, ASIC

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Image Processing (AREA)
  • Transforming Electric Information Into Light Information (AREA)
  • Control Of Indicators Other Than Cathode Ray Tubes (AREA)
  • Facsimile Image Signal Circuits (AREA)

Abstract

本発明は、表示装置の輝度を加味して、表示対象の高輝度領域に由来する輝度や色に関する画像のアーティファクトに係る補正を行う。このため、表示装置が表示可能な輝度範囲に対応する情報を取得する取得部と、取得した情報が示す最大輝度に基づき、表示対象の画像データのアーティファクトを補正するための補正量を導出する導出部と、導出した補正量に基づき前記画像データを補正し、表示用画像データを生成する補正部とを有する。

Description

画像処理装置およびその制御方法及びプログラム
 本発明は、画像処理装置およびその制御方法及びプログラムに関するものである。
 デジタルカメラなどの撮像装置において、異なる露出条件で撮像された複数枚の画像の合成、或いは、撮像可能な輝度範囲(ダイナミックレンジ)を拡大した撮像素子などを用いて、被写体の輝度範囲がこれまでよりも広い画像を得る、ハイダイナミックレンジ(HDR)撮影の技術がある。撮像装置のダイナミックレンジの拡大に伴い、自動車のヘッドライトや太陽、または、金属のような高光沢物体への光の映り込みなど、高輝度な被写体を撮影対象に含めることで、写真や映像の表現の幅を広げることが可能になる。
 一方で、太陽などの高輝度被写体を撮影した場合や、強い光がレンズに当たっている場合に、高輝度被写体に由来して輝度や色に関するアーティファクトが発生することがある。例えば、組み合わせレンズ同士、レンズと撮像素子、レンズと鏡筒、撮像素子と撮像素子のカバーガラス間の多重反射や対物レンズの回折などに起因して、撮影画像が高輝度被写体の色に色付いたり、明るくなったりする「フレア」と呼ばれる現象がある。また、レンズ内面、特に凹面で強い光が再反射すると、光源などの強い光の像が画角中心を基準に点対称の位置に、比較的はっきりとした像として現れる「ゴースト」と呼ばれる現象がある。また、絞りの形状に起因して、太陽などの高輝度被写体から放射状に伸びる光の筋が現れる「光芒」と呼ばれる現象もある。本明細書では、これらの高輝度被写体に由来した「フレア」、「ゴースト」、「光芒」など、実物に対する輝度や色の違いを総称して「アーティファクト」と呼ぶが、現象を詳細に区別する場合は、「フレア」、「ゴースト」、「光芒」と明記することとする。
 また、カメラだけでなく、高輝度被写体を人間が観察する場合に、眼で発生するアーティファクトもある。例えば、まつ毛によって回折した光はカメラにおけるゴーストや光芒のように観察され、眼球内で散乱した光はカメラにおけるフレアのように観察される。これは実際のシーンを観察した場合だけでなく、ディスプレイ上の画像を観察する場合にも同様のことが言える。
特許第4746892号公報
 上述した通り、ディスプレイやプロジェクタなどの表示装置に表示された画像を観察する際に、その輝度によっては人間の眼でアーティファクトを生じる。そのため、高輝度被写体を撮影してフレアの発生した撮影画像を、高輝度の表示が可能なディスプレイに表示した場合、観察者はカメラで発生したアーティファクトと眼で発生したアーティファクトの両方同時に知覚することになり、違和感を生じる要因となる。しかしながら、表示装置の輝度に基づいて、画像のアーティファクトを補正する技術は開示されていない。
 特許文献1には、表示装置で発生するフレア補正回路に関する技術が開示されている。これは、プロジェクタなどの表示装置の投光レンズのMTF特性によってエッジ部にボケを生じる、ディスプレイでのフレアを課題としたエッジ強調技術である。エッジ部のボケにより、高輝度被写体の周囲が明るくなるため、要因が表示装置側にあるものの、観察者がフレアを知覚する点では類似した課題である。特に、周囲が明るい場合には人間の視覚感度が落ちてエッジ強調の効果が薄れるため、周囲の明るさに応じてフレア補正のゲインと帯域を自動調整する。特許文献1には、周囲の明るさに応じて表示装置のフレアを補正する技術が開示されているが、表示される画像そのものの輝度に基づいてフレアなどのアーティファクトを補正する技術の開示しているわけではない。
 本発明は上記の課題を鑑みてなされたものであり、表示装置の輝度に基づいて、表示対象の高輝度領域に由来する輝度や色に関する画像のアーティファクトを補正する技術を提供しようとするものである。
 この課題を解決するため、例えば本発明の画像処理装置は以下の構成を備える。すなわち、
 表示装置に表示する画像データを補正する画像処理装置であって、
 前記表示装置が表示可能な輝度範囲に対応する情報を取得する取得手段と、
 該取得手段で取得した情報が示す最大輝度に基づき、表示対象の画像データのアーティファクトを補正するための補正量を導出する導出手段と、
 導出した補正量に基づき前記画像データを補正し、表示用画像データを生成する補正手段とを有する。
 本発明によれば、表示装置の輝度を加味して、表示対象の高輝度領域に由来する輝度や色に関する画像のアーティファクトの補正を行うことが可能になる。この結果、高輝度表示可能な表示装置を観察した際のアーティファクトの違和感を抑制することも可能になる。
 本発明のその他の特徴及び利点は、添付図面を参照とした以下の説明により明らかになるであろう。なお、添付図面においては、同じ若しくは同様の構成には、同じ参照番号を付す。
 添付図面は明細書に含まれ、その一部を構成し、本発明の実施の形態を示し、その記述と共に本発明の原理を説明するために用いられる。
第1実施形態の画像処理装置の概略ブロック構成図。 第1実施形態におけるアーティファクト補正部の構成を示す図。 画像表示部における画素値と表示輝度との対応関係を示す図。 表示輝度取得部における解像度変換の例を示す図。 表示輝度取得部における解像度変換の例を示す図。 第1実施形態における画像処理装置の処理手順を示すフローチャート。 第1実施形態におけるアーティファクト補正部の処理手順を示すフローチャート。 実施形態の補正テーブルの内容を示す図。 実施形態の補正テーブルの内容を示す図。 第1実施形態のアーティファクト補正部が環境光取得部を具備する構成における、環境光強度に基づく補正量算出用のLUTの例を示す図。 第1実施形態のアーティファクト補正部が環境光取得部を具備する構成における、環境光強度に基づく補正量算出用のLUTの例を示す図。 第1実施形態のアーティファクト検出部の画像の高輝度領域の抽出処理を説明するための図。 第1実施形態のアーティファクト検出部の画像の高輝度領域の抽出処理を説明するための図。 第1実施形態のアーティファクト検出部でのアーティファクトを検出処理を説明するための図。 第1実施形態のアーティファクト検出部でのアーティファクトを検出処理を説明するための図。 第1実施形態のアーティファクト検出部でのアーティファクトを検出処理を説明するための図。 第1実施形態のアーティファクト検出部でのアーティファクトを検出処理を説明するための図。 第1実施形態における高輝度領域をぼかすためのフィルタを示す図。 第1実施形態のアーティファクト補正実行部においてアーティファクト補正の実行例を示す図。 第1実施形態のアーティファクト補正実行部においてアーティファクト補正の実行例を示す図。 第1実施形態のアーティファクト補正実行部においてアーティファクト補正の実行例を示す図。 第1実施形態のアーティファクト補正実行部で用いるフィルタの例を示す図。 第1実施形態のアーティファクト補正実行部で用いるフィルタの例を示す図。 第1実施形態のアーティファクト補正実行部での階調変換処理の補正方法を説明するための図。 第1実施形態のアーティファクト補正実行部での階調変換処理の補正方法を説明するための図。 第2実施形態における補正テーブルの内容を示す図。 第2実施形態における補正テーブルの内容を示す図。 第2実施形態におけるアーティファクトを検出方法、および、アーティファクトの付加方法を説明するための図。 第2実施形態におけるアーティファクトを検出方法、および、アーティファクトの付加方法を説明するための図。 第2実施形態におけるアーティファクトを検出方法、および、アーティファクトの付加方法を説明するための図。 第2実施形態におけるアーティファクトを検出方法、および、アーティファクトの付加方法を説明するための図。 第2実施形態におけるアーティファクトを検出方法、および、アーティファクトの付加方法を説明するための図。 第2実施形態のアーティファクト補正実行部におけるアーティファクト補正の実行例を示す図。 第2実施形態のアーティファクト補正実行部におけるアーティファクト補正の実行例を示す図。 第2実施形態のアーティファクト補正実行部におけるアーティファクト補正の実行例を示す図。 第2実施形態のアーティファクト補正実行部におけるアーティファクト補正の実行例を示す図。 第2実施形態のアーティファクト補正実行部における階調変換処理を行う場合の補正方法を説明するための図。 第2実施形態のアーティファクト補正実行部における階調変換処理を行う場合の補正方法を説明するための図。 第3実施形態における画像処理装置の概略構成図。 第3実施形態における補正量調整部における補正量に係るユーザインタフェースの例を示す図。 第3実施形態における画像選択のユーザインタフェースの例を示す図。 第3実施形態における画像表示部における画像を比較表示する例を示す図。 第3実施形態における画像表示部における画像を比較表示する例を示す図。
 以下図面に従って本発明に係る実施形態を詳細に説明する。なお、以下に示す実施形態は特許請求の範囲に関る本発明を限定するものではなく、また、本実施の形態で説明されている特徴の組み合わせの全てが本発明の解決手段に必須のものとは限らない。
 [第1実施形態]
 本実施形態では、画像の高輝度領域に由来し、輝度や色のバイアス成分として発生する、フレアなどのアーティファクトを補正する装置および方法について説明する。特に、表示装置で表示される輝度が高いほど、補正量を大きくすることで、画像観察時にアーティファクト起因の違和感を低減させることを可能にする。
 ●画像処理装置の構成
 図1は、本実施形態における画像処理装置の概略構成を示す概念図である。本装置は、図示の如く、画像取得部101、アーティファクト補正部102、画像表示部103、及び、表示輝度取得部104を有する。
 画像取得部101は、パーソナルコンピュータ(PC)等の情報処理装置における画像編集アプリケーションや画像表示アプリケーションであり、表示対象の画像を取得する機能を有すれば、その種類は問わない。表示対象の画像の発生源の代表的なものとしては、デジタルカメラ等の撮像装置が挙げられる。アーティファクト補正部102は、後述する表示輝度取得部104で取得された表示輝度情報に基づいて補正量を導出し、導出した補正量に基づき、画像取得部101で取得した画像に対してアーティファクト補正処理を施し、表示用画像データを生成する。表示輝度取得部104は、アーティファクト補正部102のアーティファクト補正に用いる表示輝度情報を取得する。画像表示部103は、ディスプレイやプロジェクタなどの画像表示装置を備え、アーティファクト補正部102によるアーティファクト補正が施された表示用画像データを受信し、表示する。
 ここで、表示輝度情報とは、例えば画像表示部103の画像表示装置で出力可能な最大輝度である。または、表示輝度情報とは、画像表示部103の画像表示装置で出力可能な最大輝度と、画像取得部101で取得した画像の最大画素値とから決定する、表示対象画像に対応する最大表示輝度である。この算出には、図3のグラフに示すような画素値と表示輝度との対応関係を示すテーブルもしくは変換式を利用する。この対応関係は画像表示部103の画像表示装置のメモリに格納されているものとする。なお、画素値と実際の表示輝度値との対応関係は、表示装置に依存するので、予め表示装置の機種名と表記輝度値との対応関係を有するデータベースを用意しておき、実際に利用する表示装置を指定した際にそのテーブルを参照して取得するようにしても構わない。従って、厳密な最大輝度ではなく、最大輝度よりわずか程度に低い輝度を用いてもよい。つまり、画像表示装置で出力可能な輝度範囲のうち高輝度に分類でき最大輝度に近い輝度を示す輝度情報を取得できればよく、この最大輝度に近い輝度を含む範囲を取得してもよい。以降、最大輝度にはこの出力輝度情報が含まれるものとする。
 ここで、画像上で輝度の高い画素値を示す画素の空間周波数特性が高周波に分布している場合では、画像観察者はアーティファクトを感じにくい。そこで、画像取得部101で取得した画像の最大画素値を単純に採用するのではなく、画像取得部101の画像の低周波成分の最大画素値を用いることが好ましい。つまり、画像表示部103の画像表示装置で出力可能な最大輝度と、画像取得部101で取得した画像の低周波成分の最大画素値とから決定する、表示対象画像に対応する最大表示輝度を表示輝度情報とする。そのため、図示しないが、表示輝度取得部104は画像取得部101で取得した画像を低周波画像に変換する変換部を具備することが望ましい。この変換部は、フィルタ処理でも構わないし、解像度変換でも構わない。そして、表示輝度取得部104は、低周波成分の最大画素値(最大輝度値)を求める。
 図4A,4Bを参照して、表示輝度取得部104における変換部の解像度変換を説明する。図4Aは、画像取得部101で取得した画像の一部を示しており、各画素の値は画素値を示している。この画素値は、RGB画像からYuv画像に変換した画像のYの値など、画像の明るさに対して相関の高い値が用いられる。図4Bは、図4Aに対して、公知の解像度変換方法であるバイキュービック法を用いて解像度変換処理が施された画像の画素値を示している。尚、解像度変換の方法はこれに限定されず、バイリニア法、Lanczos法、平均画素法など公知の手法を用いることが出来る。画像取得部101で取得した画像から表示輝度情報を求める場合は図4Aの太枠の画素、画像取得部101で取得した画像の低周波成分から表示輝度情報を求める場合は図4Bの太枠の画素からそれぞれ画素値を取得する。これらの画素値と、図3に示す対応関係とから表示輝度情報を求める。さらに、付帯情報として表示輝度を有する画像フォーマットが用いられる場合には、画像取得部101から取得した表示輝度を表示輝度情報として利用することが出来る。尚、表示輝度情報は必ずしも輝度に限定されるものではなく、明るさに関する情報であれば、CIE明度などの異なる情報でも構わない。
 図2は、実施形態におけるアーティファクト補正部102のブロック構成図である。補正有無判定部201は、表示輝度取得部104で取得した表示輝度情報に基づいて、アーティファクト補正を行うか否かを判定する。具体的には、補正有無判定部201は、表示輝度情報が示す輝度値と予め設定された閾値とを比較し、その輝度値が閾値以上である場合には補正を行うと判定し、閾値未満の場合には補正無しと判定する。なお、この閾値は、操作部を介してユーザが設定変更できるものとし、変更指示が無い限り、保持する容易にするために不揮発性メモリに記憶することが望ましい。
 さて、補正有無判定部201にて補正を行わないと判定された場合には、以降の処理ブロックで何も処理を行わずに、画像取得部101で取得した画像データを画像表示部103に出力し、表示させる。一方、補正有無判定部201にて補正を行うと判定された場合、その判定結果を受けて補正量算出部203は、アーティファクトを補正する際の補正量を算出する。補正量の算出方法は後述するが、表示輝度取得部104で取得した表示輝度情報に基づいて、補正テーブル202を参照して補正量を求める。補正量算出部203の補正量算出では、表示輝度情報だけでなはなく、環境光取得部204で取得した環境光強度の情報を更に用いて補正量を算出することも可能である。この環境光強度は、ディスプレイなどの表示装置に搭載されている照度センサで取得しても良いし、表示装置周辺を別の照度計で計測した値でも良い。あるいは、ユーザが不図示の操作部を介してその値を設定しても良い。
 アーティファクト検出部205は、補正有無判定部201にて補正すると判定された場合、画像取得部101で取得した画像のアーティファクトを検出する(詳細後述)。アーティファクト補正実行部206は、補正量算出部203で算出した補正量と、アーティファクト検出部205で検出したアーティファクト検出結果に基づき、アーティファクト補正を実行する。尚、アーティファクト補正実行部206の補正処理の内容次第ではあるが、アーティファクト検出部205は必ずしも必須の構成ではない。
 ●画像処理フロー
 図5は、本実施形態における画像処理装置における全体の処理の流れを示すフローチャートを示している。まず、画像取得部101が、画像表示部103の画像表示装置の表示対象とする画像を取得する(S501)。次に、表示輝度取得部104が、画像表示部103の画像表示装置で表示する際の表示輝度情報を取得する(S502)。最後に、アーティファクト補正部102が、S502で取得した表示輝度情報に基づき、S501で取得した画像に対して、その画像の高輝度領域に由来する輝度や色に関するアーティファクトを補正する。
 次に、図5のS503の処理の詳細を、図6のフローチャートに従って説明する。同図は、アーティファクト補正部102の流れを示すフローチャートでもある。
 まず、アーティファクト補正部102は、補正有無判定部201に、表示輝度取得部104が取得した表示輝度情報の値と予め設定した閾値とを比較させる(S601)。アーティファクト補正部102は、表示輝度情報の値がこの閾値以上であると判定した場合、処理をS602に進める。また、アーティファクト補正部102は、表示輝度情報の値が閾値未満であると判定した場合、アーティファクト補正を行わないと決定し、本処理を終える。次に、アーティファクト補正部102が、環境光取得部204に対し、画像表示装置あるいはその周辺の照度などの環境光強度を取得させる(S602)。上述した通り、環境光強度の取得は必ずしも用いなくても良い。環境光取得部204が無い構成では、このS602の処理も行わない。次に、アーティファクト補正部102は、補正量算出部203を制御し、表示輝度取得部104で取得した表示輝度情報の値に基づき、補正テーブル202を参照したアーティファクト補正処理における補正量を決定させる(S603)。
 次に、アーティファクト補正部102は、アーティファクト検出部205を制御し、画像取得部101で取得した画像のアーティファクトを検出させる(S604)。そして、最後に、アーティファクト補正部102は、アーティファクト補正実行部206を制御し、S603で決定した補正量と、S604で検出したアーティファクトに基づき、画像取得部101で取得した画像に対してアーティファクト補正を実行させる(S605)。上述した通り、アーティファクト補正処理の内容によっては、アーティファクトの検出は必ずしも必要でなく、アーティファクト検出部205が無い構成では、S605にて、アーティファクト補正実行部206はS603で算出した補正量のみからアーティファクト補正を実行することになる。
 ●アーティファクト補正量算出
 図7Aは補正テーブル202の内容を示すグラフ、図7Bはルックアップテーブル(LUT)の具体例を示している。図7Aのグラフは、表示輝度取得部104が取得する表示輝度と補正量との関係を示している。表示輝度情報の値が高いほど補正量が大きくなっていることがわかる。また、図7Bは、図7Aに示す関係の表示輝度値と補正量との具体的なLUTである。補正テーブル202は、図7Bに示すようなLUTの形式のデータを保持している。表示輝度取得部104が取得した表示輝度が、LUTに記載されている2つの表示輝度値の間の値の場合、取得した輝度値との差が小さい方のLUT内の表示輝度の補正量を用いるものとして決定する。なお、線形補間など公知の補間技術で補間して補正量を求めても構わない。LUTに記述された表示輝度を超える場合は、線形外挿などの公知の補外技術で補外して補正量を求めても良い。さらに、図7Bの例では、表示輝度が10000nitsの場合を補正量100%としているが、これに限定されるものではなく、例えば1000nitsの場合を補正量100%としても良い。尚、図7BのようにLUTの形式以外にも、表示輝度と補正量の関係を「関数」で保持しても良い。
 図8A,8Bは、アーティファクト補正部102が環境光取得部204を具備する構成にて、環境光強度に基づいて補正量を求める場合の補正LUTの例を示している。補正量算出部203は、表示輝度取得部104で取得した表示輝度と環境光取得部204で取得した環境光強度とに基づいて補正量を算出する。
 画像観察時に周囲が暗い環境では、人間の視覚特性から特に暗部領域で明るさの微小な差を認識しやすい。つまり、フレアなどのアーティファクトが人間の目に付きやすい暗い環境であるほど、言い換えれば、環境光強度の値が小さいほど補正量を大きくする。図8Aに、環境光強度の値が小さいほど補正量を大きくする補正LUTの例を示す。
 一方、画像観察時に周囲が明るい環境では、人間の視覚特性から明るさの微小な差を認識しにくい。同じ画像を複数の環境で観察することを想定し、異なる環境間で見た目の印象をより近付けるためには、明るい環境であるほど、言い換えれば、環境光強度の値が大きいほど補正量を大きくする。図8Bに、環境光強度の値が大木ほど補正量を大きくする補正LUTの例を示す。
 ●アーティファクト補正処理
 図9A,9Bを参照して、アーティファクト検出部205でアーティファクトを検出するために、画像の高輝度領域を抽出する方法を説明する。図9Aは、画像取得部101が取得した画像の例を示している。図9Bは、図9Aの画像に対して、予め設定された所定の閾値に基づく2値化処理を行って得た2値画像を示している。この2値画像における白の領域が高輝度領域を示し、黒い領域が非高輝度領域を示している。ここで2値画像の非高輝度領域の画素値はゼロと見なす。また、2値画像の高輝度領域は、その領域の現実の画像の平均輝度値とする。この2値画像は、補正有無判定部201の判定結果を表している。
 尚、画像上で高い画素値を示す画素の空間周波数特性が高周波に分布している場合、撮影時にフレアなどのアーティファクトの発生する度合いが小さいため、所定の周波数より低い成分をアーティファクトの発生源の候補として抽出することが好ましい。低周波成分を抽出する方法は、図4A,図4Bを用いて説明した解像度変換と同様の方法や、フィルタ処理を用いることが出来る。アーティファクト検出部205は、図9Bの白で示された領域に対応する、図9Aに示す実際の画像から、R、G、Bのそれぞれの平均値を算出し、そのRGBの各平均値をYuv表色系のY、u、vに変換する。また、領域の重心座標を取得する。つまり、輝度などの明るさに関する情報、色味に関する情報、画像上の位置に関する情報を取得する。高輝度領域は複数抽出しても構わないが、上限数を予め設定しておき、平均画素値の大きさと面積とから決定することが好ましい。
 図10A乃至10Dを参照して、アーティファクト検出部205によるアーティファクト検出法を説明する。図10Aは、図9Aの画像から検出されたアーティファクト成分画像である。このアーティファクト成分画像における色が明るいほどアーティファクトが大きいことを意味している。つまり、高輝度領域からその側に向かうにしたがって輝度値が低下していく特性を持つ。
 図10Aに示すようなアーティファクト成分画像を検出する方法を、図10B,10C,10Dを用いて説明する。図10Bは、図9Bの2値画像(高輝度領域が実際の輝度平均値、非高輝度領域がゼロの2値画像)に、図10Aに示す破線ラインで横切った画素分布を示している。水平軸が、そのライン上の位置を示し、垂直方向が輝度値である。図10Cは、図9Bを所定のフィルタでぼかした画像の位置と画素値の関係を示すグラフであり、図10Aの点線で示されたライン上の画素値を示している。尚、高輝度領域を抽出した画像をぼかすためのフィルタは、図11に示すようなガウシアンフィルタを用いることができるが、ぼかすフィルタであればメディアフィルタなど別のフィルタを用いても良い。図11には、5×5サイズのフィルタの例を示したが、フィルタサイズや係数はこの例の限りではない。アーティファクト検出部205は複数のフィルタを格納しておき、画像によって適切なサイズのフィルタを適用する。図10Dは、所定のフィルタでぼかした画像から、図9Bの画像を減算した画像の位置と画素値の関係を示すグラフであり、図10Aの点線で示されたライン上の画素値を示している。すなわち、図10Aの画素値プロファイルが、同図に示すアーティファクト成分の点線におけるプロファイルに対応している。尚、図9Bを所定のフィルタでぼかした画像から、同図の画像を減算した際に、画素値が0より小さくなる場合は、値を0にクリッピングする。
 次にアーティファクト補正実行部206によるアーティファクト補正の例を図12A乃至12Cを参照して説明する。図12Aは図9Aに対応する画像取得部101で取得した画像である。図12Bは、アーティファクト検出部205が生成(検出)した図10Bのアーティファクト成分を示す画像に、補正量算出部203で算出した補正量を適用した補正後アーティファクト成分画像である。
 例えば、画像表示部103の表示装置の最大輝度が500nitsであった場合、図7Bの補正テーブルから補正量αは14.6%と決定される。図10Aのアーティファクト成分を示す画像Aとしたとき、補正後アーティファクト成分画像Acは次式で得るものとした。
Ac=(1-α)×A
 図12Cは、アーティファクト補正処理として、図12Aの画像から、図12Bの補正後アーティファクト成分画像を減算した結果の画像である。ここでも、減算処理の際に、画素値が0より小さくなる場合は、値を0にクリッピングする。図12B示すように、入力画像の高輝度成分の位置や色に基づいて、画像上の位置によって異なる量の補正が施される。
 ここで、図12Aの画像の1画素はRGB成分を有し、図12Bの補正後アーティファクト成分画像の1画素は1つの輝度成分のみ有する。よって、アーティファクト補正実行部は、図12Aの画像を一旦Yuv色空間に変換し、その輝度Y成分から、図12Bの輝度成分を減算して、補正後輝度値Y’を求める。そして、アーティファクト補正実行部は、Y’,u,vからRGB色空間の画像に再変換し、画像表示部103に出力する。なお、画像表示部103は、Yuv形式の画像を表示可能な場合には、最後の再変換は不要である。
 なお、上記では、図10Aのアーティファクト成分に対して、補正量算出部203で算出した補正量に基づいたデジタルゲインを施す例であったが、アーティファクト検出部205における高輝度領域のぼかし処理において、サイズや係数の異なる複数のフィルタを用いてアーティファクト成分の画像を複数生成しておき、補正量算出部203で算出した補正量に基づいて選択することによっても補正量を制御することができる。
 尚、アーティファクト検出部205で抽出した高輝度領域の位置、平均画素値のみをアーティファクト補正実行部206に送り、アーティファクトの補正実行部でアーティファクト成分を生成して、補正処理を行っても良い。
 次に、上述した補正処理とは異なるアーティファクト補正の方法として、ラプラシアンフィルタによる補正処理を説明する。図13A,13Bに、強度の異なるラプラシアンフィルタを示す。図13Aは相対的に強度の弱いフィルタ、図13Bは相対的に強度の強いフィルタの例を示している。図中には2つのフィルタのみを例として示したが、補正量算出部203で算出される補正量をカバーするように、さらに多くのフィルタをアーティファクト補正実行部206に格納しておくことが好ましい。アーティファクト補正実行部206は、補正量算出部203で算出した補正量に基づいて、補正量が大きいほど強度の強いフィルタを用いたフィルタ処理を行うことで、補正量を制御する。
 さらに、上述した2つの方法とは異なるアーティファクト補正の方法として、階調変換による補正処理を説明する。図14Aは入力画素値に対する出力画素値の関係を示すガンマ特性のグラフである。図示の参照符号1401は、入力画素値=出力画素値となる無変換を示し、参照符号1402、1403は、特に暗部(低画素値)の領域で出力の画素値が小さくなるようなガンマ特性を示している。図中には2つの特性のみを例として示したが、補正量算出部203で算出される補正量をカバーするように、さらに多くのガンマ特性を、アーティファクト補正実行部206に格納しておくことが好ましい。ただし、各ガンマ特性は、入力画素値を水平軸、出力画素値を垂直軸とする座標空間において、入力値=出力値となる境界の下側の領域を通る変換特性を有するものである。
 アーティファクト補正実行部206は、補正量算出部203で算出した補正量に基づいて、補正量が大きいほど画素値が小さくなるガンマ特性を選択して階調変換処理を行うことで、補正量を制御する。すなわち、ガンマ特性1402は相対的に補正量が小さい場合、ガンマ特性1403は相対的に補正量が大きい場合のガンマ特性の例を示している。図14Bは、図9Aの高輝度領域である太陽の中心を通るラインにおける位置と画素値の関係を示したグラフである。参照符号1404は補正を行わない場合の画素値である。参照符号1405は、ガンマ特性1402のガンマ特性で変換した場合の画素値、参照符号1406はガンマ特性1403のガンマ特性で変換した場合の画素値を示している。補正量算出部203で算出された補正量が大きい場合のガンマ特性1403を適用した画素値カーブ1406の方が、画素値カーブ1405と比べてより多く補正されていることがわかる。
 尚、上述した補正処理は、RGB値に対して施しても良いし、変換後のYuvに対して施しても良い。
 以上説明した通り、本実施形態により、画像表示装置に表示される画像の輝度が高いほど、画像の高輝度領域に由来する輝度や色に関するアーティファクト成分が小さくなるように補正することができる。これにより、高輝度表示可能な表示装置を観察した際のアーティファクトに由来する違和感を抑制することが可能になる。
 [第2実施形態]
 上記の第1実施形態では、表示装置に表示される画像の輝度が高いほど、フレアなどのアーティファクトを補正する画像処理装置および方法について説明を行った。本第2実施形態では、比較的輝度の低い画像表示装置に画像を表示する際に、明るさや眩しさを表現するために、あえてフレアなどのアーティファクトを付加する方法を説明する。画像処理装置の基本的な構成や、画像処理フローは第1実施形態と同様のため、本実施形態では差分のみを説明する。
 ●アーティファクト補正量算出
 図15Aは補正テーブル202が示す補正曲線、図15Bは具体的なルックアップテーブル(LUT)である。図15Aのグラフは、表示輝度取得部104で取得する表示輝度と補正量との関係を示している。表示輝度情報の値が低いほど補正量が大きくなっていることがわかる。また、図15Bは、図15Aに示す関係を記したLUTである。補正テーブル202は、図15Bに示すようなLUTの形式で格納されている。表示輝度取得部104で取得した表示輝度が、LUTに記載されている2つ表示輝度の間の値の場合は、最も近い表示輝度に対応する補正量を参照する。または、線形補間など公知の補間技術で補間して補正量を求めても良い。尚、図15BのようにLUTの形式以外にも、表示輝度と補正量の関係を関数で保持しても良い。
 さらに、第1実施形態と同様に、環境光取得部204で取得した環境光強度に基づいて補正を行っても良く、補正テーブル202は複数の環境光強度に対してそれぞれLUTを保持して置くことが好ましい。
 ●アーティファクト補正処理
 第2実施形態における、アーティファクト検出部205でアーティファクトを検出する方法、および、アーティファクト補正実行部206を付加する方法を図16A-16Eを参照して説明する。
 図16Aは、図10A同様、図9Aの画像から検出されたアーティファクト成分である。図16Bは図10B同様、図9Aに対応した画像の位置と画素値の関係を示すグラフである。図16Cは図10C同様、図9Bを所定のフィルタでぼかした画像の位置と画素値の関係を示すグラフである。図16D及び図16Eの点線は、図9B)を所定のフィルタでぼかした画像から図9Bの画像を減算した画像の位置と画素値の関係を示すグラフであり、図9Aのアーティファクト成分を示している。図16D,及び、16Eの実線は、アーティファクト補正実行部206で付加するアーティファクト成分の基準値を示している。図16Dの実線は、点線で示される画素値に対して、補正量に基づくデジタルゲインをかけた画素値を示している。図16Dにおけるデジタルゲインは、高輝度領域からの距離が遠いほど値が高くなるような特性のゲインであり、付加する輝度値は補正量に従うものである。図16Eは図16D同様、点線で示される画素値に対して補正量に基づくデジタルゲインをかけた画素値を示している。図16Eにおけるデジタルゲインは、高輝度領域からの距離が近いほど値が高くなるような特性のゲインであり、付加する輝度値は補正量に応じたものである。尚、ゲインをかけた画像は、高輝度領域の画素値の最大値でクリッピングする。アーティファクト補正実行部206における補正実行において、図16D、図16Eの実線のどちらを用いても良い。なお、この選択は、ユーザにより選択させてるものとする。
 図17A-17Dは、第2の実施形態におけるアーティファクト補正実行部206においてアーティファクト補正の実行例を示す図である。図17Aは図9Aに対応する画像取得部101で取得した画像であり、図17Bは図16Aに対応するアーティファクト検出部205で検出されたアーティファクト成分である。図17Cは、付加するアーティファクト成分である。このアーティファクト成分は、図16Dまたは図16Eの実線で示される、付加するアーティファクト成分の基準値に対して、補正量算出部203で算出した補正量に基づいてデジタルゲインをかけた画像である。本第2の実施形態における補正処理では、アーティファクト補正実行部206は、まず図17Aに示す元画像から図17Bに示すアーティファクト成分を減算(除去)する。減算後の画素値が0より小さくなる場合は、値を0にクリッピングする。次に、アーティファクト補正実行部206は、減算後の画像に対して、図17Cのアーティファクト成分を付加する。図17Dはこの処理結果の画像を示しており、アーティファクト成分が増えていることがわかる。
 さらに、別のアーティファクト補正の方法として、階調変換による補正処理を説明する。図18Aは入力画素値に対する出力画素値の関係を示すガンマ特性のグラフである。階調変換を行わない場合の参照符号1801に対し、参照符号1802、1803は、出力の画素値が大きくなるようなガンマ特性になっている。アーティファクト補正実行部206では、補正量算出部203で算出した補正量に基づいて、補正量が大きいほど画素値が大きくなるガンマ特性を選択して階調変換処理を行うことで、補正量を制御する。すなわち、参照符号1802は相対的に補正量が小さい場合、参照符号1803は相対的に補正量が大きい場合のガンマ特性の例を示している。図18Bは、図9Aの高輝度領域である太陽の中心を通るラインにおける位置と画素値の関係を示したグラフである。参照符号1804は補正を行わない場合の画素値のカーブである。参照符号1805はガンマ特性1802で変換した場合の画素値のカーブ、参照符号1806はガンマ特性1803で変換した場合の画素値のカーブを示している。補正量算出部203で算出された補正量が大きい場合のガンマ特性1803を適用したカーブ1806の方が、カーブ1805と比べてより多く補正されていることがわかる。なお、選択肢を多くするため、より多くのガンマ特性を用意しても良い。この場合、各ガンマ特性は、入力画素値を水平軸、出力画素値を垂直軸とする座標空間において、入力値=出力値となる境界の上側の領域を通る変換特性を有するものである。
 以上説明した通り、本第2実施形態により、画像表示装置に表示される画像の輝度が低いほど、画像の高輝度領域に由来する輝度や色に関するアーティファクト成分が大きくなるように補正することができる。これにより、表示輝度の低い表示装置を観察した際に、実シーンを観察したような明るさや眩しさを表現することが可能になる。
 [第3実施形態]
 第1実施形態、第2実施形態では、画像表示装置に表示される画像の輝度に基づいて、画像の高輝度領域に由来する輝度や色に関するアーティファクトを補正する画像処理装置および方法について説明を行った。本実施形態では、ユーザによって補正量を調整する方法、および、ユーザが画像を選択する方法について説明する。
 図19は、本第3実施形態における画像処理装置の概略構成を示す概念図である。画像取得部1901は、表示対象の画像を取得する。取得される画像の発生源は特に問わない。第1アーティファクト補正部1902は、後述する表示輝度取得部1903で取得した表示輝度情報に基づいて、画像取得部1901で取得した画像に対して第1実施形態で説明したアーティファクト補正処理と同様の処理を施す。表示輝度取得部1903は、第1アーティファクト補正部1902のアーティファクト補正に用いる表示輝度情報を取得する。第2アーティファクト補正部1904は、後述する補正量調整部1905でユーザによって調整された補正量に基づいて、画像取得部1901で取得した画像もしくは第1アーティファクト補正部1902で補正処理が施された画像に対してアーティファクト補正を行う。補正量調整部1905は、ユーザがアーティファクトの補正量を調整できるユーザインタフェース(UI)を有し、第2アーティファクト補正部1904の補正量を決定する。画像表示部1906は画像表示装置を具備する。そして、画像表示部1905は、画像取得部1901で取得した画像、第1アーティファクト補正部1902で表示輝度に基づいてアーティファクトが自動補正された画像、第2アーティファクト補正部1904でユーザによる調整に基づいてアーティファクトが補正された画像を比較可能に表示する。画像表示部1906はこれらの画像を全て同時に表示しなくても、これらの画像のうち2つを同時に表示しても良いし、画像を1枚ずつ切り替えながら表示しても良い。画像選択部1907は、画像表示部1906の画像表示を利用してユーザが画像を選択するUIを具備する。
 図20は、補正量調整部1905が具備する、アーティファクト補正の補正量をユーザが調整するためのUI(User Interface)である。このUIは、補正の基準とする画像を画像取得部1901で取得した画像と第1アーティファクト補正部1902で補正処理が施された画像とから選択するための二者択一のトグルボタンを有することが好ましい。図示のラジオボタン「補正無し」「自動補正」は、この二者択一の例である。補正の基準とする画像は、必ずしもこれらの画像から選択しなくても、基準画像はどちらか一方でも構わない。さらに、このUIはユーザが調整した補正量に基づいて補正した画像を表示する機能を有する。ユーザはこの補正結果を確認しながら補正量を決定する。図示では、スライダバーで補正量の強弱をユーザが指定することを示している。
 図21は、画像選択部1907が具備する、ユーザが画像を選択するためのUIである。このUIは、画像取得部1901で取得した画像、第1アーティファクト補正部1902で補正処理が施された画像、ユーザからの調整指示に基づく第2アーティファクト補正部1904で補正された画像の中から択一で選択できるトグルボタンを有する。選択の対象とする画像は、必ずしもこれら全ての画像で無くても良く、これらの画像のうち2つを表示する構成でも構わない。
 図22A,22Bは、画像表示部1906で画像の表示例を示している。図22Aは、比較対象の画像を並べて表示する方法を示し、図22Bは、分割された領域の左右で異なる画像を表示する例を示している。図22Bでは、図中に図示するようなマウスポインタや、図中に図示しないキーボード等で分割境界位置を左右に移動させられることが好ましい。図22Aの表示位置や、図22Bの分割方向はこれに限定されない。また、表示する画像は、画像取得部1901で取得した画像と、第1アーティファクト補正部1902で補正処理が施された画像と、第2アーティファクト補正部1904でユーザによって調整された補正量に基づいて補正された画像を同時に表示しても構わない。
 以上説明した通り、本第3の実施形態により、表示装置の輝度の違いによる画像の高輝度領域に由来する輝度や色に関するアーティファクトの補正量をユーザが調整することが可能になる。
 (その他の実施例)
 本発明は、上述の実施形態の1以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける1つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、1以上の機能を実現する回路(例えば、ASIC)によっても実現可能である。
 本発明は上記実施の形態に制限されるものではなく、本発明の精神及び範囲から離脱することなく、様々な変更及び変形が可能である。従って、本発明の範囲を公にするために、以下の請求項を添付する。
 本願は、2017年3月2日提出の日本国特許出願特願2017-039772を基礎として優先権を主張するものであり、その記載内容の全てを、ここに援用する。

Claims (20)

  1.  表示装置に表示する画像データを補正する画像処理装置であって、
     前記表示装置が表示可能な輝度範囲に対応する情報を取得する取得手段と、
     該取得手段で取得した情報が示す最大輝度に基づき、表示対象の画像データのアーティファクトを補正するための補正量を導出する導出手段と、
     導出した補正量に基づき前記画像データを補正し、表示用画像データを生成する補正手段と、
     を有すること特徴とする画像処理装置。
  2.  前記補正手段は、
       前記表示対象の画像データを、予め設定された輝度の閾値を用いて2値化し、高輝度領域と非高輝度領域とを区別する2値画像を生成する2値化手段と、
       前記高輝度領域における輝度平均値を算出する算出手段と、
       前記高輝度領域の画素が前記輝度平均値を有し、非高輝度領域の画素の輝度がゼロと見なした第1の画像を生成し、当該第1の画像に対して予め設定されたぼかしフィルタ処理を実行することで前記高輝度領域から外れるに従って輝度が低下していく第2の画像を生成し、前記第1の画像から前記第2の画像の輝度を減じることで第3の画像データを生成し、前記第3の画像を前記導出手段で導出した補正量に基づいて補正することで、アーティファクト成分に係る補正を行うための画像データを生成する生成手段とを含み、
     前記表示対象の画像データから、前記生成手段が生成した画像データを減じることで、前記表示用画像データを生成する
     ことを特徴とする請求項1に記載の画像処理装置。
  3.  前記補正手段は、
       前記表示対象の画像データを、予め設定された輝度の閾値を用いて2値化し、高輝度領域と非高輝度領域とを区別する2値画像を生成する2値化手段と、
       前記高輝度領域における輝度平均値を算出する算出手段と、
       前記高輝度領域の画素が前記輝度平均値を有し、非高輝度領域の画素の輝度がゼロと見なした第1の画像を生成し、当該第1の画像に対して互いに異なる特性を有するぼかしフィルタ処理を実行することで、前記高輝度領域から外れに従って輝度が低下していく複数の第2の画像を生成し、前記導出手段で導出した補正量に基づいて前記複数の第2の画像の1つを選択し、当該選択した第2の画像の輝度を前記第1の画像から減じることでアーティファクト成分に係る補正のための画像データを生成する生成手段とを含み、
     前記表示対象の画像データから、前記生成手段が生成した画像データを減じることで、前記表示用画像データを生成する
     ことを特徴とする請求項1に記載の画像処理装置。
  4.  前記補正手段は、
       予め設けられ、互いに異なるガンマ特性を有する複数の変換手段と、
       前記導出手段で導出した補正量に基づいて、前記複数の変換手段の1つを選択する選択手段とを含み、
     前記表示対象の画像データを、選択した変換手段を用いて変換して前記表示用画像データを生成する
     ことを特徴とする請求項1に記載の画像処理装置。
  5.  前記複数の変換手段は、入力画素値を、出力画素値を垂直軸とする座標空間において、入力画素値=出力画素値となる境界の下側を通る変換特性を有する
     ことを特徴とする請求項4に記載の画像処理装置。
  6.  前記複数の変換手段は、入力画素値を水平軸、出力画素値を垂直軸とする座標空間において、入力値=出力値となる境界の上側を通る変換特性を有する
     ことを特徴とする請求項4に記載の画像処理装置。
  7.  前記補正手段は、
       前記表示対象の画像データを、予め設定された輝度の閾値を用いて2値化し、高輝度領域と非高輝度領域とを区別する2値画像を生成する2値化手段と、
       前記高輝度領域における輝度平均値を算出する算出手段と、
       前記高輝度領域の画素が前記輝度平均値を有し、非高輝度領域の画素の輝度がゼロと見なした第1の画像を生成し、当該第1の画像に対して予め設定されたぼかしフィルタ処理を実行することで前記高輝度領域から外れるに従って輝度が低下していく第2の画像を生成し、前記第1の画像から前記第2の画像の輝度を減じることで第3の画像データを生成し、前記第3の画像を前記導出手段で導出した補正量に基づいて補正することで、アーティファクトを除去するための第4の画像データを生成する第1の生成手段と、
       前記第3の画像に対して、前記導出手段で導出した補正量に基づき、アーティファクト成分を表す補正のための画像データを第2の生成手段とを含み、
     前記表示対象の画像データから前記第4の画像データを減じて得た画像データに、前記第2の生成手段が生成した画像データを加えることで、前記表示用画像データを生成する
     ことを特徴とする請求項1に記載の画像処理装置。
  8.  前記第2の生成手段は、前記高輝度領域からの距離が遠いほど付加する輝度値が大きい画像データ、又は、前記高輝度領域からの距離が近いほど付加する輝度値が大きい画像データのいずれかを生成する
     ことを特徴とする請求項7に記載の画像処理装置。
  9.  更に、前記補正手段で得られた表示用画像データが示す画像、並びに、前記補正量をユーザの操作に応じて調整するユーザインターフェースを前記表示装置に表示する表示制御手段を有することを特徴とする請求項1乃至8のいずれか1項に記載の画像処理装置。
  10.  前記取得手段は、更に前記表示装置の周辺の環境光強度に関する情報を取得し、
     前記導出手段は、前記表示装置の最大輝度、及び、前記環境光強度に基づき前記補正量を導出する
     ことを特徴とする請求項1乃至9のいずれか1項に記載の画像処理装置。
  11.  表示装置に表示する画像データを補正する画像処理装置の制御方法であって、
     取得手段が、前記表示装置が表示可能な輝度範囲に対応する情報を取得する取得工程と、
     導出手段が、前記取得工程で取得した情報が示す最大輝度に基づき、表示対象の画像データのアーティファクトを補正するための補正量を導出する導出工程と、
     補正手段が、導出した補正量に基づき前記画像データを補正し、表示用画像データを生成する補正工程と、
     を有すること特徴とする画像処理装置の制御方法。
  12.  前記補正工程は、
       前記表示対象の画像データを、予め設定された輝度の閾値を用いて2値化し、高輝度領域と非高輝度領域とを区別する2値画像を生成する2値化工程と、
       前記高輝度領域における輝度平均値を算出する算出工程と、
       前記高輝度領域の画素が前記輝度平均値を有し、非高輝度領域の画素の輝度がゼロと見なした第1の画像を生成し、当該第1の画像に対して予め設定されたぼかしフィルタ処理を実行することで前記高輝度領域から外れるに従って輝度が低下していく第2の画像を生成し、前記第1の画像から前記第2の画像の輝度を減じることで第3の画像データを生成し、前記第3の画像を前記導出工程で導出した補正量に基づいて補正することで、アーティファクト成分に係る補正を行うための画像データを生成する生成工程とを含み、
     前記表示対象の画像データから、前記生成工程で生成した画像データを減じることで、前記表示用画像データを生成する
     ことを特徴とする請求項11に記載の画像処理装置の制御方法。
  13.  前記補正工程は、
       前記表示対象の画像データを、予め設定された輝度の閾値を用いて2値化し、高輝度領域と非高輝度領域とを区別する2値画像を生成する2値化工程と、
       前記高輝度領域における輝度平均値を算出する算出工程と、
       前記高輝度領域の画素が前記輝度平均値を有し、非高輝度領域の画素の輝度がゼロと見なした第1の画像を生成し、当該第1の画像に対して互いに異なる特性を有するぼかしフィルタ処理を実行することで、前記高輝度領域から外れに従って輝度が低下していく複数の第2の画像を生成し、前記導出手段で導出した補正量に基づいて前記複数の第2の画像の1つを選択し、当該選択した第2の画像の輝度を前記第1の画像から減じることでアーティファクト成分に係る補正のための画像データを生成する生成工程とを含み、
     前記表示対象の画像データから、前記生成工程で生成した画像データを減じることで、前記表示用画像データを生成する
     ことを特徴とする請求項11に記載の画像処理装置の制御方法。
  14.  前記補正工程は、
       予め設けられ、互いに異なるガンマ特性を用いる複数の変換工程と、
       前記導出工程で導出した補正量に基づいて、前記複数の変換工程の1つを選択する選択工程とを含み、
     前記表示対象の画像データを、選択した変換工程を用いて変換して前記表示用画像データを生成する
     ことを特徴とする請求項11に記載の画像処理装置の制御方法。
  15.  前記複数の変換工程は、入力画素値を、出力画素値を垂直軸とする座標空間において、入力画素値=出力画素値となる境界の下側を通る変換特性を有する
     ことを特徴とする請求項14に記載の画像処理装置の制御方法。
  16.  前記複数の変換工程は、入力画素値を水平軸、出力画素値を垂直軸とする座標空間において、入力値=出力値となる境界の上側を通る変換特性を有する
     ことを特徴とする請求項14に記載の画像処理装置の制御方法。
  17.  前記補正工程は、
       前記表示対象の画像データを、予め設定された輝度の閾値を用いて2値化し、高輝度領域と非高輝度領域とを区別する2値画像を生成する2値化工程と、
       前記高輝度領域における輝度平均値を算出する算出工程と、
       前記高輝度領域の画素が前記輝度平均値を有し、非高輝度領域の画素の輝度がゼロと見なした第1の画像を生成し、当該第1の画像に対して予め設定されたぼかしフィルタ処理を実行することで前記高輝度領域から外れるに従って輝度が低下していく第2の画像を生成し、前記第1の画像から前記第2の画像の輝度を減じることで第3の画像データを生成し、前記第3の画像を前記導出工程で導出した補正量に基づいて補正することで、アーティファクトを除去するための第4の画像データを生成する第1の生成工程と、
       前記第3の画像に対して、前記導出工程で導出した補正量に基づき、アーティファクト成分を表す補正のための画像データを第2の生成工程とを含み、
     前記表示対象の画像データから前記第4の画像データを減じて得た画像データに、前記第2の生成工程で生成した画像データを加えることで、前記表示用画像データを生成する
     ことを特徴とする請求項11に記載の画像処理装置の制御方法。
  18.  前記第2の生成工程は、前記高輝度領域からの距離が遠いほど付加する輝度値が大きい画像データ、又は、前記高輝度領域からの距離が近いほど付加する輝度値が大きい画像データのいずれかを生成する
     ことを特徴とする請求項17に記載の画像処理装置の制御方法。
  19.  更に、表示制御手段が、前記補正工程で得られた表示用画像データが示す画像、並びに、前記補正量をユーザの操作に応じて調整するユーザインターフェースを前記表示装置に表示する表示制御工程を有することを特徴とする請求項11乃至18のいずれか1項に記載の画像処理装置の制御方法。
  20.  コンピュータが読み込み実行することで、前記コンピュータを、請求項1乃至10のいずれか1項に記載の画像処理装置の各手段として機能させるためのプログラム。
PCT/JP2018/002127 2017-03-02 2018-01-24 画像処理装置およびその制御方法及びプログラム WO2018159162A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US16/548,039 US11328679B2 (en) 2017-03-02 2019-08-22 Image processing apparatus, control method thereof, and non-transitory computer-readable storage medium

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2017039772A JP2018148318A (ja) 2017-03-02 2017-03-02 画像処理装置およびその制御方法及びプログラム
JP2017-039772 2017-03-02

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US16/548,039 Continuation US11328679B2 (en) 2017-03-02 2019-08-22 Image processing apparatus, control method thereof, and non-transitory computer-readable storage medium

Publications (1)

Publication Number Publication Date
WO2018159162A1 true WO2018159162A1 (ja) 2018-09-07

Family

ID=63371100

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2018/002127 WO2018159162A1 (ja) 2017-03-02 2018-01-24 画像処理装置およびその制御方法及びプログラム

Country Status (3)

Country Link
US (1) US11328679B2 (ja)
JP (2) JP2018148318A (ja)
WO (1) WO2018159162A1 (ja)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102579457B1 (ko) * 2017-02-24 2023-09-14 삼성전자주식회사 이미지 보정 방법 및 장치
JP2018148318A (ja) * 2017-03-02 2018-09-20 キヤノン株式会社 画像処理装置およびその制御方法及びプログラム
WO2020069035A1 (en) * 2018-09-26 2020-04-02 Dolby Laboratories Licensing Corporation Projector light source dimming using metadata from future frames
WO2020203237A1 (ja) * 2019-03-29 2020-10-08 ソニー株式会社 画像処理装置、および画像処理方法、並びにプログラム
JP7484421B2 (ja) * 2020-05-26 2024-05-16 コニカミノルタ株式会社 色パラメーター生成装置、実行装置および色パラメーター生成プログラム
CN112381836B (zh) * 2020-11-12 2023-03-31 贝壳技术有限公司 图像处理方法和装置、计算机可读存储介质、电子设备
KR20220078191A (ko) * 2020-12-03 2022-06-10 삼성전자주식회사 영상 처리를 수행하는 전자 장치 및 그 동작 방법
US20240078946A1 (en) * 2022-09-02 2024-03-07 Apple Inc. Display Pipeline Compensation for a Proximity Sensor Behind Display Panel

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001203933A (ja) * 2000-01-19 2001-07-27 Hitachi Ltd 撮像装置
JP2002077591A (ja) * 2000-09-05 2002-03-15 Minolta Co Ltd 画像処理装置および撮像装置
JP2005295513A (ja) * 2004-03-05 2005-10-20 Matsushita Electric Ind Co Ltd 画像信号処理方法、画像信号処理装置および画像表示装置
JP2012085083A (ja) * 2010-10-12 2012-04-26 Nikon Systems Inc 画像処理装置、撮像装置および画像処理プログラム
JP2012134630A (ja) * 2010-12-20 2012-07-12 Nikon Corp 画像処理方法、画像処理プログラム、画像処理装置、及び撮像装置
WO2017022513A1 (ja) * 2015-07-31 2017-02-09 ソニー株式会社 映像信号処理装置および映像信号処理方法、ならびに表示装置

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4574057B2 (ja) * 2000-05-08 2010-11-04 キヤノン株式会社 表示装置
EP1624678B1 (en) * 2004-03-05 2010-05-12 Panasonic Corporation Image signal processing method, image signal processing apparatus, and image displaying apparatus
US8320641B2 (en) * 2004-10-28 2012-11-27 DigitalOptics Corporation Europe Limited Method and apparatus for red-eye detection using preview or other reference images
JP4746892B2 (ja) 2005-03-11 2011-08-10 Necディスプレイソリューションズ株式会社 画像表示装置のフレア補正回路、および画像表示装置のフレア補正方法
US9378685B2 (en) * 2009-03-13 2016-06-28 Dolby Laboratories Licensing Corporation Artifact mitigation method and apparatus for images generated using three dimensional color synthesis
JP6799385B2 (ja) * 2016-04-28 2020-12-16 キヤノン株式会社 撮像装置およびその制御方法
JP2018148318A (ja) 2017-03-02 2018-09-20 キヤノン株式会社 画像処理装置およびその制御方法及びプログラム

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001203933A (ja) * 2000-01-19 2001-07-27 Hitachi Ltd 撮像装置
JP2002077591A (ja) * 2000-09-05 2002-03-15 Minolta Co Ltd 画像処理装置および撮像装置
JP2005295513A (ja) * 2004-03-05 2005-10-20 Matsushita Electric Ind Co Ltd 画像信号処理方法、画像信号処理装置および画像表示装置
JP2012085083A (ja) * 2010-10-12 2012-04-26 Nikon Systems Inc 画像処理装置、撮像装置および画像処理プログラム
JP2012134630A (ja) * 2010-12-20 2012-07-12 Nikon Corp 画像処理方法、画像処理プログラム、画像処理装置、及び撮像装置
WO2017022513A1 (ja) * 2015-07-31 2017-02-09 ソニー株式会社 映像信号処理装置および映像信号処理方法、ならびに表示装置

Also Published As

Publication number Publication date
US11328679B2 (en) 2022-05-10
JP2022036179A (ja) 2022-03-04
JP7369175B2 (ja) 2023-10-25
US20190378468A1 (en) 2019-12-12
JP2018148318A (ja) 2018-09-20

Similar Documents

Publication Publication Date Title
JP7369175B2 (ja) 画像処理装置およびその制御方法及びプログラム
US9852499B2 (en) Automatic selection of optimum algorithms for high dynamic range image processing based on scene classification
JP5392560B2 (ja) 画像処理装置および画像処理方法
US9955131B2 (en) Projector and image display method
KR101629825B1 (ko) Hdr 기능을 이용한 차량용 디스플레이 장치 및 방법
JP5901667B2 (ja) 画像処理装置及び方法、画像処理プログラム、撮像装置
TWI536319B (zh) 去雜訊方法以及影像系統
JP2017138647A (ja) 画像処理装置、画像処理方法、映像撮影装置、映像記録再生装置、プログラム及び記録媒体
JP6611576B2 (ja) 画像処理装置および画像処理方法
JP2008072450A (ja) 画像処理装置及び画像処理方法
CN110782400B (zh) 一种自适应的光照均匀实现方法和装置
JP2019152910A (ja) 画像処理装置、画像処理方法及びプログラム
CN106575434B (zh) 图像处理装置、摄像装置以及图像处理方法
JP2012028937A (ja) 映像信号補正装置および映像信号補正プログラム
JP2019047336A5 (ja)
JP5365881B2 (ja) 画像処理装置、画像処理方法
KR20160001582A (ko) 화상 처리 장치 및 화상 처리 방법
WO2018167898A1 (ja) 映像表示装置
JP7134766B2 (ja) 画像処理装置、画像処理方法及びプログラム
JP2011182189A (ja) 画像処理装置および画像処理プログラム
JP2008252227A (ja) 画像処理装置、撮像装置、および画像処理プログラム
JPWO2017154046A1 (ja) 表示装置
JP2008197437A (ja) 画像表示装置
JP2016170637A (ja) 画像処理装置および画像処理方法
JP6270448B2 (ja) 画像処理装置、画像処理方法及びプログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 18761972

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 18761972

Country of ref document: EP

Kind code of ref document: A1