WO2015190184A1 - 画像処理システム及びコンピュータ読み取り可能な記録媒体 - Google Patents

画像処理システム及びコンピュータ読み取り可能な記録媒体 Download PDF

Info

Publication number
WO2015190184A1
WO2015190184A1 PCT/JP2015/062729 JP2015062729W WO2015190184A1 WO 2015190184 A1 WO2015190184 A1 WO 2015190184A1 JP 2015062729 W JP2015062729 W JP 2015062729W WO 2015190184 A1 WO2015190184 A1 WO 2015190184A1
Authority
WO
WIPO (PCT)
Prior art keywords
frame
haze
unit
value
density
Prior art date
Application number
PCT/JP2015/062729
Other languages
English (en)
French (fr)
Inventor
貴司 中前
正史 東
玲央 青木
Original Assignee
Eizo株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Eizo株式会社 filed Critical Eizo株式会社
Priority to EP15806110.1A priority Critical patent/EP3156970B1/en
Priority to JP2016527685A priority patent/JP6228671B2/ja
Priority to RU2017100023A priority patent/RU2648955C1/ru
Priority to AU2015272799A priority patent/AU2015272799B2/en
Priority to CN201580031509.5A priority patent/CN106462954B/zh
Publication of WO2015190184A1 publication Critical patent/WO2015190184A1/ja
Priority to US15/372,402 priority patent/US10096092B2/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/73—Deblurring; Sharpening
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/20—Image enhancement or restoration using local operators
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/77—Retouching; Inpainting; Scratch removal
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/136—Segmentation; Edge detection involving thresholding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/529—Depth or shape recovery from texture
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/40—Picture signal circuits
    • H04N1/407—Control or modification of tonal gradation or of extreme levels, e.g. background level
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20004—Adaptive image processing
    • G06T2207/20012—Locally adaptive
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20021—Dividing image into blocks, subimages or windows
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20172—Image enhancement details
    • G06T2207/20192—Edge enhancement; Edge preservation

Definitions

  • the present invention relates to an image processing system and a computer-readable recording medium.
  • this application is a continuation-in-part of international application PCT / JP2014 / 003131 (filing date: June 12, 2014), and international application PCT / JP2015 / 056086 (filing date: March 2, 2015). Part of the continuation application.
  • Patent Document 1 A technique for removing fog in an image based on an atmospheric model has been known (see, for example, Patent Document 1).
  • Patent Document 1 A technique for removing fog in an image based on an atmospheric model has been known (see, for example, Patent Document 1).
  • Patent Literature [Patent Literature]
  • Patent Document 1 JP 2012-168936 A
  • an image processing system may include a haze density estimation unit that derives an estimated value of the haze density of one of a plurality of frames included in the moving image.
  • the image processing system adjusts parameters used for the haze removal processing of the one frame based on the estimated value of the haze density of the one frame and the relationship between the one frame and the past frame of the one frame.
  • a parameter adjustment unit may be provided.
  • the image processing system may include a haze removal unit that performs a haze removal process on the one frame based on the parameter adjusted by the parameter adjustment unit.
  • the parameter adjustment unit sets the estimated value of the haze density of the one frame as the haze density target value of the one frame, and gradually approaches the haze density target value from the parameter adjusted in the past frame.
  • a parameter used for the haze removal processing of the one frame may be adjusted.
  • the image processing system may further include a scene change determination unit that determines whether the one frame is a scene-changed frame, and the scene change determination unit determines whether the one frame and the past frame are included. In the relationship, when it is determined that the one frame is a scene-changed frame, the parameter adjustment unit may increase the width that gradually approaches the haze density target value.
  • the image processing system includes a haze reliability estimation unit that estimates the reliability of the estimated value of the haze density, a target value acquisition unit that acquires a haze density target value of the past frame, and the target value acquisition unit.
  • the target for determining, as the haze density target value of the one frame, one of the haze density target value of the past frame and the estimated value of the haze density of the one frame derived by the haze density estimation unit.
  • a difference for deriving an absolute value of a difference between a value determination unit, a haze density target value of the one frame determined by the target value determination unit, and a parameter used for haze removal processing of a past frame of the one frame An absolute value deriving unit, wherein the parameter adjusting unit is configured by the target value determining unit based on the parameters used for the haze removal processing of the past frame.
  • the parameters used for the haze removal processing of the one frame may be adjusted.
  • the parameter adjusting unit adjusts the parameter by a first adjustment amount, determines that the one frame is not a scene-changed frame, When the reliability of the estimated value is greater than the first threshold value and the absolute difference value is greater than the second threshold value, the parameter is adjusted by a second adjustment amount that is smaller than the first adjustment amount, If it is determined that the frame is not a scene-changed frame, and the reliability of the estimated value is smaller than the first threshold value or the absolute difference value is smaller than the second threshold value, the parameter is adjusted to the second adjustment value. You may adjust with the 3rd adjustment amount smaller than the amount.
  • the image processing system may further include a haze reliability estimator that estimates the reliability of the estimated value of the haze density, and the haze reliability estimator is reliable in the one frame. If it is determined that it is not possible, the parameter adjustment unit may adjust a parameter used for the haze removal processing of the one frame so as to gradually approach the target value set at the time of the past frame.
  • the image processing system includes a haze reliability estimation unit that estimates the reliability of the estimated value of the haze density, a target value acquisition unit that acquires a haze density target value of the past frame, and the haze reliability estimation unit.
  • either the haze density target value of the past frame acquired by the target value acquisition unit or the estimated value of the haze density of the one frame derived by the haze density estimation unit May further include a target value determining unit that determines whether to use the parameter for adjusting the parameter used for the haze removal processing of the one frame.
  • the image processing system calculates an absolute difference between the haze density target value of the past frame acquired by the target value acquisition unit and the estimated value of the haze density of the one frame derived by the haze density estimation unit.
  • An absolute difference deriving unit for deriving may be further provided, and the target value determining unit may include a case where the one frame is a scene-changed frame and a case where the one frame is not a scene-changed frame,
  • the target value determining unit may include a case where the one frame is a scene-changed frame and a case where the one frame is not a scene-changed frame,
  • the reliability is greater than the first threshold and the difference absolute value is greater than the second threshold
  • the estimated value of the haze density of the one frame is used to adjust a parameter used for the haze removal processing of the one frame.
  • the one frame is not a scene-changed frame, and the reliability of the estimated value is smaller than the first threshold value or the difference absolute value. If the value is less than the second threshold value, the haze density target value of the past frame may be determined to be used to adjust the parameters used in the haze removal processing frame the one.
  • an image processing system may include a luminance evaluation value deriving unit that derives luminance evaluation values of at least a partial region of the image.
  • the image processing system may include a saturation evaluation value deriving unit that derives a saturation evaluation value of at least a partial region of the image.
  • the image processing system may include a contrast evaluation value deriving unit that derives a contrast evaluation value of at least a partial region of the image.
  • the image processing system may include a haze density estimation unit that derives an estimated value of the haze density of the image based on the luminance evaluation value, the saturation evaluation value, and the contrast evaluation value.
  • the image processing system may include a first pixel extraction unit that extracts pixels that are neither flat nor strong edges from the image, and the haze density estimation unit is the flat or strong one extracted by the first pixel extraction unit.
  • the estimated value of the haze density may be derived based on the luminance evaluation value, the saturation evaluation value, and the contrast evaluation value of a pixel that is not an edge.
  • an image processing system may include a first pixel extraction unit that extracts pixels that are neither flat nor strong edges from the image. Further, the image processing system is based on at least two of the luminance evaluation value, the saturation evaluation value, and the contrast evaluation value of the pixel that is not flat or strong edge extracted by the first pixel extraction unit.
  • a haze density estimation unit for deriving an estimated value of the haze density of the image may be provided.
  • the luminance evaluation value may be an average luminance value of the region.
  • the saturation evaluation value may be an average saturation value of the region.
  • the contrast evaluation value may be a contrast value of the region.
  • the haze concentration estimation unit may derive an estimated value of the haze concentration that is higher as the average luminance value is higher.
  • the haze density estimation unit may derive an estimated value of the haze density that is higher as the average saturation value is lower.
  • the haze density estimation unit may derive an estimated value of the haze density that is higher as the contrast value is lower.
  • the image may be a moving image including a plurality of frames, and the image processing system extracts a high saturation pixel that extracts a high saturation pixel having a saturation higher than a predetermined threshold in one of the plurality of frames.
  • a high saturation pixel rate deriving unit for deriving a high saturation pixel rate indicating a ratio of the high saturation pixel in the one frame, and whether the high saturation pixel rate is higher than a predetermined threshold.
  • a scene change determination unit that determines whether or not a scene change is included in the image.
  • the image processing system derives the reliability of the reliability of the estimated value of the haze density of the one frame based on the high saturation pixel rate in the one frame and the average luminance value of the one frame. May be provided.
  • the image processing system is based on the reliability of the estimated value of the haze density of the one frame derived by the reliability deriving unit and a scene change flag indicating whether the one frame is a scene-changed frame.
  • a parameter adjustment unit that adjusts parameters used for the haze removal process for the one frame may be provided.
  • the image processing system includes a transmittance deriving unit that derives a transmittance corresponding to a haze density for each of a plurality of pixels of the image, and a haze removal process on the image based on the estimated value of the haze density and the transmittance.
  • the haze removal part which performs may be provided.
  • the image processing system may further include a second pixel extracting unit that extracts pixels that are neither flat nor strong edges from the image, and the haze removing unit is the flat or strong extracted by the second pixel extracting unit. Whether or not to perform the haze removal process may be determined based on the ratio of pixels that are not edges in the image.
  • an image processing system may include a high saturation pixel extraction unit that extracts a high saturation pixel whose saturation is higher than a predetermined threshold from one frame among a plurality of frames included in the moving image.
  • the image processing system may include a high saturation pixel rate deriving unit that derives a high saturation pixel rate indicating a ratio of the high saturation pixels in the one frame.
  • the image processing system determines whether a scene change is included in the image based on different criteria depending on whether the high saturation pixel rate in the one frame is higher than a predetermined threshold.
  • a scene change determination unit may be provided.
  • the scene change determination unit When the high saturation pixel rate is higher than the threshold, the scene change determination unit includes a scene change in the image based on the hue of the one frame and the hue of a past frame of the one frame. It may be determined whether or not. When the high saturation pixel rate is equal to or lower than the threshold, the scene change determination unit converts the scene change to the image based on the high saturation pixel rate of the one frame and the high saturation pixel rate of the past frame of the one frame. May be determined.
  • the image processing system is based on a haze density estimated value acquisition unit that acquires an estimated value of haze density of the one frame, the high saturation pixel rate in the one frame, and an average luminance value of the one frame.
  • a reliability deriving unit for deriving the reliability of the estimated value of the haze concentration When the estimated value is higher than a predetermined threshold, the reliability deriving unit derives a higher reliability as the average luminance value is larger, and derives a higher reliability as the high saturation pixel rate is lower. It's okay. The reliability deriving unit derives a higher reliability as the average luminance value is smaller and a higher reliability as the high saturation pixel rate is higher when the estimated value is equal to or less than a predetermined threshold. Good.
  • the image processing system includes a target value acquisition unit that acquires a haze density target value, and a past frame of the one frame acquired by the target value acquisition unit based on the reliability derived by the reliability deriving unit.
  • a target value determining unit that determines which one of the haze concentration target value and the estimated value of the haze concentration acquired by the haze concentration estimated value acquisition unit is used to adjust a parameter used for the haze removal process. It's okay.
  • the image processing system includes a difference absolute value deriving unit that derives an absolute difference between the haze concentration target value acquired by the target value acquisition unit and the estimated value of the haze concentration acquired by the haze concentration estimated value acquisition unit.
  • the target value determination unit may acquire the target value based on a reliability of the estimated value and the absolute value of the difference, or a scene change flag indicating whether the one frame is a scene-changed frame. It may be determined which of the haze density target value acquired by the section and the estimated value of the haze density acquired by the haze density estimated value acquisition section is used to adjust a parameter used for the haze removal process.
  • the image processing system causes the parameter used for the haze removal processing of the one frame to gradually approach a value corresponding to the haze density target value or the estimated value of the haze density determined by the target value determination unit.
  • the parameter adjustment unit is an absolute difference between the haze density target value determined by the target value determination unit or the estimated value of the haze density and a parameter used for haze removal processing of the past frame of the one frame.
  • the haze density target value determined by (1) or the estimated value of the haze density may be adjusted stepwise.
  • an image processing system may include a haze density acquisition unit that acquires the haze density of an image.
  • the image processing system may include a removal processing unit that performs a haze removal process with different degrees of haze removal on the reflectance component of the image and the illumination light component of the image based on the haze density.
  • the image processing system may include a combining unit that combines the reflectance component and the illumination light component that have been subjected to the haze removal process. On the assumption that the removal processing unit can be approximated without the reflectance component contained in the atmospheric light, the reflectance component of the image and the illumination light component of the image are used using the atmospheric model of the haze image and Retinex theory.
  • the removal processing unit further assumes that the atmospheric model of the haze image can be applied only to the illumination light component, using the atmospheric model of the haze image and Retinex theory, and the reflectance component of the image and the above You may perform the haze removal process from which the haze removal degree differs with the illumination light component of an image, respectively.
  • a computer-readable recording medium that records a program for causing a computer to function as the image processing system.
  • An example of a functional composition of image processing system 100 is shown roughly.
  • An example of functional composition of haze concentration estimating part 200 is shown roughly. It is a figure for demonstrating the extraction process of a flat & strong edge pixel.
  • An example of the weighting graph 240 is shown schematically.
  • An example of the weighting graph 242 is shown schematically. It is a figure for demonstrating a histogram value.
  • An example of a functional composition of scene control part 300 is shown roughly.
  • An example of a functional structure of the scene change determination part 310 is shown schematically.
  • An example of a functional structure of the haze reliability estimation part 330 is shown roughly.
  • An example of the weighting graph 352 is shown schematically.
  • An example of weighting graph 354 is shown roughly.
  • An example of a functional structure of the haze removal parameter adjustment part 360 is shown roughly.
  • An example of functional composition of haze removal part 400 is shown roughly.
  • FIG. 1 schematically shows an example of a functional configuration of the image processing system 100.
  • the image processing system 100 may be a display device that displays images with the haze included in the input image removed.
  • Haze includes all atmospheric phenomena in which visibility is deteriorated by fine particles.
  • haze includes fog, hail, hail, smoke, dust, sand dust, rain and snow.
  • the display device may be a liquid crystal display, a plasma display, an organic EL display, or the like.
  • the image processing system 100 includes an image input unit 110, a display unit 120, a haze density estimation unit 200, a scene control unit 300, and a haze removal unit 400.
  • the image input unit 110 inputs an image.
  • the image may be a moving image or a still image, and may be a frame included in the moving image.
  • the image input unit 110 may input RGB data, YUV data, or HSV data.
  • the image processing system 100 may convert the input YUV data into RGB data.
  • the haze density estimation unit 200 derives an estimated value of haze density for each input image.
  • the haze density of the image is the density of haze contained in the image. For example, when the same space is imaged, the haze density of the image is higher when the fog density in the space is higher than when the fog density in the space is low.
  • Scene controller 300 determines whether or not a scene change is included in the input video.
  • the scene control unit 300 may generate a parameter used for the haze removal process based on whether or not a scene change is included in the input moving image.
  • the haze removing unit 400 removes haze from the input image.
  • the haze removal unit 400 may remove haze from the input image using the parameters generated by the scene control unit 300.
  • the display unit 120 displays the image from which the haze is removed by the haze removing unit 400.
  • the scene control unit 300 when no scene change is detected in the moving image, the scene control unit 300 generates a parameter used for the haze removal process so as to change the strength of the haze removal step by step over a plurality of frames. Then, the haze removal unit 400 uses the parameters generated by the scene control unit 300 to change the intensity of the haze removal step by step over a plurality of frames when no scene change is detected in the moving image. . Thereby, it is possible to prevent the image from changing suddenly due to haze removal, and to suppress the occurrence of a phenomenon such as so-called flicker.
  • the scene control unit 300 changes the intensity of haze removal step by step over a smaller number of frames than when no scene change is detected in the moving image.
  • a parameter used for the haze removal process is generated.
  • the haze removal unit 400 uses the parameters generated by the scene control unit 300 so that when a scene change is detected in the moving image, the number of frames is smaller than when no scene change is detected in the moving image. Change the intensity of haze removal step by step.
  • the image processing system 100 may not include the scene control unit 300.
  • the haze removal unit 400 removes haze from the input image based on the estimated value of the haze concentration of the image derived by the haze concentration estimation unit 200. Thereby, a highly accurate haze removal process based on the haze concentration estimated by the haze concentration estimation unit 200 can be realized.
  • FIG. 2 schematically shows an example of the functional configuration of the haze concentration estimation unit 200.
  • the haze density estimation unit 200 includes a flat & strong edge pixel extraction unit 202, an average luminance calculation unit 204, an average saturation calculation unit 206, a contrast calculation unit 208, a maximum saturation acquisition unit 210, a weighting acquisition unit 212, and a haze density calculation unit. 214, a tool screen determination unit 216 and a selector 218.
  • the flat & strong edge pixel extraction unit 202 extracts pixels that are neither flat nor strong edge from the image input by the image input unit 110.
  • the flat & strong edge pixel extraction unit 202 extracts pixels that are flat or strong edge from the image, and excludes the extracted pixels from the image, thereby extracting pixels that are neither flat nor strong edge.
  • the flat & strong edge pixel extraction unit 202 may be an example of a first pixel extraction unit.
  • the average luminance calculation unit 204 calculates an average luminance value (may be described as AVE Y ) of pixels that are neither flat nor strong edge.
  • the average luminance value may be an example of a luminance evaluation value.
  • the average luminance calculation unit 204 may be an example of a luminance evaluation value deriving unit.
  • the average saturation calculation unit 206 calculates an average saturation value (may be referred to as AVE S ) of pixels that are neither flat nor strong edge.
  • the average saturation value may be an example of a saturation evaluation value.
  • the average saturation calculation unit 206 may be an example of a saturation evaluation value deriving unit.
  • the contrast calculation unit 208 calculates the contrast value of a pixel that is neither flat nor a strong edge.
  • the contrast value may be an example of a contrast evaluation value.
  • the contrast calculation unit 208 may be an example of a contrast evaluation value deriving unit.
  • the contrast calculation unit 208 may generate a histogram of pixels that are neither flat nor strong edges.
  • the contrast calculation unit 208 may generate a histogram with an arbitrary number of bins. Then, the contrast calculation unit 208 may calculate a histogram width (may be described as HIST WIDTH ) by subtracting the minimum value from the maximum value of the generated histogram. At this time, the contrast calculation unit 208 may subtract the minimum value from the maximum value of the bins whose values exceed the threshold among the plurality of bins.
  • a histogram width may be described as HIST WIDTH
  • HIST WIDTH may be an example of a contrast value.
  • the contrast calculation unit 208 may output the number of bins of the histogram as the maximum width of the histogram (may be described as MAX WIDTH ).
  • the maximum saturation acquisition unit 210 acquires the maximum saturation (may be described as MAX S ) in the image processing system 100.
  • the weighting acquisition unit 212 acquires a weighting value (may be described as coef) used when calculating the haze density of an image. For example, the weight acquisition unit 212 acquires coef designated by the manufacturer or user of the image processing system 100.
  • the haze density calculation unit 214 calculates an estimated value (sometimes referred to as “Strength”) of the haze density of the image.
  • the haze density calculation unit 214 may calculate Strength based on the luminance evaluation value, the saturation evaluation value, and the contrast evaluation value of a pixel that is neither flat nor a strong edge.
  • the haze density calculation unit 214 is based on the average luminance value calculated by the average luminance calculation unit 204, the average saturation value calculated by the average saturation calculation unit 206, and the contrast value calculated by the contrast calculation unit 208. Then, Strength may be calculated. The haze density calculation unit 214 may calculate the strength by multiplying the average luminance value, the average saturation value, and the contrast value. The haze density calculation unit 214 may multiply the average saturation value, a value obtained by subtracting the average saturation value from the maximum saturation, and a value obtained by subtracting the contrast value from the maximum width of the histogram.
  • the haze density calculation unit 214 may weight the average luminance value. For example, the haze density calculation unit 214 may perform weighting such that the higher the value, the higher the value, and the lower the value, the lower the value. Further, the haze density calculation unit 214 may weight the average saturation value. For example, the haze density calculation unit 214 may perform weighting such that the higher the value, the higher the value, and the lower the value, the lower the value.
  • the haze concentration calculation unit 214 calculates Strength by, for example, Equation 1 below.
  • the haze density calculation unit 214 can derive a higher value of the haze density estimation value as the average luminance value is higher, and can derive a higher value of the haze density estimation value as the average saturation value is lower.
  • the lower the value the higher the estimated haze concentration can be derived.
  • the haze density calculation unit 214 reflects the characteristics of the haze more A highly accurate estimated value of haze concentration can be calculated.
  • the tool screen determination unit 216 determines whether or not the input image is a tool screen.
  • the tool screen is, for example, a screen for setting display parameters of the display unit 120 and a screen for setting image display parameters.
  • the haze removal processing is executed by the haze removal unit 400.
  • the viewer of the monitoring camera image displays the tool screen to change the display parameter setting while the display unit 120 displays the monitoring camera image
  • the haze removal process is performed on the tool screen. If executed, the screen may become unnecessarily dark or flicker.
  • the haze density estimation unit 200 when the input image is determined to be a tool screen, the haze density estimation unit 200 according to the present embodiment outputs 0 as an estimated value of the haze density, and the input image is determined to be a tool screen. If not, control is performed so that the strength calculated by the haze density calculation unit 214 is output.
  • the selector 218 receives the Strength calculated by the haze density calculation unit 214 and the tool screen determination result by the tool screen determination unit 216, and if the input image is not a tool screen, the Strength is set to the scene. If the input image is a tool screen, 0 is output to the scene control unit 300 or the haze removal unit 400. Thereby, the haze removal part 400 can discriminate
  • the tool screen determination unit 216 may determine whether the input image is a tool screen based on pixels that are neither flat nor strong edge extracted by the flat & strong edge pixel extraction unit 202.
  • the flat & strong edge pixel extraction unit 202 is a first reference for extracting pixels that are neither flat nor strong edge to be output to the average luminance calculation unit 204, the average saturation calculation unit 206, and the contrast calculation unit 208.
  • pixels that are not flat or strong edges to be output to the tool screen determination unit 216 may be extracted.
  • the second reference may be a reference that is less likely to be determined as a pixel that is neither flat nor a strong edge as compared to the first reference.
  • the flat & strong edge pixel extraction unit 202 may be an example of a second pixel extraction unit.
  • the tool screen determination unit 216 is not a tool screen when the ratio of pixels that are neither flat nor strong edge received from the flat & strong edge pixel extraction unit 202 to all pixels of the input image is equal to or less than a predetermined threshold value. If it is greater than a predetermined threshold, it may be determined that the tool screen is displayed.
  • the tool screen determination unit 216 determines a ratio of pixels that are flat or strong edges extracted according to the second criterion to pixels that are flat or strong edges extracted according to the first criterion as a predetermined threshold value. In the following cases, it is determined that the screen is a tool screen, and if it is larger than a predetermined threshold, it may be determined that the screen is not a tool screen.
  • the tool screen determination unit 216 determines not only the tool screen but also other types of screens as long as the ratio of pixels that are neither flat nor strong edges in the input image is small. be able to. For example, the tool screen determination unit 216 can determine whether the input image is an image in which the ratio of the area other than the image display area in the entire display area of the display unit 120 is high.
  • the tool screen determination unit 216 may be an example of a haze removal process target determination unit that determines whether or not an input image is a target for executing a haze removal process.
  • the average luminance calculation unit 204, the average saturation calculation unit 206, and the contrast calculation unit 208 calculate the average luminance value, the average saturation value, and the contrast value of pixels that are not flat or strong edge. Although it has been described, it is not limited to this.
  • the average luminance calculation unit 204, the average saturation calculation unit 206, and the contrast calculation unit 208 may calculate the average luminance value, average saturation value, and contrast value of the entire input image. Further, the average luminance calculation unit 204, the average saturation calculation unit 206, and the contrast calculation unit 208 may calculate an average luminance value, an average saturation value, and a contrast value of a part of the input image.
  • FIG. 3 is a diagram for explaining an example of flat & strong edge pixel extraction processing.
  • the flat & strong edge pixel extraction unit 202 determines whether or not the target pixel 230 is a flat or strong edge, first, the maximum value and the minimum value of the pixel values for seven pixels in each of the vertical and horizontal directions centering on the target pixel 230. To get.
  • the flat & strong edge pixel extraction unit 202 calculates a value obtained by subtracting the minimum value from the maximum value for each of the 7 pixels in the vertical direction and the 7 pixels in the horizontal direction. Then, the flat & strong edge pixel extraction unit 202 has a value obtained by subtracting the minimum value from the maximum value in at least one of the vertical direction and the horizontal direction being equal to or smaller than the first threshold value, and a value larger than the first threshold value. If it is equal to or greater than the second threshold, the target pixel 230 is determined as a pixel that is a flat or strong edge.
  • the flat & strong edge pixel extracting unit 202 may use the first threshold value and the second threshold value when extracting pixels that are flat or strong edge according to the first reference, and may be flat or strong edge according to the second reference. In the case of extracting pixels that are, a third threshold value that is larger than the first threshold value and smaller than the second threshold value and a fourth threshold value that is larger than the third threshold value and smaller than the second threshold value may be used.
  • FIG. 4A schematically shows an example of the weighting graph 240.
  • FIG. 4B schematically shows an example of the weighting graph 242.
  • the weighting graph 240 shows an example of a weighting value used when the haze density calculation unit 214 weights the average luminance value.
  • 4A and 4B illustrate a case where the input signal is 10 bits.
  • the haze density calculation unit 214 weights the average luminance value according to the weighting graph 240 so that the higher the average luminance value, the higher the value, and the lower the average luminance value, the lower the value. Can do.
  • the haze density calculation unit 214 may also use the weighting graph 240 when weighting the average saturation value.
  • the haze density calculation unit 214 may use the weighting graph 240 having the same value when weighting the average luminance value and when weighting the average saturation value, and the weighting graph 240 having different values. May be used. For example, when the weighting of the average luminance value is set to be heavier than the average saturation value, the haze density calculation unit 214 uses the weighting graph 242 in which the weighting becomes heavier as shown in the weighting graph 242 to calculate the average luminance value. You may weight.
  • FIG. 5 is a diagram for explaining the histogram value.
  • FIG. 5 illustrates a case where the number of histogram bins is 16.
  • the contrast calculation unit 208 may calculate the HIST WIDTH by subtracting the minimum value from the maximum value of the bins whose values exceed the threshold value among the plurality of bins.
  • FIG. 6 schematically shows an example of the functional configuration of the scene control unit 300.
  • the scene control unit 300 includes a scene change determination unit 310, a haze reliability estimation unit 330, and a haze removal parameter adjustment unit 360.
  • the scene change determination unit 310 determines whether a scene change is included in the moving image input by the image input unit 110.
  • the scene change determination unit 310 may associate a scene change flag indicating whether or not each of a plurality of frames included in the moving image is a scene-changed frame.
  • the haze reliability estimation unit 330 estimates the reliability of the strength output from the haze density estimation unit 200 for the frames included in the moving image input by the image input unit 110.
  • the haze removal parameter adjustment unit 360 adjusts parameters used for the haze removal processing for a plurality of frames included in the moving image and outputs the adjusted parameters to the haze removal unit 400.
  • the haze removal parameter adjustment unit 360 may adjust a parameter used for the haze removal processing of the one frame from the relationship between the one frame and the past frame of the one frame.
  • the haze removal parameter adjustment unit 360 is used for the haze removal process for a plurality of frames included in the moving image based on the reliability estimated by the haze reliability estimation unit 330 and the scene change flag generated by the scene change determination unit 310.
  • the parameters may be adjusted and output to the haze removal unit 400.
  • FIG. 7 schematically shows an example of the functional configuration of the scene change determination unit 310.
  • the scene change determination unit 310 includes a high saturation pixel extraction unit 312, a hue histogram generation unit 314, a high saturation pixel rate measurement unit 316, a flat & strong edge pixel extraction unit 318, an average luminance calculation unit 320, an average saturation calculation unit 322, and a determination process. Part 324.
  • the high saturation pixel extraction unit 312 extracts a high saturation pixel from one frame among a plurality of frames included in the moving image input by the image input unit 110.
  • the high saturation pixel may be a pixel whose saturation is higher than a predetermined threshold.
  • the high saturation pixel extraction unit 312 receives the RGB data, the difference between the maximum value and the minimum value of the R component, the G component, and the B component is greater than or equal to a predetermined threshold for each of the plurality of pixels included in the frame.
  • a certain pixel may be extracted as a high saturation pixel.
  • the high saturation pixel extraction unit 312 may extract, as a high saturation pixel, a pixel having an S component equal to or greater than a predetermined threshold for each of a plurality of pixels included in the frame.
  • the hue histogram generation unit 314 generates a hue histogram (may be referred to as “HueHIST”) for the high saturation pixels extracted by the high saturation pixel extraction unit 312.
  • HueHIST hue histogram
  • the hue histogram generation unit 314 may generate a Hue HIST for a frame included in the moving image input by the image input unit 110.
  • the high saturation pixel rate measuring unit 316 measures a high saturation pixel rate (may be referred to as HighSatRate) indicating the ratio of high saturation pixels in one frame.
  • the high saturation pixel rate measurement unit 316 may set the ratio of the light saturation pixels to all the pixels in one frame as HighSatRate.
  • the high saturation pixel rate measuring unit 316 may be an example of a high saturation pixel rate deriving unit that derives a high saturation pixel rate in one frame.
  • the flat & strong edge pixel extracting unit 318 extracts pixels that are neither flat nor strong edge from one of a plurality of frames included in the moving image input by the image input unit 110.
  • the flat & strong edge pixel extraction unit 318 may extract pixels that are neither flat nor strong edge, similar to the flat & strong edge pixel extraction unit 202.
  • the flat & strong edge pixel extraction unit 318 may extract pixels that are neither flat nor strong edge according to the first reference, and may extract pixels that are neither flat nor strong edge according to the second reference. Also, pixels that are neither flat nor strong edges may be extracted according to other criteria.
  • the average luminance calculation unit 320 calculates AVE Y of pixels that are neither flat nor strong edge extracted by the flat & strong edge pixel extraction unit 318.
  • the case where the average luminance calculation unit 320 calculates AVE Y of pixels that are neither flat nor strong edge extracted by the flat & strong edge pixel extraction unit 318 will be described as an example, but the present invention is not limited thereto. Absent.
  • the average luminance calculation unit 320 may calculate AVE Y for a frame included in the moving image input by the image input unit 110.
  • the average saturation calculation unit 322 calculates AVE S of pixels that are neither flat nor strong edge extracted by the flat & strong edge pixel extraction unit 318.
  • AVE S AVE S of pixels that are neither flat nor strong edge extracted by the flat & strong edge pixel extraction unit 318.
  • the average saturation calculation unit 322 may calculate AVE S for frames included in the moving image input by the image input unit 110.
  • the determination processing unit 324 executes determination processing for determining whether or not a scene change is included in the moving image input by the image input unit 110.
  • the determination processing unit 324 generates a scene change flag indicating whether the frame is a scene-changed frame, and outputs the scene change flag to the haze removal parameter adjustment unit 360.
  • the determination processing unit 324 determines whether or not the moving image includes a scene change based on different criteria depending on whether or not the high saturation pixel rate measured by the high saturation pixel rate measurement unit 316 is higher than a predetermined threshold. You may judge.
  • the determination processing unit 324 determines the hue of the one frame and the past frame of the one frame. Whether or not the moving image includes a scene change may be determined on the basis of the hue.
  • the past frame of the one frame is, for example, a frame before the one frame.
  • the determination processing unit 324 includes the SAD of the Hue HIST of the one frame generated by the hue histogram generation unit 314 and the hue histogram of the past frame of the one frame (may be described as Hue HIST_dl). Based on (Sum of Absolute Difference) (may be described as “HueHITSAD”), it may be determined whether or not a scene change is included in the moving image.
  • determination processing unit 324 HueHISTSAD is lower than the fifth threshold value, the average luminance value of the past frame AVE Y and the one frame of the one frame (may be described as AVE Y _dl.) And the The difference absolute value is lower than the sixth threshold, and the difference absolute value between the AVE S of the one frame and the average saturation value of the past frame of the one frame (may be described as AVE S _dl) is the first. If the threshold is lower than 7, the one frame is determined not to be a scene-changed frame. Otherwise, the one frame is determined to be a scene-changed frame.
  • the scene change flag of the one frame may be set to False. If the determination processing unit 324 determines that the one frame is a scene-changed frame, the scene change flag of the one frame may be set to True.
  • the determination processing unit 324 determines the HighSatRate of the one frame and the past frames of the one frame. Based on the high saturation pixel rate (may be described as “HighSatRate_dl”), it may be determined whether or not a scene change is included in the moving image.
  • determination processing unit 324 a difference absolute value between HighSatRate and HighSatRate_dl is lower than the eighth threshold value, the difference absolute value between the AVE Y and AVE Y _dl is lower than the sixth threshold value, the difference between the AVE S and AVE S _dl If the absolute value is lower than the seventh threshold, it is determined that the one frame is a scene-changed frame, and otherwise, it is determined that the one frame is a scene-changed frame.
  • FIG. 8 schematically shows an example of a functional configuration of the haze reliability estimation unit 330.
  • the haze reliability estimation unit 330 includes a flat & strong edge pixel extraction unit 332, an average luminance calculation unit 334, a high saturation pixel extraction unit 336, a high saturation pixel rate measurement unit 338, a haze density estimated value acquisition unit 340, and a reliability calculation unit 342. Prepare.
  • the flat & strong edge pixel extracting unit 332 extracts pixels that are neither flat nor strong edge from one frame among a plurality of frames included in the moving image input by the image input unit 110.
  • the flat & strong edge pixel extraction unit 332 may extract pixels that are neither flat nor strong edge, similar to the flat & strong edge pixel extraction unit 202.
  • the flat & strong edge pixel extraction unit 332 may extract pixels that are neither flat nor strong edge according to the first reference, and may extract pixels that are neither flat nor strong edge according to the second reference. Also, pixels that are neither flat nor strong edges may be extracted according to other criteria.
  • the average luminance calculation unit 334 calculates AVE Y of pixels that are neither flat nor strong edge extracted by the flat & strong edge pixel extraction unit 332.
  • the case where the average luminance calculation unit 334 calculates AVE Y of pixels that are neither flat nor strong edge extracted by the flat & strong edge pixel extraction unit 332 will be described as an example, but the present invention is not limited thereto. Absent.
  • the average luminance calculation unit 334 may calculate AVE Y for a frame included in the moving image input by the image input unit 110.
  • the high saturation pixel extraction unit 336 extracts high saturation pixels from one frame among a plurality of frames included in the moving image input by the image input unit 110.
  • the high saturation pixel extraction unit 336 extracts, as a high saturation pixel, a pixel in which the difference between the maximum value and the minimum value of the R component, the G component, and the B component is equal to or greater than a predetermined threshold for each of a plurality of pixels included in the frame. You can do it.
  • the high saturation pixel rate measuring unit 338 measures HighSatRate in one frame.
  • the haze concentration estimated value acquisition unit 340 acquires the strength output by the haze concentration estimation unit 200.
  • the reliability calculation unit 342 calculates the reliability of the strength acquired by the haze density estimated value acquisition unit 340 based on the AVE Y calculated by the average luminance calculation unit 334 and the HighSatRate measured by the high saturation pixel rate measurement unit 338. And output to the haze removal parameter adjustment unit 360.
  • the reliability calculation unit 342 may be an example of a reliability derivation unit that derives the strength of Strength based on AVE Y and HighSatRate.
  • the reliability calculation unit 342 may calculate the strength of the strength based on different criteria depending on whether or not the strength acquired by the haze density estimated value acquisition unit 340 is larger than a predetermined threshold.
  • the reliability calculation unit 342 calculates a higher reliability as AVE Y is larger, and the reliability is higher as HighSatRate is lower. May be calculated.
  • the reliability calculation unit 342 calculates a higher reliability as AVE Y is smaller, and as the HighSatRate is higher, the reliability is higher. The degree may be calculated.
  • the reliability calculation unit 342 includes the strength acquired by the haze density estimated value acquisition unit 340, the AVE Y calculated by the average luminance calculation unit 334, and the high saturation pixel rate measurement unit 338. Weights each HighSatRate measured by.
  • the reliability calculation unit 342 weights Strength and HighSatRate so that the higher the value, the higher the value, and the lower the value, the lower the value.
  • the reliability calculation unit 342 weights AVE Y such that the higher the value, the lower the value, and the lower the value, the higher the value.
  • the weighted Strength is sometimes referred to as StrengthWeight.
  • the AVE Y in which the weighting may be referred to as AVE Y Weight.
  • the weighted HighSatRate may be described as HighSatRateWeight.
  • the reliability calculation unit 342 sets EvalMax as the larger one of AVE Y Weight and HighSatRateWeight. Then, the reliability calculation unit 342 calculates the absolute difference between EvalMax and StrengthWeight as the reliability of the estimated value of haze density.
  • FIG. 9 schematically shows an example of the weighting graph 352.
  • the weighting graph 352 shows an example of a weighting value used when the reliability calculation unit 342 weights Strength.
  • the reliability calculation unit 342 weights the strength according to the weighting graph 352, so that the higher the strength, the higher the value, and the lower the strength, the lower the value.
  • the weighting graph 352 may be used when the reliability calculation unit 342 weights HighSatRate.
  • FIG. 10 schematically shows an example of the weighting graph 354.
  • the weighting graph 354 shows an example of a weighting value used when the reliability calculation unit 342 weights AVE Y.
  • the reliability calculation unit 342 weights AVE Y according to the weighting graph 354, so that the value becomes lower as AVE Y is higher, and the value becomes higher as Strength is lower.
  • FIG. 11 schematically illustrates an example of a functional configuration of the haze removal parameter adjustment unit 360.
  • the haze removal parameter adjustment unit 360 includes a haze density target value calculation unit 362 and a parameter adjustment unit 364.
  • the haze concentration target value calculation unit 362 calculates a haze concentration target value (may be described as Target Depth) for one frame.
  • Target Depth indicates a haze removal parameter to be converged when the contents of one frame and a plurality of frames following the one frame do not change.
  • the haze density target value calculation unit 362 when the haze reliability estimation unit 330 determines that the estimated value of the haze density of the one frame is unreliable in one frame, the time point of the past frame of the one frame.
  • the Target Depth set in may be described as Target Depth_dl
  • the haze reliability estimation unit 330 determines that the estimated value is not reliable.
  • the haze density target value calculation unit 362 includes Target Depth (Target Depth_dl) of the past frame of the one frame, Strength for the one frame received from the haze density estimation unit 200, and the received from the reliability calculation unit 342. Based on the reliability of Strength and the scene change flag for the one frame received from the determination processing unit 324, the Target Depth for the one frame may be determined.
  • the haze density target value calculation unit 362 calculates the absolute difference value between Strength and TargetDepth_dl (may be described as DiffDepth). Then, the haze density target value calculation unit 362 sets Strength Depth as Target Depth when Diff Depth is larger than the ninth threshold and the reliability of Strength is larger than the tenth threshold, and when the scene change flag is True. In this case, Target Depth_dl is set to Target Depth. The case other than that may be a case where the scene change flag is False and DiffDepth is smaller than the ninth threshold or Strength reliability is smaller than the tenth threshold.
  • the parameter adjustment unit 364 uses the parameter used for the haze removal processing of the one frame (may be described as HazeRemovalStrength) as the Strength or TargetDepth_dl determined by the haze density target value calculation unit 362 as the Target Depth of the one frame. It adjusts so that it may gradually approach the value corresponding to. Thereby, the intensity
  • the parameter adjustment unit 364 may adjust the HazeRemovalStrength from the relationship between the Target Depth determined by the haze density target value calculation unit 362 and the one frame and the past frame of the one frame.
  • the parameter adjustment unit 364 may adjust HazeRemovalStrength so as to gradually approach the Target Depth determined by the haze density target value calculation unit 362 from the parameter adjusted in the past frame of the one frame.
  • the parameter adjustment unit 364 may change the width that gradually approaches the Target Depth based on whether or not the one frame is a scene-changed frame.
  • the parameter adjustment unit 364 increases the width that gradually approaches Target Depth. To do.
  • the strength of haze removal can be increased compared to when the one frame is not a scene-changed frame.
  • the parameter adjustment unit 364 absolute difference between the Target Depth determined by the haze density target value calculation unit 362 and the parameter used for the haze removal process of the past frame of the one frame (may be described as HazeRemovalStrength_dl).
  • a value may be described as DiffStrength
  • the parameter adjustment unit 364 may be an example of an absolute difference derivation unit that derives DiffStrength. Then, the parameter adjustment unit 364 adjusts the HazeRemovalStrength as the Target Depth of the one frame by the haze density target value calculation unit 362 with the adjustment amount according to the DiffStrength, the reliability of the Strength, and the scene change flag. Or you may adjust so that it may approach in steps the value corresponding to TargetDepth_dl.
  • the parameter adjustment unit 364 corresponds to the Strength or Target Depth_dl in which the Haze Removal Strength Strength is determined as the Target Depth of the one frame by the haze density target value calculation unit 362 with the first adjustment amount. Adjust so that the value approaches the value step by step. Further, when the scene change flag is False, DiffStrength is greater than the eleventh threshold value, and the Strength of Strength is greater than the twelfth threshold value, the parameter adjustment unit 364 sets the HazeRemovalStrength to the first adjustment amount with the second adjustment amount. It adjusts so that it may gradually approach the value corresponding to Strength or Target Depth_dl determined as Target Depth of the current frame.
  • the parameter adjustment unit 364 adjusts the HazeRemovalStrength so that it gradually approaches a value corresponding to the Strength or TargetDepth_dl determined as the TargetDepth of the one frame with the third adjustment amount.
  • the case other than that may be a case where the scene change flag is False and DiffStrength is smaller than the eleventh threshold or the Strength of Strength is smaller than the twelfth threshold.
  • the first adjustment amount is larger than the second adjustment amount and the third adjustment amount
  • the second adjustment amount is larger than the third adjustment amount.
  • the haze density target value calculation unit 362 uses either Target Depth_dl or Strength for haze removal processing based on the reliability of Strength and the absolute value of the difference between Strength and Target Depth_dl, or the scene change flag. It may be determined whether the parameter is used to adjust.
  • the haze concentration target value calculation unit 362 that acquires Target Depth_dl may be an example of a target value acquisition unit. Further, the haze density target value calculation unit 362 may be an example of a difference absolute value derivation unit that calculates a difference absolute value between Strength and Target Depth_dl. Further, the haze density target value calculation unit 362 may be an example of a target value determination unit that determines Target Depth for the one frame.
  • FIG. 12 schematically shows an example of the functional configuration of the haze removing unit 400.
  • the haze removal unit 400 includes an illumination light separation unit 402, a parameter acquisition unit 410, a removal processing unit 420, and a synthesis unit 426.
  • Illumination light separating unit 402 separates the illumination light component I L from the image I inputted by the image input unit 110. Illumination light separating unit 402, if it is possible to separate the illumination light component I L from the image I, may be carried out any process.
  • the illumination light separating unit 402 uses the edge-preserving low-pass filter, for separating the illumination light component I L from the image I.
  • An edge preserving low-pass filter is a filter that performs smoothing while preserving edges.
  • the illumination light separation unit 402 uses, for example, a bilateral filter as an edge-preserving low-pass filter.
  • the illumination light separation unit 402 may output the illumination light component IL and the image I to the parameter acquisition unit 410.
  • the parameter acquisition unit 410 acquires parameters used for haze removal.
  • the parameter acquisition unit 410 includes an atmospheric light calculation unit 412, a transmittance calculation unit 414, and a haze concentration estimated value acquisition unit 416.
  • the atmospheric light calculation unit 412 calculates the atmospheric light A of the image I.
  • the atmospheric light calculation unit 412 may perform any process as long as the atmospheric light A of the image I can be calculated. For example, the atmospheric light calculation unit 412 first calculates the minimum RGB value including peripheral pixels for each pixel of the image I. Next, the atmospheric light calculation unit 412 extracts, from the image I, pixels whose calculated minimum value is higher 0.1%. Then, the atmospheric light calculation unit 412 sets the value of the pixel having the highest luminance among the extracted pixels as the atmospheric light A.
  • the transmittance calculating unit 414 calculates a transmittance t corresponding to the haze density for each of a plurality of pixels of the image input by the image input unit 110.
  • the transmittance calculating unit 414 may be an example of a transmittance deriving unit.
  • the transmittance calculation unit 414 may perform any process as long as the transmittance t can be calculated. For example, the transmittance calculation unit 414 calculates the transmittance t based on a dark channel prior (sometimes referred to as DCP) expressed by the following mathematical formula 2.
  • I C is the color channel of I
  • ⁇ (x) is a local region centered on x.
  • the transmittance calculator 414 may calculate the transmittance t from the value of DCP based on the assumption that the DCP in Equation 2 represents the transmittance t. For example, the transmittance calculation unit 414 may calculate the transmittance t according to the following mathematical formula 3.
  • the haze concentration estimated value acquisition unit 416 acquires the strength output by the haze concentration estimation unit 200.
  • the parameter acquisition unit 410 includes the image I, the illumination light component I L , the atmospheric light A calculated by the atmospheric light calculation unit 412, the transmittance t calculated by the transmittance calculation unit 414, and the Strength acquired by the haze density estimated value acquisition unit 416. Is output to the removal processing unit.
  • the removal processing unit 420 executes a haze removal process on the image I based on the Retinex theory represented by the following formula 4 and the atmospheric model of the haze image represented by the following formula 5.
  • the removal processing unit 420 may execute the haze removal processing using the atmospheric model of the haze image and Retinex theory on the assumption that the reflectance component included in the atmospheric light is small or can be approximated. .
  • the reflectance component included in the atmospheric light is minimal, it can be considered that the following Expression 8 holds.
  • the removal processing unit 420 further calculates the atmospheric model of the haze image and the Retinex theory on the premise that the atmospheric model can be applied only to each illumination light component for the atmospheric light, the original image, and the input image. It may be used to perform a haze removal process. According to such a premise, the following formula 9 is established.
  • the removal processing unit 420 may perform haze removal processing with different degrees of haze removal on the reflectance component and the illumination light component. For example, the removal processing unit 420 may vary the degree of haze removal by varying the transmittance t with respect to Equation 9 and Equation 10. Further, the removal processing unit 420 may vary the degree of haze removal by applying different weights to the results of Equation 9 and Equation 10.
  • the removal processing unit 420 includes an illumination light component processing unit 422 and a reflectance component processing unit 424.
  • the illumination light component processing unit 422 performs haze removal processing on the illumination light component of the image.
  • the reflectance component processing unit 424 performs haze removal processing on the reflectance component of the image.
  • the illumination light component processing unit 422 may perform haze removal processing using the HazeRemovalStrength received from the parameter adjustment unit 364. For example, the illumination light component processing unit 422 may calculate the illumination light component J L subjected to the haze removal process using the illumination light component I L , the atmospheric light A, the transmittance t, the HazeRemovalStrength, and the above formula 9. The illumination light component processing unit 422 may adjust the transmittance t using HazeRemovalStrength. Also, the illumination light component processing unit 422 may use HazeRemovalStrength instead of the transmittance t. Further, the illumination light component processing unit 422 may use a value based on HazeRemovalStrength instead of the transmittance t.
  • the parameter acquisition unit 410 may not have the haze density estimated value acquisition unit 416.
  • the haze concentration estimated value acquisition unit 416 may receive the HazeRemovalStrength from the parameter adjustment unit 364 and transmit the received HazeRemovalStrength to the removal processing unit 420.
  • the illumination light component processing unit 422 receives the illumination light component I received from the parameter acquisition unit 410 when a still image is input by the image input unit 110 or when the image processing system 100 does not include the scene control unit 300.
  • the illumination light component J L subjected to the haze removal process may be calculated using L 1 , atmospheric light A, transmittance t, Strength, and Equation 9 above.
  • the illumination light component processing unit 422 may calculate the illumination light component J L by applying Strength to the transmittance t. For example, the illumination light component processing unit 422 multiplies the transmittance t by Strength. Further, for example, the illumination light component processing unit 422 may perform weighting on the transmittance t according to the value of Strength. As a result, a more accurate haze removal process using the strength estimated by the haze concentration estimation unit 200 can be realized.
  • Reflectance component processor unit 424 from the image I and the illumination light component I L received from the parameter acquisition unit 410 may calculate the reflectance component I R.
  • the reflectance component processing unit 424 may perform haze removal processing using the HazeRemovalStrength received from the parameter adjustment unit 364. For example, the reflectance component processing unit 424 calculates the reflectance component JR subjected to the haze removal process using the illumination light component I L , the reflectance component I R , the transmittance t, the HazeRemovalStrength, and the above Equation 10. Good.
  • the reflectance component processing unit 424 may adjust the transmittance t by using HazeRemovalStrength.
  • the reflectance component processing unit 424 may use HazeRemovalStrength instead of the transmittance t. In addition, the reflectance component processing unit 424 may use a value based on HazeRemovalStrength instead of the transmittance t.
  • the parameter acquisition unit 410 may not have the haze density estimated value acquisition unit 416.
  • the haze density estimated value acquisition unit 416 may receive the HazeRemovalStrength from the parameter adjustment unit 364 and transmit the received HazeRemovalStrength to the removal processing unit 420.
  • the reflectance component processing unit 424 When the still image is input by the image input unit 110 or when the image processing system 100 does not include the scene control unit 300, the reflectance component processing unit 424 includes the illumination light component I L , the reflectance component I R , Using the transmittance t, the strength, and the above mathematical formula 10, the JR subjected to the haze removal process may be calculated.
  • the reflectance component processing unit 424 may calculate JR by applying Strength to the transmittance t. For example, the reflectance component processing unit 424 multiplies the transmittance t by Strength. Further, for example, the reflectance component processing unit 424 may perform weighting on the transmittance t according to the value of Strength. As a result, a more accurate haze removal process using the strength estimated by the haze concentration estimation unit 200 can be realized.
  • Synthesis unit 426 synthesizes the illumination light component J L haze removal process has been performed by the illumination light component processing unit 422, and a reflectance component haze removal process is performed J R by reflectance component processor unit 424.
  • the combining unit 426 generates an output image J by combining J L and JR .
  • the output image J generated by the combining unit 426 may be displayed by the display unit 120.
  • the image processing system 100 is a display device including the haze density estimation unit 200, the scene control unit 300, and the haze removal unit 400 has been described as an example, but the present invention is not limited thereto.
  • the image processing system 100 may be a display device that includes at least one of the haze density estimation unit 200, the scene control unit 300, and the haze removal unit 400.
  • the image processing system 100 may be a display device that includes only the scene change determination unit 310 among the scene change determination unit 310, the haze reliability estimation unit 330, and the haze removal parameter adjustment unit 360 included in the scene control unit 300. Good.
  • the image processing system 100 may be a display device that includes only the haze reliability estimation unit 330.
  • the haze concentration estimated value acquisition unit 340 may acquire the haze concentration estimated value estimated by another device or the like instead of the Strength output by the haze concentration estimating unit 200.
  • the haze density estimated value acquisition unit 416 includes the haze density estimation value acquisition unit 416.
  • a haze concentration estimated value estimated by another device or the like may be acquired.
  • the image processing system 100 is a display device
  • the present invention is not limited to this.
  • Other types of devices may be used as long as they are devices that process images.
  • the image processing system 100 may be a mobile phone such as a smartphone, a tablet terminal, a personal computer, an information home appliance, or the like.
  • the image processing system 100 may be an apparatus that does not have the display unit 120 and displays an image on an external display unit.
  • each unit of the image processing system 100 may be realized by hardware or may be realized by software. Further, it may be realized by a combination of hardware and software. Further, the computer may function as the image processing system 100 by executing the program.
  • the program may be installed in a computer constituting at least a part of the image processing system 100 from a computer-readable medium or a storage device connected to a network.
  • a program that is installed in a computer and causes the computer to function as the image processing system 100 according to the present embodiment works on a CPU or the like to cause the computer to function as each unit of the image processing system 100.
  • Information processing described in these programs functions as a specific means in which software and hardware resources of the image processing system 100 cooperate with each other by being read by a computer.
  • 100 image processing system 110 image input unit, 120 display unit, 200 haze density estimation unit, 202 flat and strong edge pixel extraction unit, 204 average luminance calculation unit, 206 average saturation calculation unit, 208 contrast calculation unit, 210 maximum saturation Degree acquisition unit, 212 Weight acquisition unit, 214 Haze density calculation unit, 216 Tool screen determination unit, 218 selector, 230 pixel of interest, 240 weighting graph, 242 weighting graph, 300 scene control unit, 310 scene change determination unit, 312 high saturation pixel Extraction unit, 314 Hue histogram generation unit, 316 High saturation pixel rate measurement unit, 318 Flat & strong edge pixel extraction unit, 320 Average luminance calculation unit, 322 Average saturation calculation unit, 324 Judgment processing unit, 330 Haze reliability estimation unit, 332 Flat & strong Wedge pixel extraction unit, 334 average luminance calculation unit, 336 high saturation pixel extraction unit, 338 high saturation pixel rate measurement unit, 340 haze density estimated value acquisition unit, 342 reliability calculation unit (haze reliability estimation unit

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Image Processing (AREA)
  • Studio Devices (AREA)
  • Image Analysis (AREA)
  • Facsimile Image Signal Circuits (AREA)
  • Investigating Or Analysing Materials By Optical Means (AREA)
  • Processing Or Creating Images (AREA)

Abstract

　画像内からより適切に霧を除去する技術が求められていた。動画に含まれる複数のフレームのうちの一のフレームのヘイズ濃度の推定値を導出するヘイズ濃度推定部と、一のフレームのヘイズ濃度の推定値と、一のフレームと一のフレームの過去のフレームとの関係から、一のフレームのヘイズ除去処理に用いるパラメータを調整するパラメータ調整部と、パラメータ調整部によって調整されたパラメータに基づいて、一のフレームにヘイズ除去処理を実行するヘイズ除去部とを備える画像処理システムを提供する。

Description

画像処理システム及びコンピュータ読み取り可能な記録媒体
　本発明は、画像処理システム及びコンピュータ読み取り可能な記録媒体に関する。米国において本出願は、国際出願ＰＣＴ／ＪＰ２０１４／００３１３１（出願日：２０１４年６月１２日）の一部継続出願であり、かつ、国際出願ＰＣＴ／ＪＰ２０１５／０５６０８６（出願日：２０１５年３月２日）の一部継続出願である。
　大気モデルに基づいて画像内の霧を除去する技術が知られていた（例えば、特許文献１参照）。
　［先行技術文献］
　［特許文献］
　［特許文献１］特開２０１２－１６８９３６号公報
　画像内からより適切に霧を除去する技術が求められていた。
　本発明の第１の態様によれば、画像処理システムが提供される。上記画像処理システムは、動画に含まれる複数のフレームのうちの一のフレームのヘイズ濃度の推定値を導出するヘイズ濃度推定部を備えてよい。上記画像処理システムは、上記一のフレームのヘイズ濃度の推定値と、上記一のフレームと上記一のフレームの過去のフレームとの関係から、上記一のフレームのヘイズ除去処理に用いるパラメータを調整するパラメータ調整部を備えてよい。上記画像処理システムは、上記パラメータ調整部によって調整された上記パラメータに基づいて、上記一のフレームにヘイズ除去処理を実行するヘイズ除去部を備えてよい。
　上記パラメータ調整部は、上記一のフレームのヘイズ濃度の推定値を上記一のフレームのヘイズ濃度目標値として、上記過去のフレームにおいて調整された上記パラメータから上記ヘイズ濃度目標値に段階的に近づくように上記一のフレームのヘイズ除去処理に用いるパラメータを調整してよい。上記画像処理システムは、上記一のフレームがシーンチェンジしたフレームであるか否かを判定するシーンチェンジ判定部をさらに備えてよく、上記シーンチェンジ判定部が上記一のフレームと上記過去のフレームとの関係において、上記一のフレームがシーンチェンジしたフレームであると判定した場合、上記パラメータ調整部は、上記ヘイズ濃度目標値に段階的に近づける幅を大きくしてよい。上記画像処理システムは、上記ヘイズ濃度の推定値の信頼度を推定するヘイズ信頼度推定部と、上記過去のフレームのヘイズ濃度目標値を取得する目標値取得部と、上記目標値取得部が取得した上記過去のフレームの上記ヘイズ濃度目標値と、上記ヘイズ濃度推定部が導出した上記一のフレームのヘイズ濃度の推定値とのいずれかを、上記一のフレームのヘイズ濃度目標値として決定する目標値決定部と、上記目標値決定部によって決定された上記一のフレームのヘイズ濃度目標値と、上記一のフレームの過去のフレームのヘイズ除去処理に用いたパラメータとの差分絶対値を導出する差分絶対値導出部とをさらに備えてよく、上記パラメータ調整部は、上記過去のフレームのヘイズ除去処理に用いたパラメータから上記目標値決定部により決定された上記一のフレームのヘイズ濃度目標値に段階的に近づくように、上記信頼度と、上記差分絶対値と、上記一のフレームがシーンチェンジしたフレームであるか否かとに応じた調整量で、上記一のフレームのヘイズ除去処理に用いるパラメータを調整してよい。上記パラメータ調整部は、上記一のフレームがシーンチェンジしたフレームであると判定された場合、上記パラメータを第１の調整量で調整し、上記一のフレームがシーンチェンジしたフレームでないと判定され、上記推定値の信頼度が第１の閾値より大きくかつ上記差分絶対値が第２の閾値より大きい場合、上記パラメータを上記第１の調整量よりも少ない第２の調整量で調整し、上記一のフレームがシーンチェンジしたフレームでないと判定され、かつ、上記推定値の信頼度が上記第１の閾値より小さい又は上記差分絶対値が上記第２の閾値より小さい場合、上記パラメータを上記第２の調整量より少ない第３の調整量で調整してよい。
　上記画像処理システムは、上記ヘイズ濃度の推定値の信頼度を推定するヘイズ信頼度推定部をさらに備えてよく、上記ヘイズ信頼度推定部が上記一のフレームにおいて、上記ヘイズ濃度の推定値が信頼できないと判断した場合、上記パラメータ調整部は、上記過去のフレームの時点で設定した目標値に段階的に近づくように上記一のフレームのヘイズ除去処理に用いるパラメータを調整してよい。上記画像処理システムは、上記ヘイズ濃度の推定値の信頼度を推定するヘイズ信頼度推定部と、上記過去のフレームのヘイズ濃度目標値を取得する目標値取得部と、上記ヘイズ信頼度推定部が推定した上記信頼度に基づいて、上記目標値取得部が取得した上記過去のフレームの上記ヘイズ濃度目標値と、上記ヘイズ濃度推定部が導出した上記一のフレームのヘイズ濃度の推定値とのいずれを、上記一のフレームのヘイズ除去処理に用いるパラメータを調整するために用いるかを決定する目標値決定部とをさらに備えてよい。上記画像処理システムは、上記目標値取得部が取得した上記過去のフレームのヘイズ濃度目標値と、上記ヘイズ濃度推定部が導出した上記一のフレームの上記ヘイズ濃度の推定値との差分絶対値を導出する差分絶対値導出部をさらに備えてよく、上記目標値決定部は、上記一のフレームがシーンチェンジしたフレームである場合と、上記一のフレームがシーンチェンジしたフレームでなく、上記推定値の信頼度が第１閾値より大きく、かつ上記差分絶対値が第２閾値より大きい場合、上記一のフレームのヘイズ濃度の推定値を上記一のフレームのヘイズ除去処理に用いるパラメータを調整するために用いることを決定し、上記一のフレームがシーンチェンジしたフレームでなく、上記推定値の信頼度が上記第１閾値より小さい又は上記差分絶対値が上記第２閾値より小さい場合、上記過去のフレームのヘイズ濃度目標値を上記一のフレームのヘイズ除去処理に用いるパラメータを調整するために用いることを決定してよい。
　本発明の第２の態様によれば、画像処理システムが提供される。上記画像処理システムは、画像の少なくとも一部の領域の輝度の評価値を導出する輝度評価値導出部を備えてよい。上記画像処理システムは、画像の少なくとも一部の領域の彩度の評価値を導出する彩度評価値導出部を備えてよい。上記画像処理システムは、画像の少なくとも一部の領域のコントラストの評価値を導出するコントラスト評価値導出部を備えてよい。上記画像処理システムは、上記輝度の評価値、上記彩度の評価値及び上記コントラストの評価値に基づいて、上記画像のヘイズ濃度の推定値を導出するヘイズ濃度推定部を備えてよい。
　上記画像処理システムは、上記画像から平坦でも強エッジでもない画素を抽出する第１画素抽出部を備えてよく、上記ヘイズ濃度推定部は、上記第１画素抽出部によって抽出された上記平坦でも強エッジでもない画素の輝度の評価値、彩度の評価値及びコントラストの評価値に基づいて、上記ヘイズ濃度の推定値を導出してよい。
　本発明の第３の態様によれば、画像処理システムが提供される。上記画像処理システムは、画像から平坦でも強エッジでもない画素を抽出する第１画素抽出部を備えてよい。また上記画像処理システムは、上記第１画素抽出部によって抽出された上記平坦でも強エッジでもない画素の輝度の評価値、彩度の評価値及びコントラストの評価値の少なくとも２つに基づいて、上記画像のヘイズ濃度の推定値を導出するヘイズ濃度推定部を備えてよい。
　上記輝度の評価値は、上記領域の平均輝度値であってよい。上記彩度の評価値は、上記領域の平均彩度値であってよい。上記コントラストの評価値は、上記領域のコントラスト値であってよい。上記ヘイズ濃度推定部は、上記平均輝度値が高いほど高い値の上記ヘイズ濃度の推定値を導出してよい。上記ヘイズ濃度推定部は、上記平均彩度値が低いほど高い値の上記ヘイズ濃度の推定値を導出してよい。上記ヘイズ濃度推定部は、上記コントラスト値が低いほど高い値の上記ヘイズ濃度の推定値を導出してよい。上記画像は複数のフレームを含む動画であってよく、上記画像処理システムは、上記複数のフレームのうちの一のフレームにおける、彩度が予め定められた閾値より高い高彩度画素を抽出する高彩度画素抽出部と、上記一のフレームにおける上記高彩度画素の割合を示す高彩度画素率を導出する高彩度画素率導出部と、上記高彩度画素率が予め定められた閾値より高いか否かに応じて、異なる基準に基づいて、上記画像にシーンチェンジが含まれるか否かを判定するシーンチェンジ判定部とを備えてよい。上記画像処理システムは、上記一のフレームにおける上記高彩度画素率と、上記一のフレームの平均輝度値とに基づいて、上記一のフレームの上記ヘイズ濃度の推定値の信頼度を導出する信頼度導出部を備えてよい。上記画像処理システムは、上記信頼度導出部が導出した上記一のフレームのヘイズ濃度の推定値の信頼度と、上記一のフレームがシーンチェンジしたフレームであるかを示すシーンチェンジフラグとに基づいて、上記一のフレームに対するヘイズ除去処理に用いるパラメータを調整するパラメータ調整部を備えてよい。
　上記画像処理システムは、上記画像の複数の画素毎のヘイズ濃度に対応する透過率を導出する透過率導出部と、上記ヘイズ濃度の推定値及び上記透過率に基づいて、上記画像にヘイズ除去処理を実行するヘイズ除去部とを備えてよい。上記画像処理システムは、上記画像から平坦でも強エッジでもない画素を抽出する第２画素抽出部をさらに備えてよく、上記ヘイズ除去部は、上記第２画素抽出部によって抽出された上記平坦でも強エッジでもない画素の、上記画像における割合に基づいて、上記ヘイズ除去処理を実行するか否かを決定してよい。
　本発明の第４の態様によれば、画像処理システムが提供される。上記画像処理システムは、動画に含まれる複数のフレームのうちの一のフレームから、彩度が予め定められた閾値より高い高彩度画素を抽出する高彩度画素抽出部を備えてよい。上記画像処理システムは、上記一のフレームにおける上記高彩度画素の割合を示す高彩度画素率を導出する高彩度画素率導出部を備えてよい。上記画像処理システムは、上記一のフレームにおける上記高彩度画素率が予め定められた閾値より高いか否かに応じて、異なる基準に基づいて、上記画像にシーンチェンジが含まれるか否かを判定するシーンチェンジ判定部を備えてよい。
　上記シーンチェンジ判定部は、上記高彩度画素率が上記閾値よりも高い場合、上記一のフレームの色相と、上記一のフレームの過去のフレームの色相とに基づいて、上記画像にシーンチェンジが含まれるか否かを判定してよい。上記シーンチェンジ判定部は、上記高彩度画素率が上記閾値以下の場合、上記一のフレームの高彩度画素率と、上記一のフレームの過去のフレームの高彩度画素率とに基づいて、上記画像にシーンチェンジが含まれるか否かを判定してよい。上記画像処理システムは、上記一のフレームのヘイズ濃度の推定値を取得するヘイズ濃度推定値取得部と、上記一のフレームにおける上記高彩度画素率と、上記一のフレームの平均輝度値とに基づいて、上記ヘイズ濃度の推定値の信頼度を導出する信頼度導出部とを備えてよい。上記信頼度導出部は、上記推定値が予め定められた閾値よりも高い場合、上記平均輝度値が大きいほど高い信頼度を導出し、かつ、上記高彩度画素率が低いほど高い信頼度を導出してよい。上記信頼度導出部は、上記推定値が予め定められた閾値以下の場合、上記平均輝度値が小さいほど高い信頼度を導出し、かつ、上記高彩度画素率が高いほど高い信頼度を導出してよい。
　上記画像処理システムは、ヘイズ濃度目標値を取得する目標値取得部と、上記信頼度導出部が導出した上記信頼度に基づいて、上記目標値取得部が取得した上記一のフレームの過去のフレームのヘイズ濃度目標値と、上記ヘイズ濃度推定値取得部が取得した上記ヘイズ濃度の推定値とのいずれをヘイズ除去処理に用いるパラメータを調整するために用いるかを決定する目標値決定部とを備えてよい。上記画像処理システムは、上記目標値取得部が取得したヘイズ濃度目標値と、上記ヘイズ濃度推定値取得部が取得した上記ヘイズ濃度の推定値との差分絶対値を導出する差分絶対値導出部に備えてよく、上記目標値決定部は、上記推定値の信頼度及び上記差分絶対値、又は、上記一のフレームがシーンチェンジしたフレームであるかを示すシーンチェンジフラグに基づいて、上記目標値取得部が取得した上記ヘイズ濃度目標値と、上記ヘイズ濃度推定値取得部が取得した上記ヘイズ濃度の推定値とのいずれをヘイズ除去処理に用いるパラメータを調整するために用いるかを決定してよい。
　上記画像処理システムは、上記一のフレームのヘイズ除去処理に用いるパラメータを、上記目標値決定部によって決定された上記ヘイズ濃度目標値又は上記ヘイズ濃度の推定値に対応する値に段階的に近づけるように調整するパラメータ調整部を備えてよい。上記パラメータ調整部は、上記目標値決定部によって決定された上記ヘイズ濃度目標値又は上記ヘイズ濃度の推定値と、上記一のフレームの過去のフレームのヘイズ除去処理に用いたパラメータとの差分絶対値、上記ヘイズ濃度の推定値の信頼度、及び上記一のフレームがシーンチェンジしたフレームであるかを示すシーンチェンジフラグに応じた調整量で、上記ヘイズ除去処理に用いるパラメータを、上記目標値決定部によって決定された上記ヘイズ濃度目標値又は上記ヘイズ濃度の推定値に対応する値に段階的に近づけるように調整してよい。
　本発明の第５の態様によれば、画像処理システムが提供される。上記画像処理システムは、画像のヘイズ濃度を取得するヘイズ濃度取得部を備えてよい。上記画像処理システムは、上記ヘイズ濃度に基づいて、上記画像の反射率成分と上記画像の照明光成分に、ヘイズ除去度がそれぞれ異なるヘイズ除去処理を施す除去処理部を備えてよい。上記画像処理システムは、上記ヘイズ除去処理が施された上記反射率成分及び上記照明光成分を合成する合成部を備えてよい。上記除去処理部は、大気光に含まれる反射率成分がないと近似できることを前提として、ヘイズ画像の大気モデルとレティネックス理論とを用いて、上記画像の反射率成分と上記画像の照明光成分とに、ヘイズ除去度がそれぞれ異なるヘイズ除去処理を施してよい。上記除去処理部は、上記照明光成分のみに対して上記ヘイズ画像の大気モデルが適用できることをさらに前提として、ヘイズ画像の大気モデルとレティネックス理論とを用いて、上記画像の反射率成分と上記画像の照明光成分とに、ヘイズ除去度がそれぞれ異なるヘイズ除去処理を施してよい。
　本発明の第６の態様によれば、コンピュータを、上記画像処理システムとして機能させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体が提供される。
　なお、上記の発明の概要は、本発明の必要な特徴の全てを列挙したものではない。また、これらの特徴群のサブコンビネーションもまた、発明となりうる。
画像処理システム１００の機能構成の一例を概略的に示す。 ヘイズ濃度推定部２００の機能構成の一例を概略的に示す。 平坦＆強エッジ画素の抽出処理を説明するための図である。 重み付けグラフ２４０の一例を概略的に示す。 重み付けグラフ２４２の一例を概略的に示す。 ヒストグラム値について説明するための図である。 シーン制御部３００の機能構成の一例を概略的に示す。 シーンチェンジ判定部３１０の機能構成の一例を概略的に示す。 ヘイズ信頼度推定部３３０の機能構成の一例を概略的に示す。 重み付けグラフ３５２の一例を概略的に示す。 重み付けグラフ３５４の一例を概略的に示す。 ヘイズ除去パラメータ調整部３６０の機能構成の一例を概略的に示す。 ヘイズ除去部４００の機能構成の一例を概略的に示す。
　以下、発明の実施の形態を通じて本発明を説明するが、以下の実施形態は請求の範囲にかかる発明を限定するものではない。また、実施形態の中で説明されている特徴の組み合わせの全てが発明の解決手段に必須であるとは限らない。
　図１は、画像処理システム１００の機能構成の一例を概略的に示す。本実施形態に係る画像処理システム１００は、入力画像に含まれるヘイズを除去して表示する表示装置であってよい。ヘイズとは、微粒子により視界が悪くなる大気現象全般を含む。例えば、ヘイズは霧、靄、霞、煙、粉塵、砂塵、雨及び雪等を含む。表示装置は、液晶ディスプレイ、プラズマディスプレイ及び有機ＥＬディスプレイ等であってよい。
　画像処理システム１００は、画像入力部１１０、表示部１２０、ヘイズ濃度推定部２００、シーン制御部３００及びヘイズ除去部４００を備える。画像入力部１１０は、画像を入力する。画像は、動画又は静止画であってよく、また、動画に含まれるフレームであってもよい。画像入力部１１０は、ＲＧＢデータ、ＹＵＶデータ又はＨＳＶデータを入力してよい。画像処理システム１００は、入力されたＹＵＶデータをＲＧＢデータに変換してもよい。
　ヘイズ濃度推定部２００は、入力された画像毎のヘイズ濃度の推定値を導出する。画像のヘイズ濃度とは、画像に含まれるヘイズの濃度である。例えば、同一の空間を撮像した場合、空間の霧の濃度が高いときの方が、空間の霧の濃度が低いときよりも、画像のヘイズ濃度が高い。
　シーン制御部３００は、入力された動画にシーンチェンジが含まれるか否かを判定する。シーン制御部３００は、入力された動画にシーンチェンジが含まれるか否かに基づいて、ヘイズ除去処理に用いるパラメータを生成してよい。ヘイズ除去部４００は、入力された画像からヘイズを除去する。ヘイズ除去部４００は、シーン制御部３００によって生成されたパラメータを用いて、入力された画像からヘイズを除去してよい。表示部１２０は、ヘイズ除去部４００によってヘイズが除去された画像を表示する。
　例えば、シーン制御部３００は、動画にシーンチェンジが検出されていない場合には、複数のフレームに渡って段階的にヘイズ除去の強度を変化させるべく、ヘイズ除去処理に用いるパラメータを生成する。そして、ヘイズ除去部４００は、シーン制御部３００が生成したパラメータを用いることによって、動画にシーンチェンジが検出されていない場合には、複数のフレームに渡って段階的にヘイズ除去の強度を変化させる。これにより、ヘイズ除去によって画像が急激に変化してしまうことを防止でき、いわゆるフリッカーのような現象の発生を抑制できる。
　また、例えば、シーン制御部３００は、動画にシーンチェンジが検出された場合には、動画にシーンチェンジが検出されていない場合よりも少ない数のフレームに渡って段階的にヘイズ除去の強度を変化させるべく、ヘイズ除去処理に用いるパラメータを生成する。そして、ヘイズ除去部４００は、シーン制御部３００が生成したパラメータを用いることによって、動画にシーンチェンジが検出された場合には、動画にシーンチェンジが検出されていない場合よりも少ない数のフレームに渡って段階的にヘイズ除去の強度を変化させる。
　なお、画像処理システム１００は、シーン制御部３００を備えなくてもよい。この場合、ヘイズ除去部４００は、ヘイズ濃度推定部２００によって導出された画像のヘイズ濃度の推定値に基づいて、入力された画像からヘイズを除去する。これにより、ヘイズ濃度推定部２００によって推定されたヘイズ濃度に基づく、精度の高いヘイズ除去処理を実現することができる。
　図２は、ヘイズ濃度推定部２００の機能構成の一例を概略的に示す。ヘイズ濃度推定部２００は、平坦＆強エッジ画素抽出部２０２、平均輝度算出部２０４、平均彩度算出部２０６、コントラスト算出部２０８、最大彩度取得部２１０、重み付け取得部２１２、ヘイズ濃度算出部２１４、ツール画面判定部２１６及びセレクタ２１８を備える。
　平坦＆強エッジ画素抽出部２０２は、画像入力部１１０によって入力された画像から、平坦でも強エッジでもない画素を抽出する。平坦＆強エッジ画素抽出部２０２は、例えば、画像から平坦又は強エッジである画素を抽出して、抽出した画素を当該画像から除外することによって、平坦でも強エッジでもない画素を抽出する。平坦＆強エッジ画素抽出部２０２は、第１画素抽出部の一例であってよい。
　平均輝度算出部２０４は、平坦でも強エッジでもない画素の平均輝度値（ＡＶＥＹと記載する場合がある。）を算出する。平均輝度値は、輝度の評価値の一例であってよい。平均輝度算出部２０４は、輝度評価値導出部の一例であってよい。
　平均彩度算出部２０６は、平坦でも強エッジでもない画素の平均彩度値（ＡＶＥＳと記載する場合がある。）を算出する。平均彩度値は、彩度の評価値の一例であってよい。平均彩度算出部２０６は、彩度評価値導出部の一例であってよい。
　コントラスト算出部２０８は、平坦でも強エッジでもない画素のコントラスト値を算出する。コントラスト値は、コントラストの評価値の一例であってよい。コントラスト算出部２０８は、コントラスト評価値導出部の一例であってよい。
　コントラスト算出部２０８は、平坦でも強エッジでもない画素のヒストグラムを生成してよい。コントラスト算出部２０８は、任意のビン数のヒストグラムを生成してよい。そして、コントラスト算出部２０８は、生成したヒストグラムの最大値から最小値を減算して、ヒストグラム幅（ＨＩＳＴＷＩＤＴＨと記載する場合がある。）を算出してよい。このとき、コントラスト算出部２０８は、複数のビンのうち、その値が閾値を超えているビンのうちの最大値から最小値を減算してよい。
　ＨＩＳＴＷＩＤＴＨは、コントラスト値の一例であってよい。コントラスト算出部２０８は、ヒストグラムのビン数を、ヒストグラムの最大幅（ＭＡＸＷＩＤＴＨと記載する場合がある。）として出力してよい。
　最大彩度取得部２１０は、画像処理システム１００における最大彩度（ＭＡＸＳと記載する場合がある。）を取得する。重み付け取得部２１２は、画像のヘイズ濃度を算出するときに用いる重み付け値（ｃｏｅｆと記載する場合がある。）を取得する。重み付け取得部２１２は、例えば、画像処理システム１００の製造者又は使用者によって指定されたｃｏｅｆを取得する。
　ヘイズ濃度算出部２１４は、画像のヘイズ濃度の推定値（Ｓｔｒｅｎｇｔｈと記載する場合がある。）を算出する。ヘイズ濃度算出部２１４は、平坦でも強エッジでもない画素の輝度の評価値、彩度の評価値及びコントラストの評価値に基づいて、Ｓｔｒｅｎｇｔｈを算出してよい。
　ヘイズ濃度算出部２１４は、平均輝度算出部２０４によって算出された平均輝度値と、平均彩度算出部２０６によって算出された平均彩度値と、コントラスト算出部２０８によって算出されたコントラスト値とに基づいて、Ｓｔｒｅｎｇｔｈを算出してよい。ヘイズ濃度算出部２１４は、平均輝度値と、平均彩度値と、コントラスト値とを乗算することによって、Ｓｔｒｅｎｇｔｈを算出してよい。ヘイズ濃度算出部２１４は、平均彩度値と、最大彩度から平均彩度値を減算した値と、ヒストグラムの最大幅からコントラスト値を減算した値とを乗算してよい。
　このとき、ヘイズ濃度算出部２１４は、平均輝度値に重み付けをしてよい。例えば、ヘイズ濃度算出部２１４は、値が高いほどより値が高くなり、値が低いほどより値が低くなる重み付けをしてよい。また、ヘイズ濃度算出部２１４は、平均彩度値に重み付けをしてよい。例えば、ヘイズ濃度算出部２１４は、値が高いほどより値が高くなり、値が低いほどより値が低くなる重み付けをしてよい。
　ヘイズ濃度算出部２１４は、例えば、下記数式１によって、Ｓｔｒｅｎｇｔｈを算出する。
Figure JPOXMLDOC01-appb-M000001
　これにより、ヘイズ濃度算出部２１４は、平均輝度値が高いほど高い値のヘイズ濃度の推定値を導出でき、平均彩度値が低いほど高い値のヘイズ濃度の推定値を導出でき、コントラスト値が低いほど高い値のヘイズ濃度の推定値を導出できる。画像のヘイズ濃度が高い場合、画像のコントラストが低く、平均の輝度が高くかつ平均の彩度が低いという仮定が成り立つことから、ヘイズ濃度算出部２１４によれば、ヘイズの特徴を反映した、より精度の高いヘイズ濃度の推定値を算出することができる。
　ツール画面判定部２１６は、入力された画像がツール画面であるか否かを判定する。ツール画面とは、例えば、表示部１２０の表示パラメータを設定する画面及び画像の表示パラメータを設定する画面等である。
　例えば、表示部１２０が監視カメラ映像を表示している間に、監視カメラ映像内にヘイズが発生したときは、ヘイズ除去部４００によってヘイズ除去処理が実行されることが望ましい。一方、表示部１２０が監視カメラ映像を表示している間に、監視カメラ映像の閲覧者が表示パラメータの設定を変更するべくツール画面を表示させた場合、当該ツール画面に対してヘイズ除去処理が実行されてしまうと、不必要に画面が暗くなったり、ちらついたりしてしまう場合がある。
　そこで、本実施形態に係るヘイズ濃度推定部２００は、入力された画像がツール画面と判定された場合には、ヘイズ濃度の推定値として０を出力し、入力された画像がツール画面と判定されなかった場合、ヘイズ濃度算出部２１４によって算出されたＳｔｒｅｎｇｔｈを出力するよう制御する。
　具体的には、セレクタ２１８が、ヘイズ濃度算出部２１４によって算出されたＳｔｒｅｎｇｔｈと、ツール画面判定部２１６によるツール画面判定結果を受信して、入力された画像がツール画面でない場合にはＳｔｒｅｎｇｔｈをシーン制御部３００又はヘイズ除去部４００に出力し、入力された画像がツール画面である場合には０をシーン制御部３００又はヘイズ除去部４００に出力する。これにより、ヘイズ除去部４００は、入力された画像がツール画面であることを判別することができる。ヘイズ除去部４００は、入力された画像がツール画面である場合には、ヘイズ除去処理を実行しないことを決定してよい。なお、ヘイズ濃度推定部２００は、０を出力する代わりに、低い値の推定値を出力してもよい。例えば、ヘイズ濃度推定部２００は、ヘイズ濃度算出部２１４によって算出されるＳｔｒｅｎｇｔｈの最小値よりも低い値の推定値を出力する。
　ツール画面判定部２１６は、平坦＆強エッジ画素抽出部２０２によって抽出された平坦でも強エッジでもない画素に基づいて、入力された画像がツール画面であるか否かを判定してよい。ここで、平坦＆強エッジ画素抽出部２０２は、平均輝度算出部２０４、平均彩度算出部２０６及びコントラスト算出部２０８に対して出力する平坦でも強エッジでもない画素を抽出する第１の基準とは異なる第２の基準に従って、ツール画面判定部２１６に対して出力する平坦でも強エッジでもない画素を抽出してよい。第２の基準は、第１の基準に比べて、平坦でも強エッジでもない画素と判定されにくい基準であってよい。平坦＆強エッジ画素抽出部２０２は、第２画素抽出部の一例であってよい。
　ツール画面判定部２１６は、入力された画像の全画素に対する、平坦＆強エッジ画素抽出部２０２から受信した平坦でも強エッジでもない画素の割合が、予め定められた閾値以下の場合、ツール画面でないと判定し、予め定められた閾値より大きい場合、ツール画面であると判定してよい。
　また、ツール画面判定部２１６は、第１の基準に従って抽出された平坦又は強エッジである画素に対する、第２の基準に従って抽出された平坦又は強エッジである画素の割合が、予め定められた閾値以下の場合に、ツール画面であると判定し、予め定められた閾値より大きい場合、ツール画面でないと判定してもよい。
　なお、ツール画面判定部２１６によれば、ツール画面に限らず、入力された画像における、平坦でも強エッジでもない画素の割合が小さい画面であれば、他の種類の画面であっても判定することができる。例えば、ツール画面判定部２１６によれば、入力された画像が、表示部１２０の表示領域全体における、画像表示領域以外の領域の割合が高い画像であるか否かを判定できる。ツール画面判定部２１６は、入力された画像が、ヘイズ除去処理を実行する対象であるか否かを判定するヘイズ除去処理対象判定部の一例であってよい。
　なお、ここでは、平均輝度算出部２０４、平均彩度算出部２０６及びコントラスト算出部２０８が、平坦でも強エッジでもない画素の平均輝度値、平均彩度値及びコントラスト値を算出する場合を例に挙げて説明したが、これに限らない。平均輝度算出部２０４、平均彩度算出部２０６及びコントラスト算出部２０８は、入力された画像の全体の平均輝度値、平均彩度値及びコントラスト値を算出してもよい。また、平均輝度算出部２０４、平均彩度算出部２０６及びコントラスト算出部２０８は、入力された画像の一部の平均輝度値、平均彩度値及びコントラスト値を算出してもよい。
　図３は、平坦＆強エッジ画素の抽出処理の一例を説明するための図である。平坦＆強エッジ画素抽出部２０２は、注目画素２３０が平坦又は強エッジであるか否かを判定する場合、まず、注目画素２３０を中心とした縦横それぞれ７画素について画素値の最大値及び最小値を取得する。
　次に、平坦＆強エッジ画素抽出部２０２は、縦方向の７画素及び横方向の７画素のそれぞれについて、最大値から最小値を減算した値を算出する。そして、平坦＆強エッジ画素抽出部２０２は、縦方向及び横方向の少なくとも一方において、最大値から最小値を減算した値が、第１閾値以下である場合、及び、第１閾値よりも大きな値の第２閾値以上である場合に、注目画素２３０を、平坦又は強エッジである画素として判定する。
　なお、縦方向の画素数及び横方向の画素数は７画素以外の画素数であってもよい。また、平坦＆強エッジ画素抽出部２０２は、第１の基準に従って平坦又は強エッジである画素を抽出する場合、第１閾値及び第２閾値を用いてよく、第２の基準に従って平坦又は強エッジである画素を抽出する場合、第１閾値より大きくかつ第２閾値より小さい第３閾値と、第３閾値より大きくかつ第２閾値より小さい第４閾値とを用いてよい。
　図４Ａは、重み付けグラフ２４０一例を概略的に示す。また、図４Ｂは、重み付けグラフ２４２の一例を概略的に示す。重み付けグラフ２４０は、ヘイズ濃度算出部２１４が、平均輝度値に対して重み付けをするときに用いる重み付け値の一例を示す。図４Ａ及び図４Ｂでは、入力信号が１０ｂｉｔである場合を例示する。ヘイズ濃度算出部２１４は、重み付けグラフ２４０に従って平均輝度値に対して重み付けをすることによって、平均輝度値が高いほどより値が高くなり、平均輝度値が低いほどより値が低くなる重み付けをすることができる。
　ヘイズ濃度算出部２１４は、平均彩度値に対して重み付けをするときにも、重み付けグラフ２４０を用いてよい。ヘイズ濃度算出部２１４は、平均輝度値に対して重み付けをするときと、平均彩度値に対して重み付けをするときとで、値が同じ重み付けグラフ２４０を用いてよく、値が異なる重み付けグラフ２４０を用いてもよい。例えば、平均輝度値の重み付けを、平均彩度値よりも重くする場合、ヘイズ濃度算出部２１４は、重み付けグラフ２４２に示すように、より重み付けが重くなる重み付けグラフ２４２を用いて、平均輝度値に重み付けをしてよい。
　図５は、ヒストグラム値について説明するための図である。図５は、ヒストグラムのビン数を１６とした場合を例示している。コントラスト算出部２０８は、図５に示すように、複数のビンのうち、その値が閾値を超えているビンの最大値から最小値を減算することによって、ＨＩＳＴＷＩＤＴＨを算出してよい。
　図６は、シーン制御部３００の機能構成の一例を概略的に示す。シーン制御部３００は、シーンチェンジ判定部３１０、ヘイズ信頼度推定部３３０及びヘイズ除去パラメータ調整部３６０を備える。
　シーンチェンジ判定部３１０は、画像入力部１１０によって入力された動画にシーンチェンジが含まれるか否かを判定する。シーンチェンジ判定部３１０は、動画に含まれる複数のフレームのそれぞれについて、シーンチェンジしたフレームであるか否かを示すシーンチェンジフラグを対応付けてよい。
　ヘイズ信頼度推定部３３０は、画像入力部１１０によって入力された動画に含まれるフレームについて、ヘイズ濃度推定部２００から出力されたＳｔｒｅｎｇｔｈの信頼度を推定する。
　ヘイズ除去パラメータ調整部３６０は、動画に含まれる複数のフレームに対するヘイズ除去処理に用いるパラメータを調整して、ヘイズ除去部４００に出力する。ヘイズ除去パラメータ調整部３６０は、一のフレームと、当該一のフレームの過去のフレームとの関係から、当該一のフレームのヘイズ除去処理に用いるパラメータを調整してよい。ヘイズ除去パラメータ調整部３６０は、ヘイズ信頼度推定部３３０が推定した信頼度と、シーンチェンジ判定部３１０が生成したシーンチェンジフラグとに基づいて、動画に含まれる複数のフレームに対するヘイズ除去処理に用いるパラメータを調整して、ヘイズ除去部４００に出力してよい。
　図７は、シーンチェンジ判定部３１０の機能構成の一例を概略的に示す。シーンチェンジ判定部３１０は、高彩度画素抽出部３１２、色相ヒストグラム生成部３１４、高彩度画素率計測部３１６、平坦＆強エッジ画素抽出部３１８、平均輝度算出部３２０、平均彩度算出部３２２及び判定処理部３２４を備える。
　高彩度画素抽出部３１２は、画像入力部１１０によって入力された動画に含まれる複数のフレームのうちの一のフレームから、高彩度画素を抽出する。高彩度画素は、その彩度が予め定められた閾値より高い画素であってよい。高彩度画素抽出部３１２は、ＲＧＢデータを受信した場合、フレームに含まれる複数の画素のそれぞれについて、Ｒ成分、Ｇ成分及びＢ成分の最大値と最小値との差分が予め定められた閾値以上である画素を高彩度画素として抽出してよい。また、高彩度画素抽出部３１２は、ＨＳＶデータを受信した場合、フレームに含まれる複数の画素のそれぞれについて、Ｓ成分が予め定められた閾値以上である画素を高彩度画素として抽出してよい。
　色相ヒストグラム生成部３１４は、高彩度画素抽出部３１２によって抽出された高彩度画素について、色相のヒストグラム（ＨｕｅＨＩＳＴと記載する場合がある。）を生成する。なお、ここでは、色相ヒストグラム生成部３１４が、高彩度画素抽出部３１２によって抽出された高彩度画素についてＨｕｅＨＩＳＴを生成する場合を例に挙げて説明するが、これに限らない。色相ヒストグラム生成部３１４は、画像入力部１１０によって入力された動画に含まれるフレームについてＨｕｅＨＩＳＴを生成してもよい。
　高彩度画素率計測部３１６は、一のフレームにおける高彩度画素の割合を示す高彩度画素率（ＨｉｇｈＳａｔＲａｔｅと記載する場合がある。）を計測する。高彩度画素率計測部３１６は、一のフレームの全画素に対する光彩度画素の割合をＨｉｇｈＳａｔＲａｔｅとしてよい。高彩度画素率計測部３１６は、一のフレームにおける高彩度画素率を導出する高彩度画素率導出部の一例であってよい。
　平坦＆強エッジ画素抽出部３１８は、画像入力部１１０によって入力された動画に含まれる複数のフレームのうちの一のフレームから、平坦でも強エッジでもない画素を抽出する。平坦＆強エッジ画素抽出部３１８は、平坦＆強エッジ画素抽出部２０２と同様に平坦でも強エッジでもない画素を抽出してよい。このとき、平坦＆強エッジ画素抽出部３１８は、第１の基準に従って平坦でも強エッジでもない画素を抽出してもよく、第２の基準に従って平坦でも強エッジでもない画素を抽出してもよく、また、他の基準に従って平坦でも強エッジでもない画素を抽出してもよい。
　平均輝度算出部３２０は、平坦＆強エッジ画素抽出部３１８によって抽出された平坦でも強エッジでもない画素のＡＶＥＹを算出する。なお、ここでは、平均輝度算出部３２０が、平坦＆強エッジ画素抽出部３１８によって抽出された平坦でも強エッジでもない画素のＡＶＥＹを算出する場合を例に挙げて説明するが、これに限らない。平均輝度算出部３２０は、画像入力部１１０によって入力された動画に含まれるフレームについてＡＶＥＹを算出してもよい。
　平均彩度算出部３２２は、平坦＆強エッジ画素抽出部３１８によって抽出された平坦でも強エッジでもない画素のＡＶＥＳを算出する。なお、ここでは、平均彩度算出部３２２が、平坦＆強エッジ画素抽出部３１８によって抽出された平坦でも強エッジでもない画素のＡＶＥＳを算出する場合を例に挙げて説明するが、これに限らない。平均彩度算出部３２２は、画像入力部１１０によって入力された動画に含まれるフレームについてＡＶＥＳを算出してもよい。
　判定処理部３２４は、画像入力部１１０によって入力された動画にシーンチェンジが含まれるか否かを判定する判定処理を実行する。判定処理部３２４は、フレームがシーンチェンジしたフレームであるかを示すシーンチェンジフラグを生成して、ヘイズ除去パラメータ調整部３６０に出力する。
　判定処理部３２４は、高彩度画素率計測部３１６が計測した高彩度画素率が予め定められた閾値より高いか否かに応じて、異なる基準に基づいて、動画にシーンチェンジが含まれるか否かを判定してよい。
　判定処理部３２４は、高彩度画素率計測部３１６が計測した一のフレームについての高彩度画素率が予め定められた閾値よりも高い場合、当該一のフレームの色相と、当該一のフレームの過去のフレームの色相とに基づいて、動画にシーンチェンジが含まれるか否かを判定してよい。当該一のフレームの過去のフレームとは、例えば、当該一のフレームの前のフレームである。
　具体的に、判定処理部３２４は、色相ヒストグラム生成部３１４が生成した当該一のフレームのＨｕｅＨＩＳＴと、当該一のフレームの過去のフレームの色相ヒストグラム（ＨｕｅＨＩＳＴ＿ｄｌと記載する場合がある。）とのＳＡＤ（Ｓｕｍ　ｏｆ　Ａｂｓｏｌｕｔｅ　Ｄｉｆｆｅｒｅｎｃｅ）（ＨｕｅＨＩＳＴＳＡＤと記載する場合がある。）に基づいて、動画にシーンチェンジが含まれるか否かを判定してよい。
　例えば、判定処理部３２４は、ＨｕｅＨＩＳＴＳＡＤが第５閾値より低く、当該一のフレームのＡＶＥＹと当該一のフレームの過去のフレームの平均輝度値（ＡＶＥＹ＿ｄｌと記載する場合がある。）との差分絶対値が第６閾値より低く、当該一のフレームのＡＶＥＳと当該一のフレームの過去のフレームの平均彩度値（ＡＶＥＳ＿ｄｌと記載する場合がある。）との差分絶対値が第７閾値より低い場合、当該一のフレームはシーンチェンジしたフレームではないと判定し、それ以外の場合は、当該一のフレームはシーンチェンジしたフレームであると判定する。判定処理部３２４は、当該一のフレームがシーンチェンジしたフレームでないと判定した場合、当該一のフレームのシーンチェンジフラグをＦａｌｓｅとしてよい。判定処理部３２４は、当該一のフレームがシーンチェンジしたフレームであると判定した場合、当該一のフレームのシーンチェンジフラグをＴｒｕｅとしてよい。
　判定処理部３２４は、高彩度画素率計測部３１６が計測した一のフレームについての高彩度画素率が予め定められた閾値以下の場合、当該一のフレームのＨｉｇｈＳａｔＲａｔｅと、当該一のフレームの過去のフレームの高彩度画素率（ＨｉｇｈＳａｔＲａｔｅ＿ｄｌと記載する場合がある。）とに基づいて、動画にシーンチェンジが含まれるか否かを判定してよい。
　例えば、判定処理部３２４は、ＨｉｇｈＳａｔＲａｔｅとＨｉｇｈＳａｔＲａｔｅ＿ｄｌとの差分絶対値が第８閾値より低く、ＡＶＥＹとＡＶＥＹ＿ｄｌとの差分絶対値が第６閾値より低く、ＡＶＥＳとＡＶＥＳ＿ｄｌとの差分絶対値が第７閾値より低い場合、当該一のフレームはシーンチェンジしたフレームであると判定し、それ以外の場合は、当該一のフレームはシーンチェンジしたフレームであると判定する。
　図８は、ヘイズ信頼度推定部３３０の機能構成の一例を概略的に示す。ヘイズ信頼度推定部３３０は、平坦＆強エッジ画素抽出部３３２、平均輝度算出部３３４、高彩度画素抽出部３３６、高彩度画素率計測部３３８、ヘイズ濃度推定値取得部３４０及び信頼度算出部３４２を備える。
　平坦＆強エッジ画素抽出部３３２は、画像入力部１１０によって入力された動画に含まれる複数のフレームのうちの一のフレームから、平坦でも強エッジでもない画素を抽出する。平坦＆強エッジ画素抽出部３３２は、平坦＆強エッジ画素抽出部２０２と同様に平坦でも強エッジでもない画素を抽出してよい。このとき、平坦＆強エッジ画素抽出部３３２は、第１の基準に従って平坦でも強エッジでもない画素を抽出してもよく、第２の基準に従って平坦でも強エッジでもない画素を抽出してもよく、また、他の基準に従って平坦でも強エッジでもない画素を抽出してもよい。
　平均輝度算出部３３４は、平坦＆強エッジ画素抽出部３３２によって抽出された平坦でも強エッジでもない画素のＡＶＥＹを算出する。なお、ここでは、平均輝度算出部３３４が、平坦＆強エッジ画素抽出部３３２によって抽出された平坦でも強エッジでもない画素のＡＶＥＹを算出する場合を例に挙げて説明するが、これに限らない。平均輝度算出部３３４は、画像入力部１１０によって入力された動画に含まれるフレームについてＡＶＥＹを算出してもよい。
　高彩度画素抽出部３３６は、画像入力部１１０によって入力された動画に含まれる複数のフレームのうちの一のフレームから、高彩度画素を抽出する。高彩度画素抽出部３３６は、フレームに含まれる複数の画素のそれぞれについて、Ｒ成分、Ｇ成分及びＢ成分の最大値と最小値との差分が予め定められた閾値以上である画素を高彩度画素として抽出してよい。
　高彩度画素率計測部３３８は、一のフレームにおけるＨｉｇｈＳａｔＲａｔｅを計測する。ヘイズ濃度推定値取得部３４０は、ヘイズ濃度推定部２００が出力したＳｔｒｅｎｇｔｈを取得する。
　信頼度算出部３４２は、平均輝度算出部３３４が算出したＡＶＥＹと、高彩度画素率計測部３３８が計測したＨｉｇｈＳａｔＲａｔｅとに基づいて、ヘイズ濃度推定値取得部３４０が取得したＳｔｒｅｎｇｔｈの信頼度を算出して、ヘイズ除去パラメータ調整部３６０に出力する。信頼度算出部３４２は、ＡＶＥＹとＨｉｇｈＳａｔＲａｔｅとに基づいてＳｔｒｅｎｇｔｈの信頼度を導出する信頼度導出部の一例であってよい。信頼度算出部３４２は、ヘイズ濃度推定値取得部３４０が取得したＳｔｒｅｎｇｔｈが、予め定められた閾値よりも大きいか否かに応じて、異なる基準で、Ｓｔｒｅｎｇｔｈの信頼度を算出してよい。
　信頼度算出部３４２は、ヘイズ濃度推定値取得部３４０が取得したＳｔｒｅｎｇｔｈが予め定められた閾値よりも大きい場合、ＡＶＥＹが大きいほど高い信頼度を算出し、かつ、ＨｉｇｈＳａｔＲａｔｅが低いほど高い信頼度を算出してよい。また、信頼度算出部３４２は、ヘイズ濃度推定値取得部３４０が取得したＳｔｒｅｎｇｔｈが予め定められた閾値以下の場合、ＡＶＥＹが小さいほど高い信頼度を算出し、かつ、ＨｉｇｈＳａｔＲａｔｅが高いほど高い信頼度を算出してよい。
　信頼度を算出する処理の具体例として、まず、信頼度算出部３４２は、ヘイズ濃度推定値取得部３４０が取得したＳｔｒｅｎｇｔｈ、平均輝度算出部３３４が算出したＡＶＥＹ、及び高彩度画素率計測部３３８が計測したＨｉｇｈＳａｔＲａｔｅのそれぞれに対して重み付けをする。
　信頼度算出部３４２は、例えば、Ｓｔｒｅｎｇｔｈ及びＨｉｇｈＳａｔＲａｔｅに対して、値が高いほどより値が高くなり、値が低いほどより値が低くなる重み付けをする。また、信頼度算出部３４２は、例えば、ＡＶＥＹに対して、値が高いほど値が低くなり、値が低いほど値が高くなる重み付けをする。重み付けをしたＳｔｒｅｎｇｔｈをＳｔｒｅｎｇｔｈＷｅｉｇｈｔと記載する場合がある。重み付けをしたＡＶＥＹをＡＶＥＹＷｅｉｇｈｔと記載する場合がある。重み付けをしたＨｉｇｈＳａｔＲａｔｅをＨｉｇｈＳａｔＲａｔｅＷｅｉｇｈｔと記載する場合がある。
　次に、信頼度算出部３４２は、ＡＶＥＹＷｅｉｇｈｔ及びＨｉｇｈＳａｔＲａｔｅＷｅｉｇｈｔのうち値が大きい方を、ＥｖａｌＭａｘとする。そして、信頼度算出部３４２は、ＥｖａｌＭａｘとＳｔｒｅｎｇｔｈＷｅｉｇｈｔとの差分絶対値を、ヘイズ濃度の推定値の信頼度として算出する。
　図９は、重み付けグラフ３５２の一例を概略的に示す。重み付けグラフ３５２は、信頼度算出部３４２が、Ｓｔｒｅｎｇｔｈに対して重み付けをするときに用いる重み付け値の一例を示す。信頼度算出部３４２が、重み付けグラフ３５２に従ってＳｔｒｅｎｇｔｈに対して重み付けをすることによって、Ｓｔｒｅｎｇｔｈが高いほどより値が高くなり、Ｓｔｒｅｎｇｔｈが低いほどより値が低くなる重み付けをすることができる。重み付けグラフ３５２は、信頼度算出部３４２が、ＨｉｇｈＳａｔＲａｔｅに対して重み付けをするときに用いられてもよい。
　図１０は、重み付けグラフ３５４の一例を概略的に示す。重み付けグラフ３５４は、信頼度算出部３４２が、ＡＶＥＹに対して重み付けをするときに用いる重み付け値の一例を示す。信頼度算出部３４２が、重み付けグラフ３５４に従ってＡＶＥＹに対して重み付けをすることによって、ＡＶＥＹが高いほど値が低くなり、Ｓｔｒｅｎｇｔｈが低いほど値が高くなる重み付けをすることができる。
　図１１は、ヘイズ除去パラメータ調整部３６０の機能構成の一例を概略的に示す。ヘイズ除去パラメータ調整部３６０は、ヘイズ濃度目標値算出部３６２及びパラメータ調整部３６４を備える。
　ヘイズ濃度目標値算出部３６２は、一のフレームに対するヘイズ濃度目標値（ＴａｒｇｅｔＤｅｐｔｈと記載する場合がある）を算出する。ＴａｒｇｅｔＤｅｐｔｈとは、一のフレーム及び当該一のフレームに続く複数のフレームの内容が変化しない場合に収束すべきヘイズ除去パラメータを示す。
　ヘイズ濃度目標値算出部３６２は、ヘイズ信頼度推定部３３０が、一のフレームにおいて、当該一のフレームのヘイズ濃度の推定値が信頼できないと判断した場合、当該一のフレームの過去のフレームの時点で設定したＴａｒｇｅｔＤｅｐｔｈ（ＴａｒｇｅｔＤｅｐｔｈ＿ｄｌと記載する場合がある。）を、当該一のフレームに対するＴａｒｇｅｔＤｅｐｔｈとしてよい。ヘイズ信頼度推定部３３０は、例えば、一のフレームのヘイズ濃度の推定値の信頼度が予め定められた閾値よりも小さい場合に、当該推定値が信頼できないと判断する。
　ヘイズ濃度目標値算出部３６２は、当該一のフレームの過去のフレームのＴａｒｇｅｔＤｅｐｔｈ（ＴａｒｇｅｔＤｅｐｔｈ＿ｄｌ）と、ヘイズ濃度推定部２００から受信した当該一のフレームについてのＳｔｒｅｎｇｔｈと、信頼度算出部３４２から受信した当該Ｓｔｒｅｎｇｔｈの信頼度と、判定処理部３２４から受信した当該一のフレームについてのシーンチェンジフラグとに基づいて、当該一のフレームに対するＴａｒｇｅｔＤｅｐｔｈを決定してよい。
　例えば、まず、ヘイズ濃度目標値算出部３６２は、ＳｔｒｅｎｇｔｈとＴａｒｇｅｔＤｅｐｔｈ＿ｄｌとの差分絶対値（ＤｉｆｆＤｅｐｔｈと記載する場合がある。）を算出する。そして、ヘイズ濃度目標値算出部３６２は、ＤｉｆｆＤｅｐｔｈが第９閾値より大きくかつＳｔｒｅｎｇｔｈの信頼度が第１０閾値より大きい場合、及び、シーンチェンジフラグがＴｒｕｅである場合、ＳｔｒｅｎｇｔｈをＴａｒｇｅｔＤｅｐｔｈとし、それ以外の場合、ＴａｒｇｅｔＤｅｐｔｈ＿ｄｌをＴａｒｇｅｔＤｅｐｔｈとする。それ以外の場合とは、シーンチェンジフラグがＦａｌｓｅであり、かつ、ＤｉｆｆＤｅｐｔｈが第９閾値より小さい又はＳｔｒｅｎｇｔｈの信頼度が第１０閾値より小さい場合であってよい。
　パラメータ調整部３６４は、当該一のフレームのヘイズ除去処理に用いるパラメータ（ＨａｚｅＲｅｍｏｖａｌＳｔｒｅｎｇｔｈと記載する場合がある。）を、ヘイズ濃度目標値算出部３６２によって当該一のフレームのＴａｒｇｅｔＤｅｐｔｈとして決定されたＳｔｒｅｎｇｔｈ又はＴａｒｇｅｔＤｅｐｔｈ＿ｄｌに対応する値に段階的に近づけるように調整する。これにより、複数のフレームに渡って段階的にヘイズ除去の強度を変化させることができる。
　パラメータ調整部３６４は、ヘイズ濃度目標値算出部３６２によって決定されたＴａｒｇｅｔＤｅｐｔｈと、当該一のフレームと当該一のフレームの過去のフレームとの関係から、ＨａｚｅＲｅｍｏｖａｌＳｔｒｅｎｇｔｈを調整してよい。パラメータ調整部３６４は、当該一のフレームの過去のフレームにおいて調整されたパラメータからヘイズ濃度目標値算出部３６２によって決定されたＴａｒｇｅｔＤｅｐｔｈに段階的に近づくようにＨａｚｅＲｅｍｏｖａｌＳｔｒｅｎｇｔｈを調整してよい。パラメータ調整部３６４は、当該一のフレームがシーンチェンジしたフレームであるか否かに基づいて、ＴａｒｇｅｔＤｅｐｔｈに段階的に近づける幅を変更してよい。例えば、パラメータ調整部３６４は、シーンチェンジフラグがＴｒｕｅの場合、すなわち、シーンチェンジ判定部３１０によって当該一のフレームがシーンチェンジしたフレームであると判定された場合、ＴａｒｇｅｔＤｅｐｔｈに段階的に近づける幅を大きくする。これにより、当該一のフレームがシーンチェンジしたフレームである場合に、当該一のフレームがシーンチェンジしたフレームでない場合に比べてヘイズ除去の強度を強くすることができる。
　パラメータ調整部３６４は、ヘイズ濃度目標値算出部３６２によって決定されたＴａｒｇｅｔＤｅｐｔｈと、当該一のフレームの過去のフレームのヘイズ除去処理に用いたパラメータ（ＨａｚｅＲｅｍｏｖａｌＳｔｒｅｎｇｔｈ＿ｄｌと記載する場合がある。）との差分絶対値（ＤｉｆｆＳｔｒｅｎｇｔｈと記載する場合がある。）を算出してよい。パラメータ調整部３６４は、ＤｉｆｆＳｔｒｅｎｇｔｈを導出する差分絶対値導出部の一例であってよい。そして、パラメータ調整部３６４は、ＤｉｆｆＳｔｒｅｎｇｔｈと、Ｓｔｒｅｎｇｔｈの信頼度と、シーンチェンジフラグとに応じた調整量で、ＨａｚｅＲｅｍｏｖａｌＳｔｒｅｎｇｔｈを、ヘイズ濃度目標値算出部３６２によって当該一のフレームのＴａｒｇｅｔＤｅｐｔｈとして決定されたＳｔｒｅｎｇｔｈ又はＴａｒｇｅｔＤｅｐｔｈ＿ｄｌに対応する値に段階的に近づけるように調整してよい。
　例えば、パラメータ調整部３６４は、シーンチェンジフラグがＴｒｕｅの場合、第１の調整量で、ＨａｚｅＲｅｍｏｖａｌＳｔｒｅｎｇｔｈを、ヘイズ濃度目標値算出部３６２によって当該一のフレームのＴａｒｇｅｔＤｅｐｔｈとして決定されたＳｔｒｅｎｇｔｈ又はＴａｒｇｅｔＤｅｐｔｈ＿ｄｌに対応する値に段階的に近づけるように調整する。また、パラメータ調整部３６４は、シーンチェンジフラグがＦａｌｓｅであり、ＤｉｆｆＳｔｒｅｎｇｔｈが第１１閾値より大きく、かつ、Ｓｔｒｅｎｇｔｈの信頼度が第１２閾値より大きい場合、第２の調整量で、ＨａｚｅＲｅｍｏｖａｌＳｔｒｅｎｇｔｈを、当該一のフレームのＴａｒｇｅｔＤｅｐｔｈとして決定されたＳｔｒｅｎｇｔｈ又はＴａｒｇｅｔＤｅｐｔｈ＿ｄｌに対応する値に段階的に近づけるように調整する。また、パラメータ調整部３６４は、それ以外の場合には、第３の調整量で、ＨａｚｅＲｅｍｏｖａｌＳｔｒｅｎｇｔｈを、当該一のフレームのＴａｒｇｅｔＤｅｐｔｈとして決定されたＳｔｒｅｎｇｔｈ又はＴａｒｇｅｔＤｅｐｔｈ＿ｄｌに対応する値に段階的に近づけるように調整する。それ以外の場合とは、シーンチェンジフラグがＦａｌｓｅであり、ＤｉｆｆＳｔｒｅｎｇｔｈが第１１閾値より小さい又はＳｔｒｅｎｇｔｈの信頼度が第１２閾値より小さい場合であってよい。ここで、第１の調整量は、第２の調整量及び第３の調整量より多く、第２の調整量は第３の調整量より多い。
　上述したように、ヘイズ濃度目標値算出部３６２は、Ｓｔｒｅｎｇｔｈの信頼度及びＳｔｒｅｎｇｔｈとＴａｒｇｅｔＤｅｐｔｈ＿ｄｌとの差分絶対値、又は、シーンチェンジフラグに基づいて、ＴａｒｇｅｔＤｅｐｔｈ＿ｄｌと、Ｓｔｒｅｎｇｔｈとのいずれをヘイズ除去処理に用いるパラメータを調整するために用いるかを決定してよい。
　ＴａｒｇｅｔＤｅｐｔｈ＿ｄｌを取得するヘイズ濃度目標値算出部３６２は、目標値取得部の一例であってよい。また、ヘイズ濃度目標値算出部３６２は、ＳｔｒｅｎｇｔｈとＴａｒｇｅｔＤｅｐｔｈ＿ｄｌとの差分絶対値を算出する差分絶対値導出部の一例であってよい。また、ヘイズ濃度目標値算出部３６２は、当該一のフレームに対するＴａｒｇｅｔＤｅｐｔｈを決定する目標値決定部の一例であってよい。
　図１２は、ヘイズ除去部４００の機能構成の一例を概略的に示す。ヘイズ除去部４００は、照明光分離部４０２、パラメータ取得部４１０、除去処理部４２０及び合成部４２６を備える。
　照明光分離部４０２は、画像入力部１１０によって入力された画像Ｉから照明光成分ＩＬを分離する。照明光分離部４０２は、画像Ｉから照明光成分ＩＬを分離することができれば、どのような処理を行ってもよい。
　例えば、照明光分離部４０２は、エッジ保存型ローパスフィルタを用いて、画像Ｉから照明光成分ＩＬを分離する。エッジ保存型ローパスフィルタとは、エッジを保存しつつ平滑化をおこなうフィルタである。照明光分離部４０２は、エッジ保存型ローパスフィルタとして、例えば、バイラテラルフィルタを用いる。照明光分離部４０２は、照明光成分ＩＬ及び画像Ｉをパラメータ取得部４１０に対して出力してよい。
　パラメータ取得部４１０は、ヘイズ除去に用いるパラメータを取得する。パラメータ取得部４１０は、大気光算出部４１２、透過率算出部４１４及びヘイズ濃度推定値取得部４１６を有する。
　大気光算出部４１２は、画像Ｉの大気光Ａを算出する。大気光算出部４１２は、画像Ｉの大気光Ａを算出できれば、どのような処理を行ってもよい。例えば、大気光算出部４１２は、まず、画像Ｉの各画素に対して周辺画素を含めたＲＧＢの最小値を算出する。次に、大気光算出部４１２は、画像Ｉから、算出した最小値が上位０．１％の画素を抽出する。そして、大気光算出部４１２は、抽出した画素のうち、最も輝度が高い画素の値を大気光Ａとする。
　透過率算出部４１４は、画像入力部１１０によって入力された画像の複数の画素毎のヘイズ濃度に対応する透過率ｔを算出する。透過率算出部４１４は、透過率導出部の一例であってよい。透過率算出部４１４は、透過率ｔを算出できれば、どのような処理を行ってもよい。例えば、透過率算出部４１４は、下記数式２によって表されるダークチャネルプライア（Ｄａｒｋ　Ｃｈａｎｎｅｌ　Ｐｒｉｏｒ）（ＤＣＰと記載する場合がある。）に基づいて、透過率ｔを算出する。
Figure JPOXMLDOC01-appb-M000002
　ＩＣはＩの色チャネルであり、Ω（ｘ）はｘを中心とする局所領域である。
　透過率算出部４１４は、数式２におけるＤＣＰが透過率ｔを表すとの仮定に基づいて、ＤＣＰの値から透過率ｔを算出してよい。例えば、透過率算出部４１４は、下記数式３によって、透過率ｔを算出してよい。
Figure JPOXMLDOC01-appb-M000003
　ヘイズ濃度推定値取得部４１６は、ヘイズ濃度推定部２００が出力したＳｔｒｅｎｇｔｈを取得する。
　パラメータ取得部４１０は、画像Ｉ、照明光成分ＩＬ、大気光算出部４１２が算出した大気光Ａ、透過率算出部４１４が算出した透過率ｔ及びヘイズ濃度推定値取得部４１６が取得したＳｔｒｅｎｇｔｈを除去処理部に出力する。
　除去処理部４２０は、下記数式４によって表されるレティネックス理論と下記数式５によって表されるヘイズ画像の大気モデルとに基づいて、画像Ｉに対するヘイズ除去処理を実行する。
Figure JPOXMLDOC01-appb-M000004
Figure JPOXMLDOC01-appb-M000005
　上記数式５を変形すると下記数式６となる。
Figure JPOXMLDOC01-appb-M000006
　上記数式６に、レティネックス理論を適用し、それぞれを反射率成分及び照明光成分の積で表すと、下記数式７となる。
Figure JPOXMLDOC01-appb-M000007
　ここで、除去処理部４２０は、大気光に含まれる反射率成分が少ない又はないと近似できることを前提として、ヘイズ画像の大気モデルとレティネックス理論とを用いて、ヘイズ除去処理を実行してよい。例えば、大気光に含まれる反射率成分が、極小であるとした場合、下記数式８が成り立つものとみなすことができる。
Figure JPOXMLDOC01-appb-M000008
　また、除去処理部４２０は、大気光、原画像、入力画像に対して、それぞれの照明光成分のみに対して大気モデルが適用できることをさらに前提として、ヘイズ画像の大気モデルとレティネックス理論とを用いて、ヘイズ除去処理を実行してもよい。このような前提によれば、下記数式９が成り立つ。
Figure JPOXMLDOC01-appb-M000009
　上記数式８及び数式９を、上記数式７に適用することによって、下記数式１０が得られる。
Figure JPOXMLDOC01-appb-M000010
　上記数式１０から、ＪＲの値は、ＩＲが１より大きいときにＩＲより大きくなり、ＩＲが１より小さいときにＩＲより小さくなることが導かれる。
　上記数式９及び数式１０を用いることによって、除去処理部４２０は、反射率成分と照明光成分とに、ヘイズ除去度がそれぞれ異なるヘイズ除去処理を施してよい。例えば、除去処理部４２０は、上記数式９及び数式１０に対して、透過率ｔを異ならせることによって、ヘイズ除去度を異ならせてよい。また、除去処理部４２０は、上記数式９及び上記数式１０の結果に対して異なる重み付けをすることによって、ヘイズ除去度を異ならせてもよい。
　除去処理部４２０は、照明光成分処理部４２２及び反射率成分処理部４２４を有する。照明光成分処理部４２２は、画像の照明光成分に対してヘイズ除去処理を施す。反射率成分処理部４２４は、画像の反射率成分に対してヘイズ除去処理を施す。
　照明光成分処理部４２２は、パラメータ調整部３６４から受信したＨａｚｅＲｅｍｏｖａｌＳｔｒｅｎｇｔｈを用いて、ヘイズ除去処理を実行してよい。例えば、照明光成分処理部４２２は、照明光成分ＩＬ、大気光Ａ、透過率ｔ、ＨａｚｅＲｅｍｏｖａｌＳｔｒｅｎｇｔｈ及び上記数式９を用いて、ヘイズ除去処理を施した照明光成分ＪＬを算出してよい。照明光成分処理部４２２は、ＨａｚｅＲｅｍｏｖａｌＳｔｒｅｎｇｔｈを用いて、透過率ｔを調整してよい。また、照明光成分処理部４２２は、透過率ｔに代えて、ＨａｚｅＲｅｍｏｖａｌＳｔｒｅｎｇｔｈを用いてもよい。また、照明光成分処理部４２２は、透過率ｔに代えて、ＨａｚｅＲｅｍｏｖａｌＳｔｒｅｎｇｔｈに基づく値を用いてもよい。照明光成分処理部４２２がパラメータ調整部３６４から受信したＨａｚｅＲｅｍｏｖａｌＳｔｒｅｎｇｔｈを用いてヘイズ除去処理を実行する場合、パラメータ取得部４１０は、ヘイズ濃度推定値取得部４１６を有さなくてよい。また、ヘイズ濃度推定値取得部４１６がパラメータ調整部３６４からＨａｚｅＲｅｍｏｖａｌＳｔｒｅｎｇｔｈを受信して、当該受信したＨａｚｅＲｅｍｏｖａｌＳｔｒｅｎｇｔｈを除去処理部４２０に送信してもよい。
　照明光成分処理部４２２は、画像入力部１１０によって静止画が入力された場合及び画像処理システム１００がシーン制御部３００を備えない場合等においては、パラメータ取得部４１０から受信した、照明光成分ＩＬ、大気光Ａ、透過率ｔ、Ｓｔｒｅｎｇｔｈ及び上記数式９を用いて、ヘイズ除去処理を施した照明光成分ＪＬを算出してよい。照明光成分処理部４２２は、透過率ｔにＳｔｒｅｎｇｔｈを適用して、照明光成分ＪＬを算出してよい。例えば、照明光成分処理部４２２は、透過率ｔにＳｔｒｅｎｇｔｈを乗算する。また、例えば、照明光成分処理部４２２は、Ｓｔｒｅｎｇｔｈの値に応じた重み付けを透過率ｔに対して行ってもよい。これにより、ヘイズ濃度推定部２００によって推定されたＳｔｒｅｎｇｔｈを用いた、より高精度なヘイズ除去処理を実現できる。
　反射率成分処理部４２４は、パラメータ取得部４１０から受信した画像Ｉ及び照明光成分ＩＬから、反射率成分ＩＲを算出してよい。反射率成分処理部４２４は、パラメータ調整部３６４から受信したＨａｚｅＲｅｍｏｖａｌＳｔｒｅｎｇｔｈを用いて、ヘイズ除去処理を実行してよい。例えば、反射率成分処理部４２４は、照明光成分ＩＬ、反射率成分ＩＲ、透過率ｔ、ＨａｚｅＲｅｍｏｖａｌＳｔｒｅｎｇｔｈ及び上記数式１０を用いて、ヘイズ除去処理を施した反射率成分ＪＲを算出してよい。反射率成分処理部４２４は、ＨａｚｅＲｅｍｏｖａｌＳｔｒｅｎｇｔｈを用いて、透過率ｔを調整してよい。また、反射率成分処理部４２４は、透過率ｔに代えて、ＨａｚｅＲｅｍｏｖａｌＳｔｒｅｎｇｔｈを用いてもよい。また、反射率成分処理部４２４は、透過率ｔに代えて、ＨａｚｅＲｅｍｏｖａｌＳｔｒｅｎｇｔｈに基づく値を用いてもよい。反射率成分処理部４２４がパラメータ調整部３６４から受信したＨａｚｅＲｅｍｏｖａｌＳｔｒｅｎｇｔｈを用いてヘイズ除去処理を実行する場合、パラメータ取得部４１０は、ヘイズ濃度推定値取得部４１６を有さなくてよい。また、ヘイズ濃度推定値取得部４１６が、パラメータ調整部３６４からＨａｚｅＲｅｍｏｖａｌＳｔｒｅｎｇｔｈを受信して、当該受信したＨａｚｅＲｅｍｏｖａｌＳｔｒｅｎｇｔｈを除去処理部４２０に送信してもよい。
　反射率成分処理部４２４は、画像入力部１１０によって静止画が入力された場合及び画像処理システム１００がシーン制御部３００を備えない場合等においては、照明光成分ＩＬ、反射率成分ＩＲ、透過率ｔ、Ｓｔｒｅｎｇｔｈ及び上記数式１０を用いて、ヘイズ除去処理を施したＪＲを算出してよい。反射率成分処理部４２４は、透過率ｔにＳｔｒｅｎｇｔｈを適用して、ＪＲを算出してよい。例えば、反射率成分処理部４２４は、透過率ｔにＳｔｒｅｎｇｔｈを乗算する。また、例えば反射率成分処理部４２４は、Ｓｔｒｅｎｇｔｈの値に応じた重み付けを透過率ｔに対して行ってもよい。これにより、ヘイズ濃度推定部２００によって推定されたＳｔｒｅｎｇｔｈを用いた、より高精度なヘイズ除去処理を実現できる。
　合成部４２６は、照明光成分処理部４２２によってヘイズ除去処理が施された照明光成分ＪＬと、反射率成分処理部４２４によってヘイズ除去処理が施された反射率成分ＪＲとを合成する。合成部４２６は、ＪＬとＪＲとを合成することによって、出力画像Ｊを生成する。合成部４２６によって生成された出力画像Ｊは、表示部１２０によって表示されてよい。
　本実施形態では、画像処理システム１００が、ヘイズ濃度推定部２００、シーン制御部３００及びヘイズ除去部４００を備える表示装置である場合を例に挙げて説明したが、これに限らない。画像処理システム１００は、ヘイズ濃度推定部２００、シーン制御部３００及びヘイズ除去部４００のうちの少なくとも１つを備える表示装置であってもよい。
　また、画像処理システム１００は、シーン制御部３００が備えるシーンチェンジ判定部３１０、ヘイズ信頼度推定部３３０及びヘイズ除去パラメータ調整部３６０のうち、シーンチェンジ判定部３１０のみを備える表示装置であってもよい。また、画像処理システム１００は、ヘイズ信頼度推定部３３０のみを備える表示装置であってもよい。このとき、ヘイズ濃度推定値取得部３４０は、ヘイズ濃度推定部２００によって出力されたＳｔｒｅｎｇｔｈではなく、他の装置等によって推定されたヘイズ濃度推定値を取得してもよい。
　また、画像処理システム１００が、ヘイズ濃度推定部２００、シーン制御部３００及びヘイズ除去部４００のうちのヘイズ除去部４００のみを備える表示装置である場合、ヘイズ濃度推定値取得部４１６は、ヘイズ濃度推定部２００によって出力されたＳｔｒｅｎｇｔｈではなく、他の装置等によって推定されたヘイズ濃度推定値を取得してもよい。
　また、本実施形態では、画像処理システム１００が表示装置である場合を例に挙げて説明したが、これに限らない。画像を処理する装置であれば、他の種類の装置であってもよい。例えば、画像処理システム１００は、スマートフォン等の携帯電話、タブレット端末、パーソナルコンピュータ及び情報家電等であってよい。また、画像処理システム１００は、表示部１２０を有さず、外部の表示部に画像を表示させる装置であってもよい。
　以上の説明において、画像処理システム１００の各部は、ハードウエアにより実現されてもよく、ソフトウエアにより実現されてもよい。また、ハードウエアとソフトウエアとの組み合わせにより実現されてもよい。また、プログラムが実行されることにより、コンピュータが、画像処理システム１００として機能してもよい。プログラムは、コンピュータ読み取り可能な媒体又はネットワークに接続された記憶装置から、画像処理システム１００の少なくとも一部を構成するコンピュータにインストールされてよい。
　コンピュータにインストールされ、コンピュータを本実施形態に係る画像処理システム１００として機能させるプログラムは、ＣＰＵ等に働きかけて、コンピュータを、画像処理システム１００の各部としてそれぞれ機能させる。これらのプログラムに記述された情報処理は、コンピュータに読込まれることにより、ソフトウエアと画像処理システム１００のハードウエア資源とが協働した具体的手段として機能する。
　以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されない。上記実施の形態に、多様な変更または改良を加えることが可能であることが当業者に明らかである。その様な変更または改良を加えた形態も本発明の技術的範囲に含まれ得ることが、請求の範囲の記載から明らかである。
　請求の範囲、明細書、および図面中において示した装置、システム、プログラム、および方法における動作、手順、ステップ、および段階などの各処理の実行順序は、特段「より前に」、「先立って」などと明示しておらず、また、前の処理の出力を後の処理で用いるのでない限り、任意の順序で実現しうることに留意すべきである。請求の範囲、明細書、および図面中の動作フローに関して、便宜上「まず、」、「次に、」などを用いて説明したとしても、この順で実施することが必須であることを意味するものではない。
１００　画像処理システム、１１０　画像入力部、１２０　表示部、２００　ヘイズ濃度推定部、２０２　平坦＆強エッジ画素抽出部、２０４　平均輝度算出部、２０６　平均彩度算出部、２０８　コントラスト算出部、２１０　最大彩度取得部、２１２　重み付け取得部、２１４　ヘイズ濃度算出部、２１６　ツール画面判定部、２１８　セレクタ、２３０　注目画素、２４０　重み付けグラフ、２４２　重み付けグラフ、３００　シーン制御部、３１０　シーンチェンジ判定部、３１２　高彩度画素抽出部、３１４　色相ヒストグラム生成部、３１６　高彩度画素率計測部、３１８　平坦＆強エッジ画素抽出部、３２０　平均輝度算出部、３２２　平均彩度算出部、３２４　判定処理部、３３０　ヘイズ信頼度推定部、３３２　平坦＆強エッジ画素抽出部、３３４　平均輝度算出部、３３６　高彩度画素抽出部、３３８　高彩度画素率計測部、３４０　ヘイズ濃度推定値取得部、３４２　信頼度算出部（ヘイズ信頼度推定部）、３５２　重み付けグラフ、３５４　重み付けグラフ、３６０　ヘイズ除去パラメータ調整部（パラメータ調整部）、３６２　ヘイズ濃度目標値算出部（目標値取得部、目標値決定部、差分絶対値導出部）、３６４　パラメータ調整部（差分絶対値導出部）、４００　ヘイズ除去部、４０２　照明光分離部、４１０　パラメータ取得部、４１２　大気光算出部、４１４　透過率算出部、４１６　ヘイズ濃度推定値取得部、４２０　除去処理部、４２２　照明光成分処理部、４２４　反射率成分処理部、４２６　合成部

Claims (9)

  1. 　動画に含まれる複数のフレームのうちの一のフレームのヘイズ濃度の推定値を導出するヘイズ濃度推定部と、
    　前記一のフレームのヘイズ濃度の推定値と、前記一のフレームと前記一のフレームの過去のフレームとの関係から、前記一のフレームのヘイズ除去処理に用いるパラメータを調整するパラメータ調整部と、
    　前記パラメータ調整部によって調整された前記パラメータに基づいて、前記一のフレームにヘイズ除去処理を実行するヘイズ除去部と
    　を備える画像処理システム。
  2. 　前記パラメータ調整部は、前記一のフレームのヘイズ濃度の推定値を前記一のフレームのヘイズ濃度目標値として、前記過去のフレームにおいて調整された前記パラメータから前記ヘイズ濃度目標値に段階的に近づくように前記一のフレームのヘイズ除去処理に用いるパラメータを調整する、請求項１に記載の画像処理システム。
  3. 　前記一のフレームがシーンチェンジしたフレームであるか否かを判定するシーンチェンジ判定部をさらに備え、
    　前記シーンチェンジ判定部が前記一のフレームと前記過去のフレームとの関係において前記一のフレームがシーンチェンジしたフレームであると判定した場合、前記パラメータ調整部は、前記ヘイズ濃度目標値に段階的に近づける幅を大きくする、請求項２に記載の画像処理システム。
  4. 　前記ヘイズ濃度の推定値の信頼度を推定するヘイズ信頼度推定部と、
    　前記過去のフレームのヘイズ濃度目標値を取得する目標値取得部と、
    　前記目標値取得部が取得した前記過去のフレームの前記ヘイズ濃度目標値と、前記ヘイズ濃度推定部が導出した前記一のフレームのヘイズ濃度の推定値とのいずれかを、前記一のフレームのヘイズ濃度目標値として決定する目標値決定部と、
    　前記目標値決定部によって決定された前記一のフレームのヘイズ濃度目標値と、前記一のフレームの過去のフレームのヘイズ除去処理に用いたパラメータとの差分絶対値を導出する差分絶対値導出部と
    　をさらに備え、
    　前記パラメータ調整部は、前記過去のフレームのヘイズ除去処理に用いたパラメータから前記目標値決定部により決定された前記一のフレームのヘイズ濃度目標値に段階的に近づくように、前記信頼度と、前記差分絶対値と、前記一のフレームがシーンチェンジしたフレームであるか否かとに応じた調整量で、前記一のフレームのヘイズ除去処理に用いるパラメータを調整する、請求項１に記載の画像処理システム。
  5. 　前記パラメータ調整部は、前記一のフレームがシーンチェンジしたフレームであると判定された場合、前記パラメータを第１の調整量で調整し、前記一のフレームがシーンチェンジしたフレームでないと判定され、前記推定値の信頼度が第１の閾値より大きくかつ前記差分絶対値が第２の閾値より大きい場合、前記パラメータを前記第１の調整量よりも少ない第２の調整量で調整し、前記一のフレームがシーンチェンジしたフレームでないと判定され、かつ、前記推定値の信頼度が前記第１の閾値より小さい又は前記差分絶対値が前記第２の閾値より小さい場合、前記パラメータを前記第２の調整量より少ない第３の調整量で調整する、請求項４に記載の画像処理システム。
  6. 　前記ヘイズ濃度の推定値の信頼度を推定するヘイズ信頼度推定部
    　をさらに備え、
    　前記ヘイズ信頼度推定部が前記一のフレームにおいて、前記ヘイズ濃度の推定値が信頼できないと判断した場合、前記パラメータ調整部は、前記過去のフレームの時点で設定した目標値に段階的に近づくように前記一のフレームのヘイズ除去処理に用いるパラメータを調整する、請求項２又は３に記載の画像処理システム。
  7. 　前記ヘイズ濃度の推定値の信頼度を推定するヘイズ信頼度推定部と、
    　前記過去のフレームのヘイズ濃度目標値を取得する目標値取得部と、
    　前記ヘイズ信頼度推定部が推定した前記信頼度に基づいて、前記目標値取得部が取得した前記過去のフレームの前記ヘイズ濃度目標値と、前記ヘイズ濃度推定部が導出した前記一のフレームのヘイズ濃度の推定値とのいずれを、前記一のフレームのヘイズ除去処理に用いるパラメータを調整するために用いるかを決定する目標値決定部と
    　をさらに備える、請求項１から３のいずれか一項に記載の画像処理システム。
  8. 　前記目標値取得部が取得した前記過去のフレームのヘイズ濃度目標値と、前記ヘイズ濃度推定部が導出した前記一のフレームの前記ヘイズ濃度の推定値との差分絶対値を導出する差分絶対値導出部
    　をさらに備え、
    　前記目標値決定部は、前記一のフレームがシーンチェンジしたフレームである場合と、前記一のフレームがシーンチェンジしたフレームでなく、前記推定値の信頼度が第１閾値より大きくかつ前記差分絶対値が第２閾値より大きい場合、前記一のフレームのヘイズ濃度の推定値を前記一のフレームのヘイズ除去処理に用いるパラメータを調整するために用いることを決定し、前記一のフレームがシーンチェンジしたフレームでなく、前記推定値の信頼度が前記第１閾値より小さい又は前記差分絶対値が前記第２閾値より小さい場合、前記過去のフレームのヘイズ濃度目標値を前記一のフレームのヘイズ除去処理に用いるパラメータを調整するために用いることを決定する、請求項７に記載の画像処理システム。
  9. 　コンピュータを、請求項１から８のいずれか一項に記載の画像処理システムとして機能させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体。
PCT/JP2015/062729 2014-06-12 2015-04-27 画像処理システム及びコンピュータ読み取り可能な記録媒体 WO2015190184A1 (ja)

Priority Applications (6)

Application Number Priority Date Filing Date Title
EP15806110.1A EP3156970B1 (en) 2014-06-12 2015-04-27 Haze removal
JP2016527685A JP6228671B2 (ja) 2014-06-12 2015-04-27 画像処理システム及びプログラム
RU2017100023A RU2648955C1 (ru) 2014-06-12 2015-04-27 Система обработки изображений и машиночитаемый записывающий носитель
AU2015272799A AU2015272799B2 (en) 2014-06-12 2015-04-27 Image processing system and computer-readable storage medium
CN201580031509.5A CN106462954B (zh) 2014-06-12 2015-04-27 图像处理系统
US15/372,402 US10096092B2 (en) 2014-06-12 2016-12-08 Image processing system and computer-readable recording medium

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
PCT/JP2014/003131 WO2015189874A1 (ja) 2014-06-12 2014-06-12 霧除去装置および画像生成方法
JPPCT/JP2014/003131 2014-06-12
JPPCT/JP2015/056086 2015-03-02
PCT/JP2015/056086 WO2015190136A1 (ja) 2014-06-12 2015-03-02 画像処理システム及びコンピュータ読み取り可能な記録媒体

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2015/056086 Continuation-In-Part WO2015190136A1 (ja) 2014-06-12 2015-03-02 画像処理システム及びコンピュータ読み取り可能な記録媒体

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US15/372,402 Continuation US10096092B2 (en) 2014-06-12 2016-12-08 Image processing system and computer-readable recording medium

Publications (1)

Publication Number Publication Date
WO2015190184A1 true WO2015190184A1 (ja) 2015-12-17

Family

ID=54833008

Family Applications (4)

Application Number Title Priority Date Filing Date
PCT/JP2014/003131 WO2015189874A1 (ja) 2014-06-12 2014-06-12 霧除去装置および画像生成方法
PCT/JP2015/056086 WO2015190136A1 (ja) 2014-06-12 2015-03-02 画像処理システム及びコンピュータ読み取り可能な記録媒体
PCT/JP2015/062729 WO2015190184A1 (ja) 2014-06-12 2015-04-27 画像処理システム及びコンピュータ読み取り可能な記録媒体
PCT/JP2015/062728 WO2015190183A1 (ja) 2014-06-12 2015-04-27 画像処理システム及びコンピュータ読み取り可能な記録媒体

Family Applications Before (2)

Application Number Title Priority Date Filing Date
PCT/JP2014/003131 WO2015189874A1 (ja) 2014-06-12 2014-06-12 霧除去装置および画像生成方法
PCT/JP2015/056086 WO2015190136A1 (ja) 2014-06-12 2015-03-02 画像処理システム及びコンピュータ読み取り可能な記録媒体

Family Applications After (1)

Application Number Title Priority Date Filing Date
PCT/JP2015/062728 WO2015190183A1 (ja) 2014-06-12 2015-04-27 画像処理システム及びコンピュータ読み取り可能な記録媒体

Country Status (8)

Country Link
US (4) US10102614B2 (ja)
EP (4) EP3156968B1 (ja)
JP (4) JP6228670B2 (ja)
CN (4) CN106462947B (ja)
AU (4) AU2014397095B2 (ja)
ES (3) ES2727929T3 (ja)
RU (4) RU2658874C1 (ja)
WO (4) WO2015189874A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019165832A (ja) * 2018-03-22 2019-10-03 上銀科技股▲分▼有限公司 画像処理方法
JP2022103003A (ja) * 2020-12-25 2022-07-07 財團法人工業技術研究院 画像ヘイズ除去方法及びその方法を用いる画像ヘイズ除去装置

Families Citing this family (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3180454B1 (en) * 2015-06-30 2018-06-06 Heraeus Deutschland GmbH & Co. KG Process for the production of a pgm-enriched alloy
CN107872608B (zh) * 2016-09-26 2021-01-12 华为技术有限公司 图像采集设备及图像处理方法
KR101942198B1 (ko) * 2017-12-27 2019-04-11 중앙대학교 산학협력단 레티넥스 모델을 기반으로 하여 영상을 개선하는 단말 장치 및 방법과 이를 수행하는 기록 매체
CN110189259B (zh) * 2018-02-23 2022-07-08 荷兰移动驱动器公司 图像去雾霾方法、电子设备及计算机可读存储介质
CN108416316B (zh) * 2018-03-19 2022-04-05 中南大学 一种黑烟车的检测方法及系统
JP7109317B2 (ja) 2018-09-06 2022-07-29 株式会社クボタ 水田作業機
CN109028234B (zh) * 2018-09-29 2020-11-10 佛山市云米电器科技有限公司 一种能够对烟雾等级进行标识的油烟机
CN109028233B (zh) * 2018-09-29 2020-11-10 佛山市云米电器科技有限公司 厨房油烟浓度划分方法及油烟图像识别系统及油烟机
CN109242805B (zh) * 2018-10-24 2021-09-28 西南交通大学 一种基于独立分量分析的单幅图像雾霾快速去除方法
JP7421273B2 (ja) * 2019-04-25 2024-01-24 キヤノン株式会社 画像処理装置及びその制御方法及びプログラム
CN110223258A (zh) * 2019-06-12 2019-09-10 西南科技大学 一种多模式快速视频图像去雾方法及装置
CN112419162B (zh) * 2019-08-20 2024-04-05 浙江宇视科技有限公司 图像去雾方法、装置、电子设备及可读存储介质
CN111192210B (zh) * 2019-12-23 2023-05-26 杭州当虹科技股份有限公司 一种自适应增强的视频去雾方法
CN113674158A (zh) * 2020-05-13 2021-11-19 浙江宇视科技有限公司 图像处理方法、装置、设备及存储介质
CN112011696B (zh) 2020-08-19 2021-05-18 北京科技大学 一种火法富集铝基废催化剂中铂族金属的方法
US11641456B2 (en) 2020-09-14 2023-05-02 Himax Technologies Limited Image rendering method and apparatus
US11790545B2 (en) * 2020-09-14 2023-10-17 Himax Technologies Limited Method and apparatus to control light source in structured light imaging
CN114519683A (zh) * 2020-11-20 2022-05-20 北京晶视智能科技有限公司 图像处理方法及应用其的图像处理装置
TWI792454B (zh) * 2021-07-28 2023-02-11 瑞昱半導體股份有限公司 自適應的圖像陰影校正方法及圖像陰影校正系統

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2010074012A1 (ja) * 2008-12-22 2010-07-01 ローム株式会社 画像補正処理回路、半導体装置、画像補正処理装置
JP2013141210A (ja) * 2011-12-30 2013-07-18 Hitachi Ltd 画像霧除去装置、画像霧除去方法及び画像処理システム
JP2013156983A (ja) * 2012-01-31 2013-08-15 Hitachi Ltd 画像霧除去装置、画像霧除去方法及び画像処理システム

Family Cites Families (58)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6085152A (en) * 1997-09-19 2000-07-04 Cambridge Management Advanced Systems Corporation Apparatus and method for monitoring and reporting weather conditions
DE60014420T2 (de) 1999-11-26 2005-10-13 Sanyo Electric Co., Ltd., Moriguchi Verfahren zur 2d/3d videoumwandlung
JP2001160146A (ja) * 1999-12-01 2001-06-12 Matsushita Electric Ind Co Ltd 画像認識方法および画像認識装置
US9149175B2 (en) 2001-07-26 2015-10-06 Given Imaging Ltd. Apparatus and method for light control in an in-vivo imaging device
JP2003187248A (ja) * 2001-12-21 2003-07-04 Mitsubishi Electric Corp 画像処理システムおよび画像処理装置
KR100512976B1 (ko) * 2003-08-09 2005-09-07 삼성전자주식회사 화면의 콘트라스트를 향상시키는 블랙/화이트 스트레칭시스템 및 그의 스트레칭 방법
JP2006155491A (ja) * 2004-12-01 2006-06-15 Samsung Yokohama Research Institute Co Ltd シーンチェンジ検出方法
JP2007266838A (ja) * 2006-03-28 2007-10-11 Sharp Corp 記録再生装置、記録再生方法、及び、記録再生プログラムを記録した記録媒体
JP4784452B2 (ja) 2006-09-12 2011-10-05 株式会社デンソー 車載霧判定装置
JP4475268B2 (ja) * 2006-10-27 2010-06-09 セイコーエプソン株式会社 画像表示装置、画像表示方法、画像表示プログラム、及び画像表示プログラムを記録した記録媒体、並びに電子機器
JP4241834B2 (ja) 2007-01-11 2009-03-18 株式会社デンソー 車載霧判定装置
RU2365993C1 (ru) * 2008-01-30 2009-08-27 Корпорация "САМСУНГ ЭЛЕКТРОНИКС Ко., Лтд." Способ адаптивного улучшения факсимильных изображений документов
US8619071B2 (en) * 2008-09-16 2013-12-31 Microsoft Corporation Image view synthesis using a three-dimensional reference model
US8290294B2 (en) 2008-09-16 2012-10-16 Microsoft Corporation Dehazing an image using a three-dimensional reference model
JP5325562B2 (ja) * 2008-12-22 2013-10-23 ローム株式会社 画像補正処理回路及びこれを集積化して成る半導体装置
US8350933B2 (en) * 2009-04-08 2013-01-08 Yissum Research Development Company Of The Hebrew University Of Jerusalem, Ltd. Method, apparatus and computer program product for single image de-hazing
WO2010115228A1 (en) * 2009-04-09 2010-10-14 National Ict Australia Limited Enhancing image data
JP2010276691A (ja) * 2009-05-26 2010-12-09 Toshiba Corp 画像処理装置および画像処理方法
JP4807439B2 (ja) * 2009-06-15 2011-11-02 株式会社デンソー 霧画像復元装置及び運転支援システム
JP5402504B2 (ja) * 2009-10-15 2014-01-29 株式会社Ｊｖｃケンウッド 擬似立体画像作成装置及び擬似立体画像表示システム
TWI423166B (zh) * 2009-12-04 2014-01-11 Huper Lab Co Ltd 判斷輸入影像是否為霧化影像之方法、判斷輸入影像的霧級數之方法及霧化影像濾清方法
US8284998B2 (en) * 2010-07-01 2012-10-09 Arcsoft Hangzhou Co., Ltd. Method of estimating depths from a single image displayed on display
JP2012028987A (ja) * 2010-07-22 2012-02-09 Toshiba Corp 画像処理装置
CN102637293B (zh) * 2011-02-12 2015-02-25 株式会社日立制作所 运动图像处理装置及运动图像处理方法
US20120213436A1 (en) * 2011-02-18 2012-08-23 Hexagon Technology Center Gmbh Fast Image Enhancement and Three-Dimensional Depth Calculation
JP5488530B2 (ja) * 2011-05-23 2014-05-14 富士ゼロックス株式会社 画像処理装置及び画像処理プログラム
JP5810628B2 (ja) * 2011-05-25 2015-11-11 富士ゼロックス株式会社 画像処理装置及び画像処理プログラム
US8582915B2 (en) * 2011-06-27 2013-11-12 Wuxi Jinnang Technology Development Ltd. Image enhancement for challenging lighting conditions
KR101568971B1 (ko) * 2011-08-03 2015-11-13 인디안 인스티튜트 오브 테크놀로지, 카라그푸르 화상 및 동영상에서 안개를 제거하는 방법 및 시스템
US8970691B2 (en) * 2011-08-26 2015-03-03 Microsoft Technology Licensing, Llc Removal of rayleigh scattering from images
CN103034977B (zh) * 2011-09-30 2015-09-30 株式会社日立制作所 图像除雾方法和相应的图像除雾装置
CN103164845B (zh) * 2011-12-16 2016-08-03 中国科学院沈阳自动化研究所 一种实时图像去雾装置及方法
CN103188433B (zh) * 2011-12-30 2016-01-20 株式会社日立制作所 图像除雾装置和图像除雾方法
JP2013152334A (ja) * 2012-01-25 2013-08-08 Olympus Corp 顕微鏡システムおよび顕微鏡観察方法
US20130237317A1 (en) * 2012-03-12 2013-09-12 Samsung Electronics Co., Ltd. Method and apparatus for determining content type of video content
JP5247910B1 (ja) * 2012-03-30 2013-07-24 Ｅｉｚｏ株式会社 画像表示装置またはその方法
JP5470415B2 (ja) * 2012-03-30 2014-04-16 Ｅｉｚｏ株式会社 イプシロンフィルタの閾値決定方法およびローパスフィルタの係数決定方法
US8885962B1 (en) * 2012-07-23 2014-11-11 Lockheed Martin Corporation Realtime long range imaging scatter reduction
CN103632339A (zh) * 2012-08-21 2014-03-12 张晓光 一种基于变分Retinex的单幅图像去雾方法及装置
CN202872972U (zh) * 2012-08-24 2013-04-10 中国人民解放军理工大学气象学院 一种图像监测处理装置
US9659237B2 (en) * 2012-10-05 2017-05-23 Micro Usa, Inc. Imaging through aerosol obscurants
KR101958910B1 (ko) 2012-10-26 2019-03-15 에스케이 텔레콤주식회사 영상보정의 가속화를 위한 영상보정 장치 및 그 방법
CN102982537B (zh) * 2012-11-05 2015-09-02 安维思电子科技（广州）有限公司 一种检测场景变换的方法和系统
KR101736468B1 (ko) 2012-12-24 2017-05-29 한화테크윈 주식회사 영상 처리 장치 및 방법
KR101445577B1 (ko) 2013-03-11 2014-11-04 주식회사 브이아이티시스템 안개제거 추정 모델을 이용한 안개 낀 휘도영상 개선 시스템
JP2014212513A (ja) 2013-04-01 2014-11-13 パナソニック株式会社 投写型映像表示装置、映像投影制御装置、映像投影制御方法、及び映像投影制御プログラム
CN103218622B (zh) * 2013-04-22 2016-04-13 武汉大学 一种基于计算机视觉的雾霾监测方法
KR101470831B1 (ko) 2013-05-28 2014-12-10 전남대학교산학협력단 사용자 제어가 가능한 거듭제곱근 연산자를 이용한 안개영상 개선 장치
CN103337054A (zh) * 2013-06-17 2013-10-02 西安理工大学 基于单图像的二阶段图像去雾方法
JP2017502429A (ja) * 2014-01-10 2017-01-19 富士通株式会社 画像処理装置、電子機器及び方法
US20170178297A1 (en) * 2014-02-19 2017-06-22 Yissum Research Development Company Of The Hebrew University Of Jerusalem Ltd. Method and system for dehazing natural images using color-lines
KR102207939B1 (ko) 2014-03-27 2021-01-26 한화테크윈 주식회사 안개 제거 시스템 및 안개 제거 방법
JP6284408B2 (ja) 2014-04-03 2018-02-28 オリンパス株式会社 画像処理装置、撮像装置、判定方法、駆動方法、撮像方法およびプログラム
US9305339B2 (en) * 2014-07-01 2016-04-05 Adobe Systems Incorporated Multi-feature image haze removal
US9177363B1 (en) 2014-09-02 2015-11-03 National Taipei University Of Technology Method and image processing apparatus for image visibility restoration
JP6469448B2 (ja) 2015-01-06 2019-02-13 オリンパス株式会社 画像処理装置、撮像装置、画像処理方法、および記録媒体
US9870511B2 (en) * 2015-10-14 2018-01-16 Here Global B.V. Method and apparatus for providing image classification based on opacity
US9508129B1 (en) 2015-11-06 2016-11-29 Adobe Systems Incorporated Dehazing photos and videos using visual artifact suppression

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2010074012A1 (ja) * 2008-12-22 2010-07-01 ローム株式会社 画像補正処理回路、半導体装置、画像補正処理装置
JP2013141210A (ja) * 2011-12-30 2013-07-18 Hitachi Ltd 画像霧除去装置、画像霧除去方法及び画像処理システム
JP2013156983A (ja) * 2012-01-31 2013-08-15 Hitachi Ltd 画像霧除去装置、画像霧除去方法及び画像処理システム

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP3156970A4 *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019165832A (ja) * 2018-03-22 2019-10-03 上銀科技股▲分▼有限公司 画像処理方法
JP2022103003A (ja) * 2020-12-25 2022-07-07 財團法人工業技術研究院 画像ヘイズ除去方法及びその方法を用いる画像ヘイズ除去装置
JP7178438B2 (ja) 2020-12-25 2022-11-25 財團法人工業技術研究院 画像ヘイズ除去方法及びその方法を用いる画像ヘイズ除去装置
US11528435B2 (en) 2020-12-25 2022-12-13 Industrial Technology Research Institute Image dehazing method and image dehazing apparatus using the same

Also Published As

Publication number Publication date
WO2015190183A1 (ja) 2015-12-17
JP6228670B2 (ja) 2017-11-08
RU2648955C1 (ru) 2018-03-28
RU2017100022A3 (ja) 2018-07-12
AU2015272846B2 (en) 2018-01-25
CN106462954B (zh) 2019-09-20
US20170084009A1 (en) 2017-03-23
JP6225256B2 (ja) 2017-11-01
WO2015190136A1 (ja) 2015-12-17
RU2658874C1 (ru) 2018-06-25
JPWO2015190184A1 (ja) 2017-04-20
RU2654159C1 (ru) 2018-05-16
JPWO2015190136A1 (ja) 2017-04-20
EP3156968B1 (en) 2019-02-27
ES2727929T3 (es) 2019-10-21
EP3156969A1 (en) 2017-04-19
AU2015272846A1 (en) 2017-02-02
JP6228671B2 (ja) 2017-11-08
EP3156971A4 (en) 2017-07-12
ES2681294T3 (es) 2018-09-12
CN106663326B (zh) 2019-11-08
JP6225255B2 (ja) 2017-11-01
EP3156970A1 (en) 2017-04-19
WO2015189874A1 (ja) 2015-12-17
US20170091911A1 (en) 2017-03-30
EP3156969A4 (en) 2017-10-11
EP3156968A4 (en) 2017-04-19
AU2015272798B2 (en) 2017-12-14
CN106462947B (zh) 2019-10-18
US9972074B2 (en) 2018-05-15
CN106462947A (zh) 2017-02-22
CN106462954A (zh) 2017-02-22
CN106663326A (zh) 2017-05-10
JPWO2015190183A1 (ja) 2017-04-20
EP3156970B1 (en) 2019-08-21
EP3156971A1 (en) 2017-04-19
ES2712452T3 (es) 2019-05-13
RU2664415C2 (ru) 2018-08-17
US20170091912A1 (en) 2017-03-30
CN106462953A (zh) 2017-02-22
US20170084042A1 (en) 2017-03-23
AU2014397095A1 (en) 2017-02-02
EP3156970A4 (en) 2017-07-12
AU2014397095B2 (en) 2018-07-05
EP3156969B1 (en) 2018-11-21
US10157451B2 (en) 2018-12-18
AU2015272798A1 (en) 2017-02-02
EP3156971B1 (en) 2018-05-23
RU2017100022A (ru) 2018-07-12
EP3156968A1 (en) 2017-04-19
JPWO2015189874A1 (ja) 2017-04-20
AU2015272799B2 (en) 2018-01-04
US10096092B2 (en) 2018-10-09
US10102614B2 (en) 2018-10-16
AU2015272799A1 (en) 2017-02-02
CN106462953B (zh) 2019-10-25

Similar Documents

Publication Publication Date Title
JP6228671B2 (ja) 画像処理システム及びプログラム
US10521885B2 (en) Image processing device and image processing method
CN111915535B (zh) 一种图像去噪的方法及装置
EP3944603A1 (en) Video denoising method and apparatus, and computer-readable storage medium
CN109982012B (zh) 图像处理方法及装置、存储介质、终端
CN110023957B (zh) 用于估计图像中的投射阴影区域和/或加亮区域的方法和设备
JP6161847B1 (ja) 画像処理装置及び画像処理方法
CN116977228B (zh) 图像降噪方法、电子设备及存储介质
KR101024731B1 (ko) 디지털 이미지의 모스키토 노이즈를 감소시키기 위한 방법 및 시스템
KR101067516B1 (ko) 정규 상관도와 누적영상을 이용한 고속 그림자 제거 방법

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 15806110

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2016527685

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2017100023

Country of ref document: RU

Kind code of ref document: A

REEP Request for entry into the european phase

Ref document number: 2015806110

Country of ref document: EP

WWE Wipo information: entry into national phase

Ref document number: 2015806110

Country of ref document: EP

ENP Entry into the national phase

Ref document number: 2015272799

Country of ref document: AU

Date of ref document: 20150427

Kind code of ref document: A