WO2014148114A1 - 画像処理装置、撮像装置、監視システム、符号化装置、画像処理方法 - Google Patents

画像処理装置、撮像装置、監視システム、符号化装置、画像処理方法 Download PDF

Info

Publication number
WO2014148114A1
WO2014148114A1 PCT/JP2014/051964 JP2014051964W WO2014148114A1 WO 2014148114 A1 WO2014148114 A1 WO 2014148114A1 JP 2014051964 W JP2014051964 W JP 2014051964W WO 2014148114 A1 WO2014148114 A1 WO 2014148114A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
correction
similarity
unit
frame
Prior art date
Application number
PCT/JP2014/051964
Other languages
English (en)
French (fr)
Inventor
英春 服部
佑一郎 小宮
山口　宗明
Original Assignee
株式会社日立国際電気
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社日立国際電気 filed Critical 株式会社日立国際電気
Priority to EP14770882.0A priority Critical patent/EP2977954B1/en
Priority to US14/768,772 priority patent/US9706122B2/en
Publication of WO2014148114A1 publication Critical patent/WO2014148114A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/682—Vibration or motion blur correction
    • H04N23/683—Vibration or motion blur correction performed by a processor, e.g. controlling the readout of an image memory
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/40—Image enhancement or restoration using histogram techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/73—Deblurring; Sharpening
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/186—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a colour or a chrominance component
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/63—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding using sub-band based transform, e.g. wavelets
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/14—Picture signal circuitry for video frequency region
    • H04N5/21—Circuitry for suppressing or minimising disturbance, e.g. moiré or halo
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20004—Adaptive image processing
    • G06T2207/20012—Locally adaptive
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30232—Surveillance

Definitions

  • the present invention relates to an image processing technique for reducing image quality deterioration due to a hot flame or the like.
  • a hot flame is a natural phenomenon that occurs when light is refracted by locally mixing air of different densities. Sunlight tends to be observed when shooting on the road asphalt or the roof of a car with a telephoto lens on a hot day.
  • a hot flame occurs, the subject is deformed and observed. Therefore, when a captured hot flame image is played, a specific area in the image appears to fluctuate greatly. Therefore, the visibility of the subject is greatly reduced.
  • Patent Document 1 it is determined whether or not distortion due to air fluctuation occurs, and when it is determined that distortion due to air fluctuation occurs, a plurality of images are generated by continuous shooting, The images are added (averaged) to generate an image with one distortion corrected.
  • the present invention has been made in view of the above problems, and an object of the present invention is to provide an image processing technique capable of reducing the heat of the entire image including both the stationary region and the moving object.
  • the image processing apparatus obtains the gradation distribution of each of the correction target frame and the correction frame, changes the ratio of using the correction target frame and the correction frame according to the similarity, and then selects the correction frame. To correct the correction target frame.
  • the image processing apparatus of the present invention it is possible to provide a high-quality image in which the heat of the entire image including both the stationary region and the moving object is reduced.
  • FIG. 1 is a functional block diagram of an image processing apparatus 1 according to Embodiment 1.
  • FIG. 6 is a diagram for explaining an operation example of an image smoothing unit 11.
  • FIG. It is a figure which shows a mode that the gradation distribution calculation part 12 calculates a gradation distribution using the pixel of the peripheral region of an object pixel.
  • H2 changing with the condition of the moving object contained in the past, present, and future images.
  • 3 is a flowchart showing an operation of the image processing apparatus 1.
  • 6 is a functional block diagram of an image processing apparatus 1 according to Embodiment 2.
  • FIG. 6 is a functional block diagram of an image processing apparatus 1 according to a third embodiment. It is a figure explaining the process example of the removal image generation part 1111. FIG. It is a figure explaining the process of the similarity calculation part 13 and the image correction part 14.
  • FIG. 3 is a flowchart showing an operation of the image processing apparatus 1.
  • 10 is a functional block diagram of an imaging apparatus 1500 according to Embodiment 4.
  • FIG. 10 is a functional block diagram of a monitoring system 1600 according to a fifth embodiment. It is a functional block diagram of the code decoding system 1700 which concerns on Embodiment 6.
  • FIG. 6 is a functional block diagram of an image processing apparatus 1 according to a third embodiment. It is a figure explaining the process example of the removal image generation part 1111. FIG. It is a figure explaining the process of the similarity calculation part 13 and the image correction part 14.
  • FIG. 3 is a flowchart showing an operation of the image processing apparatus 1.
  • 10 is a functional block diagram of an imaging apparatus 1500 according to Embodiment
  • FIG. 1 is a functional block diagram of an image processing apparatus 1 according to Embodiment 1 of the present invention.
  • the configuration of the image processing apparatus 1 includes an input unit 10, an image smoothing unit 11, a gradation distribution calculation unit 12, a similarity calculation unit 13, an image correction unit 14, a high resolution unit 15, a recording unit 16, and a control unit 91. Prepare.
  • the input unit 10 receives moving image data captured by an imaging unit (not shown).
  • the input unit 10 includes an image input terminal, a network connection terminal, and the like, or may be a TV broadcast tuner. Further, the input unit 10 continuously acquires still image data such as JPEG, JPEG2000, PNG, BMP format captured by an imaging unit such as a surveillance camera at predetermined time intervals, and a plurality of past, present, and future images. An image may be stored in the memory 90 as an input image.
  • the input unit 10 is provided with Motion JPEG, MPEG, H.264.
  • H.264, HD / SDI format, or other moving image data may be extracted at predetermined intervals, and a plurality of past, present, and future images may be stored in the memory 90 as input images.
  • the input unit 10 can acquire a plurality of past, present, and future input images from the memory 90 using DMA (Direct Memory Access) or the like.
  • the input unit 10 may be configured by storing a plurality of past, current, and future input images in the memory 90 by the imaging unit via a bus, a network, or the like. Further, as will be described later, the input unit 10 may store, in the memory 90, a plurality of past, current, and future input images already stored in a removable recording medium.
  • the input unit 10 performs delay processing as necessary when acquiring a plurality of past, present (time t), and future input images.
  • the input unit 10 outputs the current image and the previous and subsequent images to the image smoothing unit 11.
  • the image smoothing unit 11 synthesizes images along a time series using a plurality of past, current, and future input images, and creates a smoothed image corresponding to time t. An example of creating a smoothed image will be described later with reference to FIG.
  • the gradation distribution calculation unit 12 calculates the gradation distribution for each image area centered on the pixel of each image for each of the input image and the smoothed image at time t. This process is performed for each pixel of the input image and the smoothed image at time t. An example of the tone distribution will be described later with reference to FIG.
  • the similarity calculation unit 13 calculates the similarity between the gradation distribution of the input image and the gradation distribution of the smoothed image calculated by the gradation distribution calculation unit 12 at time t. An example of the similarity between the gradation distributions will be described again with reference to FIG.
  • the image correction unit 14 corrects the input image at time t by combining the input image at time t and the smoothed image.
  • the ratio of combining both is changed according to the similarity calculated by the similarity calculation unit 13.
  • the high resolution unit 15 creates a high resolution image at time t from the corrected image at time t. An example of increasing the resolution will be described again with reference to FIG.
  • the recording unit 16 stores the high-resolution image at time t in the memory when storing the high-resolution image at time t with reduced heat. When the high resolution image at time t is not stored, the input image is stored.
  • the storage unit 16 can switch the image stored in the memory according to the mode. For example, when the mode is 1, the high resolution image S obtained by the high resolution unit 15 is stored in the memory 90 or the high resolution image S is output to the outside of the image processing apparatus 1. When the mode is 0, the high resolution image S is not stored in the memory 90 and the input image is output to the outside of the image processing apparatus 1.
  • the control unit 91 is connected to each element in the image processing apparatus 1. Each element of the image processing apparatus 1 operates autonomously or operates according to an instruction from the control unit 91.
  • FIG. 2 is a diagram for explaining an operation example of the image smoothing unit 11.
  • a smoothed image is created using the image N as a base point and the past and future images (image N ⁇ 2, image N ⁇ 1, image N + 1, image N + 2) and the image N. It was.
  • the pixel value of the image N-2 at the coordinates (i, j) is q1 (i, j), the pixel value of the image N-1 is q2 (i, j), the pixel value of the image N is q3 (i, j), The pixel value of the image N + 1 is q4 (i, j), the pixel value of the image N + 2 is q5 (i, j), the pixel value of the smoothed image M at the coordinates (i, j) is m (i, j), Let p1 to p5 be weighting factors.
  • the image smoothing unit 11 generates a smoothed image M obtained by smoothing each image in time series by synthesizing each image using Equation 1 below.
  • D in Equation 1 When the number of past, present, and future images used for image composition is 5, D in Equation 1 is 5.
  • the pixel values in Equation 1 may be in any format. For example, the component values of the three primary colors R (Red), G (Green), and B (Blue) in the RGB hue space in each pixel, and the HSV color space (Hue, (Saturation, Value).
  • FIG. 3 is a diagram illustrating a state in which the gradation distribution calculation unit 12 calculates the gradation distribution using the pixels in the peripheral region of the target pixel.
  • the gradation distribution calculation unit 12 obtains a histogram H1 representing the gradation distribution of the image area E1 (for example, 32 pixels ⁇ 32 pixels) including the target pixel 310 of the input image N corresponding to the time t.
  • the gradation distribution calculation unit 12 obtains a histogram H2 representing the gradation distribution of the image area E2 corresponding to the image area E1 in the smoothed image M.
  • the horizontal axis indicates the gradation value
  • the vertical axis indicates the frequency (number of appearances) of the gradation value. The same applies to other histograms described below.
  • the gradation distribution calculation unit 12 rounds gradation values by including a plurality of gradation values in the same class (horizontal axis) when calculating the histograms H1 and H2. Histograms obtained by rounding gradation values are characterized by being resistant to object deformation such as a hot flame because image fluctuations that fall within the range of the class width are included in the same class. By utilizing this fact, it is possible to distinguish between an image area deformed by the heat flame and an image area deformed by the moving object. A description will be given below together with specific examples.
  • FIG. 4 is a diagram for explaining that the histogram H2 changes depending on the state of moving objects included in past, present, and future images.
  • a histogram of the region E3 including the target pixel 410 of the image N is set to H1.
  • the histogram H2 of the region E4 of the target pixel 411 of the smoothed image M has a different shape according to the speed of the moving object included in the past, current, and future images.
  • the histogram H2 When the movement of the moving object is stationary to low speed, the histogram H2 has a shape similar to the histogram H1 as shown in FIG.
  • the shape of the histogram H2 is slightly different from that of the histogram H1, as shown in FIG.
  • the histogram H2 When the movement of the moving object is from medium speed to high speed, since there are many patterns that are significantly different from the moving object, the histogram H2 has a shape that is significantly different from the histogram H1, as shown in FIG. Therefore, by comparing the histogram H1 of the image N and the histogram of the smoothed image M, the movement of the moving object in the image can be simply checked.
  • gradation distribution histogram based on the similarity between the histograms H1 and H2, it is possible to discriminate between image fluctuations in a still area caused by the heat and movement of a moving object. Further, by using the histogram H2 of each pixel of the smoothed image M created using past, present, and future images, it is possible to easily check the presence / absence and speed of a moving object.
  • the similarity calculation unit 13 calculates the gradation distribution obtained by the gradation distribution calculation unit 12, for example, the similarity between the histograms described with reference to FIGS.
  • the following equation 2 is used to obtain the distance B32 (c) between the histograms using the Bhattacharya distance for each RGB component, and B32 (r) for the r component, B32 (g) for the g component, and B32 (b) for the b component ( The similarity R is calculated using b). Since the similarity R corresponds to the distance between the histograms, the smaller the value of R, the higher the similarity.
  • C in Equation 2 represents one of rgb.
  • FIG. 5 is a diagram for explaining the operation of the image correction unit 14.
  • the image correction unit 14 uses the input image N and the smoothed image M to determine the pixel value of the corrected image. Specifically, a correction value is determined for each pixel using the similarity R obtained by the similarity calculation unit 13 and the two threshold values T1 and T2 (T1 ⁇ T2), and the input image N is determined using the correction value. Correct.
  • the region 600 and the region 601 in FIG. 5 correspond to this, and this corresponds to the case where the movement of the object in the image is slow to slow. To do.
  • the pixel value of the smoothed image M is used as the correction value.
  • the region 620 and the region 621 in FIG. 5 correspond to this, and this corresponds to the case where the movement of the moving object in the image is from medium speed to high speed.
  • the moving object becomes a blurred image in which the motion is smoothed. Therefore, the pixel value of the input image N is used as the correction value without using the smoothed image M. To do.
  • the pixel value of the image N at the coordinates (i, j) is n (i, j)
  • the pixel value of the smoothed image M at the coordinates (i, j) is m (i, j)
  • FIG. 6 is an example of a sharpening filter used by the high resolution unit 15.
  • the resolution increasing unit 15 sharpens each correction value by using, for example, a filter illustrated in FIG. 6 and creates a resolution-enhanced image S with improved resolution.
  • FIG. 7 is a flowchart showing the operation of the image processing apparatus 1. Hereinafter, each step of FIG. 7 will be described.
  • Step S701 The input unit 10 acquires past, current, and future image frames and outputs them to the image smoothing unit 11.
  • the image smoothing unit 11 calculates a smoothed image M.
  • the subscript u in step 701 is 2.
  • Steps S702 to S703 The gradation distribution calculation unit 12 calculates histograms H1 and H2 for each pixel of the image N and the smoothed image M (S702).
  • the similarity calculation unit 13 calculates the similarity R between the histograms H1 and H2 (S703).
  • Step S704 The image correction unit 14 compares the similarity R with each threshold value. If R ⁇ threshold value T1, the process proceeds to step 705. Otherwise, the process proceeds to step S706.
  • Step S705 The image correction unit 14 sets the pixel value of the smoothed image M as a correction value.
  • Steps S706 to S708 The image correction unit 14 determines whether the similarity R satisfies the threshold value T1 ⁇ R ⁇ T2. If the above condition is satisfied, the process proceeds to step 707. Otherwise, the process proceeds to step S708.
  • Step S707 to S708 If the condition is satisfied in step S706, the image correction unit 14 sets a value obtained by blending the pixel values of the image N and the smoothed image M based on Expression 3 as a correction value (S707). If the condition is not satisfied, the pixel value of the image N is set as a correction value (S708).
  • the high resolution unit 15 creates a high resolution image S in which the resolution of the corrected image obtained by the image correction unit 14 is improved (S709).
  • the image correcting unit 14 and the resolution increasing unit 15 repeat the above steps S702 to S709 until the correction value and the pixel value having a higher resolution are obtained for all the pixels in the target image (S710).
  • the image processing apparatus 1 creates the smoothed image M using the past, present (image N), and future images, and for each pixel of the image N and the smoothed image M.
  • the pixel correction amount is changed for each pixel in accordance with the similarity R between the histograms H1 and H2.
  • the image processing apparatus 1 changes the pixel correction amount for each pixel according to the similarity between the histograms H1 and H2 obtained by rounding the gradation values. As a result, it is possible to separate the image fluctuation in the still area caused by the heat and the movement of the moving object. In addition, it is possible to simply check the movement of the moving object in the image. As a result, it is possible to reduce the heat of the entire image including both the stationary region and the moving object.
  • FIG. 8 is a functional block diagram of the image processing apparatus 1 according to the second embodiment. Unlike the configuration in the first embodiment, the image processing apparatus 1 in the second embodiment does not include the image smoothing unit 11. Since the other configuration is the same as that of the first embodiment, the difference in operation of each part will be mainly described below.
  • FIG. 9 is a diagram for explaining the operation of the gradation distribution calculation unit 12.
  • the gradation distribution calculation unit 12 calculates the gradation distribution for the past, current, and future images using pixels in the peripheral area of the target pixel.
  • the histogram H1 is obtained using a partial image of the region E5 (for example, 32 pixels ⁇ 32 pixels) including the target pixel 910 of the image N-2.
  • the histogram H2 is obtained using the partial image of the region E6 including the target pixel 911 of the image N-1
  • the histogram H3 is determined using the partial image of the region E7 including the target pixel 912 of the image N
  • a histogram H4 is obtained using a partial image of the region E8 including the target pixel 913
  • a histogram H5 is obtained using a partial image of the region E9 including the target pixel 914 of the image N + 2.
  • Each histogram is obtained by rounding gradation values as in the first embodiment.
  • the similarity calculation unit 13 calculates the gradation distribution obtained by the gradation distribution calculation unit 12, for example, the similarity between the histograms. For example, the distance B32 (c) between the histograms H1 and H3 and the similarity R1 are calculated for each RGB using Equation 2 described above with reference to the histogram H3 shown in FIG. Similarly, the distance B32 (c) between the histograms H2 and H3 and the similarity R2 are calculated, the distance B32 (c) between the histograms H4 and H3 and the similarity R3 are calculated, and the distance B32 ( c) and the similarity R4 is calculated.
  • the image correcting unit 14 determines the pixel value of the corrected image using the input image N and the images N ⁇ 2, N ⁇ 1, N + 1, and N + 2 before and after the input image N. Specifically, a correction value is determined for each pixel using the similarity R1 to R4 obtained by the similarity calculation unit 13 and the two threshold values T1 and T2 (T1 ⁇ T2), and input using the correction value. The image N is corrected.
  • the image correction unit 14 first compares the similarity R1 between the histograms of the images N-2 and N with the threshold values, and calculates a correction value C1 when it is assumed that the image N is corrected using the image N-2. Ask. When the similarity R1 ⁇ T1 (the similarity between histograms is high), the pixel value of the image N-2 is set as the correction value C1. When T1 ⁇ similarity R1 ⁇ T2, a value obtained by blending the pixel values of the image N and the image N-2 based on Expression 3 is set as a correction value C1. When T2 ⁇ similarity R1, the pixel value of the image N is set as the correction value C1.
  • the image correction unit 14 determines correction values C2 to C4 for the similarities R2 to R4 between the histograms of the other images and the image N, respectively.
  • the image correction unit 14 uses the correction values C1 to C4 and the pixel value n of the image N to obtain a correction value to be finally used based on the following equation 4.
  • ai is the pixel value of each image.
  • a1 represents an image N-2
  • a2 represents an image N-1
  • a3 represents an image N + 1
  • a4 represents a pixel value of the image N + 2.
  • areas 920 and 930 in FIG. 9 are corrected using the images (image N ⁇ 2, image N ⁇ 1, image N, image N + 1, image N + 2), and the areas in FIG. 940 and the border of the frame line 950 correct the heat using several images satisfying the similarity Ri ⁇ threshold T1, and the pixel values of the image N are set in the areas 960 and 961 in FIG. Therefore, it is possible to correct the flame of the entire image including both the stationary region and the moving object.
  • K 0.75.
  • K 0.5.
  • FIG. 10 is a flowchart showing the operation of the image processing apparatus 1. Hereinafter, each step of FIG. 10 will be described.
  • Step S1001 The gradation distribution calculation unit 12 calculates histograms H1 to H5 for each pixel of past, present, and future images (images N ⁇ 2 to N + 2) output from the input unit 10. If the total number of past, present, and future images is 5, u in step S1001 is 2.
  • the similarity calculation unit 13 calculates similarities R1 to R4 between the histogram H3 and the histograms (H1, H2, H4, H5).
  • Step S1003 The image correction unit 14 determines whether or not the degree of similarity Ri ⁇ the threshold value T1 is satisfied. If satisfied, the process proceeds to step S1004. Otherwise, the process proceeds to step S1005.
  • Step S1004 The image correction unit 14 sets the pixel value of another image (the image that is not the image N) as the correction value Ci.
  • Step S1005 The image correction unit 14 determines whether or not the threshold value T1 ⁇ Ri ⁇ T2 is satisfied. If satisfied, the process proceeds to step S1006. Otherwise, the process proceeds to step S1007.
  • Step S1007 The image correction unit 14 sets the pixel value of the image N as the correction value Ci.
  • the image correction unit 14 calculates a correction value to be finally used using Expression 4 or Expression 5 (S1009).
  • the resolution increasing unit 15 calculates a value obtained by increasing the correction value (S1010).
  • the image correction unit 14 and the resolution increasing unit 15 repeat steps S1001 to S1010 until the correction value and the value with improved resolution are obtained for all pixels in the target image (S1011).
  • the image processing apparatus 1 creates histograms H1 to H5 for each pixel for each of past, present (image N), and future images (images N-2 to N + 2).
  • the histograms H3 and the respective histograms are compared to obtain similarities R1 to R4, and the pixel correction amount is changed for each pixel according to the similarities R1 to R4.
  • the difference between histograms can be calculated more clearly.
  • the difference between the histograms tends to be larger than that in the second embodiment. it is conceivable that. According to the second embodiment, the difference between the histograms can be calculated clearly and a more appropriate correction value can be selected.
  • the image processing apparatus 1 determines a final correction value using either Equation 4 or Equation 5.
  • the number of images used for correcting the hot flame can be dynamically changed for each pixel.
  • the correction value Ci obtained from the images N ⁇ 2 to N + 2 and the pixel value of the image N are used equally
  • Expression 5 the pixels of the images N ⁇ 2 to N + 2 according to the similarity Ri The values are weighted and used. Therefore, it is possible to correct the heat of an image including a moving object using an appropriate number of images for each pixel.
  • only images arbitrarily selected from the images N ⁇ 2 to N + 2 according to other appropriate criteria may be used.
  • the fluctuation of the image due to the heat flame and the moving object are distinguished using a histogram with rounded gradation values, and the heat haze of the image is corrected using an appropriate number of images.
  • a moving object removal image T in which a moving object is previously removed from the input image N is generated, and this is compared with the input image N, so that the heat of the stationary region where no moving object is present can be further reduced. A configuration example that is suitably reduced will be described.
  • FIG. 11 is a functional block diagram of the image processing apparatus 1 according to the third embodiment.
  • the image processing apparatus 1 according to the third embodiment includes a removed image generation unit 1111 in addition to the configuration described in the first or second embodiment. Since other configurations are the same as those in the first and second embodiments, the following description will focus on differences. Hereinafter, for the sake of convenience, the configuration of the first embodiment is assumed.
  • the removed image generation unit 1111 creates a moving object removed image T obtained by removing the moving object from the input image N using the following Equation 6.
  • the parameter U has a value of 0 ⁇ U ⁇ 1.
  • FIG. 12 is a diagram for explaining a processing example of the removed image generation unit 1111.
  • the removed image generation unit 1111 includes the partial image of the region E10 including the target pixel 1210 (n3 (i, j)) at the coordinates (i, j) of the image N-3 and the coordinates (i, j) of the image N-2.
  • the histogram and the similarity R described in the first embodiment are obtained.
  • the removed image generation unit 1111 then coordinates the partial image of the region E14 including the target pixel 1214 (t2 (i, j)) and the coordinates of the image N-1 (the coordinates (i, j)) of the moving object removed image T-2 ( The same processing as described above is performed on the partial image of the region E12 including the target pixel 1212 (n1 (i, j)) in i, j) to create the moving object removed image T-1.
  • the removed image generation unit 1111 includes the partial image of the region E15 including the target pixel 1215 (t1 (i, j)) and the coordinates (i, The same processing as described above is performed on the partial image of the region E13 including the target pixel 1213 (n (i, j)) in j), and the moving object removal image corresponding to the current image N (time t) Create T.
  • the gradation distribution calculation unit 12 includes a histogram H6 of the moving object removed image T created by the moving object removed image generation unit 1111, a histogram H7 of the image N, and a histogram H8 of the smoothed image M created by the image smoothing unit 11, respectively. Obtained for each pixel.
  • FIG. 13 is a diagram for explaining the processing of the similarity calculation unit 13 and the image correction unit 14.
  • the similarity calculation unit 13 calculates the distance B32 (c) and the similarity R between the histograms H7 and H8 obtained by the gradation distribution calculation unit 12 for each RGB using Equation 2. For each RGB, the distance B32 (c) and the similarity RT between the histograms H7 and H6 obtained by the gradation distribution calculation unit 12 are calculated.
  • the image correcting unit 14 uses the input image N, the moving object removed image T, and the smoothed image M to determine the pixel value of the corrected image. Specifically, a correction value is determined for each pixel using the similarity R and RT obtained by the similarity calculation unit 13 and the two threshold values T1 and T2 (T1 ⁇ T2), and input using the correction value.
  • the image N is corrected.
  • the image correcting unit 14 compares the similarity R obtained by the similarity calculating unit 13 with each of the above threshold values, and obtains a correction value C when it is assumed that the smoothed image M is used to correct the image N.
  • the similarity R ⁇ T1 the similarity between histograms is high
  • the pixel value of the smoothed image M is set as the correction value C.
  • T1 ⁇ similarity R ⁇ T2 a value obtained by blending the pixel values of the image N and the smoothed image M based on Expression 3 is set as a correction value C.
  • the similarity R> T2 the pixel value of the image N is set as the correction value C.
  • the image correction unit 14 compares the similarity RT obtained by the similarity calculation unit 13 with each of the above threshold values, and obtains a correction value CT when it is assumed that the image N is corrected using the moving object removal image T.
  • the similarity RT ⁇ T1 for example, the region 1300 and the region 1320 in FIG. 13 correspond to this, and the pixel value of the moving object removed image T is set as the correction value CT.
  • T1 ⁇ similarity RT ⁇ T2 for example, the boundary of the region 1310 and the frame line 1330 in FIG. 13 corresponds to this, and the pixel value of the moving object removed image T and the correction value C are obtained by blending based on Expression 3.
  • the value is a correction value CT.
  • the similarity RT> T2 for example, the region 1340 and the region 1341 in FIG. 13 correspond to this, and the correction value C is used as the correction value CT.
  • the image correction unit 14 sets the calculated correction value CT as a final correction value.
  • K 1.0 in FIG. 6 for the region 1300 and the region 1320 in FIG. 13. To do.
  • K 0.75.
  • K 0.5 so as not to emphasize noise.
  • FIG. 14 is a flowchart showing the operation of the image processing apparatus 1. Hereinafter, each step of FIG. 14 will be described.
  • Step S1401 The removed image generation unit 1111 removes the moving object from the input image N according to the procedure described in FIG. In the moving object removal image T, the image fluctuation due to the hot flame in the stationary region is reduced.
  • Step S1402 The image smoothing unit 11 creates a smoothed image M.
  • the hot flame at the boundary between the moving object and the moving object and the stationary region is reduced.
  • the gradation distribution calculation unit 12 calculates a histogram H7 of the image N at time t, a histogram H8 of the smoothed image M, and a histogram H6 of the moving object removed image T (S1403).
  • the similarity calculation unit 13 calculates the similarity R between the histogram H7 and the histogram H8 and the similarity RT between the histogram H7 and the histogram H6 (S1404).
  • Step S1405 If R ⁇ threshold value T1, the image correction unit 14 proceeds to step S1406; otherwise, the image correction unit 14 proceeds to step S1407.
  • Step S1406 The image correction unit 14 sets the pixel value of the smoothed image M as the correction value C.
  • Step S1407 The image correction unit 14 determines whether the similarity R satisfies the threshold value T1 ⁇ R ⁇ T2. If so, the process proceeds to step S1408; otherwise, the process proceeds to step S1409.
  • the image correction unit 14 sets the pixel value of the image N as the correction value C.
  • Step S1410 The image correction unit 14 determines whether or not the similarity RT satisfies RT ⁇ threshold T1. If satisfied, the process proceeds to step S1411. Otherwise, the process proceeds to step S1412.
  • Step S1411 The image correction unit 14 sets the pixel value of the moving object removed image T as the correction value CT.
  • Step S1412 The image correcting unit 14 determines whether or not the similarity RT satisfies the threshold value T1 ⁇ RT ⁇ T2. If satisfied, the process proceeds to step S1413. Otherwise, the process proceeds to step S1414.
  • the image correction unit 14 sets the correction value C at the coordinates (i, j) as the correction value CT.
  • the image correction unit 14 employs the correction value CT obtained through the above steps as the final correction value.
  • the resolution increasing unit 15 calculates a value obtained by increasing the correction value (S1415).
  • the image correcting unit 14 and the resolution increasing unit 15 repeat steps S1403 to S1415 until the correction value and the value with improved resolution are obtained for all the pixels in the target image (S1416).
  • the image processing apparatus 1 creates the moving object removed image T in addition to the smoothed image M, and the similarity (of the histogram) between the input image N and the smoothed image M.
  • the pixel correction amount is changed for each pixel in accordance with the degree R and the similarity RT (in the histogram) between the input image N and the moving object removed image T.
  • the image processing apparatus 1 has the highest pixel value of the moving object removed image T, the pixel value of the image N at time t, and the pixel value of the smoothed image M according to the above-described similarity.
  • An appropriate one is used as the final correction value CT.
  • FIG. 15 is a functional block diagram of an imaging apparatus 1500 according to Embodiment 4 of the present invention.
  • the imaging device 1500 includes an imaging unit 1501, an image processing device 1, and an image display unit 1502.
  • the imaging unit 1501 is an imaging device that receives light emitted from a subject and converts the received optical image into image data.
  • the image processing apparatus 1 is the image processing apparatus 1 according to any one of the first to third embodiments, and receives image data captured by the imaging unit 1501 and corrects the heat.
  • the image display unit 1502 is a device such as a display that displays a corrected image output from the image processing apparatus 1.
  • the image display unit 1502 switches the image to be displayed according to the operation mode. For example, when the mode is 1, a corrected image with reduced heat resistance is displayed, and when the mode is 0, an input image is displayed.
  • the imaging apparatus 1500 it is possible to provide an imaging apparatus that displays to the photographer a corrected image in which the heat of the entire image including both the stationary region and the moving object is reduced.
  • FIG. 16 is a functional block diagram of a monitoring system 1600 according to the fifth embodiment of the present invention.
  • the monitoring system 1600 includes an imaging device 1601, an image processing device 1, a server 1602, and a display device 1603.
  • the imaging device 1601 is an imaging device such as one or more surveillance cameras that capture image data.
  • the image processing apparatus 1 is the image processing apparatus 1 according to any one of the first to third embodiments, and receives image data captured by the imaging apparatus 1601 and corrects the heat.
  • the server 1602 is a computer on which the image processing apparatus 1 is mounted.
  • the display device 1604 is a device such as a display that displays a corrected image output from the image processing device 1.
  • the imaging device 1601 and the server 1602 and the server 1602 and the display device 1603 can be connected via a network such as the Internet, for example, depending on the physical arrangement between the monitored location and the monitoring operator. it can.
  • the monitoring system 1600 it is possible to provide a monitoring system that displays to the monitoring operator a corrected image in which the heat of the entire image including both the stationary region and the moving object is reduced.
  • FIG. 17 is a functional block diagram of a code decoding system 1700 according to Embodiment 6 of the present invention.
  • the code decoding system 1700 includes an encoding device 1710, a decoder 1721, and a display device 1722.
  • the encoding device 1710 includes an imaging device 1711, the image processing device 1, and an encoder 1712.
  • the imaging device 1711 is an imaging device such as a surveillance camera that captures image data.
  • the image processing apparatus 1 is the image processing apparatus 1 according to any one of the first to third embodiments, and receives image data captured by the imaging apparatus 1711 and corrects the heat.
  • the encoder 1712 encodes the corrected image data output from the image processing apparatus 1 and transmits the encoded image data to the decoder 1721 via the network.
  • the decoder 1721 decodes the corrected image data that has been transmitted.
  • the display device 1722 displays the image decoded by the decoder 1721.
  • the code decoding system 1700 it is possible to provide a code decoding system that displays a decoded image in which the heat of the entire image including both a stationary region and a moving object is reduced. Furthermore, since the flame in the image is reduced, the difference between images to be transmitted by the encoder 1712 is reduced, and the encoding efficiency is improved.
  • the image smoothing unit 11 has been described as creating the smoothed image M using the past, current, and future images. However, the number of images used to create the smoothed image M is limited to five. It is not something that can be done. The same applies to the number of images to be compared with the image N in the second embodiment. Further, the image smoothing unit 11 may create the smoothed image M using the past image and the current image within a certain period, or the future image and the current image within a certain period. The effect in this case is also the same.
  • the similarity calculation unit 13 has been described to calculate the similarity between histograms using the Bhattacharya distance, other conventional comparison methods for obtaining the distance between histograms, such as the sum of the frequency differences between histograms, are used.
  • the degree of similarity may be calculated using this method. The effect in this case is also the same.
  • the high-resolution part 15 demonstrated using FIG. 6 as a sharpening filter even if it raises the resolution of the image which reduced the flame using other sharpening filters and the super-resolution technique which is a prior art, it is high-resolution. Good. The effect in this case is also the same.
  • the image correcting unit 14 uses the moving object removed image T for obtaining the correction value CT.
  • the moving object removed image T-1 in FIG. 12 may be used.
  • the pixel value of the moving object removed image T-1 is set as the correction value CT in step S1411 in FIG. 14, and the moving object removed image T-1 in step S1413 in FIG.
  • a value obtained by blending the pixel value and the correction value C is set as a correction value CT.
  • the present invention is not limited to the above-described embodiment, and includes various modifications.
  • the above embodiment has been described in detail for easy understanding of the present invention, and is not necessarily limited to the one having all the configurations described.
  • a part of the configuration of one embodiment can be replaced with the configuration of another embodiment.
  • the configuration of another embodiment can be added to the configuration of a certain embodiment. Further, with respect to a part of the configuration of each embodiment, another configuration can be added, deleted, or replaced.
  • the above components, functions, processing units, processing means, etc. may be realized in hardware by designing some or all of them, for example, with an integrated circuit.
  • Each of the above-described configurations, functions, and the like may be realized by software by interpreting and executing a program that realizes each function by the processor.
  • Information such as programs, tables, and files for realizing each function can be stored in a recording device such as a memory, a hard disk, an SSD (Solid State Drive), or a recording medium such as an IC card, an SD card, or a DVD.
  • image processing apparatus 10: input unit, 11: image smoothing unit, 12: gradation distribution calculation unit, 13: similarity calculation unit, 14: image correction unit, 15: high resolution unit, 16: recording unit 91: control unit, 1111: removed image generation unit, 1500: imaging device, 1600: monitoring system, 1700: code decoding system.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)
  • Studio Devices (AREA)

Abstract

　本発明は、静止領域と移動物体をともに含む画像全体の陽炎を低減することができる画像処理技術を提供することを目的とする。　本発明に係る画像処理装置は、補正対象フレームと補正用フレームそれぞれの階調分布を求め、その類似度に応じて補正対象フレームと補正用フレームを用いる割合を変えた上で、補正用フレームを用いて補正対象フレームを補正する（図１参照）。

Description

画像処理装置、撮像装置、監視システム、符号化装置、画像処理方法
　本発明は、陽炎等による画質劣化を低減するための画像処理技術に関する。
　近年、安心・安全社会を構築するために、人の目に代わって地域社会を見守る監視カメラの需要が高まっている。監視カメラにおいて、映像の視認性を改善することは重要であり、これまでに、揺れ補正、階調補正、外乱（雨、霧、スモッグ、黄砂など）補正などの画像補正技術が開発されてきた。
　監視カメラ映像の視認性を低下させる現象の１つとして、陽炎が挙げられる。陽炎は、局所的に密度の異なる大気が混ざり合うことにより光が屈折して起こる自然現象である。気温が高い日に、望遠レンズで道路のアスファルト上や自動車の屋根部分を撮影したときに陽炎が観察されやすい。陽炎が発生すると、被写体が変形して観測されるため、撮影した陽炎映像を再生すると、画像内の特定領域が大きく揺らいで見える。そのため、被写体の視認性が大きく低下する。
　下記特許文献１においては、空気ゆらぎに起因する歪みが発生するか否かを判定し、空気ゆらぎに起因する歪みが発生すると判定した場合に、連続撮影により複数の画像を生成し、複数枚の画像を加算（平均化）して、１枚の歪みが補正された画像を生成している。
特開２０１２－１８２６２５号公報
　しかしながら、連続撮影した過去の複数の画像を加算（平均化）すると、画像内に移動物体が含まれる場合に、移動物体が２重像等になって画像が大きく劣化してしまう可能性がある。また、静止領域と移動物体がともに含まれる画像全体の陽炎による画像歪みを補正する技術は未だ開発されておらず、かかる画像歪みを補正する技術を確立することは画像補正分野において重要な技術課題とされていた。
　本発明は、上記課題に鑑みてなされたものであり、静止領域と移動物体をともに含む画像全体の陽炎を低減することができる画像処理技術を提供することを目的とする。
　本発明に係る画像処理装置は、補正対象フレームと補正用フレームそれぞれの階調分布を求め、その類似度に応じて補正対象フレームと補正用フレームを用いる割合を変えた上で、補正用フレームを用いて補正対象フレームを補正する。
　本発明に係る画像処理装置によれば、静止領域と移動物体をともに含む画像全体の陽炎を低減した良質の画像を提供することができる。
実施形態１に係る画像処理装置１の機能ブロック図である。 画像平滑化部１１の動作例を説明する図である。 階調分布算出部１２が対象画素の周辺領域の画素を用いて階調分布を算出する様子を示す図である。 過去、現在、未来の画像に含まれる移動物体の状況により、ヒストグラムＨ２が変化することを説明する図である。 画像補正部１４の動作を説明する図である。 高解像度化部１５が使用する鮮鋭化フィルタの例である。 画像処理装置１の動作を示すフローチャートである。 実施形態２に係る画像処理装置１の機能ブロック図である。 階調分布算出部１２の動作を説明する図である。 画像処理装置１の動作を示すフローチャートである。 実施形態３に係る画像処理装置１の機能ブロック図である。 除去画像生成部１１１１の処理例を説明する図である。 類似度算出部１３と画像補正部１４の処理を説明する図である。 画像処理装置１の動作を示すフローチャートである。 実施形態４に係る撮像装置１５００の機能ブロック図である。 実施形態５に係る監視システム１６００の機能ブロック図である。 実施形態６に係る符号復号システム１７００の機能ブロック図である。
　以下、本発明の各実施形態を、図面を参照して説明する。各図面において共通の構成要素には同一の符号を付与した。
＜実施の形態１＞
　図１は、本発明の実施形態１に係る画像処理装置１の機能ブロック図である。画像処理装置１の構成は、入力部１０、画像平滑化部１１、階調分布算出部１２、類似度算出部１３、画像補正部１４、高解像度化部１５、記録部１６、制御部９１を備える。
　入力部１０は、図示しない撮像手段が撮影した動画像データを受信する。例えば入力部１０は、画像入力端子、ネットワーク接続端子などを備え、あるいはＴＶ放送用のチューナーであってもよい。また入力部１０は、監視カメラ等の撮像手段が、所定時間間隔で撮像した、ＪＰＥＧ、ＪＰＥＧ２０００、ＰＮＧ、ＢＭＰ形式等の静止画像データを連続的に取得して、過去、現在、未来の複数の画像を入力画像としてメモリ９０に記憶してもよい。また入力部１０は、ＭｏｔｉｏｎＪＰＥＧ、ＭＰＥＧ、Ｈ．２６４、ＨＤ／ＳＤＩ形式等の動画像データから、所定間隔毎に静止画像データを抜き出して、過去、現在、未来の複数の画像を入力画像としてメモリ９０に記憶してもよい。また入力部１０は、過去、現在、未来の複数の入力画像を、ＤＭＡ（Ｄｉｒｅｃｔ　Ｍｅｍｏｒｙ　Ａｃｃｅｓｓ）等を用いてメモリ９０から取得することができる。また入力部１０は、撮像手段がバスやネットワーク等を介して、過去、現在、未来の複数の入力画像を、メモリ９０に記憶することにより構成してもよい。また入力部１０は、後述するように、脱着可能な記録媒体に既に記憶された、過去、現在、未来の複数の入力画像を、メモリ９０に記憶してもよい。
　入力部１０は、過去、現在（時刻ｔ）、未来の複数の入力画像を取得する際に、必要に応じて遅延処理を実施する。入力部１０は、現在画像とその前後の画像を画像平滑化部１１へ出力する。
　画像平滑化部１１は、過去、現在、未来の複数の入力画像を用いて画像を時系列に沿って合成し、時刻ｔに対応する平滑化画像を作成する。平滑化画像を作成する例については後述の図２で改めて説明する。
　階調分布算出部１２は、時刻ｔの入力画像と平滑化画像それぞれについて、各画像の画素を中心とする画像領域毎に、階調分布を算出する。この処理は、時刻ｔの入力画像と平滑化画像それぞれの画素毎に実施される。階調分布の例については後述の図３で改めて説明する。
　類似度算出部１３は、階調分布算出部１２が算出した、時刻ｔの入力画像の階調分布と平滑化画像の階調分布との間の類似度を算出する。階調分布間の類似度の例については後述の図４で改めて説明する。
　画像補正部１４は、時刻ｔの入力画像と平滑化画像を合成することにより、時刻ｔの入力画像を補正する。両者を合成する割合は、類似度算出部１３が算出した類似度に応じて変更する。上記補正により、陽炎を低減した時刻ｔの補正後画像を作成する。補正処理の例については後述の図４～図５を用いて改めて説明する。
　高解像度化部１５は、時刻ｔの補正後画像から時刻ｔの高解像度化画像を作成する。高解像度化の例については後述の図６を用いて改めて説明する。
　記録部１６は、陽炎を低減した時刻ｔの高解像度化画像を保存する場合は、時刻ｔの高解像度化画像をメモリに保存する。時刻ｔの高解像度化画像を保存しない場合は、入力画像を保存する。
　記憶部１６は、モードに応じてメモリに保存する画像を切替えることができる。例えばモードが１の場合、高解像度化部１５が求めた高解像度化画像Ｓをメモリ９０に保存し、または高解像度化画像Ｓを画像処理装置１の外部に出力する。モードが０の場合、高解像度化画像Ｓをメモリ９０に保存せず、入力画像を画像処理装置１の外部に出力する。
　制御部９１は、画像処理装置１内の各要素に接続される。画像処理装置１の各要素は自律的に動作し、または制御部９１の指示により動作する。
　図２は、画像平滑化部１１の動作例を説明する図である。図２においては１例として、画像Ｎを基点として、過去および未来の画像（画像Ｎ－２、画像Ｎ－１、画像Ｎ＋１、画像Ｎ＋２）と画像Ｎを用いて、平滑化画像を作成することとした。
　座標（ｉ，ｊ）における画像Ｎ－２の画素値をｑ１（ｉ，ｊ）、画像Ｎ－１の画素値をｑ２（ｉ，ｊ）、画像Ｎの画素値をｑ３（ｉ，ｊ）、画像Ｎ＋１の画素値をｑ４（ｉ，ｊ）、画像Ｎ＋２の画素値をｑ５（ｉ，ｊ）とし、座標（ｉ，ｊ）における平滑化画像Ｍの画素値をｍ（ｉ，ｊ）とし、ｐ１～ｐ５を重み係数とする。画像平滑化部１１は、下記式１を用いて各画像を合成することにより、各画像を時系列に沿って平滑化した平滑化画像Ｍを作成する。
Figure JPOXMLDOC01-appb-M000001
　画像合成に用いる過去、現在、未来の画像の枚数が５枚の場合、式１のＤは５となる。式１における画素値はどのような形式でもよいが、例えば、各画素におけるＲＧＢ色相空間における３原色Ｒ（Ｒｅｄ）、Ｇ（Ｇｒｅｅｎ）、Ｂ（Ｂｌｕｅ）の成分値や、ＨＳＶ色空間（Ｈｕｅ、Ｓａｔｕｒａｔｉｏｎ、Ｖａｌｕｅ）の各成分値でもよい。
　陽炎の影響で被写体が変形する際の変位量は、統計的にはガウス分布に従うという性質を有していると考えられるため、過去および未来の複数の画像を用いて画素を平滑化することにより、被写体本来の形状に近い画像を取得することができる。また、限られた範囲の過去および未来の画像（図２ではＤ＝５）を用いて基点となる画像を再構成しているので、長期間複数の過去画像を繰り返し合成して平滑化した場合と異なり、過去画像の影響を強く受けることを抑制することができる。さらに、入力画像内に移動物体が存在していても、移動物体の陽炎を低減することができる情報を含む平滑化画像Ｍを作成することができる。
　図３は、階調分布算出部１２が対象画素の周辺領域の画素を用いて階調分布を算出する様子を示す図である。階調分布算出部１２は、時刻ｔに対応する入力画像Ｎの対象画素３１０を含む画像領域Ｅ１（例えば、３２画素ｘ３２画素）の階調分布を表すヒストグラムＨ１を求める。階調分布算出部１２は同様に、平滑化画像Ｍのうち画像領域Ｅ１に対応する画像領域Ｅ２の階調分布を表すヒストグラムＨ２を求める。ヒストグラムＨ１とＨ２の横軸は階調値、縦軸はその階調値の度数（出現数）を示す。以下に説明するその他のヒストグラムについても同様である。
　階調分布算出部１２は、ヒストグラムＨ１とＨ２を計算する際に、複数の階調値を同一の階級（横軸）に含めることにより、階調値を丸める。階調値を丸めたヒストグラムは、その階級幅の範囲内に収まる画像揺らぎが同一の階級内に含まれるので、陽炎などの物体変形に強いという特徴をもつ。このことを利用して、陽炎により変形した画像領域と移動物体により変形した画像領域を区別することができる。以下に具体例とともに説明する。
　図４は、過去、現在、未来の画像に含まれる移動物体の状況により、ヒストグラムＨ２が変化することを説明する図である。画像Ｎの対象画素４１０を含む領域Ｅ３のヒストグラムをＨ１とする。平滑化画像Ｍの対象画素４１１の領域Ｅ４のヒストグラムＨ２は、過去、現在、未来の画像に含まれる移動物体の速さに応じて形状が異なる。
　移動物体の動きが静止から低速の場合、図４（１）に示すように、ヒストグラムＨ２はヒストグラムＨ１に類似した形状となる。移動物体の動きが低速から中速の場合、移動物体とは異なる絵柄の情報が少し含まれるため、図４（２）に示すように、ヒストグラムＨ２はヒストグラムＨ１とは少し形状が異なる。移動物体の動きが中速から高速の場合、移動物体とは大きく異なる絵柄が多く含まれるため、図４（３）に示すように、ヒストグラムＨ２はヒストグラムＨ１とは大きく異なる形状となる。したがって、画像ＮのヒストグラムＨ１と平滑化画像Ｍのヒストグラムを比較することにより、画像内の移動物体の動きを簡易的に調べることができる。
　階調分布ヒストグラムの上記特性を利用して、ヒストグラムＨ１とＨ２の間の類似度に基づき、陽炎による静止領域の画像揺らぎと移動物体の動きを切り分けることができる。また、過去、現在、未来の画像を用いて作成した平滑化画像Ｍの各画素のヒストグラムＨ２を用いることにより、移動物体の有無や速さを簡易的に調べることができる。
　類似度算出部１３は、階調分布算出部１２が求めた階調分布、例えば図３～図４で説明した各ヒストグラム間の類似度を算出する。例えば下記式２を用いて、ＲＧＢ成分毎にＢｈａｔｔａｃｈａｒｙｙａ距離を利用してヒストグラム間の距離Ｂ３２（ｃ）を求め、ｒ成分に関するＢ３２（ｒ）とｇ成分に関するＢ３２（ｇ）とｂ成分に関するＢ３２（ｂ）を用いて類似度Ｒを算出する。類似度Ｒはヒストグラム間の距離に相当するので、Ｒの値が小さいほど類似度が高いことになる。式２におけるｃは、ｒｇｂのどれかを表す。
Figure JPOXMLDOC01-appb-M000002
　図５は、画像補正部１４の動作を説明する図である。画像補正部１４は、入力画像Ｎと平滑化画像Ｍを用いて、補正後画像の画素値を決定する。具体的には、類似度算出部１３が求めた類似度Ｒと２つの閾値Ｔ１、Ｔ２（Ｔ１＜Ｔ２）を用いて、画素毎に補正値を決定し、その補正値を用いて入力画像Ｎを補正する。
　類似度Ｒ≦Ｔ１（ヒストグラム間の類似度が高い）である場合、例えば図５の領域６００や領域６０１がこれに該当し、これは画像内の物体の動きが静止から低速である場合に相当する。この場合は、平滑化画像Ｍを用いて補正を強くかけたいため、平滑化画像Ｍの画素値を補正値とする。
　Ｔ２＜類似度Ｒの場合、例えば図５の領域６２０や領域６２１がこれに該当し、これは画像内の移動物体の動きが中速から高速である場合に相当する。この場合は、平滑化画像Ｍを用いて補正を実施すると、移動物体の動きが平滑化されたぼやけた画像となるため、平滑化画像Ｍは用いずに入力画像Ｎの画素値を補正値とする。
　Ｔ１＜類似度Ｒ≦Ｔ２の場合、例えば図５の領域６１０の枠線の境界がこれに該当し、これは画像内の移動物体の動きが低速から中速である場合に相当する。これは上記の中間的な場合であるため、下記式３を用いて、入力画像Ｎと平滑化画像Ｍの各画素値をブレンドした値を補正値とする。式３において、座標（ｉ，ｊ）における画像Ｎの画素値をｎ（ｉ，ｊ）、座標（ｉ，ｊ）における平滑化画像Ｍの画素値をｍ（ｉ，ｊ）、各画素値をブレンドした値をｄ（ｉ，ｊ）とすると、ｅ（ｉ，ｊ）＝ｍ（ｉ，ｊ）、ｆ（ｉ，ｊ）＝ｎ（ｉ，ｊ）とする。
Figure JPOXMLDOC01-appb-M000003
　図６は、高解像度化部１５が使用する鮮鋭化フィルタの例である。高解像度化部１５は例えば図６に例示するようなフィルタを用いて各補正値を鮮鋭化し、解像度を向上した高解像度化画像Ｓを作成する。
　平滑化画像Ｍは解像度が低下する場合があるので、図５の領域６００や領域６０１のように変形が小さい領域については、例えば図６（１）や図６（２）のＫ＝１．０とし、鮮鋭化の度合いを強くする。画像Ｎと平滑化画像Ｍの画素値をブレンドした値を用いる図５の領域６１０の枠線の境界については、例えば中間的なＫ＝０．７５とする。画像Ｎの画素値を用いる図６の領域６２０や領域６２１については、ノイズを強調しないように、例えばＫ＝０．５とする。上述の処理を全ての画素について実施することにより、静止領域と移動物体を含む画像全体の陽炎を低減しつつ解像度を向上させた高解像度化画像Ｓを作成することができる。
　図７は、画像処理装置１の動作を示すフローチャートである。以下、図７の各ステップについて説明する。
（図７：ステップＳ７０１）
　入力部１０は、過去、現在、未来の画像フレームを取得して画像平滑化部１１に出力する。画像平滑化部１１は平滑化画像Ｍを算出する。過去、現在、未来の画像の合計枚数が５の場合、ステップ７０１の添字ｕは２となる。
（図７：ステップＳ７０２～Ｓ７０３）
　階調分布算出部１２は、画像Ｎと平滑化画像Ｍの画素毎に、ヒストグラムＨ１とＨ２を算出する（Ｓ７０２）。類似度算出部１３は、ヒストグラムＨ１とＨ２の間の類似度Ｒを算出する（Ｓ７０３）。
（図７：ステップＳ７０４）
　画像補正部１４は、類似度Ｒと各閾値とを比較する。Ｒ≦閾値Ｔ１の場合はステップ７０５に進む。それ以外であればステップＳ７０６に進む。
（図７：ステップＳ７０５）
　画像補正部１４は、補正値として平滑化画像Ｍの画素値を設定する。
（図７：ステップＳ７０６～Ｓ７０８）
　画像補正部１４は、類似度Ｒが、閾値Ｔ１＜Ｒ≦Ｔ２を満たすか否かを判定する。上記条件を満たす場合はステップ７０７に進み、それ以外であればステップＳ７０８に進む。
（図７：ステップＳ７０７～Ｓ７０８）
　画像補正部１４は、ステップＳ７０６において条件を満たした場合は、画像Ｎと平滑化画像Ｍの画素値を式３に基づきブレンドした値を補正値として設定する（Ｓ７０７）。条件を満たさなかった場合は、画像Ｎの画素値を補正値に設定する（Ｓ７０８）。
（図７：ステップＳ７０９～Ｓ７１０）
　高解像度化部１５は、画像補正部１４が求めた補正後画像の解像度を向上した高解像度化画像Ｓを作成する（Ｓ７０９）。画像補正部１４と高解像度化部１５は、対象画像内の全ての画素について、補正値および高解像度化した画素値を求めるまで、上記ステップＳ７０２からＳ７０９を繰り返す（Ｓ７１０）。
＜実施の形態１：まとめ＞
　以上のように、本実施形態１に係る画像処理装置１は、過去、現在（画像Ｎ）、未来の画像を用いて平滑化画像Ｍを作成し、画像Ｎと平滑化画像Ｍの画素毎にヒストグラムＨ１とＨ２を作成した後、ヒストグラムＨ１とＨ２の間の類似度Ｒに応じて画素毎に画素の補正量を変えている。これにより、画像内の陽炎を低減した補正後画像を生成することができる。
　また、本実施形態１に係る画像処理装置１は、階調値を丸めたヒストグラムＨ１とＨ２の間の類似度に応じて画素毎に画素の補正量を変える。これにより、陽炎による静止領域の画像揺らぎと移動物体の動きを切り分けることができる。また、画像内の移動物体の動きを簡易的に調べることができる。これにより、静止領域と移動物体をともに含む画像全体の陽炎を低減することができる。
＜実施の形態２＞
　実施形態１においては、平滑化画像Ｍと入力画像Ｎそれぞれの階調分布ヒストグラムを比較することにより、静止領域と移動物体を区別することを説明した。平滑化画像Ｍを用いることにより、メモリ９０の記憶容量を節約するとともに、比較回数を低減して演算負荷を抑えることができる。他方、これらリソースについてのハードウェア制約があまりない場合には、平滑化画像Ｍを作成せず個々の画像フレームと入力画像Ｎを比較することもできる。本発明の実施形態２では、入力画像Ｎとその前後の画像フレームそれぞれの階調分布ヒストグラムを個別比較する構成例を説明する。
　図８は、本実施形態２に係る画像処理装置１の機能ブロック図である。本実施形態２における画像処理装置１は、実施形態１における構成とは異なり、画像平滑化部１１を備えていない。その他の構成は実施形態１と同様であるため、以下では主に各部の動作の違いについて説明する。
　図９は、階調分布算出部１２の動作を説明する図である。階調分布算出部１２は、過去、現在、未来の各画像について、対象画素の周辺領域の画素を用いて、階調分布を算出する。図９に示す例においては、画像Ｎ－２の対象画素９１０を含む領域Ｅ５（例えば、３２画素ｘ３２画素）の部分画像を用いて、ヒストグラムＨ１を求める。同様に、画像Ｎ－１の対象画素９１１を含む領域Ｅ６の部分画像を用いてヒストグラムＨ２を求め、画像Ｎの対象画素９１２を含む領域Ｅ７の部分画像を用いてヒストグラムＨ３を求め、画像Ｎ＋１の対象画素９１３を含む領域Ｅ８の部分画像を用いてヒストグラムＨ４を求め、画像Ｎ＋２の対象画素９１４を含む領域Ｅ９の部分画像を用いてヒストグラムＨ５を求める。各ヒストグラムは、実施形態１と同様に階調値を丸めたものである。
　類似度算出部１３は、階調分布算出部１２が求めた階調分布、例えば上記各ヒストグラム間の類似度を算出する。例えば、図９に示すヒストグラムＨ３を基準にして、上述した式２を用いて、ＲＧＢ毎に、ヒストグラムＨ１とＨ３間の距離Ｂ３２（ｃ）と類似度Ｒ１を算出する。同様に、ヒストグラムＨ２とＨ３間の距離Ｂ３２（ｃ）と類似度Ｒ２を算出し、ヒストグラムＨ４とＨ３間の距離Ｂ３２（ｃ）と類似度Ｒ３を算出し、ヒストグラムＨ５とＨ３間の距離Ｂ３２（ｃ）と類似度Ｒ４を算出する。
　画像補正部１４は、入力画像Ｎとその前後の画像Ｎ－２、Ｎ－１、Ｎ＋１、Ｎ＋２を用いて、補正後画像の画素値を決定する。具体的には、類似度算出部１３が求めた類似度Ｒ１～Ｒ４と２つの閾値Ｔ１、Ｔ２（Ｔ１＜Ｔ２）を用いて、画素毎に補正値を決定し、その補正値を用いて入力画像Ｎを補正する。
　画像補正部１４は、まず画像Ｎ－２と画像Ｎそれぞれのヒストグラム間の類似度Ｒ１と上記各閾値を比較し、画像Ｎ－２を用いて画像Ｎを補正すると仮定した場合における補正値Ｃ１を求める。類似度Ｒ１≦Ｔ１（ヒストグラム間の類似度が高い）の場合、画像Ｎ－２の画素値を補正値Ｃ１とする。Ｔ１＜類似度Ｒ１≦Ｔ２の場合、画像Ｎと画像Ｎ－２の各画素値を式３に基づきブレンドして求めた値を補正値Ｃ１とする。Ｔ２＜類似度Ｒ１の場合、画像Ｎの画素値を補正値Ｃ１とする。
　画像補正部１４は以下同様に、その他の画像と画像Ｎそれぞれのヒストグラム間の類似度Ｒ２～Ｒ４について補正値Ｃ２～Ｃ４を決定する。画像補正部１４は、補正値Ｃ１～Ｃ４と画像Ｎの画素値ｎを用いて、下記式４に基づき、最終的に使用する補正値を求める。式４において、補正に使用する過去、現在、未来の画像の合計枚数が５枚の場合は、Ａ＝４であり、ｐ６＝１＋Ａ＝５となる。
Figure JPOXMLDOC01-appb-M000004
　上記式４に代えて、閾値判定を実施せず、類似度Ｒｉ（ｉ＝１～４）と各画像の画素値を用いて下記式５に基づき最終的な補正値を求めてもよい。式５において、ａｉは各画像の画素値である。ａ１は画像Ｎ－２、ａ２は画像Ｎ－１、ａ３は画像Ｎ＋１、ａ４は画像Ｎ＋２の画素値をそれぞれ表す。
Figure JPOXMLDOC01-appb-M000005
　上記手順によれば、図９の領域９２０や９３０は全ての画像（画像Ｎ－２、画像Ｎ－１、画像Ｎ、画像Ｎ＋１、画像Ｎ＋２）を使用して陽炎を補正し、図９の領域９４０や枠線９５０の境界は、類似度Ｒｉ≦閾値Ｔ１を満たす数枚の画像を用いて陽炎を補正し、図９の領域９６０や９６１は画像Ｎの画素値が設定される。そのため、静止領域と移動物体をともに含む画像全体の陽炎を補正することができる。
　高解像度化部１５は、複数の画像の各画素値を合成して各補正値を求めた場合、画像の解像度が低下する場合があるので、図９の領域９２０や領域９３０に対しては、図６におけるＫ＝１．０とする。図９の領域９４０や枠線９５０の境界に対しては、例えばＫ＝０．７５とする。図９の領域９６０や領域９６１に対しては、Ｋ＝０．５とする。
　図１０は、画像処理装置１の動作を示すフローチャートである。以下、図１０の各ステップについて説明する。
（図１０：ステップＳ１００１）
　階調分布算出部１２は、入力部１０より出力された、過去、現在、未来の画像（画像Ｎ－２～Ｎ＋２）の画素毎に、ヒストグラムＨ１～Ｈ５を算出する。過去、現在、未来の画像の合計枚数が５の場合、ステップＳ１００１のｕは２となる。
（図１０：ステップＳ１００２）
　類似度算出部１３は、ヒストグラムＨ３と各ヒストグラム（Ｈ１、Ｈ２、Ｈ４、Ｈ５）との間の類似度Ｒ１～Ｒ４を算出する。画像補正部１４は、補正値Ｃ１～Ｃ４を求める際に使用する添字ｉを初期化しておく（ｉ＝１）。ｉ＝１は画像Ｎ－２に対応し、ｉ＝２は画像Ｎ－１に対応し、ｉ＝３は画像Ｎ＋１に対応し、ｉ＝４は画像Ｎ＋２に対応する。
（図１０：ステップＳ１００３）
　画像補正部１４は、類似度Ｒｉ≦閾値Ｔ１を満たすか否かを判定する。満たす場合はステップＳ１００４に進み、それ以外であればステップＳ１００５へ進む。
（図１０：ステップＳ１００４）
　画像補正部１４は、他画像（画像Ｎではない方の画像）の画素値を補正値Ｃｉとする。
（図１０：ステップＳ１００５）
　画像補正部１４は、閾値Ｔ１＜Ｒｉ≦Ｔ２を満たすか否かを判定する。満たす場合はステップＳ１００６に進み、それ以外であればステップＳ１００７に進む。
（図１０：ステップＳ１００６）
　画像補正部１４は、画像Ｎの画素値と他画像（画像Ｎではない方の画像）の画素値をブレンドした値を補正値Ｃｉとする。すなわち、座標（ｉ，ｊ）における画像Ｎの画素値をｎ（ｉ，ｊ）、座標（ｉ，ｊ）における他画像の画素値をｎ２（ｉ，ｊ）とすると、式３において、ｅ（ｉ，ｊ）＝ｎ２（ｉ，ｊ）、ｆ（ｉ，ｊ）＝ｎ（ｉ，ｊ）とする。
（図１０：ステップＳ１００７）
　画像補正部１４は、画像Ｎの画素値を補正値Ｃｉとする。
（図１０：ステップＳ１００８）
　画像補正部１４は、全ての補正値Ｃｉ（ｉ＝１～４）を算出し終えた場合はステップＳ１００９に進み、算出していない補正値Ｃｉが残っている場合はｉをインクリメントしてステップＳ１００３に戻る。
（図１０：ステップＳ１００９～Ｓ１０１１）
　画像補正部１４は、式４または式５を用いて、最終的に用いる補正値を算出する（Ｓ１００９）。高解像度化部１５は、補正値を高解像度化した値を算出する（Ｓ１０１０）。画像補正部１４と高解像度化部１５は、対象画像内の全ての画素について、補正値および解像度を向上した値を求めるまで、上記ステップＳ１００１からＳ１０１０を繰り返す（Ｓ１０１１）。
＜実施の形態２：まとめ＞
　以上のように、本実施形態２に係る画像処理装置１は、過去、現在（画像Ｎ）、未来の各画像（画像Ｎ－２～Ｎ＋２）について、画素毎にヒストグラムＨ１～Ｈ５を作成し、ヒストグラムＨ３と各ヒストグラム（Ｈ１、Ｈ２、Ｈ４、Ｈ５）を比較して類似度Ｒ１～Ｒ４を求め、その類似度Ｒ１～Ｒ４に応じて画素毎に画素の補正量を変えている。これにより、実施形態１と比較して、ヒストグラム間の差分をより鮮明に算出することができる。すなわち、実施形態１においては複数の画像を平滑化した平滑化画像Ｍと画像Ｎの間でヒストグラムを比較しているので、ヒストグラム間の差分は本実施形態２と比較して大きくなる傾向があると考えられる。本実施形態２によれば、ヒストグラム間の差分を鮮明に算出してより適切な補正値を選択することができる。
　また、本実施形態２に係る画像処理装置１は、式４または式５いずれかを用いて、最終的な補正値を決定する。これにより、陽炎補正のために使用する画像枚数を画素毎に動的に変更することができる。例えば式４を用いる場合は画像Ｎ－２～Ｎ＋２から求めた補正値Ｃｉと画像Ｎの画素値を均等に用い、式５を用いる場合は類似度Ｒｉに応じて画像Ｎ－２～Ｎ＋２の画素値を重み付け加算して用いることになる。したがって、画素毎に適切な枚数の画像を用いて、移動物体を含む画像の陽炎を補正することができる。さらには、その他適当な基準にしたがって、画像Ｎ－２～Ｎ＋２のなかから任意に選択した画像のみを用いてもよい。
＜実施の形態３＞
　実施形態１～２においては、階調値を丸めたヒストグラムを用いて、陽炎による画像揺らぎと移動物体とを区別し、適切な枚数の画像を用いて画像の陽炎を補正することとした。本発明の実施形態３においては、移動物体をあらかじめ入力画像Ｎから除去した移動物体除去画像Ｔを生成し、これと入力画像Ｎを比較することにより、移動物体が存在しない静止領域の陽炎をより好適に低減する構成例を説明する。
　図１１は、本実施形態３に係る画像処理装置１の機能ブロック図である。本実施形態３における画像処理装置１は、実施形態１または２で説明した構成に加えて除去画像生成部１１１１を備える。その他の構成は実施形態１～２と同様であるため、以下では差異点を中心に説明する。以下では便宜上、実施形態１の構成を前提とする。
　除去画像生成部１１１１は、下記式６を用いて、入力画像Ｎから移動物体を除去した移動物体除去画像Ｔを作成する。式６において、パラメータＵは０＜Ｕ＜１の値とする。
Figure JPOXMLDOC01-appb-M000006
　図１２は、除去画像生成部１１１１の処理例を説明する図である。除去画像生成部１１１１は、画像Ｎ－３の座標（ｉ，ｊ）における対象画素１２１０（ｎ３（ｉ，ｊ））を含む領域Ｅ１０の部分画像と画像Ｎ－２の座標（ｉ，ｊ）における対象画素１２１１（ｎ２（ｉ，ｊ））を含む領域Ｅ１１の部分画像に対して、実施形態１で説明したヒストグラムおよび類似度Ｒを求める。Ｒ≦閾値Ｔ１の場合、式６のｖ（ｉ，ｊ）＝ｎ３（ｉ，ｊ）、ｗ（ｉ，ｊ）＝ｎ２（ｉ，ｊ）として、式６を用いて座標（ｉ，ｊ）における補正値ｈ（ｉ，ｊ）を求める。Ｒ＞閾値Ｔ１の場合は、過去画像、すなわち画像Ｎ－３の画素値を補正値とする。除去画像生成部１１１１は、全ての画素について上記判定を実施し、移動物体除去画像Ｔ－２を作成する。
　除去画像生成部１１１１は次に、移動物体除去画像Ｔ－２の座標（ｉ，ｊ）における対象画素１２１４（ｔ２（ｉ，ｊ））を含む領域Ｅ１４の部分画像と画像Ｎ－１の座標（ｉ，ｊ）における対象画素１２１２（ｎ１（ｉ，ｊ））を含む領域Ｅ１２の部分画像に対して、上記と同様の処理を実施して移動物体除去画像Ｔ－１を作成する。
　除去画像生成部１１１１は次に、移動物体除去画像Ｔ－１の座標（ｉ，ｊ）における対象画素１２１５（ｔ１（ｉ，ｊ））を含む領域Ｅ１５の部分画像と画像Ｎの座標（ｉ，ｊ）における対象画素１２１３（ｎ（ｉ，ｊ））を含む領域Ｅ１３の部分画像に対して、上記と同様の処理を実施して、現在（時刻ｔ）の画像Ｎに対応する移動物体除去画像Ｔを作成する。
　以上の処理によれば、画像内の静止領域のみが繰り返し平滑化されるため、移動物体除去画像Ｔ内の静止領域における陽炎は大幅に低減される。なお、図１２においては移動物体が存在しない画像Ｎ－３から処理を開始しているが、仮に画像Ｎ－２から処理を開始したとしても、同様の処理を画像Ｎ以降においても繰り返すことにより、静止領域のみを残した画像を作成することができる。したがって、いずれの画像から上記処理を開始するかはあまり重要ではない。
　階調分布算出部１２は、移動物体除去画像生成部１１１１が作成した移動物体除去画像ＴのヒストグラムＨ６、画像ＮのヒストグラムＨ７、画像平滑化部１１が作成した平滑化画像ＭのヒストグラムＨ８をそれぞれ画素毎に求める。
　図１３は、類似度算出部１３と画像補正部１４の処理を説明する図である。類似度算出部１３は、式２を用いて、ＲＧＢ毎に、階調分布算出部１２が求めたヒストグラムＨ７とＨ８間の距離Ｂ３２（ｃ）と類似度Ｒを算出する。また、ＲＧＢ毎に、階調分布算出部１２が求めたヒストグラムＨ７とＨ６間の距離Ｂ３２（ｃ）と類似度ＲＴを算出する。
　画像補正部１４は、入力画像Ｎ、移動物体除去画像Ｔ、平滑化画像Ｍを用いて、補正後画像の画素値を決定する。具体的には、類似度算出部１３が求めた類似度Ｒ、ＲＴと２つの閾値Ｔ１、Ｔ２（Ｔ１＜Ｔ２）を用いて、画素毎に補正値を決定し、その補正値を用いて入力画像Ｎを補正する。
　画像補正部１４は、類似度算出部１３が求めた類似度Ｒと上記各閾値を比較し、平滑化画像Ｍを用いて画像Ｎを補正すると仮定した場合における補正値Ｃを求める。類似度Ｒ≦Ｔ１（ヒストグラム間の類似度が高い）の場合、平滑化画像Ｍの画素値を補正値Ｃとする。Ｔ１＜類似度Ｒ≦Ｔ２の場合、画像Ｎと平滑化画像Ｍの各画素値を式３に基づきブレンドして求めた値を補正値Ｃとする。類似度Ｒ＞Ｔ２の場合、画像Ｎの画素値を補正値Ｃとする。
　画像補正部１４は次に、類似度算出部１３が求めた類似度ＲＴと上記各閾値を比較し、移動物体除去画像Ｔを用いて画像Ｎを補正すると仮定した場合における補正値ＣＴを求める。類似度ＲＴ≦Ｔ１の場合、例えば図１３の領域１３００や領域１３２０がこれに該当し、移動物体除去画像Ｔの画素値を補正値ＣＴとする。Ｔ１＜類似度ＲＴ≦Ｔ２の場合、例えば図１３の領域１３１０や枠線１３３０の境界がこれに該当し、移動物体除去画像Ｔの画素値と補正値Ｃを式３に基づきブレンドして求めた値を補正値ＣＴとする。類似度ＲＴ＞Ｔ２の場合、例えば図１３の領域１３４０や領域１３４１がこれに該当し、補正値ＣＴとして補正値Ｃを用いる。画像補正部１４は、求めた補正値ＣＴを最終的な補正値とする。
　高解像度化部１５は、移動物体除去画像Ｔや平滑化画像Ｍは解像度が低下する場合があるので、図１３の領域１３００や領域１３２０に対しては、例えば図６におけるＫ＝１．０とする。図１３の領域１３１０や枠線１３３０の境界に対しては、例えばＫ＝０．７５とする。図１３の領域１３４０や領域１３４１に対しては、ノイズを強調しないように、例えばＫ＝０．５とする。
　図１４は、画像処理装置１の動作を示すフローチャートである。以下、図１４の各ステップについて説明する。
（図１４：ステップＳ１４０１）
　除去画像生成部１１１１は、図１２で説明した手順にしたがって入力画像Ｎから移動物体を除去し、移動物体除去画像Ｔを作成する。移動物体除去画像Ｔ内においては、静止領域の陽炎による画像揺らぎが低減されている。
（図１４：ステップＳ１４０２）
　画像平滑化部１１は、平滑化画像Ｍを作成する。平滑化画像Ｍ内においては、移動物体や移動物体と静止領域の境界における陽炎が低減されている。
（図１４：ステップＳ１４０３～Ｓ１４０４）
　階調分布算出部１２は、時刻ｔの画像ＮのヒストグラムＨ７、平滑化画像ＭのヒストグラムＨ８、移動物体除去画像ＴのヒストグラムＨ６をそれぞれ算出する（Ｓ１４０３）。類似度算出部１３は、ヒストグラムＨ７とヒストグラムＨ８の間の類似度Ｒ、ヒストグラムＨ７とヒストグラムＨ６の間の類似度ＲＴをそれぞれ算出する（Ｓ１４０４）。
（図１４：ステップＳ１４０５）
　画像補正部１４は、Ｒ≦閾値Ｔ１である場合はステップＳ１４０６に進み、それ以外であればステップＳ１４０７に進む。
（図１４：ステップＳ１４０６）
　画像補正部１４は、平滑化画像Ｍの画素値を補正値Ｃとする。
（図１４：ステップＳ１４０７）
　画像補正部１４は、類似度Ｒが、閾値Ｔ１＜Ｒ≦Ｔ２を満たすか否かを判定する。満たす場合はステップＳ１４０８に進み、それ以外であればステップＳ１４０９に進む。
（図１４：ステップＳ１４０８）
　画像補正部１４は、平滑化画像Ｍの画素値と画像Ｎの画素値をブレンドした値を補正値Ｃとする。すなわち、座標（ｉ，ｊ）における平滑化画像Ｍの画素値をｍ（ｉ，ｊ）、座標（ｉ，ｊ）における画像Ｎの画素値をｎ（ｉ，ｊ）とすると、式３において、ｅ（ｉ，ｊ）＝ｍ（ｉ，ｊ）、ｆ（ｉ，ｊ）＝ｎ（ｉ，ｊ）とし、ブレンドした値を求める。
（図１４：ステップＳ１４０９）
　画像補正部１４は、画像Ｎの画素値を補正値Ｃとする。
（図１４：ステップＳ１４１０）
　画像補正部１４は、類似度ＲＴが、ＲＴ≦閾値Ｔ１を満たすか否かを判定する。満たす場合はステップＳ１４１１に進み、それ以外であればステップＳ１４１２に進む。
（図１４：ステップＳ１４１１）
　画像補正部１４は、移動物体除去画像Ｔの画素値を補正値ＣＴとする。
（図１４：ステップＳ１４１２）
　画像補正部１４は、類似度ＲＴが、閾値Ｔ１＜ＲＴ≦Ｔ２を満たすか否かを判定する。満たす場合はステップＳ１４１３に進み、それ以外であればステップＳ１４１４に進む。
（図１４：ステップＳ１４１３）
　画像補正部１４は、移動物体除去画像Ｔの画素値と補正値Ｃをブレンドした値を補正値ＣＴとする。すなわち、座標（ｉ，ｊ）における移動物体除去画像Ｔの画素値をｔ０（ｉ，ｊ）とすると、式３において、ｅ（ｉ，ｊ）＝ｔ０（ｉ，ｊ）、ｆ（ｉ，ｊ）＝補正値Ｃとなる。
（図１４：ステップＳ１４１４）
　画像補正部１４は、座標（ｉ，ｊ）における補正値Ｃを補正値ＣＴとする。画像補正部１４は、以上のステップにより求めた補正値ＣＴを最終的な補正値として採用する。
（図１４：ステップＳ１４１５～Ｓ１４１６）
　高解像度化部１５は、補正値を高解像度化した値を算出する（Ｓ１４１５）。画像補正部１４と高解像度化部１５は、対象画像内の全ての画素について、補正値および解像度を向上した値を求めるまで、上記ステップＳ１４０３からＳ１４１５を繰り返す（Ｓ１４１６）。
＜実施の形態３：まとめ＞
　以上のように、本実施形態３に係る画像処理装置１は、平滑化画像Ｍに加えて移動物体除去画像Ｔを作成し、入力画像Ｎと平滑化画像Ｍとの間の（ヒストグラムの）類似度Ｒ、および入力画像Ｎと移動物体除去画像Ｔとの間の（ヒストグラムの）類似度ＲＴに応じて画素毎に画素の補正量を変えている。移動物体除去画像Ｔの画素値を補正値ＣＴとして導入することにより、入力画像Ｎ内の静止領域の陽炎をより好適に低減することができる。
　また、本実施形態３に係る画像処理装置１は、移動物体除去画像Ｔの画素値、時刻ｔの画像Ｎの画素値、平滑化画像Ｍの画素値のうち、上述の類似度に応じて最も適切なものを最終的な補正値ＣＴとして用いる。これにより、画像内の静止領域の陽炎をさらに効果的に抑制しつつ、静止領域と移動物体をともに含む画像全体の陽炎を低減した補正後画像を求めることができる。
＜実施の形態４＞
　図１５は、本発明の実施形態４に係る撮像装置１５００の機能ブロック図である。撮像装置１５００は、撮像部１５０１、画像処理装置１、画像表示部１５０２を備える。撮像部１５０１は、被写体から発する光を受光し、受光した光学像を画像データに変換する撮像デバイスである。画像処理装置１は、実施形態１～３いずれかに係る画像処理装置１であり、撮像部１５０１が撮影した画像データを受け取って陽炎を補正する。画像表示部１５０２は、画像処理装置１が出力する補正後画像を表示するディスプレイなどのデバイスである。
　画像表示部１５０２は、動作モードに応じて表示する画像を切り替える。例えば、モードが１の場合、陽炎を低減した補正後画像を表示し、モードが０の場合、入力画像を表示する。
　本実施形態４に係る撮像装置１５００によれば、静止領域と移動物体をともに含む画像全体の陽炎を低減した補正後画像を撮影者に対して表示する撮像装置を提供することができる。
＜実施の形態５＞
　図１６は、本発明の実施形態５に係る監視システム１６００の機能ブロック図である。監視システム１６００は、撮像装置１６０１、画像処理装置１、サーバ１６０２、表示装置１６０３を備える。撮像装置１６０１は、画像データを撮影する１以上の監視カメラなどの撮像装置である。画像処理装置１は、実施形態１～３いずれかに係る画像処理装置１であり、撮像装置１６０１が撮影した画像データを受け取って陽炎を補正する。サーバ１６０２は、画像処理装置１を搭載したコンピュータである。表示装置１６０４は、画像処理装置１が出力する補正後画像を表示するディスプレイなどのデバイスである。
　撮像装置１６０１とサーバ１６０２の間、およびサーバ１６０２と表示装置１６０３の間は、被監視場所と監視オペレータとの間の物理的配置などに応じて、例えばインターネットなどのネットワークを介して接続することができる。
　本実施形態５に係る監視システム１６００によれば、静止領域と移動物体をともに含む画像全体の陽炎を低減した補正後画像を監視オペレータに対して表示する監視システムを提供することができる。
＜実施の形態６＞
　図１７は、本発明の実施形態６に係る符号復号システム１７００の機能ブロック図である。符号復号システム１７００は、符号化装置１７１０、復号器１７２１、表示装置１７２２を備える。符号化装置１７１０は、撮像装置１７１１、画像処理装置１、符号器１７１２を備える。
　撮像装置１７１１は、画像データを撮影する監視カメラなどの撮像装置である。画像処理装置１は、実施形態１～３いずれかに係る画像処理装置１であり、撮像装置１７１１が撮影した画像データを受け取って陽炎を補正する。符号器１７１２は、画像処理装置１が出力する補正後画像データを符号化し、ネットワークを介して復号器１７２１へ伝送する。復号器１７２１は、伝送されてきた補正後画像データを復号化する。表示装置１７２２は、復号器１７２１が復号化した画像を表示する。
　本実施形態６に係る符号復号システム１７００によれば、静止領域と移動物体をともに含む画像全体の陽炎を低減した復号後画像を表示する符号復号システムを提供することができる。さらに、画像内の陽炎が低減することにより、符号器１７１２が伝送すべき画像間の差分が小さくなり、符号化効率が向上する。
＜実施の形態７＞
　本発明の実施形態７では、以上説明した実施形態１～６における各構成要素の変形例について説明する。
　画像平滑化部１１は、過去、現在、未来の５枚の画像を用いて平滑化画像Ｍを作成することを説明したが、平滑化画像Ｍを作成するために使用する画像は５枚に限られるものではない。実施形態２において画像Ｎと比較する画像枚数についても同様である。また画像平滑化部１１は、一定期間内における過去画像と現在画像、または、一定期間内における未来画像と現在画像を用いて平滑化画像Ｍを作成してもよい。この場合の効果も同様である。
　類似度算出部１３は、Ｂｈａｔｔａｃｈａｒｙｙａ距離を利用してヒストグラム間の類似度を算出することを説明したが、ヒストグラム間の度数の差分の総和等、ヒストグラム間の距離を求める従来の他の比較手法を用いて類似度を算出してもよい。この場合の効果も同様である。
　高解像度化部１５は、鮮鋭化フィルタとして図６を用いることを説明したが、他の鮮鋭化フィルタや従来技術である超解像技術を用いて、陽炎を低減した画像を高解像度化してもよい。この場合の効果も同様である。
　実施形態３において、画像補正部１４は、補正値ＣＴを求める上で移動物体除去画像Ｔを用いることを説明したが、図１２における移動物体除去画像Ｔ－１を用いてもよい。移動物体除去画像Ｔ－１を使用する場合は、図１４のステップＳ１４１１において、移動物体除去画像Ｔ－１の画素値を補正値ＣＴとし、図１４のステップＳ１４１３において、移動物体除去画像Ｔ－１の画素値と補正値Ｃをブレンドした値を補正値ＣＴとする。
　本発明は上記した実施形態に限定されるものではなく、様々な変形例が含まれる。上記実施形態は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。また、ある実施形態の構成の一部を他の実施形態の構成に置き換えることもできる。また、ある実施形態の構成に他の実施形態の構成を加えることもできる。また、各実施形態の構成の一部について、他の構成を追加・削除・置換することもできる。
　上記各構成、機能、処理部、処理手段等は、それらの一部や全部を、例えば集積回路で設計する等によりハードウェアで実現してもよい。また、上記の各構成、機能等は、プロセッサがそれぞれの機能を実現するプログラムを解釈し、実行することによりソフトウェアで実現してもよい。各機能を実現するプログラム、テーブル、ファイル等の情報は、メモリ、ハードディスク、ＳＳＤ（Ｓｏｌｉｄ　Ｓｔａｔｅ　Ｄｒｉｖｅ）等の記録装置、ＩＣカード、ＳＤカード、ＤＶＤ等の記録媒体に格納することができる。
　１：画像処理装置、１０：入力部、１１：画像平滑化部、１２：階調分布算出部、１３：類似度算出部、１４：画像補正部、１５：高解像度化部、１６：記録部、９１：制御部、１１１１：除去画像生成部、１５００：撮像装置、１６００：監視システム、１７００：符号復号システム。

Claims (15)

  1. 　時系列に沿って撮影された複数の画像フレームを受け取る入力部と、
    　前記画像フレームのうち補正対象とする対象フレーム内における第１画像領域の第１階調分布を算出するとともに、前記画像フレームのうち前記対象フレームを補正するために用いる補正用フレーム内における前記第１画像領域に対応する第２画像領域の第２階調分布を算出する、階調算出部と、
    　前記第１階調分布と前記第２階調分布との間の第１類似度を算出する類似度算出部と、
    　前記補正用フレームを用いて前記対象フレームを補正する画像補正部と、
    　前記画像補正部が補正した前記対象フレームを出力する出力部と、
    　を備え、
    　前記画像補正部は、前記第１類似度に応じて前記対象フレームと前記補正用フレームを使用する割合を変更した上で、前記補正用フレームを用いて前記対象フレームを補正する
    　ことを特徴とする画像処理装置。
  2. 　前記階調算出部は、前記補正用フレームとして、前記画像フレームのうち前記対象フレームよりも前に撮影された画像フレームと前記対象フレームよりも後に撮影された画像フレームを用いる
    　ことを特徴とする請求項１記載の画像処理装置。
  3. 　前記画像補正部は、
    　　前記類似度が第１閾値以下である場合は前記対象フレームを補正するために用いる第１補正値として前記補正用フレームの画素値を採用し、
    　　前記類似度が第２閾値を超える場合は前記第１補正値として前記対象フレームの画素値を採用し、
    　　前記類似度が前記第１閾値を超え前記第２閾値以下である場合は前記第１補正値として前記補正用フレームの画素値と前記対象フレームの画素値を前記類似度に応じて重み付け加算した画素値を採用する
    　ことを特徴とする請求項２記載の画像処理装置。
  4. 　前記画像処理装置は、前記画像フレーム内に含まれる移動物体の画像を除去した移動物体除去画像を生成する除去画像生成部を備え、
    　前記階調算出部は、前記移動物体除去画像内における前記第１画像領域に対応する第３画像領域の第３階調分布を算出し、
    　前記類似度算出部は、前記第１階調分布と前記第３階調分布との間の第２類似度を算出し、
    　前記画像補正部は、前記第１類似度と前記第２類似度に応じて前記対象フレームと前記補正用フレームと前記移動物体除去画像を使用する割合を変更した上で、前記補正用フレームと前記移動物体除去画像を用いて前記対象フレームを補正する
    　ことを特徴とする請求項３記載の画像処理装置。
  5. 　前記除去画像生成部は、
    　　前記第２類似度の高低に基づき前記画像フレームのうち前記移動物体が含まれる画像領域と含まれない画像領域を判定し、
    　　前記移動物体が含まれない画像領域については撮影時刻が異なる複数の画像フレームを平滑化し、前記移動物体が含まれる画像領域については前記撮影時刻が異なる複数の画像フレームのうち撮影時刻が古い方を残し新しい方は破棄することを繰り返すことにより、前記移動物体除去画像を生成する
    　ことを特徴とする請求項４記載の画像処理装置。
  6. 　前記画像補正部は、
    　　前記第２類似度に応じて前記第１補正値を上書きした第２補正値を用いて前記対象フレームを補正し、
    　　前記第２類似度が第３閾値以下である場合は前記第２補正値として前記移動物体除去画像の画素値を採用し、
    　　前記第２類似度が第４閾値を超える場合は前記第２補正値として前記第１補正値を採用し、
    　　前記第２類似度が前記第３閾値を超え前記第４閾値以下である場合は前記第２補正値として前記第１補正値と前記移動物体除去画像の画素値を前記第２類似度に応じて重み付け加算した画素値を採用する
    　ことを特徴とする請求項５記載の画像処理装置。
  7. 　前記階調算出部は、
    　　各前記階調分布として、前記画像フレームの階調値を階級値とするヒストグラムを算出し、
    　　１つの前記階級値内に複数の前記階調値を含めることにより、階調値を丸めた前記ヒストグラムを作成する
    　ことを特徴とする請求項２記載の画像処理装置。
  8. 　前記画像処理装置は、前記画像補正部が補正した前記対象フレームを鮮鋭化する高解像度化部を備える
    　ことを特徴とする請求項２記載の画像処理装置。
  9. 　前記画像処理装置は、前記入力部が受け取った複数の前記画像フレームを時系列に沿って合成した平滑化画像を生成する画像平滑化部を備え、
    　前記階調算出部と前記画像補正部は、前記補正用フレームとして前記平滑化画像を用いる
    　ことを特徴とする請求項２記載の画像処理装置。
  10. 　前記類似度算出部は、
    　　前記補正用フレームとして前記対象フレームの前後に撮影された複数の前記画像フレームを採用し、複数の前記補正用フレーム毎に前記第１類似度を算出し、
    　前記画像補正部は、
    　　複数の前記補正用フレームについてそれぞれ前記第１補正値を求め、各前記第１補正値のうち少なくともいずれかを用いて、前記対象フレームを補正する
    　ことを特徴とする請求項３記載の画像処理装置。
  11. 　前記画像補正部は、各前記第１補正値を平均した画素値、または各前記第１補正値を前記第１類似度に応じて重み付け加算した画素値を用いて、前記対象フレームを補正する
    　ことを特徴とする請求項１０記載の画像処理装置。
  12. 　請求項１記載の画像処理装置と、
    　画像データを撮影してその画像フレームを前記画像処理装置に出力する撮像部と、
    　を備えることを特徴とする撮像装置。
  13. 　請求項１記載の画像処理装置と、
    　画像データを撮影してその画像フレームをネットワーク経由で前記画像処理装置に出力する撮像部と、
    　を備えることを特徴とする監視システム。
  14. 　請求項１記載の画像処理装置と、
    　画像データを撮影してその画像フレームを前記画像処理装置に出力する撮像部と、
    　前記画像処理装置が出力する前記補正後の対象フレームを符号化する符号器と、
    　を備えることを特徴とする符号化装置。
  15. 　時系列に沿って撮影された複数の画像フレームを受け取る入力ステップ、
    　前記画像フレームのうち補正対象とする対象フレーム内における第１画像領域の第１階調分布を算出するとともに、前記画像フレームのうち前記対象フレームを補正するために用いる補正用フレーム内における前記第１画像領域に対応する第２画像領域の第２階調分布を算出する、階調算出ステップ、
    　前記第１階調分布と前記第２階調分布との間の第１類似度を算出する類似度算出ステップ、
    　前記補正用フレームを用いて前記対象フレームを補正する画像補正ステップ、
    　前記画像補正ステップにおいて補正した前記対象フレームを出力する出力ステップ、
    　を有し、
    　前記画像補正ステップにおいては、前記第１類似度に応じて前記対象フレームと前記補正用フレームを使用する割合を変更した上で、前記補正用フレームを用いて前記対象フレームを補正する
    　ことを特徴とする画像処理方法。
PCT/JP2014/051964 2013-03-21 2014-01-29 画像処理装置、撮像装置、監視システム、符号化装置、画像処理方法 WO2014148114A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
EP14770882.0A EP2977954B1 (en) 2013-03-21 2014-01-29 Image processing device, imaging device, monitoring system, encoding device, image processing method
US14/768,772 US9706122B2 (en) 2013-03-21 2014-01-29 Image processing device, imaging device, monitoring system, encoding device, image processing method

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2013057774 2013-03-21
JP2013-057774 2013-03-21
JP2013079721A JP6104680B2 (ja) 2013-03-21 2013-04-05 画像処理装置、撮像装置、監視システム、符号化装置、画像処理方法
JP2013-079721 2013-04-05

Publications (1)

Publication Number Publication Date
WO2014148114A1 true WO2014148114A1 (ja) 2014-09-25

Family

ID=51579810

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2014/051964 WO2014148114A1 (ja) 2013-03-21 2014-01-29 画像処理装置、撮像装置、監視システム、符号化装置、画像処理方法

Country Status (4)

Country Link
US (1) US9706122B2 (ja)
EP (1) EP2977954B1 (ja)
JP (1) JP6104680B2 (ja)
WO (1) WO2014148114A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106920232A (zh) * 2017-02-22 2017-07-04 武汉大学 基于显著性检测的梯度相似度图像质量评价方法及系统

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5908174B2 (ja) * 2013-07-09 2016-04-26 株式会社日立国際電気 画像処理装置及び画像処理方法
JP5980294B2 (ja) * 2014-10-27 2016-08-31 キヤノン株式会社 データ処理装置、撮像装置、およびデータ処理方法
EP3131283A4 (en) * 2015-02-25 2017-06-21 Panasonic Intellectual Property Management Co., Ltd. Image processing device, image processing method and program for executing same
JP6555940B2 (ja) * 2015-06-12 2019-08-07 キヤノン株式会社 被写体追跡装置、撮像装置、及び被写体追跡装置の制御方法
US10521888B2 (en) * 2015-12-23 2019-12-31 Huazhong University Of Science And Technology Aerothermal radiation effect frequency domain correction method
JP6700831B2 (ja) * 2016-02-12 2020-05-27 キヤノン株式会社 画像処理装置、撮像装置、画像処理方法、及びプログラム
JP6772000B2 (ja) * 2016-08-26 2020-10-21 キヤノン株式会社 画像処理装置、画像処理方法およびプログラム
JP6885896B2 (ja) * 2017-04-10 2021-06-16 富士フイルム株式会社 自動レイアウト装置および自動レイアウト方法並びに自動レイアウトプログラム
US11030732B2 (en) * 2017-04-14 2021-06-08 Sony Interactive Entertainment Inc. Information processing device, information processing system, and image processing method for generating a sum picture by adding pixel values of multiple pictures
JP7292123B2 (ja) * 2019-06-20 2023-06-16 キヤノン株式会社 撮像装置及びその制御方法、プログラム、記憶媒体

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011229030A (ja) * 2010-04-21 2011-11-10 Sony Corp 画像処理装置および方法、記録媒体、並びにプログラム
WO2012063533A1 (ja) * 2010-11-12 2012-05-18 株式会社日立国際電気 画像処理装置
JP2012182625A (ja) 2011-03-01 2012-09-20 Nikon Corp 撮像装置

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7729563B2 (en) * 2002-08-28 2010-06-01 Fujifilm Corporation Method and device for video image processing, calculating the similarity between video frames, and acquiring a synthesized frame by synthesizing a plurality of contiguous sampled frames
US7548659B2 (en) * 2005-05-13 2009-06-16 Microsoft Corporation Video enhancement
JP4720705B2 (ja) * 2006-09-27 2011-07-13 ソニー株式会社 プログラム、検出方法、及び検出装置
JP4245045B2 (ja) 2006-12-26 2009-03-25 ソニー株式会社 撮像装置、撮像信号処理方法及びプログラム
JP5123713B2 (ja) * 2008-04-04 2013-01-23 キヤノン株式会社 画像処理装置、画像処理方法
US8073199B2 (en) 2008-05-30 2011-12-06 Drs Rsta, Inc. Method for minimizing scintillation in dynamic images
US9087390B2 (en) * 2011-09-16 2015-07-21 Adobe Systems Incorporated High-quality upscaling of an image sequence
JP5362878B2 (ja) * 2012-05-09 2013-12-11 株式会社日立国際電気 画像処理装置及び画像処理方法
US8792718B2 (en) * 2012-06-29 2014-07-29 Adobe Systems Incorporated Temporal matte filter for video matting
CN104660916B (zh) * 2013-11-18 2018-09-18 杭州海康威视数字技术股份有限公司 屏幕拼接系统和视频数据流的处理方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011229030A (ja) * 2010-04-21 2011-11-10 Sony Corp 画像処理装置および方法、記録媒体、並びにプログラム
WO2012063533A1 (ja) * 2010-11-12 2012-05-18 株式会社日立国際電気 画像処理装置
JP2012182625A (ja) 2011-03-01 2012-09-20 Nikon Corp 撮像装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP2977954A4

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106920232A (zh) * 2017-02-22 2017-07-04 武汉大学 基于显著性检测的梯度相似度图像质量评价方法及系统

Also Published As

Publication number Publication date
JP2014206772A (ja) 2014-10-30
EP2977954B1 (en) 2019-03-13
EP2977954A1 (en) 2016-01-27
JP6104680B2 (ja) 2017-03-29
US9706122B2 (en) 2017-07-11
EP2977954A4 (en) 2016-08-10
US20160006936A1 (en) 2016-01-07

Similar Documents

Publication Publication Date Title
JP6104680B2 (ja) 画像処理装置、撮像装置、監視システム、符号化装置、画像処理方法
JP5908174B2 (ja) 画像処理装置及び画像処理方法
Guo et al. Dense scene information estimation network for dehazing
CN110572573B (zh) 对焦方法和装置、电子设备、计算机可读存储介质
CN113992861B (zh) 一种图像处理方法及图像处理装置
JP5362878B2 (ja) 画像処理装置及び画像処理方法
US8947501B2 (en) Scene enhancements in off-center peripheral regions for nonlinear lens geometries
CN104021532B (zh) 一种红外图像的图像细节增强方法
WO2018136373A1 (en) Image fusion and hdr imaging
WO2015146230A1 (ja) 映像表示装置および映像表示システム
US20140177960A1 (en) Apparatus and method of processing image
CN107395991B (zh) 图像合成方法、装置、计算机可读存储介质和计算机设备
JP5534832B2 (ja) 画像処理装置、画像処理方法、及びプログラム
US20140293076A1 (en) Image pickup apparatus, image processing system, image pickup system, image processing method, and non-transitory computer-readable storage medium
WO2017182789A1 (en) Blending images
Chang et al. Beyond camera motion blur removing: How to handle outliers in deblurring
US20120093227A1 (en) Data compression method and data compression device
JP6206732B2 (ja) 画像処理装置および画像処理方法
CN114549373A (zh) Hdr图像生成方法、装置、电子设备及可读存储介质
JP6938282B2 (ja) 画像処理装置、画像処理方法及びプログラム
CN107292853B (zh) 图像处理方法、装置、计算机可读存储介质和移动终端
Van Vo et al. High dynamic range video synthesis using superpixel-based illuminance-invariant motion estimation
CN107481198B (zh) 图像处理方法、装置、计算机可读存储介质和计算机设备
CN117710250B (zh) 一种消除纤维镜成像蜂窝状结构的方法
CN117541508A (zh) 图像复原模型训练方法、复原方法、装置、设备和介质

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 14770882

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 14768772

Country of ref document: US

Ref document number: 2014770882

Country of ref document: EP

NENP Non-entry into the national phase

Ref country code: DE