WO2016136151A1 - 画像処理装置、画像処理方法及びそれを実行させるためのプログラム - Google Patents

画像処理装置、画像処理方法及びそれを実行させるためのプログラム Download PDF

Info

Publication number
WO2016136151A1
WO2016136151A1 PCT/JP2016/000573 JP2016000573W WO2016136151A1 WO 2016136151 A1 WO2016136151 A1 WO 2016136151A1 JP 2016000573 W JP2016000573 W JP 2016000573W WO 2016136151 A1 WO2016136151 A1 WO 2016136151A1
Authority
WO
WIPO (PCT)
Prior art keywords
distribution
image
correction
frequency
shape
Prior art date
Application number
PCT/JP2016/000573
Other languages
English (en)
French (fr)
Inventor
整 山田
今川　太郎
Original Assignee
パナソニックＩｐマネジメント株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by パナソニックＩｐマネジメント株式会社 filed Critical パナソニックＩｐマネジメント株式会社
Priority to JP2016564284A priority Critical patent/JP6127282B2/ja
Priority to EP16754907.0A priority patent/EP3131283A4/en
Publication of WO2016136151A1 publication Critical patent/WO2016136151A1/ja
Priority to US15/357,785 priority patent/US20170124685A1/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/14—Picture signal circuitry for video frequency region
    • H04N5/21—Circuitry for suppressing or minimising disturbance, e.g. moiré or halo
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/40—Image enhancement or restoration using histogram techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/73—Deblurring; Sharpening
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/174—Segmentation; Edge detection involving the use of two or more images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20216—Image averaging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30232—Surveillance

Definitions

  • the present disclosure relates to an image processing apparatus and an image processing method that correct image fluctuation.
  • a monitoring system that captures a predetermined space using a camera device such as a monitoring camera and monitors the space.
  • This monitoring camera includes a fixed monitoring camera that monitors only a predetermined location, a monitoring camera that has a so-called panning function, and monitors a wide range of predetermined locations while panning.
  • Fluctuation is a phenomenon caused by a change in the characteristics of a light transmission medium. Specifically, fluctuation is a phenomenon (Schlieren phenomenon) that occurs when the refractive index of a medium (such as air or water) that transmits light from a subject changes.
  • the fluctuation is, for example, a so-called hot flame that is generated when the density of the air becomes dense due to a temperature difference in the atmosphere at the time of shooting outdoors in hot weather. Alternatively, the fluctuation occurs even when shooting underwater.
  • Patent Documents 1 and 2 disclose image processing apparatuses that can correct image fluctuations.
  • This disclosure provides an image processing apparatus and an image processing method capable of appropriately correcting fluctuation even when the intensity of fluctuation changes.
  • the image processing apparatus includes a correction unit and a determination unit.
  • the correction unit performs correction for suppressing fluctuation of the image using the correction parameter for each of the plurality of input images, and outputs the correction result as a plurality of correction images.
  • the determination unit includes (i) a first distribution indicating a frequency distribution of edge angles in a predetermined input image among the plurality of input images, and a predetermined correction output by correcting the predetermined input image by the correction unit. A second distribution indicating a frequency distribution of edge angles in the image is calculated. Further, the determination unit performs (ii) a first determination using the calculated first distribution and the second distribution to determine whether or not the predetermined input image fluctuates, and (iii) uses the result of the first determination. Update the correction parameters.
  • FIG. 1 is a block diagram illustrating a configuration of an image processing device according to Embodiment 1.
  • FIG. It is a figure which shows the image of a state without the fluctuation which concerns on Embodiment 1.
  • FIG. 6 is a diagram for describing correction for generating an average image from a plurality of consecutive frames according to Embodiment 1.
  • FIG. 4 is a flowchart illustrating an example of an operation (update process) of the image processing apparatus according to the first embodiment. 6 is a diagram for explaining acquisition of an edge angle according to Embodiment 1.
  • FIG. 6 is a flowchart illustrating an example of a peak angle acquisition process according to the first embodiment.
  • FIG. 6 is a block diagram illustrating a configuration of an image processing apparatus according to Embodiment 2.
  • FIG. It is the figure which showed the image at the time of producing an average image based on Embodiment 2 without performing the alignment by motion compensation. It is the figure which showed the image at the time of producing an average image from the image which performed the position alignment by motion compensation based on Embodiment 2.
  • FIG. It is a figure which shows the product example of the surveillance camera provided with the image processing apparatus which concerns on embodiment.
  • the present inventor has found that the following problems occur with respect to the conventional image processing apparatus described in the “Background Art” column.
  • the present disclosure provides an image processing apparatus and an image processing method that can appropriately correct fluctuation even when the intensity of fluctuation changes.
  • FIG. 1 is a block diagram showing a configuration example of an image processing apparatus according to the present embodiment in a fixed camera that does not perform panning, that is, a camera that continues to show a specific scene.
  • the image processing apparatus according to the present embodiment is an apparatus that corrects fluctuations in an input image using images of a plurality of frames.
  • fluctuation is a phenomenon caused by a change in characteristics of a light transmission medium as described above.
  • fluctuation is a phenomenon such as a hot flame, and is a phenomenon (Schlieren phenomenon) that occurs when the refractive index of a medium (such as air or water) that transmits light from a subject changes.
  • a medium such as air or water
  • fluctuation is a phenomenon in which a fixed and non-moving subject appears to move. For this reason, “fluctuation” occurs even in an image captured by a fixed camera, unlike camera shake. In particular, in a moving image taken with a telephoto, the path through which light travels from the object to the camera becomes long, so that the influence of fluctuation appears significantly.
  • “Input image fluctuation” is a phenomenon in which the shape of the subject is distorted in the input image.
  • an edge that is straight when there is no “fluctuation” in the input image is a curve when there is “fluctuation”.
  • the edge appears at a position shifted from the original position, but the direction and amount of the shift are substantially constant. That is, in the case of camera shake, the entire image is shifted by substantially the same amount in a common direction.
  • the direction and amount of distortion of the edge caused by “fluctuation” is irregular for each pixel.
  • “correcting fluctuation” is to reduce or eliminate the pixel shift caused in the input image by “fluctuation”.
  • the image processing apparatus 100 cuts out moving images taken at a plurality of different timings as a plurality of input images, corrects fluctuations of the cut out input images, and generates corrected images. Output.
  • the image processing apparatus 100 includes a correction unit 101 and a determination unit 102.
  • the correction unit 101 performs correction using the correction parameter on each of the plurality of input images, and outputs the correction results as a plurality of correction images. That is, the correction unit 101 corrects fluctuations of a plurality of input images with reference to the correction parameter. Specifically, the correction unit 101 performs correction by outputting, as a predetermined correction image, an average image obtained by averaging a predetermined number of input images including a predetermined input image among a plurality of input images.
  • the correction parameter is the number of input images for generating an average image. That is, the correction unit 101 corrects the predetermined input image by generating an average image that averages the number of input images including the predetermined input image among the plurality of input images.
  • the shot image fluctuates.
  • the position of the object on the fluctuating image is shifted for each frame around the original position when there is no fluctuation.
  • the correction unit 101 uses this to generate an average image obtained by averaging a plurality of frames.
  • FIG. 2A is a diagram showing an image without fluctuation according to the first embodiment.
  • FIG. 2B is a diagram for describing correction for generating an average image from a plurality of consecutive frames according to Embodiment 1.
  • (a) of FIG. 2B is a diagram illustrating a continuous five-frame image when fluctuation occurs in the image illustrated in FIG. 2A.
  • FIG. 2B (b) is a diagram showing an average image generated using the five-frame image shown in FIG. 2B (a).
  • the image 10 photographed without fluctuation has a line segment extending in the horizontal direction at the center of the image 10 in the vertical direction.
  • a plurality of lines having a combination of curved lines and broken lines wavy up and down with reference to a line segment extending in the horizontal direction.
  • Input images 11a to 11e (a plurality of frames). Since the degree of fluctuation and the spatial position where the fluctuation occurs change at different timings, as shown in FIG. 2B (a), each of the plurality of input images 11a to 11e photographed at different timings has a different shape. Line.
  • the correction unit 101 performs correction that averages the plurality of input images 11a to 11e, thereby obtaining a correction image 12 in which fluctuation is reduced as compared with each of the plurality of input images 11a to 11e. Can do. That is, by performing the above correction, the corrected image 12 can bring the lines extending in the horizontal direction of the plurality of input images 11a to 11e closer to a state without fluctuation.
  • the correction unit 101 generates one corrected image by averaging m (m is a natural number) input images (frames) for each pixel.
  • m is a natural number of 2 or more when correction is performed, and is an example of a correction parameter determined by the determination unit 102.
  • the correction unit 101 is not limited to performing correction by averaging m input images, but may perform correction by averaging images obtained by weighting and adding m input images.
  • the weight used for the weighted addition may be increased as the input image in the frame near the time t at which the predetermined input image is captured.
  • the weights for the remaining plurality of input images are smaller than the predetermined input image and The weighted and added images may be averaged as a weight common to the remaining plurality of input images.
  • the determination unit 102 receives a predetermined input image and a corrected image obtained by correcting the predetermined input image by the correction unit 101, and determines whether or not the predetermined input image is fluctuated. Then, the determination unit 102 rewrites the value of the correction parameter stored in a memory (not shown) referred to by the correction unit 101 according to the determination result.
  • the determination unit 102 outputs a first distribution indicating a frequency distribution of edge angles in a predetermined input image among a plurality of input images, and the predetermined input image is corrected by the correction unit.
  • a second distribution indicating a frequency distribution of edge angles in a predetermined corrected image is calculated.
  • the determination part 102 performs the 1st determination which determines the presence or absence of the fluctuation
  • the determination unit 102 determines that the predetermined input image has fluctuation, and the shape of the second distribution is If the shape is not steeper than the shape of the first distribution, it is determined that there is no fluctuation in the predetermined input image. If the determination unit 102 determines that the predetermined input image has fluctuation, the determination unit 102 updates the correction parameter value. If the determination unit 102 determines that the predetermined input image has no fluctuation, the determination unit 102 updates the correction parameter value. Absent.
  • the determination unit 102 obtains the first frequency and the second frequency at the edge angle (hereinafter referred to as “peak angle”) at which the frequency reaches the peak in the first distribution and the second distribution, respectively.
  • a common peak angle (hereinafter referred to as “common peak angle”) is specified.
  • the determination unit 102 determines that the shape of the second distribution is the first distribution. If it is determined that the shape is steeper than the shape of one distribution, and the second frequency is less than the first number, the shape of the second distribution is determined not to be steeper than the shape of the first distribution. To do.
  • the determination unit 102 determines that the predetermined input image has fluctuation, the determination unit 102 updates the correction parameter value by updating the number of the plurality of input images to be averaged as the correction parameter. Do.
  • the determination unit 102 further performs a second determination for determining whether the second frequency at the peak angle of the second distribution exceeds the target value based on the first number at the peak angle of the first distribution. You may go. If the determination unit 102 determines in the second determination that the second frequency exceeds the target value, the correction parameter value is set so that the correction intensity decreases until the second frequency becomes less than the target value. And the value of the correction parameter changed immediately before the second frequency becomes less than the target value is determined as a new value of the correction parameter, thereby updating the value of the correction parameter. If the determination unit 102 determines that the second frequency does not exceed the target value in the second determination, the correction parameter value is set so that the correction strength increases until the second frequency becomes equal to or higher than the target value. And the value of the correction parameter when the second frequency becomes equal to or higher than the target value is determined as a new value of the correction parameter, thereby updating the value of the correction parameter.
  • the image processing apparatus 100 performs an update process for updating the value of the correction parameter using the result of the first determination for determining the presence or absence of fluctuation of the input image.
  • the image processing apparatus 100 as an example of the first determination, information on edge angles included in each of a predetermined input image and a corrected image obtained by correcting a plurality of input images. Make a determination using. The details of the operation (update process) of the image processing apparatus 100 will be described below with reference to FIG.
  • FIG. 3 is a flowchart illustrating an example of the operation (update process) of the image processing apparatus according to the first embodiment.
  • a predetermined input image of the plurality of input images is corrected by averaging the plurality of input images, and a predetermined corrected image as a result of the correction is obtained. Suppose that it is obtained.
  • the determination unit 102 reads a predetermined input image and a predetermined correction image (S201). That is, a predetermined input image and a predetermined correction image are input to the determination unit 102.
  • the determination unit 102 detects the edge strength in the predetermined input image and the edge strength in the predetermined corrected image (S202). For example, in each of the predetermined input image and the predetermined correction image, the determination unit 102 calculates the edge strength in the vertical direction and the horizontal direction for each pixel of each image using the Sobel Filter.
  • FIG. 4 is a diagram for explaining acquisition of the edge angle according to the first embodiment. Specifically, FIG. 4 is a diagram illustrating the edge angle ⁇ calculated in a certain pixel. Since each pixel in each image has edge strength in the vertical direction and the horizontal direction, for each pixel, the edge angle ⁇ is obtained by combining the vertical edge strength and the horizontal edge strength in the pixel. Can be calculated. In this way, the determination unit 102 calculates the edge angle ⁇ for all pixels in each image. One edge strength in the vertical direction and the horizontal direction may be 0. When the edge strength in the vertical direction is 0, the edge angle ⁇ is 90 ° or 270 °, and the edge strength in the horizontal direction is In the case of 0, the edge angle ⁇ is 0 ° (360 °) or 180 °.
  • the edge angle ⁇ may be calculated only for pixels having an edge intensity greater than a predetermined threshold value set in advance. This is due to the following reasons. Fluctuations caused by a hot flame or the like are easily perceived on edges (line segments) where the contrast difference is significant.
  • the edge angle can be acquired even in an area where the edge strength is weaker than a predetermined threshold, such as a sky or a background without a pattern, in the image. Pixels in such an area are pixels on a line segment. Therefore, the influence of fluctuations occurring in those areas is difficult to perceive. That is, the reason is that the edge angle acquired in a region where the edge intensity such as the sky or the background without a pattern is weaker than a predetermined threshold is not particularly useful information.
  • the determination unit 102 generates, for each of the predetermined input image and the predetermined correction image, an angle histogram that is a frequency distribution of edge angles calculated for each pixel of each image (S204). Specifically, the determination unit 102 generates a first angle histogram (first distribution) for a predetermined input image, and generates a second angle histogram (second distribution) for a predetermined correction image.
  • the angle histogram is generated, for example, as shown in (b) of FIGS. 6 to 8 described later.
  • the determination unit 102 specifies a peak angle (common peak angle) common to each angle histogram using the generated first angle histogram and second angle histogram (S205). Details of the peak angle specifying process in step S205 will be described later with reference to FIG.
  • the determination unit 102 compares the first number at the common peak angle of the first angle histogram with the second frequency at the common peak angle of the second angle histogram using the specified common peak angle. Then, the determination unit 102 determines whether or not the second frequency exceeds the first number (S206). Thereby, the determination unit 102 performs a first determination for determining whether or not the predetermined input image fluctuates.
  • the determination unit 102 determines that the second frequency exceeds the first number (Yes in S206)
  • the determination unit 102 determines that the shape of the second distribution is steeper than the shape of the first distribution.
  • the determination unit 102 determines that there is fluctuation in the predetermined input image, and performs correction parameter setting processing (S207).
  • the determination unit 102 determines that the second frequency is equal to or less than the first number (No in S206)
  • the determination unit 102 determines that the shape of the second angle histogram is not steeper than the shape of the first angle histogram. Thereby, the determination unit 102 determines that there is no fluctuation in the predetermined input image (S208).
  • FIG. 5 is a flowchart showing an example of peak angle specifying processing according to the first embodiment.
  • the first angle histogram of the predetermined input image and the second angle histogram of the predetermined corrected image generated in step S204 (FIG. 3) in the update process are input, and the first input is input.
  • a common peak angle is identified based on the respective peak angles of the angle histogram and the second angle histogram.
  • the determination unit 102 acquires the first angle histogram of the predetermined input image and the second angle histogram of the predetermined correction image generated in step S204 (S301).
  • the determination unit 102 obtains a peak angle from each of the acquired first angle histogram and second angle histogram (S302).
  • the peak angle is, for example, an angle having the maximum frequency within a range of angles from 0 ° to 180 ° in the angle histogram. Note that it is not necessary to acquire only one peak angle from one angle histogram. For example, an angle having the maximum frequency in an angle range of 0 ° to 90 ° and an angle of 90 ° to 180 °
  • one peak angle is specified from each of the plurality of divided angle ranges. Also good. That is, a plurality of peak angles may be acquired from one angle histogram.
  • the determination unit 102 determines whether or not the peak angles specified in the first angle histogram and the second angle histogram are common (same) angles (S303).
  • step S ⁇ b> 206 (FIG. 3) of the update process the determination unit 102 compares the frequencies at the common peak angle for each of the first angle histogram and the second angle histogram. For this reason, the peak angle N specified from the first angle histogram of the predetermined input image needs to coincide with the peak angle C specified from the angle histogram of the predetermined correction image. That is, in step S303, the determination unit 102 determines whether or not the peak angle N and the peak angle C are equal.
  • the determination unit 102 determines that the peak angle specified in each of the first angle histogram and the second angle histogram is a common (the same) angle (Yes in S303).
  • the determination unit 102 determines the peak angle.
  • the common peak angle is specified (S304). Specifically, when the peak angle N and the peak angle C are equal, the determination unit 102 outputs the peak angle N (peak angle C) as a common peak angle.
  • the determination unit 102 determines that the peak angle specified in each of the first angle histogram and the second angle histogram is not a common (same) angle (No in S303), the second angle histogram
  • the peak angle specified in (1) is specified as the common peak angle. That is, when the peak angle N and the peak angle C are not equal, the determination unit 102 outputs the peak angle C as a common peak angle (S305). This is because, as will be described later, the angle of the angle histogram of the predetermined correction image is considered to be closer to the angle obtained from the image without fluctuation.
  • FIG. 6 is a diagram showing an edge angle in an image without fluctuation according to the first embodiment and an angle histogram in the image.
  • FIG. 7 is a diagram illustrating an edge angle in an image in a state where the fluctuation according to the first embodiment has occurred, and an angle histogram in the image.
  • FIG. 8 is a diagram showing the edge angle in the corrected image and the angle histogram in the image according to the first embodiment.
  • the image 10 photographed without fluctuations has a line segment extending in the horizontal direction at the center of the image 10 in the vertical direction.
  • the edge angle in the case of the image 10 is an arrow pointing upward in the vertical direction as indicated by an arrow.
  • an angle histogram shown in FIG. 6B is obtained.
  • the edge angle is only 0 °, so the peak angle ⁇ a is 0 °. That is, in the angle histogram shown in FIG. 6B, the frequency exists only at the peak angle ⁇ a.
  • the bin (bin) width of the angle histogram may be in units of 1 °, or a larger bin width may be set in units of 5 ° in order to reduce the influence of noise or the like.
  • the input image 11a in which the image 10 is fluctuated has a shape in which the line segment is deformed, having a curved line or a broken line, as the shape of the line segment is shifted in the vertical direction.
  • the edge angle in the case of the input image 11a is an arrow whose angle is shifted to the left and right as compared with an arrow pointing upward in the vertical direction, as indicated by an arrow.
  • a first angle histogram (first distribution) shown in FIG. 7B is obtained.
  • the direction of the edge angle is dispersed due to the change in the shape of the line segment due to the fluctuation, so that the distribution is spread over the angle around the peak angle ⁇ a. .
  • the corrected image 12 obtained by performing the correction is restored so that the shape of the central straight line is close to the line segment of the image 10 when there is no fluctuation.
  • the edge angle in the case of this corrected image 12 is an arrow that is aligned along the upward in the vertical direction as compared with the arrow in FIG. Then, by summing up these edge angles, a second angle histogram (second distribution) shown in FIG. 8B is obtained.
  • the corrected image 12 approaches the shape of the non-fluctuating image 10 from the shape of the input image 11a having fluctuation, and therefore the edge angle in the corrected image 12 is the image 10. Near the edge angle.
  • the characteristic is the frequency of the peak angle ⁇ a. Focusing on the frequency of the peak angle ⁇ a, the first number at the peak angle ⁇ a of the input image 11a with fluctuation (see FIG. 7B) is smaller than the second frequency at the peak angle ⁇ a of the corrected image 12. (See FIG. 8B). This corresponds to the fact that the corrected image 12 in FIG. 8A approaches the state of the image 10 in which the shape of the line segment is not fluctuated by performing the correction.
  • the magnitude relationship of the frequencies at the respective peak angles of the input image and the corrected image is different from that described above. This is because, when there is no fluctuation in the image, the shape does not change due to fluctuation. Even if an average image of a plurality of frames is generated as a correction image, the corrected image is as shown in FIG. This is because they are the same. Therefore, when correction is performed on an image without fluctuation, the second angle histogram of the corrected image also has the same shape as the first angle histogram, and the first number and the first number at the respective peak angles of the input image and the corrected image. There is no big difference between the number of times.
  • the correction unit 101 corrects image fluctuations by creating an average image of a plurality of frames.
  • the average number of images is a correction parameter.
  • the larger the average number the higher the effect of suppressing fluctuations, and the smaller the average number, the lower the effect of suppressing fluctuations.
  • the average number increases, (i) the average image is blurred, (ii) the processing amount increases, (iii) the image quality when a new subject is framed in or out is degraded. Is also possible. For this reason, it is necessary to set an appropriate average number of sheets.
  • FIG. 9 is a flowchart illustrating an example of the correction parameter setting process according to the first embodiment.
  • FIG. 10 is a diagram showing an angle histogram in each of a plurality of corrected images corrected with different values of correction parameters according to the first embodiment. Specifically, FIG. 10A is a diagram showing an angle histogram in the corrected image when the average number is four.
  • FIG. 10B is a diagram showing an angle histogram in the corrected image when the average number is five.
  • FIG. 10C is a diagram showing an angle histogram in the corrected image when the average number is six.
  • the determination unit 102 performs a second determination to determine whether or not the second frequency exceeds the target value (S401).
  • the target value is, for example, a value twice the first number at the peak angle of the first angle histogram or a value obtained by adding a predetermined value to the first number, and is determined with the first number as a reference. Value.
  • the determination unit 102 determines that the second frequency exceeds the target value (Yes in S401)
  • the determination unit 102 changes the correction parameter by one step so that the correction strength is weakened (S402). Specifically, in this case, the determination unit 102 reduces the value of the correction parameter by reducing the number of input images (hereinafter referred to as “average number”) for generating an average image as a correction parameter by one. Change one step.
  • the determination unit 102 determines the average number of sheets (one sheet) because the second frequency exceeds the target value. ) Change to 5 reduced.
  • the correction parameter is changed step by step, it may be changed by a plurality of steps such as two steps or three steps.
  • the determination unit 102 determines whether or not the second frequency after the change is less than the target value (S403). That is, the determination unit 102 performs correction using the value of the correction parameter after changing a predetermined input image, and calculates the frequency (second frequency after change) at the peak angle of the angle histogram of the corrected image after correction. Then, it is determined whether or not the calculated second frequency is less than the target value. For example, as illustrated in FIG. 10B, the determination unit 102 calculates the frequency (the second frequency after the change) at the peak angle of the angle histogram of the corrected image that has been averaged with the changed average number of 5 images. It is determined whether or not the calculated second frequency is less than the target value.
  • the determination unit 102 determines that the second frequency after the change is greater than or equal to the target value (No in S403), the determination unit 102 returns to step S402, and further sets the correction parameter value one step so that the correction strength is weakened. change. That is, for example, as illustrated in FIG. 10B, the determination unit 102 further performs one step (when the second frequency of the corrected image averaged with the average number of 5 sheets is equal to or greater than the target value). 1) Change the value of the correction parameter to the reduced average number of 4 sheets.
  • the determination unit 102 determines the correction parameter value immediately before as the correction parameter (S404). For example, in the example illustrated in FIG. 10, the determination unit 102 determines that the second frequency in the corrected image corrected with the average number of sheets being four is less than the target value. Is determined as a new correction parameter value, and the correction parameter setting process is terminated.
  • the determination unit 102 when determining that the second frequency exceeds the target value, changes the value of the correction parameter so that the correction intensity decreases until the second frequency becomes less than the target value.
  • the correction parameter value changed immediately before the frequency becomes less than the target value is determined as a new correction parameter value.
  • the determination unit 102 determines that the second frequency does not exceed the target value (No in S401)
  • the determination unit 102 changes the correction parameter by one step so that the strength of the correction is increased (S405). Specifically, in this case, the determination unit 102 changes the value of the correction parameter by one step by increasing the average number by one.
  • the determination unit 102 determines the average number of sheets by one level (one sheet) because the second frequency does not exceed the target value. ) Change to 5 extra.
  • the correction parameter is changed step by step, it may be changed by a plurality of steps such as two steps or three steps.
  • the determination unit 102 determines whether or not the second frequency after the change is greater than or equal to the target value (S406). That is, the determination unit 102 performs correction using the correction parameter after changing a predetermined input image, calculates the frequency at the peak angle of the angle histogram of the corrected image after correction (second frequency after change), and calculates It is determined whether or not the second frequency is equal to or greater than a target value. For example, as illustrated in FIG. 10B, the determination unit 102 determines the frequency at the peak angle of the angle histogram of the corrected image averaged by 5 which is the average number after the change (second frequency after the change). It is determined whether or not the calculated second frequency is equal to or greater than the target value.
  • the determination unit 102 determines the new correction parameter value as the new correction parameter value (S407). That is, for example, as illustrated in FIG. 10B, the determination unit 102 determines that the second frequency in the corrected image in which the average number is 5 is greater than or equal to the target value. Five correction parameter values are determined as new correction parameter values, and the correction parameter setting process is terminated.
  • the determination unit 102 determines that the second frequency after the change is less than the target value (No in S406), the determination unit 102 returns to step S405, and further sets the correction parameter value so that the correction strength is increased. Change the stage. That is, for example, if it is determined that the second frequency of the corrected image averaged with the average number of 5 sheets is less than the target value, the determination unit 102 further increases the average number of sheets by one step (one). Change the value of the correction parameter to 6 sheets.
  • the determination unit 102 when determining that the second frequency does not exceed the target value, changes the value of the correction parameter so that the correction strength increases until the second frequency becomes equal to or higher than the target value.
  • the value of the correction parameter when the frequency is equal to or greater than the target value is determined as a new correction parameter value.
  • the determination unit 102 calculates the second frequency for each of the plurality of corrected images obtained by correcting with values of a plurality of different correction parameters, and out of the second frequencies that are equal to or greater than the target value.
  • the correction parameter value corresponding to the second value of the minimum value is determined as the new correction parameter value.
  • the image processing apparatus 100 includes the correction unit 101 and the determination unit 102.
  • the correction unit 101 performs correction for suppressing image fluctuations for each of the plurality of input images using the correction parameter, and outputs the correction results as a plurality of correction images.
  • the determination unit 102 outputs a first angle histogram (first distribution) indicating a frequency distribution of edge angles in a predetermined input image among a plurality of input images, and the predetermined input image is corrected by the correction unit.
  • a second angle histogram (second distribution) indicating the frequency distribution of edge angles in the predetermined corrected image is calculated.
  • the determination unit 102 performs a first determination that determines the presence or absence of fluctuation of a predetermined input image using the calculated first angle histogram and second angle histogram. Further, the determination unit 102 updates the correction parameter using the result of the first determination.
  • the determination unit 102 determines that the predetermined input image has fluctuation when the shape of the second angle histogram is steeper than the shape of the first angle histogram, and the second angle histogram Is not steeper than the shape of the first angle histogram, it is determined that there is no fluctuation in the predetermined input image. If the determination unit 102 determines that the predetermined input image has fluctuation, the determination unit 102 updates the correction parameter. If the determination unit 102 determines that the predetermined input image has no fluctuation, the determination unit 102 does not update the correction parameter.
  • the correction parameter can be updated to an appropriate value when correction is performed while reducing the processing load related to the correction parameter update.
  • the determination unit 102 determines that the shape of the second distribution is the first. If it is determined that the shape is steeper than the shape of one distribution, and the second frequency is less than the first number, the shape of the second distribution is determined not to be steeper than the shape of the first distribution. To do.
  • the correction unit 101 performs correction by outputting an average image obtained by averaging a predetermined number of input images including a predetermined input image among a plurality of input images as a predetermined correction image. If the determination unit 102 determines that there is fluctuation in the predetermined input image, the determination unit 102 updates the predetermined number as the correction parameter.
  • the determination unit 102 determines whether the second frequency at the peak angle of the second angle histogram exceeds the target value based on the first number at the peak angle of the first angle histogram. Do further. If the determination unit 102 determines that the second frequency exceeds the target value, the determination unit 102 changes the value of the correction parameter so that the correction intensity decreases until the second frequency becomes less than the target value. The correction parameter is updated by determining, as the correction parameter, the value of the correction parameter that has been changed immediately before the frequency becomes less than the target value. If the determination unit 102 determines that the second frequency does not exceed the target value, the determination unit 102 changes the value of the correction parameter so that the correction intensity increases until the second frequency becomes equal to or higher than the target value. The correction parameter is updated by determining the value of the correction parameter when the frequency becomes equal to or greater than the target value as the correction parameter.
  • the correction parameter since the correction parameter is determined by comparing the target value based on the first number with the second frequency, the correction parameter can be updated to an appropriate value.
  • Embodiment 2 Next, Embodiment 2 will be described with reference to FIGS.
  • FIG. 11 is a block diagram showing the configuration of the image processing apparatus 200 according to the second embodiment.
  • the same reference numerals are used for the same components as those in the first embodiment, and the description thereof is omitted.
  • the image processing apparatus 200 includes a correction unit 101, a determination unit 102, and a generation unit 103. That is, the image processing apparatus 200 includes a generation unit 103 in addition to the configuration of the image processing apparatus 100 according to the first embodiment.
  • an image captured by a fixed camera that does not perform panning is a target of image processing of the image processing apparatus 100.
  • an image that is captured by a fixed camera that performs panning may be used as an image processing target of the image processing apparatus 200.
  • the image processing apparatus 200 according to the second embodiment is an image processing apparatus that can handle even when the camera moves.
  • the generation unit 103 specifies a moving body region including a moving body that moves between a predetermined input image and a frame temporally later than the predetermined input image in each of the predetermined input image and the subsequent frame. Then, the generation unit 103 generates an alignment image by performing alignment for moving the position of the moving body region in the subsequent frame to the position of the moving body region in the predetermined input image. That is, the generation unit 103 takes two input images as input, and matches the position of the moving body moved in the other input image to the position of the moving body in the reference input image. Create an image.
  • the correction unit 101 performs correction using a predetermined input image and the alignment image generated by the generation unit 103.
  • FIG. 12 is a diagram showing an image when an average image is created without performing alignment by motion compensation according to the second embodiment.
  • FIG. 13 is a diagram illustrating an image when an average image is created from an image subjected to alignment by motion compensation according to the second embodiment.
  • FIG. 12 is a diagram showing two temporally continuous frames taken by a fixed camera. A moving moving body is photographed between the two frames.
  • the generation unit 103 is not provided, or when the alignment process of the generation unit 103 is not performed, if an average image is generated by the correction unit 101, an image illustrated in FIG. That is, when the average image is created without performing the alignment process, an inappropriate image in which the subject blur occurs in the area of the moving body is generated.
  • the frequency of an appropriate peak angle can be obtained in the angle histogram due to the influence of subject blur that does not exist in the actual image. It will disappear.
  • alignment processing is performed by the generation unit 103.
  • the generation unit 103 performs alignment processing for aligning the position of the moving object in the frame t ⁇ 1 with the position of the moving object in the frame t in FIG. ) Is generated as shown in frame t-1.
  • FIG. 13A since the position of the subject in frame t-1 matches the position of the subject in frame t, when an average image is created using frames t-1 and t, An image in which the position of the moving body is appropriate as shown in FIG.
  • FIGS. 12 and 13 are diagrams in the case where the movement of the subject occurs in the video captured by the fixed camera. Since the image aligned with the reference image can be created even when the camera is moving, the fixed camera It does n’t matter.
  • any alignment method used in the generation unit 103 may be used.
  • a method such as feature point matching that estimates the movement of the entire image between frames may be applied. If this occurs, a technique such as an optical flow for obtaining a motion amount for each region may be applied.
  • the image processing apparatus 200 includes the generation unit 103 in addition to the correction unit 101 and the determination unit 102.
  • the generation unit 103 specifies a moving body region including a moving body that moves between a predetermined input image and a frame temporally later than the predetermined input image in each of the predetermined input image and the subsequent frame.
  • the generation unit 103 generates an alignment image by performing alignment that moves the position of the moving object region in the subsequent frame to the position of the moving object region in the predetermined input image.
  • the correction unit 101 performs correction using a predetermined input image and the alignment image generated by the generation unit.
  • the variance of the frequency around the peak angle may be calculated from the respective angle histograms of the predetermined input image and the predetermined correction image, and the presence or absence of fluctuation may be determined by comparing the variance values. That is, when the second variance value around the peak angle of the second angle histogram is less than the first variance value around the peak angle of the first angle histogram, the determination unit 102 determines that the shape of the second angle histogram is the first.
  • the shape of the second angle histogram is steeper than the shape of the first angle histogram.
  • the expression 1 corresponds to the expression 3 and the expression 2 corresponds to the expression 4.
  • the presence or absence of fluctuation may be determined by calculating a differential value at the peak angle from the respective angle histograms of the predetermined input image and the predetermined correction image, and comparing the differential values. That is, the determination unit 102 determines the shape of the second angle histogram when the second absolute value of the differential value at the peak angle of the second angle histogram exceeds the first absolute value of the differential value at the peak angle of the first distribution. Is a steeper shape than the shape of the first angle histogram, and when the second absolute value is less than or equal to the first absolute value, the shape of the second angle histogram is greater than the shape of the first angle histogram. It may be determined that the shape is not steep.
  • the determination unit 102 compares the shape of the first angle histogram with the shape of the second angle histogram itself, so that the shape of the second angle histogram is steeper than the shape of the first angle histogram. It may be determined whether or not.
  • the correction unit 101 outputs, as a predetermined correction image, an average image obtained by averaging a predetermined number of input images including a predetermined input image among a plurality of input images.
  • correction is performed, the present invention is not limited to this. For example, if the average number is set to a fixed value, a specified number of average images are created once, and if the frequency of the peak angle in the corrected image does not reach the target value, the specified number of average images that have been created once are prepared. Then, correction may be performed to perform multi-stage averaging that creates an average image again. In this case, the number of times of creating an average image is a correction parameter.
  • the correction unit 101 performs the first averaging on each of the plurality of input images to obtain a plurality of one-stage average images, and the second average for each of the plurality of one-stage average images.
  • a case where a plurality of two-stage average images are obtained by performing the averaging a case where the n-th averaging (n is a natural number) is performed is considered.
  • the correction unit 101 corrects a predetermined input image by generating an n-stage average image by performing n-th averaging, and outputs the n-stage average image as a predetermined correction image. Good.
  • the determination unit 102 may update the correction parameter by updating the number of times of averaging as the correction parameter. As described above, whether or not to further perform processing for suppressing fluctuations after the creation of the average image with the prescribed number may be used as the correction parameter, in addition to the number of times of creating the average image.
  • an image photographed by a fixed camera without a panning function and installed at a fixed position and posture is input as an input image.
  • data of a background image that is an image taken by a fixed camera in a state without fluctuation can be used.
  • the third frequency at the peak angle of the third angle histogram (third distribution) generated from the background image is recorded in advance, and the target value used in the second determination is a value based on the third frequency (for example, The target value using the third frequency may be set, such as 70% of the third frequency).
  • the correction parameter since the correction parameter is determined by comparing the target value based on the third frequency with the second frequency, the correction parameter can be updated to an appropriate value.
  • the determination unit 102 determines that there is no fluctuation in the predetermined input image, and the value of the correction parameter referred to by the correction unit 101.
  • the present invention is not limited to this, and when it is determined that there is no fluctuation, the value of the correction parameter may be set with the average number being one.
  • the determination unit 102 determines Yes only once in step S206, the determination unit 102 performs the correction parameter setting process (S207).
  • the determination unit 102 is not limited to this, and the determination unit 102 determines Yes consecutively in step S206.
  • the correction parameter setting process may be performed for the first time.
  • the correction unit 101 performs correction by averaging a plurality of input images.
  • the image may be further blurred in addition to blur due to image fluctuation.
  • the larger the number of averaged images the more blurred the averaged image, that is, the corrected image. Therefore, in order to restore the blur, for example, after the average image is created, a sharpening process of the average image (corrected image) may be applied.
  • the filter process for image sharpening such as an unsharp mask.
  • the filter size may be changed according to the average number, such as increasing the average number and decreasing the filter size as the average number decreases. Accordingly, it is possible to reduce blur caused by image fluctuations and blur caused by averaging of images.
  • the contrast correction may be further performed after the creation of the average image.
  • FIG. 14 is a diagram illustrating a product example of a surveillance camera according to a modification of the embodiment.
  • the surveillance camera according to the present disclosure is, for example, a camera installed to take an image of the outdoors, and can be used as an example for monitoring traffic and monitoring various infrastructure facilities.
  • the surveillance camera according to the present disclosure can also be realized as an underwater camera for photographing underwater.
  • the underwater camera can be used for monitoring aquatic organisms or inspecting articles immersed in water in a factory or the like.
  • the present disclosure can also be realized as an image processing method.
  • each component which comprises the image processing apparatus 100 which concerns on this indication, or each component (correction part 101, determination part 102, and production
  • a CPU Central Processing Unit
  • RAM random access memory
  • ROM Read Only Memory
  • the image processing apparatus, the monitoring camera, and the image processing method according to the present disclosure can be used for, for example, a video recorder, a television, a camera, and the like.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Processing (AREA)
  • Studio Devices (AREA)

Abstract

　画像処理装置（１００）は補正部（１０１）と判定部（１０２）とを備える。補正部は、複数の入力画像のそれぞれに、補正パラメータを用いて、画像の揺らぎを抑制するための補正を行い、補正の結果を複数の補正画像として出力する。判定部は、（ｉ）複数の入力画像のうちの所定の入力画像におけるエッジ角度の度数分布を示す第一分布と、所定の入力画像が補正部により補正されることにより出力された所定の補正画像におけるエッジ角度の度数分布を示す第二分布とを算出し、（ｉｉ）算出した第一分布及び第二分布を用いて、所定の入力画像の揺らぎの有無を判定する第一判定を行い、（ｉｉｉ）第一判定の結果を用いて補正パラメータの更新を行う。

Description

画像処理装置、画像処理方法及びそれを実行させるためのプログラム
　本開示は、画像の揺らぎを補正する画像処理装置及び画像処理方法に関する。
　従来、監視カメラなどのカメラ装置を用いて所定の空間を撮影し、当該空間を監視する監視システムが知られている。この監視カメラには、予め定められた場所のみを監視する固定の監視カメラや、いわゆるパンニング機能を有し、予め定められた広範囲の場所をパンニングしながら監視する監視カメラなどが含まれる。
　このような監視カメラなどのカメラ装置により撮影された画像には、揺らぎが生じていることがある。揺らぎは、光の伝達媒体の特性変化によって生じる現象である。具体的には、揺らぎは、被写体からの光を伝達する媒体（空気又は水など）の屈折率が変化することで、発生する現象（シュリーレン現象）である。
　揺らぎは、例えば、暑い屋外での撮影時に、大気中の温度差により空気の密度に粗密が生じることにより発生する、いわゆる陽炎である。あるいは、揺らぎは、水中での撮影時にも発生する。
　撮影された動画像から異常などを検知する監視システムにおいて、撮影された動画像を構成する各フレームに揺らぎが生じてしまうと、誤った異常を検知してしまう場合があり、好ましくない。そこで、特許文献１及び２などには、画像の揺らぎを補正することができる画像処理装置が開示されている。
特開２０１１－２２９０３０号公報 特開２０１３－２３６２４９号公報
　本開示は、揺らぎの強さが変化した場合であっても揺らぎを適切に補正することができる画像処理装置及び画像処理方法を提供する。
　上記課題を解決するため、本開示に係る画像処理装置は補正部と判定部とを備える。補正部は、複数の入力画像のそれぞれに、補正パラメータを用いて、画像の揺らぎを抑制するための補正を行い、補正の結果を複数の補正画像として出力する。判定部は、（ｉ）複数の入力画像のうちの所定の入力画像におけるエッジ角度の度数分布を示す第一分布と、所定の入力画像が補正部により補正されることにより出力された所定の補正画像におけるエッジ角度の度数分布を示す第二分布とを算出する。また、判定部は、（ｉｉ）算出した第一分布及び第二分布を用いて、所定の入力画像の揺らぎの有無を判定する第一判定を行い、（ｉｉｉ）第一判定の結果を用いて補正パラメータの更新を行う。
　本開示によれば、揺らぎの強さが変化した場合であっても揺らぎを適切に補正することができる。
実施の形態１に係る画像処理装置の構成を示すブロック図である。 実施の形態１に係る揺らぎの無い状態の画像を示す図である。 実施の形態１に係る、連続する複数のフレームから平均画像を生成する補正について説明するための図である。 実施の形態１に係る画像処理装置の動作（更新処理）の一例を示すフローチャートである。 実施の形態１に係るエッジ角度の取得について説明するための図である。 実施の形態１に係るピーク角度の取得処理の一例を示すフローチャートである。 実施の形態１に係る揺らぎの無い状態の画像におけるエッジ角度と、当該画像における角度ヒストグラムとを示す図である。 実施の形態１に係る揺らぎが発生した状態の画像におけるエッジ角度と、当該画像における角度ヒストグラムとを示す図である。 実施の形態１に係る補正後の画像におけるエッジ角度と、当該画像における角度ヒストグラムとを示す図である。 実施の形態１に係る補正パラメータの設定処理の一例を示すフローチャートである。 実施の形態１に係る補正パラメータの異なる値で補正した複数の補正画像のそれぞれにおける角度ヒストグラムを示す図である。 実施の形態２に係る画像処理装置の構成を示すブロック図である。 実施の形態２に係る、動き補償による位置合わせを行わずに平均画像を作成した場合の画像を示した図である。 実施の形態２に係る、動き補償による位置合わせを行った画像から平均画像を作成した場合の画像を示した図である。 実施の形態に係る画像処理装置を備える監視カメラの製品例を示す図である。
　本発明者は、「背景技術」の欄において記載した従来の画像処理装置に関し、以下の問題が生じることを見出した。
　例えば、特許文献１及び２に記載の画像処理装置では、画像に揺らぎが発生しているか否かを検出している。そして、揺らぎが発生している場合には、予め定められた強さの補正処理を行っている。
　しかしながら、補正処理の程度が同じであるため、揺らぎが変化した場合には、適切に揺らぎを補正することができなくなるという問題がある。
　そこで、このような問題を解決するために、本開示では、揺らぎの強さが変化した場合であっても、揺らぎを適切に補正することができる画像処理装置及び画像処理方法を提供する。
　以下、適宜図面を参照しながら、実施の形態を詳細に説明する。ただし、必要以上に詳細な説明は省略する場合がある。例えば、すでによく知られた事項の詳細説明、及び、実質的に同一の構成に対する重複説明などを省略する場合がある。これは、以下の説明が不必要に冗長になるのを避け、当業者の理解を容易にするためである。
　なお、発明者らは、当業者が本開示を十分に理解するために添付図面及び以下の説明を提供するのであって、これらによって請求の範囲に記載の主題を限定することを意図するものではない。
　また、各図は、模式図であり、必ずしも厳密に図示されたものではない。また、各図において、同じ構成部材については同じ符号を付している。
　（実施の形態１）
　以下、図１～図５を用いて、実施の形態１について説明する。
　［１－１．画像処理装置の概要］
　まず、本実施の形態に係る画像処理装置の構成について、図１を用いて説明する。図１はパンニングを行わない固定カメラ、つまり特定の同じシーンを映し続けるカメラにおける、本実施の形態に係る画像処理装置の構成例を示すブロック図である。なお、本実施の形態に係る画像処理装置は、複数のフレームの画像を用いて入力画像の揺らぎを補正する装置である。
　ここで「揺らぎ」とは、上述したように、光の伝達媒体の特性変化によって生じる現象である。例えば、「揺らぎ」は、陽炎などの現象であり、被写体からの光を伝達する媒体（空気又は水など）の屈折率が変化することで発生する現象（シュリーレン現象）である。簡単に言い換えると、「揺らぎ」は、固定されて動かない被写体が動いて見える現象である。このため、「揺らぎ」は、カメラの手ブレなどとは異なり、固定したカメラが撮影した画像であっても発生する。特に望遠で撮影した動画像では、物体からカメラまでの、光の通る経路が長くなるため、揺らぎの影響は顕著に現れる。
　「入力画像の揺らぎ」とは、被写体の形状が入力画像内で歪む現象である。簡単な例では、入力画像内に「揺らぎ」が無い場合には真っ直ぐになるエッジが、「揺らぎ」が有る場合には曲線になる。なお、カメラの手ブレの場合もエッジは本来の位置からずれた位置に現れるが、そのずれる方向及び量は、略一定となる。つまり、カメラの手ブレの場合、画像全体が共通の方向に略同じ量だけずれる。これに対して、「揺らぎ」によって生じるエッジが歪む方向及び量は、画素毎に不規則である。また、「揺らぎを補正する」は、「揺らぎ」によって入力画像に生じた画素のずれを小さく、又は、ゼロにすることである。
　［１－２．画像処理装置の詳細な構成］
　本実施の形態に係る画像処理装置１００は、異なる複数のタイミングで撮影された動画像を複数の入力画像として切り出し、切り出した複数の入力画像の揺らぎを補正し、補正後の画像を生成して出力する。図１に示すように、画像処理装置１００は、補正部１０１と、判定部１０２とを備える。
　［１－２－１．補正部］
　補正部１０１は、複数の入力画像のそれぞれに、補正パラメータを用いた補正を行い、補正の結果を複数の補正画像として出力する。つまり、補正部１０１は、補正パラメータを参照して、複数の入力画像の揺らぎを補正する。具体的には、補正部１０１は、複数の入力画像のうち所定の入力画像を含む所定の枚数の入力画像を平均化した平均画像を所定の補正画像として出力することにより、補正を行う。ここで、補正パラメータは、平均画像を生成するための入力画像の枚数である。つまり、補正部１０１は、複数の入力画像のうち所定の入力画像を含む枚数の入力画像を平均した平均画像を生成することにより、所定の入力画像を補正する。
　例えば固定カメラで陽炎が生じているシーンを撮影した場合、撮影された映像は揺らぐ。この揺らいだ画像上の物体は、揺らぎの無い場合の元の位置を中心としてフレームごとに写る位置がずれる。このことを利用して補正部１０１は複数のフレームを平均した平均画像を生成する。複数のフレームの平均画像上の物体位置は、平均することで揺らぎの無い場合の元の位置が支配的となり、揺らぎの無い場合の位置に近づくため、入力画像の揺らぎを補正できる。
　図２Ａは、実施の形態１に係る揺らぎの無い状態の画像を示す図である。図２Ｂは、実施の形態１に係る、連続する複数のフレームから平均画像を生成する補正について説明するための図である。具体的には、図２Ｂの（ａ）は、図２Ａで示した画像に揺らぎが生じた場合の連続する５フレームの画像を示す図である。図２Ｂの（ｂ）は、図２Ｂの（ａ）に示される５フレームの画像を用いて生成した平均画像を示す図である。
　図２Ａに示すように、揺らぎの無い状態で撮影された画像１０は、画像１０の垂直方向の中心に水平方向に延びる線分を有する。このような画像１０に対して揺らぎが生じると、図２Ｂの（ａ）に示すように、水平方向に延びる線分を基準として上下に波打ったような曲線や折れ線の組み合わせの線を有する複数の入力画像１１ａ～１１ｅ（複数のフレーム）となる。揺らぎの程度や揺らぎが生じる空間的な位置は、異なるタイミングにおいて変化するため、図２Ｂの（ａ）に示すような、異なるタイミングで撮影された複数の入力画像１１ａ～１１ｅのそれぞれは、異なる形状の線を有する。
　ここで、補正部１０１は、これらの複数の入力画像１１ａ～１１ｅを平均化する補正を行うことで、複数の入力画像１１ａ～１１ｅのそれぞれと比べ、揺らぎが軽減された補正画像１２を得ることができる。つまり、補正画像１２は、上記の補正を行うことで、複数の入力画像１１ａ～１１ｅのそれぞれが有する水平方向に延びる線を、揺らぎの無い状態に近づけることができる。
　より具体的には、補正部１０１は、ｍ枚（ｍは自然数）の入力画像（フレーム）を画素毎に平均化することで、１枚の補正画像を生成する。ここで、ｍは、補正を行う場合、２以上の自然数であり、判定部１０２によって決定される補正パラメータの一例である。
　また、補正部１０１は、ｍ枚の入力画像を平均化することにより補正を行うことに限らず、ｍ枚の入力画像を重み付け加算した画像を平均化することにより補正を行ってもよい。重み付け加算した画像を平均化することによる補正を行う場合、例えば、重み付け加算に用いる重みは、所定の入力画像が撮影されたタイミングである時刻ｔに近いフレームにおける入力画像程、大きくしてもよい。また、補正において平均化する対象となる複数の入力画像のうち、当該時刻ｔにおける所定の入力画像に対してのみ大きな重みとし、残りの複数の入力画像に対する重みを所定の入力画像よりも小さくかつ残りの複数の入力画像に共通する重みとして、重み付け加算した画像を平均化してもよい。
　［１－２－２．判定部］
　判定部１０２は、所定の入力画像と、所定の入力画像が補正部１０１により補正された補正画像とを入力とし、所定の入力画像に揺らぎが生じているかどうかの判定を行う。そして、判定部１０２は、その判定結果に応じて、補正部１０１で参照している、図示しないメモリに記憶されている補正パラメータの値の書き換えを行う。
　具体的には、判定部１０２は、複数の入力画像のうちの所定の入力画像におけるエッジ角度の度数分布を示す第一分布と、所定の入力画像が補正部により補正されることにより出力された所定の補正画像におけるエッジ角度の度数分布を示す第二分布とを算出する。そして、判定部１０２は、算出した第一分布及び第二分布を用いて、所定の入力画像の揺らぎの有無を判定する第一判定を行う。さらに、判定部１０２は、第一判定の結果を用いて補正パラメータの値の更新を行う。
　また、判定部１０２は、第一判定において、第二分布の形状が第一分布の形状よりも急峻な形状である場合、所定の入力画像に揺らぎが有ると判定し、第二分布の形状が第一分布の形状よりも急峻な形状でない場合、所定の入力画像に揺らぎが無いと判定する。そして、判定部１０２は、所定の入力画像に揺らぎが有ると判定した場合、補正パラメータの値の更新を行い、所定の入力画像に揺らぎが無いと判定した場合、補正パラメータの値の更新を行わない。
　また、判定部１０２は、第一分布及び第二分布において、それぞれ、度数がピークとなるエッジ角度（以下、「ピーク角度」という）における第一度数及び第二度数を求め、各角度ヒストグラムに共通するピーク角度（以下、「共通ピーク角度」という。）を特定する。そして、判定部１０２は、第一判定において、第二分布の共通ピーク角度における第二度数が、第一分布の共通ピーク角度における第一度数を超える場合には、第二分布の形状が第一分布の形状よりも急峻な形状であると判定し、第二度数が、第一度数以下である場合には、第二分布の形状が第一分布の形状よりも急峻な形状でないと判定する。
　また、判定部１０２は、所定の入力画像に揺らぎが有ると判定した場合、補正パラメータとしての、平均化の対象となる複数の入力画像の枚数を更新することで、補正パラメータの値の更新を行う。
　また、判定部１０２は、第一分布のピーク角度における第一度数を基準とした目標値を、第二分布のピーク角度における第二度数が超えているか否かを判定する第二判定をさらに行ってもよい。そして、判定部１０２は、第二判定において、第二度数が目標値を超えていると判定した場合、第二度数が目標値未満になるまで、補正の強度が小さくなるように補正パラメータの値を変更し、第二度数が目標値未満になる直前に変更された補正パラメータの値を、新たな補正パラメータの値として決定することで、補正パラメータの値の更新を行う。また、判定部１０２は、第二判定において、第二度数が目標値を超えていないと判定した場合、第二度数が目標値以上になるまで、補正の強度が大きくなるように補正パラメータの値を変更し、第二度数が目標値以上になったときにおける補正パラメータの値を、新たな補正パラメータの値として決定することで、補正パラメータの値の更新を行う。
　［１－３．画像処理装置の動作］
　以上のように構成された画像処理装置１００について、その動作を以下に説明する。
　画像処理装置１００では、入力画像の揺らぎの有無を判定する第一判定の結果を用いて補正パラメータの値を更新する更新処理を行う。なお、本実施の形態の画像処理装置１００では、第一判定の一例として、所定の入力画像と、複数の入力画像を補正することにより得られた補正画像とのそれぞれに含まれるエッジ角度の情報を用いた判定を行う。以下、図３を用いて画像処理装置１００の動作（更新処理）の詳細について説明する。
　［１－３－１．更新処理］
　図３は、実施の形態１に係る画像処理装置の動作（更新処理）の一例を示すフローチャートである。なお、前提として、更新処理以前に、複数の入力画像のうちの所定の入力画像に対して、複数の入力画像を平均化することによる補正が行われ、補正の結果である所定の補正画像が得られているとする。
　判定部１０２は、まず、所定の入力画像と、所定の補正画像とを読み込む（Ｓ２０１）。つまり、判定部１０２には、所定の入力画像と、所定の補正画像とが入力される。
　次に、判定部１０２は、所定の入力画像におけるエッジ強度と、所定の補正画像におけるエッジ強度とを検出する（Ｓ２０２）。判定部１０２は、例えば、所定の入力画像及び所定の補正画像のそれぞれにおいて、各画像の画素ごとに縦方向及び横方向それぞれのエッジ強度をＳｏｂｅｌ　Ｆｉｌｔｅｒを用いて算出する。
　続いて、判定部１０２は、検出した各画像の画素ごとにおける縦方向及び横方向それぞれのエッジ強度から、各画素におけるエッジ角度を算出する（Ｓ２０３）。図４は、実施の形態１に係るエッジ角度の取得について説明するための図である。具体的には、図４は、ある画素において算出されたエッジ角度θを示す図である。各画像における各画素は、縦方向及び横方向のそれぞれにエッジ強度を有するため、各画素について、当該画素における縦方向のエッジ強度と、横方向のエッジ強度とを合成することにより、エッジ角度θを算出できる。このようにして、判定部１０２は、各画像における全ての画素について、エッジ角度θを算出する。なお、縦方向及び横方向の一方のエッジ強度が０であってもよく、縦方向のエッジ強度が０である場合には、エッジ角度θは９０°または２７０°となり、横方向のエッジ強度が０である場合には、エッジ角度θは０°（３６０°）または１８０°となる。
　なお、必ずしも全ての画素においてエッジ角度θを算出する必要はなく、予め設定した所定の閾値よりも大きなエッジ強度を有する画素のみにおいてエッジ角度θを算出してもよい。これは下記の理由による。陽炎などで生じる揺らぎは、主にコントラスト差が顕著であるエッジ（線分）上で、その揺らぎが知覚され易い。その一方で、画像のうちで、空や模様のない背景などのエッジ強度が所定の閾値よりも弱い領域でもエッジ角度を取得可能であるが、このような領域における画素は、線分上の画素ではないため、それらの領域で生じる揺らぎの影響は知覚されにくい。つまり、空や模様のない背景などのエッジ強度が所定の閾値よりも弱い領域で取得されたエッジ角度は、特に有用な情報ではないというのがその理由である。
　次に、判定部１０２は、所定の入力画像及び所定の補正画像のそれぞれについて、各画像の画素ごとに算出したエッジ角度の度数分布である角度ヒストグラムを生成する（Ｓ２０４）。具体的には、判定部１０２は、所定の入力画像についての第一角度ヒストグラム（第一分布）を生成し、所定の補正画像についての第二角度ヒストグラム（第二分布）を生成する。なお、角度ヒストグラムは、例えば、後述する図６～図８のそれぞれの（ｂ）のように生成される。
　次に、判定部１０２は、生成した第一角度ヒストグラム及び第二角度ヒストグラムを用いて、各角度ヒストグラムに共通するピーク角度（共通ピーク角度）を特定する（Ｓ２０５）。なお、ステップＳ２０５におけるピーク角度の特定処理の詳細は、図５を用いて後述する。
　次に、判定部１０２は、特定した共通ピーク角度を用い、第一角度ヒストグラムの共通ピーク角度における第一度数と第二角度ヒストグラムの共通ピーク角度における第二度数との比較を行う。そして、判定部１０２は、第二度数が第一度数を超えるか否かを判定する（Ｓ２０６）。これにより、判定部１０２は、所定の入力画像の揺らぎの有無を判定する第一判定を行う。
　判定部１０２は、第二度数が第一度数を超えると判定した場合（Ｓ２０６でＹｅｓ）、第二分布の形状が第一分布の形状よりも急峻であると判定する。これにより、判定部１０２は、所定の入力画像に揺らぎが有ると判定し、補正パラメータの設定処理を行う（Ｓ２０７）。
　判定部１０２は、第二度数が第一度数以下であると判定した場合（Ｓ２０６でＮｏ）、第二角度ヒストグラムの形状が第一角度ヒストグラムの形状よりも急峻でないと判定する。これにより、判定部１０２は、所定の入力画像に揺らぎが無いと判定する（Ｓ２０８）。
　［１－３－２．ピーク角度の特定処理］
　次に、所定の入力画像及び所定の補正画像のそれぞれから生成された第一角度ヒストグラム及び第二角度ヒストグラムに基づいて行われるピーク角度の特定処理（Ｓ２０５）の詳細について図５を用いて説明する。
　図５は、実施の形態１に係るピーク角度の特定処理の一例を示すフローチャートである。
　ピーク角度の特定処理では、更新処理におけるステップＳ２０４（図３）において生成された、所定の入力画像の第一角度ヒストグラムと所定の補正画像の第二角度ヒストグラムとを入力とし、入力された第一角度ヒストグラム及び第二角度ヒストグラムのそれぞれのピーク角度に基づいて共通ピーク角度が特定される。
　共通ピーク角度の特定処理では、まず、判定部１０２は、ステップＳ２０４で生成した、所定の入力画像の第一角度ヒストグラムと所定の補正画像の第二角度ヒストグラムとを取得する（Ｓ３０１）。
　判定部１０２は、取得した第一角度ヒストグラム及び第二角度ヒストグラムのそれぞれからピーク角度を求める（Ｓ３０２）。ここで、ピーク角度は、例えば、角度ヒストグラムにおける０°～１８０°の角度の範囲のうちで、最大の度数を持つ角度とする。なお、ピーク角度は、１つの角度ヒストグラムから１つのみを取得する必要はなく、例えば０°～９０°の角度の範囲のうちで最大の度数を持つ角度、及び、９０°～１８０°の角度の範囲のうちで最大の度数を持つ角度とするように、１つの角度ヒストグラムを複数の角度の範囲に分割することで、分割した複数の角度の範囲のそれぞれから１つのピーク角度を特定してもよい。つまり、１つの角度ヒストグラムから、複数のピーク角度を取得しても構わない。
　次に、判定部１０２は、第一角度ヒストグラム及び第二角度ヒストグラムのそれぞれで特定したピーク角度が、共通の（同じ）角度になっているか否かを判定する（Ｓ３０３）。判定部１０２は、更新処理のステップＳ２０６（図３）において、第一角度ヒストグラム及び第二角度ヒストグラムのそれぞれについて、共通ピーク角度における度数の比較を行う。このため、所定の入力画像の第一角度ヒストグラムから特定したピーク角度Ｎと、所定の補正画像の角度ヒストグラムから特定したピーク角度Ｃとが一致している必要がある。つまり、ステップＳ３０３では、判定部１０２は、ピーク角度Ｎ及びピーク角度Ｃが等しいか否かを判定する。
　次に、判定部１０２は、第一角度ヒストグラム及び第二角度ヒストグラムのそれぞれで特定したピーク角度が、共通の（同じ）角度になっていると判定した場合（Ｓ３０３でＹｅｓ）、当該ピーク角度を共通ピーク角度として特定する（Ｓ３０４）。具体的には、判定部１０２は、ピーク角度Ｎ及びピーク角度Ｃが等しい場合、ピーク角度Ｎ（ピーク角度Ｃ）を共通ピーク角度として出力する。
　一方で、判定部１０２は、第一角度ヒストグラム及び第二角度ヒストグラムのそれぞれで特定したピーク角度が、共通の（同じ）角度になっていないと判定した場合（Ｓ３０３でＮｏ）、第二角度ヒストグラムで特定したピーク角度を共通ピーク角度として特定する。つまり、判定部１０２は、ピーク角度Ｎ及びピーク角度Ｃが等しくない場合、ピーク角度Ｃを共通ピーク角度として出力する（Ｓ３０５）。これは、後述の説明でも述べるが、所定の補正画像の角度ヒストグラムの角度の方が揺らぎの存在しない画像から求めた角度に近くなると考えられるためである。
　［１－３－３．揺らぎ判定方法の考え方］
　次に、揺らぎ判定方法の考え方について図６～図８を用いて説明する。
　図６は、実施の形態１に係る揺らぎの無い状態の画像におけるエッジ角度と、当該画像における角度ヒストグラムとを示す図である。図７は、実施の形態１に係る揺らぎが発生した状態の画像におけるエッジ角度と、当該画像における角度ヒストグラムとを示す図である。図８は、実施の形態１に係る補正後の画像におけるエッジ角度と、当該画像における角度ヒストグラムとを示す図である。
　図６の（ａ）に示すように、揺らぎの無い状態で撮影された画像１０は、画像１０の垂直方向の中心に水平方向に延びる線分を有する。この画像１０の場合のエッジ角度は、矢印で示すように、垂直方向上向きの矢印となる。そして、これらのエッジ角度を集計することにより、図６の（ｂ）に示す角度ヒストグラムが得られる。図６の（ｂ）の角度ヒストグラムでは、エッジ角度は０°のみとなるため、ピーク角度θａは０°となる。つまり、図６の（ｂ）で示される角度ヒストグラムは、ピーク角度θａのみで度数が存在することになる。なお、角度ヒストグラムのｂｉｎ（ビン）幅は１°単位でもよいし、ノイズなどの影響を低減するために５°単位のように大きめのｂｉｎ幅が設定されても構わない。
　画像１０に揺らぎが発生した入力画像１１ａは、図７の（ａ）に示すように、線分の形状が垂直方向にずれることにより、曲線や折れ線を有した、線分が変形した形状となる。この入力画像１１ａの場合のエッジ角度は、矢印で示すように、垂直方向上向きの矢印よりも左右に角度がずれた矢印となる。そして、これらのエッジ角度を集計することにより、図７の（ｂ）に示す第一角度ヒストグラム（第一分布）が得られる。図７の（ｂ）の第一角度ヒストグラムでは、揺らぎにより線分の形状が変化したことでエッジ角度の向きがバラバラに分散されたため、ピーク角度θａの周辺の角度に広がった分布となっている。
　補正が行われることにより得られた補正画像１２は、図８の（ａ）に示すように、中央の直線の形状が揺らぎの無い時の画像１０の線分に近くなるように復元されている。この補正画像１２の場合のエッジ角度は、矢印で示すように、図７の（ａ）の矢印よりも垂直方向上向きに沿って揃った矢印となる。そして、これらのエッジ角度を集計することにより、図８の（ｂ）に示す第二角度ヒストグラム（第二分布）が得られる。図８の（ｂ）の第二角度ヒストグラムでは、補正画像１２は、揺らぎの有る入力画像１１ａの形状から揺らぎの無い画像１０の形状に近づいているため、補正画像１２におけるエッジ角度は、画像１０のエッジ角度に近くなる。
　これは、角度ヒストグラムの形状でも同様で、図８の（ｂ）の第二角度ヒストグラムの形状は、図６の（ｂ）の第一角度ヒストグラムの形状へと近づく。中でも特徴的なのは、ピーク角度θａの度数である。ピーク角度θａの度数に着目すると、揺らぎの有る入力画像１１ａのピーク角度θａにおける第一度数は（図７の（ｂ）参照）、補正画像１２のピーク角度θａにおける第二度数よりも小さくなる（図８の（ｂ）参照）。これは、図８の（ａ）の補正画像１２は、補正が行われることにより、線分の形状が揺らぎの無い状態の画像１０の状態に近づいていることと対応している。
　一方で、揺らぎの無い画像に対して補正を行った場合の、入力画像及び補正画像のそれぞれのピーク角度における度数の大小関係は前述のものと異なる。この理由は、画像に揺らぎが無い場合、揺らぎによる形状の変化は生じないためであり、複数のフレームの平均画像を補正画像として生成しても、補正後の画像は図６の（ａ）と同一となるからである。このため、揺らぎの無い画像に対して補正を行った場合、補正画像の第二角度ヒストグラムも第一角度ヒストグラムと同じ形状となり、入力画像及び補正画像のそれぞれのピーク角度における第一度数と第二度数とには大差がない。
　つまり、画像に揺らぎが生じている場合は下記の式１の関係が成り立ち、画像に揺らぎが生じていない場合には、下記の式２の関係が成り立つと言える。実際に撮影された画像では被写体がフレーム間で動いたり、明るさの変化などが生じたりすることにより、ピーク角度における度数が完全一致しないものの、入力画像のピーク角度における第一度数と補正画像のピーク角度における第二度数とはおおよそ一致する。
　第一度数　＜　第二度数（画像に揺らぎが生じている場合）　（式１）
　第一度数　≒　第二度数（画像に揺らぎが生じていない場合）　（式２）
　よって、式１及び式２の関係を用いることで、入力画像に揺らぎが生じているかどうかの判定が可能となる。これにより、上記の関係式の比較の結果が、式１となっている場合は、画像に揺らぎが生じていると判定し、式２となっている場合は、画像の揺らぎが存在しないと判定する。式１及び式２のどちらでもない場合は、新たな被写体のフレームインやフレームアウトや、フレーム間の明るさの変化などの影響が考えられるため、画像の揺らぎが存在しないと判定してもよい。
　［１－３－４．補正パラメータの設定処理］
　補正部１０１では複数のフレームの平均画像を作成することで、画像の揺らぎの補正を行っていた。この補正方法の場合、平均する画像の枚数が補正パラメータとなる。平均枚数が多いほど揺らぎを抑える効果が高く、平均枚数が少ないほど揺らぎを抑える効果が低くなる。一方で平均枚数が多いほど、（ｉ）平均画像がボケてしまう、（ｉｉ）処理量が増加する、（ｉｉｉ）新たな被写体のフレームインやフレームアウトした場合の画質が劣化する、などのデメリットも考えられる。このため、適切な平均枚数を設定する必要がある。
　以下では、揺らぎが有ると判定された場合に行われる補正パラメータの設定処理（図３のＳ２０７）について、図９及び図１０を用いて説明する。
　図９は、実施の形態１に係る補正パラメータの設定処理の一例を示すフローチャートである。図１０は、実施の形態１に係る補正パラメータの異なる値で補正した複数の補正画像のそれぞれにおける角度ヒストグラムを示す図である。具体的には、図１０の（ａ）は、平均枚数が４枚の場合の補正画像における角度ヒストグラムを示す図である。図１０の（ｂ）は、平均枚数が５枚の場合の補正画像における角度ヒストグラムを示す図である。図１０の（ｃ）は、平均枚数が６枚の場合の補正画像における角度ヒストグラムを示す図である。
　判定部１０２は、まず、第二度数が目標値を超えているか否かを判定する第二判定を行う（Ｓ４０１）。ここで目標値は、例えば第一角度ヒストグラムのピーク角度における第一度数の２倍の値や、第一度数に所定の値を加算した値などであり、第一度数を基準として定められる値である。
　判定部１０２は、第二度数が目標値を超えていると判定した場合（Ｓ４０１でＹｅｓ）、補正の強度が弱まるように補正パラメータを一段階変更する（Ｓ４０２）。具体的には、この場合、判定部１０２は、補正パラメータである平均画像を生成するための入力画像の枚数（以下、「平均枚数」という。）を１枚少なくすることで、補正パラメータの値を一段階変更する。
　判定部１０２は、例えば図１０の（ｃ）に示すように変更前の平均枚数が６枚である場合には、第二度数が目標値を超えているため、平均枚数を一段階（１枚）減らした５枚に変更する。なお、補正パラメータの変更は、一段階ずつ行っているが、二段階ずつ、三段階ずつなど複数段階ずつ行ってもよい。
　次に、判定部１０２は、変更後における第二度数が目標値未満であるか否かを判定する（Ｓ４０３）。つまり、判定部１０２は、所定の入力画像を変更後における補正パラメータの値を用いた補正を行い、補正後の補正画像の角度ヒストグラムのピーク角度における度数（変更後における第二度数）を算出し、算出した第二度数が目標値未満であるか否かを判定する。判定部１０２は、例えば図１０の（ｂ）に示すように、変更後の平均枚数である５枚で平均化された補正画像の角度ヒストグラムのピーク角度における度数（変更後における第二度数）を算出し、算出した第二度数が目標値未満であるか否かを判定する。
　そして、判定部１０２は、変更後における第二度数が目標値以上であると判定した場合（Ｓ４０３でＮｏ）、ステップＳ４０２に戻り、さらに、補正の強度が弱まるように補正パラメータの値を一段階変更する。すなわち、判定部１０２は、例えば図１０の（ｂ）に示すように、平均枚数５枚で平均化された補正画像の第二度数が目標値以上であると判定された場合、さらに一段階（１枚）減らした平均枚数４枚に補正パラメータの値を変更する。
　一方で、判定部１０２は、変更後における第二度数が目標値未満であると判定した場合（Ｓ４０３でＹｅｓ）、直前の補正パラメータの値を補正パラメータに決定する（Ｓ４０４）。判定部１０２は、例えば図１０に示す例では、平均枚数が４枚で補正された補正画像における第二度数が目標値未満であると判定されるため、直前の補正パラメータの値である５枚を新たな補正パラメータの値に決定し、補正パラメータの設定処理を終了する。
　要するに、判定部１０２は、第二度数が目標値を超えていると判定した場合、第二度数が目標値未満になるまで、補正の強度が小さくなるように補正パラメータの値を変更し、第二度数が目標値未満になる直前に変更された補正パラメータの値を、新たな補正パラメータの値として決定する。
　一方で、判定部１０２は、第二度数が目標値を超えていないと判定した場合（Ｓ４０１でＮｏ）、補正の強度が強まるように補正パラメータを一段階変更する（Ｓ４０５）。具体的には、この場合、判定部１０２は、平均枚数を１枚多くすることで、補正パラメータの値を一段階変更する。
　判定部１０２は、例えば図１０の（ａ）に示すように変更前の平均枚数が４枚である場合には、第二度数が目標値を超えていないため、平均枚数を一段階（１枚）増やした５枚に変更する。なお、補正パラメータの変更は、一段階ずつ行っているが、二段階ずつ、三段階ずつなど複数段階ずつ行ってもよい。
　次に、判定部１０２は、変更後における第二度数が目標値以上であるか否かを判定する（Ｓ４０６）。つまり、判定部１０２は、所定の入力画像を変更後における補正パラメータを用いた補正を行い、補正後の補正画像の角度ヒストグラムのピーク角度における度数（変更後における第二度数）を算出し、算出した第二度数が目標値以上であるか否かを判定する。判定部１０２は、例えば、図１０の（ｂ）に示すように、変更後の平均枚数である５枚で平均化された補正画像の角度ヒストグラムのピーク角度における度数（変更後における第二度数）を算出し、算出した第二度数が目標値以上であるか否かを判定する。
　そして、判定部１０２は、変更後における第二度数が目標値以上であると判定した場合（Ｓ４０６でＹｅｓ）、変更後の補正パラメータの値を新たな補正パラメータの値に決定する（Ｓ４０７）。すなわち、判定部１０２は、例えば図１０の（ｂ）に示すように、平均枚数が５枚とされた補正画像における第二度数が目標値以上であると判定された場合には、変更後の補正パラメータの値である５枚を新たな補正パラメータの値に決定し、補正パラメータの設定処理を終了する。
　一方で、判定部１０２は、変更後における第二度数が目標値未満であると判定した場合（Ｓ４０６でＮｏ）、ステップＳ４０５に戻り、さらに、補正の強度が強まるように補正パラメータの値を一段階変更する。すなわち、判定部１０２は、例えば、平均枚数５枚で平均化された補正画像の第二度数が目標値未満であると判定された場合であれば、さらに一段階（１枚）増やした平均枚数６枚に補正パラメータの値を変更する。
　要するに、判定部１０２は、第二度数が目標値を超えていないと判定した場合、第二度数が目標値以上になるまで、補正の強度が大きくなるように補正パラメータの値を変更し、第二度数が目標値以上になったときにおける補正パラメータの値を、新たな補正パラメータの値として決定する。
　以上のことから、判定部１０２は、異なる複数の補正パラメータの値で補正されることにより得られた複数の補正画像のそれぞれについて第二度数を算出し、目標値以上である第二度数のうちで最小の値の第二度数に対応する補正パラメータの値を、新たな補正パラメータの値として決定していることになる。
　［１－４．効果等］
　以上のように、画像処理装置１００は、補正部１０１と、判定部１０２とを備える。補正部１０１は、複数の入力画像のそれぞれに、補正パラメータを用いて、画像の揺らぎを抑制するための補正を行い、補正の結果を複数の補正画像として出力する。判定部１０２は、複数の入力画像のうちの所定の入力画像におけるエッジ角度の度数分布を示す第一角度ヒストグラム（第一分布）と、所定の入力画像が補正部により補正されることにより出力された所定の補正画像におけるエッジ角度の度数分布を示す第二角度ヒストグラム（第二分布）とを算出する。そして、判定部１０２は、算出した第一角度ヒストグラム及び第二角度ヒストグラムを用いて、所定の入力画像の揺らぎの有無を判定する第一判定を行う。さらに、判定部１０２は、第一判定の結果を用いて補正パラメータの更新を行う。
　これによれば、所定の入力画像の揺らぎの有無を判定し、判定した結果を用いて補正パラメータの更新を行うため、揺らぎの強さが変化した場合であっても、揺らぎを適切に補正することができる。
　また、判定部１０２は、第一判定において、第二角度ヒストグラムの形状が第一角度ヒストグラムの形状よりも急峻な形状である場合、所定の入力画像に揺らぎが有ると判定し、第二角度ヒストグラムの形状が第一角度ヒストグラムの形状よりも急峻な形状でない場合、所定の入力画像に揺らぎが無いと判定する。そして、判定部１０２は、所定の入力画像に揺らぎが有ると判定した場合、補正パラメータの更新を行い、所定の入力画像に揺らぎが無いと判定した場合、補正パラメータの更新を行わない。
　これによれば、所定の補正画像における第二角度ヒストグラムの形状が所定の入力画像の第一ヒストグラムの形状よりも急峻な形状である場合に、揺らぎが有ると判定して、補正パラメータの更新を行い、そうでない場合に揺らぎが無いと判定し、補正パラメータの更新を行わない。このため、補正パラメータの更新に係る処理負荷を軽減しつつ、補正を行う場合には補正パラメータを適切な値に更新できる。
　また、判定部１０２は、第一判定において、第二角度ヒストグラムのピーク角度における第二度数が、第一角度ヒストグラムのピーク角度における第一度数を超える場合には、第二分布の形状が第一分布の形状よりも急峻な形状であると判定し、第二度数が、第一度数以下である場合には、第二分布の形状が第一分布の形状よりも急峻な形状でないと判定する。
　これによれば、所定の補正画像の第二角度ヒストグラムのピーク角度における第二度数が、所定の入力画像の第一角度ヒストグラムの当該ピーク角度における第一度数を超える場合に、揺らぎが有ると判定できるため、揺らぎの有無の判定を容易にできる。
　また、補正部１０１は、複数の入力画像のうち所定の入力画像を含む所定の枚数の入力画像を平均化した平均画像を所定の補正画像として出力することにより、補正を行う。そして、判定部１０２は、所定の入力画像に揺らぎが有ると判定した場合、補正パラメータとしての所定の枚数を更新することで、更新を行う。
　このため、揺らぎの程度が大きい場合には、補正パラメータとしての平均画像を生成するための入力画像の枚数を増やすことで補正の強度を強めた補正を行うことができ、揺らぎの程度が小さい場合には、補正パラメータとしての平均画像を生成するための入力画像の枚数を減らすことで補正画像のボケ、処理負荷、画質の劣化などを軽減しつつ十分な補正を行うことができる。つまり、補正パラメータを適切な値に更新できるため、揺らぎの強さが変化した場合であっても、揺らぎを適切に補正することができる。
　また、判定部１０２は、第一角度ヒストグラムのピーク角度における第一度数を基準とした目標値を、第二角度ヒストグラムのピーク角度における第二度数が超えているか否かを判定する第二判定をさらに行う。そして、判定部１０２は、第二度数が目標値を超えていると判定した場合、第二度数が目標値未満になるまで、補正の強度が小さくなるように補正パラメータの値を変更し、第二度数が目標値未満になる直前に変更された補正パラメータの値を、補正パラメータとして決定することで、補正パラメータの更新を行う。また、判定部１０２は、第二度数が目標値を超えていないと判定した場合、第二度数が目標値以上になるまで、補正の強度が大きくなるように補正パラメータの値を変更し、第二度数が目標値以上になったときにおける補正パラメータの値を、補正パラメータとして決定することで、補正パラメータの更新を行う。
　これによれば、第一度数を基準とした目標値と、第二度数とを比較することにより、補正パラメータを決定しているため、補正パラメータを適切な値に更新することができる。
　（実施の形態２）
　次に、図１１～図１４を用いて、実施の形態２を説明する。
　［２－１．画像処理装置の詳細な構成］
　図１１は、実施の形態２に係る画像処理装置２００の構成を示すブロック図である。なお、以下では、実施の形態１と同様の構成には同様の符号を使用し、説明を省略する。
　画像処理装置２００は、補正部１０１と、判定部１０２と、生成部１０３とを備える。つまり、画像処理装置２００は、実施の形態１に係る画像処理装置１００の構成に加えて、生成部１０３を備える。なお、実施の形態１では、パンニングを行わない固定カメラで撮影された画像が画像処理装置１００の画像処理の対象であったが、実施の形態２では、パンニングを行う固定カメラで撮影された画像や、固定カメラでないカメラで撮影された画像を画像処理装置２００の画像処理の対象としても構わない。つまり、実施の形態２に係る画像処理装置２００は、カメラが動いた場合でも対応可能な画像処理装置である。
　［２－１－１．生成部］
　生成部１０３は、所定の入力画像と所定の入力画像より時間的に後のフレームとの間で動く移動体を含む移動体領域を、所定の入力画像及び後のフレームとのそれぞれにおいて特定する。そして、生成部１０３は、当該後のフレームにおける移動体領域の位置を所定の入力画像における移動体領域の位置に移動させる位置合わせを行うことで位置合わせ画像を生成する。つまり、生成部１０３は、２枚の入力画像を入力として、基準となる入力画像に、もう一方の入力画像において移動した移動体の位置を基準となる入力画像での移動体の位置に合わせた画像を作成する。
　また、補正部１０１は、所定の入力画像と、生成部１０３により生成された位置合わせ画像とを用いて補正を行う。
　次に、生成部１０３において行われる位置合わせについて、図１２及び図１３を用いて詳細に説明する。
　図１２は、実施の形態２に係る、動き補償による位置合わせを行わずに平均画像を作成した場合の画像を示した図である。図１３は、実施の形態２に係る、動き補償による位置合わせを行った画像から平均画像を作成した場合の画像を示した図である。
　図１２の（ａ）は、固定カメラで撮影された、時間的に連続する２枚のフレームを示す図である。当該２枚のフレームの間で、動く移動体が撮影されている。生成部１０３がない場合、または、生成部１０３の位置合わせ処理を行わない場合、補正部１０１で平均画像を作成すれば、図１２の（ｂ）に示す画像となる。つまり、位置合わせ処理を行わずに平均画像を作成した場合、移動体の領域で被写体ブレが生じた不適切な画像が生成されることになる。そして、図１２の（ｂ）のような画像を、判定部１０２へ入力した場合、実際の画像では存在していなかった被写体ブレなどの影響で、角度ヒストグラムにおいて適切なピーク角度の度数が得られなくなってしまう。
　そこで、被写体ブレ、もしくはカメラの動きによる補正画像への悪影響を抑制するために、生成部１０３により位置合わせ処理が行われる。具体的には、生成部１０３は、図１２の（ａ）のフレームｔにおける移動体の位置に、フレームｔ－１における移動体の位置を合わせる位置合わせ処理を行うことにより、図１３の（ａ）のフレームｔ－１に示す動き補償画像を生成する。図１３の（ａ）に示すように、フレームｔ－１の被写体の位置は、フレームｔの被写体の位置に合っているため、フレームｔ－１とフレームｔとを用いて平均画像を作成すると、図１３の（ｂ）のような移動体の位置が適切な画像が得られる。
　なお、図１２及び図１３は、平均枚数が２枚の場合を示しているが、平均枚数が３枚以上に増えた場合でも同様である。例えば、平均枚数が５枚の場合は、フレームｔの位置を基準として、残りのフレームｔ－１～フレームｔ－４の画像をフレームｔの位置に合わせた画像を作成し、その画像を用いて平均画像を作成することで、図１３の（ｂ）と同様に、被写体の位置が考慮された画像と同じ効果が得られる。
　また、図１２及び図１３は、固定カメラで撮影した映像に被写体の動きが発生した場合の図であるが、カメラが動いていた場合でも基準画像へ位置合わせした画像を作成できるため、固定カメラでなくとも構わない。
　また、生成部１０３で用いる位置合わせの手法はどんな手法でもよく、カメラが動く場合はフレーム間の画像全体の動きを推定する特徴点マッチングのような手法を適用してもよいし、被写体の動きが生じている場合は領域ごとの動き量を求めるオプティカルフローなどの手法を適用してもよい。
　［２－２．効果等］
　以上のように、画像処理装置２００は、補正部１０１と、判定部１０２との他に、さらに、生成部１０３を備える。生成部１０３は、所定の入力画像と所定の入力画像より時間的に後のフレームとの間で動く移動体を含む移動体領域を、所定の入力画像及び後のフレームとのそれぞれにおいて特定する。生成部１０３は、後のフレームにおける移動体領域の位置を所定の入力画像における移動体領域の位置に移動させる位置合わせを行うことで位置合わせ画像を生成する。補正部１０１は、所定の入力画像と、生成部により生成された位置合わせ画像とを用いて補正を行う。
　これによれば、所定の入力画像と位置合わせ画像とを用いて補正を行うため、移動体が補正に及ぼす影響を低減でき、適切に補正することができる。
　（他の実施の形態）
　以上のように、本出願において開示する技術の例示として、実施の形態を説明した。しかしながら、本開示における技術は、これに限定されず、適宜、変更、置き換え、付加、省略などを行った実施の形態にも適用可能である。また、上記実施の形態で説明した各構成要素を組み合わせて、新たな実施の形態とすることも可能である。
　そこで、以下では、他の実施の形態を例示する。
　例えば、上記の各実施の形態では、ピーク角度における度数を用いて、第二角度ヒストグラムが第一角度ヒストグラムよりも急峻な形状であるか否かを判定しているが、ピーク角度における度数以外の指標として、所定の入力画像及び所定の補正画像のそれぞれの角度ヒストグラムでピーク角度周辺の度数の分散を計算し、その分散値を比較することで揺らぎの有無の判定を行ってもよい。すなわち、判定部１０２は、第二角度ヒストグラムのピーク角度周辺の第二分散値が、第一角度ヒストグラムのピーク角度周辺の第一分散値未満である場合には、第二角度ヒストグラムの形状が第一角度ヒストグラムの形状よりも急峻な形状であると判定し、第二分散値が、第一分散値以上である場合には、第二角度ヒストグラムの形状が第一角度ヒストグラムの形状よりも急峻な形状でないと判定してもよい。揺らぎが生じていれば、形状が変化することにより、もともとピーク角度に存在していた度数がピーク角度の周辺に分散して分布する。このため、入力画像に揺らぎが有る場合のピーク角度周辺の分散値は大きくなる。なお、ピーク角度周辺の分散値を用いる場合、式１に相当するのは式３、式２に相当するのは式４である。
　第一分散値　＞　第二分散値（画像に揺らぎが生じている場合）　（式３）
　第一分散値　≒　第二分散値（画像に揺らぎが生じていない場合）　（式４）
　よって、式３及び式４の関係を用いることで、所定の入力画像に揺らぎが生じているかどうかの判定が可能となる。これにより、上記の関係式の比較の結果が、式３となっている場合は、画像に揺らぎが生じていると判定し、式４となっている場合は、画像の揺らぎが存在しないと判定する。式３及び式４のどちらでもない場合は、新たな被写体のフレームインやフレームアウトや、フレーム間の明るさの変化などの影響が考えられるため、画像の揺らぎが存在しないと判定してもよい。
　これによれば、補正画像の第二角度ヒストグラムのピーク角度周辺の第二分散値が、入力画像の第一角度ヒストグラムの当該ピーク角度周辺の第一分散値未満である場合に、揺らぎが有ると判定できるため、揺らぎの有無の判定を容易にできる。
　また、所定の入力画像及び所定の補正画像のそれぞれの角度ヒストグラムでピーク角度における微分値を計算し、その微分値を比較することで揺らぎの有無の判定を行ってもよい。すなわち、判定部１０２は、第二角度ヒストグラムのピーク角度における微分値の第二絶対値が、第一分布のピーク角度における微分値の第一絶対値を超える場合には、第二角度ヒストグラムの形状が第一角度ヒストグラムの形状よりも急峻な形状であると判定し、第二絶対値が、第一絶対値以下である場合には、第二角度ヒストグラムの形状が第一角度ヒストグラムの形状よりも急峻な形状でないと判定してもよい。
　これによれば、所定の補正画像の第二角度ヒストグラムのピーク角度における微分値の第二絶対値が、所定の入力画像の第一角度ヒストグラムのピーク角度における微分値の第一絶対値を超える場合に、揺らぎが有ると判定できるため、揺らぎの有無の判定を容易にできる。
　また、判定部１０２は、第一角度ヒストグラムの形状そのものと、第二角度ヒストグラムの形状そのものとを比較することにより、第二角度ヒストグラムの形状が第一角度ヒストグラムの形状よりも急峻な形状であるか否かを判定してもよい。
　また、上記の各実施の形態では、補正部１０１は、複数の入力画像のうち所定の入力画像を含む所定の枚数の入力画像を平均化した平均画像を所定の補正画像として出力することにより、補正を行っているが、これに限らない。例えば、平均枚数を固定値として、規定枚数の平均画像を一度作成し、補正画像におけるピーク角度の度数が目標値に達しない場合は、規定枚数で一度作成済の平均画像を、更に規定枚数用意してから平均画像をもう一度作成する多段階の平均化を行う補正を行ってもよい。この場合、平均画像を作る回数が補正パラメータとなる。
　すなわち、補正部１０１が、複数の入力画像のそれぞれに対して１回目の平均化を行うことで複数の１段階平均画像が得られ、複数の１段階平均画像のそれぞれに対して２回目の平均化を行うことで複数の２段階平均画像が得られるとした場合において、ｎ回目（ｎは自然数）の平均化を行う場合を考える。この場合において、補正部１０１は、ｎ回目の平均化を行うことでｎ段階平均画像を生成することにより、所定の入力画像を補正し、ｎ段階平均画像を所定の補正画像として出力してもよい。そして、判定部１０２は、所定の入力画像に揺らぎが有ると判定した場合、補正パラメータとしての平均化の回数を更新することで、補正パラメータの更新を行ってもよい。このように、平均画像を作る回数以外でも、規定枚数で平均画像作成後に、揺らぎを抑える処理をさらに行うかどうかを補正パラメータとしてもよい。
　これによれば、揺らぎの程度が大きい場合には、補正パラメータとしての平均化の回数を増やすことで効果的な補正を行うことができ、揺らぎの程度が小さい場合には、補正パラメータとしての平均化の回数を減らすことで補正画像のボケ、処理負荷、画質の劣化などを軽減しつつ十分な補正を行うことができる。つまり、補正パラメータを適切な値に更新できるため、揺らぎの強さが変化した場合であっても、揺らぎを適切に補正することができる。
　また、上記の実施の形態１に係る画像処理装置１００では、パンニング機能のない、固定された位置及び姿勢で設置された固定カメラにより撮影された画像が入力画像として入力される。この場合、揺らぎの無い状態で固定カメラにより撮影された画像である背景画像のデータが利用可能である。要するに、予め背景画像から生成される第三角度ヒストグラム（第三分布）のピーク角度における第三度数を記録しておき、第二判定において用いる目標値を、第三度数を基準とした値（例えば、第三度数の７０％）と設定するなどのように、第三度数を用いた目標値を設定してもよい。このように、第三度数を基準とした目標値と、第二度数とを比較することにより、補正パラメータを決定しているため、補正パラメータを適切な値に更新することができる。
　また、上記の各実施の形態では、判定部１０２は、図３のステップＳ２０６でＮｏと判定した場合、所定の入力画像に揺らぎが無いと判定し、補正部１０１で参照される補正パラメータの値の変更は行わないが、これに限らずに、揺らぎが無いと判定した場合、平均枚数を１枚として補正パラメータの値を設定してもよい。また、判定部１０２は、ステップＳ２０６で１度だけＹｅｓと判定した場合、補正パラメータの設定処理（Ｓ２０７）を行うが、これに限らずに、ステップＳ２０６で一定回数連続してＹｅｓと判定した場合に初めて補正パラメータの設定処理を行うようにしてもよい。
　また、上記の各実施の形態では、補正部１０１において複数の入力画像に対して平均化を行うことにより補正を行っている。しかしながら、平均化のみで補正を行っていると、画像の揺らぎによるボケに加えて、画像がさらにボケる場合がある。要するに、平均化の画像の枚数が多い程、平均化後の画像、すなわち、補正画像はボケてしまう。そこで、ボケを復元するために、例えば、平均画像の作成後に、平均画像（補正画像）の先鋭化処理を適用してもよい。
　この場合の先鋭化処理の一例としては、アンシャープマスクなどの画像先鋭化のためのフィルタ処理がある。アンシャープマスクの場合は、そのフィルタサイズを平均枚数が多いほど広げ、平均枚数が少ないほど狭めるなどのように、平均枚数に応じて変えてもよい。これにより、画像の揺らぎによるボケ、及び、画像の平均化によって生じるボケを低減することができる。同様に揺らぎによって劣化したコントラストを復元するために、平均画像の作成後にコントラスト補正をさらに行っても構わない。
　また、上記の各実施の形態では、画像処理装置について説明したが、これに限らない。例えば、本開示は、上述した画像処理装置を備える監視カメラとして実現することもできる。例えば、図１４は、実施の形態の変形例に係る監視カメラの製品例を示す図である。本開示に係る監視カメラは、例えば、屋外を撮影するために設置されたカメラであり、一例として、交通量のモニタリング、各種インフラ設備の監視などに利用することができる。
　あるいは、本開示に係る監視カメラは、水中を撮影する水中カメラとして実現することもできる。例えば、当該水中カメラは、水生生物の監視、又は、工場などで水中に浸されている物品などの検査に利用することができる。
　また、本開示は、画像処理方法として実現することもできる。
　なお、本開示に係る画像処理装置１００を構成する各構成要素（補正部１０１及び判定部１０２）、又は、画像処理装置２００を構成する各構成要素（補正部１０１、判定部１０２、及び生成部１０３）は、ＣＰＵ（Ｃｅｎｔｒａｌ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）、ＲＡＭ、ＲＯＭ（Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）通信インターフェース、Ｉ／Ｏポート、ハードディスク、ディスプレイなどを備えるコンピュータ上で実行されるプログラムなどのソフトウェアで実現されてもよく、電子回路などのハードウェアで実現されてもよい。
　以上のように、本開示における技術の例示として、実施の形態を説明した。そのために、添付図面及び詳細な説明を提供した。
　したがって、添付図面及び詳細な説明に記載された構成要素の中には、課題解決のために必須な構成要素だけでなく、上記技術を例示するために、課題解決のためには必須でない構成要素も含まれ得る。そのため、それらの必須ではない構成要素が添付図面や詳細な説明に記載されていることをもって、直ちに、それらの必須ではない構成要素が必須であるとの認定をするべきではない。
　また、上述の実施の形態は、本開示における技術を例示するためのものであるから、請求の範囲又はその均等の範囲において種々の変更、置き換え、付加、省略などを行うことができる。
　本開示に係る画像処理装置、監視カメラ及び画像処理方法は、例えば、ビデオレコーダー、テレビ及びカメラなどに利用することができる。
１００，２００　　画像処理装置
１０１　　補正部
１０２　　判定部
１０３　　生成部

Claims (15)

  1. 　複数の入力画像のそれぞれに、補正パラメータを用いて、画像の揺らぎを抑制するための補正を行い、前記補正の結果を複数の補正画像として出力する補正部と、
    　（ｉ）前記複数の入力画像のうちの所定の入力画像におけるエッジ角度の度数分布を示す第一分布と、前記所定の入力画像が前記補正部により補正されることにより出力された所定の補正画像におけるエッジ角度の度数分布を示す第二分布とを算出し、（ｉｉ）算出した前記第一分布及び前記第二分布を用いて、前記所定の入力画像の揺らぎの有無を判定する第一判定を行い、（ｉｉｉ）前記第一判定の結果を用いて前記補正パラメータの更新を行う判定部と、を備える、
    画像処理装置。
  2. 　前記判定部は、
    　前記第一判定において、前記第二分布の形状が前記第一分布の形状よりも急峻な形状である場合、前記所定の入力画像に揺らぎが有ると判定し、前記第二分布の形状が前記第一分布の形状よりも急峻な形状でない場合、前記所定の入力画像に揺らぎが無いと判定し、
    　前記所定の入力画像に揺らぎが有ると判定した場合、前記更新を行い、前記所定の入力画像に揺らぎが無いと判定した場合、前記更新を行わない、
    請求項１に記載の画像処理装置。
  3. 　前記判定部は、前記第一判定において、
    　前記第二分布のピーク角度における第二度数が、前記第一分布の前記ピーク角度における第一度数を超える場合には、前記第二分布の形状が前記第一分布の形状よりも急峻な形状であると判定し、
    　前記第二度数が、前記第一度数以下である場合には、前記第二分布の形状が前記第一分布の形状よりも急峻な形状でないと判定する、
    請求項２に記載の画像処理装置。
  4. 　前記判定部は、
    　前記第二分布のピーク角度周辺の第二分散値が、前記第一分布の前記ピーク角度周辺の第一分散値未満である場合には、前記第二分布の形状が前記第一分布の形状よりも急峻な形状であると判定し、
    　前記第二分散値が、前記第一分散値以上である場合には、前記第二分布の形状が前記第一分布の形状よりも急峻な形状でないと判定する、
    請求項２に記載の画像処理装置。
  5. 　前記判定部は、
    　前記第二分布のピーク角度における微分値の第二絶対値が、前記第一分布の前記ピーク角度における微分値の第一絶対値を超える場合には、前記第二分布の形状が前記第一分布の形状よりも急峻な形状であると判定し、
    　前記第二絶対値が、前記第一絶対値以下である場合には、前記第二分布の形状が前記第一分布の形状よりも急峻な形状でないと判定する、
    請求項２に記載の画像処理装置。
  6. 　前記補正部は、前記複数の入力画像のうち前記所定の入力画像を含む所定の枚数の前記入力画像を平均化した平均画像を前記所定の補正画像として出力することにより、前記補正を行い、
    　前記判定部は、前記所定の入力画像に揺らぎが有ると判定した場合、前記補正パラメータとしての前記所定の枚数を更新することで、前記更新を行う、
    請求項１に記載の画像処理装置。
  7. 　前記補正部は、
    　前記複数の入力画像のそれぞれに対して１回目の平均化を行うことで複数の１段階平均画像が得られ、前記複数の１段階平均画像のそれぞれに対して２回目の平均化を行うことで複数の２段階平均画像が得られるとした場合においてｎ回目（ｎは自然数）の平均化を行う場合、
    　前記ｎ回目の平均化を行うことでｎ段階平均画像を生成することにより、前記所定の入力画像を補正し、前記ｎ段階平均画像を前記所定の補正画像として出力し、
    　前記判定部は、前記所定の入力画像に揺らぎが有ると判定した場合、前記補正のパラメータとしての前記平均化の回数を更新することで、前記更新を行う、
    請求項１に記載の画像処理装置。
  8. 　前記判定部は、
    　（ｉ）前記第一分布のピーク角度における第一度数を基準とした目標値を、前記第二分布のピーク角度における第二度数が超えているか否かを判定する第二判定をさらに行い、
    　（ｉｉ）前記第二度数が前記目標値を超えていると判定した場合、前記第二度数が前記目標値未満になるまで、前記補正の強度が小さくなるように前記補正パラメータの値を変更し、前記第二度数が前記目標値未満になる直前に変更された補正パラメータの値を、前記補正パラメータとして決定し、
    　前記第二度数が前記目標値を超えていないと判定した場合、前記第二度数が前記目標値以上になるまで、前記補正の強度が大きくなるように前記補正パラメータの値を変更し、前記第二度数が前記目標値以上になったときにおける補正パラメータの値を、前記補正パラメータとして決定することで、前記更新を行う、
    請求項１に記載の画像処理装置。
  9. 　前記画像処理装置は、固定された位置及び姿勢で設置されたカメラにより撮影された画像が前記入力画像として入力され、
    　前記判定部は、
    　（ｉ）揺らぎの無い状態で前記カメラにより撮影された背景画像におけるエッジ角度の度数分布を示す第三分布を算出し、
    　（ｉｉ）前記第三分布のピーク角度における第三度数を基準とした目標値を、前記第二分布のピーク角度における第二度数が超えているか否かを判定する第二判定をさらに行い、
    　（ｉｉｉ）前記第二度数が前記目標値を超えていると判定した場合、前記第二度数が前記目標値未満になるまで、前記補正の強度が小さくなるように前記補正パラメータの値を変更し、前記第二度数が前記目標値未満になる直前に変更された補正パラメータの値を、前記補正パラメータとして決定し、
    　前記第二度数が前記目標値を超えていないと判定した場合、前記第二度数が前記目標値以上になるまで、前記補正の強度が大きくなるように前記補正パラメータの値を変更し、前記第二度数が前記目標値以上になったときにおける補正パラメータの値を、前記補正パラメータとして決定することで、前記更新を行う、
    請求項１に記載の画像処理装置。
  10. 　前記複数の入力画像は、異なる複数のタイミングで撮影された動画像であり、
    　さらに、
    　前記所定の入力画像と前記所定の入力画像より時間的に後のフレームとの間で動く移動体を含む移動体領域を、前記所定の入力画像及び前記後のフレームとのそれぞれにおいて特定し、前記後のフレームにおける前記移動体領域の位置を前記所定の入力画像における前記移動体領域の位置に移動させる位置合わせを行うことで位置合わせ画像を生成する生成部を備え、
    　前記補正部は、前記所定の入力画像と、前記生成部により生成された前記位置合わせ画像とを用いて前記補正を行う、
    請求項１に記載の画像処理装置。
  11. 　複数の入力画像のそれぞれに、補正パラメータを用いて、画像の揺らぎを抑制するための補正を行い、前記補正の結果を複数の補正画像として出力し、
    　前記複数の入力画像のうちの所定の入力画像におけるエッジ角度の度数分布を示す第一分布と、前記所定の入力画像が補正されることにより出力された所定の補正画像におけるエッジ角度の度数分布を示す第二分布とを算出し、
    　算出された前記第一分布及び前記第二分布を用いて、前記入力画像の揺らぎの有無を判定する第一判定を行い、
    　前記第一判定の結果を用いて前記補正パラメータの更新を行う、
    画像処理方法。
  12. 　前記第一判定では、前記第二分布の形状が前記第一分布の形状よりも急峻な形状である場合、前記所定の入力画像に揺らぎが有ると判定し、前記第二分布の形状が前記第一分布の形状よりも急峻な形状でない場合、前記所定の入力画像に揺らぎが無いと判定し、
    　前記更新では、前記所定の入力画像に揺らぎが有ると判定された場合、前記更新を行い、前記所定の入力画像に揺らぎが無いと判定された場合、前記更新を行わない、
    請求項１１に記載の画像処理方法。
  13. 　前記第一判定では、前記第二分布のピーク角度における度数が、前記第一分布の前記ピーク角度における度数を超える場合には、前記第二分布の形状が前記第一分布の形状よりも急峻な形状であると判定し、前記第二分布のピーク角度における度数が、前記第一分布の前記ピーク角度における度数以下である場合には、前記第二分布の形状が前記第一分布の形状よりも急峻な形状でないと判定する、
    請求項１２に記載の画像処理方法。
  14. 　さらに、
    　前記第一分布のピーク角度における第一度数を基準とした目標値を、前記第二分布のピーク角度における第二度数が超えているか否かを判定する第二判定を行い、
    　前記更新では、
    　前記第二度数が前記目標値を超えていると判定した場合、前記第二度数が前記目標値未満になるまで、前記補正の強度が小さくなるように前記補正パラメータの値を変更し、前記第二度数が前記目標値未満になる直前に変更された補正パラメータの値を、前記補正パラメータとして決定し、
    　前記第二度数が前記目標値を超えていない場合、前記第二度数が前記目標値以上になるまで、前記補正の強度が大きくなるように前記補正パラメータの値を変更し、前記第二度数が前記目標値以上になったときにおける補正パラメータの値を、前記補正パラメータとして決定する、
    請求項１１に記載の画像処理方法。
  15. 　請求項１１に記載の画像処理方法をコンピュータに実行させるためのプログラム。
PCT/JP2016/000573 2015-02-25 2016-02-04 画像処理装置、画像処理方法及びそれを実行させるためのプログラム WO2016136151A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2016564284A JP6127282B2 (ja) 2015-02-25 2016-02-04 画像処理装置、画像処理方法及びそれを実行させるためのプログラム
EP16754907.0A EP3131283A4 (en) 2015-02-25 2016-02-04 Image processing device, image processing method and program for executing same
US15/357,785 US20170124685A1 (en) 2015-02-25 2016-11-21 Image processing device, and image processing method and program for executing same

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2015-035821 2015-02-25
JP2015035821 2015-02-25

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US15/357,785 Continuation US20170124685A1 (en) 2015-02-25 2016-11-21 Image processing device, and image processing method and program for executing same

Publications (1)

Publication Number Publication Date
WO2016136151A1 true WO2016136151A1 (ja) 2016-09-01

Family

ID=56788247

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2016/000573 WO2016136151A1 (ja) 2015-02-25 2016-02-04 画像処理装置、画像処理方法及びそれを実行させるためのプログラム

Country Status (4)

Country Link
US (1) US20170124685A1 (ja)
EP (1) EP3131283A4 (ja)
JP (1) JP6127282B2 (ja)
WO (1) WO2016136151A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109712094A (zh) * 2018-12-26 2019-05-03 新疆大学 图像处理方法及装置

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6772000B2 (ja) * 2016-08-26 2020-10-21 キヤノン株式会社 画像処理装置、画像処理方法およびプログラム
US11100654B1 (en) * 2019-12-19 2021-08-24 Rdi Technologies, Inc. Detection of aliased peak frequencies in video recording
KR20230111661A (ko) * 2022-01-17 2023-07-26 삼성디스플레이 주식회사 표시 장치 및 그것의 동작 방법

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012089929A (ja) * 2010-10-15 2012-05-10 Canon Inc 物体検知装置、物体検知方法、監視カメラシステム、およびプログラム
JP2014206772A (ja) * 2013-03-21 2014-10-30 株式会社日立国際電気 画像処理装置、撮像装置、監視システム、符号化装置、画像処理方法
WO2015005196A1 (ja) * 2013-07-09 2015-01-15 株式会社日立国際電気 画像処理装置及び画像処理方法

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11110556A (ja) * 1997-10-02 1999-04-23 Ntt Data Corp 画像類似度判定方法、類似画像判定装置及び記録媒体
US8311311B2 (en) * 2005-10-31 2012-11-13 Mitutoyo Corporation Optical aberration correction for machine vision inspection systems
CN103460249B (zh) * 2011-12-21 2016-08-17 松下知识产权经营株式会社 图像处理装置以及图像处理方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012089929A (ja) * 2010-10-15 2012-05-10 Canon Inc 物体検知装置、物体検知方法、監視カメラシステム、およびプログラム
JP2014206772A (ja) * 2013-03-21 2014-10-30 株式会社日立国際電気 画像処理装置、撮像装置、監視システム、符号化装置、画像処理方法
WO2015005196A1 (ja) * 2013-07-09 2015-01-15 株式会社日立国際電気 画像処理装置及び画像処理方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP3131283A4 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109712094A (zh) * 2018-12-26 2019-05-03 新疆大学 图像处理方法及装置
CN109712094B (zh) * 2018-12-26 2022-07-08 新疆大学 图像处理方法及装置

Also Published As

Publication number Publication date
JP6127282B2 (ja) 2017-05-17
EP3131283A4 (en) 2017-06-21
EP3131283A1 (en) 2017-02-15
US20170124685A1 (en) 2017-05-04
JPWO2016136151A1 (ja) 2017-04-27

Similar Documents

Publication Publication Date Title
US8803984B2 (en) Image processing device and method for producing a restored image using a candidate point spread function
US9350905B2 (en) Image signal processing apparatus, image signal processing method, and image capturing apparatus
JP5980294B2 (ja) データ処理装置、撮像装置、およびデータ処理方法
US8934711B2 (en) Apparatus and method of processing image
JP6127282B2 (ja) 画像処理装置、画像処理方法及びそれを実行させるためのプログラム
KR102331538B1 (ko) 영상 안정화 방법, 장치 및 컴퓨터 기록매체
WO2018070240A1 (ja) 画像処理装置、画像処理方法、及び画像処理回路
JP2012165365A (ja) 適応フィルタリングを利用したデジタルイメージ安定化方法
WO2015132826A1 (ja) 画像処理装置、監視カメラ及び画像処理方法
US20050162620A1 (en) Image processing apparatus
US8704843B2 (en) Image processing apparatus and image processing method
US8462267B2 (en) Frame rate conversion apparatus and frame rate conversion method
US10482580B2 (en) Image processing apparatus, image processing method, and program
US20130084005A1 (en) Image processing device and method for processing image
CN110401784B (zh) 自适应调节滤波强度的运动平滑方法、系统及视频设备
US20120002842A1 (en) Device and method for detecting movement of object
US10235742B2 (en) Image processing apparatus, image capturing apparatus, image processing method, and non-transitory computer-readable storage medium for adjustment of intensity of edge signal
JP2012068733A (ja) 画像処理装置および画像処理プログラム
CN104182940A (zh) 一种模糊图像恢复方法及系统
JP6131474B2 (ja) 映像処理装置
JP6579934B2 (ja) 画像処理装置、撮像装置、画像処理方法、プログラム、記憶媒体
US9906693B2 (en) Image processing apparatus, image processing method, and program
KR101208237B1 (ko) 디지털 이미지의 노이즈 감소 장치 및 방법
JP2012015982A (ja) 映像間のシフト量の決定方法
JP2010141813A (ja) 映像処理装置および映像処理装置の制御方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 16754907

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2016564284

Country of ref document: JP

Kind code of ref document: A

REEP Request for entry into the european phase

Ref document number: 2016754907

Country of ref document: EP

WWE Wipo information: entry into national phase

Ref document number: 2016754907

Country of ref document: EP

NENP Non-entry into the national phase

Ref country code: DE