WO2015132826A1 - 画像処理装置、監視カメラ及び画像処理方法 - Google Patents

画像処理装置、監視カメラ及び画像処理方法 Download PDF

Info

Publication number
WO2015132826A1
WO2015132826A1 PCT/JP2014/004802 JP2014004802W WO2015132826A1 WO 2015132826 A1 WO2015132826 A1 WO 2015132826A1 JP 2014004802 W JP2014004802 W JP 2014004802W WO 2015132826 A1 WO2015132826 A1 WO 2015132826A1
Authority
WO
WIPO (PCT)
Prior art keywords
fluctuation
image
input image
determination unit
difference
Prior art date
Application number
PCT/JP2014/004802
Other languages
English (en)
French (fr)
Inventor
整 山田
Original Assignee
パナソニックＩｐマネジメント株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by パナソニックＩｐマネジメント株式会社 filed Critical パナソニックＩｐマネジメント株式会社
Priority to JP2015521167A priority Critical patent/JP6041113B2/ja
Priority to EP14878397.0A priority patent/EP3116213A4/en
Priority to US14/808,658 priority patent/US9569825B2/en
Publication of WO2015132826A1 publication Critical patent/WO2015132826A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/90—Dynamic range modification of images or parts thereof
    • G06T5/92—Dynamic range modification of images or parts thereof based on global image properties
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/73—Deblurring; Sharpening
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/14—Picture signal circuitry for video frequency region
    • H04N5/21—Circuitry for suppressing or minimising disturbance, e.g. moiré or halo
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20004—Adaptive image processing
    • G06T2207/20012—Locally adaptive
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20216—Image averaging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20224—Image subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30232—Surveillance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30236—Traffic on road, railway or crossing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G06T2207/30261—Obstacle

Definitions

  • the present disclosure relates to an image processing apparatus, a monitoring camera, and an image processing method that correct image fluctuation.
  • a monitoring system that captures a predetermined space using a camera device such as a monitoring camera and monitors the space is known. At this time, fluctuations may occur in the captured image. Fluctuation is a phenomenon caused by changing the characteristics of a light transmission medium. Specifically, fluctuation is a phenomenon (Schlieren phenomenon) that occurs when the refractive index of a medium (such as air or water) that transmits light from a subject changes.
  • the fluctuation is, for example, a so-called hot flame that is generated when the density of the air becomes dense due to a temperature difference in the atmosphere at the time of shooting outdoors in hot weather. Alternatively, the fluctuation occurs even when shooting underwater.
  • Patent Documents 1 and 2 disclose image processing apparatuses that can correct image fluctuations.
  • the present disclosure provides an image processing apparatus, a monitoring camera, and an image processing method that can appropriately correct fluctuation even when the strength of fluctuation changes.
  • an image processing apparatus that corrects fluctuation of a first input image included in a moving image, and determines a fluctuation intensity that indicates the intensity of fluctuation.
  • a correction unit that corrects fluctuation of the first input image according to the fluctuation intensity determined by the determination unit, and the determination unit sets the first input image or a frame temporally prior to the first input image. The larger the ratio of the number of pixels whose pixel value difference between the first input image and the previous frame is equal to or greater than a predetermined threshold with respect to the number of pixels of the included edge, the greater the fluctuation strength is determined.
  • FIG. 1A is a block diagram illustrating a configuration of the image processing apparatus according to the first embodiment.
  • FIG. 1B is a block diagram illustrating another configuration of the image processing apparatus according to the first embodiment.
  • FIG. 1C is a block diagram illustrating another configuration of the correction unit of the image processing apparatus according to the first embodiment.
  • FIG. 2 is a diagram illustrating a difference image when fluctuations with different intensities occur in the image processing apparatus according to the first embodiment.
  • FIG. 3 is a diagram illustrating a difference image between the case where there are a plurality of objects and the case where there is a single object in the input image in the image processing apparatus according to the first embodiment.
  • FIG. 4A is a flowchart illustrating an example of the operation of the image processing apparatus according to the first embodiment.
  • FIG. 4A is a flowchart illustrating an example of the operation of the image processing apparatus according to the first embodiment.
  • FIG. 4B is a flowchart illustrating an example of processing for determining the fluctuation strength according to Embodiment 1.
  • FIG. 5A is a flowchart illustrating another example of the operation of the image processing apparatus according to the first embodiment.
  • FIG. 5B is a flowchart illustrating another example of the process for determining the fluctuation strength according to Embodiment 1.
  • FIG. 6A is a block diagram illustrating a configuration of the image processing apparatus according to the second embodiment.
  • FIG. 6B is a block diagram illustrating another configuration of the image processing apparatus according to the second embodiment.
  • FIG. 7A is a diagram showing an example of an image (second input image) immediately before the input image according to Embodiment 2.
  • FIG. 7B is a diagram showing an example of an input image (first input image) according to Embodiment 2.
  • FIG. 7C is a diagram illustrating an example of a difference image according to Embodiment 2.
  • FIG. 7D is a diagram illustrating an example of a difference image subjected to the opening process according to the second embodiment.
  • FIG. 7E is a diagram illustrating an example of a difference image subjected to the opening process according to the second embodiment.
  • FIG. 7F is a diagram illustrating an example of a difference image subjected to the opening process according to the second embodiment.
  • FIG. 8A is a flowchart illustrating an example of the operation of the image processing apparatus according to the second embodiment.
  • FIG. 8B is a flowchart illustrating an example of a process for identifying a moving body region according to the second embodiment.
  • FIG. 8C is a flowchart illustrating an example of a process for determining the fluctuation strength according to the second embodiment.
  • FIG. 9A is a flowchart illustrating another example of the operation of the image processing apparatus according to the second embodiment.
  • FIG. 9B is a flowchart illustrating another example of the process of specifying the moving object region according to the second embodiment.
  • FIG. 9C is a flowchart illustrating another example of the process for determining the fluctuation strength according to the second embodiment.
  • FIG. 10A is a block diagram illustrating a configuration of an image processing device according to the third embodiment.
  • FIG. 10A is a block diagram illustrating a configuration of an image processing device according to the third embodiment.
  • FIG. 10B is a block diagram illustrating another configuration of the image processing apparatus according to the third embodiment.
  • FIG. 11A is a diagram illustrating an example of a background image according to Embodiment 3.
  • FIG. 11B is a diagram illustrating an example of a difference image according to Embodiment 3.
  • FIG. 11C is a diagram illustrating an example of a difference image obtained by performing the opening process according to the third embodiment.
  • FIG. 12A is a flowchart illustrating an example of the operation of the image processing apparatus according to the third embodiment.
  • FIG. 12B is a flowchart illustrating an example of a process for specifying a moving object region according to the third embodiment.
  • FIG. 13 is a flowchart illustrating another example of the operation of the image processing apparatus according to the third embodiment.
  • FIG. 14 is a diagram illustrating a product example of a monitoring camera including the image processing apparatus according to the embodiment.
  • the present inventor has found that the following problems occur with respect to the conventional image processing apparatus described in the “Background Art” column.
  • the present disclosure provides an image processing apparatus, a monitoring camera, and an image processing method that can appropriately correct fluctuation even when the intensity of fluctuation changes. To do.
  • Embodiment 1 will be described with reference to FIGS. 1A to 5B.
  • FIGS. 1A and 1B are block diagrams illustrating a configuration example of an image processing apparatus according to the present embodiment.
  • the image processing apparatus is an apparatus that corrects fluctuations in an input image using images of a plurality of frames. At this time, the processing in the image processing apparatus is different between the case where the corrected image is not used as one of the images of the plurality of frames and the case where the corrected image is used.
  • the configuration of the image processing apparatus 100 when the corrected image is not used will be described with reference to FIG. 1A. Further, the configuration of the image processing apparatus 100a when using the corrected image will be described with reference to FIG. 1B.
  • Image processing apparatuses 100 and 100a generate and output a corrected image by correcting fluctuations in an input image included in a moving image.
  • the image processing apparatus 100 includes a determination unit 110 and a correction unit 120.
  • the image processing apparatus 100a includes a determination unit 110a and a correction unit 120a.
  • the determination unit 110 illustrated in FIG. 1A determines a fluctuation strength indicating the fluctuation strength of the input image.
  • the determination unit 110 determines and outputs a fluctuation intensity indicating the fluctuation intensity of the input image using at least two input images.
  • the determination unit 110 acquires a first input image and a frame temporally prior to the first input image.
  • the frame temporally prior to the first input image is the second input image input before the first input image.
  • the first input image is an image for which fluctuation is to be corrected, and is, for example, the latest input image.
  • the second input image is, for example, an input image of a frame adjacent to the first input image, that is, a frame immediately before the first input image.
  • the second input image may be an input image of a frame two frames or more before the first input image.
  • Fluctuation is a phenomenon caused by changing the characteristics of the light transmission medium, as described above.
  • fluctuation is a phenomenon such as a hot flame, and is a phenomenon (Schlieren phenomenon) that occurs when the refractive index of a medium (such as air or water) that transmits light from a subject changes.
  • a medium such as air or water
  • fluctuation is a phenomenon in which a fixed and non-moving subject appears to move. For this reason, “fluctuation” occurs in an image taken by a fixed camera, unlike camera shake. In particular, the influence of fluctuation appears remarkably in moving images taken with telephoto.
  • “Input image fluctuation” is a phenomenon in which the shape of the subject is distorted in the input image. For example, in a simple example, an edge that is straight when there is no “fluctuation” in the input image is a curve when there is “fluctuation”.
  • the edge appears at a position deviated from the original position, but the direction and amount of the shift are substantially constant. That is, in the case of camera shake, the entire image is shifted by substantially the same amount in a common direction. On the other hand, the direction and amount of distortion of the edge caused by “fluctuation” is irregular for each pixel.
  • correction fluctuation is to reduce or zero the pixel shift caused in the input image due to “fluctuation”.
  • “Fluctuation strength” indicates the magnitude of distortion of the subject in the input image. That is, the greater the subject distortion, the greater the fluctuation strength. In other words, the fluctuation strength corresponds to the amount of deviation from the correct position of the edge (the position displayed when there is no fluctuation).
  • the determination unit 110 determines the fluctuation strength using (Equation 1).
  • the edge amount is the number of pixels of the edge included in the first input image.
  • the difference amount between adjacent images is the number of pixels in which the difference in pixel values between the first input image and the second input image is equal to or greater than a predetermined threshold.
  • the determination unit 110 calculates the ratio of the number of pixels in which the difference between the pixel values of the first input image and the second input image is greater than or equal to a predetermined threshold to the number of pixels of the edge included in the first input image. Determine as. In other words, the determination unit 110 calculates the fluctuation strength by normalizing the difference amount between adjacent images with the edge amount.
  • the determination unit 110a illustrated in FIG. 1B is different from the determination unit 110 in that a corrected image generated by correcting the fluctuation of the second input image is used instead of the second input image. . That is, the frame temporally before the first input image is a corrected image generated by correcting the fluctuation of the second input image by the correction unit 120a. Further, the determination unit 110a is different in that the edge amount is calculated using the corrected image instead of the first input image.
  • the determination unit 110a acquires the first input image and the corrected image. Then, the determination unit 110 determines the ratio of the number of pixels in which the difference between the pixel values of the first input image and the corrected image relative to the number of pixels of the edge included in the corrected image is equal to or greater than a predetermined threshold as the fluctuation strength. To do.
  • the edge amount is the number of edge pixels included in the corrected image.
  • the difference amount between adjacent images is the number of pixels in which the difference in pixel values between the first input image and the corrected image is equal to or greater than a predetermined threshold.
  • the correction units 120 and 120a correct the fluctuation of the first input image according to the fluctuation intensity determined by the determination units 110 and 110a. Specifically, the correction units 120 and 120a correct fluctuation of the first input image by combining a plurality of frames including the first input image.
  • the correction unit 120 illustrated in FIG. 1A corrects fluctuations in the first input image by averaging a plurality of frames.
  • the correction unit 120a illustrated in FIG. 1B corrects fluctuations in the first input image by weighted addition of a plurality of frames.
  • the correction unit 120 includes a fluctuation correction unit 121 and a parameter determination unit 122.
  • the fluctuation correction unit 121 corrects fluctuation of the first input image by combining a plurality of frames including the first input image. For example, the fluctuation correction unit 121 averages a plurality of frames.
  • the fluctuation correction unit 121 generates an image after correction by averaging n frames of input images for each pixel.
  • n is an integer greater than or equal to 2, and is an example of a parameter determined by the parameter determination unit 122.
  • the fluctuation correction unit 121 averages n input images that include the first input image and that are temporally continuous. Specifically, as shown in (Equation 2), the fluctuation correction unit 121 averages n input images from the first input image to the nth input image input n times before in time. As a result, a corrected image is generated.
  • output [t] is a corrected image corresponding to the input image at time t.
  • input [t] is an input image (that is, a first input image) at time t. Note that the n input images to be averaged may not be n consecutive images in time.
  • the fluctuation correction unit 121 may weight and add n input images instead of averaging n input images.
  • the weight used for weighted addition may be increased as the corresponding input image is closer to time t.
  • only the input image at time t may be averaged by using a large weight and making the weights of the remaining images uniform.
  • the image may be further blurred in addition to the blur caused by the fluctuation of the image.
  • FIG. 1C is a block diagram illustrating a configuration of the correction unit 120b according to the present embodiment.
  • the image processing apparatus 100 according to the present embodiment may include a correction unit 120b illustrated in FIG. 1C instead of the correction unit 120 illustrated in FIG. 1A.
  • the correction unit 120b includes a fluctuation correction unit 121, a parameter determination unit 122b, and an image sharpening unit 123.
  • the parameter determination unit 122b will be described later.
  • the image sharpening unit 123 sharpens the input image whose fluctuation has been corrected by the fluctuation correction unit 121.
  • sharpening of the image after fluctuation correction is performed using the filter size determined by the parameter determination unit 122b.
  • the image sharpening unit 123 performs filter processing for image sharpening such as an unsharp mask on the image after fluctuation correction. Accordingly, it is possible to reduce blur caused by image fluctuations and blur caused by averaging of images.
  • the parameter determination unit 122 determines parameters to be used for combining a plurality of frames according to the fluctuation strength determined by the determination unit 110. For example, the parameter determination unit 122 determines the number of frames used for averaging as a parameter according to the fluctuation strength determined by the determination unit 110. Specifically, the parameter determination unit 122 determines the value of n in (Equation 2) as a parameter.
  • the fluctuation of the input image is considered to fluctuate with a constant amplitude centering on the position where there is no fluctuation. For this reason, by averaging a plurality of images, an image in which the degree of fluctuation is reduced is generated.
  • the parameter determination unit 122 determines the number of frames used for averaging in accordance with the fluctuation strength. Specifically, the parameter determination unit 122 increases the value of n when the fluctuation strength is large, and decreases the value of n when the fluctuation strength is small.
  • the filter size for sharpening is determined as a parameter according to the fluctuation strength determined by the determination part 110. Specifically, the parameter determination unit 122b determines the filter size so that the degree of sharpening of the image by the image sharpening unit 123 increases as the fluctuation strength increases.
  • the parameter determination unit 122b increases the filter size of the unsharp mask as the fluctuation strength increases.
  • the greater the fluctuation strength the greater the degree of sharpening of the image, and the blur caused by the fluctuation of the image and the blur caused by the averaging of the image can be reduced.
  • the correction unit 120a includes a fluctuation correction unit 121a and a parameter determination unit 122a.
  • the fluctuation correction unit 121a performs weighted addition between the first input image and the corrected image.
  • the fluctuation correcting unit 121a combines the first input image and the corrected image with a fixed combining ratio ⁇ .
  • the combination ratio ⁇ is a weight for weighted addition, and is an example of a parameter determined by the parameter determination unit 122a.
  • the fluctuation correction unit 121a performs weighted addition of pixel values between the first input image and the corrected image generated by correcting the input image immediately before the first input image. Specifically, as shown in (Equation 3), the fluctuation correcting unit 121a uses the weight ⁇ , the input image input [t], and the immediately previous corrected image output [t ⁇ 1], after the correction. An image output [t] is generated.
  • the weight ⁇ (0 ⁇ ⁇ ⁇ 1) is a composition ratio of the input image input [t]. That is, as the weight ⁇ approaches 1, the ratio of the input image in the corrected image increases, and as the weight ⁇ approaches 0, the ratio of the previous corrected image in the corrected image increases.
  • the parameter determination unit 122a determines the weight of the weighted addition as a parameter according to the fluctuation strength determined by the determination unit 110a. Specifically, the parameter determination unit 122a determines the weight ⁇ in (Equation 3).
  • the parameter determination unit 122a determines the weight ⁇ to be a smaller value, specifically, a value closer to 0 as the fluctuation strength is larger. Further, the parameter determination unit 122a determines the weight ⁇ to be a larger value, specifically, a value closer to 1 as the fluctuation strength is smaller.
  • the fluctuation correction unit 121a may combine three or more frames.
  • the parameter determination unit 122a may determine the weight corresponding to each frame so that the sum of the synthesis ratios of the three or more frames is 1.
  • the edge appears as a difference in luminance value in the image. That is, an edge appears in a portion where the contrast is large.
  • an edge pixel is a pixel whose luminance value difference with surrounding pixels is equal to or greater than a predetermined threshold.
  • the determining unit 110 determines, for each pixel included in the first input image, whether the pixel is an edge pixel. For example, the determination unit 110 detects the presence / absence of an edge for each pixel by using vertical and horizontal Sobel filters. Then, the determination unit 110 counts the number of pixels determined as edge pixels.
  • the determination unit 110 determines whether or not the value calculated by applying the Sobel filter to the target pixel is equal to or greater than a predetermined threshold. If the determination unit 110 determines that the pixel is greater than or equal to the threshold, the determination unit 110 determines that the pixel of interest is an edge pixel, and increments the counter value.
  • the counter value after performing edge determination for all the pixels included in the first input image is the number of pixels of the edge in the first input image.
  • the determination part 110 uses the 1st input image for the object image of edge detection, it is not restricted to this.
  • the determination unit 110a illustrated in FIG. 1B uses the corrected image as the target image for edge detection.
  • the determination unit 110a uses the previous corrected image as the target image for edge detection. Specifically, the determination unit 110a performs edge detection using the corrected image generated by correcting the fluctuation of the input image immediately before the first input image.
  • the edge can be detected with higher accuracy.
  • the determination units 110 and 110a may use a Prewitt filter or a Laplacian filter instead of the Sobel filter.
  • the edge detection process is not limited to the above description.
  • the determination unit 110 determines, for each pixel included in the first input image, whether the pixel is a pixel having a large difference from the previous frame (hereinafter, may be referred to as “difference pixel”). .
  • difference pixel is, for example, a pixel whose pixel value difference between the first input image and a frame temporally prior to the first input image is greater than or equal to a predetermined threshold value.
  • the determination unit 110 calculates a difference between the pixel value of the first input image and the pixel value of the second input image for each pixel, and determines whether the calculated difference is equal to or greater than a predetermined threshold. judge. If the determination unit 110 determines that the pixel is greater than or equal to the threshold, the determination unit 110 determines that the pixel of interest is a difference pixel and increments the counter value.
  • the counter value after performing the difference determination for all the pixels included in the first input image is the number of difference pixels in the first input image.
  • the pixels having different pixel values between the two frames captured by the fixed camera are either moving objects that are moving subjects or fluctuations. It is. That is, the difference pixel is either a moving body or a fluctuation.
  • the difference pixel can be regarded as a fluctuation, not a moving body. Therefore, the number of difference pixels can be regarded as the number of pixels of fluctuation.
  • Embodiment 2 the case where the moving body occupies many pixels, that is, the case where the moving body is a large object will be described in Embodiment 2.
  • the determination unit 110 uses the first input image and the second input image for calculating the difference, but is not limited thereto.
  • the determination unit 110a illustrated in FIG. 1B uses the first input image and the corrected image for the difference calculation.
  • the determination unit 110a calculates the number of difference pixels by calculating the difference between the first input image and the corrected image generated by correcting the fluctuation of the second input image. In other words, the determination unit 110a calculates a difference between an image with a large fluctuation (first input image) and an image with a small fluctuation (corrected image).
  • the determination unit 110a calculates the difference between the first input image and the corrected image, the determination unit 110a can calculate the difference amount close to the accurate fluctuation amount of the first input image.
  • the value of the fluctuation intensity may vary from frame to frame due to the influence of noise, threshold values, and the like. If the fluctuation removal is performed using the fluctuation strength value that varies from frame to frame, the fluctuation removal effect is not stable. In order to avoid this, the fluctuation strength may be generated using only a specific frame. Alternatively, an average value of a plurality of fluctuation intensities generated in a plurality of frames may be used as the fluctuation intensity.
  • FIG. 2 is a diagram showing a difference image when fluctuations of different intensities occur in the image processing apparatus according to the present embodiment.
  • FIG. 3 is a diagram illustrating a difference image between the case where there are a plurality of objects in the input image and the case where there is a single object in the image processing apparatus according to the present embodiment.
  • the input image includes a rectangular object 200.
  • the edge (contour) 210 of the object 200 is a straight line.
  • the luminance values of the object 200 are all the same, the luminance values of the background 201 are all the same, and the luminance value of the object 200 and the luminance value of the background 201 are different. .
  • the degree of deformation of the object 200 increases as the fluctuation strength increases. Specifically, the edge (contour) 210 of the object 200 becomes a curve. As the fluctuation strength increases, the edge 210 is greatly displaced from the original position.
  • the fluctuation is not a shift in a fixed direction unlike a camera shake or the like, and therefore, the shift amount of the edge 210 is randomly different depending on the pixel position of the edge 210 as shown in FIG. .
  • the difference image shown in FIG. 2 is an image showing a difference between an image without fluctuation and an image including fluctuation.
  • a difference image with a fluctuation intensity of “weak” indicates a difference between an input image with a fluctuation intensity of “weak” and an image without fluctuation.
  • the fluctuation strength is “medium” and “strong”.
  • the difference area 220 includes pixels (difference pixels) in which the difference in pixel value between an image without fluctuation and an image including fluctuation is equal to or greater than a predetermined threshold. That is, the number of difference pixels constituting the difference region 220 corresponds to, for example, the difference amount between adjacent images in (Expression 1).
  • the degree of deformation of the object 200 increases as the fluctuation strength increases, and the difference area 220 also increases.
  • the difference area 220 appears in an area corresponding to the vicinity of the edge 210 of the object 200.
  • the input image includes a single object 200.
  • the object 200 even when another object is sufficiently smaller than the object 200, it can be said that the greater the difference amount between adjacent images, the stronger the fluctuation strength.
  • the difference regions may be substantially the same depending on the number of objects included in the input image, that is, the edge amount.
  • the difference area 240 when the input image includes a plurality of objects 230 when the fluctuation intensity is “medium” is a single input image when the fluctuation intensity is “strong”. This is substantially the same as the difference area 220 when the object 200 is included.
  • the fluctuation strength cannot be determined only by the size of the difference area. That is, the size of the difference area depends on both the edge amount and the fluctuation strength.
  • the determination units 110 and 110a normalize the magnitude of the difference area, that is, the difference amount between adjacent images by the edge amount, thereby fluctuation intensity. To decide. Thereby, it is possible to determine an appropriate fluctuation strength regardless of the edge amount included in the input image.
  • FIGS. 4A to 5B are flowcharts showing the operation of the image processing apparatus 100 according to the present embodiment.
  • FIG. 4B is a flowchart showing processing for determining the fluctuation strength according to the present embodiment.
  • the determination unit 110 acquires a plurality of input images (S100). Specifically, the determination unit 110 acquires a first input image that is a fluctuation correction target and a second input image that is input before the first input image.
  • the determination unit 110 determines the fluctuation strength (S120). Details of the method for determining the fluctuation strength will be described later with reference to FIG. 4B.
  • the parameter determination unit 122 determines a parameter according to the fluctuation strength determined by the determination unit 110 (S140). Specifically, the parameter determination unit 122 determines, as a parameter, the number n of frames that have a larger value as the fluctuation strength increases.
  • the fluctuation correcting unit 121 corrects the fluctuation of the first input image using the parameter determined by the parameter determining unit 122 (S160). Specifically, the fluctuation correction unit 121 corrects fluctuations in the first input image by averaging n input images determined by the parameter determination unit 122, and outputs a corrected image.
  • the determination unit 110 calculates the number of pixels of the edge using the first input image (S121). For example, the determination unit 110 determines, for each pixel, whether or not the target pixel is an edge pixel, and counts the pixels that are determined to be edge pixels, whereby the edge pixels in the first input image are counted. Calculate the number.
  • the determination unit 110 calculates a difference amount between the first input image and the second input image (S122).
  • the difference amount is the number of pixels (difference pixels) in which the difference value between adjacent images is equal to or greater than a predetermined threshold. For example, for each pixel, the determination unit 110 determines whether or not the target pixel is a difference pixel, and counts the pixels that are determined to be difference pixels, thereby calculating the difference amount.
  • the determination unit 110 calculates the fluctuation strength based on (Equation 1) (S123).
  • FIG. 5A is a flowchart showing the operation of the image processing apparatus 100a according to the present embodiment.
  • FIG. 5B is a flowchart showing processing for determining the fluctuation strength according to the present embodiment.
  • the determination unit 110a acquires the first input image and the previous corrected image (S100a). Specifically, the determination unit 110a corrects the first input image to be corrected for fluctuation and the corrected image generated by correcting the fluctuation of the second input image input before the first input image. And get.
  • the determination unit 110a determines the fluctuation strength (S120a). Details of the method of determining the fluctuation strength will be described later with reference to FIG. 5B.
  • the parameter determination unit 122a determines a parameter according to the fluctuation strength determined by the determination unit 110a (S140a). Specifically, the parameter determination unit 122a determines the weight ⁇ corresponding to the first input image to be a smaller value and the weight 1 ⁇ corresponding to the corrected image to be a larger value as the fluctuation strength is larger.
  • the fluctuation correction unit 121a corrects the fluctuation of the first input image using the parameter determined by the parameter determination unit 122a (S160a). Specifically, the fluctuation correction unit 121a corrects fluctuations in the first input image by performing weighted addition between the first input image and the corrected image using the weight ⁇ determined by the parameter determination unit 122a. .
  • the determination unit 110a calculates the number of edge pixels using the previous corrected image (S121a). For example, the determination unit 110a determines, for each pixel, whether or not the target pixel is an edge pixel, and counts the pixels that are determined to be edge pixels, thereby determining the edge of the previous corrected image. The number of pixels is calculated.
  • the determination unit 110a calculates the difference amount between the first input image and the corrected image (S122a). For example, the determination unit 110a determines, for each pixel, whether or not the target pixel is a difference pixel, and counts the pixels that are determined to be difference pixels, thereby calculating the difference amount.
  • the determination unit 110a calculates the fluctuation strength based on (Equation 1) (S123).
  • the image processing apparatus 100 is an image processing apparatus 100 that corrects the fluctuation of the first input image included in the moving image, and determines the fluctuation intensity indicating the intensity of the fluctuation.
  • the determination unit 110 includes a determination unit 110 and a correction unit 120 that corrects the fluctuation of the first input image according to the fluctuation intensity determined by the determination unit 110.
  • the determination unit 110 has a time from the first input image or the first input image. In particular, the greater the ratio of the number of pixels in which the pixel value difference between the first input image and the previous frame is equal to or greater than a predetermined threshold with respect to the number of edge pixels included in the previous frame, the greater the fluctuation strength becomes a larger value. decide.
  • the fluctuation of the first input image is corrected according to the determined fluctuation intensity, the fluctuation can be appropriately corrected even when the fluctuation intensity changes.
  • the number of pixels whose difference is equal to or greater than the threshold value depends on the strength of fluctuation and the number of edge pixels. Therefore, by normalizing the difference amount with the number of edge pixels, an appropriate fluctuation strength can be obtained. Can be determined. Therefore, for example, even when there are a plurality of images in the input image and there are many edges, the strength of fluctuation can be determined appropriately.
  • the previous frame is generated by correcting the second input image input before the first input image or the fluctuation of the second input image by the correction unit 120a. It is an image after correction.
  • the determination of the fluctuation intensity and the correction of the fluctuation can be performed more appropriately.
  • the correction unit 120 includes a fluctuation correction unit 121 that corrects fluctuations of the first input image by combining a plurality of frames including the first input image, and a determination unit 110.
  • a parameter determining unit 122 that determines parameters used for the synthesis in accordance with the determined fluctuation strength.
  • the composition ratio can be changed according to the fluctuation strength. Therefore, it is possible to appropriately correct the fluctuation of the first input image in accordance with the fluctuation strength of the first input image.
  • the fluctuation correction unit 121 performs averaging of a plurality of frames as a synthesis
  • the parameter determination unit 122 performs averaging according to the fluctuation intensity determined by the determination unit 110.
  • the number of frames to be used is determined as a parameter.
  • an image with a reduced degree of fluctuation can be generated by averaging images of a plurality of frames.
  • the fluctuation can be appropriately corrected according to the fluctuation intensity. For example, when the fluctuation strength is large, the large fluctuation can be appropriately corrected by increasing the number of frames.
  • the fluctuation correction unit 121a performs weighted addition of the first input image and the corrected image as a composition, and the parameter determination unit 122a sets the fluctuation intensity determined by the determination unit 110a. Accordingly, the weight of weighted addition may be determined as a parameter.
  • the weighted addition of the input image and the corrected image with little fluctuation is performed, fluctuation of the input image can be corrected.
  • the weight is determined according to the fluctuation strength, the fluctuation can be corrected appropriately. For example, by increasing the weight of the corrected image so that the weight of the corrected image increases, the ratio of the corrected image with less fluctuation can be increased in the image after weighted addition, and the fluctuation is corrected appropriately. be able to.
  • FIGS. 6A and 6B are block diagrams illustrating a configuration example of the image processing apparatus according to the present embodiment.
  • the image processing apparatuses 300 and 300a according to the present embodiment are apparatuses that can appropriately correct fluctuations when an input image includes a moving body that is a moving subject.
  • the image processing apparatuses 100 and 100a according to Embodiment 1 are effective when there is no moving body between two frames and when it can be assumed that the number of pixels occupied by the moving body is sufficiently small. This is because the influence of the moving body is small and the fluctuation strength can be calculated without taking the moving body into consideration.
  • the influence of the moving object on the fluctuation strength becomes large. That is, the difference due to the movement of the moving object is included in the difference amount between adjacent images in (Expression 1). That is, the amount of difference between adjacent images includes not only the magnitude of fluctuation and the amount of edge, but also the amount of movement of the moving object.
  • the configuration of the image processing apparatus 300 when the corrected image is not used will be described with reference to FIG. 6A. Further, the configuration of the image processing apparatus 300a when using the corrected image will be described with reference to FIG. 6B.
  • the image processing apparatus 300 is different from the image processing apparatus 100 illustrated in FIG. 1A in that a determination unit 310 is provided instead of the determination unit 110 and a new specification unit 330 is provided. Is different.
  • the image processing apparatus 300a includes a determination unit 310a instead of the determination unit 110a and a new specifying unit 330a, as compared with the image processing apparatus 100a illustrated in FIG. 1B. Is different. Below, it demonstrates focusing on a different point and may abbreviate
  • the specifying unit 330 illustrated in FIG. 6A specifies a moving body region including a moving body that moves between the input image and the previous frame.
  • the specifying unit 330 acquires an input image of a plurality of frames and the previous fluctuation intensity, specifies a moving body region, and outputs the specified moving body region.
  • the specifying unit 330 moves a closed region that is equal to or larger than a predetermined area among the difference regions that are configured by pixels that have a difference value equal to or greater than a threshold value between the first input image and the second input image. Identified as a body region. In other words, the specifying unit 330 specifies an area where many difference pixels are gathered as a moving body area. At this time, the specifying unit 330 sets a parameter corresponding to the predetermined area according to the fluctuation strength determined by the determining unit 310.
  • the specifying unit 330a specifies, as a moving body region, a closed region having a predetermined area or more among the difference regions including pixels whose difference value is not less than a threshold value between the first input image and the corrected image. To do.
  • the determination unit 310 illustrated in FIG. 6A determines the fluctuation strength using an area other than the moving body area specified by the specifying unit 330. For example, the determination unit 310 uses an area other than the moving body area as the area used for calculating the edge amount and the difference amount. That is, the determination unit 310 does not target the pixels of the entire input image but calculates the edge amount and the difference amount for pixels in a limited region.
  • the specific operation of the determination unit 310 is the same as the operation of the determination unit 110 illustrated in FIG. 1A except that the calculation area is limited.
  • the determination unit 310a shown in FIG. 6B is different from the determination unit 310 in that a corrected image is used instead of the second input image. Specifically, the determination unit 310 calculates the difference amount by calculating the difference between the first input image and the corrected image in an area other than the moving body area.
  • the determination unit 310a calculates the edge amount using the corrected image instead of the first input image, similarly to the determination unit 110a according to the first embodiment. Specifically, the determination unit 310a calculates the edge amount using an area other than the moving body area of the corrected image.
  • FIG. 7A is a diagram showing an example of an image (second input image) immediately before the input image according to the present embodiment.
  • FIG. 7B is a diagram showing an example of an input image (first input image) according to the present embodiment.
  • FIG. 7C is a diagram illustrating an example of a difference image according to the present embodiment.
  • FIG. 7D to FIG. 7E are diagrams showing examples of difference images that have undergone the opening process according to the present embodiment.
  • the first input image and the second input image include an object 400 (for example, a building) that does not move and a moving body 401 (for example, a car).
  • an object 400 for example, a building
  • a moving body 401 for example, a car
  • the difference image that is the difference between the first input image and the second input image includes difference areas 420 and 421.
  • pixels with no difference are represented by binary values of black (“0”), and pixels with differences are represented by white values (“255”).
  • the difference area 420 is an area corresponding to the vicinity of the edge of the object 400 and is an area that appears due to the influence of fluctuation.
  • the difference area 421 is an area that appears mainly due to the movement of the moving body 401.
  • the edge of the object 400 moves by an irregular amount in an irregular direction due to the influence of fluctuation, whereas the moving body 401 has a certain pixel area. Move together and move the same amount in the same direction. For this reason, generally, the amplitude of fluctuation (that is, the amount of edge shift due to fluctuation) is often smaller than the amount of movement by the moving body 401, so that the difference area 421 is larger than the difference area 420.
  • the specifying unit 330 specifies the difference area 421 using the difference in pixel area between the difference area 420 and the difference area 421.
  • the specifying unit 330 performs an opening process, which is a type of morphological process, as an example of a method for specifying a region using a difference in pixel area.
  • the opening process is a process of performing the expansion process the same number of times after performing the contraction process for a predetermined image a predetermined number of times (hereinafter sometimes referred to as “specified number”).
  • Shrinkage processing is performed by shrinking a white pixel area by replacing the white pixel with a black pixel when there is even a black pixel around the white pixel of interest (for example, 8 pixels adjacent to the target pixel).
  • This is a process to
  • the expansion process is a process of expanding a white pixel region by replacing pixels around the white pixel as a target (for example, eight pixels adjacent to the target pixel) with white pixels.
  • the specifying unit 330 cannot appropriately specify the moving object region.
  • the appropriate number of times depends on the fluctuation strength.
  • the appropriate specified number of times is the number of times the difference area 420 just disappears. That is, when the appropriate number of times is m, the difference area 420 remains in the m ⁇ 1th contraction process, but the difference area 420 disappears in the mth contraction process.
  • the number of times the difference area 420 is deleted depends on the size of the difference area 420, that is, the amount of edge shift due to fluctuation.
  • the specifying unit 330 sets the specified number of times to an appropriate number according to the fluctuation strength.
  • the specifying unit 330 sets the specified number of times to a larger value as the fluctuation strength is larger. Thereby, the specific
  • the specifying unit 330 sets the specified number of times to a smaller value as the fluctuation strength is smaller. As a result, the specifying unit 330 deletes the small difference area 420 corresponding to the small fluctuation, and determines the remaining area (difference area 421) as the moving body area.
  • the specifying unit 330 determines a closed region that is equal to or larger than a predetermined area among the difference regions as a moving body region.
  • an example of a parameter corresponding to a predetermined area serving as a reference for determining whether or not the region is a moving body region is the specified number of times. That is, the specifying unit 330 sets a closed difference region having an area larger than the first area as the moving body region by setting the specified number of times to a larger value as the fluctuation strength is larger. Further, by setting the specified number of times to a smaller value as the fluctuation strength is smaller, a closed differential region having an area larger than the second area ( ⁇ first area) is determined as the moving body region.
  • the specifying unit 330a illustrated in FIG. 6B performs the same processing as the processing of the specifying unit 330 described above except that the first input image and the corrected image are used. For example, the specifying unit 330a calculates a difference between the first input image and the corrected image.
  • the appropriate specified number of times does not have to be the number of times the difference area 420 disappears.
  • the appropriate specified number of times may be m ⁇ 1 times or m + 1 times. That is, the specifying unit 330 may be set as appropriate so that the difference area 420 affected by the fluctuation is reduced and the difference area 421 affected by the moving object remains.
  • FIG. 8A is a flowchart showing the operation of the image processing apparatus 300 according to this embodiment.
  • FIG. 8B is a flowchart showing a process for specifying a moving body region according to the present embodiment.
  • FIG. 8C is a flowchart showing processing for determining the fluctuation strength according to the present embodiment.
  • the determination unit 110 and the specification unit 330 acquire a plurality of input images (S100). And the specific
  • the determination unit 310 determines the fluctuation strength (S220). At this time, the determination unit 310 determines the fluctuation strength using an area other than the moving body area specified by the specifying unit 330. Details of the method of determining the fluctuation strength will be described later with reference to FIG. 8C.
  • the parameter determination unit 122 determines the parameter (S140), and the fluctuation correction unit 121 corrects the fluctuation of the first input image using the determined parameter (S160).
  • the specifying unit 330 calculates differences between input images of a plurality of frames (S211). Specifically, the specifying unit 330 generates a difference image that is a difference between the first input image and the second input image.
  • the specifying unit 330 performs binarization processing of the difference image (S212). Specifically, the specifying unit 330 changes the pixels of the difference image to 0 by changing the pixel whose absolute value of the difference between the pixels is equal to or smaller than a predetermined threshold to 0 and changing the pixel whose absolute value of the difference is larger than the predetermined threshold to 255. Perform binarization processing. Thereby, for example, a binarized difference image as shown in FIG. 7C is generated.
  • the specifying unit 330 sets a parameter based on the fluctuation intensity used immediately before (S213). Specifically, the specifying unit 330 sets the prescribed number to a larger value as the fluctuation strength is larger, and sets the prescribed number to a smaller value as the fluctuation intensity is smaller.
  • the identification unit 330 performs an opening process on the binarized difference image (S214). Thereby, as shown to FIG. 7D, a mobile body area
  • the determination unit 310 determines whether or not the target pixel, which is one pixel included in the first input image, is included in the moving body region (S221).
  • the region is determined using another pixel as the target pixel.
  • the determination unit 310 determines whether or not the target pixel of the first input image is an edge pixel (S222). If the target pixel is an edge pixel, the counter value indicating the number of edge pixels is incremented. If the target pixel is not an edge pixel, the counter value remains unchanged.
  • the determination unit 310 determines whether or not the target pixel of the first input image is a difference pixel (S223). Specifically, the determination unit 310 calculates the difference between the target pixel of the first input image and the target pixel of the second input image, and determines whether the calculated difference is equal to or greater than a predetermined threshold. When the difference is equal to or larger than the predetermined threshold, the counter value indicating the difference amount between the adjacent images is incremented. When the difference is smaller than the predetermined threshold, the counter value remains as it is.
  • the region determination (S221), the edge determination (S222), and the difference determination (S223) are repeated until the processing is completed for all the pixels of the first input image with another pixel as the target pixel.
  • the determination unit 310 calculates the fluctuation strength based on (Equation 1) (S224).
  • the influence of the moving body 401 can be reduced by excluding the pixels included in the moving body region as the fluctuation intensity calculation target. Therefore, a more appropriate fluctuation strength can be calculated.
  • FIG. 9A is a flowchart showing the operation of the image processing apparatus 300a according to this embodiment.
  • FIG. 9B is a flowchart showing a process of specifying a moving body region according to the present embodiment.
  • FIG. 9C is a flowchart showing processing for determining the fluctuation strength according to the present embodiment.
  • the determination unit 310a and the specifying unit 330a acquire the first input image and the previous corrected image (S100a).
  • the specifying unit 330a specifies the moving body region (S210a). The details of the method for specifying the moving object region are as shown in FIG. 9B.
  • the identifying unit 330a calculates a difference between the first input image and the previous corrected image (S211a).
  • the subsequent processing is the same as the processing of the specifying unit 330 illustrated in FIG. 8B.
  • the determination unit 310a determines the fluctuation strength (S220a). Details of the method of determining the fluctuation strength will be described later with reference to FIG. 9C.
  • the parameter determination unit 122a determines parameters (S140a), and the fluctuation correction unit 121a uses the determined parameters to perform fluctuations in the first input image. Correction is performed (S160a).
  • the determination unit 310a determines whether or not the target pixel, which is one pixel included in the first input image, is included in the moving body region (S221).
  • the region is determined using another pixel as the target pixel.
  • the determination unit 310a determines whether the target pixel of the corrected image is an edge pixel (S222a). If the target pixel is an edge pixel, the counter value indicating the number of edge pixels is incremented. If the target pixel is not an edge pixel, the counter value remains unchanged.
  • the determination unit 310a determines whether or not the target pixel of the first input image is a difference pixel (S223a). Specifically, the determination unit 310a calculates a difference between the target pixel of the first input image and the target pixel of the corrected image, and determines whether the calculated difference is equal to or greater than a predetermined threshold. When the difference is equal to or larger than the predetermined threshold, the counter value indicating the difference amount between the adjacent images is incremented. When the difference is smaller than the predetermined threshold, the counter value remains as it is.
  • the region determination (S221), the edge determination (S222a), and the difference determination (S223a) are repeated until the processing is completed for all the pixels of the first input image with another pixel as the target pixel.
  • the determination unit 310 calculates the fluctuation strength based on (Equation 1) (S224).
  • the influence of the moving body 401 can be reduced by excluding the pixels included in the moving body region as the fluctuation intensity calculation target. Therefore, a more appropriate fluctuation strength can be calculated.
  • the image processing apparatus 300 further includes the specifying unit 330 that specifies the moving object region including the moving object that moves between the input image and the previous frame.
  • the fluctuation strength is determined using an area other than the moving body area.
  • the fluctuation strength is determined using an area other than the moving body area, the fluctuation strength is appropriately determined even when the moving image is included in the input image, and the fluctuation is appropriately corrected. Can do.
  • the specifying unit 330 selects a closed area that is a predetermined area or more out of a difference area including pixels whose difference value is greater than or equal to a threshold value between the first input image and the previous frame. As specified.
  • the amplitude of fluctuation (that is, the amount of shift of the edge due to fluctuation) is often smaller than the amount of movement by the moving body. Can be considered. For this reason, a mobile body area
  • the specifying unit 330 sets a parameter corresponding to a predetermined area according to the fluctuation strength determined by the determining unit 310.
  • a parameter serving as a threshold for specifying the moving body area from the difference area is determined according to the fluctuation strength, and thus the moving body area can be specified appropriately.
  • the fluctuation strength can be determined with high accuracy, and the fluctuation can be corrected more appropriately.
  • Embodiment 3 will be described with reference to FIGS. 10A to 13.
  • FIGS. 10A and 10B are block diagrams illustrating a configuration example of the image processing apparatus according to the present embodiment.
  • the image processing apparatuses 500 and 500a according to the present embodiment are apparatuses that can correct fluctuation more appropriately when a moving object is included in an input image.
  • the difference area 421 cannot sufficiently represent the movement of the moving body 401. Therefore, it is required to specify the moving body region with higher accuracy.
  • the corrected image is not used and the corrected image is used as one of the images of the plurality of frames. Then, processing is different.
  • the configuration of the image processing apparatus 500 when the corrected image is not used will be described with reference to FIG. 10A. Further, the configuration of the image processing apparatus 500a when using the corrected image will be described with reference to FIG. 10B.
  • the image processing apparatus 500 is different from the image processing apparatus 300 illustrated in FIG. 6A in that a specifying unit 530 is provided instead of the specifying unit 330 and a generation unit 540 is newly provided. Is different. Also, as illustrated in FIG. 10B, the image processing apparatus 500a includes a specifying unit 530 instead of the specifying unit 330a and a generation unit 540, as compared with the image processing apparatus 300a illustrated in FIG. 6B. Is different. Below, it demonstrates focusing on a different point and may abbreviate
  • the generation unit 540 illustrated in FIGS. 10A and 10B generates a background image using the input image.
  • the background image is an image that does not include a moving object.
  • the background image is an image in which a moving object is not captured when a space is photographed with a fixed camera. In the background image, it is preferable that the fluctuation is sufficiently suppressed or has not occurred.
  • the generation unit 540 may generate a background image by deleting a moving body from a moving image captured by a fixed camera, for example. Specifically, by averaging images having a sufficiently large number of frames, such as several hundred frames, it is possible to delete the moving object and generate a background image. In this case, even if fluctuations occur during the shooting period, fluctuations can be removed by averaging, and thus fluctuations are sufficiently suppressed in the generated background image.
  • the generation unit 540 may generate the background image using any other method.
  • the specifying unit 530 illustrated in FIGS. 10A and 10B specifies the moving body region using the input image and the background image.
  • the specific unit 530 is the same as the specific unit 330 according to the second embodiment except for the use of a background image instead of the second input image.
  • FIG. 11A is a diagram showing an example of a background image according to the present embodiment. As illustrated in FIG. 11A, the background image includes an object 400 (building) that does not move without including a moving object.
  • object 400 building
  • FIG. 11B is a diagram showing an example of the difference image according to the present embodiment. Specifically, FIG. 11B shows a difference image that is a difference between the background image shown in FIG. 11A and the first input image shown in FIG. 7B.
  • difference image an object that is not in the background image appears as a difference area.
  • a difference area 620 due to an edge shift amount due to fluctuation and a difference area 621 due to the moving body 401 appear. That is, since the moving body 401 is not included in the background image, the moving body 401 itself appears as the difference area 621.
  • FIG. 11C is a diagram illustrating an example of a difference image subjected to the opening process according to the present embodiment.
  • the moving body region (difference region 621) can be specified more accurately by performing the opening process.
  • the background image it is possible to specify the moving object region with high accuracy.
  • FIG. 12A is a flowchart showing the operation of the image processing apparatus 500 according to this embodiment.
  • FIG. 12B is a flowchart showing a process of specifying a moving body region according to the present embodiment.
  • the determination unit 310 and the specifying unit 530 obtain a plurality of input images (S100).
  • the generation unit 540 generates a background image (S305).
  • the generation unit 540 may read and acquire the background image from the memory or the like.
  • the specifying unit 530 specifies the moving body region (S310). Details of the method for specifying the moving object region will be described later with reference to FIG. 12B.
  • the subsequent processing is the same as the operation of the image processing apparatus 300 shown in FIG.
  • the specifying unit 530 calculates a difference between the first input image and the background image (S311).
  • the subsequent processing is the same as the processing of the specifying unit 330 illustrated in FIG. 8B.
  • the determination unit 310a and the specifying unit 530 obtain the first input image and the previous corrected image (S100a). Subsequent processing is the same as in FIG. 9A and FIG.
  • the specifying unit 530 specifies the moving object region using the first input image and the background image not including the moving object.
  • the background image does not include the moving object, so that the moving object region can be specified with high accuracy. Therefore, the fluctuation intensity can be determined appropriately, and the fluctuation of the first input image can be corrected more appropriately.
  • the fluctuation strength is larger as the ratio of the number of pixels in which the difference between the pixel values of the first input image and the previous frame is equal to or greater than a predetermined threshold to the number of pixels of the edge included in the first input image or the previous frame is larger. It only needs to be a large value.
  • the fluctuation strength is a calculation result of (Equation 1), and thus has a continuously changing value, but is not limited thereto.
  • the fluctuation intensity may be a discrete value such as “weak”, “medium”, “strong” as shown in FIG.
  • the determination unit determines the fluctuation strength to be “weak”, and the calculation result of (Equation 1) falls within the second range ( The fluctuation strength may be determined to be “medium” when the value is within the range of the first range.
  • the number of pixels at the edge means a value indicating the amount of the edge, and may be, for example, the length of the edge.
  • the number of difference pixels may be, for example, the sum of absolute differences.
  • FIG. 14 is a diagram illustrating a product example of a surveillance camera according to a modification of the embodiment.
  • the surveillance camera according to the present disclosure is, for example, a camera that is installed to take an image of the outdoors, and can be used for monitoring traffic as an example.
  • the surveillance camera according to the present disclosure can also be realized as an underwater camera for photographing underwater.
  • the underwater camera can be used for monitoring aquatic organisms or inspecting articles immersed in water in a factory or the like.
  • the present disclosure can also be realized as an image processing method.
  • the image processing method according to the present disclosure is an image processing method for correcting fluctuation of an input image included in a moving image, and determines a fluctuation strength indicating the strength of the fluctuation, and according to the determined fluctuation strength.
  • a difference between pixel values of the input image and the previous frame is predetermined with respect to the number of pixels of the edge included in the input image or the temporally previous frame of the input image. The larger the ratio of the number of pixels that is equal to or greater than the threshold value, the larger the fluctuation strength is determined.
  • each component determining units 110, 110a, 310 and 310a, correcting units 120 and 120a, fluctuation correcting units 121 and 121a, parameter determining units 122 and 122a, specifying unit configuring the image processing apparatus 100 and the like according to the present disclosure.
  • 330, 330a and 530, and generation unit 540 are programs executed on a computer including a CPU (Central Processing Unit), a RAM, a ROM (Read Only Memory) communication interface, an I / O port, a hard disk, a display, and the like. Or may be realized by hardware such as an electronic circuit.
  • CPU Central Processing Unit
  • RAM random access memory
  • ROM Read Only Memory
  • the image processing apparatus, the monitoring camera, and the image processing method according to the present disclosure can be used for, for example, a video recorder, a television, a camera, and the like.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Studio Devices (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Image Analysis (AREA)

Abstract

　動画像に含まれる第１入力画像の揺らぎを補正する画像処理装置（１００）であって、揺らぎの強さを示す揺らぎ強度を決定する決定部（１１０）と、決定部（１１０）によって決定された揺らぎ強度に応じて第１入力画像の揺らぎを補正する補正部（１２０）とを備え、決定部（１１０）は、第１入力画像又は当該第１入力画像より時間的に前のフレームに含まれるエッジの画素数に対する、第１入力画像と前のフレームとの画素値の差分が所定の閾値以上である画素数の比が大きい程、大きい値になる揺らぎ強度を決定する。

Description

画像処理装置、監視カメラ及び画像処理方法
　本開示は、画像の揺らぎを補正する画像処理装置、監視カメラ及び画像処理方法に関する。
　従来、監視カメラなどのカメラ装置を用いて所定の空間を撮影し、当該空間を監視する監視システムが知られている。このとき、撮影した画像に揺らぎが生じることがある。揺らぎは、光の伝達媒体の特性変更によって生じる現象である。具体的には、揺らぎは、被写体からの光を伝達する媒体（空気又は水など）の屈折率が変化することで、発生する現象（シュリーレン現象）である。
　揺らぎは、例えば、暑い屋外での撮影時に、大気中の温度差により空気の密度に粗密が生じることにより発生する、いわゆる陽炎である。あるいは、揺らぎは、水中での撮影時にも発生する。
　監視システムにおいて、撮影された動画像にて異常などを検知する場合、画像の揺らぎが生じると誤った異常を検知してしまう場合があり、好ましくない。そこで、特許文献１及び２などには、画像の揺らぎを補正することができる画像処理装置が開示されている。
特開２０１１－２２９０３０号公報 特開２０１３－２３６２４９号公報
　本開示は、揺らぎの強さが変化した場合であっても揺らぎを適切に補正することができる画像処理装置、監視カメラ及び画像処理方法を提供する。
　上記課題を解決するため、本開示に係る画像処理装置は、動画像に含まれる第１入力画像の揺らぎを補正する画像処理装置であって、揺らぎの強さを示す揺らぎ強度を決定する決定部と、決定部によって決定された揺らぎ強度に応じて第１入力画像の揺らぎを補正する補正部とを備え、決定部は、第１入力画像又は当該第１入力画像より時間的に前のフレームに含まれるエッジの画素数に対する、第１入力画像と前のフレームとの画素値の差分が所定の閾値以上である画素数の比が大きい程、大きい値になる揺らぎ強度を決定する。
　本開示によれば、揺らぎの強さが変化した場合であっても揺らぎを適切に補正することができる。
図１Ａは、実施の形態１に係る画像処理装置の構成を示すブロック図である。 図１Ｂは、実施の形態１に係る画像処理装置の別の構成を示すブロック図である。 図１Ｃは、実施の形態１に係る画像処理装置の補正部の別の構成を示すブロック図である。 図２は、実施の形態１に係る画像処理装置において、異なる強度の揺らぎが発生した場合の差分画像を示す図である。 図３は、実施の形態１に係る画像処理装置において、入力画像内に複数の物体がある場合と単一の物体がある場合との差分画像を示す図である。 図４Ａは、実施の形態１に係る画像処理装置の動作の一例を示すフローチャートである。 図４Ｂは、実施の形態１に係る揺らぎ強度を決定する処理の一例を示すフローチャートである。 図５Ａは、実施の形態１に係る画像処理装置の動作の別の一例を示すフローチャートである。 図５Ｂは、実施の形態１に係る揺らぎ強度を決定する処理の別の一例を示すフローチャートである。 図６Ａは、実施の形態２に係る画像処理装置の構成を示すブロック図である。 図６Ｂは、実施の形態２に係る画像処理装置の別の構成を示すブロック図である。 図７Ａは、実施の形態２に係る入力画像の直前の画像（第２入力画像）の一例を示す図である。 図７Ｂは、実施の形態２に係る入力画像（第１入力画像）の一例を示す図である。 図７Ｃは、実施の形態２に係る差分画像の一例を示す図である。 図７Ｄは、実施の形態２に係るオープニング処理を行った差分画像の一例を示す図である。 図７Ｅは、実施の形態２に係るオープニング処理を行った差分画像の一例を示す図である。 図７Ｆは、実施の形態２に係るオープニング処理を行った差分画像の一例を示す図である。 図８Ａは、実施の形態２に係る画像処理装置の動作の一例を示すフローチャートである。 図８Ｂは、実施の形態２に係る移動体領域を特定する処理の一例を示すフローチャートである。 図８Ｃは、実施の形態２に係る揺らぎ強度を決定する処理の一例を示すフローチャートである。 図９Ａは、実施の形態２に係る画像処理装置の動作の別の一例を示すフローチャートである。 図９Ｂは、実施の形態２に係る移動体領域を特定する処理の別の一例を示すフローチャートである。 図９Ｃは、実施の形態２に係る揺らぎ強度を決定する処理の別の一例を示すフローチャートである。 図１０Ａは、実施の形態３に係る画像処理装置の構成を示すブロック図である。 図１０Ｂは、実施の形態３に係る画像処理装置の別の構成を示すブロック図である。 図１１Ａは、実施の形態３に係る背景画像の一例を示す図である。 図１１Ｂは、実施の形態３に係る差分画像の一例を示す図である。 図１１Ｃは、実施の形態３に係るオープニング処理を行った差分画像の一例を示す図である。 図１２Ａは、実施の形態３に係る画像処理装置の動作の一例を示すフローチャートである。 図１２Ｂは、実施の形態３に係る移動体領域を特定する処理の一例を示すフローチャートである。 図１３は、実施の形態３に係る画像処理装置の動作の別の一例を示すフローチャートである。 図１４は、実施の形態に係る画像処理装置を備える監視カメラの製品例を示す図である。
　本発明者は、「背景技術」の欄において記載した従来の画像処理装置に関し、以下の問題が生じることを見出した。
　例えば、特許文献１及び２に記載の画像処理装置では、画像に揺らぎが発生しているか否かを検出している。そして、揺らぎが発生している場合には、予め定められた強さの補正処理を行っている。
　しかしながら、揺らぎ補正の程度が同じであるため、揺らぎが変化した場合には、適切に揺らぎを補正することができなくなるという問題がある。
　そこで、このような問題を解決するために、本開示では、揺らぎの強さが変化した場合であっても、揺らぎを適切に補正することができる画像処理装置、監視カメラ及び画像処理方法を提供する。
　以下、適宜図面を参照しながら、実施の形態を詳細に説明する。ただし、必要以上に詳細な説明は省略する場合がある。例えば、すでによく知られた事項の詳細説明、及び、実質的に同一の構成に対する重複説明などを省略する場合がある。これは、以下の説明が不必要に冗長になるのを避け、当業者の理解を容易にするためである。
　なお、発明者らは、当業者が本開示を十分に理解するために添付図面及び以下の説明を提供するのであって、これらによって請求の範囲に記載の主題を限定することを意図するものではない。
　また、各図は、模式図であり、必ずしも厳密に図示されたものではない。また、各図において、同じ構成部材については同じ符号を付している。
　（実施の形態１）
　以下、図１Ａ～図５Ｂを用いて、実施の形態１について説明する。
　［１．画像処理装置の概要］
　まず、本実施の形態に係る画像処理装置の構成について、図１Ａ及び図１Ｂを用いて説明する。図１Ａ及び図１Ｂは、本実施の形態に係る画像処理装置の構成例を示すブロック図である。
　なお、本実施の形態に係る画像処理装置は、複数のフレームの画像を用いて入力画像の揺らぎを補正する装置である。このとき、複数のフレームの画像の１つとして、補正後画像を用いない場合と、補正後画像を用いる場合とでは、画像処理装置における処理が異なる。
　以下では、補正後画像を用いない場合の画像処理装置１００の構成について、図１Ａを用いて説明する。また、補正後画像を用いる場合の画像処理装置１００ａの構成について、図１Ｂを用いて説明する。
　［２．画像処理装置の詳細な構成］
　本実施の形態に係る画像処理装置１００及び１００ａは、動画像に含まれる入力画像の揺らぎを補正することで、補正後画像を生成して出力する。図１Ａに示すように、画像処理装置１００は、決定部１１０と、補正部１２０とを備える。また、図１Ｂに示すように、画像処理装置１００ａは、決定部１１０ａと、補正部１２０ａとを備える。
　［２－１．決定部］
　図１Ａに示す決定部１１０は、入力画像の揺らぎの強さを示す揺らぎ強度を決定する。決定部１１０は、少なくとも２枚の入力画像を用いて、入力画像の揺らぎの強度を示す揺らぎ強度を決定して出力する。
　例えば、決定部１１０は、第１入力画像と、当該第１入力画像より時間的に前のフレームとを取得する。第１入力画像より時間的に前のフレームは、第１入力画像の前に入力された第２入力画像である。ここで、第１入力画像は、揺らぎを補正する対象となる画像であり、例えば、最新の入力画像である。第２入力画像は、例えば、第１入力画像に隣接するフレーム、すなわち、第１入力画像の直前のフレームの入力画像である。あるいは、第２入力画像は、第１入力画像より２フレーム以上前のフレームの入力画像でもよい。
　「揺らぎ」とは、上述したように、光の伝達媒体の特性変更によって生じる現象である。例えば、「揺らぎ」は、陽炎などの現象であり、被写体からの光を伝達する媒体（空気又は水など）の屈折率が変化することで発生する現象（シュリーレン現象）である。簡単に言い換えると、「揺らぎ」は、固定されて動かない被写体が動いて見える現象である。このため、「揺らぎ」は、カメラの手ブレなどとは異なり、固定したカメラが撮影した画像においても発生する。特に望遠で撮影した動画像において、揺らぎの影響は顕著に現れる。
　「入力画像の揺らぎ」とは、被写体の形状が入力画像内で歪む現象である。例えば、簡単な例では、入力画像内に「揺らぎ」がない場合には真っ直ぐになるエッジが、「揺らぎ」がある場合には、曲線になる。
　なお、カメラの手ブレの場合もエッジは本来の位置からずれた位置に現れるが、そのずれる方向及び量は、略一定となる。つまり、カメラの手ブレの場合、画像全体が共通の方向に略同じ量だけずれる。これに対して、「揺らぎ」によって生じるエッジが歪む方向及び量は、画素毎に不規則である。
　また、「揺らぎを補正する」は、「揺らぎ」によって入力画像に生じた画素のずれを小さく、又は、０にすることである。
　「揺らぎ強度」は、入力画像内における被写体の歪みの大きさを示している。つまり、被写体の歪みが大きい程、揺らぎ強度も大きくなる。言い換えると、揺らぎ強度は、エッジの正しい位置（揺らぎがない場合に表示される位置）からのずれ量に相当する。
　本実施の形態に係る決定部１１０は、（式１）を用いて揺らぎ強度を決定する。
Figure JPOXMLDOC01-appb-M000001
　（式１）において、エッジ量は、第１入力画像に含まれるエッジの画素数である。また、隣接画像間の差分量は、第１入力画像と第２入力画像との画素値の差分が所定の閾値以上である画素数である。
　つまり、決定部１１０は、第１入力画像に含まれるエッジの画素数に対する、第１入力画像と第２入力画像との画素値の差分が所定の閾値以上である画素数の比を、揺らぎ強度として決定する。言い換えると、決定部１１０は、隣接画像間の差分量をエッジ量で正規化することで、揺らぎ強度を算出する。
　また、図１Ｂに示す決定部１１０ａは、決定部１１０と比べて、第２入力画像の代わりに、第２入力画像の揺らぎを補正することで生成された補正後画像を用いる点が異なっている。つまり、第１入力画像より時間的に前のフレームは、補正部１２０ａが第２入力画像の揺らぎを補正することで生成した補正後画像である。また、決定部１１０ａは、第１入力画像の代わりに補正後画像を用いて、エッジ量を算出する点が異なっている。
　具体的には、決定部１１０ａは、第１入力画像と補正後画像とを取得する。そして、決定部１１０は、補正後画像に含まれるエッジの画素数に対する、第１入力画像と補正後画像との画素値の差分が所定の閾値以上である画素数の比を、揺らぎ強度として決定する。
　この場合、（式１）において、エッジ量は、補正後画像に含まれるエッジの画素数である。また、隣接画像間の差分量は、第１入力画像と補正後画像との画素値の差分が所定の閾値以上である画素数である。
　隣接画像間の差分量及びエッジ量の算出方法については、後で図２及び図３を用いて説明する。
　［２－２．補正部］
　補正部１２０及び１２０ａは、決定部１１０及び１１０ａによって決定された揺らぎ強度に応じて第１入力画像の揺らぎを補正する。具体的には、補正部１２０及び１２０ａは、第１入力画像を含む複数のフレームを合成することで、第１入力画像の揺らぎを補正する。
　例えば、図１Ａに示す補正部１２０は、複数のフレームを平均化することで、第１入力画像の揺らぎを補正する。また、図１Ｂに示す補正部１２０ａは、複数のフレームを重み付け加算することで、第１入力画像の揺らぎを補正する。
　［２－２－１．平均化］
　まず、複数のフレームの合成の一例である平均化を行う補正部１２０の構成について、図１Ａを用いて説明する。図１Ａに示すように、補正部１２０は、揺らぎ補正部１２１と、パラメータ決定部１２２とを備える。
　［２－２－２．揺らぎ補正部］
　揺らぎ補正部１２１は、第１入力画像を含む複数のフレームの合成を行うことで、第１入力画像の揺らぎを補正する。例えば、揺らぎ補正部１２１は、複数のフレームの平均化を行う。
　具体的には、揺らぎ補正部１２１は、ｎ枚のフレームの入力画像を画素毎に平均化することで、補正後画像を生成する。ここで、ｎは、２以上の整数であり、パラメータ決定部１２２によって決定されるパラメータの一例である。
　例えば、揺らぎ補正部１２１は、第１入力画像を含み、時間的に連続するｎ枚の入力画像を平均化する。具体的には、揺らぎ補正部１２１は、（式２）に示すように、第１入力画像から、時間的にｎ番前に入力された第ｎ入力画像までのｎ枚の入力画像を平均化することで、補正後画像を生成する。
Figure JPOXMLDOC01-appb-M000002
　（式２）において、ｏｕｔｐｕｔ［ｔ］は、時刻ｔにおける入力画像に対応する補正後画像である。ｉｎｐｕｔ［ｔ］は、時刻ｔにおける入力画像（すなわち、第１入力画像）である。なお、平均化の対象となるｎ枚の入力画像は、時間的に連続するｎ枚でなくてもよい。
　また、揺らぎ補正部１２１は、ｎ枚の入力画像の平均化でなく、ｎ枚の入力画像を重み付け加算してもよい。例えば、重み付け加算に用いる重みは、対応する入力画像が時刻ｔに近い程、大きくしてもよい。また、時刻ｔにおける入力画像のみを大きな重みを採用し、残りの画像の重みを均一にして平均化してもよい。
　なお、揺らぎ補正部１２１において平均化を行うと、画像の揺らぎによるボケに加えて、画像がさらにボケる場合がある。平均化の画像の枚数が多い程、平均化後の画像、すなわち、揺らぎ補正後の画像はボケてしまう。
　そこで、例えば、図１Ｃに示す補正部１２０ｂのように、画像の先鋭化を行う画像先鋭化部１２３を備えてもよい。なお、図１Ｃは、本実施の形態の補正部１２０ｂの構成を示すブロック図である。本実施の形態に係る画像処理装置１００は、図１Ａに示す補正部１２０の代わりに、図１Ｃに示す補正部１２０ｂを備えてもよい。
　補正部１２０ｂは、揺らぎ補正部１２１と、パラメータ決定部１２２ｂと、画像先鋭化部１２３とを備える。パラメータ決定部１２２ｂについては、後で説明する。
　画像先鋭化部１２３は、揺らぎ補正部１２１によって揺らぎが補正された入力画像の先鋭化を行う。本実施の形態では、パラメータ決定部１２２ｂによって決定されたフィルタサイズを用いて、揺らぎ補正後の画像の先鋭化を行う。例えば、画像先鋭化部１２３は、アンシャープマスクなどの画像先鋭化のためのフィルタ処理を、揺らぎ補正後の画像に行う。これにより、画像の揺らぎによるボケ、及び、画像の平均化によって生じるボケを低減することができる。
　［２－２－３．パラメータ決定部］
　パラメータ決定部１２２は、決定部１１０によって決定された揺らぎ強度に応じて、複数のフレームの合成に用いるパラメータを決定する。例えば、パラメータ決定部１２２は、決定部１１０によって決定された揺らぎ強度に応じて、平均化に用いるフレーム数をパラメータとして決定する。具体的には、パラメータ決定部１２２は、（式２）におけるｎの値をパラメータとして決定する。
　入力画像の揺らぎは、揺らぎのない位置を中心として、一定の振幅で揺らいでいると考えられる。このため、複数枚の画像を平均することで、揺らぎの程度が低減された画像が生成される。
　このとき、平均する入力画像の枚数が多い程、揺らぎ除去の効果が大きくなる。逆に、平均する入力画像の枚数が少ない程、揺らぎ除去の効果が小さくなる。
　このため、パラメータ決定部１２２は、揺らぎ強度に応じて、平均化に用いるフレームの枚数を決定する。具体的には、パラメータ決定部１２２は、揺らぎ強度が大きい場合には、ｎの値を大きくし、揺らぎ強度が小さい場合には、ｎの値を小さくする。
　なお、図１Ｃに示すパラメータ決定部１２２ｂでは、決定部１１０によって決定された揺らぎ強度に応じて、先鋭化のためのフィルタサイズを、パラメータとして決定する。具体的には、パラメータ決定部１２２ｂは、揺らぎ強度が大きい程、画像先鋭化部１２３による画像の先鋭化度合いが大きくなるように、フィルタサイズを決定する。例えば、画像先鋭化部１２３でアンシャープマスクを適用する場合、パラメータ決定部１２２ｂは、揺らぎ強度が大きい程、アンシャープマスクのフィルタサイズを大きくする。これにより、揺らぎ強度が大きい程、画像の先鋭化度合いを大きくすることができ、画像の揺らぎによるボケ、及び、画像の平均化によって生じるボケを低減することができる。
　［２－２－４．重み付け加算］
　次に、複数のフレームの合成の一例である重み付け加算を行う補正部１２０ａの構成について、図１Ｂを用いて説明する。図１Ｂに示すように、補正部１２０ａは、揺らぎ補正部１２１ａと、パラメータ決定部１２２ａとを備える。
　［２－２－５．揺らぎ補正部］
　揺らぎ補正部１２１ａは、第１入力画像と補正後画像との重み付け加算を行う。言い換えると、揺らぎ補正部１２１ａは、第１入力画像と補正後画像とを一定の合成比率αで合成する。合成比率αは、重み付け加算の重みであり、パラメータ決定部１２２ａによって決定されるパラメータの一例である。
　例えば、揺らぎ補正部１２１ａは、第１入力画像と、当該第１入力画像の直前の入力画像を補正することで生成された補正後画像との画素値の重み付け加算を行う。具体的には、揺らぎ補正部１２１ａは、（式３）に示すように、重みαと、入力画像ｉｎｐｕｔ［ｔ］と、直前の補正後画像ｏｕｔｐｕｔ［ｔ－１］とを用いて、補正後画像ｏｕｔｐｕｔ［ｔ］を生成する。
Figure JPOXMLDOC01-appb-M000003
　重みα（０≦α≦１）は、入力画像ｉｎｐｕｔ［ｔ］の合成比率である。つまり、重みαが１に近付く程、補正後画像における入力画像の割合が大きくなり、重みαが０に近付く程、補正後画像における前回の補正後画像の割合が大きくなる。
　［２－２－６．パラメータ決定部］
　パラメータ決定部１２２ａは、決定部１１０ａによって決定された揺らぎ強度に応じて、重み付け加算の重みをパラメータとして決定する。具体的には、パラメータ決定部１２２ａは、（式３）における重みαを決定する。
　例えば、パラメータ決定部１２２ａは、揺らぎ強度が大きい程、重みαを小さい値に、具体的には、０に近い値に決定する。また、パラメータ決定部１２２ａは、揺らぎ強度が小さい程、重みαを大きい値に、具体的には、１に近い値に決定する。
　例えば、（式３）において、入力画像ｉｎｐｕｔ［ｔ］を合成する割合（重みα）を小さくする程、前回の補正後画像ｏｕｔｐｕｔ［ｔ－１］、すなわち、揺らぎが少ない画像が多く合成される。したがって、揺らぎが大きい程、前回の補正後画像の割合が大きくなるように合成することで、生成される補正後画像の揺らぎを少なくすることができる。
　なお、本実施の形態では、２枚のフレームを合成する例について示したが、揺らぎ補正部１２１ａは、３枚以上のフレームを合成してもよい。このとき、パラメータ決定部１２２ａは、３枚以上のフレームのそれぞれの合成比率の和が１になるように、各フレームに対応する重みを決定すればよい。
　また、平均化及び重み付け加算を合成の例として説明したが、揺らぎを補正する方法は、これらに限らない。
　［３．揺らぎ強度の算出］
　続いて、揺らぎ強度の算出に用いるエッジ量と隣接画像間の差分量とを算出する方法について説明する。
　［３－１．エッジ量］
　エッジは、画像内では輝度値の差として現れる。すなわち、コントラストが大きい部分にエッジが現れる。例えば、エッジの画素は、周囲の画素との輝度値の差が所定の閾値以上である画素である。
　決定部１１０は、第１入力画像に含まれる画素毎に、当該画素がエッジの画素であるか否かを判定する。例えば、決定部１１０は、縦方向及び横方向のソベルフィルタ（Ｓｏｂｅｌ　Ｆｉｌｔｅｒ）を用いて、画素毎にエッジの有無を検出する。そして、決定部１１０は、エッジの画素と判定された画素数をカウントする。
　具体的には、決定部１１０は、注目画素にソベルフィルタを適用することで算出される値が、所定の閾値以上であるか否かを判定する。そして、決定部１１０は、閾値以上であると判定した場合、当該注目画素がエッジの画素であると判定し、カウンタ値をインクリメントする。第１入力画像に含まれる全ての画素に対して、エッジの判定を行った後のカウンタ値が、第１入力画像内のエッジの画素数である。
　なお、決定部１１０は、エッジ検出の対象画像に第１入力画像を用いているが、これに限らない。例えば、図１Ｂに示す決定部１１０ａは、エッジ検出の対象画像に補正後画像を用いる。
　例えば、決定部１１０ａは、エッジ検出の対象画像として、前の補正後画像を用いる。具体的には、決定部１１０ａは、第１入力画像の直前の入力画像の揺らぎを補正することで生成された補正後画像を用いて、エッジ検出を行う。
　例えば、揺らぎの大きい画像を用いてエッジの検出を行った場合、エッジは、揺らぎによってその形状が変化するので、結果として検出されるエッジの画素数が変わってしまう。このため、正確なエッジ量を算出することができなくなる。
　これに対して、決定部１１０ａが用いる補正後画像では揺らぎが抑制されているので、エッジの検出をより精度良く行うことができる。
　なお、決定部１１０及び１１０ａは、ソベルフィルタの代わりに、プリューウィットフィルタ（Ｐｒｅｗｉｔｔ　Ｆｉｌｔｅｒ）又はラプラシアンフィルタ（Ｌａｐｌａｃｉａｎ　Ｆｉｌｔｅｒ）などを用いてもよい。その他、エッジの検出処理は上記説明に限らない。
　［３－２．隣接画像間の差分量］
　決定部１１０は、第１入力画像に含まれる画素毎に、当該画素が前のフレームとの差分が大きい画素（以下、「差分画素」と記載する場合がある）であるか否かを判定する。なお、差分画素は、例えば、第１入力画像と、当該第１入力画像より時間的に前のフレームとの画素値の差分が所定の閾値以上である画素である。
　具体的には、決定部１１０は、画素毎に、第１入力画像の画素値と第２入力画像の画素値との差分を算出し、算出した差分が所定の閾値以上であるか否かを判定する。そして、決定部１１０は、閾値以上であると判定した場合、当該注目画素は差分画素であると判定し、カウンタ値をインクリメントする。第１入力画像に含まれる全ての画素に対して、差分の判定を行った後のカウンタ値が、第１入力画像内の差分画素の画素数である。
　例えば、２枚の画像が撮影された時間間隔が十分に短い場合、固定カメラで撮影された２枚のフレーム間で異なる画素値の画素は、動く被写体である移動体、又は、揺らぎのいずれかである。つまり、差分画素は、移動体又は揺らぎのいずれかである。
　２枚のフレーム間で移動体が存在しない場合、あるいは、移動体の占める画素が十分に少ないことが想定できる場合には、差分画素は、移動体ではなく、揺らぎであるとみなすことができる。したがって、差分画素の画素数は、揺らぎの画素数であるとみなすことができる。
　なお、移動体の占める画素が多い場合、すなわち、移動体が大きい物体である場合については、実施の形態２で説明する。
　また、決定部１１０は、差分の算出に第１入力画像と第２入力画像とを用いているが、これに限らない。例えば、図１Ｂに示す決定部１１０ａは、差分の算出に第１入力画像と補正後画像とを用いる。
　例えば、決定部１１０ａは、第１入力画像と、第２入力画像の揺らぎを補正することで生成された補正後画像との差分を算出することで、差分画素の画素数を算出する。言い換えると、決定部１１０ａは、揺らぎの多い画像（第１入力画像）と、揺らぎの少ない画像（補正後画像）との差分を算出する。
　例えば、差分算出に用いる２枚の画像に揺らぎがある場合、正確な差分量（揺らぎ量）を算出することができない場合がある。これに対して、決定部１１０ａは、第１入力画像と補正後画像との差分を算出するので、第１入力画像の正確な揺らぎ量に近い差分量を算出することができる。
　なお、揺らぎ強度の値は、ノイズや閾値などの影響でフレーム毎にばらつくことがある。フレーム毎にばらついた揺らぎ強度の値を用いて揺らぎ除去を行うと、揺らぎ除去効果も安定しない。これを避けるために、揺らぎ強度は、特定フレームのみを用いて生成しても構わない。あるいは、揺らぎ強度として、複数フレームで生成した複数の揺らぎ強度の平均値を用いても構わない。
　［４．揺らぎ強度とエッジ量及び差分量との関係］
　続いて、本実施の形態に係る揺らぎ強度と、エッジ量及び差分量との関係について、図２及び図３を用いて説明する。図２は、本実施の形態に係る画像処理装置において、異なる強度の揺らぎが発生した場合の差分画像を示す図である。図３は、本実施の形態に係る画像処理装置において、入力画像内に複数の物体がある場合と単一の物体がある場合との差分画像を示す図である。
　図２に示す例では、入力画像は、矩形の物体２００を含んでいる。図２の（ａ）に示すように、揺らぎがない場合は、物体２００のエッジ（輪郭）２１０は、直線である。なお、説明を分かりやすくするため、物体２００の輝度値は全て同一であり、背景２０１の輝度値も全て同一であり、物体２００の輝度値と背景２０１の輝度値とが異なっている例について示す。
　これに対して、図２の（ｂ）～（ｄ）に示すように、揺らぎ強度が大きくなる程、物体２００の変形の度合いが大きくなる。具体的には、物体２００のエッジ（輪郭）２１０が曲線になる。揺らぎ強度が大きくなる程、エッジ２１０は、本来の位置から大きくずれている。
　なお、上述したように揺らぎは、手ブレなどと異なり、決まった方向へのずれではないので、エッジ２１０のずれ量は、図２に示すように、エッジ２１０の画素位置によってランダムに異なっている。
　図２に示す差分画像は、揺らぎがない画像と揺らぎを含む画像との差分を示す画像である。例えば、揺らぎ強度が「弱」の差分画像は、揺らぎ強度が「弱」の入力画像と、揺らぎなしの画像との差分を示している。揺らぎ強度が「中」及び「強」の場合も同様である。
　図２に示すように、入力画像に揺らぎが発生する場合、差分画像には、差分領域２２０が現れる。差分領域２２０は、揺らぎがない画像と揺らぎを含む画像との画素値の差分が所定の閾値以上である画素（差分画素）から構成される。すなわち、差分領域２２０を構成する差分画素の画素数が、例えば、（式１）における隣接画像間の差分量に相当する。
　図２の（ｂ）～（ｄ）に示すように、揺らぎ強度が大きくなる程、物体２００の変形の度合いが大きくなり、差分領域２２０も大きくなる。差分領域２２０は、物体２００のエッジ２１０の近辺に相当する領域に現れる。
　以上のことから、差分領域２２０が大きい程、すなわち、隣接画像間の差分量が大きい程、揺らぎ強度が強いことが分かる。
　しかしながら、これは、入力画像が単一の物体２００を含む場合に限られる。あるいは、物体２００に比べて他の物体が十分に小さい場合にも、隣接画像間の差分量が大きい程、揺らぎ強度が強いということができる。
　これに対して、図３に示すように、入力画像が複数の物体２３０を含む場合、エッジの量が多くなる。差分領域は、エッジに相当する領域に現れるので、エッジが多くなる程、差分領域も大きくなる。
　したがって、揺らぎ強度が異なっている場合でも、入力画像に含まれる物体の数、すなわち、エッジ量によって、差分領域が略同じになる場合がある。例えば、図３に示すように、揺らぎ強度が「中」である場合に入力画像が複数の物体２３０を含むときの差分領域２４０は、揺らぎ強度が「強」である場合に入力画像が単一の物体２００を含むときの差分領域２２０と略同じになる。
　このため、差分領域の大きさだけでは、揺らぎ強度を判定することができない。つまり、差分領域の大きさは、エッジ量と揺らぎ強度との両方に依存する。
　そこで、本実施の形態に係る決定部１１０及び１１０ａは、（式１）に示すように、差分領域の大きさ、すなわち、隣接画像間の差分量をエッジ量で正規化することで、揺らぎ強度を決定する。これにより、入力画像が含むエッジ量によらず、適切な揺らぎ強度を決定することができる。
　［５．動作］
　［５－１．補正後画像を用いない場合］
　続いて、本実施の形態に係る画像処理装置１００及び１００ａの動作について、図４Ａ～図５Ｂを用いて説明する。まず、本実施の形態に係る画像処理装置１００の動作、具体的には、補正後画像を用いずに入力画像の揺らぎを補正する処理について、図４Ａ及び図４Ｂを用いて説明する、図４Ａは、本実施の形態に係る画像処理装置１００の動作を示すフローチャートである。図４Ｂは、本実施の形態に係る揺らぎ強度を決定する処理を示すフローチャートである。
　図４Ａに示すように、まず、決定部１１０は、複数の入力画像を取得する（Ｓ１００）。具体的には、決定部１１０は、揺らぎの補正対象となる第１入力画像と、当該第１入力画像の前に入力された第２入力画像とを取得する。
　次に、決定部１１０は、揺らぎ強度を決定する（Ｓ１２０）。揺らぎ強度の決定方法の詳細については、図４Ｂを用いて後で説明する。
　次に、パラメータ決定部１２２は、決定部１１０によって決定された揺らぎ強度に応じて、パラメータを決定する（Ｓ１４０）。具体的には、パラメータ決定部１２２は、揺らぎ強度が大きい程、大きな値となるフレームの枚数ｎを、パラメータとして決定する。
　最後に、揺らぎ補正部１２１は、パラメータ決定部１２２によって決定されたパラメータを用いて、第１入力画像の揺らぎを補正する（Ｓ１６０）。具体的には、揺らぎ補正部１２１は、パラメータ決定部１２２によって決定されたｎ枚の入力画像を平均化することで、第１入力画像の揺らぎを補正し、補正後画像を出力する。
　ここで、決定部１１０が行う揺らぎ強度の決定方法について、図４Ｂを用いて説明する。
　図４Ｂに示すように、決定部１１０は、第１入力画像を用いてエッジの画素数を算出する（Ｓ１２１）。例えば、決定部１１０は、画素毎に、注目画素がエッジの画素であるか否かを判定し、エッジの画素であると判定した画素をカウントすることで、第１入力画像内のエッジの画素数を算出する。
　次に、決定部１１０は、第１入力画像と第２入力画像との差分量を算出する（Ｓ１２２）。差分量は、上述したように、隣接画像間の差分値が所定の閾値以上の画素（差分画素）の画素数である。例えば、決定部１１０は、画素毎に、注目画素が差分画素であるか否かを判定し、差分画素であると判定した画素をカウントすることで、差分量を算出する。
　最後に、決定部１１０は、（式１）に基づいて揺らぎ強度を算出する（Ｓ１２３）。
　「５－２．補正後画像を用いる場合」
　次に、本実施の形態に係る画像処理装置１００ａの動作、具体的には、補正後画像を用いて入力画像の揺らぎを補正する処理について、図５Ａ及び図５Ｂを用いて説明する。図５Ａは、本実施の形態に係る画像処理装置１００ａの動作を示すフローチャートである。図５Ｂは、本実施の形態に係る揺らぎ強度を決定する処理を示すフローチャートである。
　図５Ａに示すように、まず、決定部１１０ａは、第１入力画像と前の補正後画像とを取得する（Ｓ１００ａ）。具体的には、決定部１１０ａは、揺らぎの補正対象となる第１入力画像と、当該第１入力画像の前に入力された第２入力画像の揺らぎを補正することで生成された補正後画像とを取得する。
　次に、決定部１１０ａは、揺らぎ強度を決定する（Ｓ１２０ａ）。揺らぎ強度の決定方法の詳細については、図５Ｂを用いて後で説明する。
　次に、パラメータ決定部１２２ａは、決定部１１０ａによって決定された揺らぎ強度に応じて、パラメータを決定する（Ｓ１４０ａ）。具体的には、パラメータ決定部１２２ａは、揺らぎ強度が大きい程、第１入力画像に対応する重みαを小さな値に決定し、補正後画像に対応する重み１－αを大きな値に決定する。
　最後に、揺らぎ補正部１２１ａは、パラメータ決定部１２２ａによって決定されたパラメータを用いて、第１入力画像の揺らぎを補正する（Ｓ１６０ａ）。具体的には、揺らぎ補正部１２１ａは、パラメータ決定部１２２ａによって決定された重みαを用いて第１入力画像と補正後画像との重み付け加算を行うことで、第１入力画像の揺らぎを補正する。
　ここで、決定部１１０ａが行う揺らぎ強度の決定方法について、図５Ｂを用いて説明する。
　図５Ｂに示すように、決定部１１０ａは、前の補正後画像を用いてエッジの画素数を算出する（Ｓ１２１ａ）。例えば、決定部１１０ａは、画素毎に、注目画素がエッジの画素であるか否かを判定し、エッジの画素であると判定した画素をカウントすることで、前の補正後画像内のエッジの画素数を算出する。
　次に、決定部１１０ａは、第１入力画像と補正後画像との差分量を算出する（Ｓ１２２ａ）。例えば、決定部１１０ａは、画素毎に、注目画素が差分画素であるか否かを判定し、差分画素であると判定した画素をカウントすることで、差分量を算出する。
　最後に、決定部１１０ａは、（式１）に基づいて揺らぎ強度を算出する（Ｓ１２３）。
　［６．まとめ］
　以上のように、本実施の形態に係る画像処理装置１００は、動画像に含まれる第１入力画像の揺らぎを補正する画像処理装置１００であって、揺らぎの強さを示す揺らぎ強度を決定する決定部１１０と、決定部１１０によって決定された揺らぎ強度に応じて第１入力画像の揺らぎを補正する補正部１２０とを備え、決定部１１０は、第１入力画像又は当該第１入力画像より時間的に前のフレームに含まれるエッジの画素数に対する、第１入力画像と前のフレームとの画素値の差分が所定の閾値以上である画素数の比が大きい程、大きい値になる揺らぎ強度を決定する。
　これにより、決定した揺らぎ強度に応じて第１入力画像の揺らぎを補正するので、揺らぎの強さが変化した場合であっても揺らぎを適切に補正することができる。このとき、差分が閾値以上である画素数（差分量）は、揺らぎの強さとエッジの画素数とに依存するので、エッジの画素数で差分量を正規化することで、適切な揺らぎ強度を決定することができる。したがって、例えば、入力画像内に複数の画像があり、エッジが多い場合でも、揺らぎの強さを適切に判定することができる。
　また、例えば、本実施の形態では、前のフレームは、第１入力画像の前に入力された第２入力画像、又は、補正部１２０ａが当該第２入力画像の揺らぎを補正することで生成した補正後画像である。
　これにより、例えば、直前の補正後画像、すなわち、揺らぎが補正された画像を利用することができるので、揺らぎ強度の決定及び揺らぎの補正をより適切に行うことができる。
　また、例えば、本実施の形態では、補正部１２０は、第１入力画像を含む複数のフレームの合成を行うことで、第１入力画像の揺らぎを補正する揺らぎ補正部１２１と、決定部１１０によって決定された揺らぎ強度に応じて、合成に用いるパラメータを決定するパラメータ決定部１２２とを含む。
　これにより、揺らぎ強度に応じて決定されたパラメータを用いて複数のフレームを合成するので、例えば、合成の割合などを揺らぎ強度に応じて変更することができる。したがって、第１入力画像の揺らぎの強さに応じて、適切に第１入力画像の揺らぎを補正することができる。
　また、例えば、本実施の形態では、揺らぎ補正部１２１は、複数のフレームの平均化を、合成として行い、パラメータ決定部１２２は、決定部１１０によって決定された揺らぎ強度に応じて、平均化に用いるフレーム数を、パラメータとして決定する。
　揺らぎは、揺らぎのない位置を中心として一定の振幅で揺らいでいると考えられるので、複数のフレームの画像を平均することで、揺らぎの程度が低減された画像を生成することができる。このとき、平均するフレームの枚数を揺らぎ強度に応じて決定するので、揺らぎの強さに応じて適切に揺らぎを補正することができる。例えば、揺らぎ強度が大きい場合に、フレームの枚数を多くすることで、大きい揺らぎを適切に補正することができる。
　また、例えば、本実施の形態では、揺らぎ補正部１２１ａは、第１入力画像と補正後画像との重み付け加算を、合成として行い、パラメータ決定部１２２ａは、決定部１１０ａによって決定された揺らぎ強度に応じて、重み付け加算の重みを、パラメータとして決定してもよい。
　これにより、入力画像と揺らぎの少ない補正後画像との重み付け加算を行うので、入力画像の揺らぎを補正することができる。このとき、揺らぎ強度に応じて重みを決定するので、揺らぎを適切に補正することができる。例えば、揺らぎ強度が大きい程、補正後画像の重みが大きくなるようにすることで、重み付け加算後の画像に、揺らぎの少ない補正後画像の割合を大きくすることができ、揺らぎを適切に補正することができる。
　（実施の形態２）
　以下、図６Ａ～図９Ｃを用いて、実施の形態２について説明する。
　［１．画像処理装置の概要］
　まず、本実施の形態に係る画像処理装置の構成について、図６Ａ及び図６Ｂを用いて説明する。図６Ａ及び図６Ｂは、本実施の形態に係る画像処理装置の構成例を示すブロック図である。
　本実施の形態に係る画像処理装置３００及び３００ａは、入力画像に動く被写体である移動体が含まれる場合に、適切に揺らぎを補正することができる装置である。
　実施の形態１に係る画像処理装置１００及び１００ａでは、２枚のフレーム間で移動体が存在しない場合、及び、移動体の占める画素が十分に少ないことが想定できる場合に有効である。これは、移動体の影響が小さいので、移動体を考慮に入れずに揺らぎ強度を算出することができるためである。
　しかしながら、入力画像に移動体の占める画素が少なくない場合、揺らぎ強度への移動体の影響が大きくなる。すなわち、（式１）における隣接画像間の差分量に、移動体の動きによる差分が含まれてしまうためである。つまり、隣接画像間の差分量は、揺らぎの大きさ及びエッジの量だけでなく、移動体の動き量も含んでいる。
　そこで、本実施の形態に係る画像処理装置３００及び３００ａでは、揺らぎ強度を算出する際に、移動体を含む移動体領域を特定し、分離することにより、適切な揺らぎ強度を算出することができる。
　なお、実施の形態１と同様に、本実施の形態に係る画像処理装置においても、複数のフレームの画像の１つとして、補正後画像を用いない場合と、補正後画像を用いる場合とでは、処理が異なる。
　以下では、補正後画像を用いない場合の画像処理装置３００の構成について、図６Ａを用いて説明する。また、補正後画像を用いる場合の画像処理装置３００ａの構成について、図６Ｂを用いて説明する。
　［２．画像処理装置の詳細な構成］
　図６Ａに示すように、画像処理装置３００は、図１Ａに示す画像処理装置１００と比較して、決定部１１０の代わりに決定部３１０を備える点と、新たに特定部３３０を備える点とが異なっている。また、図６Ｂに示すように、画像処理装置３００ａは、図１Ｂに示す画像処理装置１００ａと比較して、決定部１１０ａの代わりに決定部３１０ａを備える点と、新たに特定部３３０ａを備える点とが異なっている。以下では、異なる点を中心に説明し、同じ点は説明を省略する場合がある。
　［２－１．特定部］
　図６Ａに示す特定部３３０は、入力画像と前のフレームとの間で動く移動体を含む移動体領域を特定する。例えば、特定部３３０は、複数のフレームの入力画像と、前回の揺らぎ強度とを取得し、移動体領域を特定して出力する。
　具体的には、特定部３３０は、第１入力画像と第２入力画像との間で差分値が閾値以上である画素から構成される差分領域のうち、所定の面積以上の閉じた領域を移動体領域として特定する。簡単に言い換えると、特定部３３０は、多くの差分画素が集まっている領域を移動体領域として特定する。このとき、特定部３３０は、決定部３１０によって決定された揺らぎ強度に応じて、上記所定の面積に対応するパラメータを設定する。
　また、図６Ｂに示す特定部３３０ａは、特定部３３０と比べて、第２入力画像の代わりに、第２入力画像の揺らぎを補正することで生成された補正後画像を用いる点が異なっている。例えば、特定部３３０ａは、第１入力画像と補正後画像との間で差分値が閾値以上である画素から構成される差分領域のうち、所定の面積以上の閉じた領域を移動体領域として特定する。
　移動体領域の特定の詳細については、図７Ａ～図７Ｆを用いて後で説明する。
　［２－２．決定部］
　図６Ａに示す決定部３１０は、特定部３３０によって特定された移動体領域以外の領域を用いて揺らぎ強度を決定する。例えば、決定部３１０は、エッジ量の算出及び差分量の算出に用いる領域として、移動体領域以外の領域を利用する。つまり、決定部３１０は、入力画像全体の画素を対象とするのではなく、限定された領域内の画素を対象として、エッジ量の算出及び差分量の算出を行う。なお、算出の領域が限定されていることを除いて、決定部３１０の具体的な動作は、図１Ａに示す決定部１１０の動作と同じである。
　また、図６Ｂに示す決定部３１０ａは、決定部３１０と比べて、第２入力画像の代わりに補正後画像を用いる点が異なっている。具体的には、決定部３１０は、第１入力画像と補正後画像との差分を、移動体領域以外の領域で算出することで、差分量を算出する。
　また、決定部３１０ａは、実施の形態１に係る決定部１１０ａと同様に、第１入力画像の代わりに補正後画像を用いて、エッジ量を算出する。具体的には、決定部３１０ａは、補正後画像の移動体領域以外の領域を利用して、エッジ量を算出する。
　［３．移動体領域の特定］
　続いて、移動体領域を特定する処理の詳細について、図７Ａ～図７Ｆを用いて説明する。
　図７Ａは、本実施の形態に係る入力画像の直前の画像（第２入力画像）の一例を示す図である。図７Ｂは、本実施の形態に係る入力画像（第１入力画像）の一例を示す図である。図７Ｃは、本実施の形態に係る差分画像の一例を示す図である。図７Ｄ～図７Ｅは、本実施の形態に係るオープニング処理を行った差分画像の一例を示す図である。
　図７Ａ及び図７Ｂに示すように、第１入力画像及び第２入力画像は、動きのない物体４００（例えば、建物）と、移動体４０１（例えば、車）とを含んでいる。
　図７Ｃに示すように、第１入力画像と第２入力画像との差分である差分画像は、差分領域４２０及び４２１を含んでいる。なお、説明を簡単にするため、差分がない画素を黒（“０”）、差分がある画素を白（“２５５”）の２値で表している。
　差分領域４２０は、物体４００のエッジ近辺に相当する領域であり、揺らぎの影響で現れる領域である。差分領域４２１は、主に移動体４０１の動きによって現れる領域である。
　つまり、差分画像から適切に揺らぎ強度を判定するためには、差分領域４２０のみを用いることが好ましく、差分領域４２１を除外することが好ましい。
　例えば、図７Ａ～図７Ｃに示すように、物体４００のエッジは、揺らぎの影響でそれぞれ不規則な方向に不規則な量だけ移動するのに対して、移動体４０１は、一定の画素面積が一体となって同一の方向に同一の量だけ動く。このため、一般には、揺らぎの振幅（すなわち、揺らぎによるエッジのずれ量）は、移動体４０１による動き量に比べて小さいことが多いので、差分領域４２１は、差分領域４２０より大きくなる。
　そこで、特定部３３０は、差分領域４２０と差分領域４２１との画素面積の差分を利用して、差分領域４２１を特定する。例えば、特定部３３０は、画素面積の差分を利用して領域を特定する方法の一例として、モルフォロジー処理の一種であるオープニング処理を行う。
　オープニング処理は、所定の画像に対して、所定の回数（以下、「規定回数」と記載する場合がある）だけ収縮処理を行った後に、同じ回数だけ膨張処理を行う処理である。収縮処理は、対象となる白い画素の周辺（例えば、対象画素に隣接する８画素）に１画素でも黒い画素がある場合に、当該白い画素を黒い画素に置き換えることで、白い画素の領域を収縮させる処理である。膨張処理は、対象となる白い画素の周辺の画素（例えば、対象画素に隣接する８画素）を白い画素に置き換えることで、白い画素の領域を広げる処理である。
　これにより、例えば、白い画素から構成される領域に対して、複数回の収縮処理を行うことで、いずれは当該領域の画素が全て黒い画素に置き換えられてしまう。したがって、この後に膨張処理を行ったとしても、白い画素は現れない。
　このことから、オープニング処理における規定回数を適切に設定することで、画素面積が小さい領域を削除し、画素面積が大きい領域のみを残すことができる。したがって、図７Ｃに示す差分画像に対して、適切な規定回数でオープニング処理を行うことで、図７Ｄに示すように、差分領域４２０を削除し、差分領域４２１を特定することができる。
　なお、例えば、規定回数が適切な回数より少なすぎる場合、図７Ｅに示すように、差分領域４２０が削除しきれずに残ってしまう。逆に、規定回数が適切な回数より多すぎる場合、図７Ｆに示すように、差分領域４２０を削除することはできるものの、差分領域４２１が本来の形状から異なってしまう。いずれの場合も、特定部３３０は、移動体領域を適切に特定することができなくなる。
　適切な規定回数は、揺らぎ強度に依存する。例えば、適切な規定回数は、差分領域４２０がちょうど消える回数である。つまり、適切な規定回数がｍ回であるとき、ｍ－１回目の収縮処理では差分領域４２０が残っているが、ｍ回目の収縮処理では差分領域４２０がなくなる。差分領域４２０を削除する回数は、差分領域４２０の大きさ、すなわち、揺らぎによるエッジのずれ量に依存する。
　したがって、特定部３３０は、揺らぎ強度に応じて、規定回数を適切な回数に設定する。
　例えば、特定部３３０は、揺らぎ強度が大きい程、規定回数を大きい値に設定する。これにより、特定部３３０は、大きな揺らぎに応じた大きい差分領域４２０を削除し、残った領域（差分領域４２１）を移動体領域として決定する。
　また、特定部３３０は、揺らぎ強度が小さい程、規定回数を小さい値に設定する。これにより、特定部３３０は、小さな揺らぎに応じた小さい差分領域４２０を削除し、残った領域（差分領域４２１）を移動体領域として決定する。
　簡単に言い換えると、特定部３３０は、差分領域のうち、所定の面積以上の閉じた領域を移動体領域として決定する。このとき、移動体領域であるか否かを判定する基準となる所定の面積に相当するパラメータの一例が、規定回数である。つまり、特定部３３０は、揺らぎ強度が大きい程、規定回数を大きい値に設定することで、第１の面積より大きい面積の閉じた差分領域を移動体領域として決定する。また、揺らぎ強度が小さい程、規定回数を小さい値に設定することで、第２の面積（＜第１の面積）より大きい面積の閉じた差分領域を移動体領域として決定する。
　また、図６Ｂに示す特定部３３０ａは、第１入力画像と補正後画像とを利用する点を除いて、上述した特定部３３０の処理と同様の処理を行う。例えば、特定部３３０ａは、第１入力画像と補正後画像との差分を算出する。
　なお、適切な規定回数は、差分領域４２０がちょうど消える回数でなくてもよい。例えば、上記例において、適切な規定回数は、ｍ－１回でもよく、ｍ＋１回でもよい。つまり、揺らぎの影響を受けた差分領域４２０を小さくしつつ、移動体の影響を受けた差分領域４２１の多くが残るように、特定部３３０が適宜設定すればよい。
　［４．動作］
　［４－１．補正後画像を用いない場合］
　続いて、本実施の形態に係る画像処理装置３００及び３００ａの動作について、図８Ａ～図９Ｂを用いて説明する。まず、本実施の形態に係る画像処理装置３００の動作、具体的には、補正後画像を用いずに入力画像の揺らぎを補正する処理について、図８Ａ～図８Ｃを用いて説明する。
　図８Ａは、本実施の形態に係る画像処理装置３００の動作を示すフローチャートである。図８Ｂは、本実施の形態に係る移動体領域を特定する処理を示すフローチャートである。図８Ｃは、本実施の形態に係る揺らぎ強度を決定する処理を示すフローチャートである。なお、以下では、図４Ａ及び図４Ｂに示す動作と異なる点を中心に説明し、同じ点は説明を省略する場合がある。
　図８Ａに示すように、まず、決定部１１０及び特定部３３０は、複数の入力画像を取得する（Ｓ１００）。そして、特定部３３０は、移動体領域を特定する（Ｓ２１０）。移動体領域の特定方法の詳細については、図８Ｂを用いて後で説明する。
　次に、決定部３１０は、揺らぎ強度を決定する（Ｓ２２０）。このとき、決定部３１０は、特定部３３０によって特定された移動体領域以外の領域を用いて揺らぎ強度を決定する。揺らぎ強度の決定方法の詳細については、図８Ｃを用いて後で説明する。
　以降は、実施の形態１と同様に、パラメータ決定部１２２がパラメータを決定し（Ｓ１４０）、揺らぎ補正部１２１は、決定されたパラメータを用いて第１入力画像の揺らぎを補正する（Ｓ１６０）。
　ここで、特定部３３０が行う移動体領域の特定方法について、図８Ｂを用いて説明する。
　図８Ｂに示すように、特定部３３０は、複数のフレームの入力画像間の差分を算出する（Ｓ２１１）。具体的には、特定部３３０は、第１入力画像と第２入力画像との差分である差分画像を生成する。
　次に、特定部３３０は、差分画像の２値化処理を行う（Ｓ２１２）。具体的には、特定部３３０は、各画素の差分の絶対値が所定の閾値以下の画素を０に、差分の絶対値が所定の閾値より大きい画素を２５５に変更することで、差分画像の２値化処理を行う。これにより、例えば、図７Ｃに示すような２値化された差分画像が生成される。
　次に、特定部３３０は、直前に用いた揺らぎ強度に基づいてパラメータを設定する（Ｓ２１３）。具体的には、特定部３３０は、揺らぎ強度が大きい程、規定回数を大きな値に設定し、揺らぎ強度が小さい程、規定回数を小さな値に設定する。
　最後に、特定部３３０は、２値化された差分画像にオープニング処理を行う（Ｓ２１４）。これにより、図７Ｄに示すように、移動体領域を適切に特定することができる。
　続いて、決定部３１０が行う揺らぎ強度の決定方法について、図８Ｃを用いて説明する。
　図８Ｃに示すように、決定部３１０は、第１入力画像に含まれる１つの画素である注目画素が移動体領域に含まれるか否かを判定する（Ｓ２２１）。注目画素が移動体領域に含まれる場合（Ｓ２２１でＹｅｓ）、別の画素を注目画素として領域の判定を行う。
　注目画素が移動体領域に含まれない場合（Ｓ２２１でＮｏ）、決定部３１０は、第１入力画像の注目画素がエッジの画素であるか否かを判定する（Ｓ２２２）。注目画素がエッジの画素である場合は、エッジの画素数を示すカウンタ値をインクリメントし、注目画素がエッジの画素ではない場合は、カウンタ値はそのままである。
　次に、決定部３１０は、第１入力画像の注目画素が差分画素であるか否かを判定する（Ｓ２２３）。具体的には、決定部３１０は、第１入力画像の注目画素と第２入力画像の注目画素との差分を算出し、算出した差分が所定の閾値以上であるか否かを判定する。差分が所定の閾値以上である場合は、隣接画像間の差分量を示すカウンタ値をインクリメントし、差分が所定の閾値より小さい場合は、カウンタ値はそのままである。
　次に、別の画素を注目画素として、第１入力画像の全画素に対して処理が完了するまで、領域の判定（Ｓ２２１）、エッジ判定（Ｓ２２２）及び差分判定（Ｓ２２３）を繰り返す。
　最後に、決定部３１０は、（式１）に基づいて揺らぎ強度を算出する（Ｓ２２４）。
　このように、移動体領域に含まれる画素を揺らぎ強度の算出対象として除外することで、移動体４０１の影響を少なくすることができる。したがって、より適切な揺らぎ強度を算出することができる。
　［４－２．補正後画像を用いる場合］
　次に、本実施の形態に係る画像処理装置３００ａの動作、具体的には、補正後画像を用いて入力画像の揺らぎを補正する処理について、図９Ａ～図９Ｃを用いて説明する。
　図９Ａは、本実施の形態に係る画像処理装置３００ａの動作を示すフローチャートである。図９Ｂは、本実施の形態に係る移動体領域を特定する処理を示すフローチャートである。図９Ｃは、本実施の形態に係る揺らぎ強度を決定する処理を示すフローチャートである。
　図９Ａに示すように、まず、決定部３１０ａ及び特定部３３０ａは、第１入力画像と前の補正後画像とを取得する（Ｓ１００ａ）。次に、特定部３３０ａは、移動体領域を特定する（Ｓ２１０ａ）。移動体領域の特定方法の詳細については、図９Ｂに示す通りである。
　具体的には、図９Ｂに示すように、まず、特定部３３０ａは、第１入力画像と前の補正後画像との差分を算出する（Ｓ２１１ａ）。以降の処理は、図８Ｂに示す特定部３３０の処理と同じである。
　次に、決定部３１０ａは、揺らぎ強度を決定する（Ｓ２２０ａ）。揺らぎ強度の決定方法の詳細については、図９Ｃを用いて後で説明する。
　以降は、実施の形態１に係る画像処理装置１００ａと同様に、パラメータ決定部１２２ａがパラメータを決定し（Ｓ１４０ａ）、揺らぎ補正部１２１ａは、決定されたパラメータを用いて第１入力画像の揺らぎを補正する（Ｓ１６０ａ）。
　ここで、決定部３１０ａが行う揺らぎ強度の決定方法について、図９Ｃを用いて説明する。
　図９Ｃに示すように、決定部３１０ａは、第１入力画像に含まれる１つの画素である注目画素が移動体領域に含まれるか否かを判定する（Ｓ２２１）。注目画素が移動体領域に含まれる場合（Ｓ２２１でＹｅｓ）、別の画素を注目画素として領域の判定を行う。
　注目画素が移動体領域に含まれない場合（Ｓ２２１でＮｏ）、決定部３１０ａは、補正後画像の注目画素がエッジの画素であるか否かを判定する（Ｓ２２２ａ）。注目画素がエッジの画素である場合は、エッジの画素数を示すカウンタ値をインクリメントし、注目画素がエッジの画素ではない場合は、カウンタ値はそのままである。
　次に、決定部３１０ａは、第１入力画像の注目画素が差分画素であるか否かを判定する（Ｓ２２３ａ）。具体的には、決定部３１０ａは、第１入力画像の注目画素と補正後画像の注目画素との差分を算出し、算出した差分が所定の閾値以上であるか否かを判定する。差分が所定の閾値以上である場合は、隣接画像間の差分量を示すカウンタ値をインクリメントし、差分が所定の閾値より小さい場合は、カウンタ値はそのままである。
　次に、別の画素を注目画素として、第１入力画像の全画素に対して処理が完了するまで、領域の判定（Ｓ２２１）、エッジ判定（Ｓ２２２ａ）及び差分判定（Ｓ２２３ａ）を繰り返す。
　最後に、決定部３１０は、（式１）に基づいて揺らぎ強度を算出する（Ｓ２２４）。
　このように、移動体領域に含まれる画素を揺らぎ強度の算出対象として除外することで、移動体４０１の影響を少なくすることができる。したがって、より適切な揺らぎ強度を算出することができる。
　［５．まとめ］
　以上のように、本実施の形態に係る画像処理装置３００は、さらに、入力画像と前のフレームとの間で動く移動体を含む移動体領域を特定する特定部３３０を備え、決定部３１０は、移動体領域以外の領域を用いて揺らぎ強度を決定する。
　これにより、移動体領域以外の領域を用いて揺らぎ強度を決定するので、入力画像に動きのある移動体が含まれる場合であっても適切に揺らぎ強度を決定し、揺らぎを適切に補正することができる。
　また、例えば、特定部３３０は、第１入力画像と前のフレームとの間で差分値が閾値以上である画素から構成される差分領域のうち、所定の面積以上の閉じた領域を移動体領域として特定する。
　一般には、揺らぎの振幅（すなわち、揺らぎによるエッジのずれ量）は、移動体による動き量に比べて小さいことが多いので、差分領域のうち、所定の面積以上の閉じた領域が移動体領域とみなすことができる。このため、移動体領域を適切に特定することができる。
　また、例えば、特定部３３０は、決定部３１０によって決定された揺らぎ強度に応じて、所定の面積に対応するパラメータを設定する。
　これにより、差分領域から移動体領域を特定するための閾値となるパラメータを、揺らぎ強度に応じて決定するので、適切に移動体領域を特定することができる。これにより、揺らぎ強度を高精度で決定することができ、揺らぎをより適切に補正することができる。
　（実施の形態３）
　以下、図１０Ａ～図１３を用いて、実施の形態３について説明する。
　［１．画像処理装置の概要］
　まず、本実施の形態に係る画像処理装置の構成について、図１０Ａ及び図１０Ｂを用いて説明する。図１０Ａ及び図１０Ｂは、本実施の形態に係る画像処理装置の構成例を示すブロック図である。
　本実施の形態に係る画像処理装置５００及び５００ａは、入力画像に移動体が含まれる場合に、より適切に揺らぎを補正することができる装置である。
　実施の形態２に係る画像処理装置３００及び３００ａでは、例えば、図７Ｃに示すように、差分領域４２１は、十分に移動体４０１の動きを表せていない。したがって、より高精度に移動体領域を特定することが求められる。
　なお、実施の形態１及び２と同様に、本実施の形態に係る画像処理装置においても、複数のフレームの画像の１つとして、補正後画像を用いない場合と、補正後画像を用いる場合とでは、処理が異なる。
　以下では、補正後画像を用いない場合の画像処理装置５００の構成について、図１０Ａを用いて説明する。また、補正後画像を用いる場合の画像処理装置５００ａの構成について、図１０Ｂを用いて説明する。
　［２．画像処理装置の詳細な構成］
　図１０Ａに示すように、画像処理装置５００は、図６Ａに示す画像処理装置３００と比較して、特定部３３０の代わりに特定部５３０を備える点と、新たに生成部５４０を備える点とが異なっている。また、図１０Ｂに示すように、画像処理装置５００ａは、図６Ｂに示す画像処理装置３００ａと比較して、特定部３３０ａの代わりに特定部５３０を備える点と、新たに生成部５４０を備える点とが異なっている。以下では、異なる点を中心に説明し、同じ点は説明を省略する場合がある。
　［２－１．生成部］
　図１０Ａ及び図１０Ｂに示す生成部５４０は、入力画像を用いて背景画像を生成する。背景画像は、移動体を含まない画像である。具体的には、背景画像は、固定カメラで空間を撮影した場合に、移動体が写っていない画像である。背景画像には、揺らぎが十分に抑制されている、あるいは、発生していないことが好ましい。
　生成部５４０は、例えば、固定カメラで撮影した動画像から移動体を削除することで、背景画像を生成してもよい。具体的には、数百フレームなどの十分に多いフレーム数の画像を平均化することで、移動体を削除し、背景画像を生成することができる。この場合、撮影期間に揺らぎが発生していたとしても、平均化により揺らぎも除去することができるので、生成された背景画像は、揺らぎが十分に抑制されている。生成部５４０は、その他、いかなる手法を用いて背景画像を生成してもよい。
　［２－２．特定部］
　図１０Ａ及び図１０Ｂに示す特定部５３０は、入力画像と背景画像とを用いて移動体領域を特定する。具体的には、特定部５３０は、実施の形態２に係る特定部３３０と比較して、第２入力画像の代わりに背景画像を用いる点を除いて、詳細な動作などは同じである。
　［３．移動体領域の特定］
　続いて、移動体領域を特定する処理の詳細について、図１１Ａ～図１１Ｃを用いて説明する。
　図１１Ａは、本実施の形態に係る背景画像の一例を示す図である。図１１Ａに示すように、背景画像は、移動体を含まずに、動きのない物体４００（建物）を含んでいる。
　図１１Ｂは、本実施の形態に係る差分画像の一例を示す図である。具体的には、図１１Ｂは、図１１Ａに示す背景画像と図７Ｂに示す第１入力画像との差分である差分画像を示している。
　差分画像には、背景画像にはない物が差分領域として現れる。具体的には、差分画像には、揺らぎによるエッジのずれ量による差分領域６２０と、移動体４０１による差分領域６２１とが現れる。つまり、背景画像には移動体４０１は含まれないので、移動体４０１そのものが差分領域６２１として現れる。
　図１１Ｃは、本実施の形態に係るオープニング処理を行った差分画像の一例を示す図である。図１１Ｃと図７Ｄとを比較して分かるように、オープニング処理を行うことで、より正確に移動体領域（差分領域６２１）を特定することができている。このように、背景画像を用いることで、移動体領域の高精度な特定が可能になる。
　［４．動作］
　［４－１．補正後画像を用いない場合］
　続いて、本実施の形態に係る画像処理装置５００及び５００ａの動作について、図１２Ａ～図１３を用いて説明する。まず、本実施の形態に係る画像処理装置５００の動作、具体的には、補正後画像を用いずに入力画像の揺らぎを補正する処理について、図１２Ａ及び図１２Ｂを用いて説明する。
　図１２Ａは、本実施の形態に係る画像処理装置５００の動作を示すフローチャートである。図１２Ｂは、本実施の形態に係る移動体領域を特定する処理を示すフローチャートである。
　図１２Ａに示すように、まず、決定部３１０及び特定部５３０は、複数の入力画像を取得する（Ｓ１００）。次に、生成部５４０は、背景画像を生成する（Ｓ３０５）。なお、背景画像が予め生成されてメモリなどに格納されている場合は、生成部５４０は、背景画像をメモリなどから読み出して取得すればよい。
　次に、特定部５３０は、移動体領域を特定する（Ｓ３１０）。移動体領域の特定方法の詳細については、図１２Ｂを用いて後で説明する。
　以降の処理は、図８Ａに示す画像処理装置３００の動作と同様であるので、説明を省略する。
　ここで、特定部５３０が行う移動体領域の特定方法について、図１２Ｂを用いて説明する。
　図１２Ｂに示すように、特定部５３０は、第１入力画像と背景画像との差分を算出する（Ｓ３１１）。なお、以降の処理は、図８Ｂに示す特定部３３０の処理と同じである。
　このように、移動体を含まない背景画像との差分を算出することで、移動体領域の高精度な特定が可能となる。
　［４－２．補正後画像を用いる場合］
　続いて、本実施の形態に係る画像処理装置５００ａの動作、具体的には、補正後画像を用いて入力画像の揺らぎを補正する処理について、図１３を用いて説明する。
　図１３に示すように、まず、決定部３１０ａ及び特定部５３０は、第１入力画像と前の補正後画像とを取得する（Ｓ１００ａ）。以降の処理は、図９Ａ及び図１２Ａと同様であるので、説明を省略する。
　［５．まとめ］
　以上のように、本実施の形態に係る画像処理装置５００では、特定部５３０は、第１入力画像と移動体を含まない背景画像とを用いて移動体領域を特定する。
　これにより、第１入力画像と背景画像との差分を算出することで、背景画像には移動体が含まれないので、移動体領域を精度良く特定することができる。したがって、揺らぎ強度を適切に決定することができ、第１入力画像の揺らぎをより適切に補正することができる。
　（他の実施の形態）
　以上のように、本出願において開示する技術の例示として、実施の形態を説明した。しかしながら、本開示における技術は、これに限定されず、適宜、変更、置き換え、付加、省略などを行った実施の形態にも適用可能である。また、上記実施の形態で説明した各構成要素を組み合わせて、新たな実施の形態とすることも可能である。
　そこで、以下では、他の実施の形態を例示する。
　例えば、上記の各実施の形態では、（式１）の算出結果が揺らぎ強度である例について示しているが、これに限らない。揺らぎ強度は、第１入力画像又は前のフレームに含まれるエッジの画素数に対する、第１入力画像と前のフレームとの画素値の差分が所定の閾値以上である画素数の比が大きい程、大きい値になればよい。
　また、上記の各実施の形態では、揺らぎ強度は、（式１）の算出結果であるので、連続的に変化する値となるが、これに限らない。例えば、揺らぎ強度は、図２に示すように「弱」、「中」、「強」などの離散的な値でもよい。例えば、決定部は、（式１）の算出結果が第１の範囲に含まれる値である場合に、揺らぎ強度を「弱」に決定し、（式１）の算出結果が第２の範囲（＞第１の範囲）に含まれる値である場合に、揺らぎ強度を「中」に決定してもよい。
　また、上記の各実施の形態では、エッジの画素数及び差分画素の画素数を用いて揺らぎ強度を決定する例について説明したがこれに限らない。エッジの画素数とは、エッジの量を示す値を意味し、例えば、エッジの長さなどでもよい。同様に、差分画素の画素数は、例えば、差分絶対値和などでもよい。
　また、上記の各実施の形態では、画像処理装置について説明したが、これに限らない。例えば、本開示は、上述した画像処理装置を備える監視カメラとして実現することもできる。例えば、図１４は、実施の形態の変形例に係る監視カメラの製品例を示す図である。本開示に係る監視カメラは、例えば、屋外を撮影するために設置されたカメラであり、一例として、交通量のモニタリングなどに利用することができる。
　あるいは、本開示に係る監視カメラは、水中を撮影する水中カメラとして実現することもできる。例えば、当該水中カメラは、水生生物の監視、又は、工場などで水中に浸されている物品などの検査に利用することができる。
　また、本開示は、画像処理方法として実現することもできる。例えば、本開示に係る画像処理方法は、動画像に含まれる入力画像の揺らぎを補正する画像処理方法であって、揺らぎの強さを示す揺らぎ強度を決定し、決定された揺らぎ強度に応じて入力画像の揺らぎを補正し、揺らぎ強度の決定では、入力画像又は当該入力画像より時間的に前のフレームに含まれるエッジの画素数に対する、入力画像と前のフレームとの画素値の差分が所定の閾値以上である画素数の比が大きい程、大きい値になる揺らぎ強度を決定する。
　なお、本開示に係る画像処理装置１００などを構成する各構成要素（決定部１１０、１１０ａ、３１０及び３１０ａ、補正部１２０及び１２０ａ、揺らぎ補正部１２１及び１２１ａ、パラメータ決定部１２２及び１２２ａ、特定部３３０、３３０ａ及び５３０、並びに、生成部５４０）は、ＣＰＵ（Ｃｅｎｔｒａｌ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）、ＲＡＭ、ＲＯＭ（Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）通信インターフェース、Ｉ／Ｏポート、ハードディスク、ディスプレイなどを備えるコンピュータ上で実行されるプログラムなどのソフトウェアで実現されてもよく、電子回路などのハードウェアで実現されてもよい。
　以上のように、本開示における技術の例示として、実施の形態を説明した。そのために、添付図面及び詳細な説明を提供した。
　したがって、添付図面及び詳細な説明に記載された構成要素の中には、課題解決のために必須な構成要素だけでなく、上記技術を例示するために、課題解決のためには必須でない構成要素も含まれ得る。そのため、それらの必須ではない構成要素が添付図面や詳細な説明に記載されていることをもって、直ちに、それらの必須ではない構成要素が必須であるとの認定をするべきではない。
　また、上述の実施の形態は、本開示における技術を例示するためのものであるから、請求の範囲又はその均等の範囲において種々の変更、置き換え、付加、省略などを行うことができる。
　本開示に係る画像処理装置、監視カメラ及び画像処理方法は、例えば、ビデオレコーダー、テレビ及びカメラなどに利用することができる。
１００、１００ａ、３００、３００ａ、５００、５００ａ　画像処理装置
１１０、１１０ａ、３１０、３１０ａ　決定部
１２０、１２０ａ、１２０ｂ　補正部
１２１、１２１ａ　揺らぎ補正部
１２２、１２２ａ、１２２ｂ　パラメータ決定部
１２３　画像先鋭化部
２００、２３０、４００　物体
２０１　背景
２１０　エッジ
２２０、２４０、４２０、４２１、６２０、６２１　差分領域
３３０、３３０ａ、５３０　特定部
４０１　移動体
５４０　生成部
 

Claims (12)

  1. 　動画像に含まれる第１入力画像の揺らぎを補正する画像処理装置であって、
    　前記揺らぎの強さを示す揺らぎ強度を決定する決定部と、
    　前記決定部によって決定された揺らぎ強度に応じて前記第１入力画像の揺らぎを補正する補正部とを備え、
    　前記決定部は、前記第１入力画像又は当該第１入力画像より時間的に前のフレームに含まれるエッジの画素数に対する、前記第１入力画像と前記前のフレームとの画素値の差分が所定の閾値以上である画素数の比が大きい程、大きい値になる前記揺らぎ強度を決定する
    　画像処理装置。
  2. 　前記前のフレームは、前記第１入力画像の前に入力された第２入力画像、又は、前記補正部が当該第２入力画像の揺らぎを補正することで生成した補正後画像である
    　請求項１に記載の画像処理装置。
  3. 　前記補正部は、
    　前記第１入力画像を含む複数のフレームの合成を行うことで、前記第１入力画像の揺らぎを補正する揺らぎ補正部と、
    　前記決定部によって決定された揺らぎ強度に応じて、前記合成に用いるパラメータを決定するパラメータ決定部とを含む
    　請求項２に記載の画像処理装置。
  4. 　前記揺らぎ補正部は、前記複数のフレームの平均化を、前記合成として行い、
    　前記パラメータ決定部は、前記決定部によって決定された揺らぎ強度に応じて、前記平均化に用いるフレーム数を、前記パラメータとして決定する
    　請求項３に記載の画像処理装置。
  5. 　前記揺らぎ補正部は、前記第１入力画像と前記補正後画像との重み付け加算を、前記合成として行い、
    　前記パラメータ決定部は、前記決定部によって決定された揺らぎ強度に応じて、前記重み付け加算の重みを、前記パラメータとして決定する
    　請求項３に記載の画像処理装置。
  6. 　前記補正部は、さらに、画像の先鋭化を行う画像先鋭化部を有し、
    　前記パラメータ決定部は、前記決定部によって決定された揺らぎ強度に応じて、前記先鋭化のためのフィルタサイズを、前記パラメータとして決定し、
    　前記画像先鋭化部は、前記パラメータ決定部によって決定されたフィルタサイズを用いて、揺らぎが補正された第１入力画像の先鋭化を行う
    　請求項３に記載の画像処理装置。
  7. 　前記画像処理装置は、さらに、前記入力画像と前記前のフレームとの間で動く移動体を含む移動体領域を特定する特定部を備え、
    　前記決定部は、前記移動体領域以外の領域を用いて前記揺らぎ強度を決定する
    　請求項１～６のいずれか１項に記載の画像処理装置。
  8. 　前記特定部は、前記第１入力画像と前記前のフレームとの間で差分値が閾値以上である画素から構成される差分領域のうち、所定の面積以上の閉じた領域を前記移動体領域として特定する
    　請求項７に記載の画像処理装置。
  9. 　前記特定部は、前記決定部によって決定された揺らぎ強度に応じて、前記所定の面積に対応するパラメータを設定する
    　請求項８に記載の画像処理装置。
  10. 　前記特定部は、前記第１入力画像と前記移動体を含まない背景画像とを用いて前記移動体領域を特定する
    　請求項７～９のいずれか１項に記載の画像処理装置。
  11. 　請求項１～１０のいずれか１項に記載の画像処理装置を備える監視カメラ。
  12. 　動画像に含まれる入力画像の揺らぎを補正する画像処理方法であって、
    　前記揺らぎの強さを示す揺らぎ強度を決定し、
    　決定された揺らぎ強度に応じて前記入力画像の揺らぎを補正し、
    　前記揺らぎ強度の決定では、前記入力画像又は当該入力画像より時間的に前のフレームに含まれるエッジの画素数に対する、前記入力画像と前記前のフレームとの画素値の差分が所定の閾値以上である画素数の比が大きい程、大きい値になる前記揺らぎ強度を決定する
    　画像処理方法。
PCT/JP2014/004802 2014-03-05 2014-09-18 画像処理装置、監視カメラ及び画像処理方法 WO2015132826A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2015521167A JP6041113B2 (ja) 2014-03-05 2014-09-18 画像処理装置、監視カメラ及び画像処理方法
EP14878397.0A EP3116213A4 (en) 2014-03-05 2014-09-18 Image processing apparatus, monitor camera, and image processing method
US14/808,658 US9569825B2 (en) 2014-03-05 2015-07-24 Image processing device, monitoring camera, and image processing method

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2014-043215 2014-03-05
JP2014043215 2014-03-05

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US14/808,658 Continuation US9569825B2 (en) 2014-03-05 2015-07-24 Image processing device, monitoring camera, and image processing method

Publications (1)

Publication Number Publication Date
WO2015132826A1 true WO2015132826A1 (ja) 2015-09-11

Family

ID=54054671

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2014/004802 WO2015132826A1 (ja) 2014-03-05 2014-09-18 画像処理装置、監視カメラ及び画像処理方法

Country Status (4)

Country Link
US (1) US9569825B2 (ja)
EP (1) EP3116213A4 (ja)
JP (1) JP6041113B2 (ja)
WO (1) WO2015132826A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020144835A (ja) * 2019-03-04 2020-09-10 キヤノン株式会社 画像内の乱流の影響を減少させるシステム及び方法
WO2021149484A1 (ja) * 2020-01-20 2021-07-29 ソニーグループ株式会社 画像生成装置、画像生成方法、および、プログラム

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6772000B2 (ja) * 2016-08-26 2020-10-21 キヤノン株式会社 画像処理装置、画像処理方法およびプログラム
AU2017202910A1 (en) * 2017-05-02 2018-11-22 Canon Kabushiki Kaisha Image processing for turbulence compensation
KR20190028103A (ko) * 2017-09-08 2019-03-18 삼성에스디에스 주식회사 비관심 객체에 대한 마스크 처리 방법 및 그 장치
JP7246900B2 (ja) * 2018-11-26 2023-03-28 キヤノン株式会社 画像処理装置、画像処理システム、撮像装置、画像処理方法、プログラム、および、記憶媒体
JP7263149B2 (ja) * 2019-06-26 2023-04-24 キヤノン株式会社 画像処理装置、画像処理方法、およびプログラム
US11301967B2 (en) 2019-08-27 2022-04-12 Samsung Electronics Company, Ltd. Intelligence-based editing and curating of images

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011229030A (ja) 2010-04-21 2011-11-10 Sony Corp 画像処理装置および方法、記録媒体、並びにプログラム
JP2013122639A (ja) * 2011-12-09 2013-06-20 Hitachi Kokusai Electric Inc 画像処理装置
JP2013236249A (ja) 2012-05-09 2013-11-21 Hitachi Kokusai Electric Inc 画像処理装置及び画像処理方法

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8339583B2 (en) * 2009-07-17 2012-12-25 The Boeing Company Visual detection of clear air turbulence
US8611691B2 (en) * 2009-07-31 2013-12-17 The United States Of America As Represented By The Secretary Of The Army Automated video data fusion method
JP2012090152A (ja) 2010-10-21 2012-05-10 Sanyo Electric Co Ltd 撮像装置および撮像方法
US8625005B2 (en) * 2010-11-05 2014-01-07 Raytheon Company First-in-first-out (FIFO) buffered median scene non-uniformity correction method
JP2012182625A (ja) 2011-03-01 2012-09-20 Nikon Corp 撮像装置
JP5810628B2 (ja) * 2011-05-25 2015-11-11 富士ゼロックス株式会社 画像処理装置及び画像処理プログラム
KR101306242B1 (ko) * 2012-03-26 2013-09-09 엠텍비젼 주식회사 영상의 시간적 잡음 제거 방법 및 장치
KR101279374B1 (ko) * 2012-11-27 2013-07-04 주식회사 카이넥스엠 카메라의 영상 개선을 위한 안개제거 영상 보정 장치 및 방법

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011229030A (ja) 2010-04-21 2011-11-10 Sony Corp 画像処理装置および方法、記録媒体、並びにプログラム
JP2013122639A (ja) * 2011-12-09 2013-06-20 Hitachi Kokusai Electric Inc 画像処理装置
JP2013236249A (ja) 2012-05-09 2013-11-21 Hitachi Kokusai Electric Inc 画像処理装置及び画像処理方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP3116213A4

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020144835A (ja) * 2019-03-04 2020-09-10 キヤノン株式会社 画像内の乱流の影響を減少させるシステム及び方法
WO2021149484A1 (ja) * 2020-01-20 2021-07-29 ソニーグループ株式会社 画像生成装置、画像生成方法、および、プログラム

Also Published As

Publication number Publication date
US20150332443A1 (en) 2015-11-19
US9569825B2 (en) 2017-02-14
EP3116213A1 (en) 2017-01-11
JPWO2015132826A1 (ja) 2017-03-30
JP6041113B2 (ja) 2016-12-07
EP3116213A4 (en) 2017-06-07

Similar Documents

Publication Publication Date Title
JP6041113B2 (ja) 画像処理装置、監視カメラ及び画像処理方法
CN107533753B (zh) 图像处理装置
JP6697684B2 (ja) 画像処理装置、画像処理方法、及び画像処理回路
KR101633377B1 (ko) 다중 노출에 의한 프레임 처리 방법 및 장치
JP5389903B2 (ja) 最適映像選択
US10726539B2 (en) Image processing apparatus, image processing method and storage medium
JP6505237B2 (ja) 画像処理装置
US20200311981A1 (en) Image processing method, image processing apparatus, image processing system, and learnt model manufacturing method
JP2006129236A (ja) リンギング除去装置およびリンギング除去プログラムを記録したコンピュータ読み取り可能な記録媒体
EP3016383B1 (en) Method, device, and system for pre-processing a video stream for subsequent motion detection processing
US7551795B2 (en) Method and system for quantization artifact removal using super precision
WO2014069103A1 (ja) 画像処理装置
EP2575348A2 (en) Image processing device and method for processing image
JP6127282B2 (ja) 画像処理装置、画像処理方法及びそれを実行させるためのプログラム
US20080025628A1 (en) Enhancement of Blurred Image Portions
JP2008160733A (ja) 撮像装置、撮像信号処理方法及びプログラム
JP2001331806A (ja) 画像処理方式
JP2015207090A (ja) 画像処理装置、及びその制御方法
JP2018033080A (ja) 画像処理装置、画像処理方法およびプログラム
US9589324B1 (en) Overshoot protection of upscaled images
CN115035311A (zh) 基于可见光与热红外融合的托辊检测方法
US10733708B2 (en) Method for estimating turbulence using turbulence parameter as a focus parameter
CN103841312B (zh) 物体侦测装置及方法
US11403736B2 (en) Image processing apparatus to reduce noise in an image
Goto et al. Image restoration method for non-uniform blurred images

Legal Events

Date Code Title Description
ENP Entry into the national phase

Ref document number: 2015521167

Country of ref document: JP

Kind code of ref document: A

REEP Request for entry into the european phase

Ref document number: 2014878397

Country of ref document: EP

WWE Wipo information: entry into national phase

Ref document number: 2014878397

Country of ref document: EP

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 14878397

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE