WO2021117148A1 - 画像処理装置、画像処理方法及びプログラム - Google Patents

画像処理装置、画像処理方法及びプログラム Download PDF

Info

Publication number
WO2021117148A1
WO2021117148A1 PCT/JP2019/048362 JP2019048362W WO2021117148A1 WO 2021117148 A1 WO2021117148 A1 WO 2021117148A1 JP 2019048362 W JP2019048362 W JP 2019048362W WO 2021117148 A1 WO2021117148 A1 WO 2021117148A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
frame image
frame
map
moving object
Prior art date
Application number
PCT/JP2019/048362
Other languages
English (en)
French (fr)
Inventor
佐藤　秀彦
Original Assignee
株式会社ソシオネクスト
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社ソシオネクスト filed Critical 株式会社ソシオネクスト
Priority to PCT/JP2019/048362 priority Critical patent/WO2021117148A1/ja
Priority to JP2021563501A priority patent/JP7480787B2/ja
Publication of WO2021117148A1 publication Critical patent/WO2021117148A1/ja
Priority to US17/834,535 priority patent/US20220301191A1/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G06T7/248—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/215—Motion-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/14—Picture signal circuitry for video frequency region
    • H04N5/21—Circuitry for suppressing or minimising disturbance, e.g. moiré or halo
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20172—Image enhancement details
    • G06T2207/20182—Noise reduction or smoothing in the temporal domain; Spatio-temporal filtering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20224—Image subtraction

Definitions

  • the present invention relates to an image processing apparatus, an image processing method and a program.
  • the image processing apparatus disclosed in the present application has, in one embodiment, a first frame image among a plurality of continuously input frame images and the latest past that is continuous with the first frame image in chronological order.
  • a first generation unit that generates a first motion map showing an existing region of a moving object included in the frame image from the second frame image of the frame, and a frame past the first frame image. By subtracting the first movement map from the past map image showing the existing area of the moving object included in the image, a second moving object passing map showing the moving body passing area through which the moving object has passed is generated.
  • a third generation unit that generates a second motion map by integrating the generation unit, the first motion map, and the moving object passage map multiplied by the first value, and the second motion map. Based on the above, the first frame image and the second frame image are provided with an adjusting unit for adjusting parameters related to noise reduction processing.
  • FIG. 1 is a diagram showing an example of the configuration of the image processing apparatus according to the first embodiment.
  • FIG. 2 is a diagram showing an example of the function of the afterimage processing unit of the first embodiment.
  • FIG. 3 is a diagram for explaining an example of a parameter adjustment method according to the first embodiment.
  • FIG. 4 is an explanatory diagram for explaining the overall operation of the image processing apparatus according to the first embodiment.
  • FIG. 5 is an explanatory diagram for explaining the operation of the first generation unit and the afterimage processing unit according to the first embodiment.
  • FIG. 6 is a flowchart showing an example of processing performed by the first generation unit, the afterimage processing unit, and the synthesis processing unit of the first embodiment.
  • FIG. 7 is an explanatory diagram for explaining the overall operation of the image processing apparatus according to the first modification of the first embodiment.
  • FIG. 8 is a diagram showing an example of the configuration of the image processing apparatus according to the second modification of the first embodiment.
  • FIG. 9 is an explanatory diagram for explaining the overall operation of the image processing apparatus according to the second modification of the first embodiment.
  • FIG. 10 is a diagram showing an example of the configuration of the image processing apparatus according to the second embodiment.
  • FIG. 11 is a diagram showing an example of the function of the afterimage processing unit of the second embodiment.
  • FIG. 12 is an explanatory diagram for explaining the overall operation of the image processing apparatus according to the second embodiment.
  • FIG. 13 is an explanatory diagram for explaining the operation of the first generation unit and the afterimage processing unit according to the second embodiment.
  • FIG. 14 is a flowchart showing an example of processing performed by the first generation unit, the afterimage processing unit, and the synthesis processing unit of the second embodiment.
  • FIG. 1 is a diagram showing an example of the configuration of the image processing device 1 according to the present embodiment.
  • the image processing device 1 is an image processing device capable of sequentially performing three-dimensional noise reduction (3DNR) processing on a plurality of frame images that are continuously input.
  • 3DNR three-dimensional noise reduction
  • the image processing device 1 outputs a moving image in which noise included in the frame image is reduced by performing three-dimensional noise reduction processing on a moving image composed of a plurality of frame images.
  • the latest frame image (current frame) in chronological order will be referred to as a frame image Image (n).
  • the frame image past or future from the current frame is expressed based on the index "n" of the current frame.
  • a frame image one frame past from the current frame is referred to as Image (n-1).
  • Image (n + 1) a frame image one frame from the current frame in the future is expressed as Image (n + 1).
  • the image processing apparatus 1 includes a first 2DNR processing unit 11, a second 2DNR processing unit 12, a first generation unit 13, an afterimage processing unit 14, and a composition processing unit 15. To be equipped.
  • the first 2DNR processing unit 11 and the second 2DNR processing unit 12 are examples of the two-dimensional noise reduction processing unit.
  • the first generation unit 13 is an example of the first generation unit.
  • the synthesis processing unit 15 is an example of the synthesis processing unit.
  • the first 2DNR processing unit 11, the second 2DNR processing unit 12, and the synthesis processing unit 15 function as the 3DNR processing unit 16 which is an example of the three-dimensional noise reduction processing unit.
  • a part or all of the first 2DNR processing unit 11, the second 2DNR processing unit 12, the first generation unit 13, the afterimage processing unit 14, and the synthesis processing unit 15 have a hardware configuration such as a dedicated circuit or the like. May be realized by. Further, a part or all of the first 2DNR processing unit 11, the second 2DNR processing unit 12, the first generation unit 13, the afterimage processing unit 14, and the synthesis processing unit 15 are processors included in a computer such as a microcomputer. And, it may be realized by a software configuration in collaboration with a program. Examples of processors include CPU (Central Processing Unit), DSP (Digital Signal Processor), FPGA (Field Programmable Gate Array), GPU (Graphics Processing Unit), and the like.
  • CPU Central Processing Unit
  • DSP Digital Signal Processor
  • FPGA Field Programmable Gate Array
  • GPU Graphics Processing Unit
  • the image processing device 1 includes a first storage unit 21 and a second storage unit 22.
  • the first storage unit 21 and the second storage unit 22 are storage devices such as, for example, an SDRAM (Synchronous Dynamic Random Access Memory).
  • the first storage unit 21 and the second storage unit 22 may be realized by individual storage devices, or may be realized by two storage areas provided in the same storage device.
  • the first 2DNR processing unit 11 executes two-dimensional noise reduction (2DNR) processing on the frame image Image (n) of the current frame.
  • 2DNR two-dimensional noise reduction
  • the first 2DNR processing unit 11 smoothes the pixels constituting the Image (n) in units of pixel blocks such as “3 ⁇ 3”, “5 ⁇ 5”, and “7 ⁇ 7”.
  • the frame image Image (n) is a color of 24 bits or more in which the pixel value is represented by a multi-value of 8 bits or more (10 bits, 12 bits, etc.) for each color of RGB or YCbCr (luminance and saturation), for example. It is an image.
  • the second 2DNR processing unit 12 executes the same 2DNR processing as the first 2DNR processing unit 11 on the frame image Image (n-1) one frame past the current frame.
  • the frame image Image (n-1) is a three-dimensional noise reduction (3DNR) process described later, which is generated based on the preceding frame image Image (n-1) and the frame image Image (n-2).
  • 3DNR three-dimensional noise reduction
  • the frame image DNR_Image (n-1) is, for example, 24 bits or more in which the value of each color of RGB or YCbCr (luminance and saturation) is represented by a multi-value of 8 bits or more (10 bits, 12 bits, etc.). It is a color image.
  • the first 2DNR processing unit 11 sends a detection signal for detecting the frame image Image (n) to the second 2DNR processing unit 12.
  • the second 2DNR processing unit 12 receives the detection signal and reads out the frame image DNR_Image (n-1) from the second storage unit 22.
  • the method for reading the frame image DNR_Image (n-1) is not limited to this.
  • an input (not shown) that collectively controls the input timing of the frame image Image (n) and the read timing of the frame image DNR_Image (n-1) from the second storage unit 22 inside or outside the image processing device 1.
  • An output control unit may be provided.
  • the first generation unit 13 is based on the frame image Image (n) and the frame image Image (n-1), and the first motion map Mask (n) showing the existence region of the moving object included between the frame images. ) Is generated.
  • the frame image Image (n-1) is a three-dimensional noise reduction (3DNR) process described later, which is generated based on the preceding frame image Image (n-1) and the frame image Image (n-2). Corresponds to the completed frame image DNR_Image (n-1).
  • the first generation unit 13 when the first generation unit 13 detects the frame image Image (n), the first generation unit 13 reads the frame image DNR_Image (n-1) from the second storage unit 22.
  • the method for reading the frame image DNR_Image (n-1) is not limited to this.
  • an input (not shown) that collectively controls the input timing of the frame image Image (n) and the read timing of the frame image DNR_Image (n-1) from the second storage unit 22 inside or outside the image processing device 1.
  • An output control unit may be provided.
  • the first generation unit 13 compares the frame image Image (n) and the frame image Image (n-1), and expresses the difference between the values of the pixels at the same pixel position as a multi-value such as binary or 8-bit.
  • the resulting image is generated as a first motion map Mask (n).
  • the first generation unit 13 generates a first motion map Mask (n) of a black-and-white image in which the pixel position where the difference between the pixel values is smaller than the threshold value is represented by 0 and the pixel position above the threshold value is represented by 1. .. Further, for example, the first generation unit 13 generates a first motion map Mask (n) of a monochrome image in which the pixel positions of the pixels are represented by multiple values such as 0 to 255 according to the difference between the pixels.
  • the first motion map Mask (n) is not limited to a black-and-white image or a monochrome image, and may be a color image having a color component such as RGB.
  • the first motion map Mask (n) generated in this way indicates the pixel positions of the region where the moving object exists in the frame image Image (n) and the frame image Image (n-1). Further, since the first motion map Mask (n) is a black-and-white image or a monochrome image, the bit depth of the first motion map Mask (n) is the original frame image Image (n) and the frame image Image (n). It is lower than the bit depth of -1). That is, since the afterimage processing unit 14 after the first generation unit 13 can proceed with the processing based on the first motion map Mask (n) whose bit depth is reduced, the memory capacity related to the processing and the memory capacity related to the processing can be increased. The processing load can be suppressed.
  • the afterimage processing unit 14 is input with a first motion map Mask (n) related to the current frame and a second motion map Mask (n-1) related to a past frame one frame past the current frame, which will be described later. Will be done. Specifically, when the afterimage processing unit 14 detects the first motion map Mask (n) from the first generation unit 13, the second motion map Mask (n-1) described later from the first storage unit 21 ) Is read.
  • the method of reading the second motion map MergeMask (n-1) is not limited to this.
  • the input timing of the first motion map Mask (n) and the read timing of the second motion map Mask (n-1) from the first storage unit 21 are summarized inside or outside the image processing device 1.
  • An input / output control unit (not shown) may be provided for control.
  • the afterimage processing unit 14 extracts a region through which the moving object has passed (moving object passing region) based on the first motion map Mask (n) and the second motion map MergeMask (n-1) described later, and presents the present. A second motion map MergeMask (n) related to the frame is generated. Then, the afterimage processing unit 14 adjusts the parameters related to the 3DNR processing of the 3DNR processing unit 16 based on the second motion map MergeMask (n).
  • the afterimage processing unit 14 has the functional configuration shown in FIG. 2 in order to realize the above-mentioned functions.
  • FIG. 2 is a diagram showing an example of the function of the afterimage processing unit 14.
  • the afterimage processing unit 14 has a second generation unit 141, a third generation unit 142, and an adjustment unit 143.
  • the second generation unit 141 is an example of the second generation unit.
  • the third generation unit 142 is an example of the third generation unit.
  • the second generation unit 141 subtracts the first motion map Mask (n) from the second motion map MergeMask (n-1), thereby indicating the moving object passing region through which the moving object has passed. n) is generated. Specifically, the second generation unit 141 is based on the values of each pixel constituting the second motion map MergeMask (n-1), and the first motion map Mask (n) located at the same pixel position as the pixel. Subtract the pixel value of. Then, the second generation unit 141 determines that it is a moving object passing region when the subtracted value becomes a positive value, and associates each pixel position with a value corresponding to the subtraction result, and the moving object passing map PassMask (n). To generate.
  • each pixel constituting the moving object passage map PassMask (n) is associated with a multi-value such as a binary value or an 8-bit value according to the subtraction result.
  • the second generation unit 141 generates a binary moving object passage map PassMask (n) of a black-and-white image in which the pixel position where the pixel difference is 0 or less is represented by 0 and the pixel position where the pixel difference is larger than 0 is represented by 1. Generate. Further, for example, the second generation unit 141 represents the pixel position where the pixel difference is 0 or less as 0, and the pixel position of the pixel whose pixel difference is larger than 0 is set to a multi-value such as 0 to 255 according to the difference. A moving object passage map PassMask (n) of the represented monochrome image is generated.
  • the moving object represented by the first movement map Mask (n) has passed until the state of the first movement map Mask (n) is reached. It indicates the pixel position of the area (moving object passing area). Further, since the moving object passing map PassMask (n) is a black-and-white image or a monochrome image, the bit depth of the moving object passing map PassMask (n) is the same as that of the original frame image Image (n) and the frame image Image (n-1). It will be lower than the bit depth.
  • the processing can proceed based on the moving object passage map PassMask (n) whose bit depth is reduced, so that the memory capacity related to the processing and the memory capacity related to the processing can be increased.
  • the processing load can be suppressed.
  • the third generation unit 142 relates to the current frame by integrating (hereinafter, also referred to as merging) the first motion map Mask (n) and the moving object passage map PassMask (n) multiplied by a predetermined intensity.
  • a second motion map, MergeMask (n) is generated.
  • the third generation unit 142 merges the first motion map Mask (n) and the moving object passage map PassMask (n) for each pixel at the same pixel position based on the following equation (1). ..
  • MergeMask (n) Mask (n) + ⁇ PMRATIO x PassMask (n) ⁇ ... (1)
  • PMRATIO is an afterimage suppression strength.
  • the afterimage suppression strength corresponds to the first value and is an element that contributes to the parameter adjustment in the adjustment unit 143, which will be described later.
  • the afterimage suppression intensity is set to a value larger than "0.0" and smaller than "1.0".
  • the value of the afterimage suppression strength can be set arbitrarily, it may be configured to be set automatically.
  • the third generation unit 142 may be configured to increase or decrease the afterimage suppression intensity according to the size of the moving body passing region represented by the moving body passing map PassMask (n). In this case, it is preferable that the third generation unit 142 increases the afterimage suppression strength as the moving object passing region becomes larger.
  • the second motion map MergeMask (n) generated based on the above equation (1) includes the existing region of the moving object represented by the first motion map Mask (n) and the passage of the moving object through which the moving object has passed. It indicates the pixel position of the area.
  • the value of each pixel constituting the moving body passing region is given a larger value as the moving body passing region is closer in time series.
  • the value of each pixel constituting the second motion map MergeMask (n) is also referred to as motion information.
  • the second motion map MergeMask (n) generated by the third generation unit 142 is delivered to the adjustment unit 143 and stored in the first storage unit 21 (see FIG. 1).
  • the first motion map Mask (n + 1) related to the frame image Image (n + 1) of the next frame is input to the afterimage processing unit 14.
  • the first storage unit 21 displays the second motion map MergeMask (n-1) generated for the past frame one frame past when viewed from the newly input latest frame image Image (n).
  • the latest first motion map Mask (n) is the afterimage processing unit 14. Is input to the afterimage processing unit 14.
  • the second motion map MergeMask (for example, n-1) generated for the preceding two frame images is generated as a past frame. It is recursively used as a past map image related to. Then, the second generation unit 141 generates the moving object passage map PassMask (n) by subtracting the first motion map Mask (for example, n) related to the newly input current frame from the past map image. To do.
  • the adjustment unit 143 adjusts the parameters related to the 3DNR processing of the 3DNR processing unit 16 based on the second movement map MergeMask (n) related to the current frame. In the present embodiment, the adjustment unit 143 adjusts the parameter PR1 related to the operation of the synthesis processing unit 15.
  • the adjusting unit 143 combines the frame image Image (n) and the frame image Image (n-1) based on the motion information of each pixel constituting the second motion map MergeMask (n). Is adjusted in pixel units.
  • the adjustment unit 143 adjusts the parameter PR1 so that the larger the value of the motion information, the larger the composition ratio of the frame image Image (n) of the current frame.
  • FIG. 3 is a diagram for explaining an example of the adjustment method of the parameter PR1.
  • the vertical axis represents the composite ratio (%) of the frame image Image (n) of the current frame.
  • the horizontal axis means the value of motion information. Note that FIG. 3 shows an example in which motion information is represented by a value from 0 to 255, but the present invention is not limited to this.
  • the adjustment unit 143 determines the composition ratio of the frame image Image (n) at the corresponding pixel position based on the value of the motion information of each pixel constituting the second motion map MergeMask (n). decide.
  • the composition ratio of the frame image Image (n) is 10% for the pixels whose motion information value is “0”, that is, the pixels in the stationary region other than the moving object existing region and the moving object passing region.
  • the parameter PR1 is adjusted so as to be. Further, for example, the adjustment unit 143 adjusts the parameter PR1 so that the composition ratio of the frame image Image (n) is 55% for the pixel whose motion information value is “100”. Further, the adjustment unit 143 adjusts the parameter PR1 so that the ratio of the frame image Image (n) is 100% for the pixels whose motion information value is “200” or more.
  • FIG. 3 shows an example in which the composition ratio of the frame image Image (n) is increased in proportion to the value of the motion information, but the adjustment method of the composition parameters is not limited to this.
  • the composition ratio of the frame image Image (n) may be increased stepwise according to the value of the motion information.
  • the 2DNR-completed frame image Image (n) and the frame image Image (n-1) processed by the first 2DNR processing unit 11 and the second 2DNR processing unit 12 Is entered.
  • the compositing processing unit 15 executes a compositing process (also referred to as alpha blending) in which the frame image Image (n) and the frame image Image (n-1) are combined based on the parameter PR1 instructed by the afterimage processing unit 14.
  • the composition processing unit 15 pixels the composition ratio of the frame image Image (n) and the frame image Image (n-1) based on the parameter PR1 instructed by the afterimage processing unit 14 (adjustment unit 143). Set in units. Then, the compositing processing unit 15 synthesizes the frame image Image (n) and the frame image Image (n-1) at the set compositing ratio, and outputs the 3DNR-completed frame image DNR_Image (n).
  • the 3DNR processing unit 16 including the first 2DNR processing unit 11, the second 2DNR processing unit 12, and the synthesis processing unit 15 performs 3DNR processing based on the current frame and the past frame past the current frame. To execute.
  • noise may be generated in the stationary region after the moving object has passed, that is, the moving object passing region.
  • the moving body passing region through which the moving body has passed in the past frame is treated as a mere stationary region in the current frame. Further, since the composite ratio of the current frame and the past frame in the stationary region is larger in the past frame, the influence of the past frame becomes dominant.
  • the moving object existing in the past frame remains in the frame image after composition, and this remaining part may generate noise (afterimage noise) that trails behind the moving object. It was. Further, since the processing result of the 2DNR processing performed in the past frame is strongly reflected in the moving object passing region in the current frame, there is a possibility that the resolution deterioration due to the 2DNR processing may appear in the frame image after synthesis.
  • the image processing device 1 of the present embodiment extracts the existing region of the moving object and the moving object passing region of the moving object from the frame images of at least the latest three frames. Then, the image processing device 1 sets the frame image Image (n) and the frame image based on the second motion map MergeMask (n) in which the existing region of the moving object and the moving object passing region multiplied by the afterimage suppression intensity are merged. The synthesis ratio with Image (n-1) is adjusted.
  • the composition ratio of the frame image Image (n) in the moving object passing region can be adjusted to be larger than that of the frame image Image (n-1).
  • the afterimage noise generated in the moving object passing region is derived from the past frame rather than the current frame. Therefore, the afterimage noise can be reduced by increasing the composition ratio of the frame image Image (n) of the current frame.
  • the pixel having a larger value of motion information that is, the pixel having a high possibility of remaining after compositing, can increase the compositing ratio of the frame image Image (n), so that the afterimage noise derived from the past frame can be efficiently eliminated. Can be reduced to.
  • the frame image DNR_Image (n) after 3DNR is output from the image processing device 1 to an external device such as a display device, and is stored in the second storage unit 22.
  • the frame image DNR_Image (n) stored in the second storage unit 22 is used when the frame image Image (n + 1) of the next frame is input to the first 2DNR processing unit 11 and the first generation unit 13.
  • the frame image Image (n) is input to the second 2DNR processing unit 12 and the first generation unit 13. That is, the second storage unit 22 stores the frame image DNR_Image (n-1) generated for the past frame one frame past when viewed from the newly input latest frame image Image (n). keeping.
  • the latest frame image Image (n) is the first 2DNR processing unit 11 and the first. Is input to the second 2DNR processing unit 12 and the first generation unit 13 as a frame image Image (n-1).
  • the 3DNR-completed frame image DNR_Image (for example, n-1) generated for the preceding two frame images is the past frame. Is used recursively as a frame image Image (eg, n-1) of.
  • FIG. 4 is an explanatory diagram for explaining the overall operation of the image processing device 1.
  • FIG. 5 is an explanatory diagram for explaining the operation of the first generation unit 13 and the afterimage processing unit 14.
  • FIG. 4 the operations of the first 2DNR processing unit 11, the second 2DNR processing unit 12, the first generation unit 13, the afterimage processing unit 14, and the composition processing unit 15 are in the left region divided by the broken line. Is shown. Further, in the area on the right side divided by the broken line, the first storage unit 21 and the second storage unit 22 shown in FIG. 1 are shown.
  • the frame images Image (n-2) to Image (n) mean three consecutive frame images in chronological order.
  • the hatched area in the frame image means a position where a moving object exists, and represents a state in which the same moving object moves from the left side to the right side in the figure.
  • the codes A to D attached to each of the moving objects are identifiers for identifying which frame image the moving object is derived from.
  • the moving object B is a moving object included in the frame image Image (n-2)
  • the moving object C is a moving object included in the frame image Image (n-1).
  • the moving object A means a moving object included in a frame image Image (n-3) (not shown).
  • 3DNR processing has been completed up to the stage of the frame image Image (n-1) one frame past the current frame, that is, the first motion map Mask (n-1), the second. It is assumed that the motion map MergeMask (n-1) and the 3DNR-completed frame image DNR_Image (n-1) have been generated.
  • the first generation unit 13 is based on the frame image Image (n) of the current frame and the frame image Image (n-1) one frame past the current frame, and the first motion map Mask (n). ) Is generated (step S11).
  • the frame image image (n-1) one frame past is corresponding to the frame image DNR_Image (n-1) that has been 3DNR related to the past frame one frame past stored in the second storage unit 22. Is.
  • the first motion map Mask (n) is an existing region in which a moving object exists in both the frame image Image (n) and the frame image Image (n-1), as shown in FIG. It becomes an image showing.
  • the second generation unit 141 is the first movement map MergeMask (n-1) relating to the past frame one frame stored in the first storage unit 21 to obtain the first frame relating to the current frame.
  • the moving object passage map PassMask (n) is generated (step S12).
  • the moving body passage map PassMask (n) is a first movement map from the existing area of the moving object and the moving body passing area represented by the second movement map MergeMask (n-1).
  • the image is obtained by removing the existing region of the moving object represented by Mask (n). That is, in the moving object passage map PassMask (n), at least the existing region of the moving object included in the frame image Image (n-2) past the frame image Image (n-1) is represented as the moving object passing region. become.
  • the third generation unit 142 merges the moving object passage map PassMask (n) multiplied by the afterimage suppression intensity into the first movement map Mask (n) based on the above equation (1).
  • a second motion map, MergeMask (n), is generated (step S13).
  • the second motion map MergeMask (n) becomes an image obtained by merging the existing region of the moving object and the moving object passing region multiplied by the afterimage suppression intensity, as shown in FIG.
  • the magnitude relationship of motion information is represented by the shade of hatching.
  • the third generation unit 142 stores the generated second movement map MergeMask (n) in the first storage unit 21 (step S14).
  • the second motion map MergeMask (n-1) stored in the first storage unit 21 relates to the past frame one frame past when the frame image Image (n) is input.
  • the second motion map MergeMask (n-1) it is used to generate the moving object passage map PassMask (n).
  • the second motion map MergeMask (n) stored in the first storage unit 21 in accordance with the processing of the frame image Image (n) is used when the frame image Image (n + 1) of a new frame is input. It is used to generate the moving object passage map PassMask (n + 1) as the second motion map MergeMask (n) related to the past frame one frame in the past.
  • the second motion map MergeMask (example: n-1) generated for the frame images for the preceding two frames is generated. ) Is recursively used as a past map image related to the past frame.
  • the adjusting unit 143 adjusts the composition ratio of the frame image Image (n) and the frame image Image (n-1) based on the value of the motion information of each pixel constituting the second motion map MergeMask (n).
  • the parameter PR1 is adjusted (step S15).
  • the first 2DNR processing unit 11 and the second 2DNR processing unit 12 perform 2DNR processing on each of the input frame image Image (n) and frame image Image (n-1) (step S16, step S16, S17).
  • the synthesis processing unit 15 synthesizes the frame image Image (n) after 2DNR processing and the frame image Image (n-1) based on the parameter PR1 adjusted by the adjustment unit 143, and the frame image after 3DNR.
  • Output DNR_Image (n) (step S18).
  • the synthesis processing unit 15 stores the frame image DNR_Image (n) in the second storage unit 22 (step S19).
  • the frame image DNR_Image (n-1) stored in the second storage unit 22 is a frame image image related to the past frame one frame past when the frame image Image (n) is input. As (n-1), it is used to generate the frame image DNR_Image (n). Further, the frame image DNR_Image (n) stored in the second storage unit 22 due to the processing of the frame image Image (n) is for one frame when the frame image Image (n + 1) of a new frame is input. It is used to generate the frame image DNR_Image (n + 1) as the frame image Image (n) related to the past past frame.
  • the 3DNR-processed frame image DNR_Image (example: n-1) generated for the frame images for the preceding two frames is the past frame. It is used recursively as a frame image Image (eg n-1) of.
  • FIG. 6 is a flowchart showing an example of the processing performed by the first generation unit 13, the afterimage processing unit 14, and the composition processing unit 15.
  • the operation when processing a future frame image input after this Image (n + X) with the latest frame image Image (n + X) as a base point will be described.
  • "X" is an integer.
  • the first generation unit 13 detects the input of the frame image Image (n + X) (step S21), the first generation unit 13 is based on the frame image Image (n + X) and the frame image Image (n + X-1).
  • a motion map Mask (n + X) is generated (step S22).
  • the frame image Image (n + X-1) corresponds to the frame image DNR_Image (n + X-1) held in the second storage unit 22.
  • the second generation unit 141 subtracts the first motion map Mask (n + X) from the second motion map MergeMask (n + X-1), and passes through a moving object representing a pixel whose subtraction result is a positive value. Generate the map PassMask (n + X) (step S23).
  • the third generation unit 142 generates the second movement map MergeMask (n + X) by merging the moving object passage map PassMask (n + X) and the first movement map Mask (n + X). Specifically, the third generation unit 142 sets the motion information of each pixel by executing the following processing for each pixel position of each pixel constituting the second motion map MergeMask (n + X).
  • the third generation unit 142 refers to the value of each pixel constituting the moving object passage map PassMask (n + X), and determines whether or not the value is a positive value (step S24).
  • the third generation unit 142 determines that it is a moving object passing region (step S24; Yes).
  • the third generation unit 142 adds the value obtained by multiplying the value of the pixel determined to be the moving object passing region by the afterimage suppression strength to the value held by the first motion map Mask (n + X), and adds the second value. It is set to the motion information of the corresponding pixel of the motion map MergeMask (n + X) (step S25).
  • the third generation unit 142 determines that it is a moving body region or a stationary region (step S24; No). In this case, the third generation unit 142 sets the value of the same pixel position held by the first motion map Mask (n + X) as the motion information of the corresponding pixel of the second motion map MergeMask (n + X) ( Step S26).
  • the adjusting unit 143 adjusts the parameter PR1 related to the synthesis processing of the synthesis processing unit 15 based on the second motion map MergeMask (n + X) generated by the third generation unit 142 (step S27).
  • the synthesis processing unit 15 synthesizes the frame image Image (n + X) after 2DNR and the frame image Image (n + X-1) based on the parameter PR1 adjusted by the adjustment unit 143 (step S28). Then, the composition processing unit 15 outputs the combined frame image as a frame image DNR_Image (n + X) after 3DNR (step S29).
  • the first generation unit 13 determines whether or not a new frame image Image (n + X + 1) has been input (step S30).
  • the first generation unit 13 processes the input frame image Image (n + X + 1) as the current frame, so that "X + 1" is changed to "X”. (Step S31), and the process is returned to step S22.
  • the processes of steps S22 to S31 described above are sequentially executed for the frame image Image (n + X).
  • the value of "X" is incremented by 1 each time a new frame image is input, and the frame image Image (n + X-1) and the second motion map MergeMask corresponding to the X value are incremented. (N + X-1) is used in steps S22 and S23.
  • step S30 If the input of the frame image Image (n + X + 1) is not detected in step S30, such as when the input of the frame image is temporarily interrupted (step S30; No), the process ends. Then, when the input of the frame image is started again, the process is started from step S21.
  • the image processing device 1 has a frame image Image (n) and a frame image Image (n-1) for the most recent two frames among a plurality of frame images continuously input. ) Generates the first motion map Mask (n). Further, the image processing device 1 has a first motion map Mask from a second motion map MergeMask (n-1) indicating an existing region of the moving object included in the frame image past the frame image Image (n). By subtracting (n), a moving object passage map PassMask (n) is generated.
  • the image processing device 1 merges the first motion map Mask (n) and the moving object passage map PassMask (n) obtained by multiplying the afterimage suppression intensity to generate the second motion map MergeMask (n). Then, the image processing device 1 adjusts the parameter PR1 related to the compositing process of the frame image Image (n) and the frame image Image (n-1) based on the second motion map MergeMask (n).
  • the image processing device 1 can change the composition ratio of the frame image Image (n) in the moving body passing region according to the parameter PR1, so that the afterimage noise generated in the moving body passing region can be reduced. Can be done. Therefore, the image processing device 1 can output a frame image (DNR_Image (n)) in which afterimage noise is suppressed.
  • parameters related to 3DNR processing are used by using the first motion map, the moving object passage map, and the second motion map whose bit depth is reduced as compared with the frame image. Make adjustments.
  • the image processing device 1 can reduce the processing load and memory usage related to the parameter adjustment, so that the processing efficiency can be improved.
  • the existing position of the moving object and the moving object passing region included in the frame images for at least three frames can be aggregated and held in the second motion map.
  • the image processing device 1 can reduce the memory capacity and the number of memories used, as compared with a configuration in which frame images for three frames are individually held, for example, so that processing efficiency can be improved. ..
  • the adjustment unit 143 has described a mode in which the parameter PR1 related to the operation of the synthesis processing unit 15 is adjusted as a parameter related to the 3DNR processing.
  • the parameters to be adjusted are not limited to those related to the synthesis processing unit 15.
  • the first 2DNR processing unit 11 and the second 2DNR processing unit 12 are connected to the afterimage processing unit 14 (see the broken line portion in FIG. 1). ).
  • Each of the first 2DNR processing unit 11 and the second 2DNR processing unit 12 determines the intensity of 2DNR processing and the like based on the parameters PR2 and PR3 adjusted by the afterimage processing unit 14 (adjusting unit 143).
  • the method of changing the intensity of the 2DNR treatment is not particularly limited, for example, changing the size or coefficient of the filter.
  • the adjusting unit 143 has the first 2DNR processing unit 11 and the second 2DNR processing unit 12 based on the second motion map MergeMask (n) generated by the third generation unit 142.
  • the parameters PR2 and PR3 related to the operation of are adjusted.
  • the adjusting unit 143 performs 2DNR processing performed by the first 2DNR processing unit 11 and the second 2DNR processing unit 12 based on the motion information of each pixel constituting the second motion map MergeMask (n).
  • the intensity of is adjusted on a pixel-by-pixel basis.
  • the adjusting unit 143 adjusts the parameter PR2 of the first 2DNR processing unit 11 so that the larger the value of the motion information is, the stronger the intensity of the 2DNR processing executed for the frame image Image (n) is. To do. Further, the adjustment unit 143 increases the intensity of the 2DNR processing executed on the frame image Image (n-1) as the pixel has a larger value of the motion information, so that the parameter PR3 of the second 2DNR processing unit 12 increases. To adjust.
  • the adjusting unit 143 may specify the intensity of 2DNR of the first 2DNR processing unit 11 and the second 2DNR processing unit 12 as a ratio in the same manner as the synthesis ratio of the synthesis processing unit 15 described above.
  • Each strength may be specified by an independent standard.
  • the image processing device 1 has the first 2DNR processing unit 11 and the first 2DNR processing unit 11 for the moving body passing region according to the movement information of the moving body passing region represented by the second movement map MergeMask (n).
  • the intensity of the 2DNR processing performed by the 2DNR processing unit 12 of 2 can be adjusted.
  • FIG. 7 is an explanatory diagram for explaining the overall operation of the image processing device 1 according to the modification 1.
  • FIG. 7 as in FIG. 4 described above, the operations of the first 2DNR processing unit 11, the second 2DNR processing unit 12, the first generation unit 13, the afterimage processing unit 14, and the synthesis processing unit 15 and the first operation.
  • the state of data input / output to the storage unit 21 and the second storage unit 22 of 1 is shown in the left and right regions divided by broken lines. Since steps S41 to S44 are the same as steps S11 to S14 described with reference to FIG. 4, the description thereof will be omitted.
  • the adjusting unit 143 adjusts the parameter PR1 of the synthesis processing unit 15 based on the second motion map MergeMask (n), and also adjusts the parameter PR1 of the first 2DNR processing unit 11 and the second 2DNR processing unit 12.
  • the parameters PR2 and PR3 are adjusted (step S45).
  • the first 2DNR processing unit 11 executes 2DNR processing on the frame image Image (n) with the intensity corresponding to the adjusted parameter PR2 (step S46). Further, the second 2DNR processing unit 12 executes 2DNR processing on the frame image Image (n-1) with the intensity corresponding to the adjusted parameter PR3 (step S47).
  • step S48 the synthesis processing unit 15 synthesizes the frame image Image (n) after 2DNR and the frame image Image (n-1) based on the parameter PR1 instructed by the adjustment unit 143 to synthesize the frame after 3DNR.
  • the image DNR_Image (n) is output (step S48). Note that step S49 is the same as step S19 described with reference to FIG.
  • the intensity of the 2DNR processing with respect to the moving body passing region can be changed by adjusting the parameters PR2 and PR3, so that the afterimage noise generated in the moving body passing region can be changed. It can be reduced. Therefore, the image processing device 1 can output a frame image (DNR_Image (n)) in which afterimage noise is suppressed. Further, since the compositing ratio of the frame image Image (n) can be adjusted together with the intensity of the 2DNR processing with respect to the moving body passing region, the afterimage noise generated in the moving body passing region can be further reduced.
  • both the parameter PR2 and the parameter PR3 are adjusted, but only one of them (for example, only the parameter PR3) may be adjusted. Further, the parameter PR1 may not be adjusted, and the parameters PR2 and PR3 may be adjusted only.
  • Modification 2 In the above-described embodiment, the configuration of the image processing device 1 has been described with reference to FIG. 1, but the configuration of the image processing device 1 is not limited to this.
  • the image processing device 1 may further include functions related to efficiency improvement of 3DNR processing, stabilization of a frame image, and the like.
  • this modification another configuration example of the image processing apparatus 1 will be described.
  • FIG. 8 is a diagram showing an example of the configuration of the image processing device 1 according to this modified example.
  • the image processing device 1 according to this modification includes a motion amount estimation unit 31, a motion compensation unit 32, a moving image blur removing unit 33, and an alignment unit 34, in addition to the configuration of FIG. 1 described above. Further prepare.
  • the motion amount estimation unit 31 is an example of the motion amount estimation unit.
  • the motion compensation unit 32 is an example of the motion compensation unit.
  • a part or all of the motion amount estimation unit 31, the motion compensation unit 32, the moving image blur removing unit 33, and the positioning unit 34 may be realized by a hardware configuration such as a dedicated circuit. Further, a part or all of the motion amount estimation unit 31, the motion compensation unit 32, the moving image blur removal unit 33, and the alignment unit 34 are configured by a software configuration in cooperation with a processor provided in a computer such as a microcomputer and a program. It may be realized. Examples of processors include CPUs, DSPs, FPGAs, GPUs and the like.
  • the motion amount estimation unit 31 receives the frame image Image (n) of the current frame and the frame image Image (n-1) one frame past the current frame, that is, after 3DNR generated based on the preceding frame image.
  • the frame image DNR_Image (n-1) is input.
  • the motion amount estimation unit 31 executes a process (ME: Motion Estimation) for estimating the movement amount of a moving object included in both frame images based on the frame image Image (n) and the frame image Image (n-1). .. Then, the motion amount estimation unit 31 outputs the movement amount of the moving object, which is the estimation result, to the motion compensation unit 32.
  • ME Motion Estimation
  • FIG. 8 shows an example in which the synthesis processing unit 15 and the motion amount estimation unit 31 are directly connected
  • the motion amount estimation unit 31 may be configured to read the frame image DNR_Image (n-1) from the second storage unit 22 when the frame image Image (n) is detected.
  • the method for reading the frame image DNR_Image (n-1) is not limited to this.
  • an input (not shown) that collectively controls the input timing of the frame image Image (n) and the read timing of the frame image DNR_Image (n-1) from the second storage unit 22 inside or outside the image processing device 1.
  • An output control unit may be provided.
  • the motion amount estimation unit 31 may be in a form of executing the ME process by using the frame image DNR_Image (n) in which the bit depth or the image size is reduced.
  • the motion amount estimation unit 31 may execute ME processing using a frame image in which the bit depth of the frame image DNR_Image (n) or the image size is reduced to 1/4 or the like in order to suppress the processing load.
  • a known technique can be used for the ME process executed by the motion amount estimation unit 31.
  • the motion compensation unit 32 In the motion compensation unit 32, the frame image Image (n) of the current frame and the frame image Image (n-1) already aligned by the alignment unit 34, which will be described later, are input together with the movement amount of the moving object described above. To.
  • the motion compensation unit 32 executes motion compensation (MC: Motion Compensation) processing such as inter-frame prediction based on these input information. Then, the motion compensation unit 32 outputs the frame image Image (n-1) after the MC processing to the second 2DNR processing unit 12 and the first generation unit 13.
  • MC Motion Compensation
  • the frame image Image (n) of the current frame is input to the moving image blur removing unit 33.
  • the moving image blur removing unit 33 estimates the shaking direction of the frame image Image (n) from the continuously input frame image Image (n), and shifts the frame image image (n) in the direction opposite to the shaking direction to cause camera shake or the like that occurs during imaging. Removes video blurring.
  • the frame image Image (n) from which the moving image blur is removed is output to the alignment unit 34.
  • a known technique can be used for the process executed by the moving image blur removing unit 33.
  • the frame image Image (n) after removing the moving image blur and the frame image Image (n-1) are input to the alignment unit 34.
  • the frame image Image (n-1) corresponds to the 3DNR-processed frame image DNR_Image (n-1) generated based on the preceding frame image.
  • the alignment unit 34 when the alignment unit 34 detects the frame image Image (n) after removing the moving image blur, the alignment unit 34 reads out the frame image DNR_Image (n-1) from the second storage unit 22.
  • the method for reading the frame image DNR_Image (n-1) is not limited to this.
  • the input timing of the frame image Image (n) after removing the moving image blur and the reading timing of the frame image DNR_Image (n-1) from the second storage unit 22 are collectively stored inside or outside the image processing device 1.
  • An input / output control unit (not shown) to be controlled may be provided.
  • the alignment unit 34 is based on the correlation between the frame image Image (n) and the frame image Image (n-1), and the frame image Image (n-1) is aligned with the object included in the frame image Image (n). ) Align.
  • the frame image Image (n) after alignment is output to the motion compensation unit 32.
  • a known technique can be used for the process executed by the moving image blur removing unit 33.
  • the second 2DNR processing unit 12 executes 2DNR processing on the frame image Image (n-1) after MC processing input from the motion compensation unit 32.
  • the second 2DNR processing unit 12 can perform the 2DNR processing by utilizing the result of the MC processing, so that the noise contained in the frame image Image (n-1) can be removed more efficiently. Can be done.
  • the first generation unit 13 is a frame image in which the frame image Image (n-1) and the frame image Image (n) after removing the moving image blur are aligned and then motion compensation processing is performed.
  • a first motion map Mask (n) is generated based on the Image (n-1) and the frame image Image (n).
  • the first generation unit 13 can efficiently extract the existence region in which the moving object exists from the frame image Image (n) and the frame image Image (n-1).
  • FIG. 9 is an explanatory diagram for explaining the overall operation of the image processing device 1 according to the present modification.
  • the first 2DNR processing unit 11, the second 2DNR processing unit 12, the first generation unit 13, the afterimage processing unit 14, the synthesis processing unit 15, and the amount of movement are shown.
  • the first storage unit 21 and the second storage unit 22 shown in FIG. 8 are shown.
  • the moving image blur removing unit 33 executes a process of removing moving image blur on the frame image Image (n) of the current frame (step S51).
  • the alignment unit 34 aligns the frame image Image (n-1) based on the frame image Image (n) from which the moving image blur has been removed (step S52).
  • the motion amount estimation unit 31 executes ME processing for estimating the motion amount of the moving object included in both frame images based on the frame image Image (n) and the frame image Image (n-1) (step). S53).
  • the motion compensation unit 32 executes the motion compensation (MC) process based on the processing results of the frame image Image (n), the aligned frame image Image (n-1), and the ME process (step S54).
  • the first generation unit 13 generates the first motion map Mask (n) based on the frame image Image (n) and the frame image Image (n-1) after the alignment and motion compensation processing. (Step S55). Subsequent steps S56 to S59 are the same as steps S12 to S15 described with reference to FIG. 4, and thus the description thereof will be omitted.
  • the first 2DNR processing unit 11 executes 2DNR on the frame image Image (n) (step S60). Further, the second 2DNR processing unit 12 executes 2DNR on the aligned frame image Image (n-1) using the result of the MC processing (step S61). Subsequent steps S62 and S63 are the same as steps S18 and S19 described with reference to FIG. 4, and thus the description thereof will be omitted.
  • the motion amount estimation unit 31, the motion compensation unit 32, the moving image blur removing unit 33, and the positioning unit 34 are further provided. This makes it possible to improve the efficiency of 3DNR processing and stabilize the frame image. For example, when the 2DNR processing is performed using the processing result of the MC processing, the generation of afterimage noise can be suppressed as compared with the configuration in which the processing result is not used, so that the afterimage noise can be further reduced.
  • the afterimage suppression strength is a value that takes into account the noise suppression effect of the motion compensation unit 32 (MC processing).
  • the third generation unit 142 may change the value of the afterimage suppression intensity depending on whether or not the processing result of the MC processing is input to the second 2DNR processing unit 12.
  • the third generation unit 142 sets the afterimage suppression strength by a predetermined amount as compared with the configuration in which the processing result is not input. Decrease.
  • the intensity of the 2DNR processing performed by the second 2DNR processing unit 12 with respect to the moving object passing region is made variable depending on whether or not the processing result of the MC processing is input to the second 2DNR processing unit 12. be able to. Therefore, the third generation unit 142 can set the intensity of the 2DNR processing suitable for reducing the afterimage noise in the second 2DNR processing unit 12.
  • the 2DNR processing executed by the first 2DNR processing unit 11 also has a strength suitable for reducing the afterimage noise.
  • the composition ratio (PR1) of the frame image Image (n) and the frame image Image (n-1) in the composition processing unit 15 is also the effect of 3DNR by setting the composition ratio suitable for reducing the afterimage noise. Can be further enhanced.
  • FIG. 10 is a diagram showing an example of the configuration of the image processing device 1a according to the present embodiment.
  • the image processing device 1a includes a first 2DNR processing unit 11, a second 2DNR processing unit 12, a first generation unit 13a, an afterimage processing unit 14a, and a synthesis processing unit 15. Further, the image processing device 1a includes a first storage unit 21a and a second storage unit 22.
  • the first generation unit 13a generates the first motion map Mask (n) based on the frame image Image (n) and the frame image Image (n-1), similarly to the first generation unit 13. ..
  • the generated first motion map Mask (n) is output to the afterimage processing unit 14a.
  • the frame image Image (n-1) corresponds to the 3DNR-processed frame image DNR_Image (n-1) stored in the second storage unit 22 and relating to the past frame one frame past.
  • the first generation unit 13a when the first generation unit 13a detects the frame image Image (n), the first generation unit 13a reads out the frame image DNR_Image (n-1) from the second storage unit 22.
  • the method for reading the frame image DNR_Image (n-1) is not limited to this.
  • an input (not shown) that collectively controls the input timing of the frame image Image (n) and the read timing of the frame image DNR_Image (n-1) from the second storage unit 22 inside or outside the image processing device 1.
  • An output control unit may be provided.
  • the first generation unit 13a stores the generated first movement map Mask (n) in the first storage unit 21a.
  • the first storage unit 21a has a storable dose of, for example, two frames of the first movement map, and the stored first movement map can be read out in a FIFO (First In First Out) format. ing.
  • the afterimage processing unit 14a is input with the first motion map Mask (n) related to the current frame and the first motion map Mask (n-1) related to the past frame one frame past the current frame. ..
  • the afterimage processing unit 14a detects the first motion map Mask (n) from the first generation unit 13, the afterimage processing unit 14a of the first storage unit 21a to the first motion map Mask (n-1). Read out.
  • the method of reading the first motion map Mask (n-1) is not limited to this.
  • the input timing of the first motion map Mask (n) and the read timing of the first motion map Mask (n-1) from the first storage unit 21 are summarized inside or outside the image processing device 1.
  • An input / output control unit (not shown) may be provided for control.
  • FIG. 11 is a diagram showing an example of the function of the afterimage processing unit 14a.
  • the afterimage processing unit 14a includes a second generation unit 141a, a third generation unit 142, and an adjustment unit 143.
  • the second generation unit 141a subtracts the first motion map Mask (n) from the first motion map Mask (n-1), thereby indicating the moving object passing region through which the moving object has passed. n) is generated. Specifically, the second generation unit 141a sets the first motion map Mask (n) at the same pixel position as the pixel from the value of each pixel constituting the first motion map Mask (n-1). Subtract the pixel value of. Then, the second generation unit 141a generates a moving object passage map PassMask (n) in which the value corresponding to the subtraction result is associated with each pixel position where the subtracted value becomes a positive value.
  • each pixel constituting the moving object passage map PassMask (n) is associated with a multi-value such as a binary value or an 8-bit value according to the subtraction result.
  • FIG. 12 is an explanatory diagram for explaining the overall operation of the image processing device 1.
  • FIG. 13 is an explanatory diagram for explaining the operation of the first generation unit 13 and the afterimage processing unit 14.
  • FIG. 12 the operations of the first 2DNR processing unit 11, the second 2DNR processing unit 12, the first generation unit 13a, the afterimage processing unit 14a, and the synthesis processing unit 15 are in the left region divided by the broken line. Is shown. Further, in the area on the right side divided by the broken line, the first storage unit 21a and the second storage unit 22 shown in FIG. 10 are shown.
  • the frame images Image (n-2) to Image (n) mean three consecutive frame images in chronological order.
  • the hatched area in the frame image means the position where the moving object exists.
  • the 3DNR treatment has been completed up to the stage of the frame image Image (n-1) one frame past the current frame, that is, the first motion map Mask (n). -1) and the frame image DNR_Image (n-1) processed by 3DNR have been generated.
  • the first motion map Mask (n) is based on the frame image Image (n) of the current frame and the frame image Image (n-1) one frame past the current frame. Is generated (step S71).
  • the frame image Image (n-1) one frame in the past corresponds to the frame image DNR_Image (n-1) that has undergone 3DNR processing.
  • the first motion map Mask (n) has a moving object in which a moving object exists in both the frame image Image (n) and the frame image Image (n-1). It is an image showing the area.
  • the first generation unit 13a stores the generated first motion map Mask (n) in the first storage unit 21a (step S72).
  • the first motion map Mask (n-1) previously stored in the first storage unit 21a is input to the afterimage processing unit 14a.
  • the second generation unit 141a is the first movement map Mask (n-1) relating to the past frame one frame stored in the first storage unit 21 to the first motion map Mask (n-1) relating to the current frame.
  • the moving object passage map PassMask (n) is generated (step S73).
  • the moving object passage map PassMask (n) is a first movement map Mask (n) from the existence region of the moving object represented by the first movement map Mask (n-1).
  • the image is obtained by removing the existing area of the moving object shown in. That is, in the moving object passage map PassMask (n), at least the existing region of the moving object included in the frame image Image (n-2) past the frame image Image (n-1) is represented as the moving object passing region. become.
  • the third generation unit 142 merges the moving object passage map PassMask (n) multiplied by the afterimage suppression intensity into the first movement map Mask (n) based on the above equation (1).
  • a second motion map MergeMask (n) related to the current frame is generated (step S74).
  • the second motion map MergeMask (n) becomes an image obtained by merging the existing region of the moving object and the moving object passing region multiplied by the afterimage suppression intensity, as shown in FIG.
  • the magnitude relationship of the motion information is represented by the shade of hatching.
  • FIG. 14 is a flowchart showing an example of the processing performed by the first generation unit 13a, the afterimage processing unit 14a, and the synthesis processing unit 15.
  • this processing as in FIG. 6, the operation when processing the future frame image input after this Image (n + X) with the latest frame image Image (n + X) as the base point will be described.
  • "X" is an integer.
  • the first generation unit 13a detects the input of the frame image Image (n + X) (step S81), the first generation unit 13a is based on the frame image Image (n + X) and the frame image Image (n + X-1).
  • a motion map Mask (n + X) is generated (step S82).
  • the frame image Image (n + X-1) corresponds to the frame image DNR_Image (n + X-1) held in the second storage unit 22.
  • the second generation unit 141a subtracts the first motion map Mask (n + X) from the first motion map Mask (n + X-1), and passes through a moving body representing a pixel whose subtraction result is a positive value.
  • a map PassMask (n + X) is generated (step S83).
  • the image processing apparatus 1a has the frame image Image (n) and the frame image Image (n-1) for the most recent two frames among the plurality of frame images continuously input. ) Generates the first motion map Mask (n). Further, the image processing device 1a has a first motion map Mask (n-1) to a first motion map Mask (n-1) indicating an existing region of the moving object included in the frame image past the frame image Image (n). By subtracting (n), a moving object passage map PassMask (n) is generated. Further, the image processing device 1a merges the first motion map Mask (n) and the moving object passage map PassMask (n) obtained by multiplying the afterimage suppression intensity to generate the second motion map MergeMask (n). Then, the image processing device 1a adjusts the parameter PR1 related to the composition processing of the frame image Image (n) and the frame image Image (n-1) based on the second motion map MergeMask (n).
  • the image processing device 1a can change the composition ratio of the frame image Image (n) in the moving body passing region according to the parameter PR1, so that the afterimage noise generated in the moving body passing region can be reduced. Can be done. Therefore, the image processing device 1a can output a frame image (DNR_Image (n)) in which afterimage noise is suppressed.
  • parameters related to 3DNR processing are used by using the first motion map, the moving object passage map, and the second motion map whose bit depth is reduced as compared with the frame image. Make adjustments.
  • the image processing device 1a can reduce the processing load and the amount of memory used for parameter adjustment, so that the processing efficiency can be improved.
  • the existing position of the moving object and the moving object passing region included in the frame images for three frames can be aggregated and held in the second motion map.
  • the image processing device 1 can reduce the memory capacity and the number of memories used, as compared with a configuration in which frame images for three frames are individually held, for example, so that processing efficiency can be improved. ..
  • the image processing apparatus and the image processing method disclosed in the present application are not limited to the above-described embodiments as they are, and at the implementation stage, the components are modified within a range that does not deviate from the gist thereof. Can be embodied.
  • various inventions can be formed by an appropriate combination of the plurality of components disclosed in the above-described embodiment. For example, some components may be removed from all the components shown in the embodiments.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Signal Processing (AREA)
  • Picture Signal Circuits (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

画像処理装置（１）は、一つの態様において、第１の生成部（１３）と、第２の生成部（１４１）と、第３の生成部（１４２）と、調整部（１４３）とを備える。第１の生成部（１３）は、連続して入力される複数のフレーム画像のうち、第１のフレーム画像と、当該第１のフレーム画像と時系列的に連続する直近の過去のフレームの第２のフレーム画像とから、当該フレーム画像に含まれた動体物の存在領域を示す第１の動きマップを生成する。第２の生成部（１４１）は、前記第１のフレーム画像より過去のフレーム画像に含まれた前記動体物の存在領域を示す過去マップ画像から、前記第１の動きマップを減算することで、前記動体物が通過した動体通過領域を示す動体通過マップを生成する。第３の生成部（１４２）は、前記第１の動きマップと、第１の値を乗算した前記動体通過マップとを統合して、第２の動きマップを生成する。調整部（１４３）は、前記第２の動きマップに基づいて、前記第１のフレーム画像と前記第２のフレーム画像とのノイズリダクション処理に係るパラメータを調整する。

Description

画像処理装置、画像処理方法及びプログラム
　本発明は、画像処理装置、画像処理方法及びプログラムに関する。
　従来、動画像等の複数のフレーム画像に対するノイズリダクション技術に関し、時系列的に連続する３フレーム分のフレーム画像を用いて３次元ノイズリダクション（３ＤＮＲ）処理を行う装置が知られている（例えば、特許文献１参照）。
特開２００６－２３７７１６号公報
　しかしながら、従来では、フレーム画像中に動体物が存在するような場合に、当該動体物が通過した領域に尾を引くようなノイズ（残像ノイズ）が発生する可能性があった。このため、従来では、残像ノイズを低減したフレーム画像を提供することは困難であった。
　１つの側面では、本発明は、動体物が通過した領域に発生するノイズの低減化を図ることができる、画像処理装置、画像処理方法及びプログラムを提供することを目的とする。
　本願の開示する画像処理装置は、一つの態様において、連続して入力される複数のフレーム画像のうち、第１のフレーム画像と、当該第１のフレーム画像と時系列的に連続する直近の過去のフレームの第２のフレーム画像とから、当該フレーム画像に含まれた動体物の存在領域を示す第１の動きマップを生成する第１の生成部と、前記第１のフレーム画像より過去のフレーム画像に含まれた前記動体物の存在領域を示す過去マップ画像から、前記第１の動きマップを減算することで、前記動体物が通過した動体通過領域を示す動体通過マップを生成する第２の生成部と、前記第１の動きマップと、第１の値を乗算した前記動体通過マップとを統合して、第２の動きマップを生成する第３の生成部と、前記第２の動きマップに基づいて、前記第１のフレーム画像と前記第２のフレーム画像とのノイズリダクション処理に係るパラメータを調整する調整部と、を備える。
　本願の開示する画像処理装置の一つの態様によれば、動体物が通過した領域に発生するノイズの低減化を図ることができる。
図１は、第１の実施形態に係る画像処理装置の構成の一例を示す図である。 図２は、第１の実施形態の残像処理部が有する機能の一例を示す図である。 図３は、第１の実施形態に係るパラメータの調整方法の一例を説明するための図である。 図４は、第１の実施形態に係る画像処理装置の全体動作を説明するための説明図である。 図５は、第１の実施形態に係る第１の生成部及び残像処理部の動作を説明するための説明図である。 図６は、第１の実施形態の第１の生成部、残像処理部及び合成処理部が行う処理の一例を示すフローチャートである。 図７は、第１の実施形態の変形例１に係る画像処理装置の全体動作を説明するための説明図である。 図８は、第１の実施形態の変形例２に係る画像処理装置の構成の一例を示す図である。 図９は、第１の実施形態の変形例２に係る画像処理装置の全体動作を説明するための説明図である。 図１０は、第２の実施形態に係る画像処理装置の構成の一例を示す図である。 図１１は、第２の実施形態の残像処理部が有する機能の一例を示す図である。 図１２は、第２の実施形態に係る画像処理装置の全体動作を説明するための説明図である。 図１３は、第２の実施形態に係る第１の生成部及び残像処理部の動作を説明するための説明図である。 図１４は、第２の実施形態の第１の生成部、残像処理部及び合成処理部が行う処理の一例を示すフローチャートである。
　以下、添付図面を参照しながら、本願の開示する画像処理装置、画像処理方法及びプログラムの実施形態を詳細に説明する。なお、以下の実施形態は開示の技術を限定するものではない。そして、各実施形態は、処理内容を矛盾させない範囲で適宜組み合わせることが可能である。
［第１の実施形態］
　図１は、本実施形態に係る画像処理装置１の構成の一例を示す図である。画像処理装置１は、連続して入力される複数のフレーム画像に対し、３次元ノイズリダクション（３ＤＮＲ）処理を順次行うことが可能な画像処理装置である。例えば、画像処理装置１は、複数のフレーム画像で構成された動画に対し３次元ノイズリダクション処理を行うことで、フレーム画像に含まれるノイズを低減化した動画を出力する。
　以下では、画像処理装置１に入力されるフレーム画像のうち、時系列的に最新のフレーム画像（現フレーム）をフレーム画像Ｉｍａｇｅ（ｎ）と表記する。また、現フレームよりも過去又は将来のフレーム画像を、現フレームのインデックス“ｎ”に基づいて表記する。例えば、現フレームから１フレーム分過去のフレーム画像をＩｍａｇｅ（ｎ－１）と表記する。例えば、現フレームから１フレーム分将来のフレーム画像をＩｍａｇｅ（ｎ＋１）と表記する。
　図１に示すように、画像処理装置１は、第１の２ＤＮＲ処理部１１と、第２の２ＤＮＲ処理部１２と、第１の生成部１３と、残像処理部１４と、合成処理部１５とを備える。
　ここで、第１の２ＤＮＲ処理部１１及び第２の２ＤＮＲ処理部１２は、２次元ノイズリダクション処理部の一例である。第１の生成部１３は、第１の生成部の一例である。合成処理部１５は、合成処理部の一例である。また、第１の２ＤＮＲ処理部１１、第２の２ＤＮＲ処理部１２及び合成処理部１５は、３次元ノイズリダクション処理部の一例である３ＤＮＲ処理部１６として機能する。
　なお、第１の２ＤＮＲ処理部１１、第２の２ＤＮＲ処理部１２、第１の生成部１３、残像処理部１４、及び合成処理部１５の一部又は全部は、例えば専用回路等のハードウェア構成によって実現されてもよい。また、第１の２ＤＮＲ処理部１１、第２の２ＤＮＲ処理部１２、第１の生成部１３、残像処理部１４、及び合成処理部１５の一部又は全部は、マイクロコンピュータ等のコンピュータが備えるプロセッサと、プログラムとの協働によるソフトウェア構成によって実現されてもよい。プロセッサの一例として、ＣＰＵ（Central　Processing　Unit）、ＤＳＰ（Digital　Signal　Processor）、ＦＰＧＡ（Field　Programmable　Gate　Array）、ＧＰＵ（Graphics　Processing　Unit）等が挙げられる。
　また、画像処理装置１は、第１の記憶部２１と、第２の記憶部２２とを備える。第１の記憶部２１及び第２の記憶部２２は、例えばＳＤＲＡＭ（Synchronous　Dynamic　Random　Access　Memory）等の記憶装置である。なお、第１の記憶部２１及び第２の記憶部２２は、個別の記憶装置によって実現されてもよいし、同一の記憶装置内に設けられた二つの記憶エリアによって実現されてもよい。
　第１の２ＤＮＲ処理部１１は、現フレームのフレーム画像Ｉｍａｇｅ（ｎ）に対し２次元ノイズリダクション（２ＤＮＲ）処理を実行する。例えば、第１の２ＤＮＲ処理部１１は、Ｉｍａｇｅ（ｎ）を構成する画素に対し、「３×３」や「５×５」、「７×７」等の画素ブロックの単位で平滑化処理を実行する。ここで、フレーム画像Ｉｍａｇｅ（ｎ）は、例えばＲＧＢ又はＹＣｂＣｒ(輝度と彩度)の各色に画素の値を８ビット以上（１０ビット、１２ビット等）の多値で表した２４ビット以上のカラー画像である。
　第２の２ＤＮＲ処理部１２は、現フレームより１フレーム分過去のフレーム画像Ｉｍａｇｅ（ｎ－１）に対し、第１の２ＤＮＲ処理部１１と同様の２ＤＮＲ処理を実行する。ここで、フレーム画像Ｉｍａｇｅ（ｎ－１）は、先行するフレーム画像Ｉｍａｇｅ（ｎ－１）とフレーム画像Ｉｍａｇｅ（ｎ－２）とを基に生成された、後述する３次元ノイズリダクション（３ＤＮＲ）処理済のフレーム画像ＤＮＲ＿Ｉｍａｇｅ（ｎ－１）に対応する。フレーム画像ＤＮＲ＿Ｉｍａｇｅ（ｎ－１）は、例えば、ＲＧＢ又はＹＣｂＣｒ(輝度と彩度)の各色の画素の値を、８ビット以上（１０ビット、１２ビット等）の多値で表した２４ビット以上のカラー画像である。
　本実施形態では、第１の２ＤＮＲ処理部１１は、フレーム画像Ｉｍａｇｅ（ｎ）を検出した検出信号を、第２の２ＤＮＲ処理部１２に送る。第２の２ＤＮＲ処理部１２は、検出信号を受け、第２の記憶部２２からフレーム画像ＤＮＲ＿Ｉｍａｇｅ（ｎ－１）の読み出しを行う。なお、フレーム画像ＤＮＲ＿Ｉｍａｇｅ（ｎ－１）の読み出し方法はこれに限らないものとする。例えば、画像処理装置１の内部若しくは外部に、フレーム画像Ｉｍａｇｅ（ｎ）の入力タイミング及び第２の記憶部２２からのフレーム画像ＤＮＲ＿Ｉｍａｇｅ（ｎ－１）の読み出しタイミング等をまとめて制御する図示しない入出力制御部を設けてもよい。
　第１の生成部１３は、フレーム画像Ｉｍａｇｅ（ｎ）とフレーム画像Ｉｍａｇｅ（ｎ－１）とに基づき、両フレーム画像間に含まれた動体物の存在領域を示す第１の動きマップＭａｓｋ（ｎ）を生成する。ここで、フレーム画像Ｉｍａｇｅ（ｎ－１）は、先行するフレーム画像Ｉｍａｇｅ（ｎ－１）とフレーム画像Ｉｍａｇｅ（ｎ－２）とを基に生成された、後述する３次元ノイズリダクション（３ＤＮＲ）処理済のフレーム画像ＤＮＲ＿Ｉｍａｇｅ（ｎ－１）に対応する。
　本実施形態では、第１の生成部１３は、フレーム画像Ｉｍａｇｅ（ｎ）を検出すると、第２の記憶部２２からフレーム画像ＤＮＲ＿Ｉｍａｇｅ（ｎ－１）の読み出しを行う。なお、フレーム画像ＤＮＲ＿Ｉｍａｇｅ（ｎ－１）の読み出し方法はこれに限らないものとする。例えば、画像処理装置１の内部若しくは外部に、フレーム画像Ｉｍａｇｅ（ｎ）の入力タイミング及び第２の記憶部２２からのフレーム画像ＤＮＲ＿Ｉｍａｇｅ（ｎ－１）の読み出しタイミング等をまとめて制御する図示しない入出力制御部を設けてもよい。
　第１の生成部１３は、フレーム画像Ｉｍａｇｅ（ｎ）とフレーム画像Ｉｍａｇｅ（ｎ－１）とを比較し，同じ画素位置にある画素の値の差を二値や８ビット等の多値で表した画像を、第１の動きマップＭａｓｋ（ｎ）として生成する。
　例えば、第１の生成部１３は、画素の値の差が閾値よりも小さい画素位置を０、閾値以上の画素位置を１で表した白黒画像の第１の動きマップＭａｓｋ（ｎ）を生成する。また、例えば、第１の生成部１３は、画素の差分に応じて当該画素の画素位置を０～２５５等の多値で表したモノクロ画像の第１の動きマップＭａｓｋ（ｎ）を生成する。なお、第１の動きマップＭａｓｋ（ｎ）は、白黒画像やモノクロ画像に限定される訳ではなく、ＲＧＢ等の色成分をもつカラー画像であってもよい。
　このように生成される第１の動きマップＭａｓｋ（ｎ）は、フレーム画像Ｉｍａｇｅ（ｎ）とフレーム画像Ｉｍａｇｅ（ｎ-１）とにおいて、動体物が存在する領域の画素位置を示すものとなる。また、第１の動きマップＭａｓｋ（ｎ）は、白黒画像やモノクロ画像であるため、第１の動きマップＭａｓｋ（ｎ）のビット深度は、元のフレーム画像Ｉｍａｇｅ（ｎ）及びフレーム画像Ｉｍａｇｅ（ｎ－１）のビット深度よりも低くなる。つまり、第１の生成部１３より後段の残像処理部１４では、ビット深度が低減化された第１の動きマップＭａｓｋ（ｎ）を基に処理を進めることができるため、処理に係るメモリ容量や処理負荷を抑えることができる。
　残像処理部１４には、現フレームに係る第１の動きマップＭａｓｋ（ｎ）と、現フレームより１フレーム分過去の過去フレームに係る後述する第２の動きマップＭｅｒｇｅＭａｓｋ（ｎ－１）とが入力される。具体的には、残像処理部１４は、第１の生成部１３から第１の動きマップＭａｓｋ（ｎ）を検出すると、第１の記憶部２１から後述する第２の動きマップＭｅｒｇｅＭａｓｋ（ｎ－１）の読み出しを行う。なお、第２の動きマップＭｅｒｇｅＭａｓｋ（ｎ－１）の読み出し方法はこれに限らないものとする。例えば、画像処理装置１の内部若しくは外部に、第１の動きマップＭａｓｋ（ｎ）の入力タイミング及び第１の記憶部２１からの第２の動きマップＭｅｒｇｅＭａｓｋ（ｎ－１）の読み出しタイミング等をまとめて制御する図示しない入出力制御部を設けてもよい。
　残像処理部１４は、第１の動きマップＭａｓｋ（ｎ）と後述する第２の動きマップＭｅｒｇｅＭａｓｋ（ｎ－１）とに基づいて、動体物が通過した領域（動体通過領域）を抽出し、現フレームに係る第２の動きマップＭｅｒｇｅＭａｓｋ（ｎ）を生成する。そして、残像処理部１４は、第２の動きマップＭｅｒｇｅＭａｓｋ（ｎ）を基に、３ＤＮＲ処理部１６の３ＤＮＲ処理に係るパラメータを調整する。
　具体的には、残像処理部１４は、上述した機能を実現するため、図２に示す機能構成を有する。ここで、図２は、残像処理部１４が有する機能の一例を示す図である。
　図２に示すように、残像処理部１４は、第２の生成部１４１と、第３の生成部１４２と、調整部１４３とを有する。ここで、第２の生成部１４１は、第２の生成部の一例である。第３の生成部１４２は、第３の生成部の一例である。
　第２の生成部１４１は、第２の動きマップＭｅｒｇｅＭａｓｋ（ｎ－１）から第１の動きマップＭａｓｋ（ｎ）を減算することで、動体物が通過した動体通過領域を示す動体通過マップＰａｓｓＭａｓｋ（ｎ）を生成する。具体的には、第２の生成部１４１は、第２の動きマップＭｅｒｇｅＭａｓｋ（ｎ－１）を構成する各画素の値から、当該画素と同じ画素位置にある第１の動きマップＭａｓｋ（ｎ）の画素の値を減算する。そして、第２の生成部１４１は、減算した値が正値となる場合に動体通過領域と判断し、各画素位置に、その減算結果に応じた値を対応付けた動体通過マップＰａｓｓＭａｓｋ（ｎ）を生成する。ここで、動体通過マップＰａｓｓＭａｓｋ（ｎ）を構成する各画素には、減算結果に応じた値が二値や８ビット等の多値が対応付けられる。
　例えば、第２の生成部１４１は、画素の差が０以下の画素位置を０、画素の差が０より大きい画素位置を１で表した白黒画像の二値の動体通過マップＰａｓｓＭａｓｋ（ｎ）を生成する。また、例えば、第２の生成部１４１は、画素の差が０以下の画素位置を０で表し、画素の差が０より大きい画素の画素位置を差分に応じた０～２５５等の多値で表したモノクロ画像の動体通過マップＰａｓｓＭａｓｋ（ｎ）を生成する。
　このように生成される動体通過マップＰａｓｓＭａｓｋ（ｎ）は、第１の動きマップＭａｓｋ（ｎ）に表された動体物が、当該第１の動きマップＭａｓｋ（ｎ）の状態に至るまでに通過してきた領域（動体通過領域）の画素位置を示すものとなる。また、動体通過マップＰａｓｓＭａｓｋ（ｎ）は、白黒画像やモノクロ画像であるため、動体通過マップＰａｓｓＭａｓｋ（ｎ）のビット深度は、元のフレーム画像Ｉｍａｇｅ（ｎ）及びフレーム画像Ｉｍａｇｅ（ｎ－１）のビット深度よりも低くなる。つまり、第２の生成部１４１より後段の第３の生成部１４２では、ビット深度が低減化された動体通過マップＰａｓｓＭａｓｋ（ｎ）を基に処理を進めることができるため、処理に係るメモリ容量や処理負荷を抑えることができる。
　第３の生成部１４２は、第１の動きマップＭａｓｋ（ｎ）と、所定の強度を乗算した動体通過マップＰａｓｓＭａｓｋ（ｎ）とを統合（以下、マージともいう）することで、現フレームに係る第２の動きマップＭｅｒｇｅＭａｓｋ（ｎ）を生成する。具体的には、第３の生成部１４２は、下記式（１）に基づいて、第１の動きマップＭａｓｋ（ｎ）と動体通過マップＰａｓｓＭａｓｋ（ｎ）とを同じ画素位置の画素毎にマージする。
　ＭｅｒｇｅＭａｓｋ（ｎ）＝
　　　Ｍａｓｋ（ｎ）＋｛ＰＭＲＡＴＩＯ×ＰａｓｓＭａｓｋ（ｎ）｝…（１）
　ここで、ＰＭＲＡＴＩＯは、残像抑制強度である。残像抑制強度は、第１の値に対応し、後述する調整部１４３でのパラメータ調整に寄与する要素である。残像抑制強度には、“０．０”より大きく“１．０”より小さい値が設定される。残像抑制強度により大きな値を設定することで、動体物の移動に伴い発生するノイズ（残像ノイズ）の低減化に係る強度（残像抑制強度）を大きくすることができる。
　なお、残像抑制強度の値は任意に設定することが可能であるが、自動で設定するよう構成してもよい。例えば、第３の生成部１４２は、動体通過マップＰａｓｓＭａｓｋ（ｎ）に表された動体通過領域の大きさに応じて、残像抑制強度を増減させる構成としてもよい。この場合、第３の生成部１４２は、動体通過領域が大きいほど、残像抑制強度を増加させることが好ましい。
　上記式（１）に基づき生成される第２の動きマップＭｅｒｇｅＭａｓｋ（ｎ）は、第１の動きマップＭａｓｋ（ｎ）に表された動体物の存在領域と、当該動体物が通過してきた動体通過領域の画素位置とを示すものとなる。また、動体通過領域を構成する各画素の値は、時系列的に近時の動体通過領域であるほど、より大きな値が付されることになる。以下では、第２の動きマップＭｅｒｇｅＭａｓｋ（ｎ）を構成する各画素の値を動き情報ともいう。
　第３の生成部１４２で生成された第２の動きマップＭｅｒｇｅＭａｓｋ（ｎ）は、調整部１４３に引き渡されるとともに、第１の記憶部２１（図１参照）に記憶される。第１の記憶部２１に記憶された第２の動きマップＭｅｒｇｅＭａｓｋ（ｎ）は、次のフレームのフレーム画像Ｉｍａｇｅ（ｎ＋１）に係る第１の動きマップＭａｓｋ（ｎ＋１）が残像処理部１４に入力される際に、残像処理部１４に入力される。つまり、第１の記憶部２１は、新たに入力される最新のフレーム画像Ｉｍａｇｅ（ｎ）から見て、１フレーム分過去の過去フレームについて生成された第２の動きマップＭｅｒｇｅＭａｓｋ（ｎ－１）を記憶し、保持している。そして、第１の記憶部２１に記憶された１フレーム分過去の過去フレームに係る第２の動きマップＭｅｒｇｅＭａｓｋ（ｎ－１）は、最新の第１の動きマップＭａｓｋ（ｎ）が残像処理部１４に入力される際に、残像処理部１４に入力される。
　このように、画像処理装置１では、新たなフレーム画像が入力される毎に、先行する２フレーム分のフレーム画像について生成された第２の動きマップＭｅｒｇｅＭａｓｋ（例えば、ｎ－１）が、過去フレームに係る過去マップ画像として再帰的に使用される。そして、第２の生成部１４１は、過去マップ画像から、新たに入力された現フレームに係る第１の動きマップＭａｓｋ（例えば、ｎ）を減算することで、動体通過マップＰａｓｓＭａｓｋ（ｎ）を生成する。
　調整部１４３は、現フレームに係る第２の動きマップＭｅｒｇｅＭａｓｋ（ｎ）に基づいて、３ＤＮＲ処理部１６の３ＤＮＲ処理に係るパラメータを調整する。本実施形態では、調整部１４３は、合成処理部１５の動作に係るパラメータＰＲ１を調整する。
　具体的には、調整部１４３は、第２の動きマップＭｅｒｇｅＭａｓｋ（ｎ）を構成する各画素の動き情報に基づいて、フレーム画像Ｉｍａｇｅ（ｎ）とフレーム画像Ｉｍａｇｅ（ｎ－１）との合成比率を画素単位で調整する。ここで、調整部１４３は、動き情報の値が大きい画素ほど、現フレームのフレーム画像Ｉｍａｇｅ（ｎ）の合成比率が大きくなるようにパラメータＰＲ１を調整する。
　図３は、パラメータＰＲ１の調整方法の一例を説明するための図である。図３において、縦軸は、現フレームのフレーム画像Ｉｍａｇｅ（ｎ）の合成比率（％）を意味する。横軸は、動き情報の値を意味する。なお、図３では、動き情報を０～２５５の値で表した例を示しているが、これに限らないものとする。
　図３の調整方法において、調整部１４３は、第２の動きマップＭｅｒｇｅＭａｓｋ（ｎ）を構成する各画素の動き情報の値に基づき、対応する画素位置でのフレーム画像Ｉｍａｇｅ（ｎ）の合成比率を決定する。
　例えば、調整部１４３は、動き情報の値が“０”の画素、つまり動体物の存在領域及び動体通過領域以外の静止領域の画素について、フレーム画像Ｉｍａｇｅ（ｎ）の合成比率が１０％となるようにパラメータＰＲ１を調整する。また、例えば、調整部１４３は、動き情報の値が“１００”の画素について、フレーム画像Ｉｍａｇｅ（ｎ）の合成比率が５５％となるようにパラメータＰＲ１を調整する。また、調整部１４３は、動き情報の値が“２００”以上の画素について、フレーム画像Ｉｍａｇｅ（ｎ）の比率が１００％となるようにパラメータＰＲ１を調整する。
　なお、図３では、動き情報の値に比例して、フレーム画像Ｉｍａｇｅ（ｎ）の合成比率を上昇させる例を示したが、合成パラメータの調整方法はこれに限定されるものではない。例えば、動き情報の値に応じて、フレーム画像Ｉｍａｇｅ（ｎ）の合成比率を段階的に上昇させてもよい。
　図１に戻り、合成処理部１５には、第１の２ＤＮＲ処理部１１及び第２の２ＤＮＲ処理部１２で処理された、２ＤＮＲ済みのフレーム画像Ｉｍａｇｅ（ｎ）及びフレーム画像Ｉｍａｇｅ（ｎ－１）が入力される。合成処理部１５は、残像処理部１４から指示されるパラメータＰＲ１に基づき、フレーム画像Ｉｍａｇｅ（ｎ）とフレーム画像Ｉｍａｇｅ（ｎ－１）とを合成する合成処理（アルファブレンドともいう）を実行する。
　具体的には、合成処理部１５は、残像処理部１４（調整部１４３）から指示されるパラメータＰＲ１に基づき、フレーム画像Ｉｍａｇｅ（ｎ）とフレーム画像Ｉｍａｇｅ（ｎ－１）との合成比率を画素単位で設定する。そして、合成処理部１５は、設定した合成比率でフレーム画像Ｉｍａｇｅ（ｎ）とフレーム画像Ｉｍａｇｅ（ｎ－１）とを合成し、３ＤＮＲ済みのフレーム画像ＤＮＲ＿Ｉｍａｇｅ（ｎ）を出力する。
　このように、第１の２ＤＮＲ処理部１１、第２の２ＤＮＲ処理部１２及び合成処理部１５で構成される３ＤＮＲ処理部１６は、現フレームと現フレームより過去の過去フレームとに基づいた３ＤＮＲ処理を実行する。
　ところで、従来の３ＤＮＲ処理の手法では、動体物が通過した後の静止領域、つまり動体通過領域にノイズが発生する可能性がある。具体的には、従来の手法では、過去フレームで動体が通過した動体通過領域は、現フレームでは単なる静止領域として処理される。また、静止領域における現フレームと過去フレームとの合成比率は過去フレームの方が大きくなるため、過去フレームの影響が支配的となる。
　そのため、従来の手法では、過去フレームに存在した動体物が合成後のフレーム画像に残存し、この残存部分は動体物の後ろに尾を引くようなノイズ（残像ノイズ）を発生させる可能性があった。また、現フレーム中の動体通過領域に、過去フレームで行われた２ＤＮＲ処理の処理結果が強く反映されるため、２ＤＮＲ処理に伴う解像劣化が合成後のフレーム画像に現れる可能性があった。
　一方、本実施形態の画像処理装置１は、少なくとも直近の３フレーム分のフレーム画像から、動体物の存在領域とその動体物の動体通過領域とを抽出する。そして、画像処理装置１は、動体物の存在領域と、残像抑制強度を乗算した動体通過領域とをマージした第２の動きマップＭｅｒｇｅＭａｓｋ（ｎ）に基づいて、フレーム画像Ｉｍａｇｅ（ｎ）とフレーム画像Ｉｍａｇｅ（ｎ－１）との合成比率を調整する。
　これにより、画像処理装置１では、動体通過領域でのフレーム画像Ｉｍａｇｅ（ｎ）の合成比率が、フレーム画像Ｉｍａｇｅ（ｎ－１）より大きくなるように調整することができる。上述したように、動体通過領域に発生する残像ノイズは、現フレームよりも過去フレームに由来するため、現フレームのフレーム画像Ｉｍａｇｅ（ｎ）の合成比率を大きくすることで、残像ノイズの低減化を図ることができる。また、動き情報の値が大きい画素、つまり合成後も残存する可能性の高い画素ほど、フレーム画像Ｉｍａｇｅ（ｎ）の合成比率を大きくすることができるため、過去フレームに由来する残像ノイズを効率的に低減することができる。
　なお、３ＤＮＲ後のフレーム画像ＤＮＲ＿Ｉｍａｇｅ（ｎ）は、画像処理装置１から表示装置等の外部装置に出力されるとともに、第２の記憶部２２に記憶される。第２の記憶部２２に記憶されたフレーム画像ＤＮＲ＿Ｉｍａｇｅ（ｎ）は、次のフレームのフレーム画像Ｉｍａｇｅ（ｎ＋１）が第１の２ＤＮＲ処理部１１及び第１の生成部１３に入力される際に、フレーム画像Ｉｍａｇｅ（ｎ）として、第２の２ＤＮＲ処理部１２及び第１の生成部１３に入力される。つまり、第２の記憶部２２は、新たに入力される最新のフレーム画像Ｉｍａｇｅ（ｎ）から見て、１フレーム分過去の過去フレームについて生成されたフレーム画像ＤＮＲ＿Ｉｍａｇｅ（ｎ－１）を記憶し、保持している。そして、第２の記憶部２２に記憶された１フレーム過去分の過去フレームに係るフレーム画像ＤＮＲ＿Ｉｍａｇｅ（ｎ－１）は、最新のフレーム画像Ｉｍａｇｅ（ｎ）が第１の２ＤＮＲ処理部１１及び第１の生成部１３に入力される際に、フレーム画像Ｉｍａｇｅ（ｎ－１）として、第２の２ＤＮＲ処理部１２及び第１の生成部１３に入力される。
　このように、画像処理装置１では、新たなフレーム画像が入力される毎に、先行する２フレーム分のフレーム画像について生成された３ＤＮＲ済みのフレーム画像ＤＮＲ＿Ｉｍａｇｅ（例えば、ｎ－１）が、過去フレームのフレーム画像Ｉｍａｇｅ（例えば、ｎ－１）として再帰的に使用される。
　次に、図４及び図５を参照して、本実施形態に係る画像処理装置１の動作について説明する。ここで、図４は、画像処理装置１の全体動作を説明するための説明図である。また、図５は、第１の生成部１３及び残像処理部１４の動作を説明するための説明図である。
　なお、図４では、破線で区分した左側の領域に、第１の２ＤＮＲ処理部１１、第２の２ＤＮＲ処理部１２、第１の生成部１３、残像処理部１４、及び合成処理部１５の動作を示している。また、破線で区分した右側の領域には、図１に示した第１の記憶部２１及び第２の記憶部２２を示している。
　また、図５において、フレーム画像Ｉｍａｇｅ（ｎ－２）～Ｉｍａｇｅ（ｎ）は、時系列的に連続する３つのフレーム画像を意味する。また、フレーム画像中のハッチング領域は、動体物が存在する位置を意味し、同一の動体物が図中左方から右方に移動する状態を表している。また、動体物の各々に付した符号Ａ～Ｄは、何れのフレーム画像に由来する動体物かを識別するための識別子である。具体的には、動体物Ｂは、フレーム画像Ｉｍａｇｅ（ｎ－２）に含まれた動体物を、動体物Ｃは、フレーム画像Ｉｍａｇｅ（ｎ－１）に含まれた動体物を、動体物Ｄは、フレーム画像Ｉｍａｇｅ（ｎ）に含まれた動体物を意味する。なお、動体物Ａは、図示しないフレーム画像Ｉｍａｇｅ（ｎ－３）に含まれた動体物を意味する。
　また、図４及び図５では、現フレームより１フレーム分過去のフレーム画像Ｉｍａｇｅ（ｎ－１）の段階まで、３ＤＮＲ処理が完了済み、つまり第１の動きマップＭａｓｋ（ｎ－１）、第２の動きマップＭｅｒｇｅＭａｓｋ（ｎ－１）及び３ＤＮＲ済みのフレーム画像ＤＮＲ＿Ｉｍａｇｅ（ｎ－１）が生成済みであるとする。
　まず、第１の生成部１３は、現フレームのフレーム画像Ｉｍａｇｅ（ｎ）と、現フレームより１フレーム分過去のフレーム画像Ｉｍａｇｅ（ｎ－１）とに基づいて、第１の動きマップＭａｓｋ（ｎ）を生成する（ステップＳ１１）。１フレーム分過去のフレーム画像Ｉｍａｇｅ（ｎ－１）は、第２の記憶部２２に記憶された、１フレーム分過去の過去フレームに係る３ＤＮＲ済みのフレーム画像ＤＮＲ＿Ｉｍａｇｅ（ｎ－１）に対応するものである。
　ここで、第１の動きマップＭａｓｋ（ｎ）は、図５に示すように、フレーム画像Ｉｍａｇｅ（ｎ）とフレーム画像Ｉｍａｇｅ（ｎ－１）との両フレーム画像において、動体物が存在する存在領域を表す画像となる。
　続いて、第２の生成部１４１は、第１の記憶部２１に記憶された１フレーム分過去の過去フレームに係る第２の動きマップＭｅｒｇｅＭａｓｋ（ｎ－１）から、現フレームに係る第１の動きマップＭａｓｋ（ｎ）を減算することで、動体通過マップＰａｓｓＭａｓｋ（ｎ）を生成する（ステップＳ１２）。
　ここで、動体通過マップＰａｓｓＭａｓｋ（ｎ）は、図５に示すように、第２の動きマップＭｅｒｇｅＭａｓｋ（ｎ－１）に表された動体物の存在領域及び動体通過領域から、第１の動きマップＭａｓｋ（ｎ）に表された動体物の存在領域を取り除いた画像となる。つまり、動体通過マップＰａｓｓＭａｓｋ（ｎ）には、少なくともフレーム画像Ｉｍａｇｅ（ｎ－１）より過去のフレーム画像Ｉｍａｇｅ（ｎ－２）に含まれた動体物の存在領域が動体通過領域として表されることになる。
　続いて、第３の生成部１４２は、上述した式（１）に基づき、残像抑制強度を乗算した動体通過マップＰａｓｓＭａｓｋ（ｎ）を、第１の動きマップＭａｓｋ（ｎ）にマージすることで、第２の動きマップＭｅｒｇｅＭａｓｋ（ｎ）を生成する（ステップＳ１３）。
　これにより、第２の動きマップＭｅｒｇｅＭａｓｋ（ｎ）は、図５に示すように、動体物の存在領域と、残像抑制強度が乗算された動体通過領域とをマージした画像となる。図５では、動き情報の大小関係をハッチングの濃淡で表している。ここで、動き情報の大小関係は、動体物Ａ＜動体物Ｂ＜動体物Ｃ＝動体物Ｄとなる。つまり、動き情報の値は、時系列的に新しいフレームに由来する動体通過領域ほど大きくなり、より過去のフレームに由来する動体通過領域であるほど残像抑制強度の乗算回数が増えるため小さくなる。
　また、第３の生成部１４２は、生成した第２の動きマップＭｅｒｇｅＭａｓｋ（ｎ）を、第１の記憶部２１に記憶する（ステップＳ１４）。
　上述したように、第１の記憶部２１に記憶された第２の動きマップＭｅｒｇｅＭａｓｋ（ｎ－1）は、フレーム画像Ｉｍａｇｅ（ｎ）が入力された場合に、１フレーム分過去の過去フレームに係る第２の動きマップＭｅｒｇｅＭａｓｋ（ｎ－1）として、動体通過マップＰａｓｓＭａｓｋ（ｎ）の生成に使用される。また、フレーム画像Ｉｍａｇｅ（ｎ）の処理に伴い第１の記憶部２１に記憶された第２の動きマップＭｅｒｇｅＭａｓｋ（ｎ）は、新たなフレームのフレーム画像Ｉｍａｇｅ（ｎ＋１）が入力された際に、１フレーム分過去の過去フレームに係る第２の動きマップＭｅｒｇｅＭａｓｋ（ｎ）として、動体通過マップＰａｓｓＭａｓｋ（ｎ＋１）の生成に使用される。
　このように、画像処理装置１では、新たなフレーム画像（例：ｎ）が入力される毎に、先行する２フレーム分のフレーム画像について生成された第２の動きマップＭｅｒｇｅＭａｓｋ（例：ｎ－１）が、過去フレームに係る過去マップ画像として再帰的に使用される。
　続いて、調整部１４３は、第２の動きマップＭｅｒｇｅＭａｓｋ（ｎ）を構成する各画素の動き情報の値に基づき、フレーム画像Ｉｍａｇｅ（ｎ）とフレーム画像Ｉｍａｇｅ（ｎ－１）との合成比率に係るパラメータＰＲ１を調整する（ステップＳ１５）。
　一方、第１の２ＤＮＲ処理部１１及び第２の２ＤＮＲ処理部１２は、入力されたフレーム画像Ｉｍａｇｅ（ｎ）及びフレーム画像Ｉｍａｇｅ（ｎ－１）の各々に対し、２ＤＮＲ処理を行う（ステップＳ１６、Ｓ１７）。
　続いて、合成処理部１５は、調整部１４３で調整されたパラメータＰＲ１に基づき、２ＤＮＲ処理後のフレーム画像Ｉｍａｇｅ（ｎ）とフレーム画像Ｉｍａｇｅ（ｎ－１）とを合成し、３ＤＮＲ後のフレーム画像ＤＮＲ＿Ｉｍａｇｅ（ｎ）を出力する（ステップＳ１８）。
　また、合成処理部１５は、フレーム画像ＤＮＲ＿Ｉｍａｇｅ（ｎ）を第２の記憶部２２に記憶する（ステップＳ１９）。
　上述したように、第２の記憶部２２に記憶されたフレーム画像ＤＮＲ＿Ｉｍａｇｅ（ｎ－１）は、フレーム画像Ｉｍａｇｅ（ｎ）が入力された際に、１フレーム分過去の過去フレームに係るフレーム画像Ｉｍａｇｅ（ｎ－１）として、フレーム画像ＤＮＲ＿Ｉｍａｇｅ（ｎ）の生成に使用される。また、フレーム画像Ｉｍａｇｅ（ｎ）の処理に伴い第２の記憶部２２に記憶されたフレーム画像ＤＮＲ＿Ｉｍａｇｅ（ｎ）は、新たなフレームのフレーム画像Ｉｍａｇｅ（ｎ＋１）が入力された際に、１フレーム分過去の過去フレームに係るフレーム画像Ｉｍａｇｅ（ｎ）として、フレーム画像ＤＮＲ＿Ｉｍａｇｅ（ｎ＋１）の生成に使用される。
　このように、新たなフレーム画像（例：ｎ）が入力される毎に、先行する２フレーム分のフレーム画像について生成された３ＤＮＲ処理済のフレーム画像ＤＮＲ＿Ｉｍａｇｅ（例：ｎ－１）が、過去フレームのフレーム画像Ｉｍａｇｅ（例：ｎ－１）として再帰的に使用される。
　次に、図６を参照して、上述した第１の生成部１３、残像処理部１４及び合成処理部１５が行う処理の流れについて説明する。図６は、第１の生成部１３、残像処理部１４及び合成処理部１５が行う処理の一例を示すフローチャートである。本処理では、最新のフレーム画像Ｉｍａｇｅ（ｎ＋Ｘ）を基点とし、このＩｍａｇｅ（ｎ＋Ｘ）以降に入力される将来のフレーム画像を処理する場合の動作について説明する。なお、「Ｘ」は整数である。
　まず、第１の生成部１３は、フレーム画像Ｉｍａｇｅ（ｎ＋Ｘ）の入力を検出すると（ステップＳ２１）、フレーム画像Ｉｍａｇｅ（ｎ＋Ｘ）と、フレーム画像Ｉｍａｇｅ（ｎ＋Ｘ－１）とに基づいて、第１の動きマップＭａｓｋ（ｎ＋Ｘ）を生成する（ステップＳ２２）。ここで、フレーム画像Ｉｍａｇｅ（ｎ＋Ｘ－１）は、第２の記憶部２２に保持されたフレーム画像ＤＮＲ＿Ｉｍａｇｅ（ｎ＋Ｘ－１）に対応するものである。
　続いて、第２の生成部１４１は、第２の動きマップＭｅｒｇｅＭａｓｋ（ｎ＋Ｘ－１）から第１の動きマップＭａｓｋ（ｎ＋Ｘ）を減算し、減算の結果が正値となる画素を表した動体通過マップＰａｓｓＭａｓｋ（ｎ＋Ｘ）を生成する（ステップＳ２３）。
　続いて、第３の生成部１４２は、動体通過マップＰａｓｓＭａｓｋ（ｎ＋Ｘ）と第１の動きマップＭａｓｋ（ｎ＋Ｘ）とをマージすることで、第２の動きマップＭｅｒｇｅＭａｓｋ（ｎ＋Ｘ）を生成する。具体的には、第３の生成部１４２は、第２の動きマップＭｅｒｇｅＭａｓｋ（ｎ＋Ｘ）を構成する各画素の画素位置毎に以下の処理を実行することで、各画素の動き情報を設定する。
　まず、第３の生成部１４２は、動体通過マップＰａｓｓＭａｓｋ（ｎ＋Ｘ）を構成する各画素の値を参照し、その値が正値か否かを判定する（ステップＳ２４）。ここで、第３の生成部１４２は、画素が正値の場合は動体通過領域と判断する（ステップＳ２４；Ｙｅｓ）。この場合、第３の生成部１４２は、動体通過領域と判断した画素の値に残像抑制強度を乗算した値を、第１の動きマップＭａｓｋ（ｎ＋Ｘ)が保持する値に加算し、第２の動きマップＭｅｒｇｅＭａｓｋ（ｎ＋Ｘ）の対応する画素の動き情報に設定する（ステップＳ２５）。また、第３の生成部１４２は、画素が正値ではない場合は動体領域、又は静止領域と判断する（ステップＳ２４；Ｎｏ）。この場合、第３の生成部１４２は、第１の動きマップＭａｓｋ（ｎ＋Ｘ）が保持する同じ画素位置の値を、第２の動きマップＭｅｒｇｅＭａｓｋ（ｎ＋Ｘ）の対応する画素の動き情報に設定する（ステップＳ２６）。
　続いて、調整部１４３は、第３の生成部１４２で生成された第２の動きマップＭｅｒｇｅＭａｓｋ（ｎ＋Ｘ）に基づいて、合成処理部１５の合成処理に係るパラメータＰＲ１を調整する（ステップＳ２７）。
　続いて、合成処理部１５は、調整部１４３で調整されたパラメータＰＲ１に基づいて、２ＤＮＲ後のフレーム画像Ｉｍａｇｅ（ｎ＋Ｘ）とフレーム画像Ｉｍａｇｅ（ｎ＋Ｘ－１）とを合成する（ステップＳ２８）。そして、合成処理部１５は、合成したフレーム画像を、３ＤＮＲ後のフレーム画像ＤＮＲ＿Ｉｍａｇｅ（ｎ＋Ｘ）として出力する（ステップＳ２９）。
　続いて、第１の生成部１３は、新たなフレーム画像Ｉｍａｇｅ（ｎ＋Ｘ＋１）が入力されたか否かを判定する（ステップＳ３０）。ここで、入力が検出された場合には（ステップＳ３０；Ｙｅｓ）、第１の生成部１３は、入力されたフレーム画像Ｉｍａｇｅ（ｎ＋Ｘ＋１）を現フレームとして処理するため、「Ｘ＋１」を「Ｘ」とし（ステップＳ３１）、ステップＳ２２に処理を戻す。これにより、フレーム画像Ｉｍａｇｅ（ｎ＋Ｘ）に対し、上述したステップＳ２２～Ｓ３１の処理が順次実行される。このように、本処理では、新たなフレーム画像が入力される毎に「Ｘ」の値が１インクリメントされ、そのＸの値に応じたフレーム画像Ｉｍａｇｅ（ｎ＋Ｘ－１）及び第２の動きマップＭｅｒｇｅＭａｓｋ（ｎ＋Ｘ－１）が、ステップＳ２２、Ｓ２３で使用される。
　なお、フレーム画像の入力が一時的に途絶えた場合等、ステップＳ３０でフレーム画像Ｉｍａｇｅ（ｎ＋Ｘ＋１）の入力が検出されない場合には（ステップＳ３０；Ｎｏ）、処理を終了する。そして、フレーム画像の入力が再び開始された場合には、ステップＳ２１から処理を開始する。
　以上説明したように、本実施形態に係る画像処理装置１は、連続して入力される複数のフレーム画像のうち、直近の２フレーム分のフレーム画像Ｉｍａｇｅ（ｎ）、フレーム画像Ｉｍａｇｅ（ｎ－１）から第１の動きマップＭａｓｋ（ｎ）を生成する。また、画像処理装置１は、フレーム画像Ｉｍａｇｅ（ｎ）より過去のフレーム画像に含まれた前記動体物の存在領域を示す第２の動きマップＭｅｒｇｅＭａｓｋ（ｎ－１）から、第１の動きマップＭａｓｋ（ｎ）を減算することで、動体通過マップＰａｓｓＭａｓｋ（ｎ）を生成する。また、画像処理装置１は、第１の動きマップＭａｓｋ（ｎ）と、残像抑制強度を乗算した動体通過マップＰａｓｓＭａｓｋ（ｎ）とをマージし、第２の動きマップＭｅｒｇｅＭａｓｋ（ｎ）を生成する。そして、画像処理装置１は、第２の動きマップＭｅｒｇｅＭａｓｋ（ｎ）に基づいて、フレーム画像Ｉｍａｇｅ（ｎ）とフレーム画像Ｉｍａｇｅ（ｎ－１）との合成処理に係るパラメータＰＲ１を調整する。
　これにより、画像処理装置１は、動体通過領域でのフレーム画像Ｉｍａｇｅ（ｎ）の合成比率をパラメータＰＲ１に応じて変化させることができるため、動体通過領域に発生する残像ノイズの低減化を図ることができる。したがって、画像処理装置１は、残像ノイズが抑制されたフレーム画像（ＤＮＲ＿Ｉｍａｇｅ（ｎ））を出力することができる。
　また、本実施形態に係る画像処理装置１では、フレーム画像と比較し、ビット深度が低減化された第１の動きマップ、動体通過マップ及び第２の動きマップを用いて、３ＤＮＲ処理に係るパラメータの調整を行う。これにより、画像処理装置１は、パラメータ調整に係る処理負荷やメモリの使用量を抑えることができるため、処理の効率化を図ることができる。
　また、本実施形態に係る画像処理装置１では、少なくとも３フレーム分のフレーム画像に含まれた動体物の存在位置及び動体通過領域を、第２の動きマップに集約して保持することができる。これにより、画像処理装置１は、例えば３フレーム分のフレーム画像を個別に保持する構成と比較し、使用するメモリ容量やメモリの個数を減らすことができるため、処理の効率化を図ることができる。
　なお、上述した実施形態は、画像処理装置１が有する構成又は機能の一部を変更することで、適宜に変形して実施することも可能である。そこで、以下では、上述した実施形態に係るいくつかの変形例を他の実施形態として説明する。なお、以下では、上述した実施形態と異なる点を主に説明することとし、既に説明した内容と共通する点については詳細な説明を省略する。また、以下で説明する変形例は、個別に実施されてもよいし、適宜組み合わせて実施されてもよい。
（変形例１）
　上述の実施形態では、調整部１４３は、３ＤＮＲ処理に係るパラメータとして、合成処理部１５の動作に係るパラメータＰＲ１を調整する形態を説明した。しかしながら、調整の対象となるパラメータは、合成処理部１５に関するものに限らない。
　そこで、本変形例では、調整部１４３が、第１の２ＤＮＲ処理部１１及び第２の２ＤＮＲ処理部１２の動作に係るパラメータＰＲ２、ＰＲ３を調整する形態について説明する。
　本変形例に係る画像処理装置１では、図１に示すように、第１の２ＤＮＲ処理部１１及び第２の２ＤＮＲ処理部１２が、残像処理部１４に接続される（図１の破線部参照）。
　第１の２ＤＮＲ処理部１１及び第２の２ＤＮＲ処理部１２の各々は、残像処理部１４（調整部１４３）で調整されたパラメータＰＲ２、ＰＲ３に基づいて２ＤＮＲ処理の強度等を決定する。なお、２ＤＮＲ処理の強度の変更方法は、例えばフィルタのサイズや係数を変更する等、特に限定されないものとする。
　また、本変形例に係る調整部１４３は、第３の生成部１４２で生成された第２の動きマップＭｅｒｇｅＭａｓｋ（ｎ）に基づいて、第１の２ＤＮＲ処理部１１及び第２の２ＤＮＲ処理部１２の動作に係るパラメータＰＲ２、ＰＲ３を調整する。具体的には、調整部１４３は、第２の動きマップＭｅｒｇｅＭａｓｋ（ｎ）を構成する各画素の動き情報に基づいて、第１の２ＤＮＲ処理部１１及び第２の２ＤＮＲ処理部１２が行う２ＤＮＲ処理の強度を画素単位で調整する。
　例えば、調整部１４３は、動き情報の値が大きい画素ほど、フレーム画像Ｉｍａｇｅ（ｎ）に対して実行される２ＤＮＲ処理の強度が大きくなるように、第１の２ＤＮＲ処理部１１のパラメータＰＲ２を調整する。また、調整部１４３は、動き情報の値が大きい画素ほど、フレーム画像Ｉｍａｇｅ（ｎ－１）に対して実行される２ＤＮＲ処理の強度が大きくなるように、第２の２ＤＮＲ処理部１２のパラメータＰＲ３を調整する。
　ここで、調整部１４３は、上述した合成処理部１５の合成比率と同様に、第１の２ＤＮＲ処理部１１及び第２の２ＤＮＲ処理部１２の２ＤＮＲの強度を比率で指定してもよいし、各々の強度を独立した基準で指定してもよい。
　上記の構成により、画像処理装置１は、第２の動きマップＭｅｒｇｅＭａｓｋ（ｎ）に表された動体通過領域の動き情報に応じて、当該動体通過領域に対して第１の２ＤＮＲ処理部１１及び第２の２ＤＮＲ処理部１２が行う２ＤＮＲ処理の強度を調整することができる。
　次に、図７を参照して、本変形例に係る画像処理装置１の動作について説明する。ここで、図７は、変形例１に係る画像処理装置１の全体動作を説明するための説明図である。
　図７では、上述した図４と同様に、第１の２ＤＮＲ処理部１１、第２の２ＤＮＲ処理部１２、第１の生成部１３、残像処理部１４、及び合成処理部１５の動作と、第１の記憶部２１及び第２の記憶部２２に対するデータの入出力の状態とを、破線により区分した左右の領域に示している。なお、ステップＳ４１～Ｓ４４は、図４で説明したステップＳ１１～Ｓ１４と同様であるため説明を省略する。
　ステップＳ４４の後、調整部１４３は、第２の動きマップＭｅｒｇｅＭａｓｋ（ｎ）に基づき、合成処理部１５のパラメータＰＲ１を調整するとともに、第１の２ＤＮＲ処理部１１及び第２の２ＤＮＲ処理部１２のパラメータＰＲ２、ＰＲ３を調整する（ステップＳ４５）。
　第１の２ＤＮＲ処理部１１は、調整後のパラメータＰＲ２に応じた強度で、フレーム画像Ｉｍａｇｅ（ｎ）に対し２ＤＮＲ処理を実行する（ステップＳ４６）。また、第２の２ＤＮＲ処理部１２は、調整後のパラメータＰＲ３に応じた強度で、フレーム画像Ｉｍａｇｅ（ｎ－１）に対し２ＤＮＲ処理を実行する（ステップＳ４７）。
　続いて、合成処理部１５は、調整部１４３から指示されたパラメータＰＲ１に基づき、２ＤＮＲ後のフレーム画像Ｉｍａｇｅ（ｎ）とフレーム画像Ｉｍａｇｅ（ｎ－１）とを合成することで、３ＤＮＲ後のフレーム画像ＤＮＲ＿Ｉｍａｇｅ（ｎ）を出力する（ステップＳ４８）。なお、ステップＳ４９は、図４で説明したステップＳ１９と同様である。
　以上のように、本変形例に係る画像処理装置１によれば、動体通過領域に対する２ＤＮＲ処理の強度をパラメータＰＲ２、ＰＲ３の調整により変化させることができるため、動体通過領域に発生する残像ノイズの低減化を図ることができる。したがって、画像処理装置１は、残像ノイズが抑制されたフレーム画像（ＤＮＲ＿Ｉｍａｇｅ（ｎ））を出力することができる。また、動体通過領域に対する２ＤＮＲ処理の強度とともに、フレーム画像Ｉｍａｇｅ（ｎ）の合成比率も調整することができるため、動体通過領域に発生する残像ノイズの更なる低減化を図ることができる。
　なお、本変形例では、パラメータＰＲ２及びパラメータＰＲ３の両方を調整する形態としたが、何れか一方のみ（例えばパラメータＰＲ３のみ）を調整する形態としてもよい。また、パラメータＰＲ１の調整を行わず、パラメータＰＲ２、ＰＲ３の調整のみ行う形態としてもよい。
（変形例２）
　上述の実施形態では、図１を用いて画像処理装置１の構成を説明したが、画像処理装置１の構成はこれに限定されるものではない。例えば、画像処理装置１は、３ＤＮＲ処理の効率化やフレーム画像の安定化等に係る機能を更に備えてもよい。本変形例では、画像処理装置１の他の構成例について説明する。
　図８は、本変形例に係る画像処理装置１の構成の一例を示す図である。本変形例に係る画像処理装置１は、図８に示すように、上述した図１の構成に加え、動き量推定部３１、動き補償部３２、動画ぶれ除去部３３、及び位置合わせ部３４を更に備える。ここで、動き量推定部３１は、動き量推定部の一例である。動き補償部３２は、動き補償部の一例である。
　なお、動き量推定部３１、動き補償部３２、動画ぶれ除去部３３、及び位置合わせ部３４の一部又は全部は、専用回路等のハードウェア構成によって実現されてもよい。また、動き量推定部３１、動き補償部３２、動画ぶれ除去部３３、及び位置合わせ部３４の一部又は全部は、マイクロコンピュータ等のコンピュータが備えるプロセッサと、プログラムとの協働によるソフトウェア構成によって実現されてもよい。プロセッサの一例として、ＣＰＵ、ＤＳＰ、ＦＰＧＡ、ＧＰＵ等が挙げられる。
　動き量推定部３１には、現フレームのフレーム画像Ｉｍａｇｅ（ｎ）と、現フレームより１フレーム分過去のフレーム画像Ｉｍａｇｅ（ｎ－１）、つまり先行するフレーム画像を基に生成された３ＤＮＲ後のフレーム画像ＤＮＲ＿Ｉｍａｇｅ（ｎ－１）とが入力される。動き量推定部３１は、フレーム画像Ｉｍａｇｅ（ｎ）とフレーム画像Ｉｍａｇｅ（ｎ－１）に基づき、両フレーム画像に含まれた動体物の移動量を推定する処理（ＭＥ：Motion　Estimation）を実行する。そして、動き量推定部３１は、推定結果となる動体物の移動量を動き補償部３２に出力する。
　なお、図８では、合成処理部１５と動き量推定部３１とを直接接続した例を示しているが、合成処理部１５と第２の記憶部２２とを接続する構成としてもよい。例えば、動き量推定部３１は、フレーム画像Ｉｍａｇｅ（ｎ）を検出すると、第２の記憶部２２からフレーム画像ＤＮＲ＿Ｉｍａｇｅ（ｎ－１）の読み出しを行う構成としてもよい。なお、フレーム画像ＤＮＲ＿Ｉｍａｇｅ（ｎ－１）の読み出し方法はこれに限らないものとする。例えば、画像処理装置１の内部若しくは外部に、フレーム画像Ｉｍａｇｅ（ｎ）の入力タイミング及び第２の記憶部２２からのフレーム画像ＤＮＲ＿Ｉｍａｇｅ（ｎ－１）の読み出しタイミング等をまとめて制御する図示しない入出力制御部を設けてもよい。
　また、動き量推定部３１は、ビット深度又は画像サイズを低減したフレーム画像ＤＮＲ＿Ｉｍａｇｅ（ｎ）を用いて、ＭＥ処理を実行する形態としてもよい。例えば、動き量推定部３１は、処理負荷を抑えるため、フレーム画像ＤＮＲ＿Ｉｍａｇｅ（ｎ）のビット深度又は画像サイズを１／４等に縮小したフレーム画像を用いてＭＥ処理を実行してもよい。また、動き量推定部３１が実行するＭＥ処理は、公知の技術を用いることが可能である。
　動き補償部３２には、上述した動体物の移動量とともに、現フレームのフレーム画像Ｉｍａｇｅ（ｎ）と、後述する位置合わせ部３４で位置合わせ済のフレーム画像Ｉｍａｇｅ（ｎ－１）とが入力される。動き補償部３２は、これらの入力情報を基に、フレーム間予測等の動き補償（ＭＣ：Motion　Compensation）処理を実行する。そして、動き補償部３２は、ＭＣ処理後のフレーム画像Ｉｍａｇｅ（ｎ－１）を第２の２ＤＮＲ処理部１２及び第１の生成部１３に出力する。なお、動き補償部３２が実行するＭＣ処理は、公知の技術を用いることが可能である。
　動画ぶれ除去部３３には、現フレームのフレーム画像Ｉｍａｇｅ（ｎ）が入力される。動画ぶれ除去部３３は、連続して入力されるフレーム画像Ｉｍａｇｅ（ｎ）から、当該フレーム画像Ｉｍａｇｅ（ｎ）の揺れ方向を推定し、揺れ方向と反対にシフトすることで撮像時に生じた手ぶれ等の動画ぶれを除去する。動画ぶれが除去されたフレーム画像Ｉｍａｇｅ（ｎ）は、位置合わせ部３４に出力される。なお、動画ぶれ除去部３３が実行する処理は、公知の技術を用いることが可能である。
　位置合わせ部３４には、動画ぶれ除去後のフレーム画像Ｉｍａｇｅ（ｎ）と、フレーム画像Ｉｍａｇｅ（ｎ－１）とが入力される。ここで、フレーム画像Ｉｍａｇｅ（ｎ－１）は、先行するフレーム画像を基に生成された３ＤＮＲ処理済のフレーム画像ＤＮＲ＿Ｉｍａｇｅ（ｎ－１）に対応する。
　本実施形態では、位置合わせ部３４は、動画ぶれ除去後のフレーム画像Ｉｍａｇｅ（ｎ）を検出すると、第２の記憶部２２からフレーム画像ＤＮＲ＿Ｉｍａｇｅ（ｎ－１）の読み出しを行う。なお、フレーム画像ＤＮＲ＿Ｉｍａｇｅ（ｎ－１）の読み出し方法はこれに限らないものとする。例えば、画像処理装置１の内部若しくは外部に、動画ぶれ除去後のフレーム画像Ｉｍａｇｅ（ｎ）の入力タイミング及び第２の記憶部２２からのフレーム画像ＤＮＲ＿Ｉｍａｇｅ（ｎ－１）の読み出しタイミング等をまとめて制御する図示しない入出力制御部を設けてもよい。
　位置合わせ部３４は、フレーム画像Ｉｍａｇｅ（ｎ）とフレーム画像Ｉｍａｇｅ（ｎ－１）との相関に基づき、フレーム画像Ｉｍａｇｅ（ｎ）に含まれた物体と位置が合うようフレーム画像Ｉｍａｇｅ（ｎ－１）の位置合わせを行う。位置合わせ後のフレーム画像Ｉｍａｇｅ（ｎ）は、動き補償部３２に出力される。なお、動画ぶれ除去部３３が実行する処理は、公知の技術を用いることが可能である。
　上記の構成において、第２の２ＤＮＲ処理部１２は、動き補償部３２から入力されるＭＣ処理後のフレーム画像Ｉｍａｇｅ（ｎ－１）に対し２ＤＮＲ処理を実行する。これにより、第２の２ＤＮＲ処理部１２は、ＭＣ処理の結果を活用して２ＤＮＲ処理を行うことができるため、フレーム画像Ｉｍａｇｅ（ｎ－１）に含まれたノイズをより効率的に除去することができる。
　また、第１の生成部１３は、フレーム画像Ｉｍａｇｅ（ｎ－１）と動画ぶれ除去後のフレーム画像Ｉｍａｇｅ（ｎ）との間で位置合わせが行われ、その後動き補償処理が行われたフレーム画像Ｉｍａｇｅ（ｎ－１）と、フレーム画像Ｉｍａｇｅ（ｎ）とに基づき、第１の動きマップＭａｓｋ（ｎ）を生成する。これにより、第１の生成部１３は、フレーム画像Ｉｍａｇｅ（ｎ）とフレーム画像Ｉｍａｇｅ（ｎ－１）とから、動体物が存在する存在領域の抽出を効率的に行うことができる。
　次に、図９を参照して、本変形例に係る画像処理装置１の動作について説明する。ここで、図９は、本変形例に係る画像処理装置１の全体動作を説明するための説明図である。なお、図９では、破線により区分した左側の領域に、第１の２ＤＮＲ処理部１１、第２の２ＤＮＲ処理部１２、第１の生成部１３、残像処理部１４、合成処理部１５、動き量推定部３１、動き補償部３２、動画ぶれ除去部３３、及び位置合わせ部３４の動作を示している。また、破線で区分した右側の領域には、図８に示した第１の記憶部２１及び第２の記憶部２２を示している。
　まず、動画ぶれ除去部３３は、現フレームのフレーム画像Ｉｍａｇｅ（ｎ）に対し動画ぶれを除去する処理を実行する（ステップＳ５１）。次いで、位置合わせ部３４は、動画ぶれが除去されたフレーム画像Ｉｍａｇｅ（ｎ）を基に、フレーム画像Ｉｍａｇｅ（ｎ－１）の位置合わせを行う（ステップＳ５２）。
　一方、動き量推定部３１は、フレーム画像Ｉｍａｇｅ（ｎ）とフレーム画像Ｉｍａｇｅ（ｎ－１）とに基づき、両フレーム画像に含まれた動体物の動き量を推定するＭＥ処理を実行する（ステップＳ５３）。次いで、動き補償部３２は、フレーム画像Ｉｍａｇｅ（ｎ）、位置合わせ後のフレーム画像Ｉｍａｇｅ（ｎ－１）及びＭＥ処理の処理結果に基づき、動き補償（ＭＣ）処理を実行する（ステップＳ５４）。
　続いて、第１の生成部１３は、フレーム画像Ｉｍａｇｅ（ｎ）と、位置合わせ及び動き補償処理後のフレーム画像Ｉｍａｇｅ（ｎ－１）とに基づき、第１の動きマップＭａｓｋ（ｎ）を生成する（ステップＳ５５）。続くステップＳ５６～Ｓ５９は、図４で説明したステップＳ１２～Ｓ１５と同様であるため説明を省略する。
　続いて、第１の２ＤＮＲ処理部１１は、フレーム画像Ｉｍａｇｅ（ｎ）に対し２ＤＮＲを実行する（ステップＳ６０）。また、第２の２ＤＮＲ処理部１２は、ＭＣ処理の結果を用いて、位置合わせ後のフレーム画像Ｉｍａｇｅ（ｎ－１）に対し２ＤＮＲを実行する（ステップＳ６１）。続くステップＳ６２、Ｓ６３は、図４で説明したステップＳ１８、Ｓ１９と同様であるため説明を省略する。
　以上のように、本変形例に係る画像処理装置１によれば、動き量推定部３１、動き補償部３２、動画ぶれ除去部３３、及び位置合わせ部３４を更に備える。これにより、３ＤＮＲ処理の効率化やフレーム画像の安定化を図ることができる。例えば、ＭＣ処理の処理結果を用いて２ＤＮＲ処理を行う場合、処理結果を用いない構成と比較し、残像ノイズの発生を抑えることができるため、残像ノイズの更なる低減化を図ることができる。
　なお、本変形例の構成において、パラメータＰＲ３を調整する場合には、残像抑制強度は、動き補償部３２（ＭＣ処理）によるノイズ抑制効果を加味した値とすることが好ましい。一例として、第３の生成部１４２は、ＭＣ処理の処理結果が第２の２ＤＮＲ処理部１２に入力されるか否かに応じて、残像抑制強度の値を変更してもよい。
　例えば、第３の生成部１４２は、ＭＣ処理の処理結果が第２の２ＤＮＲ処理部１２に入力される構成の場合には、当該処理結果が入力されない構成と比較し、残像抑制強度を所定量低下させる。これにより、ＭＣ処理の処理結果が第２の２ＤＮＲ処理部１２に入力されるか否かに応じて、動体通過領域に対して第２の２ＤＮＲ処理部１２が行う２ＤＮＲ処理の強度を可変とすることができる。したがって、第３の生成部１４２は、残像ノイズの低減化に適した２ＤＮＲ処理の強度を第２の２ＤＮＲ処理部１２に設定することができる。また、同様に、残像抑制強度の変更にともなって、第１の２ＤＮＲ処理部１１が実行する２ＤＮＲ処理も残像ノイズの低減化に適した強度となる。同様に、合成処理部１５におけるフレーム画像Ｉｍａｇｅ（ｎ）とフレーム画像Ｉｍａｇｅ（ｎ－１）との合成比率(ＰＲ１)も残像ノイズの低減化に適した合成比率を設定することで、３ＤＮＲの効果をより高めることができる。
［第２の実施形態］
　上述した第１の実施形態では、動体通過マップＰａｓｓＭａｓｋ（ｎ）の生成に、過去フレームに係る過去マップ画像として第２の動きマップＭｅｒｇｅＭａｓｋ（ｎ－１）を用いる形態を説明した。第２の実施形態では、第２の動きマップＭｅｒｇｅＭａｓｋ（ｎ－１）に代えて、過去フレームに係る過去マップ画像として第１の動きマップＭａｓｋ（ｎ－１）を用いる形態について説明する。なお、第１の実施形態と同じ機能及び構成の部分には、同一の符号を付与し説明を省略する。
　図１０は、本実施形態に係る画像処理装置１ａの構成の一例を示す図である。画像処理装置１ａは、第１の２ＤＮＲ処理部１１と、第２の２ＤＮＲ処理部１２と、第１の生成部１３ａと、残像処理部１４ａと、合成処理部１５とを備える。また、画像処理装置１ａは、第１の記憶部２１ａと、第２の記憶部２２とを備える。
　第１の生成部１３ａは、第１の生成部１３と同様に、フレーム画像Ｉｍａｇｅ（ｎ）とフレーム画像Ｉｍａｇｅ（ｎ－１）とに基づいて、第１の動きマップＭａｓｋ（ｎ）を生成する。生成された第１の動きマップＭａｓｋ（ｎ）は、残像処理部１４ａに出力される。ここで、フレーム画像Ｉｍａｇｅ（ｎ－１）は、第２の記憶部２２に記憶された、１フレーム分過去の過去フレームに係る３ＤＮＲ処理済のフレーム画像ＤＮＲ＿Ｉｍａｇｅ（ｎ－１）に対応する。
　本実施形態では、第１の生成部１３ａは、フレーム画像Ｉｍａｇｅ（ｎ）を検出すると、第２の記憶部２２からフレーム画像ＤＮＲ＿Ｉｍａｇｅ（ｎ－１）の読み出しを行う。なお、フレーム画像ＤＮＲ＿Ｉｍａｇｅ（ｎ－１）の読み出し方法はこれに限らないものとする。例えば、画像処理装置１の内部若しくは外部に、フレーム画像Ｉｍａｇｅ（ｎ）の入力タイミング及び第２の記憶部２２からのフレーム画像ＤＮＲ＿Ｉｍａｇｅ（ｎ－１）の読み出しタイミング等をまとめて制御する図示しない入出力制御部を設けてもよい。
　また、第１の生成部１３ａは、生成した第１の動きマップＭａｓｋ（ｎ）を第１の記憶部２１ａに記憶する。第１の記憶部２１ａは、例えば２フレーム分の第１の動きマップを記憶可能な用量を有し、記憶した第１の動きマップをＦＩＦＯ（First　In　First　Out）形式で読み出すことが可能となっている。
　残像処理部１４ａには、現フレームに係る第１の動きマップＭａｓｋ（ｎ）と、現フレームより１フレーム分過去の過去フレームに係る第１の動きマップＭａｓｋ（ｎ－１）とが入力される。
　具体的には、残像処理部１４ａは、第１の生成部１３から第１の動きマップＭａｓｋ（ｎ）を検出すると、第１の記憶部２１ａから第１の動きマップＭａｓｋ（ｎ－１）の読み出しを行う。なお、第１の動きマップＭａｓｋ（ｎ－１）の読み出し方法はこれに限らないものとする。例えば、画像処理装置１の内部若しくは外部に、第１の動きマップＭａｓｋ（ｎ）の入力タイミング及び第１の記憶部２１からの第１の動きマップＭａｓｋ（ｎ－１）の読み出しタイミング等をまとめて制御する図示しない入出力制御部を設けてもよい。
　ここで、図１１は、残像処理部１４ａが有する機能の一例を示す図である。図１１に示すように、残像処理部１４ａは、第２の生成部１４１ａと、第３の生成部１４２と、調整部１４３とを有する。
　第２の生成部１４１ａは、第１の動きマップＭａｓｋ（ｎ－１）から第１の動きマップＭａｓｋ（ｎ）を減算することで、動体物が通過した動体通過領域を示す動体通過マップＰａｓｓＭａｓｋ（ｎ）を生成する。具体的には、第２の生成部１４１ａは、第１の動きマップＭａｓｋ（ｎ－１）を構成する各画素の値から、当該画素と同じ画素位置にある第１の動きマップＭａｓｋ（ｎ）の画素の値を減算する。そして、第２の生成部１４１ａは、減算した値が正値となる各画素位置に、その減算結果に応じた値を対応付けた動体通過マップＰａｓｓＭａｓｋ（ｎ）を生成する。ここで、動体通過マップＰａｓｓＭａｓｋ（ｎ）を構成する各画素には、減算結果に応じた値が二値や８ビット等の多値が対応付けられる。
　次に、図１２及び図１３を参照して、本実施形態に係る画像処理装置１の動作について説明する。ここで、図１２は、画像処理装置１の全体動作を説明するための説明図である。また、図１３は、第１の生成部１３及び残像処理部１４の動作を説明するための説明図である。
　なお、図１２では、破線により区分した左側の領域に、第１の２ＤＮＲ処理部１１、第２の２ＤＮＲ処理部１２、第１の生成部１３ａ、残像処理部１４ａ、及び合成処理部１５の動作を示している。また、破線で区分した右側の領域には、図１０に示した第１の記憶部２１ａ及び第２の記憶部２２を示している。
　また、図１３において、フレーム画像Ｉｍａｇｅ（ｎ－２）～Ｉｍａｇｅ（ｎ）は、時系列的に連続する３つのフレーム画像を意味する。また、フレーム画像中のハッチング領域は、動体物が存在する位置を意味する。また、図１２及び図１３では、説明の簡略化のため、現フレームより１フレーム分過去のフレーム画像Ｉｍａｇｅ（ｎ－１）の段階まで３ＤＮＲ処置が完了済み、つまり第１の動きマップＭａｓｋ（ｎ－１）及び３ＤＮＲ処理済のフレーム画像ＤＮＲ＿Ｉｍａｇｅ（ｎ－１）が生成済みであるとする。
　まず、第１の生成部１３ａでは、現フレームのフレーム画像Ｉｍａｇｅ（ｎ）と、現フレームより１フレーム分過去のフレーム画像Ｉｍａｇｅ（ｎ－１）とに基づき、第１の動きマップＭａｓｋ（ｎ）を生成する（ステップＳ７１）。１フレーム分過去のフレーム画像Ｉｍａｇｅ（ｎ－１）は、３ＤＮＲ処理済のフレーム画像ＤＮＲ＿Ｉｍａｇｅ（ｎ－１）に対応するものである。
　ここで、第１の動きマップＭａｓｋ（ｎ）は、図１３に示すように、フレーム画像Ｉｍａｇｅ（ｎ）とフレーム画像Ｉｍａｇｅ（ｎ－１）との両フレーム画像において、動体物が存在する動体存在領域を表す画像となる。
　また、第１の生成部１３ａは、生成した第１の動きマップＭａｓｋ（ｎ）を第１の記憶部２１ａに記憶する（ステップＳ７２）。これにより、第１の記憶部２１ａに先に記憶された第１の動きマップＭａｓｋ（ｎ－１）が残像処理部１４ａに入力される。
　続いて、第２の生成部１４１ａは、第１の記憶部２１に記憶された１フレーム分過去の過去フレームに係る第１の動きマップＭａｓｋ（ｎ－１）から、現フレームに係る第１の動きマップＭａｓｋ（ｎ）を減算することで、動体通過マップＰａｓｓＭａｓｋ（ｎ）を生成する（ステップＳ７３）。
　ここで、動体通過マップＰａｓｓＭａｓｋ（ｎ）は、図１３に示すように、第１の動きマップＭａｓｋ（ｎ－１）に表された動体物の存在領域から、第１の動きマップＭａｓｋ（ｎ）に表された動体物の存在領域を取り除いた画像となる。つまり、動体通過マップＰａｓｓＭａｓｋ（ｎ）には、少なくともフレーム画像Ｉｍａｇｅ（ｎ－１）より過去のフレーム画像Ｉｍａｇｅ（ｎ－２）に含まれた動体物の存在領域が動体通過領域として表されることになる。
　続いて、第３の生成部１４２は、上述した式（１）に基づき、残像抑制強度を乗算した動体通過マップＰａｓｓＭａｓｋ（ｎ）を、第１の動きマップＭａｓｋ（ｎ）にマージすることで、現フレームに係る第２の動きマップＭｅｒｇｅＭａｓｋ（ｎ）を生成する（ステップＳ７４）。
　これにより、第２の動きマップＭｅｒｇｅＭａｓｋ（ｎ）は、図１３に示すように、動体物の存在領域と、残像抑制強度が乗算された動体通過領域とをマージした画像となる。図１３では、図５と同様に、動き情報の大小関係をハッチングの濃淡で表している。ここで、動き情報の大小関係は、動体物Ｂ＜動体物Ｃ＝動体物Ｄとなる。なお、ステップＳ７５～Ｓ７９は、図４のステップＳ１５～Ｓ１９と同様であるため説明を省略する。
　次に、図１４を参照して、上述した第１の生成部１３ａ、残像処理部１４ａ及び合成処理部１５が行う処理の流れについて説明する。図１４は、第１の生成部１３ａ、残像処理部１４ａ及び合成処理部１５が行う処理の一例を示すフローチャートである。本処理では、図６と同様に、最新のフレーム画像Ｉｍａｇｅ（ｎ＋Ｘ）を基点とし、このＩｍａｇｅ（ｎ＋Ｘ）以降に入力される将来のフレーム画像を処理する場合の動作について説明する。なお、「Ｘ」は整数である。
　まず、第１の生成部１３ａは、フレーム画像Ｉｍａｇｅ（ｎ＋Ｘ）の入力を検出すると（ステップＳ８１）、フレーム画像Ｉｍａｇｅ（ｎ＋Ｘ）と、フレーム画像Ｉｍａｇｅ（ｎ＋Ｘ－１）とに基づいて、第１の動きマップＭａｓｋ（ｎ＋Ｘ）を生成する（ステップＳ８２）。ここで、フレーム画像Ｉｍａｇｅ（ｎ＋Ｘ－１）は、第２の記憶部２２に保持されたフレーム画像ＤＮＲ＿Ｉｍａｇｅ（ｎ＋Ｘ－１）に対応するものである。
　続いて、第２の生成部１４１ａは、第１の動きマップＭａｓｋ（ｎ＋Ｘ－１）から第１の動きマップＭａｓｋ（ｎ＋Ｘ）を減算し、減算の結果が正値となる画素を表した動体通過マップＰａｓｓＭａｓｋ（ｎ＋Ｘ）を生成する（ステップＳ８３）。以下、ステップＳ８４～Ｓ９１は、図６で説明したステップＳ２４～Ｓ３１と同様であるため説明を省略する。
　以上説明したように、本実施形態に係る画像処理装置１ａは、連続して入力される複数のフレーム画像のうち、直近の２フレーム分のフレーム画像Ｉｍａｇｅ（ｎ）、フレーム画像Ｉｍａｇｅ（ｎ－１）から第１の動きマップＭａｓｋ（ｎ）を生成する。また、画像処理装置１ａは、フレーム画像Ｉｍａｇｅ（ｎ）より過去のフレーム画像に含まれた前記動体物の存在領域を示す第１の動きマップＭａｓｋ（ｎ－１）から、第１の動きマップＭａｓｋ（ｎ）を減算することで、動体通過マップＰａｓｓＭａｓｋ（ｎ）を生成する。また、画像処理装置１ａは、第１の動きマップＭａｓｋ（ｎ）と、残像抑制強度を乗算した動体通過マップＰａｓｓＭａｓｋ（ｎ）とをマージし、第２の動きマップＭｅｒｇｅＭａｓｋ（ｎ）を生成する。そして、画像処理装置１ａは、第２の動きマップＭｅｒｇｅＭａｓｋ（ｎ）に基づいて、フレーム画像Ｉｍａｇｅ（ｎ）とフレーム画像Ｉｍａｇｅ（ｎ－１）との合成処理に係るパラメータＰＲ１を調整する。
　これにより、画像処理装置１ａは、動体通過領域でのフレーム画像Ｉｍａｇｅ（ｎ）の合成比率をパラメータＰＲ１に応じて変化させることができるため、動体通過領域に発生する残像ノイズの低減化を図ることができる。したがって、画像処理装置１ａは、残像ノイズが抑制されたフレーム画像（ＤＮＲ＿Ｉｍａｇｅ（ｎ））を出力することができる。
　また、本実施形態に係る画像処理装置１ａでは、フレーム画像と比較し、ビット深度が低減化された第１の動きマップ、動体通過マップ及び第２の動きマップを用いて、３ＤＮＲ処理に係るパラメータの調整を行う。これにより、画像処理装置１ａは、パラメータ調整に係る処理負荷やメモリの使用量を抑えることができるため、処理の効率化を図ることができる。
　また、本実施形態に係る画像処理装置１ａでは、３フレーム分のフレーム画像に含まれた動体物の存在位置及び動体通過領域を、第２の動きマップに集約して保持することができる。これにより、画像処理装置１は、例えば３フレーム分のフレーム画像を個別に保持する構成と比較し、使用するメモリ容量やメモリの個数を減らすことができるため、処理の効率化を図ることができる。
　以上、実施形態について説明したが、本願の開示する画像処理装置及び画像処理方法は、上述の実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上述の実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。
　１、１ａ　画像処理装置
　１１　第１の２ＤＮＲ処理部
　１２　第２の２ＤＮＲ処理部
　１３、１３ａ　第１の生成部
　１４、１４ａ　残像処理部
　１４１、１４１ａ　第２の生成部
　１４２　第３の生成部
　１４３　調整部
　１５　合成処理部
　１６　３ＤＮＲ処理部
　２１、２１ａ　第１の記憶部
　２２　第２の記憶部
　３１　動き量推定部
　３２　動き補償部
　３３　動画ぶれ除去部
　３４　位置合わせ部

Claims (11)

  1. 　連続して入力される複数のフレーム画像のうち、第１のフレーム画像と、当該第１のフレーム画像と時系列的に連続する直近の過去のフレームの第２のフレーム画像とから、当該フレーム画像に含まれた動体物の存在領域を示す第１の動きマップを生成する第１の生成部と、
    　前記第１のフレーム画像より過去のフレーム画像に含まれた前記動体物の存在領域を示す過去マップ画像から、前記第１の動きマップを減算することで、前記動体物が通過した動体通過領域を示す動体通過マップを生成する第２の生成部と、
    　前記第１の動きマップと、第１の値を乗算した前記動体通過マップとを統合して、第２の動きマップを生成する第３の生成部と、
    　前記第２の動きマップに基づいて、前記第１のフレーム画像と前記第２のフレーム画像とのノイズリダクション処理に係るパラメータを調整する調整部と、
    　を備える画像処理装置。
  2. 　前記第２の生成部は、前記過去マップ画像を構成する各画素の値から、当該画素と同じ画素位置にある前記第１の動きマップの画素の値を減算し、減算した値が正値となる各画素位置に減算結果に応じた値を対応付けた前記動体通過マップを生成する請求項１に記載の画像処理装置。
  3. 　前記第３の生成部は、前記第１の動きマップを構成する各画素の値と、前記動体通過マップを構成する各画素の値に前記第１の値を乗算した値とを画素位置毎に統合して、前記第２の動きマップを生成し、
    　前記調整部は、前記第２の動きマップを構成する各画素の値に基づいて、前記ノイズリダクション処理に係るパラメータを画素単位で調整する請求項２に記載の画像処理装置。
  4. 　前記第２の生成部は、新たなフレーム画像が入力される毎に、先行する前記第１のフレーム画像と前記第２のフレーム画像とについて生成された前記第１の動きマップを前記過去マップ画像として、前記動体通過マップを生成する請求項１又は２に記載の画像処理装置。
  5. 　前記第２の生成部は、新たなフレーム画像が入力される毎に、先行する前記第１のフレーム画像と前記第２のフレーム画像とについて生成された前記第２の動きマップを前記過去マップ画像として、前記動体通過マップを生成する請求項１又は２に記載の画像処理装置。
  6. 　前記調整部で調整されたパラメータに基づき前記ノイズリダクション処理を行うことで、前記第１のフレーム画像と前記第２のフレーム画像とから１フレーム分のフレーム画像を出力する３次元ノイズリダクション処理部を更に備え、
    　前記第１の生成部は、新たなフレーム画像が入力されると、先行する前記第１のフレーム画像と前記第２のフレーム画像とを基に前記３次元ノイズリダクション処理部で出力されたフレーム画像を、前記新たなフレーム画像より１フレーム分過去のフレーム画像として、前記第１の動きマップを生成する請求項１に記載の画像処理装置。
  7. 　前記３次元ノイズリダクション処理部は、前記第１のフレーム画像と前記第２のフレーム画像との各々に２次元ノイズリダクション処理を施す２次元ノイズリダクション処理部と、前記２次元ノイズリダクション処理部で処理された前記第１のフレーム画像と前記第２のフレーム画像とを合成し、１フレーム分のフレーム画像を出力する合成処理部とを有し、
    　前記調整部は、前記２次元ノイズリダクション処理部又は前記合成処理部の動作に係るパラメータを調整する請求項６に記載の画像処理装置。
  8. 　前記第１のフレーム画像と前記第２のフレーム画像とに基づき、両フレーム画像に含まれた動体物の動き量を推定する動き量推定部と、
    　前記動き量推定部の推定結果を用いて、前記第２のフレーム画像に動き補償処理を実行する動き補償部と、
    　を更に備え、
    　前記第３の生成部は、前記動き補償部の処理結果が前記３次元ノイズリダクション処理部に入力されるか否かに応じて、前記動体通過マップに乗算する前記第１の値を変更する請求項６又は７に記載の画像処理装置。
  9. 　前記第１の動きマップ及び前記第２の動きマップのビット深度は、前記フレーム画像のビット深度より低減化されている請求項１に記載の画像処理装置。
  10. 　連続して入力される複数のフレーム画像のうち、第１のフレーム画像と、当該第１のフレーム画像と時系列的に連続する直近の過去のフレームの第２のフレーム画像とから、当該フレーム画像に含まれた動体物の存在領域を示す第１の動きマップを生成し、
    　前記第１のフレーム画像より過去のフレーム画像に含まれた前記動体物の存在領域を示す過去マップ画像から、前記第１の動きマップを減算することで、前記動体物が通過した動体通過領域を示す動体通過マップを生成し、
    　前記第１の動きマップと、第１の値を乗算した前記動体通過マップとを統合して、第２の動きマップを生成し、
    　前記第２の動きマップに基づいて、前記第１のフレーム画像と前記第２のフレーム画像とのノイズリダクション処理に係るパラメータを調整する、
    　処理をコンピュータが実行する画像処理方法。
  11. 　連続して入力される複数のフレーム画像のうち、第１のフレーム画像と、当該第１のフレーム画像と時系列的に連続する直近の過去のフレームの第２のフレーム画像とから、当該フレーム画像に含まれた動体物の存在領域を示す第１の動きマップを生成し、
    　前記第１のフレーム画像より過去のフレーム画像に含まれた前記動体物の存在領域を示す過去マップ画像から、前記第１の動きマップを減算することで、前記動体物が通過した動体通過領域を示す動体通過マップを生成し、
    　前記第１の動きマップと、第１の値を乗算した前記動体通過マップとを統合して、第２の動きマップを生成し、
    　前記第２の動きマップに基づいて、前記第１のフレーム画像と前記第２のフレーム画像とのノイズリダクション処理に係るパラメータを調整する、
    　処理をコンピュータに実行させるためのプログラム。
PCT/JP2019/048362 2019-12-10 2019-12-10 画像処理装置、画像処理方法及びプログラム WO2021117148A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
PCT/JP2019/048362 WO2021117148A1 (ja) 2019-12-10 2019-12-10 画像処理装置、画像処理方法及びプログラム
JP2021563501A JP7480787B2 (ja) 2019-12-10 2019-12-10 画像処理装置、画像処理方法及びプログラム
US17/834,535 US20220301191A1 (en) 2019-12-10 2022-06-07 Image processing apparatus, image processing method and computer-readable medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2019/048362 WO2021117148A1 (ja) 2019-12-10 2019-12-10 画像処理装置、画像処理方法及びプログラム

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US17/834,535 Continuation US20220301191A1 (en) 2019-12-10 2022-06-07 Image processing apparatus, image processing method and computer-readable medium

Publications (1)

Publication Number Publication Date
WO2021117148A1 true WO2021117148A1 (ja) 2021-06-17

Family

ID=76329983

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2019/048362 WO2021117148A1 (ja) 2019-12-10 2019-12-10 画像処理装置、画像処理方法及びプログラム

Country Status (3)

Country Link
US (1) US20220301191A1 (ja)
JP (1) JP7480787B2 (ja)
WO (1) WO2021117148A1 (ja)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006260049A (ja) * 2005-03-16 2006-09-28 Sony Corp 移動物体検出装置及び方法並びにプログラム
JP2007036743A (ja) * 2005-07-27 2007-02-08 Matsushita Electric Works Ltd 複数画像合成方法及び撮像装置
JP2013258445A (ja) * 2012-06-11 2013-12-26 Olympus Corp 画像処理装置、画像処理方法及びプログラム
JP2016213628A (ja) * 2015-05-07 2016-12-15 ソニー株式会社 撮像装置、撮像方法、およびプログラム、並びに画像処理装置

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016024735A (ja) 2014-07-23 2016-02-08 株式会社ソシオネクスト 画像処理装置、および画像処理方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006260049A (ja) * 2005-03-16 2006-09-28 Sony Corp 移動物体検出装置及び方法並びにプログラム
JP2007036743A (ja) * 2005-07-27 2007-02-08 Matsushita Electric Works Ltd 複数画像合成方法及び撮像装置
JP2013258445A (ja) * 2012-06-11 2013-12-26 Olympus Corp 画像処理装置、画像処理方法及びプログラム
JP2016213628A (ja) * 2015-05-07 2016-12-15 ソニー株式会社 撮像装置、撮像方法、およびプログラム、並びに画像処理装置

Also Published As

Publication number Publication date
JPWO2021117148A1 (ja) 2021-06-17
US20220301191A1 (en) 2022-09-22
JP7480787B2 (ja) 2024-05-10

Similar Documents

Publication Publication Date Title
JP4666012B2 (ja) 画像処理装置、画像処理方法、プログラム
KR101633893B1 (ko) 다중노출 영상을 합성하는 영상합성장치 및 방법
KR101225482B1 (ko) 디지털 영상 처리 방법, 장치, 및 컴퓨터로 판독 가능한 기록 매체
US7912323B2 (en) Image processing apparatus, image processing method, and image display apparatus
US9262811B2 (en) System and method for spatio temporal video image enhancement
JP5974250B2 (ja) 画像処理装置、画像処理方法、画像処理プログラム及び記録媒体
WO2017154630A1 (ja) 画像処理装置、画像処理方法および記録媒体
US20080298714A1 (en) Image edge correction apparatus and method
JP6017279B2 (ja) 画像処理装置、画像処理方法及びプログラム
JP2006325274A (ja) 撮像装置
KR20030070228A (ko) 윤곽 보정 방법 및 이에 적합한 장치
JP2005150903A (ja) 画像処理装置、ノイズ除去方法及びノイズ除去プログラム
JP4658875B2 (ja) 画像処理装置
WO2021117148A1 (ja) 画像処理装置、画像処理方法及びプログラム
US9208546B2 (en) Image processing apparatus, method and imaging apparatus
US9007494B2 (en) Image processing apparatus, method for controlling the same and storage medium
US11373316B2 (en) Apparatus and method for calculating motion vector
JP6582994B2 (ja) 画像処理装置、画像処理方法及びプログラム
JP2015079329A (ja) 画像処理装置、画像処理方法およびプログラム
US10264212B1 (en) Low-complexity deinterlacing with motion detection and overlay compensation
JP6826472B2 (ja) 画像処理装置およびその制御方法
JP2010141813A (ja) 映像処理装置および映像処理装置の制御方法
CN109754370B (zh) 图像去噪方法及装置
JP4910839B2 (ja) 画像処理装置および方法、並びにプログラム
JP5230538B2 (ja) 画像処理装置、画像処理方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19955470

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2021563501

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 19955470

Country of ref document: EP

Kind code of ref document: A1