WO2013145799A1 - 画像処理装置、撮影装置、プログラム及び画像処理方法 - Google Patents

画像処理装置、撮影装置、プログラム及び画像処理方法 Download PDF

Info

Publication number
WO2013145799A1
WO2013145799A1 PCT/JP2013/050243 JP2013050243W WO2013145799A1 WO 2013145799 A1 WO2013145799 A1 WO 2013145799A1 JP 2013050243 W JP2013050243 W JP 2013050243W WO 2013145799 A1 WO2013145799 A1 WO 2013145799A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
noise
reference image
reduced
intermediate composite
Prior art date
Application number
PCT/JP2013/050243
Other languages
English (en)
French (fr)
Inventor
田中　康一
Original Assignee
富士フイルム株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 富士フイルム株式会社 filed Critical 富士フイルム株式会社
Priority to CN201380017049.1A priority Critical patent/CN104205804B/zh
Priority to JP2014507456A priority patent/JP5567235B2/ja
Publication of WO2013145799A1 publication Critical patent/WO2013145799A1/ja
Priority to US14/496,010 priority patent/US9235916B2/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/60—Editing figures and text; Combining figures or text
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/40—Picture signal circuits
    • H04N1/409—Edge or detail enhancement; Noise or error suppression
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/387—Composing, repositioning or otherwise geometrically modifying originals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/682—Vibration or motion blur correction
    • H04N23/684—Vibration or motion blur correction performed by controlling the image sensor readout, e.g. by controlling the integration time
    • H04N23/6845—Vibration or motion blur correction performed by controlling the image sensor readout, e.g. by controlling the integration time by combination of a plurality of images sequentially taken
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/81—Camera processing pipelines; Components thereof for suppressing or minimising disturbance in the image signal generation

Definitions

  • the angle of view may be relatively different between the images even if the pictures are taken continuously due to camera shake.
  • a pixel region where the images are combined and a pixel region where the images are not combined are generated when the images are combined.
  • the number of times of combining differs for each pixel area in the combined image.
  • control may be performed so that pixels corresponding to a region where subject blurring occurs, a region where occlusion occurs, and the like are not combined. The number of synthesis is different for each region.
  • Japanese Patent Application Laid-Open No. 2009-194700 discloses a photographing apparatus that performs noise reduction processing corresponding to the number of times of synthesis for each pixel area on a synthesized image.
  • the photographing apparatus aligns a plurality of continuously photographed images and adds them to generate a composite image, and also adds an addition number calculating unit that calculates the number of additions for each pixel of the composite image, and the composite image Noise reduction means for reducing noise in accordance with the number of additions for each pixel.
  • noise reduction processing is performed for each pixel area of a composite image in accordance with the number of times of synthesis.
  • the noise reduction processing function mounted on a general photographing apparatus performs noise reduction processing on the entire target image. That is, in order to reduce noise for each pixel area of the composite image, it is necessary to separately provide a function for performing noise reduction processing by designating the pixel area.
  • the present invention has been made to solve such a problem, and an image processing apparatus, a photographing apparatus, and a program capable of eliminating the non-uniformity of the noise reduction effect in a composite image without providing a new function And providing an image processing method.
  • An image processing apparatus includes an image acquisition unit that acquires a plurality of images obtained by photographing the same subject a plurality of times, and a reference image selection unit that selects any one of the plurality of images as a reference image
  • a deformed image generating means for generating a deformed image obtained by deforming a non-reference image that has not been selected by the reference image selecting means with the position of the same subject image corresponding to the reference image
  • the reference image Noise reduction image generation means for generating a noise reduction image by performing a process of reducing noise, and the larger the absolute value of the first difference of the pixel values between corresponding pixels of the reference image and the non-reference image, the larger the value A large weighting coefficient of the reference image with respect to the deformed image is set, and an intermediate composite image is generated by combining the reference image and the deformed image based on the set weighting coefficient for each pixel.
  • the noise reduction image generation means performs processing to reduce noise on the reference image to generate a noise reduction image
  • the intermediate composite image generation means corresponds to the reference image and the non-reference image.
  • an intermediate composite image is generated.
  • the weight coefficient of the noise reduced image with respect to the intermediate composite image is increased.
  • a small image is set, and the intermediate image and the noise-reduced image are combined based on the set weight coefficient for each pixel to generate a final image. That is, with respect to the intermediate composite image, a pixel region having a large absolute value of the second difference in pixel values between corresponding pixels of the reference image and the intermediate composite image, that is, a pixel region having a high noise reduction effect by synthesis.
  • the noise-reduced image is synthesized by reducing the weight of the noise-reduced image.
  • the final image generation unit when the final image generation unit has an absolute value of the second difference that is greater than a third threshold and less than or equal to a fourth threshold that is greater than the third threshold, the larger the absolute value of the difference is, the smaller the weight coefficient of the noise-reduced image with respect to the intermediate synthesized image is set to be gradually reduced, and the noise-reduced image and the intermediate synthesized image are synthesized. Good. Thereby, the nonuniformity of the noise reduction effect in a synthesized image can be eliminated appropriately.
  • the noise-reduced image generation unit generates a noise-reduced image so that the strength of noise reduction increases as the number of times of the synthesis process by the intermediate synthesized image generation unit increases. May be. Thereby, the noise in a composite image can be reduced with appropriate intensity.
  • the final image generation unit when the final image generation unit has an absolute value of the third difference that is greater than the fifth threshold and less than or equal to a sixth threshold that is greater than the fifth threshold,
  • the weighting coefficient of the noise-reduced image with respect to the intermediate composite image may be set so as to increase gradually as the absolute value increases, and the noise reduction image and the intermediate composite image may be combined. Thereby, the nonuniformity of the noise reduction effect in a synthesized image can be eliminated appropriately.
  • the final image generation unit sets the weight coefficient of the noise-reduced image with respect to the intermediate composite image to be larger as the weight of the reference image in the intermediate composite image is heavier.
  • a composition process between an image and the intermediate composite image may be performed. Thereby, the nonuniformity of the noise reduction effect in a synthesized image can be eliminated appropriately.
  • the final image generation unit when the final image generation unit has a weight of the reference image in the intermediate composite image that is greater than a seventh threshold and less than an eighth threshold greater than the seventh threshold, the weighting coefficient of the noise-reduced image with respect to the intermediate composite image is gradually increased as the weight of the reference image in the intermediate composite image is heavier, and the noise-reduced image and the intermediate composite image are combined. You may do it. Thereby, the nonuniformity of the noise reduction effect in a synthesized image can be eliminated appropriately.
  • the photographing apparatus of the present invention includes photographing means for photographing a subject and the image processing apparatus of the present invention, and the obtaining means obtains an image obtained by photographing the same subject multiple times by the photographing means.
  • this photographing apparatus since it operates in the same manner as the image processing apparatus of the present invention, the non-uniformity of the noise reduction effect in the composite image is eliminated without providing a new function as in the case of the image processing apparatus of the present invention. be able to.
  • the program according to the present invention includes an image acquisition unit that acquires a plurality of images obtained by photographing the same subject a plurality of times, and a reference image selection that selects any one of the plurality of images as a reference image.
  • a deformed image generating means for generating a deformed image obtained by deforming a non-reference image not selected by the reference image selecting means with the position of the same subject image corresponding to the reference image;
  • the noise reduction image generation means for generating a noise reduction image by performing a process of reducing noise, and the larger the absolute value of the first difference of the pixel values between corresponding pixels of the reference image and the non-reference image,
  • the weighting coefficient of the reference image with respect to the deformed image is set to be large, and the reference image and the deformed image are combined based on the set weight coefficient for each pixel to perform an intermediate combination.
  • the weight of the noise-reduced image with respect to the intermediate composite image increases as the absolute value of the second difference of the pixel values between corresponding pixels of the reference composite image and the intermediate composite image increases.
  • a coefficient is set to be small, and a final image generating unit that generates a final image by combining the intermediate composite image and the noise-reduced image based on the set weight coefficient for each pixel is caused to function.
  • the computer can be operated in the same manner as the image processing apparatus of the present invention. Therefore, as with the image processing apparatus of the present invention, the noise reduction effect in the composite image is not uniform without providing a new function. Can be eliminated.
  • the image processing method of the present invention includes an image acquisition step of acquiring a plurality of images obtained by photographing the same subject a plurality of times, and a reference image selection step of selecting any one of the plurality of images as a reference image
  • a deformed image generating step for generating a deformed image obtained by deforming a non-reference image that has not been selected in the reference image selecting step by matching the position of the same subject image with the reference image; and for the reference image
  • a noise-reduced image generation step of generating a noise-reduced image by performing a process of reducing noise, and the larger the absolute value of the first difference of pixel values between corresponding pixels of the reference image and the non-reference image, the larger the value A large weighting factor of the reference image with respect to the deformed image is set, and the reference image and the deformed image are combined based on the set weighting factor for each pixel.
  • 1 is a front perspective view showing a digital camera according to an embodiment. It is a back perspective view showing a digital camera concerning an embodiment. It is a schematic block diagram which shows the principal part structure of the electric system of the digital camera which concerns on embodiment. It is a flowchart which shows the flow of the imaging
  • FIG. 1A is a front perspective view showing the configuration of the digital camera 1 according to the first embodiment
  • FIG. 1B is a rear perspective view showing the configuration of the digital camera 1 according to the first embodiment
  • the digital camera 1 includes a housing 10.
  • a CPU Central Processing Unit
  • RAM Random Access Memory
  • ROM Read Only Memory
  • a release button 11 is provided on the upper surface of the housing 10, and an instruction for photographing or the like is input to the digital camera 1 when the user presses the release button 11.
  • a power button 12 is provided on the top surface of the housing 10, and an instruction to switch the power on / off state of the digital camera 1 is input when the user presses the power button 12.
  • a zoom lever 13 is provided on the top surface of the housing 10, and when the user operates the zoom lever 13, an instruction to change the angle of view and the magnification of the zoom function is input during shooting.
  • a flash 14 is provided on the front surface of the housing 10, and the surroundings are illuminated by causing the flash 14 to emit light.
  • a lens 15 is provided on the front surface of the housing 10, and light incident on the lens 15 passes through the lens 15 and is input to the inside.
  • a liquid crystal display 16 is provided on the back surface of the housing 10, and a photographed image, setting items, and the like are displayed.
  • Various operation buttons 17 are provided on the rear surface of the housing 10, and various setting item setting instructions are input when the user operates the various operation buttons 17.
  • FIG. 2 is a schematic block diagram showing the main configuration of the electrical system of the digital camera 1 according to the first embodiment.
  • the digital camera 1 includes a main control unit 20, an imaging unit 21, an imaging control unit 22, an image processing unit 23, a compression / decompression processing unit 24, a frame memory 25, a media control unit 26, and an internal memory 27.
  • the main control unit 20 includes the CPU, RAM, and ROM described above, and comprehensively controls the digital camera 1 according to user operations via the input unit such as the release button 11, the power button 12, and various operation buttons 17. To do. Further, the main control unit 20 executes a shooting control processing program to be described later.
  • the imaging unit 21 has an image sensor composed of a CCD or a CMOS, receives light incident on the lens 15, converts the received light into an electrical signal, and generates image data. In addition, the photographing unit 21 transmits the generated image data to the image processing unit 23.
  • the shooting control unit 22 instructs the shooting unit 21 to perform the main shooting for shooting the main image when the release button 11 is fully pressed by the user.
  • the shooting control unit 22 displays a through image, which is a moving image having a smaller number of pixels than the main image for confirming the shooting range, at a predetermined time interval (for example, 1 / 30 seconds) is sequentially given to the photographing unit 21.
  • the image processing unit 23 performs various image processing such as white balance adjustment processing, gradation correction, sharpness correction, and color correction on the image indicated by the image data acquired by the photographing unit 21.
  • the compression / decompression processing unit 24 performs compression processing on the image data indicating the image processed by the image processing unit 23 in a compression format such as JPEG to generate compressed image data.
  • the compressed image data stores incidental information such as a base line length, a convergence angle, and a shooting date and time, and viewpoint information indicating a viewpoint position based on, for example, the Exif format.
  • the frame memory 25 is a working memory used when performing various image processing including processing performed by the image processing unit 23 on the image data generated by the photographing unit 21.
  • the media control unit 26 controls reading / writing of data such as an image file with respect to the storage area of the recording medium 26A.
  • the display control unit 28 causes the liquid crystal display 16 to display an image indicated by each image data stored in the frame memory 25 at the time of shooting, based on control by the main control unit 20 or the shooting control unit 22, or a recording medium 26A.
  • the image indicated by the image data stored in is displayed on the liquid crystal display 16.
  • the digital camera 1 according to the first embodiment generates an intermediate composite image by synthesizing a plurality of images obtained by continuously capturing a plurality of images in order to capture a high-definition image.
  • the intermediate composite image is combined with a reference image subjected to noise reduction processing to generate a final composite image, and this final composite image is used as a final captured image.
  • FIG. 3 is a flowchart showing the flow of a shooting control processing program executed by the digital camera 1 according to the first embodiment.
  • 4 and 5 are schematic diagrams for explaining the flow of processing from when the digital camera 1 according to the first embodiment starts the shooting control processing until the intermediate composite image C is generated.
  • FIG. 7 is a schematic diagram for explaining the flow of processing from when the digital camera 1 according to the first embodiment generates the intermediate composite image C until the final composite image E is generated.
  • the photographing control processing program is executed by the main control unit 20 of the digital camera 1 at the timing when the release button 11 is pressed halfway. Further, the photographing control processing program is stored in advance in the internal memory 27.
  • step S101 the main control unit 20 determines whether or not the release button 11 has been fully pressed. If it is determined in step S101 that the release button 11 is not fully pressed, the main control unit 20 stands by until the release button 11 is fully pressed.
  • step S103 the main control unit 20 controls the digital camera 1 so that a plurality of images are continuously captured. Each piece of image information is acquired.
  • step S103 in the present embodiment, control is performed so that a plurality of images are continuously captured.
  • the images need not always be continuously captured, and each of the images obtained by capturing the same subject a plurality of times is used. It is sufficient to obtain the image information.
  • the main control unit 20 selects one image among the images continuously photographed in step S103 as the reference image A.
  • the reference image A For example, considering that the image photographed immediately after the release button 11 is fully pressed is an image desired by the user, the first photographed image is selected as the reference image A.
  • the reference image A selected in step S105 is also referred to as “initial reference image A”.
  • the main control unit 20 selects a non-reference image B, which is an image that is first synthesized with the reference image A selected in step S105, from the images continuously photographed in step S103. To do. At this time, for example, an image taken after the reference image A in step S103 may be selected as the non-reference image B.
  • steps S105 and S107 as shown in FIG. 4, the reference image A and the non-reference image B to be combined are selected.
  • the main control unit 20 detects motion vectors in the reference image A and the non-reference image B. At this time, the main control unit 20 detects, for example, a plurality of feature points in the reference image A and the non-reference image B, and performs block matching for each feature point corresponding to each other in each image.
  • Block matching is a technique for obtaining displacement between images in units of pixels by the following procedures (1) and (2). (1) In order to evaluate the similarity between images, regions are cut out from images to be compared, and the sum of absolute differences (SAD) and the sum of squares of luminance differences (SSD) Squared differential (ZNCC) or normalized cross-correlation (ZNCC) is obtained.
  • a displacement between images is obtained in pixel units by searching for a cutout position that gives a minimum value when using SAD or SSD and using a maximum value when using ZNCC. Then, the main control unit 20 detects motion vectors in the reference image A and the non-reference image B based on the displacement between the images of each feature point.
  • the main control unit 20 deforms the non-reference image B with respect to the reference image A based on the motion vector detected in step S109.
  • the non-reference image B is deformed by performing at least one of translation, rotation, and expansion / contraction so that the feature points in the non-reference image B substantially coincide with the feature points in the reference image A.
  • the above-mentioned “to substantially match” means that the corresponding feature point shift vector is deformed so as to be substantially zero as a whole. including.
  • the non-reference image B is deformed so that the position of the subject H in the reference image A and the position of the subject H in the non-reference image B substantially coincide as shown in FIG.
  • the main control unit 20 derives the absolute value d of the difference between the pixel values of the corresponding pixels of the reference image A and the non-reference image B.
  • the main control unit 20 performs weighting on the reference image A when combining the reference image A and the non-reference image B based on the absolute value d of the difference between the pixel values of each pixel.
  • One weighting factor w is derived for each pixel.
  • FIG. 6 is a graph showing an example of the relationship between the absolute value d of the pixel value difference and the first weighting coefficient w in the digital camera 1 according to the first embodiment.
  • the horizontal axis is set to the absolute value d of the pixel value difference
  • the vertical axis is set to the first weighting coefficient w.
  • the first predetermined value d1 and the second predetermined value d2 (d1 ⁇ d2) are values obtained in advance by experience.
  • the first weighting factor w is a value from 0 to 1, and the first weighting factor is used when the absolute value d of the pixel value difference is a value from 0 to the first predetermined value d1.
  • the first weighting factor w is 1, and the absolute value d of the pixel value difference is the first value d.
  • the first weighting coefficient w increases from 0.5 to 1 in proportion to increase in absolute value d of the difference between pixel values. The value is between.
  • the first weighting coefficient w is set to 0.5
  • the weighting coefficient (1-w) of the non-reference image B is set to 0.5
  • the weights of the reference image A and the non-reference image B are made equal.
  • the absolute value d of the pixel value difference when the absolute value d of the pixel value difference is large, the movement (blur amount) of the subject in the non-reference image B with respect to the reference image A is large, so that the reference when combining the reference image A and the non-reference image B
  • the first weighting factor w of image A is set to 1
  • the weighting factor (1-w) of non-reference image B is set to 0, and the weight of reference image A is increased.
  • the absolute value d of the difference between the pixel values is changed from the first predetermined value d1 to the second value.
  • the value of the first weighting coefficient w up to the predetermined value d2 is smoothly changed.
  • the relationship between the absolute value d of the pixel value difference and the first weighting coefficient w shown in FIG. 6 is an example, and the relationship between the absolute value d of the pixel value difference and the first weighting coefficient w is the pixel value.
  • the weights of the reference image A and the non-reference image B are made equal, and when the absolute value d of the pixel value difference is large, the weight of the reference image A is increased. Any graph can be used.
  • step S117 the reference image A and the non-reference image B deformed in step S111 are combined using the weighting coefficient w to generate an intermediate composite image C.
  • a composite image of the reference image A and the non-reference image B is obtained by calculating a weighted average of pixel values for each pixel corresponding to each other in the reference image A and the non-reference image B.
  • the pixel values of each pixel of the intermediate composite image C are as follows (2) when the pixel values of the reference image A, the non-reference image B, and the intermediate composite image C are img [1], img [2], and mix, respectively. ).
  • [Equation 2] mix w ⁇ img [1] + (1-w) ⁇ img [2]...
  • each pixel of the composite image is calculated by the above equation (2), and an intermediate composite image C is generated as a composite image of the reference image A and the non-reference image B as shown in FIGS.
  • the purpose of shooting and combining a plurality of images in this way is to reduce random noise. Therefore, if the shooting conditions between the images and the signal processing conditions for the shot images are substantially equal, the noise reduction effect is maximized when the reference image A and the non-reference image B are 1: 1.
  • the weighted average is performed by the ratio, that is, the first weighting factor w is 0.5.
  • a weighted average is performed at a ratio of 1: 1 for all the pixels in the reference image A, when moving objects exist in the reference image A, the moving objects are multiplexed in the moving object region in the composite image.
  • the main control unit 20 calculates the absolute value d of the pixel value difference in advance for each pixel, and a region where the absolute value d of the pixel value difference is large (in the example illustrated in FIG. 6, a region where d ⁇ d2).
  • a region where the absolute value d of the pixel value difference is large in the example illustrated in FIG. 6, a region where d ⁇ d2.
  • step S119 the main control unit 20 determines whether or not all the images continuously photographed in step S103 have been combined by the process of step S117.
  • step S121 the main control unit 20 selects the intermediate combined image generated in step S117 as a new reference image A, and the process proceeds to step S107.
  • step S107 the main control unit 20 selects an image that has not yet been combined as the non-reference image B, and repeats the processing in steps S109 to S121, thereby performing a plurality of images that are continuously captured in step S103.
  • An intermediate composite image C in which all the images are combined is generated.
  • step S123 the main control unit 20 performs a spatial noise reduction process on the entire original reference image A to generate a noise reduced image D.
  • Various known methods such as an LPF (low-pass filter), a bilateral filter, or an adaptive filter corresponding to the strength and direction of the edge can be applied to the spatial noise reduction processing.
  • the function for performing such spatial noise reduction processing is a function that is almost essential for general digital cameras, and is already installed in many digital cameras. Note that the process of step S123 may be executed at any stage as long as it is a stage before the process of step S125 described later.
  • the main control unit 20 calculates the absolute value d ′ of the difference between the pixel values of the corresponding pixels of the reference image A and the intermediate composite image C.
  • the absolute value d ′ of the difference between the pixel values is calculated by the following equation (3) when the pixel values of the reference image A and the intermediate composite image C are img [1] and img [3], respectively.
  • [Equation 3] d '
  • the main control unit 20 weights the noise reduced image D when combining the noise reduced image D and the intermediate synthesized image C based on the absolute value d ′ of the difference between the pixel values of each pixel.
  • the second weighting coefficient w ′ for this purpose is derived for each pixel.
  • FIG. 8 is a graph showing an example of the relationship between the absolute value d ′ of the pixel value difference and the second weighting coefficient w ′ in the digital camera 1 according to the first embodiment.
  • the horizontal axis is set to the absolute value d ′ of the pixel value difference
  • the vertical axis is set to the second weighting coefficient w ′.
  • the second weighting coefficient w ′ is a value from 0 to 1
  • the second value when the absolute value d ′ of the pixel value difference is a value from 0 to a third predetermined value d3.
  • the weighting coefficient w ′ When the weighting coefficient w ′ is 1, the absolute value d ′ of the pixel value difference is equal to or greater than the fourth predetermined value d4 (d3 ⁇ d4), the second weighting coefficient w ′ is 0, and the pixel value
  • the second weighting factor w ′ is proportional as the absolute value d ′ of the pixel value difference increases. It becomes a value between 0 and 1 which becomes small.
  • the second weighting coefficient w ′ of D is set to 0, the weighting coefficient (1-w ′) of the intermediate composite image C is set to 1, and the weight of the noise reduced image D is reduced.
  • the absolute value d ′ of the difference between the pixel values is changed from the third predetermined value d3 to the fourth predetermined value d4.
  • the value of the second weighting coefficient w ′ up to is smoothly changed.
  • the relationship between the absolute value d ′ of the pixel value difference and the second weighting factor w ′ shown in FIG. 8 is an example, and the relationship between the absolute value d ′ of the pixel value difference and the second weighting factor w ′ is as follows.
  • the pixel value of each pixel of the composite image is calculated by the above equation (4), and a final composite image E is generated as a composite image of the noise reduction image D and the intermediate composite image C as shown in FIG.
  • a pixel area in which the reference image A and the non-reference image B are combined (hereinafter also referred to as “composite area”), and a pixel area in which the reference image A and the non-reference image B are not combined (hereinafter referred to as “non-synthesis area”). ").” Occurs. While noise is reduced by synthesis in the synthesis area, noise is not reduced in the non-synthesis area, so the amount of noise in the non-synthesis area is equal to that of the reference image A, and noise reduction is performed in the non-synthesis area. The effect is not obtained at all.
  • an image obtained by performing spatial noise reduction processing on the reference image A with respect to the non-synthesis region of the intermediate synthesis image C is synthesized with a synthesis ratio higher than that of other pixel regions, so that a synthesis region in the synthesis processing is obtained. It is possible to reduce the difference in the amount of noise in the non-synthesis region.
  • a synthesis obtained by aligning and synthesizing a plurality of images by applying spatial noise reduction to the synthesis inappropriate region and the non-synthesis region It is possible to eliminate the non-uniformity of the noise reduction effect by combining images.
  • a function for performing a spatial noise reduction process on the entire image generally used for the reference image A can be used, and thus a new function is added. It is possible to eliminate the non-uniformity of the noise reduction effect.
  • each region in the intermediate composite image C cannot be clearly classified into two regions, a composite region and a non-composite region.
  • the degree of synthesis degree of noise reduction
  • the digital camera 1 according to the second embodiment has the configuration shown in FIGS. 1 and 2, similarly to the digital camera 1 according to the first embodiment.
  • symbol is attached
  • the digital camera 1 according to the second embodiment is configured to set the noise reduction intensity of the noise reduction processing executed in step S123 of the first embodiment according to the number of synthesis of the intermediate composite image C.
  • FIG. 9 is a flowchart showing the flow of a shooting control processing program executed by the digital camera 1 according to the second embodiment.
  • the photographing control processing program is executed by the main control unit 20 of the digital camera 1 at the timing when the release button 11 is half-pressed, and is stored in the internal memory 27 in advance.
  • step S201 the main control unit 20 sets the number of times of composition indicating how many times the composition processing in step S117 has been performed to zero. Then, the main control unit 20 performs steps S107 to S117.
  • step S203 1 is added to the number of synthesis set to 0 in step S201, and the process proceeds to step S119.
  • the number of times of synthesis is counted each time the processing in steps S107 to S117 is performed.
  • step S205 the main control unit 20 increases the intensity of noise reduction as the number of combining increases in accordance with the number of combining counted in step S203. As described above, the noise reduction strength for the reference image A is set.
  • the noise reduction effect (intensity) on the reference image A also depends on the number of synthesized images.
  • the noise reduction strength is set such that when the smoothing degree by the Gaussian filter is adjusted, the parameter ⁇ increases as the number of synthesis increases. It is preferable to adjust the smoothing degree by changing the value of ⁇ .
  • the Gaussian filter is a filter that calculates the rate using a function of a Gaussian distribution so that the weight when calculating the average value is closer to the target pixel and the weight is smaller as the distance is farther. The larger the value, the greater the smoothing effect.
  • the average value filter is a filter that uses the average value of the density values of the target pixel and the neighboring pixels as a new density value of the target pixel.
  • step S207 the main control unit 20 performs a spatial noise reduction process on the entire original reference image A with the noise reduction intensity set in step S205, and generates a noise reduced image D. Then, the main control unit 20 performs steps S125 to S129 and ends the shooting control program.
  • the noise reduction effect by synthesis is adjusted by adjusting the intensity of spatial noise reduction with respect to the reference image A according to the number of synthesis. Can be eliminated without excess or deficiency.
  • the digital camera 1 according to the third embodiment has the configuration shown in FIGS. 1 and 2, similarly to the digital camera 1 according to the first embodiment.
  • symbol is attached
  • the digital camera 1 according to the third embodiment sets the noise reduction intensity of the noise reduction process executed in step S123 of the first embodiment according to the weight (combination ratio) of the reference image A in the intermediate composite image C. Is.
  • FIG. 10 is a flowchart showing the flow of a shooting control processing program executed by the digital camera 1 according to the second embodiment.
  • the photographing control processing program is executed by the main control unit 20 of the digital camera 1 at the timing when the release button 11 is half-pressed, and is stored in the internal memory 27 in advance.
  • step S101 to S121 the processes in steps S101 to S121 described above are performed. If it is determined in step S119 that all images have been combined, the main control unit 20 calculates the weight of the reference image A in the intermediate combined image C in step S301.
  • the noise reduction effect by the synthesis depends on the synthesis ratio at which the respective images to be synthesized are synthesized. For example, if there are N images to be combined, the nth intermediate composite image C is mix [n], the nth non-reference image B is img [n], and the nth first weighting coefficient.
  • the noise reduction strength for the reference image A is set so that the strength of noise reduction decreases as the weight of the reference image A increases.
  • the intensity of the noise reduction process is adjusted based on the minimum value among the values of the first weighting coefficient w of the reference image A calculated for each pixel by the above equation (5).
  • the noise reduction intensity is adjusted so that the value of the parameter ⁇ decreases as the weight of the reference image A in the intermediate composite image C increases. It is preferable to adjust the smoothing degree by changing the value of.
  • a method of changing the kernel size so that the kernel size decreases as the weight of the reference image A in the intermediate composite image C increases.
  • step S305 the main control unit 20 performs a spatial noise reduction process on the entire original reference image A with the noise reduction intensity set in step S303, and generates a noise reduced image D. Then, the main control unit 20 performs steps S125 to S129 and ends the shooting control program.
  • the digital camera 1 when the digital camera 1 according to the second embodiment generates the noise reduced image D, the digital camera 1 adjusts the intensity of spatial noise reduction with respect to the reference image A according to the weight of the reference image A in the intermediate composite image C.
  • the non-uniformity of the noise reduction effect by the synthesis can be solved without excess or deficiency.
  • the digital camera 1 according to the fourth embodiment has the configuration shown in FIGS. 1 and 2, similarly to the digital camera 1 according to the first embodiment.
  • symbol is attached
  • the digital camera 1 according to the fourth embodiment derives the second weighting coefficient w ′ when the intermediate composite image C and the noise reduced image D are combined in Step S127 of the first embodiment, the intermediate composite image C and A simple composite image (an image obtained by combining each of a plurality of images obtained by continuously photographing in step S103 at the same ratio) F is set.
  • FIG. 11 is a flowchart showing the flow of a shooting control processing program executed by the digital camera 1 according to the third embodiment.
  • FIG. 12 is a schematic diagram for explaining a processing flow from the generation of the intermediate composite image C to the generation of the final composite image E by the digital camera 1 according to the fourth embodiment.
  • the photographing control processing program is executed by the main control unit 20 of the digital camera 1 at the timing when the release button 11 is half-pressed and stored in the internal memory 27 in advance.
  • step S401 the main control unit 20 converts each of the plurality of images obtained by continuous shooting in step S103 into all the images.
  • a simple synthesized image F synthesized to have the same synthesis ratio is generated.
  • the main control unit 20 performs a spatial noise reduction process on the entire original reference image A to generate a noise reduced image D.
  • the main control unit 20 calculates the absolute value d ′ of the difference between the pixel values of the corresponding pixels of the intermediate composite image C and the simple composite image F.
  • the main control unit 20 weights the noise reduced image D when synthesizing the noise reduced image D and the intermediate synthesized image C based on the absolute value d ′ of the pixel value difference of each pixel.
  • the second weighting coefficient w ′ for this purpose is derived for each pixel.
  • FIG. 13 is a graph showing an example of the relationship between the absolute value d ′ of the pixel value difference and the second weighting coefficient w ′ in the digital camera 1 according to the fourth embodiment.
  • the horizontal axis is set to the absolute value d ′ of the pixel value difference
  • the vertical axis is set to the second weighting coefficient w ′.
  • the second weighting coefficient w ′ is a value from 0 to 1
  • the second value when the absolute value d ′ of the pixel value difference is a value from 0 to a fifth predetermined value d5.
  • the second weighting coefficient w ′ When the weighting coefficient w ′ is 0, and the absolute value d ′ of the pixel value difference is a value equal to or larger than the sixth predetermined value d6 (d5 ⁇ d6), the second weighting coefficient w ′ is 1, and the pixel value
  • the absolute value d ′ of the difference is a value from the fifth predetermined value d5 to the sixth predetermined value d6, the second weighting factor w ′ is proportional as the absolute value d ′ of the pixel value difference increases. It becomes a value between 0 and 1 which becomes large.
  • the noise reduction effect by the synthesis in the intermediate composite image C is a high region.
  • the second weighting coefficient w ′ of the noise reduced image D is set to 0, and the weighted coefficient (1-w ′) of the intermediate synthesized image C is set to 1, so that the noise reduced image D and the intermediate synthesized image C Make the weights equal.
  • the absolute value d of the pixel value difference is large, the noise reduction effect is low when combining the noise reduction image D and the intermediate composite image C because the noise reduction effect by the synthesis in the intermediate composite image C is low.
  • the second weighting coefficient w ′ of D is set to 1, the weighting coefficient (1-w ′) of the intermediate composite image C is set to 0, and the weight of the noise reduced image D is increased.
  • the absolute value d ′ of the difference between the pixel values is changed from the third predetermined value d3 to the fourth predetermined value d4.
  • the value of the second weighting coefficient w ′ up to is smoothly changed.
  • the relationship between the absolute value d ′ of the pixel value difference and the second weighting coefficient w ′ shown in FIG. 13 is an example, and the relationship between the absolute value d ′ of the pixel value difference and the second weighting coefficient w ′ is as follows.
  • the weights of the noise reduced image D and the intermediate composite image C are made equal, and when the absolute value d of the pixel value difference is large, the weight of the noise reduced image D is set. Any graph that makes it heavier.
  • the noise reduced image D and the intermediate synthesized image C are synthesized based on the second weighting coefficient w ′ derived in step S127 to generate the final synthesized image E, and the photographing control process is ended.
  • a composite image of the noise reduced image D and the intermediate composite image C is obtained by calculating a weighted average of pixel values for each pixel corresponding to each other in the noise reduced image D and the intermediate composite image C.
  • the digital camera 1 according to the fifth embodiment has the configuration shown in FIGS. 1 and 2 in the same manner as the digital camera 1 according to the first embodiment.
  • symbol is attached
  • the digital camera 1 according to the fifth embodiment derives the second weighting coefficient w ′ when the intermediate composite image C and the noise-reduced image D are combined in Step S127 of the first embodiment, the first weighting coefficient w
  • the second weighting coefficient w ′ is derived based on the above. That is, as shown in the above equation (5), the larger the value of the first weighting coefficient w, the greater the weight of the reference image A in the intermediate composite image C and the lower the noise reduction effect. Therefore, the digital camera 1 according to the fifth embodiment derives the second weighting coefficient w ′ according to the first weighting coefficient w.
  • FIG. 14 is a flowchart showing the flow of a shooting control processing program executed by the digital camera 1 according to the fifth embodiment.
  • the photographing control processing program is executed by the main control unit 20 of the digital camera 1 at the timing when the release button 11 is half-pressed, and is stored in the internal memory 27 in advance.
  • the main control unit 20 determines the intermediate composite image C and the intermediate weighted image C based on the first weighting coefficient w derived in step S115 when combining the reference image A and the deformed non-reference image B.
  • a second weighting coefficient w ′ for synthesizing the noise reduced image D is derived.
  • FIG. 15 is a graph showing an example of the relationship between the first weighting coefficient w and the second weighting coefficient w ′ in the digital camera 1 according to the fifth embodiment.
  • the horizontal axis is set to the first weighting coefficient w
  • the vertical axis is set to the second weighting coefficient w '.
  • the second weighting factor w ′ is a value from 0 to 1
  • the first weighting factor w is a value from 0 to a seventh predetermined value d7 (here, 0.5).
  • the second weighting factor w ′ is 0, the second weighting factor w ′ is 1 when the first weighting factor w is greater than or equal to the eighth predetermined value d8, and the first weighting factor w is the first weighting factor w. 7
  • the value is from the predetermined value d7 to the eighth predetermined value d8 (d7 ⁇ d8), from 0 to 1 such that the second weighting factor w ′ increases proportionally as the first weighting factor w increases.
  • the value is between.
  • the second weight of the noise reduced image D when the noise reduced image D and the intermediate composite image C are combined.
  • the coefficient w ′ is set to 0, and the weight of the noise reduced image D is reduced.
  • the noise reduction effect is low when combining the noise reduction image D and the intermediate composite image C because the noise reduction effect by the synthesis in the intermediate composite image C is low.
  • the second weighting coefficient w ′ of D is set to 1, and the weight of the noise reduced image D is increased.
  • the absolute value d ′ of the difference between the pixel values is changed from the third predetermined value d3 to the fourth predetermined value d4.
  • the value of the second weighting coefficient w ′ up to is smoothly changed.
  • the relationship between the first weighting factor w and the second weighting factor w ′ shown in FIG. 15 is an example, and the relationship between the first weighting factor w and the second weighting factor w ′ is the first weighting factor.
  • the graph may be a graph in which the weight of the noise reduced image D is reduced when w is small and the weight of the noise reduced image D is increased when the absolute value d of the pixel value difference is large.
  • the noise reduced image D and the intermediate synthesized image C are synthesized based on the second weighting coefficient w ′ derived in step S127 to generate the final synthesized image E, and the photographing control process is ended.
  • a composite image of the noise reduced image D and the intermediate composite image C is obtained by calculating a weighted average of pixel values for each pixel corresponding to each other in the noise reduced image D and the intermediate composite image C.
  • the pixel value of each pixel of the composite image is calculated by the above formula (6), and a final composite image E is generated as a composite image of the noise reduction image D and the intermediate composite image C as shown in FIG.
  • the second weighting coefficient w ′ is calculated from the calculated first weighting coefficient w, and thus the same operations and effects as in the first embodiment are obtained. In addition, the processing speed can be improved.
  • the digital camera has been described as the embodiment of the photographing apparatus of the present invention, but the configuration of the photographing apparatus is not limited to this.
  • a built-in type or an external type PC (personal computer) camera or a portable terminal device having a shooting function as described below can be used.
  • Examples of the portable terminal device that is an embodiment of the photographing apparatus of the present invention include a mobile phone, a smartphone, a PDA (Personal Digital Assistant), and a portable game machine.
  • a smartphone will be described as an example, and will be described in detail with reference to the drawings.
  • FIG. 16 is a diagram illustrating an appearance of a smartphone 70 that is an embodiment of the imaging device according to the embodiment.
  • a smartphone 70 shown in FIG. 16 includes a flat casing 72, and a display input in which a display panel 74A as a display unit and an operation panel 74B as an input unit are integrated on one surface of the casing 72.
  • a portion 74 is provided.
  • the casing 72 includes a speaker 76, a microphone 78, an operation unit 80, and a camera unit 82.
  • the configuration of the housing 72 is not limited to this, and for example, a configuration in which the display unit and the input unit are independent may be employed, or a configuration having a folding structure or a slide mechanism may be employed.
  • FIG. 17 is a block diagram showing a configuration of the smartphone 70 shown in FIG.
  • the main components of the smartphone include a wireless communication unit 84, a display input unit 74, a call unit 86, an operation unit 80, a camera unit 82, a storage unit 88, and an external input / output unit. 90, a GPS (Global Positioning System) receiving unit 92, a motion sensor unit 94, a power supply unit 96, and a main control unit 98.
  • a wireless communication function for performing mobile wireless communication via the base station device and the mobile communication network is provided.
  • the wireless communication unit 84 performs wireless communication with a base station device accommodated in the mobile communication network in accordance with an instruction from the main control unit 98. Using such wireless communication, transmission / reception of various file data such as audio data and image data, e-mail data, and reception of Web data, streaming data, and the like are performed.
  • the display input unit 74 displays images (still images and moving images), character information, etc., visually transmits information to the user, and detects user operations on the displayed information.
  • a so-called touch panel which includes a display panel 74A and an operation panel 74B.
  • the display panel 74A uses an LCD (Liquid Crystal Display), an OELD (Organic Electro-Luminescence Display), or the like as a display device.
  • the operation panel 74B is a device that is placed so that an image displayed on the display surface of the display panel 74A is visible and detects one or a plurality of coordinates operated by a user's finger or stylus. When such a device is operated by a user's finger or stylus, a detection signal generated due to the operation is output to the main control unit 98. Next, the main control unit 98 detects an operation position (coordinates) on the display panel 74A based on the received detection signal.
  • the display panel 74 ⁇ / b> A and the operation panel 74 ⁇ / b> B of the smartphone 70 exemplified as an embodiment of the photographing apparatus of the present invention integrally constitute a display input unit 74.
  • the arrangement 74B completely covers the display panel 74A.
  • the operation panel 74B may have a function of detecting a user operation even in an area outside the display panel 74A.
  • the operation panel 74B has a detection area (hereinafter referred to as a display area) for an overlapped portion overlapping the display panel 74A and a detection area (hereinafter referred to as a non-display area) for an outer edge portion not overlapping the other display panel 74A. May be included).
  • the operation panel 74B may include two sensitive regions of the outer edge portion and the other inner portion. Furthermore, the width of the outer edge portion is appropriately designed according to the size of the housing 72 and the like. Furthermore, examples of the position detection method employed in the operation panel 74B include a matrix switch method, a resistive film method, a surface acoustic wave method, an infrared method, an electromagnetic induction method, and a capacitance method, and any method is adopted. You can also
  • the calling unit 86 includes a speaker 76 and a microphone 78, converts user's voice input through the microphone 78 into voice data that can be processed by the main control unit 98, and outputs the voice data to the main control unit 98, or a wireless communication unit. 84 or the audio data received by the external input / output unit 90 is decoded and output from the speaker 76.
  • the speaker 76 can be mounted on the same surface as the surface on which the display input unit 74 is provided, and the microphone 78 can be mounted on the side surface of the housing 72.
  • the operation unit 80 is a hardware key using a key switch or the like, and receives an instruction from the user.
  • the operation unit 80 is mounted on the side surface of the housing 72 of the smartphone 70 and is turned on when pressed with a finger or the like, and is turned off by a restoring force such as a spring when the finger is released. It is a push button type switch.
  • the storage unit 88 is a control program and control data of the main control unit 98, application software, address data that associates the name and telephone number of the communication partner, transmitted / received e-mail data, Web data downloaded by Web browsing, The downloaded content data is stored, and streaming data and the like are temporarily stored.
  • the storage unit 88 includes an internal storage unit 88A built in the smartphone and an external storage unit 88B having a removable external memory slot.
  • Each of the internal storage unit 88A and the external storage unit 88B constituting the storage unit 88 includes a flash memory type (flash memory type), a hard disk type (hard disk type), a multimedia card micro type (multimedia card micro type), It is realized using a storage medium such as a card type memory (for example, MicroSD (registered trademark) memory), a RAM (Random Access Memory), a ROM (Read Only Memory) or the like.
  • a card type memory for example, MicroSD (registered trademark) memory
  • RAM Random Access Memory
  • ROM Read Only Memory
  • the external input / output unit 90 serves as an interface with all external devices connected to the smartphone 70, and communicates with other external devices (for example, universal serial bus (USB), IEEE 1394, etc.) or a network.
  • external devices for example, universal serial bus (USB), IEEE 1394, etc.
  • a network for example, Internet, wireless LAN, Bluetooth (registered trademark), RFID (Radio Frequency Identification), infrared communication (Infrared Data Association: IrDA (registered trademark)), UWB (registered trademark) (Ultra Wideband), ZigBee ( ZigBee (registered trademark) or the like) for direct or indirect connection.
  • Examples of the external device connected to the smartphone 70 include a memory card connected via a wired / wireless headset, wired / wireless external charger, wired / wireless data port, card socket, and SIM (Subscriber).
  • Identity Module Card / UIM User Identity Module Card
  • external audio / video equipment connected via audio / video I / O (Input / Output) terminal
  • external audio / video equipment connected wirelessly, yes / no
  • the external input / output unit may transmit data received from such an external device to each component inside the smartphone 70, or may allow the data inside the smartphone 70 to be transmitted to the external device. it can.
  • the GPS receiving unit 92 receives GPS signals transmitted from the GPS satellites ST1 to STn in accordance with instructions from the main control unit 98, executes positioning calculation processing based on the received GPS signals, and calculates the latitude of the smartphone 70 Detect the position consisting of longitude and altitude.
  • the GPS receiving unit 92 can acquire position information from the wireless communication unit 84 or the external input / output unit 90 (for example, a wireless LAN), the GPS receiving unit 92 can also detect the position using the position information.
  • the motion sensor unit 94 includes, for example, a triaxial acceleration sensor, and detects the physical movement of the smartphone 70 in accordance with an instruction from the main control unit 98. By detecting the physical movement of the smartphone 70, the moving direction and acceleration of the smartphone 70 are detected. The detection result is output to the main control unit 98. *
  • the power supply unit 96 supplies power stored in a battery (not shown) to each unit of the smartphone 70 in accordance with an instruction from the main control unit 98.
  • the main control unit 98 includes a microprocessor, operates according to a control program and control data stored in the storage unit 88, and controls each unit of the smartphone 70 in an integrated manner. Further, the main control unit 98 includes a mobile communication control function for controlling each unit of the communication system and an application processing function in order to perform voice communication and data communication through the wireless communication unit 84.
  • the application processing function is realized by the main control unit 98 operating according to the application software stored in the storage unit 88.
  • Application processing functions include, for example, an infrared communication function that controls the external input / output unit 90 to perform data communication with the opposite device, an e-mail function that transmits and receives e-mails, and a web browsing function that browses web pages. .
  • the main control unit 98 also has an image processing function such as displaying video on the display input unit 74 based on image data (still image or moving image data) such as received data or downloaded streaming data.
  • the image processing function refers to a function in which the main control unit 98 decodes the image data, performs image processing on the decoding result, and displays an image on the display input unit 74.
  • main control unit 98 executes display control for the display panel 74A and operation detection control for detecting a user operation through the operation unit 80 and the operation panel 74B.
  • the main control unit 98 By executing the display control, the main control unit 98 displays an icon for starting application software, a software key such as a scroll bar, or displays a window for creating an e-mail.
  • a software key such as a scroll bar
  • the scroll bar refers to a software key for accepting an instruction to move the display portion of a large image that does not fit in the display area of the display panel 74A.
  • the main control unit 98 detects a user operation through the operation unit 80, or accepts an operation on the icon or an input of a character string in the input field of the window through the operation panel 74B. Or a display image scroll request through a scroll bar.
  • the main control unit 98 causes the operation position with respect to the operation panel 74B to overlap with the display panel 74A (display area) or other outer edge part (non-display area) that does not overlap with the display panel 74A.
  • a touch panel control function for controlling the sensitive area of the operation panel 74B and the display position of the software key.
  • the main control unit 98 can also detect a gesture operation on the operation panel 74B and execute a preset function according to the detected gesture operation.
  • Gesture operation is not a conventional simple touch operation, but an operation that draws a trajectory with a finger or the like, designates a plurality of positions at the same time, or combines these to draw a trajectory for at least one of a plurality of positions. means.
  • the camera unit 82 is a digital camera that performs electronic photography using an imaging element such as a CMOS (Complementary Metal Oxide Semiconductor) or a CCD (Charge-Coupled Device).
  • the camera unit 82 converts image data obtained by imaging into compressed image data such as JPEG (Joint Photographic coding Experts Group) under the control of the main control unit 98, and records the data in the storage unit 88 or The data can be output through the output unit 90 or the wireless communication unit 84.
  • the camera unit 82 is mounted on the same surface as the display input unit 74, but the mounting position of the camera unit 82 is not limited to this and may be mounted on the back surface of the display input unit 74.
  • a plurality of camera units 82 may be mounted.
  • the camera unit 82 used for shooting can be switched for shooting alone, or a plurality of camera units 82 can be used for shooting simultaneously. it can.
  • the camera unit 82 can be used for various functions of the smartphone 70.
  • the image acquired by the camera unit 82 can be displayed on the display panel 74A, or the image of the camera unit 82 can be used as one of the operation inputs of the operation panel 74B.
  • the GPS receiving unit 92 detects the position
  • the position can also be detected with reference to an image from the camera unit 82.
  • the optical axis direction of the camera unit 82 of the smartphone 70 can be determined without using the triaxial acceleration sensor or in combination with the triaxial acceleration sensor. It is also possible to determine the current usage environment.
  • the image from the camera unit 82 can also be used in the application software.
  • the position information acquired by the GPS receiving unit 92 to the image data of the still image or the moving image, the voice information acquired by the microphone 78 (the text information may be converted into voice information by the main control unit or the like), Posture information and the like acquired by the motion sensor unit 94 can be added and recorded in the storage unit 88, or output through the input / output unit 90 and the wireless communication unit 84.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)
  • Studio Devices (AREA)

Abstract

　非基準画像について、同一の被写体像の位置を基準画像と対応させて変形した変形画像を生成し（Ｓ１１１）、基準画像に対してノイズを低減する処理を行ってノイズ低減画像を生成し（Ｓ１２３）、基準画像と非基準画像との対応する画素間の画素値の第１の差の絶対値が大きいほど変形画像に対する基準画像の重み係数を大きく設定して基準画像と変形画像との合成処理を行い中間合成画像を生成し（Ｓ１１７）、基準画像と中間合成画像との対応する画素間の画素値の第２の差の絶対値が大きいほど中間合成画像に対するノイズ低減画像の重み係数を小さく設定して中間合成画像とノイズ低減画像との合成処理を行い最終画像を生成する（Ｓ１２９）。

Description

画像処理装置、撮影装置、プログラム及び画像処理方法
　本発明は、画像処理装置、撮影装置、プログラム及び画像処理方法に関し、特に、連続撮影によって得られた画像に対して画像処理を行う撮影装置、画像処理装置、プログラム及び画像処理方法に関する。
　従来、撮影装置によって高精細画像を撮影する技術として、連続的に複数回撮影し、撮影で得られた複数枚の画像を位置合せして合成した画像を最終的な撮影画像とすることで、ノイズが少ない撮影画像を生成する技術が用いられている。この技術において画像を合成する際には、合成対象の各々の画像間の動きベクトル（動き量）をジャイロセンサや画像処理によって求め、この動きベクトルに基づいて複数枚の画像を平行移動させたり回転させたりして位置合わせを行った上で合成する。
　しかし、人間が撮影装置を手に持って撮影した場合等には、手ブレにより、連続的に撮影した画像であっても各々の画像間で画角が比較的大きく異なっている場合がある。また、合成対象の画像を変形させることにより、画像を合成する際に相互の画像が合成される画素領域と合成されない画素領域が発生する。そのため、複数枚の画像を合成した場合に、合成画像において画素領域毎に合成回数が異なってしまう。一方、画像を合成する際に、被写体ブレが発生している領域、オクルージョンが発生している領域等に対応する画素が合成されないように制御する場合もあり、その場合においても、合成画像において画素領域毎に合成回数が異なってしまう。
　このように画素領域毎に合成回数が異なっている場合には、合成画像におけるノイズ低減量に画素領域毎にばらつきが発生する。すなわち、合成回数が多い画素領域においてはノイズが十分に低減されていても、合成回数が少ない画素領域においてはノイズが残存している可能性がある。
　これを解消するために、特開２００９－１９４７００号公報には、合成画像に対して画素領域毎に合成回数に応じたノイズ低減処理を施す撮影装置が開示されている。この撮影装置は、連続的に撮影された複数枚の画像を位置合わせした上で加算して合成画像を生成するとともに、合成画像の画素毎に加算回数を算出する加算回数算出手段と、合成画像の画素毎に加算回数に応じてノイズを低減するノイズ低減手段とを備えている。この構成により、高精細画像を生成することが可能となっている。
　特開２００９－１９４７００号公報に開示されている技術では、合成画像の画素領域毎に合成回数に応じてノイズ低減処理を行っている。しかしながら、一般的な撮影装置に搭載されているノイズ低減処理の機能は対象とする画像全体に対してノイズ低減処理を行うものである。すなわち、合成画像の画素領域毎にノイズを低減するためには、画素領域を指定してノイズ低減処理を行う機能を別途設ける必要がある。
　本発明は、このような課題を解決するためになされたものであり、新たな機能を設けることなく合成画像におけるノイズ低減効果の非均一性を解消することができる画像処理装置、撮影装置、プログラム及び画像処理方法を提供することにある。
　本発明の画像処理装置は、同一被写体を複数回撮影して得られた複数の画像を取得する画像取得手段と、前記複数の画像の何れか１つの画像を基準画像として選択する基準画像選択手段と、前記基準画像選択手段により選択されなかった非基準画像について、同一の被写体像の位置を前記基準画像と対応させて変形した変形画像を生成する変形画像生成手段と、前記基準画像に対してノイズを低減する処理を行ってノイズ低減画像を生成するノイズ低減画像生成手段と、前記基準画像と前記非基準画像との対応する画素間の画素値の第１の差の絶対値が大きいほど前記変形画像に対する前記基準画像の重み係数を大きく設定し、該設定した画素毎の重み係数に基づいて前記基準画像と前記変形画像との合成処理を行い中間合成画像を生成する中間合成画像生成手段と、前記基準画像と前記中間合成画像との対応する画素間の画素値の第２の差の絶対値が大きいほど前記中間合成画像に対する前記ノイズ低減画像の重み係数を小さく設定し、該設定した画素毎の重み係数に基づいて前記中間合成画像と前記ノイズ低減画像との合成処理を行い最終画像を生成する最終画像生成手段と、を備えている。
　この画像処理装置によれば、画像取得手段により、同一被写体を複数回撮影して得られた複数の画像が取得され、基準画像選択手段により、前記複数の画像の何れか１つの画像が基準画像として選択され、変形画像生成手段により、同一の被写体像の位置を前記基準画像と対応させて変形した変形画像が生成される。
　また、ノイズ低減画像生成手段により、前記基準画像に対してノイズを低減する処理が行われてノイズ低減画像が生成され、中間合成画像生成手段により、前記基準画像と前記非基準画像との対応する画素間の画素値の第１の差の絶対値が大きいほど前記変形画像に対する前記基準画像の重み係数を大きく設定し、該設定した画素毎の重み係数に基づいて前記基準画像と前記変形画像との合成処理を行い中間合成画像が生成される。
　ここで、最終画像生成手段により、前記基準画像と前記中間合成画像との対応する画素間の画素値の第２の差の絶対値が大きいほど前記中間合成画像に対する前記ノイズ低減画像の重み係数を小さく設定し、該設定した画素毎の重み係数に基づいて前記中間合成画像と前記ノイズ低減画像との合成処理を行い最終画像が生成される。すなわち、中間合成画像に対して、基準画像と中間合成画像との対応する画素間の画素値の第２の差の絶対値が大きい画素領域、すなわち合成によるノイズ低減効果が高い画素領域に対して、ノイズ低減画像の重みを軽くしてノイズ低減画像を合成する。
　これにより、新たな機能を設けることなく合成画像におけるノイズ低減効果の非均一性を解消することができる。
　また、本発明の画像処理装置は、前記中間合成画像生成手段が、前記第１の差の絶対値が前記第１閾値より大きく前記第１閾値より大きい第２閾値以下である場合には、当該第１の差の絶対値が大きいほど前記変形画像に対する前記基準画像の重み係数を徐々に大きくなるように設定して、前記基準画像と前記変形画像との合成処理を行うようにしてもよい。これにより、合成に適さない画素領域が合成されることを回避することができる。
　また、本発明の画像処理装置は、前記最終画像生成手段が、前記第２の差の絶対値が第３閾値より大きく前記第３閾値より大きい第４閾値以下である場合には、当該第２の差の絶対値が大きいほど前記中間合成画像に対する前記ノイズ低減画像の重み係数を徐々に小さくなるように設定して、前記ノイズ低減画像と前記中間合成画像との合成処理を行うようにしてもよい。これにより、適切に合成画像におけるノイズ低減効果の非均一性を解消することができる。
　また、本発明の画像処理装置は、前記ノイズ低減画像生成手段が、前記中間合成画像生成手段による合成処理の回数が多いほどノイズを低減する強度が大きくなるようにノイズ低減画像を生成するようにしてもよい。これにより、適切な強度で合成画像におけるノイズを低減させることができる。
　また、本発明の画像処理装置は、前記ノイズ低減画像生成手段が、前記中間合成画像における前記基準画像の重みが重いほどノイズを低減する強度が小さくなるようにノイズ低減画像を生成するようにしてもよい。これにより、適切な強度で合成画像におけるノイズを低減させることができる。
　また、本発明の画像処理装置は、前記複数の画像の各々を、全ての画像が同一の重みとなるように合成した単純合成画像を生成する単純合成画像生成手段をさらに備え、前記最終画像生成手段が、前記単純合成画像と前記中間合成画像との対応する画素間の画素値の第３の差の絶対値が大きいほど前記中間合成画像に対する前記ノイズ低減画像の重み係数を大きく設定し、前記ノイズ低減画像と前記中間合成画像との合成処理を行うようにしてもよい。これにより、適切に合成画像におけるノイズ低減効果の非均一性を解消することができる。
　また、本発明の画像処理装置は、前記最終画像生成手段が、前記第３の差の絶対値が第５閾値より大きく前記第５閾値より大きい第６閾値以下である場合には、当該差の絶対値が大きいほど前記中間合成画像に対する前記ノイズ低減画像の重み係数を徐々に大きくなるように設定して、前記ノイズ低減画像と前記中間合成画像との合成処理を行うようにしてもよい。これにより、適切に合成画像におけるノイズ低減効果の非均一性を解消することができる。
　また、本発明の画像処理装置は、前記最終画像生成手段が、前記中間合成画像における前記基準画像の重みが重いほど前記中間合成画像に対する前記ノイズ低減画像の重み係数を大きく設定し、前記ノイズ低減画像と前記中間合成画像との合成処理を行うようにしてもよい。これにより、適切に合成画像におけるノイズ低減効果の非均一性を解消することができる。
　また、本発明の画像処理装置は、前記最終画像生成手段が、前記中間合成画像における前記基準画像の重みが第７閾値より大きく前記第７閾値より大きい第８閾値以下である場合には、前記中間合成画像における前記基準画像の重みが重いほど前記中間合成画像に対する前記ノイズ低減画像の重み係数を徐々に大きくなるように設定して、前記ノイズ低減画像と前記中間合成画像との合成処理を行うようにしてもよい。これにより、適切に合成画像におけるノイズ低減効果の非均一性を解消することができる。
　本発明の撮影装置は、被写体を撮影する撮影手段と、本発明の画像処理装置とを備え、前記取得手段は、前記撮影手段により同一被写体を複数回撮影して得られた画像を取得する。
　この撮影装置によれば、本発明の画像処理装置と同様に作用するので、本発明の画像処理装置と同様に、新たな機能を設けることなく合成画像におけるノイズ低減効果の非均一性を解消することができる。
　本発明のプログラムは、コンピュータを、同一被写体を複数回撮影して得られた複数の画像を取得する画像取得手段と、前記複数の画像の何れか１つの画像を基準画像として選択する基準画像選択手段と、前記基準画像選択手段により選択されなかった非基準画像について、同一の被写体像の位置を前記基準画像と対応させて変形した変形画像を生成する変形画像生成手段と、前記基準画像に対してノイズを低減する処理を行ってノイズ低減画像を生成するノイズ低減画像生成手段と、前記基準画像と前記非基準画像との対応する画素間の画素値の第１の差の絶対値が大きいほど前記変形画像に対する前記基準画像の重み係数を大きく設定し、該設定した画素毎の重み係数に基づいて前記基準画像と前記変形画像との合成処理を行い中間合成画像を生成する中間合成画像生成手段と、前記基準画像と前記中間合成画像との対応する画素間の画素値の第２の差の絶対値が大きいほど前記中間合成画像に対する前記ノイズ低減画像の重み係数を小さく設定し、該設定した画素毎の重み係数に基づいて前記中間合成画像と前記ノイズ低減画像との合成処理を行い最終画像を生成する最終画像生成手段と、として機能させる。
　このプログラムによれば、コンピュータを本発明の画像処理装置と同様に作用させることができるので、本発明の画像処理装置と同様に、新たな機能を設けることなく合成画像におけるノイズ低減効果の非均一性を解消することができる。
　本発明の画像処理方法は、同一被写体を複数回撮影して得られた複数の画像を取得する画像取得ステップと、前記複数の画像の何れか１つの画像を基準画像として選択する基準画像選択ステップと、前記基準画像選択ステップにより選択されなかった非基準画像について、同一の被写体像の位置を前記基準画像と対応させて変形した変形画像を生成する変形画像生成ステップと、前記基準画像に対してノイズを低減する処理を行ってノイズ低減画像を生成するノイズ低減画像生成ステップと、前記基準画像と前記非基準画像との対応する画素間の画素値の第１の差の絶対値が大きいほど前記変形画像に対する前記基準画像の重み係数を大きく設定し、該設定した画素毎の重み係数に基づいて前記基準画像と前記変形画像との合成処理を行い中間合成画像を生成する中間合成画像生成ステップと、前記基準画像と前記中間合成画像との対応する画素間の画素値の第２の差の絶対値が大きいほど前記中間合成画像に対する前記ノイズ低減画像の重み係数を小さく設定し、該設定した画素毎の重み係数に基づいて前記中間合成画像と前記ノイズ低減画像との合成処理を行い最終画像を生成する最終画像生成ステップと、を備えている。
　この画像処理方法によれば、本発明の画像処理装置と同様に作用するので、本発明の画像処理装置と同様に、新たな機能を設けることなく合成画像におけるノイズ低減効果の非均一性を解消することができる。
　本発明によれば、新たな機能を設けることなく合成画像におけるノイズ低減効果の非均一性を解消することができる、という効果が得られる。
実施形態に係るデジタルカメラを示す正面斜視図である。 実施形態に係るデジタルカメラを示す背面斜視図である。 実施形態に係るデジタルカメラの電気系の要部構成を示す概略ブロック図である。 第１実施形態に係るデジタルカメラにより実行される撮影制御処理プログラムの流れを示すフローチャートである。 第１実施形態に係るデジタルカメラが撮影制御処理を開始してから中間合成画像を生成するまでの処理の流れを説明するための概略図である。 第１実施形態に係るデジタルカメラが撮影制御処理を開始してから中間合成画像を生成するまでの処理の流れを説明するための概略図である。 第１実施形態に係るデジタルカメラにおける画素値の差分の絶対値ｄと第１加重係数ｗとの関係の一例を示すグラフである。 第１実施形態に係るデジタルカメラが中間合成画像を生成してから最終合成画像を生成するまでの処理の流れを説明するための概略図である。 第１実施形態に係るデジタルカメラにおける画素値の差分の絶対値ｄ’と第２加重係数ｗ’との関係の一例を示すグラフである。 第２実施形態に係るデジタルカメラにより実行される撮影制御処理プログラムの流れを示すフローチャートである。 第２実施形態に係るデジタルカメラにより実行される撮影制御処理プログラムの流れを示すフローチャートである。 第３実施形態に係るデジタルカメラにより実行される撮影制御処理プログラムの流れを示すフローチャートである。 第４実施形態に係るデジタルカメラにより中間合成画像を生成してから最終合成画像を生成するまでの処理の流れを説明するための概略図である。 第４実施形態に係るデジタルカメラにおける画素値の差分の絶対値ｄ’と第２加重係数ｗ’との関係の一例を示すグラフである。 第５実施形態に係るデジタルカメラにより実行される撮影制御処理プログラムの流れを示すフローチャートである。 第５実施形態に係るデジタルカメラにおける第１加重係数ｗと第２加重係数ｗ’との関係の一例を示すグラフである。 実施形態に係る撮影装置の一実施形態であるスマートフォンの外観を示す図である。 図１６に示すスマートフォンの構成を示すブロック図である。
〔第１実施形態〕
　以下、図面を参照して、第１実施形態に係る撮影装置について詳細に説明する。なお、第１実施形態では、本発明を単眼デジタルカメラに適用した場合を例に挙げて説明する。
　図１Ａは、第１実施形態に係るデジタルカメラ１の構成を示す正面斜視図であり、図１Ｂは第１実施形態に係るデジタルカメラ１の構成を示す背面斜視図である。図１Ａ及び図１Ｂに示すように、デジタルカメラ１は筐体１０を備えていて、筐体１０の内部に後述するＣＰＵ（Central Processing Unit）、ＲＡＭ（Random Access Memory）及びＲＯＭ（Read Only Memory）等の各種電子部品が収納されている。筐体１０の上面にはレリーズボタン１１が備えられていて、ユーザによりレリーズボタン１１が押下されることによりデジタルカメラ１に撮影等の指示が入力される。
　また、筐体１０の上面には電源ボタン１２が備えられていて、ユーザにより電源ボタン１２が押下されることにより、デジタルカメラ１の電源のオン／オフ状態を切り替える指示が入力される。さらに、筐体１０の上面にはズームレバー１３が備えられていて、ユーザによりこのズームレバー１３が操作されることにより、撮影時にズーム機能の画角や倍率の変更の指示が入力される。
　一方、図１Ａに示すように、筐体１０の正面にはフラッシュ１４が備えられていて、フラッシュ１４を発光させることにより周囲が照明される。また、筐体１０の正面にはレンズ１５が備えられていて、このレンズ１５に入射した光が当該レンズ１５を通過して内部に入力される。
　また、図１Ｂに示すように、筐体１０の背面には、液晶ディスプレイ１６が備えられていて、撮影画像や設定事項などが表示される。また、筐体１０の背面には、各種操作ボタン１７が備えられていて、ユーザにより各種操作ボタン１７が操作されることにより各種設定事項の設定の指示が入力される。
　図２は、第１実施形態に係るデジタルカメラ１の電気系の要部構成を示す概略ブロック図である。図２に示すように、デジタルカメラ１は、主制御部２０、撮影部２１、撮影制御部２２、画像処理部２３、圧縮／伸張処理部２４、フレームメモリ２５、メディア制御部２６、内部メモリ２７、表示制御部２８、加重係数導出部３０、ノイズ低減処理部３１、及び合成処理部３２を備えている。
　主制御部２０は、上述したＣＰＵ、ＲＡＭ及びＲＯＭを備えていて、レリーズボタン１１、電源ボタン１２、及び各種操作ボタン１７等の入力部を介したユーザ操作に従って、デジタルカメラ１を総括的に制御する。また、主制御部２０は、後述する撮影制御処理プログラムを実行する。
　撮影部２１は、ＣＣＤやＣＭＯＳで構成された撮像素子を有し、レンズ１５に入射した光を受光し、受講した光を電気信号に変換して画像データを生成する。また、撮影部２１は、生成した画像データを画像処理部２３に送信する。
　撮影制御部２２は、ＡＦ（Automatic Focusing）処理部（図示省略）及びＡＥ（Automatic Exposure）処理部（図示省略）を備えている。ＡＦ処理部は、ユーザによるレリーズボタン１１の半押し操作等により撮影部２１によって取得されたプレ画像（撮影の前段階においてレンズ１５に入射している光による画像）に基づいて合焦領域を決定するとともに、レンズの焦点位置を決定し、撮影部２１に合焦領域や焦点位置を示すデータを出力する。ＡＥ処理部は、プレ画像に基づいて絞り値とシャッタ速度とを決定し、撮影部２１にシャッタ速度や絞り値を示すデータを出力する。
　また、撮影制御部２２は、ユーザによるレリーズボタン１１の全押し操作により撮影部２１に対して本画像を撮影する本撮影を行うように指示を出す。なお、レリーズボタン１１が全押し操作される前には、撮影制御部２２は、撮影範囲を確認するための本画像よりも画素数が少ない動画像であるスルー画像を、所定時間間隔（例えば１／３０秒間隔）にて順次取得させる指示を撮影部２１に対して行っている。
　画像処理部２３は、撮影部２１が取得した画像データが示す画像に対して、ホワイトバランスを調整する処理、階調補正、シャープネス補正、及び色補正等の様々な画像処理を施す。
　圧縮／伸張処理部２４は、画像処理部２３によって処理が施された画像を示す画像データに対して、例えばＪＰＥＧなどの圧縮形式で圧縮処理を行って圧縮画像データを生成する。圧縮画像データは、例えばＥｘｉｆフォーマットに基づいて、基線長、輻輳角、及び撮影日時などの付帯情報、並びに視点位置を表す視点情報などが格納される。
　フレームメモリ２５は、撮影部２１が生成した画像データに対して、画像処理部２３が行う処理を含む各種画像処理を行う際に使用される作業用メモリである。
　メディア制御部２６は、デジタルカメラ１に記録メディア２６Ａなどの各種記録メディアが電気接続された際に、この記録メディア２６Ａの記憶領域に対して画像ファイルなどのデータの読み書きの制御を行う。
　内部メモリ２７は、デジタルカメラ１において設定される各種設定事項、主制御部２０が実行するプログラムやプログラムの処理に使用されるデータ、及び撮影画像を示す複数の画像データを記憶する。なお、内部メモリ２７は、後述する撮影制御処理プログラムを記憶している。
　表示制御部２８は、主制御部２０または撮影制御部２２による制御に基づいて、撮影時においてフレームメモリ２５に格納された各々の画像データが示す画像を液晶ディスプレイ１６に表示させたり、記録メディア２６Ａに記憶されている画像データが示す画像を液晶ディスプレイ１６に表示させたりする。
　ここで、第１実施形態に係るデジタルカメラ１における撮影制御処理について説明する。なお、第１実施形態に係るデジタルカメラ１は、高精細画像を撮影するために、連続的に複数回撮影して得られた複数枚の画像をそれぞれ合成して中間合成画像を生成し、この中間合成画像をノイズ低減処理を施した基準画像と合成して最終合成画像を生成し、この最終合成画像を最終的な撮影画像とする。
　図３は、第１実施形態に係るデジタルカメラ１により実行される撮影制御処理プログラムの流れを示すフローチャートである。また、図４及び図５は、第１実施形態に係るデジタルカメラ１が撮影制御処理を開始してから中間合成画像Ｃを生成するまでの処理の流れを説明するための概略図である。さらに、図７は、第１実施形態に係るデジタルカメラ１が中間合成画像Ｃを生成してから最終合成画像Ｅを生成するまでの処理の流れを説明するための概略図である。
　当該撮影制御処理プログラムは、レリーズボタン１１が半押し操作されたタイミングでデジタルカメラ１の主制御部２０により実行される。また、当該撮影制御処理プログラムは、内部メモリ２７に予め記憶されている。
　ステップＳ１０１において、主制御部２０は、レリーズボタン１１が全押しされたか否かを判定する。ステップＳ１０１において全押しされていないと判定された場合は、主制御部２０は、そのままレリーズボタン１１が全押しされるまで待機する。
　ステップＳ１０１において全押しされたと判定された場合は、ステップＳ１０３において、主制御部２０は、デジタルカメラ１において連続的に複数回の撮影が行われるように制御し、撮影された複数枚の画像の各々の画像情報を取得する。なお、ステップＳ１０３において、本実施形態では、連続的に複数回の撮影が行われるように制御されるが、必ずしも連続的に撮影が行われる必要はなく、同一被写体を複数回撮影した画像の各々の画像情報が得られれば良い。
　次のステップＳ１０５において、主制御部２０は、ステップＳ１０３において連続的に撮影された画像のうち１つの画像を基準画像Ａとして選択する。この際、例えば、レリーズボタン１１が全押しされた直後に撮影された画像がユーザ所望の画像であることを考慮し、最初に撮影された１枚が基準画像Ａとして選択される。なお、後述する各画像の位置合わせを考慮し、連続的に撮影された他の画像に対するずれ量の平均値が最も小さいと考えられる、時系列で中央に位置する画像が基準画像Ａとして選択されても良い。以下、ステップＳ１０５において選択された基準画像Ａを、「当初の基準画像Ａ」ともいう。
　次のステップＳ１０７において、主制御部２０は、ステップＳ１０３において連続的に撮影された画像から、ステップＳ１０５において選択された基準画像Ａに対して最初に合成される画像である非基準画像Ｂを選択する。この際、例えばステップＳ１０３において基準画像Ａの次に撮影された画像が非基準画像Ｂとして選択されると良い。ステップＳ１０５及びＳ１０７によって、図４に示すように、合成対象とする基準画像Ａ及び非基準画像Ｂが選択される。
　次のステップＳ１０９において、主制御部２０は、基準画像Ａ及び非基準画像Ｂにおける動きベクトルを検出する。この際、主制御部２０は、例えば、基準画像Ａ及び非基準画像Ｂにおいて複数の特徴点を検出して、各々の特徴点について各々の画像で相互に対応させてブロックマッチングを行う。ブロックマッチングは、以下の（１）及び（２）の手順で画像間の変位を画素単位で求める手法である。
　（１）画像間の類似性を評価するために、各々比較する画像から領域を切り出し、その領域に対する輝度差の総和（SAD; Sum of Absolute Difference）、輝度差の２乗和（SSD: Sum of Squared Differece）、または正規化相互相関（ZNCC; Zero-mean Normalized Cross- Correlation）等を求める。
　（２）ＳＡＤまたはＳＳＤを用いるときには最小値、ＺＮＣＣを用いるときには最大値を与える切り出し位置を検索することで、画像間の変位を画素単位で求める。
　そして、主制御部２０は、各々の特徴点の画像間の変位により基準画像Ａ及び非基準画像Ｂにおける動きベクトルを検出する。
　次のステップＳ１１１において、主制御部２０は、ステップＳ１０９において検出した動きベクトルに基づいて基準画像Ａに対して非基準画像Ｂを変形させる。この際、非基準画像Ｂにおける特徴点が基準画像Ａにおける特徴点に略一致するように、非基準画像Ｂを平行移動、回転移動及び伸縮のうちの少なくとも１つを行うことにより変形させる。上記「略一致するように」は、各々対応する特徴点を完全に一致するように変形させる場合に加えて、各々対応する特徴点のずれのベクトルが全体として略０となるように変形させることを含む。ステップＳ１１１の処理によって、図５に示すように、基準画像Ａにおける被写体Ｈの位置と非基準画像Ｂにおける被写体Ｈの位置が略一致するように、非基準画像Ｂが変形される。
　次のステップＳ１１３において、主制御部２０は、基準画像Ａ及び非基準画像Ｂの対応する各画素の画素値の差分の絶対値ｄを導出する。画素値の差分の絶対値ｄは、基準画像Ａ、非基準画像Ｂの画素値をそれぞれimg[1], img[2]とすると、以下の（１）式によって計算される。
〔数１〕
　　d = | img[2] － img[1] |　　　…（１）
　次のステップＳ１１５において、主制御部２０は、各画素の画素値の差分の絶対値ｄに基づいて、基準画像Ａ及び非基準画像Ｂを合成する際に基準画像Ａに重み付けを行うための第１加重係数ｗを画素毎に導出する。
　図６は、第１実施形態に係るデジタルカメラ１における画素値の差分の絶対値ｄと第１加重係数ｗとの関係の一例を示すグラフである。図６においては横軸が画素値の差分の絶対値ｄ、縦軸が第１加重係数ｗに設定されている。また、第１所定値ｄ１及び第２所定値ｄ２（ｄ１＜ｄ２）は、経験により予め得られている値である。
　図６に示すように、第１加重係数ｗは０から１までの値であり、画素値の差分の絶対値ｄが０から第１所定値ｄ１までの値である場合には第１加重係数ｗが０．５となり、画素値の差分の絶対値ｄが第２所定値ｄ２以上の値である場合には第１加重係数ｗが１となり、かつ、画素値の差分の絶対値ｄが第１所定値ｄ１から第２所定値ｄ２までの値である場合には、画素値の差分の絶対値ｄが大きくなるほど第１加重係数ｗが比例して大きくなるような０．５から１までの間での値となる。
　画素値の差分の絶対値ｄが小さい場合には、基準画像Ａに対する非基準画像Ｂにおける被写体の動き（ブレ量）が小さいため、基準画像Ａ及び非基準画像Ｂの合成の際の基準画像Ａの第１加重係数ｗを０．５とし、非基準画像Ｂの加重係数（１－ｗ）を０．５として、基準画像Ａ及び非基準画像Ｂの各々の重みを対等にする。一方、画素値の差分の絶対値ｄが大きい場合には、基準画像Ａに対する非基準画像Ｂにおける被写体の動き（ブレ量）が大きいため、基準画像Ａ及び非基準画像Ｂの合成の際の基準画像Ａの第１加重係数ｗを１とし、非基準画像Ｂの加重係数（１－ｗ）を０として、基準画像Ａの重みを大きくする。また、基準画像Ａ及び非基準画像Ｂの重みが対等な領域と基準画像Ａの重みが大きい領域との境界をぼかすために、画素値の差分の絶対値ｄが第１所定値ｄ１から第２所定値ｄ２までの第１加重係数ｗの値を滑らかに変化させている。
　なお、図６に示す画素値の差分の絶対値ｄと第１加重係数ｗとの関係は一例であり、画素値の差分の絶対値ｄと第１加重係数ｗとの関係は、画素値の差分の絶対値ｄが小さい場合には、基準画像Ａ及び非基準画像Ｂの各々の重みを対等にし、画素値の差分の絶対値ｄが大きい場合には、基準画像Ａの重みを重くするようなグラフであれば良い。
　次のステップＳ１１７において、基準画像ＡとステップＳ１１１において変形させた非基準画像Ｂとを加重係数ｗを用いて合成して、中間合成画像Ｃを生成する。基準画像Ａ及び非基準画像Ｂの合成画像は、基準画像Ａ及び非基準画像Ｂにおいて相互に対応する各画素について、画素値の加重平均を算出することにより得られる。
　すなわち、中間合成画像Ｃの各画素の画素値は、基準画像Ａ、非基準画像Ｂ、中間合成画像Ｃの画素値をそれぞれimg[1], img[2], mixとすると、以下の（２）式によって計算される。
〔数２〕
　　mix = w × img[1] + (1-w) × img[2]　　…（２）
　上記（２）式によって合成画像の各画素の画素値が計算され、図４及び図５に示すように、基準画像Ａ及び非基準画像Ｂの合成画像として中間合成画像Ｃが生成される。
　このように複数の画像を撮影して合成する目的は、ランダムノイズを低減することである。したがって、各々の画像間の撮影条件、撮影された画像に対する信号処理の条件が略同等であれば、ノイズ低減効果が最大となるのは、基準画像Ａと非基準画像Ｂとを１：１の割合で加重平均した場合、すなわち第１加重係数ｗが０．５の場合である。しかし、例えば基準画像Ａにおける全画素について１：１の割合で加重平均すると、基準画像Ａ内に動体が存在した場合等に、合成画像における動体領域において動体が多重像化してしまう。そこで、主制御部２０は、事前に画素毎に画素値の差分の絶対値ｄを計算し、画素値の差分の絶対値ｄが大きい領域（図６に示す例では、ｄ≧ｄ２の領域）を合成に適さない領域（以下、「合成不適領域」ともいう。）として基準画像Ａの重みを示す第１加重係数ｗを１とすることで、合成不適領域が合成に用いられることを回避している。
　次のステップＳ１１９において、主制御部２０は、ステップＳ１０３において連続的に撮影された画像の全ての画像がステップＳ１１７の処理によって合成されたか否かを判定する。ステップＳ１１９において全ての画像が合成されていないと判定された場合、ステップＳ１２１において、主制御部２０は、ステップＳ１１７において生成した中間合成画像を新たな基準画像Ａとして選択し、ステップＳ１０７に移行する。そして、主制御部２０は、ステップＳ１０７において、まだ合成されていない画像を非基準画像Ｂとして選択し、ステップＳ１０９乃至Ｓ１２１の処理を繰り返し行うことにより、ステップＳ１０３において連続的に撮影された複数の画像の全ての画像が合成された中間合成画像Ｃが生成される。
　ステップＳ１１９において全ての画像が合成されたと判定された場合、ステップＳ１２３において、主制御部２０は、当初の基準画像Ａの全体に対して空間的なノイズ低減処理を行い、ノイズ低減画像Ｄを生成する。この空間的なノイズ低減処理には、ＬＰＦ（ローパスフィルタ）や、バイラテラルフィルタ、またはエッジの強度・方向に応じた適応的なフィルタ等、様々な既知の手法を適用できる。このような空間ノイズ低減処理を行うための機能は、一般的なデジタルカメラに略必須とされている機能であり、多くのデジタルカメラに既に搭載されている。なお、ステップＳ１２３の処理は、後述するステップＳ１２５の処理より前の段階であれば、どの段階で実行されても構わない。
　次のステップＳ１２５において、主制御部２０は、基準画像Ａ及び中間合成画像Ｃの対応する各画素の画素値の差分の絶対値ｄ’を算出する。画素値の差分の絶対値ｄ’は、基準画像Ａ、中間合成画像Ｃの画素値をそれぞれimg[1], img[3]とすると、以下の（３）式によって計算される。
〔数３〕
　　d'= | img[3] －img[1] |　　　…（３）
　次のステップＳ１２７において、主制御部２０は、各画素の画素値の差分の絶対値ｄ’に基づいて、ノイズ低減画像Ｄ及び中間合成画像Ｃを合成する際にノイズ低減画像Ｄに重み付けを行うための第２加重係数ｗ’を画素毎に導出する。
　図８は、第１実施形態に係るデジタルカメラ１における画素値の差分の絶対値ｄ’と第２加重係数ｗ’との関係の一例を示すグラフである。図８においては横軸が画素値の差分の絶対値ｄ’、縦軸が第２加重係数ｗ’に設定されている。図８に示すように、第２加重係数ｗ’は０から１までの値であり、画素値の差分の絶対値ｄ’が０から第３所定値ｄ３までの値である場合には第２加重係数ｗ’が１となり、画素値の差分の絶対値ｄ’が第４所定値ｄ４（ｄ３＜ｄ４）以上の値である場合には第２加重係数ｗ’が０となり、かつ、画素値の差分の絶対値ｄ’が第３所定値ｄ３から第４所定値ｄ４までの値である場合には、画素値の差分の絶対値ｄ’が大きくなるほど第２加重係数ｗ’が比例して小さくなるような０から１までの間での値となる。
　画素値の差分の絶対値ｄ’が小さい場合には、中間合成画像Ｃにおける合成によるノイズ低減効果が低い領域であるため、ノイズ低減画像Ｄ及び中間合成画像Ｃの合成の際のノイズ低減画像Ｄの第２加重係数ｗ’を１とし、中間合成画像Ｃの加重係数（１－ｗ’）を０として、ノイズ低減画像Ｄの重みを大きくする。一方、画素値の差分の絶対値ｄが大きい場合には、中間合成画像Ｃにおける合成によるノイズ低減効果が高い領域であるため、ノイズ低減画像Ｄ及び中間合成画像Ｃの合成の際のノイズ低減画像Ｄの第２加重係数ｗ’を０とし、中間合成画像Ｃの加重係数（１－ｗ’）を１として、ノイズ低減画像Ｄの重みを小さくする。また、ノイズ低減画像Ｄの重みが大きい領域と中間合成画像Ｃの重みが大きい領域との境界をぼかすために、画素値の差分の絶対値ｄ’が第３所定値ｄ３から第４所定値ｄ４までの第２加重係数ｗ’の値を滑らかに変化させている。
　なお、図８に示す画素値の差分の絶対値ｄ’と第２加重係数ｗ’との関係は一例であり、画素値の差分の絶対値ｄ’と第２加重係数ｗ’との関係は、画素値の差分の絶対値ｄ’が小さい場合にはノイズ低減画像Ｄの重みを重くし、画素値の差分の絶対値ｄが大きい場合にはノイズ低減画像Ｄの重みを軽くするようなグラフであれば良い。
　次のステップＳ１２９において、ステップＳ１２７によって導出された第２加重係数ｗ’に基づいてノイズ低減画像Ｄと中間合成画像Ｃとを合成して、最終合成画像Ｅを生成して、撮影制御処理を終了する。ノイズ低減画像Ｄ及び中間合成画像Ｃの合成画像は、ノイズ低減画像Ｄ及び中間合成画像Ｃにおいて相互に対応する各画素について、画素値の加重平均を算出することにより得られる。
　すなわち、中間画像の各画素の画素値は、ノイズ低減画像Ｄ、中間合成画像Ｃ、最終合成画像Ｅの画素値をimg’[1]、mix、mix_fとすると、以下の（４）式によって計算される。
〔数４〕
　　mix_f = w’ × img’[1] + (1-w’) × mix　　　…（４）
　上記（４）式によって合成画像の各画素の画素値が計算され、図７に示すように、ノイズ低減画像Ｄ及び中間合成画像Ｃの合成画像として最終合成画像Ｅが生成される。
　なお、上述したように、非基準画像Ｂに対して平行移動や回転等の変形を行うことにより、基準画像Ａ及び非基準画像Ｂを合成した際に、図５に示すように、中間合成画像Ｃにおいて、基準画像Ａ及び非基準画像Ｂが合成された画素領域（以下、「合成領域」ともいう。）、及び基準画像Ａ及び非基準画像Ｂが合成されない画素領域（以下、「非合成領域」ともいう。）が発生する。合成領域においては合成によりノイズが低減されている一方で、非合成領域においてはノイズが低減されていないために非合成領域のノイズ量は基準画像Ａと同等であり、非合成領域においてはノイズ低減効果が全く得られていないことになる。しかし、中間合成画像Ｃの非合成領域に対して、基準画像Ａに空間ノイズ低減処理を行った画像を、他の画素領域よりも合成比率を高くして合成することで、合成処理における合成領域と非合成領域のノイズ量の差を小さくすることが可能である。
　このようにして第１実施形態に係るデジタルカメラ１では、合成不適領域及び非合成領域に対して空間的なノイズ低減を施すことで、複数枚の画像を位置合せして合成して得られる合成画像の、合成によるノイズ低減効果の非均一性を解消することが可能である。また、第１実施形態に係るデジタルカメラ１では、基準画像Ａに一般的に用いられている画像全体に対して空間ノイズ低減処理を行う機能を用いることができるため、新たな機能を追加することなくノイズ低減効果の非均一性を解消することが可能である。
　なお、中間合成画像Ｃを生成するために合成される画像が３枚以上である場合、中間合成画像Ｃにおける各領域を合成領域と非合成領域の２つの領域に明確に分類することができない。その場合には、画素単位、あるいは所定の領域単位で合成の度合（ノイズ低減の度合）が変更されると良い。
〔第２実施形態〕
　第２実施形態に係るデジタルカメラ１について説明する。
　第２実施形態に係るデジタルカメラ１は、第１実施形態に係るデジタルカメラ１と同様に、図１及び図２に示す構成を有する。なお、第１実施形態と同一の構成には同一の符号を付し、重複する説明を省略する。
　第２実施形態に係るデジタルカメラ１は、第１実施形態のステップＳ１２３において実行されるノイズ低減処理のノイズ低減強度を、中間合成画像Ｃの合成回数に応じて設定するものである。
　図９は、第２実施形態に係るデジタルカメラ１により実行される撮影制御処理プログラムの流れを示すフローチャートである。当該撮影制御処理プログラムは、レリーズボタン１１が半押し操作されたタイミングでデジタルカメラ１の主制御部２０により実行され、内部メモリ２７に予め記憶されている。
　始めに、上述したステップＳ１０１乃至Ｓ１０５の処理を行った後に、ステップＳ２０１において、主制御部２０は、ステップＳ１１７における合成処理を何回行ったかを示す合成回数を０に設定する。そして主制御部２０は、ステップＳ１０７乃至Ｓ１１７の処理を行う。
　次のステップＳ２０３において、ステップＳ２０１において０に設定した合成回数に１を加算して、ステップＳ１１９に移行する。このステップＳ２０３の処理により、ステップＳ１０７乃至Ｓ１１７の処理が行われる毎に合成回数が計数される。
　ステップＳ１１９において全ての画像が合成されたと判定された場合、ステップＳ２０５において、主制御部２０は、ステップＳ２０３において計数された合成回数に応じて、合成回数が多くなるほどノイズを低減する強度が大きくなるように、基準画像Ａに対するノイズ低減強度を設定する。
　上述したように、合成によるノイズ低減効果の非均一性を解消する目的で行うため、基準画像Ａに対するノイズ低減の効果（強度）も合成枚数に依存させることが好ましい。ノイズ低減強度の設定は、例えば、ノイズ低減処理を行う際にガウシアンフィルタを用いる場合には、ガウシアンフィルタによる平滑化度合を調整する際、合成回数が多くなるほどパラメータσの値が大きくなるようにパラメータσの値を変更して平滑化度合を調整すると良い。なお、ガウシアンフィルタは、注目画素に近いほど平均値を計算するときの重みを大きくし、遠くなるほど重みを小さくなるようにガウス分布の関数を用いてレートを計算するフィルタであり、パラメータσの値が大きいほど平滑化の効果が大きくなる。
　また、ノイズ低減処理を行う際に平均値フィルタを用いた場合には、合成回数が多くなるほどカーネルサイズが大きくなるようにカーネルサイズを変更する方法を用いても良い。なお、平均値フィルタは、注目画素とその近傍の画素の濃度値の平均値を、注目画素の新しい濃度値とするフィルタである。
　次のステップＳ２０７において、主制御部２０は、ステップＳ２０５において設定されたノイズ低減強度で、当初の基準画像Ａの全体に対して空間的なノイズ低減処理を行い、ノイズ低減画像Ｄを生成する。そして、主制御部２０は、ステップＳ１２５乃至Ｓ１２９の処理を行って撮影制御プログラムを終了する。
　このようにして第２実施形態に係るデジタルカメラ１は、ノイズ低減画像Ｄを生成する際に、合成回数に応じて基準画像Ａに対する空間ノイズ低減の強度を調整することにより、合成によるノイズ低減効果の非均一性を過不足なく解消することができる。
〔第３実施形態〕
　第３実施形態に係るデジタルカメラ１について説明する。
　第３実施形態に係るデジタルカメラ１は、第１実施形態に係るデジタルカメラ１と同様に、図１及び図２に示す構成を有する。なお、第１実施形態及び第２実施形態と同一の構成には同一の符号を付し、重複する説明を省略する。
　第３実施形態に係るデジタルカメラ１は、第１実施形態のステップＳ１２３において実行されるノイズ低減処理のノイズ低減強度を、中間合成画像Ｃにおける基準画像Ａの重み（合成比率）に応じて設定するものである。
　図１０は、第２実施形態に係るデジタルカメラ１により実行される撮影制御処理プログラムの流れを示すフローチャートである。当該撮影制御処理プログラムは、レリーズボタン１１が半押し操作されたタイミングでデジタルカメラ１の主制御部２０により実行され、内部メモリ２７に予め記憶されている。
　始めに、上述したステップＳ１０１乃至Ｓ１２１の処理を行う。そして、ステップＳ１１９において全ての画像が合成されたと判定された場合、ステップＳ３０１において、主制御部２０は、中間合成画像Ｃにおける基準画像Ａの重みを算出する。
　合成によるノイズ低減効果は、合成対象の各々の画像がどのような合成比率で合成されたかに依存する。例えば、合成対象の画像がＮ枚であった場合、第ｎ番目の中間合成画像Ｃをmix[n] 、第ｎ番目の非基準画像Ｂをimg[n]、第ｎ番目の第１加重係数ｗをw[n]とすると、生成された中間合成画像Ｃに占める基準画像Ａの重みを示す第１加重係数ｗを下記の（５）式のように表すことができる。
〔数５〕
　　w = w[1] × w[2] ×w[3] × ・・・× w[N-1]　　　…（５）
　　　ただし、
　　　　mix[1] = w[1] × img[1] + (1-w[1]) × img[2]
　　　　mix[2] = w[2] × mix[1] + (1-w[2]) × img[3]
　　　　mix[3] = w[3] × mix[2] + (1-w[3]) × img[4]
　　　　・
　　　　・
　　　　・
　次のステップＳ３０３において、ステップＳ３０１において算出した基準画像Ａの重みに基づいて、基準画像Ａの重みが重くなるほどノイズを低減する強度が小さくなるように、基準画像Ａに対するノイズ低減強度を設定する。
　第３実施形態では、上記（５）式によって画素毎に算出された基準画像Ａの第１加重係数ｗの値のうち最小の値に基づいて、ノイズ低減処理の強度を調整する。ノイズ低減強度の調整は、例えば、ガウシアンフィルタを用いて、ガウシアンフィルタによる平滑化度合を調整する際、中間合成画像Ｃにおける基準画像Ａの重みが重くなるほどパラメータσの値が小さくなるようにパラメータσの値を変更して平滑化度合を調整すると良い。あるいは、平均値フィルタにおいて、中間合成画像Ｃにおける基準画像Ａの重みが多くなるほどカーネルサイズが小さくなるようにカーネルサイズを変更する方法を用いても良い。
　次のステップＳ３０５において、主制御部２０は、ステップＳ３０３において設定されたノイズ低減強度で、当初の基準画像Ａの全体に対して空間的なノイズ低減処理を行い、ノイズ低減画像Ｄを生成する。そして、主制御部２０は、ステップＳ１２５乃至Ｓ１２９の処理を行って撮影制御プログラムを終了する。
　このようにして第２実施形態に係るデジタルカメラ１は、ノイズ低減画像Ｄを生成する際に、中間合成画像Ｃにおける基準画像Ａの重みに応じて基準画像Ａに対する空間ノイズ低減の強度を調整することにより、合成によるノイズ低減効果の非均一性を過不足なく解消することができる。
〔第４実施形態〕
　第４実施形態に係るデジタルカメラ１について説明する。
　第４実施形態に係るデジタルカメラ１は、第１実施形態に係るデジタルカメラ１と同様に、図１及び図２に示す構成を有する。なお、第１実施形態乃至第３実施形態と同一の構成には同一の符号を付し、重複する説明を省略する。
　第４実施形態に係るデジタルカメラ１は、第１実施形態のステップＳ１２７において中間合成画像Ｃ及びノイズ低減画像Ｄを合成する際の第２加重係数ｗ’を導出する際に、中間合成画像Ｃ及び単純合成画像（ステップＳ１０３において連続的に撮影して得られた複数の画像の各々を同一の比率で合成した画像）Ｆに応じて設定するものである。
　図１１は、第３実施形態に係るデジタルカメラ１により実行される撮影制御処理プログラムの流れを示すフローチャートである。また、図１２は、第４実施形態に係るデジタルカメラ１により中間合成画像Ｃを生成してから最終合成画像Ｅを生成するまでの処理の流れを説明するための概略図である。
　当該撮影制御処理プログラムは、レリーズボタン１１が半押し操作されたタイミングでデジタルカメラ１の主制御部２０により実行され、内部メモリ２７に予め記憶されている。
　始めに、上述したステップＳ１０１乃至Ｓ１２１の処理を行う。そして、ステップＳ１１９において全ての画像が合成されたと判定された場合、ステップＳ４０１において、主制御部２０は、ステップＳ１０３において連続的に撮影されて得られた複数の画像の各々を、全ての画像が同一の合成比率となるように合成した単純合成画像Ｆを生成する。
　次のステップＳ１２３において、主制御部２０は、当初の基準画像Ａの全体に対して空間的なノイズ低減処理を行い、ノイズ低減画像Ｄを生成する。また、次のステップＳ４０３において、主制御部２０は、中間合成画像Ｃ及び単純合成画像Ｆの対応する各画素の画素値の差分の絶対値ｄ’を算出する。
　次のステップＳ４０５において、主制御部２０は、各画素の画素値の差分の絶対値ｄ’に基づいて、ノイズ低減画像Ｄ及び中間合成画像Ｃを合成する際にノイズ低減画像Ｄに重み付けを行うための第２加重係数ｗ’を画素毎に導出する。
　図１３は、第４実施形態に係るデジタルカメラ１における画素値の差分の絶対値ｄ’と第２加重係数ｗ’との関係の一例を示すグラフである。図１３においては横軸が画素値の差分の絶対値ｄ’、縦軸が第２加重係数ｗ’に設定されている。図１３に示すように、第２加重係数ｗ’は０から１までの値であり、画素値の差分の絶対値ｄ’が０から第５所定値ｄ５までの値である場合には第２加重係数ｗ’が０となり、画素値の差分の絶対値ｄ’が第６所定値ｄ６（ｄ５＜ｄ６）以上の値である場合には第２加重係数ｗ’が１となり、かつ、画素値の差分の絶対値ｄ’が第５所定値ｄ５から第６所定値ｄ６までの値である場合には、画素値の差分の絶対値ｄ’が大きくなるほど第２加重係数ｗ’が比例して大きくなるような０から１までの間での値となる。
　この場合には、第１実施形態と異なり、画素値の差分の絶対値ｄ’が小さい場合には、中間合成画像Ｃにおける合成によるノイズ低減効果が高い領域であるため、ノイズ低減画像Ｄ及び中間合成画像Ｃの合成の際のノイズ低減画像Ｄの第２加重係数ｗ’を０とし、中間合成画像Ｃの加重係数（１－ｗ’）を１として、ノイズ低減画像Ｄ及び中間合成画像Ｃの重みを同等にする。一方、画素値の差分の絶対値ｄが大きい場合には、中間合成画像Ｃにおける合成によるノイズ低減効果が低い領域であるため、ノイズ低減画像Ｄ及び中間合成画像Ｃの合成の際のノイズ低減画像Ｄの第２加重係数ｗ’を１とし、中間合成画像Ｃの加重係数（１－ｗ’）を０として、ノイズ低減画像Ｄの重みを大きくする。また、ノイズ低減画像Ｄの重みが大きい領域と中間合成画像Ｃの重みが大きい領域との境界をぼかすために、画素値の差分の絶対値ｄ’が第３所定値ｄ３から第４所定値ｄ４までの第２加重係数ｗ’の値を滑らかに変化させている。
　なお、図１３に示す画素値の差分の絶対値ｄ’と第２加重係数ｗ’との関係は一例であり、画素値の差分の絶対値ｄ’と第２加重係数ｗ’との関係は、画素値の差分の絶対値ｄ’が小さい場合にはノイズ低減画像Ｄ及び中間合成画像Ｃの重みを同等とし、画素値の差分の絶対値ｄが大きい場合にはノイズ低減画像Ｄの重みを重くするようなグラフであれば良い。
　次のステップＳ１２９において、ステップＳ１２７によって導出された第２加重係数ｗ’に基づいてノイズ低減画像Ｄと中間合成画像Ｃとを合成して、最終合成画像Ｅを生成して、撮影制御処理を終了する。ノイズ低減画像Ｄ及び中間合成画像Ｃの合成画像は、ノイズ低減画像Ｄ及び中間合成画像Ｃにおいて相互に対応する各画素について、画素値の加重平均を算出することにより得られる。
　このようにして第４実施形態に係るデジタルカメラ１では、第１実施形態と同様の作用及び効果を得ることができる。
〔第５実施形態〕
　第５実施形態に係るデジタルカメラ１について説明する。
　第５実施形態に係るデジタルカメラ１は、第１実施形態に係るデジタルカメラ１と同様に、図１及び図２に示す構成を有する。なお、第１実施形態乃至第４実施形態と同一の構成には同一の符号を付し、重複する説明を省略する。
　第５実施形態に係るデジタルカメラ１は、第１実施形態のステップＳ１２７において中間合成画像Ｃ及びノイズ低減画像Ｄを合成する際の第２加重係数ｗ’を導出する際に、第１加重係数ｗに基づいて第２加重係数ｗ’を導出するものである。すなわち、上記（５）式に示すように、第１加重係数ｗの値が大きいほど中間合成画像Ｃにおける基準画像Ａの重みが大きくノイズ低減効果が低いことを表している。そこで、第５実施形態に係るデジタルカメラ１は、第２加重係数ｗ’を第１加重係数ｗに応じて導出する。
　図１４は、第５実施形態に係るデジタルカメラ１により実行される撮影制御処理プログラムの流れを示すフローチャートである。当該撮影制御処理プログラムは、レリーズボタン１１が半押し操作されたタイミングでデジタルカメラ１の主制御部２０により実行され、内部メモリ２７に予め記憶されている。
　始めに、上述したステップＳ１０１乃至Ｓ１２３の処理を行う。そして、次のステップＳ５０１において、主制御部２０は、ステップＳ１１５において導出した、基準画像Ａ及び変形させた非基準画像Ｂを合成する際の第１加重係数ｗに基づいて、中間合成画像Ｃ及びノイズ低減画像Ｄを合成する際の第２加重係数ｗ’を導出する。
　図１５は、第５実施形態に係るデジタルカメラ１における第１加重係数ｗと第２加重係数ｗ’との関係の一例を示すグラフである。図１５においては横軸が第１加重係数ｗ、縦軸が第２加重係数ｗ’に設定されている。図１５に示すように、第２加重係数ｗ’は０から１までの値であり、第１加重係数ｗが０から第７所定値ｄ７（ここでは、０．５）までの値である場合には第２加重係数ｗ’が０となり、第１加重係数ｗが第８所定値ｄ８以上の値である場合には第２加重係数ｗ’が１となり、かつ、第１加重係数ｗが第７所定値ｄ７から第８所定値ｄ８（ｄ７＜ｄ８）までの値である場合には、第１加重係数ｗが大きくなるほど第２加重係数ｗ’が比例して大きくなるような０から１までの間での値となる。
　第１加重係数ｗが小さい場合には、中間合成画像Ｃにおける合成によるノイズ低減効果が高い領域であるため、ノイズ低減画像Ｄ及び中間合成画像Ｃの合成の際のノイズ低減画像Ｄの第２加重係数ｗ’を０とし、ノイズ低減画像Ｄの重みを小さくする。一方、画素値の差分の絶対値ｄが大きい場合には、中間合成画像Ｃにおける合成によるノイズ低減効果が低い領域であるため、ノイズ低減画像Ｄ及び中間合成画像Ｃの合成の際のノイズ低減画像Ｄの第２加重係数ｗ’を１とし、ノイズ低減画像Ｄの重みを大きくする。また、ノイズ低減画像Ｄの重みが大きい領域と中間合成画像Ｃの重みが大きい領域との境界をぼかすために、画素値の差分の絶対値ｄ’が第３所定値ｄ３から第４所定値ｄ４までの第２加重係数ｗ’の値を滑らかに変化させている。
　なお、図１５に示す第１加重係数ｗと第２加重係数ｗ’との関係との関係は一例であり、第１加重係数ｗと第２加重係数ｗ’との関係は、第１加重係数ｗが小さい場合にはノイズ低減画像Ｄの重みを小さくし、画素値の差分の絶対値ｄが大きい場合にはノイズ低減画像Ｄの重みを大きくするようなグラフであれば良い。
　次のステップＳ１２９において、ステップＳ１２７によって導出された第２加重係数ｗ’に基づいてノイズ低減画像Ｄと中間合成画像Ｃとを合成して、最終合成画像Ｅを生成して、撮影制御処理を終了する。ノイズ低減画像Ｄ及び中間合成画像Ｃの合成画像は、ノイズ低減画像Ｄ及び中間合成画像Ｃにおいて相互に対応する各画素について、画素値の加重平均を算出することにより得られる。
　すなわち、中間画像の各画素の画素値は、ノイズ低減画像Ｄ、中間合成画像Ｃ、最終合成画像Ｅの画素値をimg’[1]、mixとすると、以下の（６）式によって計算される。
〔数６〕
　　mix_f = w’ × img’[1] + (1-w’) × mix[N-1]　　　…（６）
　上記（６）式によって合成画像の各画素の画素値が計算され、図７に示すように、ノイズ低減画像Ｄ及び中間合成画像Ｃの合成画像として最終合成画像Ｅが生成される。
　このようにして第５実施形態に係るデジタルカメラ１では、算出済みの第１加重係数ｗから第２加重係数ｗ’を算出するようにしたので、第１実施形態と同様の作用及び効果を得ることができる上に、処理速度を向上させることができる。
　以上、本発明の撮影装置の実施形態として、デジタルカメラについて説明してきたが、撮影装置の構成はこれに限定されない。本発明のその他の撮影装置としては、例えば、内蔵型又は外付け型のＰＣ（パーソナルコンピュータ）用カメラ、或いは、以下に説明するような、撮影機能を有する携帯端末装置とすることができる。
　本発明の撮影装置の一実施形態である携帯端末装置としては、例えば、携帯電話機やスマートフォン、ＰＤＡ（Personal Digital Assistants）、携帯型ゲーム機が挙げられる。以下、スマートフォンを例に挙げ、図面を参照しつつ、詳細に説明する。
　図１６は、実施形態に係る撮影装置の一実施形態であるスマートフォン７０の外観を示す図である。図１６に示すスマートフォン７０は、平板状の筐体７２を有し、筐体７２の一方の面に表示部としての表示パネル７４Ａと、入力部としての操作パネル７４Ｂとが一体となった表示入力部７４を備えている。また、係る筐体７２は、スピーカ７６と、マイクロホン７８と、操作部８０と、カメラ部８２とを備えている。なお、筐体７２の構成はこれに限定されず、例えば、表示部と入力部とが独立した構成を採用したり、折り畳み構造やスライド機構を有する構成を採用したりすることもできる。
　図１７は、図１６に示すスマートフォン７０の構成を示すブロック図である。図１７に示すように、スマートフォンの主たる構成要素として、無線通信部８４と、表示入力部７４と、通話部８６と、操作部８０と、カメラ部８２と、記憶部８８と、外部入出力部９０と、ＧＰＳ（Global Positioning System）受信部９２と、モーションセンサ部９４と、電源部９６と、主制御部９８とを備える。また、スマートフォン７０の主たる機能として、基地局装置と移動通信網とを介した移動無線通信を行う無線通信機能を備える。
　無線通信部８４は、主制御部９８の指示にしたがって、移動通信網に収容された基地局装置に対し無線通信を行うものである。係る無線通信を使用して、音声データ、画像データ等の各種ファイルデータ、電子メールデータなどの送受信や、Ｗｅｂデータやストリーミングデータなどの受信を行う。
　表示入力部７４は、主制御部９８の制御により、画像（静止画像および動画像）や文字情報などを表示して視覚的にユーザに情報を伝達するとともに、表示した情報に対するユーザ操作を検出する、いわゆるタッチパネルであって、表示パネル７４Ａと、操作パネル７４Ｂとを備える。
　表示パネル７４Ａは、ＬＣＤ（Liquid Crystal Display）、ＯＥＬＤ（Organic Electro-Luminescence Display）などを表示デバイスとして用いたものである。操作パネル７４Ｂは、表示パネル７４Ａの表示面上に表示される画像を視認可能に載置され、ユーザの指や尖筆によって操作される一又は複数の座標を検出するデバイスである。係るデバイスをユーザの指や尖筆によって操作すると、操作に起因して発生する検出信号を主制御部９８に出力する。次いで、主制御部９８は、受信した検出信号に基づいて、表示パネル７４Ａ上の操作位置（座標）を検出する。
　図１６に示すように、本発明の撮影装置の一実施形態として例示しているスマートフォン７０の表示パネル７４Ａと操作パネル７４Ｂとは一体となって表示入力部７４を構成しているが、操作パネル７４Ｂが表示パネル７４Ａを完全に覆うような配置となっている。係る配置を採用した場合、操作パネル７４Ｂは、表示パネル７４Ａ外の領域についても、ユーザ操作を検出する機能を備えてもよい。換言すると、操作パネル７４Ｂは、表示パネル７４Ａに重なる重畳部分についての検出領域（以下、表示領域と称する）と、それ以外の表示パネル７４Ａに重ならない外縁部分についての検出領域（以下、非表示領域と称する）とを備えていてもよい。
　なお、表示領域の大きさと表示パネル７４Ａの大きさとを完全に一致させても良いが、両者を必ずしも一致させる必要は無い。また、操作パネル７４Ｂが、外縁部分と、それ以外の内側部分の２つの感応領域を備えていてもよい。更に、外縁部分の幅は、筐体７２の大きさなどに応じて適宜設計されるものである。更にまた、操作パネル７４Ｂで採用される位置検出方式としては、マトリクススイッチ方式、抵抗膜方式、表面弾性波方式、赤外線方式、電磁誘導方式、静電容量方式などが挙げられ、いずれの方式を採用することもできる。
　通話部８６は、スピーカ７６やマイクロホン７８を備え、マイクロホン７８を通じて入力されたユーザの音声を主制御部９８にて処理可能な音声データに変換して主制御部９８に出力したり、無線通信部８４あるいは外部入出力部９０により受信された音声データを復号してスピーカ７６から出力するものである。また、図１６に示すように、例えば、スピーカ７６を表示入力部７４が設けられた面と同じ面に搭載し、マイクロホン７８を筐体７２の側面に搭載することができる。
　操作部８０は、キースイッチなどを用いたハードウェアキーであって、ユーザからの指示を受け付けるものである。例えば、図１６に示すように、操作部８０は、スマートフォン７０の筐体７２の側面に搭載され、指などで押下されるとオンとなり、指を離すとバネなどの復元力によってオフ状態となる押しボタン式のスイッチである。
　記憶部８８は、主制御部９８の制御プログラムや制御データ、アプリケーションソフトウェア、通信相手の名称や電話番号などを対応づけたアドレスデータ、送受信した電子メールのデータ、ＷｅｂブラウジングによりダウンロードしたＷｅｂデータや、ダウンロードしたコンテンツデータを記憶し、またストリーミングデータなどを一時的に記憶するものである。また、記憶部８８は、スマートフォン内蔵の内部記憶部８８Ａと着脱自在な外部メモリスロットを有する外部記憶部８８Ｂにより構成される。なお、記憶部８８を構成するそれぞれの内部記憶部８８Ａと外部記憶部８８Ｂは、フラッシュメモリタイプ（flash memory type）、ハードディスクタイプ（hard disk type）、マルチメディアカードマイクロタイプ（multimedia card micro type）、カードタイプのメモリ（例えば、ＭｉｃｒｏＳＤ（登録商標）メモリ等）、ＲＡＭ（Random Access Memory）、ＲＯＭ（Read Only Memory）などの格納媒体を用いて実現される。
　外部入出力部９０は、スマートフォン７０に連結される全ての外部機器とのインターフェースの役割を果たすものであり、他の外部機器に通信等（例えば、ユニバーサルシリアルバス（ＵＳＢ）、ＩＥＥＥ１３９４など）又はネットワーク（例えば、インターネット、無線ＬＡＮ、ブルートゥース（Bluetooth（登録商標））、ＲＦＩＤ（Radio Frequency Identification）、赤外線通信（Infrared Data Association：ＩｒＤＡ（登録商標））、ＵＷＢ（登録商標）（Ultra Wideband）、ジグビー（ZigBee（登録商標）など）により直接的又は間接的に接続するためのものである。
　スマートフォン７０に連結される外部機器としては、例えば、有／無線ヘッドセット、有／無線外部充電器、有／無線データポート、カードソケットを介して接続されるメモリカード（Memory card）やＳＩＭ（Subscriber Identity Module Card）／ＵＩＭ（User Identity Module Card）カード、オーディオ・ビデオＩ／Ｏ（Input/Output）端子を介して接続される外部オーディオ・ビデオ機器、無線接続される外部オーディオ・ビデオ機器、有／無線接続されるスマートフォン、有／無線接続されるパーソナルコンピュータ、有／無線接続されるＰＤＡ、有／無線接続されるパーソナルコンピュータ、イヤホンなどがある。外部入出力部は、このような外部機器から伝送を受けたデータをスマートフォン７０の内部の各構成要素に伝達することや、スマートフォン７０の内部のデータが外部機器に伝送されるようにすることができる。
　ＧＰＳ受信部９２は、主制御部９８の指示にしたがって、ＧＰＳ衛星ＳＴ１～ＳＴｎから送信されるＧＰＳ信号を受信し、受信した複数のＧＰＳ信号に基づく測位演算処理を実行し、当該スマートフォン７０の緯度、経度、高度からなる位置を検出する。ＧＰＳ受信部９２は、無線通信部８４や外部入出力部９０（例えば、無線ＬＡＮ）から位置情報を取得できる時には、その位置情報を用いて位置を検出することもできる。
　モーションセンサ部９４は、例えば、３軸の加速度センサなどを備え、主制御部９８の指示にしたがって、スマートフォン７０の物理的な動きを検出する。スマートフォン７０の物理的な動きを検出することにより、スマートフォン７０の動く方向や加速度が検出される。係る検出結果は、主制御部９８に出力されるものである。　
　電源部９６は、主制御部９８の指示にしたがって、スマートフォン７０の各部に、バッテリ（図示しない）に蓄えられる電力を供給するものである。
　主制御部９８は、マイクロプロセッサを備え、記憶部８８が記憶する制御プログラムや制御データにしたがって動作し、スマートフォン７０の各部を統括して制御するものである。また、主制御部９８は、無線通信部８４を通じて、音声通信やデータ通信を行うために、通信系の各部を制御する移動通信制御機能と、アプリケーション処理機能を備える。
　アプリケーション処理機能は、記憶部８８が記憶するアプリケーションソフトウェアにしたがって主制御部９８が動作することにより実現するものである。アプリケーション処理機能としては、例えば、外部入出力部９０を制御して対向機器とデータ通信を行う赤外線通信機能や、電子メールの送受信を行う電子メール機能、Ｗｅｂページを閲覧するＷｅｂブラウジング機能などがある。
　また、主制御部９８は、受信データやダウンロードしたストリーミングデータなどの画像データ（静止画像や動画像のデータ）に基づいて、映像を表示入力部７４に表示する等の画像処理機能を備える。画像処理機能とは、主制御部９８が、上記画像データを復号し、係る復号結果に画像処理を施して、画像を表示入力部７４に表示する機能のことをいう。
　更に、主制御部９８は、表示パネル７４Ａに対する表示制御と、操作部８０、操作パネル７４Ｂを通じたユーザ操作を検出する操作検出制御とを実行する。
　表示制御の実行により、主制御部９８は、アプリケーションソフトウェアを起動するためのアイコンや、スクロールバーなどのソフトウェアキーを表示したり、あるいは電子メールを作成するためのウィンドウを表示したりする。なお、スクロールバーとは、表示パネル７４Ａの表示領域に収まりきれない大きな画像などについて、画像の表示部分を移動する指示を受け付けるためのソフトウェアキーのことをいう。
　また、操作検出制御の実行により、主制御部９８は、操作部８０を通じたユーザ操作を検出したり、操作パネル７４Ｂを通じて、上記アイコンに対する操作や、上記ウィンドウの入力欄に対する文字列の入力を受け付けたり、あるいは、スクロールバーを通じた表示画像のスクロール要求を受け付ける。
　更に、操作検出制御の実行により主制御部９８は、操作パネル７４Ｂに対する操作位置が、表示パネル７４Ａに重なる重畳部分（表示領域）か、それ以外の表示パネル７４Ａに重ならない外縁部分（非表示領域）かを判定し、操作パネル７４Ｂの感応領域や、ソフトウェアキーの表示位置を制御するタッチパネル制御機能を備える。
　また、主制御部９８は、操作パネル７４Ｂに対するジェスチャ操作を検出し、検出したジェスチャ操作に応じて、予め設定された機能を実行することもできる。ジェスチャ操作とは、従来の単純なタッチ操作ではなく、指などによって軌跡を描いたり、複数の位置を同時に指定したり、あるいはこれらを組み合わせて、複数の位置から少なくとも１つについて軌跡を描く操作を意味する。
　カメラ部８２は、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）やＣＣＤ（Charge-Coupled Device）などの撮像素子を用いて電子撮影するデジタルカメラである。また、カメラ部８２は、主制御部９８の制御により、撮像によって得た画像データを例えばＪＰＥＧ（Joint Photographic coding Experts Group）などの圧縮した画像データに変換し、記憶部８８に記録したり、入出力部９０や無線通信部８４を通じて出力したりすることができる。図１６に示すにスマートフォン７０において、カメラ部８２は表示入力部７４と同じ面に搭載されているが、カメラ部８２の搭載位置はこれに限らず、表示入力部７４の背面に搭載されてもよいし、あるいは、複数のカメラ部８２が搭載されてもよい。なお、複数のカメラ部８２が搭載されている場合には、撮影に供するカメラ部８２を切り替えて単独にて撮影したり、あるいは、複数のカメラ部８２を同時に使用して撮影したりすることもできる。
　また、カメラ部８２はスマートフォン７０の各種機能に利用することができる。例えば、表示パネル７４Ａにカメラ部８２で取得した画像を表示することや、操作パネル７４Ｂの操作入力のひとつとして、カメラ部８２の画像を利用することができる。また、ＧＰＳ受信部９２が位置を検出する際に、カメラ部８２からの画像を参照して位置を検出することもできる。更には、カメラ部８２からの画像を参照して、３軸の加速度センサを用いずに、或いは、３軸の加速度センサと併用して、スマートフォン７０のカメラ部８２の光軸方向を判断することや、現在の使用環境を判断することもできる。勿論、カメラ部８２からの画像をアプリケーションソフトウェア内で利用することもできる。
　その他、静止画又は動画の画像データにＧＰＳ受信部９２により取得した位置情報、マイクロホン７８により取得した音声情報（主制御部等により、音声テキスト変換を行ってテキスト情報となっていてもよい）、モーションセンサ部９４により取得した姿勢情報等などを付加して記憶部８８に記録したり、入出力部９０や無線通信部８４を通じて出力したりすることもできる。

Claims (12)

  1. 　同一被写体を複数回撮影して得られた複数の画像を取得する画像取得手段と、
    　前記複数の画像の何れか１つの画像を基準画像として選択する基準画像選択手段と、
    　前記基準画像選択手段により選択されなかった非基準画像について、同一の被写体像の位置を前記基準画像と対応させて変形した変形画像を生成する変形画像生成手段と、
    　前記基準画像に対してノイズを低減する処理を行ってノイズ低減画像を生成するノイズ低減画像生成手段と、
    　前記基準画像と前記非基準画像との対応する画素間の画素値の第１の差の絶対値が大きいほど前記変形画像に対する前記基準画像の重み係数を大きく設定し、該設定した画素毎の重み係数に基づいて前記基準画像と前記変形画像との合成処理を行い中間合成画像を生成する中間合成画像生成手段と、
    　前記基準画像と前記中間合成画像との対応する画素間の画素値の第２の差の絶対値が大きいほど前記中間合成画像に対する前記ノイズ低減画像の重み係数を小さく設定し、該設定した画素毎の重み係数に基づいて前記中間合成画像と前記ノイズ低減画像との合成処理を行い最終画像を生成する最終画像生成手段と、
    　を備えた画像処理装置。
  2. 　前記中間合成画像生成手段は、前記第１の差の絶対値が前記第１閾値より大きく前記第１閾値より大きい第２閾値以下である場合には、当該第１の差の絶対値が大きいほど前記変形画像に対する前記基準画像の重み係数を徐々に大きくなるように設定して、前記基準画像と前記変形画像との合成処理を行う
    　請求項１記載の画像処理装置。
  3. 　前記最終画像生成手段は、前記第２の差の絶対値が第３閾値より大きく前記第３閾値より大きい第４閾値以下である場合には、当該第２の差の絶対値が大きいほど前記中間合成画像に対する前記ノイズ低減画像の重み係数を徐々に小さくなるように設定して、前記ノイズ低減画像と前記中間合成画像との合成処理を行う
    　請求項１または２記載の画像処理装置。
  4. 　前記ノイズ低減画像生成手段は、前記中間合成画像生成手段による合成処理の回数が多いほどノイズを低減する強度が大きくなるようにノイズ低減画像を生成する
    　請求項１乃至３の何れか１項記載の画像処理装置。
  5. 　前記ノイズ低減画像生成手段は、前記中間合成画像における前記基準画像の重みが重いほどノイズを低減する強度が小さくなるようにノイズ低減画像を生成する
    　請求項１乃至３の何れか１項記載の画像処理装置。
  6. 　前記複数の画像の各々を、全ての画像が同一の重みとなるように合成した単純合成画像を生成する単純合成画像生成手段をさらに備え、
    　前記最終画像生成手段は、前記単純合成画像と前記中間合成画像との対応する画素間の画素値の第３の差の絶対値が大きいほど前記中間合成画像に対する前記ノイズ低減画像の重み係数を大きく設定し、前記ノイズ低減画像と前記中間合成画像との合成処理を行う
    　請求項１記載の画像処理装置。
  7. 　前記最終画像生成手段は、前記第３の差の絶対値が第５閾値より大きく前記第５閾値より大きい第６閾値以下である場合には、当該差の絶対値が大きいほど前記中間合成画像に対する前記ノイズ低減画像の重み係数を徐々に大きくなるように設定して、前記ノイズ低減画像と前記中間合成画像との合成処理を行う
    　請求項６記載の画像処理装置。
  8. 　前記最終画像生成手段は、前記中間合成画像における前記基準画像の重みが重いほど前記中間合成画像に対する前記ノイズ低減画像の重み係数を大きく設定し、前記ノイズ低減画像と前記中間合成画像との合成処理を行う
    　請求項１記載の画像処理装置。
  9. 　前記最終画像生成手段は、前記中間合成画像における前記基準画像の重みが第７閾値より大きく前記第７閾値より大きい第８閾値以下である場合には、前記中間合成画像における前記基準画像の重みが重いほど前記中間合成画像に対する前記ノイズ低減画像の重み係数を徐々に大きくなるように設定して、前記ノイズ低減画像と前記中間合成画像との合成処理を行う
    　請求項８記載の画像処理装置。
  10. 　被写体を撮影する撮影手段と、
    　請求項１乃至９の何れか１項記載の画像処理装置とを備え、
    　前記取得手段は、前記撮影手段により同一被写体を複数回撮影して得られた画像を取得する撮影装置。
  11. 　コンピュータを、
    　同一被写体を複数回撮影して得られた複数の画像を取得する画像取得手段と、
    　前記複数の画像の何れか１つの画像を基準画像として選択する基準画像選択手段と、
    　前記基準画像選択手段により選択されなかった非基準画像について、同一の被写体像の位置を前記基準画像と対応させて変形した変形画像を生成する変形画像生成手段と、
    　前記基準画像に対してノイズを低減する処理を行ってノイズ低減画像を生成するノイズ低減画像生成手段と、
    　前記基準画像と前記非基準画像との対応する画素間の画素値の第１の差の絶対値が大きいほど前記変形画像に対する前記基準画像の重み係数を大きく設定し、該設定した画素毎の重み係数に基づいて前記基準画像と前記変形画像との合成処理を行い中間合成画像を生成する中間合成画像生成手段と、
    　前記基準画像と前記中間合成画像との対応する画素間の画素値の第２の差の絶対値が大きいほど前記中間合成画像に対する前記ノイズ低減画像の重み係数を小さく設定し、該設定した画素毎の重み係数に基づいて前記中間合成画像と前記ノイズ低減画像との合成処理を行い最終画像を生成する最終画像生成手段と、
    　として機能させるためのプログラム。
  12. 　同一被写体を複数回撮影して得られた複数の画像を取得する画像取得ステップと、
    　前記複数の画像の何れか１つの画像を基準画像として選択する基準画像選択ステップと、
    　前記基準画像選択ステップにより選択されなかった非基準画像について、同一の被写体像の位置を前記基準画像と対応させて変形した変形画像を生成する変形画像生成ステップと、
    　前記基準画像に対してノイズを低減する処理を行ってノイズ低減画像を生成するノイズ低減画像生成ステップと、
    　前記基準画像と前記非基準画像との対応する画素間の画素値の第１の差の絶対値が大きいほど前記変形画像に対する前記基準画像の重み係数を大きく設定し、該設定した画素毎の重み係数に基づいて前記基準画像と前記変形画像との合成処理を行い中間合成画像を生成する中間合成画像生成ステップと、
    　前記基準画像と前記中間合成画像との対応する画素間の画素値の第２の差の絶対値が大きいほど前記中間合成画像に対する前記ノイズ低減画像の重み係数を小さく設定し、該設定した画素毎の重み係数に基づいて前記中間合成画像と前記ノイズ低減画像との合成処理を行い最終画像を生成する最終画像生成ステップと、
    　を備えた画像処理方法。
PCT/JP2013/050243 2012-03-30 2013-01-09 画像処理装置、撮影装置、プログラム及び画像処理方法 WO2013145799A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN201380017049.1A CN104205804B (zh) 2012-03-30 2013-01-09 图像处理装置、拍摄装置以及图像处理方法
JP2014507456A JP5567235B2 (ja) 2012-03-30 2013-01-09 画像処理装置、撮影装置、プログラム及び画像処理方法
US14/496,010 US9235916B2 (en) 2012-03-30 2014-09-25 Image processing device, imaging device, computer-readable storage medium, and image processing method

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2012-080949 2012-03-30
JP2012080949 2012-03-30

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US14/496,010 Continuation US9235916B2 (en) 2012-03-30 2014-09-25 Image processing device, imaging device, computer-readable storage medium, and image processing method

Publications (1)

Publication Number Publication Date
WO2013145799A1 true WO2013145799A1 (ja) 2013-10-03

Family

ID=49259085

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2013/050243 WO2013145799A1 (ja) 2012-03-30 2013-01-09 画像処理装置、撮影装置、プログラム及び画像処理方法

Country Status (4)

Country Link
US (1) US9235916B2 (ja)
JP (1) JP5567235B2 (ja)
CN (1) CN104205804B (ja)
WO (1) WO2013145799A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016111444A (ja) * 2014-12-03 2016-06-20 キヤノン株式会社 画像処理装置
JP2017092909A (ja) * 2015-11-17 2017-05-25 株式会社東芝 撮像装置、画像処理装置およびプログラム

Families Citing this family (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6376474B2 (ja) * 2013-05-29 2018-08-22 日本電気株式会社 多眼撮像システム、取得画像の合成処理方法、及びプログラム
JP5953285B2 (ja) * 2013-11-11 2016-07-20 富士フイルム株式会社 画像処理装置、画像処理方法、プログラムおよび記録媒体
CN105556957B (zh) 2014-08-27 2018-06-26 华为技术有限公司 一种图像处理方法、计算机存储介质、装置及终端
GB2536429B (en) 2015-03-13 2018-01-10 Imagination Tech Ltd Image noise reduction
GB2536430B (en) * 2015-03-13 2019-07-17 Imagination Tech Ltd Image noise reduction
JP6290512B2 (ja) * 2015-06-09 2018-03-07 富士フイルム株式会社 距離画像取得装置及び距離画像取得方法
TWI598847B (zh) 2015-10-27 2017-09-11 東友科技股份有限公司 影像接合方法
CN105491358B (zh) * 2015-11-26 2018-11-16 努比亚技术有限公司 一种图像处理方法及装置、终端
TW201742001A (zh) * 2016-05-30 2017-12-01 聯詠科技股份有限公司 影像雜訊估測方法及裝置與影像擷取裝置
US10475215B2 (en) * 2016-09-23 2019-11-12 Carestream Health, Inc. CBCT image processing method
CN107220951A (zh) * 2017-05-31 2017-09-29 广东欧珀移动通信有限公司 人脸图像降噪方法、装置、存储介质及计算机设备
CN107330867B (zh) * 2017-06-16 2020-02-18 Oppo广东移动通信有限公司 图像合成方法、装置、计算机可读存储介质和计算机设备
JP6795099B2 (ja) * 2017-09-01 2020-12-02 株式会社島津製作所 画像処理装置
US20200099862A1 (en) * 2018-09-21 2020-03-26 Qualcomm Incorporated Multiple frame image stabilization
CN109889695A (zh) * 2019-02-27 2019-06-14 努比亚技术有限公司 一种图像区域确定方法、终端及计算机可读存储介质
CN109951634B (zh) * 2019-03-14 2021-09-03 Oppo广东移动通信有限公司 图像合成方法、装置、终端及存储介质
JP6562492B1 (ja) * 2019-05-16 2019-08-21 株式会社モルフォ 画像処理装置、画像処理方法及びプログラム
CN110827219B (zh) * 2019-10-31 2023-04-07 北京小米智能科技有限公司 图像处理模型的训练方法、装置及介质
CN111401411B (zh) * 2020-02-28 2023-09-29 北京小米松果电子有限公司 获取样本图像集的方法及装置
JP2022159844A (ja) * 2021-04-05 2022-10-18 キヤノン株式会社 画像形成装置、その制御方法、及びプログラム
US11330145B1 (en) 2021-06-10 2022-05-10 Bank Of America Corporation Image processing edge device for document noise removal
CN116862918B (zh) * 2023-09-05 2023-11-24 浙江奔月电气科技有限公司 基于人工智能的环网柜内部凝露实时检测方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009194700A (ja) * 2008-02-15 2009-08-27 Olympus Corp 画像処理装置及び画像処理プログラム
JP2010141653A (ja) * 2008-12-12 2010-06-24 Sanyo Electric Co Ltd 画像処理装置及び撮像装置
JP2010200178A (ja) * 2009-02-26 2010-09-09 Olympus Corp 画像処理装置、画像処理方法、画像処理プログラムおよび画像処理プログラムが格納されたプログラム記憶媒体

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5517242A (en) * 1993-06-29 1996-05-14 Kabushiki Kaisha Toyota Chuo Kenkyusho Image sensing device having expanded dynamic range
JP3539539B2 (ja) * 1998-04-28 2004-07-07 シャープ株式会社 画像処理装置、画像処理方法および画像処理プログラムを記録した記録媒体
JP4272443B2 (ja) * 2003-02-05 2009-06-03 パナソニック株式会社 画像処理装置および画像処理方法
CN101222584A (zh) * 2007-01-12 2008-07-16 三洋电机株式会社 晃动检测装置、晃动修正装置及方法
JP4727720B2 (ja) * 2008-12-31 2011-07-20 株式会社モルフォ 画像処理方法および画像処理装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009194700A (ja) * 2008-02-15 2009-08-27 Olympus Corp 画像処理装置及び画像処理プログラム
JP2010141653A (ja) * 2008-12-12 2010-06-24 Sanyo Electric Co Ltd 画像処理装置及び撮像装置
JP2010200178A (ja) * 2009-02-26 2010-09-09 Olympus Corp 画像処理装置、画像処理方法、画像処理プログラムおよび画像処理プログラムが格納されたプログラム記憶媒体

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016111444A (ja) * 2014-12-03 2016-06-20 キヤノン株式会社 画像処理装置
JP2017092909A (ja) * 2015-11-17 2017-05-25 株式会社東芝 撮像装置、画像処理装置およびプログラム

Also Published As

Publication number Publication date
CN104205804A (zh) 2014-12-10
US9235916B2 (en) 2016-01-12
US20150010247A1 (en) 2015-01-08
JP5567235B2 (ja) 2014-08-06
CN104205804B (zh) 2016-05-25
JPWO2013145799A1 (ja) 2015-12-10

Similar Documents

Publication Publication Date Title
JP5567235B2 (ja) 画像処理装置、撮影装置、プログラム及び画像処理方法
US9578260B2 (en) Digital photographing apparatus and method of controlling the digital photographing apparatus
US9436979B2 (en) Image processing device, imaging device, image processing method, and non-transitory computer readable medium
US10027909B2 (en) Imaging device, imaging method, and image processing device
JP5750558B2 (ja) 撮像装置及び合焦制御方法
JP5864037B2 (ja) 画像処理装置、撮像装置、画像処理方法及びプログラム
JP5901782B2 (ja) 画像処理装置、撮像装置、画像処理方法及び画像処理プログラム
JP6086975B2 (ja) 画像処理装置、撮像装置、画像処理方法及び画像処理プログラム
JP5903528B2 (ja) 撮像装置及び画像処理方法
WO2015141084A1 (ja) 撮像装置及び合焦制御方法
JP2010010883A (ja) 画像処理装置、及び画像処理方法
JP5923595B2 (ja) 画像処理装置及び方法並びに撮像装置
JP7112529B2 (ja) 撮像装置、撮像方法、及びプログラム
WO2020158069A1 (ja) 撮像装置、撮像方法、及びプログラム
US20130208145A1 (en) Electronic device
JP5901780B2 (ja) 画像処理装置、撮像装置、画像処理方法及び画像処理プログラム
JP5182395B2 (ja) 撮像装置、撮像方法および撮像プログラム
CN107085841B (zh) 一种图片拉焦处理方法及终端
JP5932862B2 (ja) デジタルカメラの撮像方法及びコンピュータが実行可能なプログラム
JP6810298B2 (ja) 画像位置合わせ補助装置、方法及びプログラム並びに撮像装置
KR20150114230A (ko) 영상 촬영 방법 및 장치

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 13767445

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2014507456

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 13767445

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE