WO2012132129A1 - 撮像装置、撮像方法およびプログラム - Google Patents

撮像装置、撮像方法およびプログラム Download PDF

Info

Publication number
WO2012132129A1
WO2012132129A1 PCT/JP2011/078951 JP2011078951W WO2012132129A1 WO 2012132129 A1 WO2012132129 A1 WO 2012132129A1 JP 2011078951 W JP2011078951 W JP 2011078951W WO 2012132129 A1 WO2012132129 A1 WO 2012132129A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
reference image
main subject
image processing
processing
Prior art date
Application number
PCT/JP2011/078951
Other languages
English (en)
French (fr)
Inventor
田中　康一
Original Assignee
富士フイルム株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 富士フイルム株式会社 filed Critical 富士フイルム株式会社
Priority to CN2011800665226A priority Critical patent/CN103348667A/zh
Priority to JP2013507061A priority patent/JP5453573B2/ja
Publication of WO2012132129A1 publication Critical patent/WO2012132129A1/ja
Priority to US13/933,205 priority patent/US8780224B2/en

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/81—Camera processing pipelines; Components thereof for suppressing or minimising disturbance in the image signal generation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/67—Focus control based on electronic image sensor signals
    • H04N23/676—Bracketing for image capture at varying focusing conditions
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2101/00—Still video cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2201/00—Indexing scheme relating to scanning, transmission or reproduction of documents or the like, and to details thereof
    • H04N2201/32—Circuits or arrangements for control or supervision between transmitter and receiver or between image input and image output device, e.g. between a still-image camera and its memory or between a still-image camera and a printer device
    • H04N2201/3201—Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title
    • H04N2201/3225—Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title of data relating to an image, a page or a document
    • H04N2201/3252—Image capture parameters, e.g. resolution, illumination conditions, orientation of the image capture device
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H04N23/631—Graphical user interfaces [GUI] specially adapted for controlling image capture or setting capture parameters

Definitions

  • the present invention relates to an imaging apparatus, an imaging method, and a program, and more particularly, to an imaging apparatus having a function of performing focus bracket imaging, and an imaging method and program executed in the imaging apparatus.
  • an information device having the above photographing function is referred to as an imaging device.
  • Patent Document 1 Japanese Patent Application Laid-Open No. 2008-271240 discloses that a plurality of images are obtained by sequentially moving images by sequentially moving a focal position with a predetermined amount of movement.
  • a focus bracket photographing means for obtaining a corresponding point
  • a corresponding point detecting means for detecting corresponding points of a subject between a plurality of images photographed by the focus bracket photographing means, and one selected from the plurality of images by a predetermined reference Image deformation means for deforming the plurality of images other than the reference image so that the positions of the corresponding points coincide with a single reference image, and image composition for combining the plurality of images including the deformed image
  • an imaging apparatus comprising: means; and recording means for recording an image obtained by the image synthesizing means on a recording medium.
  • an imaging apparatus capable of suppressing erroneous detection when detecting corresponding points between a plurality of images obtained by focus bracket imaging.
  • the photographing unit obtains a plurality of images including at least the image focused on the main subject by sequentially moving the focal position and sequentially photographing the images, and the photographing unit.
  • an image focused on the main subject is used as a reference image
  • at least one of the reference image and the non-reference image excluding the reference image includes the reference image and the non-reference image.
  • Image processing means for performing image processing for bringing the degree of blur closer, and detection means for detecting corresponding points of the subject between the reference image and the non-reference image after the execution of the image processing by the image processing means; Deformation means for deforming the non-reference image before execution of image processing by the image processing means so that the positions of corresponding points detected by the detection means coincide with each other, and the reference image And a non-reference image deformed by the deforming unit, a generating unit that generates a blur adjusted image, and a recording unit that records the blur adjusted image generated by the generating unit on a recording medium.
  • An apparatus is provided.
  • a plurality of images including at least the image focused on the main subject by sequentially capturing images (focus bracket imaging) by moving the focal position discretely by the imaging unit. Images are obtained.
  • an image focused on the main subject among the plurality of images obtained by the imaging unit is used as a reference image by the image processing unit, and the reference image and the Image processing for approximating the degree of blur between the reference image and the non-reference image is performed on at least one of the non-reference images excluding the reference image, and the image processing unit performs the image processing by the detection unit. Corresponding points of the subject between the later reference image and the non-reference image are detected.
  • the non-reference image before execution of the image processing by the image processing means is deformed by the deforming means so that the positions of the corresponding points detected by the detecting means coincide with each other.
  • the generation unit generates a blur adjustment image based on the reference image and the non-reference image deformed by the deformation unit, and the recording unit converts the blur adjustment image generated by the generation unit into a recording medium. To be recorded.
  • a plurality of images including at least an image focused on the main subject are obtained by sequentially moving the focal position and sequentially capturing images.
  • An image focused on the main subject among the plurality of images is used as a reference image, and at least one of the reference image and the non-reference image excluding the reference image has a mutual blur between the reference image and the non-reference image.
  • Image processing is performed to bring the degree of the image closer to each other, and a corresponding point of the subject between the reference image and the non-reference image after the execution of the image processing is detected. Thereby, the erroneous detection at the time of detecting a corresponding point between the several images obtained by focus bracket imaging
  • the image processing means may perform at least one of a smoothing process and a sharpening process as the image processing.
  • the image processing means performs at least one of the smoothing process and the sharpening process by a filter process based on a predetermined first filter characteristic. May be applied. Thereby, the erroneous detection at the time of detecting a corresponding point between the several images obtained by focus bracket imaging
  • the first filter characteristic is predetermined based on the reference image and a focal position when the non-reference image is captured. May be. Thereby, it is possible to suppress erroneous detection when detecting corresponding points between a plurality of images obtained by simple focus bracket photography without requiring new means.
  • a main subject region and a subject region excluding the main subject region in an image obtained by photographing by the photographing unit A non-main subject area that is specified by the image processing means, and the image processing means is configured to specify the image for a larger area of the main subject area and the non-main subject area specified by the specifying means. Processing may be performed. As a result, more corresponding points can be detected, and as a result, a higher quality blur adjusted image can be obtained.
  • a subject region excluding a main subject region and a main subject region in an image obtained by photographing by the photographing unit a subject region excluding a main subject region and a main subject region in an image obtained by photographing by the photographing unit.
  • a non-main subject area that is a non-main subject area and when the image processing means performs a smoothing process as the image processing, the main subject area of the reference image and the non-main image of the non-reference image
  • both the non-main subject area of the reference image and the main subject area of the non-reference image may be performed. As a result, more corresponding points can be detected. As a result, a higher-quality blur adjustment image can be obtained.
  • the imaging apparatus in the imaging apparatus according to any one of the first to sixth aspects, from the plurality of images including the non-reference image deformed by the deforming means, to the pixel coordinates And a calculation unit that calculates a corresponding blur amount, wherein the generation unit determines a second filter characteristic based on a calculation result by the calculation unit, and performs a filtering process using the determined filter characteristic for the reference image.
  • the blur adjustment image may be generated.
  • the second filter characteristic is predetermined based on the reference image and a focal position when the non-reference image is captured. It may be. Accordingly, it is possible to easily obtain a higher-quality blur adjustment image without requiring new means.
  • the generation unit includes the reference image and the non-reference image deformed by the deformation unit.
  • the blur adjustment image may be generated by combining. Accordingly, it is possible to generate the blur adjustment image more easily than when the blur adjustment image is generated by performing the filtering process on the reference image.
  • the generation means increases a degree of blurring of the non-main subject area with respect to the main subject area.
  • the blur adjustment image may be generated.
  • An image processing step for performing image processing for bringing the degree of blurring closer together, and detection for detecting corresponding points of the subject between the reference image and the non-reference image after the execution of the image processing by the image processing step A deformation step for deforming the non-reference image before execution of image processing by the image processing step so that the positions of corresponding points detected by the detection step coincide with each other; A generation step of generating a blur adjustment image based on a reference image and the non-reference image deformed by the deformation step, and a recording step of recording the blur adjustment image generated by the generation step on a recording medium.
  • the eleventh aspect of the present invention since it operates in the same manner as the first aspect of the present invention, as in the first aspect of the present invention, between a plurality of images obtained by focus bracket photography. False detection when detecting corresponding points can be suppressed.
  • the computer has a photographing means for obtaining a plurality of images including at least an image focused on the main subject by sequentially moving the focal position and sequentially photographing the images.
  • An image focused on the main subject among a plurality of images obtained by the photographing unit is used as a reference image, and the reference image and the non-reference image are excluded from at least one of the reference image and the non-reference image excluding the reference image.
  • Image processing means for performing image processing for bringing the degree of mutual blur of the reference images closer, and corresponding points of the subject between the reference image and the non-reference image after the execution of the image processing by the image processing means
  • the non-reference image before execution of image processing by the image processing means is deformed so that the detection means to detect and the position of the corresponding point detected by the detection means match.
  • a program for functioning as means is a program for functioning as means.
  • the computer can be operated in the same manner as in the first aspect of the present invention, so that the computer is obtained by focus bracket photography as in the first aspect of the present invention. False detection when detecting corresponding points between a plurality of images can be suppressed.
  • a plurality of images including at least an image focused on the main subject are obtained by moving the focal position discretely and sequentially capturing images, and the main image of the plurality of images is obtained.
  • image processing is performed to bring the degree of blur between the reference image and the non-reference image closer to at least one of the reference image and the non-reference image excluding the reference image.
  • the corresponding points of the subject between the reference image and the non-reference image after execution of the image processing are detected. Thereby, the erroneous detection at the time of detecting a corresponding point between the several images obtained by focus bracket imaging
  • FIG. 10 is a diagram for explaining focus bracket photographing in the digital camera according to the embodiment, and is a graph showing a relationship between a focal position and an AF evaluation value. It is the schematic where it uses for description of the determination procedure of the blurring amount in the digital camera which concerns on embodiment. It is the schematic where it uses for description of the determination procedure of the blurring amount in the digital camera which concerns on embodiment. It is the schematic where it uses for description of the detection procedure of the feature point and corresponding point in the digital camera which concerns on embodiment.
  • FIG. 10 is a schematic diagram for explaining a procedure for specifying a main subject region and a non-main subject region in a digital camera according to a second embodiment.
  • FIG. 10 is a schematic diagram for explaining a procedure for specifying a main subject region and a non-main subject region in a digital camera according to a second embodiment.
  • It is a flowchart which shows the flow of a process of the 3rd imaging
  • photography process program which concerns on 3rd Embodiment It is the schematic where it uses for description of the simple composition analysis in the digital camera which concerns on 3rd Embodiment.
  • It is a flowchart which shows the flow of a process of the 4th imaging
  • a digital camera 10 As shown in FIG. 1, a digital camera 10 according to the present embodiment is provided with an optical unit 22 including a lens for forming a subject image, and disposed behind the optical axis of the lens.
  • the solid-state imaging device 24 includes an analog signal processing unit 26 that performs various analog signal processing on the input analog signal.
  • the imaging system 20 corresponds to an imaging unit.
  • the digital camera 10 also performs an analog / digital converter (hereinafter referred to as “ADC”) 28 that converts an input analog signal into digital data, and performs various digital signal processing on the input digital data. And a digital signal processing unit 30.
  • ADC analog / digital converter
  • the digital signal processing unit 30 includes a line buffer having a predetermined capacity, and also performs control for directly storing the input digital data in a predetermined area of the memory 48 described later.
  • the output end of the solid-state imaging device 24 is connected to the input end of the analog signal processing unit 26, the output end of the analog signal processing unit 26 is connected to the input end of the ADC 28, and the output end of the ADC 28 is connected to the input end of the digital signal processing unit 30.
  • the analog signal indicating the subject image output from the solid-state imaging device 24 is subjected to predetermined analog signal processing by the analog signal processing unit 26, converted into digital image data by the ADC 28, and then input to the digital signal processing unit 30.
  • the digital camera 10 generates a liquid crystal display (hereinafter referred to as “LCD”) 38 that displays a captured subject image, a menu screen, and the like, and a signal for causing the LCD 38 to display the subject image, the menu screen, and the like.
  • LCD liquid crystal display
  • the LCD interface 36 supplied to the LCD 38, the CPU (central processing unit) 40 that controls the operation of the entire digital camera 10, the memory 48 that temporarily stores digital image data obtained by photographing, and the memory 48 And a memory interface 46 for controlling access.
  • the CPU 40 corresponds to image processing means, detection means, deformation means, generation means, recording means, identification means, and calculation means.
  • the digital camera 10 includes an external memory interface 50 for enabling the portable memory card 52 to be accessed by the digital camera 10, and a compression / decompression processing circuit 54 for performing compression processing and decompression processing on the digital image data. It is configured to include.
  • a flash memory is used as the memory 48 and an xD picture card (registered trademark) is used as the memory card 52.
  • an xD picture card registered trademark
  • the present invention is not limited to this. Needless to say.
  • the digital signal processing unit 30, the LCD interface 36, the CPU 40, the memory interface 46, the external memory interface 50, and the compression / decompression processing circuit 54 are connected to each other via a system bus BUS. Therefore, the CPU 40 controls the operation of the digital signal processing unit 30 and the compression / decompression processing circuit 54, displays various information via the LCD interface 36 to the LCD 38, and the memory interface 46 or the external memory interface to the memory 48 and the memory card 52. 50 can be accessed each.
  • the digital camera 10 includes a timing generator 32 that mainly generates a timing signal (pulse signal) for driving the solid-state imaging device 24 and supplies the timing signal to the solid-state imaging device 24. Is controlled by the CPU 40 via the timing generator 32.
  • a timing generator 32 that mainly generates a timing signal (pulse signal) for driving the solid-state imaging device 24 and supplies the timing signal to the solid-state imaging device 24. Is controlled by the CPU 40 via the timing generator 32.
  • the digital camera 10 is provided with a motor drive unit 34, and driving of a focus adjustment motor, a zoom motor and an aperture drive motor (not shown) provided in the optical unit 22 is also controlled by the CPU 40 via the motor drive unit 34.
  • the lens according to the present embodiment has a plurality of lenses, is configured as a zoom lens system capable of changing the focal length (magnification), and includes a lens driving mechanism (not shown).
  • the lens drive mechanism includes the focus adjustment motor, the zoom motor, and the aperture drive motor, and these motors are each driven by a drive signal supplied from the motor drive unit 34 under the control of the CPU 40.
  • the digital camera 10 includes a release switch (so-called shutter switch) that is pressed when performing shooting, a power switch that is operated when switching the power of the digital camera 10 on and off, and a shooting mode.
  • a mode switching switch operated when setting a certain shooting mode and a playback mode for reproducing an object image on the LCD 38, a menu switch pressed when displaying a menu screen on the LCD 38,
  • the operation unit 56 is configured to include various switches such as a determination switch that is pressed when confirming the operation content up to and a cancel switch that is pressed when canceling the previous operation content. These operation units 56 are connected to the CPU 40. Therefore, the CPU 40 can always grasp the operation state of the operation unit 56.
  • the release switch of the digital camera 10 is in a state where it is pressed down to an intermediate position (hereinafter referred to as “half-pressed state”) and a state where it is pressed down to a final pressed position beyond the intermediate position. (Hereinafter, referred to as a “fully pressed state”) is configured to be capable of detecting a two-stage pressing operation.
  • the AF function is activated after the AE (Automatic Exposure) function is set by setting the release switch halfway and the exposure state (shutter speed, aperture state) is set. Focusing control is performed, and then exposure (photographing) is performed when the button is fully pressed.
  • AE Automatic Exposure
  • the digital camera 10 has a strobe 44 that emits light to irradiate the subject as necessary at the time of shooting, and is interposed between the strobe 44 and the CPU 40, and power for causing the strobe 44 to emit light under the control of the CPU 40. And a charging unit 42 for charging the battery. Further, the strobe 44 is also connected to the CPU 40, and the light emission of the strobe 44 is controlled by the CPU 40.
  • the digital camera 10 obtains a plurality of images including at least an image focused on the main subject by moving the focus positions discretely and sequentially capturing images.
  • a blur adjusted image in which the degree of blur of an area (hereinafter referred to as “non-main subject area”) excluding the main subject area (hereinafter referred to as “main subject area”) is adjusted based on the image of The focus bracket shooting function to record is installed.
  • the above-described focus bracket shooting is performed only when the user sets the focus bracket shooting function to operate via the operation unit 56, and the blur adjustment described above is performed.
  • An image is generated and recorded on the memory card 52.
  • FIG. 2 is a flowchart showing a flow of processing of the first photographing processing program executed by the CPU 40 of the digital camera 10 when the release switch of the operation unit 56 shifts to the fully-pressed state through the half-pressed state.
  • the program is stored in a predetermined area of the memory 48 in advance. Further, here, a case will be described in which it is set by the user to activate the focus bracket shooting function in order to avoid complications.
  • step 100 of FIG. 2 the AF function is activated to perform automatic focusing position determination on the main subject, and in the next step 102, the focal position interval d is determined.
  • the focus position set at the time of focus bracket shooting includes the focus position of the main subject and the focus positions before and after the focus position.
  • a total of five points F1 and F5 at focal positions separated from the focal positions F2 and F4 by a focal position interval d in the direction away from the focal positions are taken as focal positions for focus bracket photography. Note that in order from the end of the focal position, the number of the image captured at F1 is 1, the number of the image captured at F2 is 2,..., And the number of the image captured at F5 is 5.
  • d is small when the depth of field is shallow, such as when the aperture F value is small or when the focal length is long, and conversely, when the aperture F value is large or when the focal length is large.
  • d is set to be large.
  • the CPU 40 determines the focal position interval d based on this setting stored in the memory 48.
  • images with different focal points suitable for blur enhancement can be obtained at any aperture and focal length.
  • the focal position interval d does not have to be constant.
  • the focal position interval d may be changed between the NEAR side and the FAR side as viewed from the focus position of the main subject.
  • next step 104 a plurality of focus positions (F1 shown in FIG. 3 in the present embodiment) determined by the focus position and the focus position interval d with respect to the main subject obtained by the processing of step 100 and step 102 described above.
  • the focal position is controlled to be any one of the five focal positions (F5 to F5), and in the next step 106, control is performed so as to perform photographing.
  • step 108 it is determined whether or not the number of photographing has reached a predetermined number (5 in the present embodiment). If a negative determination is made, the process returns to step 104 above, while an affirmative determination is made. Then, the process proceeds to step 110. It should be noted that when executing the repetitive processing of steps 104 to 108, in step 104, control is performed so as to set a focus position that has not been set so far among the plurality of focus positions. By repeating the above steps 104 to 108, focus bracket photographing is performed, and a photographed image obtained by this is stored in a predetermined area of the memory 48.
  • step 110 among the captured images obtained by the above processing, an image focused on the main subject is set as a reference image, and an image excluding the reference image is set as a non-reference image, and the non-reference image is smoothed.
  • the degree of blur of the non-reference image is brought close to the degree of blur of the reference image.
  • the blurring amount by the smoothing process for the non-reference image is determined as follows.
  • an image plane is arranged so that a certain reference subject is focused using a lens having a focal length of f [mm] and an F value of F.
  • the reference subject distance distance from the reference subject to the lens center H
  • the distance between the focus (image plane) of the reference subject and the lens center H is b b [mm].
  • the subject distance of a subject at an arbitrary position is d [mm]
  • the distance between the focus of the subject and the lens center H is b [mm].
  • the relationship between the subject distance d [mm] of an arbitrary subject and the blur radius r [mm] will be considered.
  • FIG. 4A shows the relationship when the arbitrary subject is in front of the reference subject (NEAR side: d ⁇ d b ), and FIG. 4B shows the case where the arbitrary subject is farther than the reference subject (FAR side: d>). d b ).
  • the in-focus subject distance is longer than the focal length, that is, d b > f (1 / f> 1 / d b ) is established.
  • This blur radius r [mm] is a measure of the degree of smoothing.
  • the filter characteristics are determined based on the blur radius.
  • a Gaussian filter is applied as a smoothing filter, and the ⁇ parameter of the Gaussian filter is calculated by the following equation (8).
  • D is a constant for adjusting the degree of smoothing.
  • f (x) is determined for each discrete position centered on the target pixel.
  • f (x) ⁇ 0.1, 0.2, 0.4, 0.2, 0.1 ⁇ and the like.
  • normalization is performed so that the sum of the coefficients is 1.0 so that the brightness of the image does not fluctuate.
  • it is expressed by a one-dimensional filter coefficient, but two-dimensional filter processing can be performed by sequentially applying this filter in the horizontal direction and the vertical direction.
  • the non-reference image that has been subjected to the smoothing process is generated separately from the non-reference image obtained by focus bracket photography.
  • corresponding points are detected between the reference image and the non-reference image that has been smoothed by the processing of step 110 above.
  • Corresponding point detection is to obtain the positional relationship of corresponding points between a plurality of images.
  • 5A and 5B are diagrams illustrating an example of an image obtained from focus bracket shooting.
  • feature points are extracted from the reference image shown in FIG. 5A as an example, and by tracking to which position in the tracking image shown in FIG. 5B the feature points are moved as an example. The corresponding points are detected.
  • the CPU 40 extracts feature points from the reference image.
  • various methods for extracting feature points have been proposed.
  • the standard deviation of luminance within a predetermined area centered on a certain point is greater than or equal to a predetermined value, that point is determined as a feature point.
  • Extract as Circles in FIG. 5A indicate feature points in the image of FIG. 5A.
  • the processing load increases. Therefore, the number of feature points may be appropriately determined based on hardware performance or the like.
  • the CPU 40 selects any one of the non-reference images as a tracking image, selects one of the feature points extracted from the reference image in the tracking image, and moves the feature point to which position. Keep track of what you did.
  • various methods have been proposed for the tracking method.
  • a method for finding coordinates that minimize the cross-correlation coefficient in a predetermined area centered on the point (block matching method). Use to track.
  • the tracking process of the feature points in the above reference image is executed for all the non-reference images, and the corresponding point detection process is completed.
  • the corresponding non-reference image (non-reference image obtained by focus bracket photographing) before the smoothing process in step 110 is obtained for the corresponding non-reference image obtained by the process in step 112.
  • the image is deformed so that the corresponding point of the reference image matches the position of the corresponding point of the reference image as much as possible.
  • the image is deformed by translation, rotation, reduction / enlargement processing with respect to the non-reference image.
  • the movement vector may be determined so that the total sum of the distances between a plurality of sets of corresponding points is minimized. Note that these parallel movement, rotational movement, and enlargement / reduction processing are performed by affine transformation.
  • warping is performed in order to match all corresponding points more accurately.
  • a movement vector that completely matches a set of all corresponding points is selected, and surrounding points are also obtained by interpolation.
  • the blur amount is calculated.
  • a procedure for calculating the blur amount will be described.
  • the CPU 40 calculates the sharpness of each pixel for each of the reference image and the non-reference image after the image has been deformed by the processing in step 150.
  • FIG. 6 is a diagram illustrating a filter matrix of a Laplacian filter. Edge detection can be performed by performing Laplacian filter processing, and the absolute value of the output value indicates the sharpness. Regarding the blur and sharpness of an image, there is a relationship in which a pixel having a smaller blur of the image has a higher sharpness and a sharper the lower the blur is.
  • the kernel of the Laplacian filter is not limited to this example, and a sharpness calculation filter other than the Laplacian filter may be used.
  • the CPU 40 calculates, for each pixel, the blur amount k by the following equation (10), where n is the image number where the calculated sharpness is the maximum value and c is the image number of the reference image.
  • u is the degree of blur enhancement specified by the user. If u is larger than 1.0, the blur is emphasized more than the standard setting, and if u is less than 1.0, the blur is reduced more than the standard setting. Image.
  • next step 154 blurring processing is performed on the reference image.
  • a Gaussian filter is also used for the blurring process.
  • the CPU 40 selects a blur amount corresponding to any pixel from the blur amount k obtained by the processing of step 152, and compares the absolute value
  • the predetermined threshold Th is larger, this pixel is regarded as a focus area, and a pixel value photographed at the focus position F3 is output.
  • the filter coefficient is determined by regarding this pixel as an area to be blurred and emphasized.
  • the digital camera 10 uses a Gaussian filter for this filter processing.
  • 7A and 7B are graphs showing the relationship between the absolute value
  • of the blur amount is equal to or greater than a predetermined threshold Th
  • the ⁇ parameter of the Gaussian filter that is proportional to the absolute value
  • a Gaussian filter coefficient f (x) corresponding to the ⁇ parameter is determined.
  • the CPU 40 determines the ⁇ parameter based on this relationship stored in a predetermined area of the memory 48.
  • FIG. 7B is a graph showing the relationship between the distance x from the target pixel and the filter coefficient f (x) of the Gaussian filter.
  • the Gaussian filter takes a weighted average by increasing the weights of surrounding pixels as the ⁇ parameter increases. Therefore, by increasing the ⁇ parameter according to the magnitude of the absolute value
  • the filter coefficient f (x) is calculated by substituting the ⁇ parameter obtained in this way into the above-described equation (9), and normalization is performed so that the sum of the filter coefficients becomes 1. In this case, it is expressed by a one-dimensional filter coefficient, but two-dimensional filter processing can be performed by sequentially applying this filter in the horizontal direction and the vertical direction.
  • a blur adjustment image in which the degree of blur of the area excluding the area of the main subject is adjusted is generated.
  • the filter used for this filter processing is not limited to the Gaussian filter, and other filters may be used as long as they are low-pass filters.
  • a filter having a blur shape corresponding to the characteristics of the diaphragm or lens may be used.
  • the blur adjustment image obtained by the processing in step 154 is compressed by the compression / expansion processing circuit 54, and then recorded in the memory card 52 via the external memory interface 50. 1 The shooting process program is terminated.
  • the reference image focused on the main subject region and the background excluding the main subject region are excluded.
  • a non-reference image focused on this area is obtained.
  • smoothing processing is performed on the non-reference image, thereby bringing the degree of blur in the background area excluding the main subject in the non-reference image closer to that of the reference image.
  • the corresponding point corresponding to the feature point is detected from the non-reference image after the smoothing process is performed, and the detected corresponding point overlaps the feature point.
  • the non-reference image before smoothing is deformed.
  • the blur amount for each pixel is calculated based on the sharpness of each pixel of the reference image and the transformed non-reference image, and finally the background area of the reference image is blurred with the calculated blur amount.
  • a blur adjustment image is generated and recorded in the memory card 52.
  • a plurality of images including at least an image focused on the main subject by sequentially moving the focus position and sequentially capturing images (focus bracket imaging). And using the image focused on the main subject among the plurality of images as a reference image, at least one of the reference image and a non-reference image excluding the reference image (in this embodiment, a non-reference image)
  • the reference image and the non-reference image are subjected to image processing (smoothing processing in the present embodiment) for bringing the degree of blurring between the reference image and the non-reference image closer to each other, A corresponding point of the subject between the image and the image is detected.
  • image processing smoothing processing in the present embodiment
  • the smoothing process is performed as the image process, the corresponding points are detected between the plurality of images obtained by the focus bracket photographing by a relatively simple process. False detection can be suppressed.
  • the smoothing process is performed by a filter process based on a predetermined first filter characteristic, it is obtained by focus bracket photographing by a relatively simple process called a filter process. False detection when detecting corresponding points between a plurality of images can be suppressed.
  • the first filter characteristic is determined in advance based on the reference image and the focal position when the non-reference image is captured. Not necessary, it is possible to suppress erroneous detection when detecting corresponding points between a plurality of images obtained simply by focus bracket photography.
  • the blur amount corresponding to the coordinates of the pixel is calculated from a plurality of images including the deformed non-reference image, and the second filter characteristic is determined based on the calculation result, Since the blur adjustment image is generated by performing the filter processing based on the filter characteristics determined on the reference image, it is possible to perform the filter processing on a pixel basis, thereby obtaining a higher quality blur adjustment image. Can do.
  • the second filter characteristic is determined in advance based on the reference image and the focal position when the non-reference image is captured, a new means is required. Therefore, it is possible to easily obtain a higher quality blur adjustment image.
  • FIG. 9 shows the flow of processing of the second photographing processing program executed by the CPU 40 of the digital camera 10 according to the second embodiment when the release switch shifts from the half-pressed state to the fully-pressed state. Steps for executing the same processing as in FIG. 2 in FIG. 9 are denoted by the same step numbers as in FIG. 2, and description thereof is omitted. Further, here, a case will be described in which it is set by the user to activate the focus bracket shooting function in order to avoid complications.
  • composition analysis is performed to identify the areas of the main subject region and the non-main subject region that is the subject region excluding the main subject region in the captured image.
  • the composition analysis procedure will be described below.
  • the composition analysis is executed using information obtained by the AF function executed when the release switch in the operation unit 56 is half-pressed.
  • the AF function is activated when the release switch is half-pressed, and as shown in FIG. 10A as an example, a predetermined division within the shooting angle of view.
  • a focal position is obtained for each of the regions (in the present embodiment, a total of 48 divided regions of 8 regions in the horizontal direction and 6 regions in the vertical direction).
  • the number of divided regions that are focal positions within a predetermined range is considered as the area of the subject.
  • the number of divided areas belonging to the person who is the main subject is 8, and the number of divided areas belonging to the background is 40, and the main subject area and the non-main subject depend on the number of these divided areas. Specify the area of the region.
  • step 122 it is determined whether or not the area of the main subject area obtained by the processing of step 120 is smaller than the maximum area of the non-main subject area. If the determination is affirmative, the process proceeds to step 124. To do.
  • step 124 similarly to the processing in step 110 and step 112 of the first photographing processing program according to the first embodiment, a non-reference image is subjected to smoothing processing by a smoothing filter, thereby performing non-reference.
  • the degree of blur of the image is brought close to the degree of blur of the reference image.
  • step 126 corresponding points between the reference image and the non-reference image that has been smoothed by the processing of step 124 are detected, and then the process proceeds to step 150.
  • step 122 the process proceeds to step 128, where the reference image is smoothed by a smoothing filter, so that the degree of blur of the reference image is reduced to the degree of blur of the non-reference image. Move closer to. Thereafter, in the next step 130, corresponding points are detected between the reference image and the non-reference image that have been smoothed by the process of step 128, and then the process proceeds to step 150.
  • the main subject region and the main subject in the image obtained by the focus bracket photographing can be obtained with substantially the same effect as the first embodiment.
  • a non-main subject region that is a subject region excluding the region is specified, and the image processing is performed on the wider area of the specified main subject region and the non-main subject region. As a result, more corresponding points can be detected, and as a result, a higher-quality blur adjustment image can be obtained.
  • FIG. 11 shows the flow of processing of the third photographing processing program executed by the CPU 40 of the digital camera 10 according to the third embodiment when the release switch shifts from the half-pressed state to the fully-pressed state. Steps for executing the same processing as in FIG. 2 in FIG. 11 are denoted by the same step numbers as in FIG. 2, and description thereof is omitted. Further, here, a case will be described in which it is set by the user to activate the focus bracket shooting function in order to avoid complications.
  • step 140 of FIG. 11 a simple composition analysis is performed to identify the main subject region and the non-main subject region excluding the main subject region in the captured image.
  • the AF function that is executed when the release switch in the operation unit 56 is half-pressed.
  • the simple composition analysis is executed using the information obtained by the above.
  • a divided region that includes the focal position of the divided region located in the center portion within the angle of view and has a focal position within a predetermined range is selected as the main subject.
  • the other area is a non-main subject area.
  • step 142 a process of correcting the main subject area and the non-main subject area specified by the process of step 140 according to the deviation is executed.
  • the procedure of the correction process will be described with reference to FIG.
  • AF image the image obtained when the AF function for obtaining the focal position used in the simple composition analysis is working
  • reference image obtained by focus bracket photography.
  • Corresponding point detection is performed in the same procedure as described above.
  • the moving direction with respect to the reference image is specified from the detected distance between corresponding points and the AF image.
  • the boundary line between the main subject region and the non-main subject region obtained by the process of step 140 is set to the corresponding point in the closest AF image. It moves in the corresponding moving direction by the distance.
  • the main subject region corrected by the processing in step 142 of the reference image is subjected to a smoothing process using a smoothing filter, thereby reducing the degree of blurring of the main subject region of the reference image to the non-reference image.
  • the non-main subject area corrected by the process of step 142 of the non-reference image is subjected to a smoothing process using a smoothing filter, thereby blurring the non-main subject area of the non-reference image. The degree is brought close to the degree of blurring of the non-main subject area of the reference image.
  • step 148 detection of corresponding points between the reference image smoothed by the above processing and the non-reference image is performed in step 112 of the first imaging processing program according to the first embodiment. Perform in the same way as
  • the present embodiment it is possible to achieve substantially the same effect as in the first embodiment, and the main subject area and the main subject area in the image obtained by the photographing can be obtained.
  • the non-main subject region is a subject region, for both of the non-main subject area of the main subject region and the non-reference image of the reference image, cross the reference image and the non-reference image Image processing is performed to bring the degree of blur closer. As a result, more corresponding points can be detected. As a result, a higher-quality blur adjustment image can be obtained.
  • FIG. 13 shows the flow of processing of the fourth shooting processing program executed by the CPU 40 of the digital camera 10 according to the fourth embodiment when the release switch is shifted to the fully-pressed state through the half-pressed state. Steps for executing the same processing as in FIG. 2 in FIG. 13 are denoted by the same step numbers as in FIG. 2, and description thereof is omitted. Further, here, a case will be described in which it is set by the user to activate the focus bracket shooting function in order to avoid complications.
  • step 110 ′ of FIG. 13 the reference image of the captured image obtained by the focus bracket imaging is subjected to a restoration process using a restoration filter, thereby reducing the degree of blur (sharpness) of the reference image of the non-reference image. Move closer to the degree of blur (sharpness).
  • the inverse filter of the smoothing filter according to the first embodiment is applied as the restoration filter.
  • the filter coefficient of the smoothing filter can be derived in the same manner as in the first embodiment.
  • the reference image focused on the area of the main subject and the background excluding the area of the main subject And a non-reference image focused on this area.
  • the degree of blur of the background area in the reference image is brought close to that of the non-reference image.
  • a corresponding point corresponding to the feature point is detected from the non-reference image, and the non-reference image is deformed so that the detected corresponding point overlaps the feature point.
  • the blurring amount for each pixel is calculated based on the sharpness of each pixel of the reference image and the non-reference image.
  • a blur adjustment image is generated by blurring the background area of the reference image with the calculated blur amount, and is recorded in the memory card 52.
  • FIG. 15 shows the flow of processing of the fifth shooting processing program executed by the CPU 40 of the digital camera 10 according to the fifth embodiment when the release switch shifts from the half-pressed state to the fully-pressed state.
  • FIG. 15 is a flowchart showing steps for executing the same processing as in FIG. 9 in FIG. Further, here, a case will be described in which it is set by the user to activate the focus bracket shooting function in order to avoid complications.
  • step 124 ′ in the figure the reference image is restored by performing restoration processing on the reference image using the same restoration filter as the processing in step 110 ′ of the fourth imaging processing program according to the fourth embodiment.
  • the degree of blur (sharpness) is brought close to the degree of blur (sharpness) of the non-reference image.
  • step 128 ' the degree of blur of the non-reference image is brought close to the degree of blur of the reference image by performing restoration processing on the non-reference image using the same restoration filter.
  • FIG. 16 shows the flow of processing of the sixth shooting processing program executed by the CPU 40 of the digital camera 10 according to the sixth embodiment when the release switch shifts from the half-pressed state to the fully-pressed state.
  • FIG. 16 is a flowchart showing the steps for executing the same processing as in FIG. 11 in FIG. 16, and the same step numbers as in FIG. Further, here, a case will be described in which it is set by the user to activate the focus bracket shooting function in order to avoid complications.
  • step 144 ′ of FIG. 16 the non-main subject corrected by the processing of step 142 of the reference image by the restoration filter similar to the processing of step 110 ′ of the fourth imaging processing program according to the fourth embodiment.
  • the degree of blur (sharpness) of the non-main subject area of the reference image is brought closer to the degree of blur (sharpness) of the non-main subject area of the non-reference image.
  • a restoration process is performed on the main subject area corrected by the process of step 142 of the non-reference image, thereby reducing the degree of blur (sharpness) of the main subject area of the non-reference image. It approaches the degree of blurring (sharpness) of the main subject area of the reference image.
  • FIG. 17 shows the flow of processing of the seventh imaging processing program executed by the CPU 40 of the digital camera 10 according to the seventh embodiment when the release switch is shifted from the half-pressed state to the fully-pressed state.
  • the steps for executing the same processing as in FIG. 2 in FIG. 17 are denoted by the same step numbers as in FIG. Further, here, a case will be described in which it is set by the user to activate the focus bracket shooting function in order to avoid complications.
  • the seventh imaging processing program according to the present embodiment is different from the first imaging processing program according to the first embodiment in that steps 153 and 154 are performed instead of steps 153 and 154.
  • the only difference is that the above process is applied.
  • step 153 of FIG. 17 a blur adjustment image is generated by synthesizing the non-reference image deformed by the process of step 150 above with the reference image.
  • the synthesis procedure will be described.
  • the CPU 40 derives the sharpness of each pixel for each of the reference image and the non-reference image on which the image has been deformed by calculating the absolute value of the output value by the Laplacian filter processing described above.
  • the CPU 40 determines, for each pixel, which image is the image with the maximum calculated sharpness, and if the image with the maximum sharpness is the reference image, the pixel value of the reference image is determined. This is employed as the pixel value of the blur adjustment image.
  • the calculated image with the maximum sharpness is an image on the side farther than the focus position of the main subject (FAR side) (in this embodiment, the image number is 4 or 5).
  • the pixel value of the image with the image number of 2 is adopted as the pixel value of the blur adjustment image.
  • the image having the maximum calculated sharpness is an image on the NEAR side (in this embodiment, an image with an image number of 1 or 2), a point-symmetric focal position with respect to the reference image of the image in been FAR side of the image (in this embodiment, when sharpness image is one of the largest in the image of the image number is 5, sharpness image image number is 4 in the case of 2 the maximum
  • the pixel value of (image) is adopted as the pixel value of the blur adjustment image.
  • the present embodiment it is possible to achieve substantially the same effect as the first embodiment, and by combining the reference image and the deformed non-reference image, Since the blur adjustment image is generated, the blur adjustment image can be more easily generated as compared with the case where the blur adjustment image is generated by performing the filtering process on the reference image.
  • FIG. 18 shows the flow of processing of the eighth shooting processing program executed by the CPU 40 of the digital camera 10 according to the eighth embodiment when the release switch shifts from the half-pressed state to the fully-pressed state.
  • FIG. 18 is a flowchart showing the steps of performing the same processing as in FIG. 17 of FIG. Further, here, a case will be described in which it is set by the user to activate the focus bracket shooting function in order to avoid complications.
  • the eighth shooting processing program according to the present embodiment is different from the seventh shooting processing program according to the seventh embodiment in that the processing in step 153 ′ is replaced with the processing in step 153. The only difference is that is applied.
  • step 153 ′ in FIG. 18 the blur adjustment image is generated by synthesizing the non-reference image deformed by the processing in step 150 above with the reference image.
  • the synthesis procedure will be described.
  • the CPU 40 derives the sharpness of each pixel for each of the reference image and the non-reference image on which the image has been deformed by calculating the absolute value of the output value by the Laplacian filter processing described above.
  • the CPU 40 employs, for each pixel, the pixel value of the image having the maximum sharpness as the pixel value of the blur adjustment image.
  • the blur adjustment image obtained by the eighth shooting processing program according to the present embodiment is an omnifocal image focused on both the main subject region and the non-main subject region.
  • the present invention is not limited to this. Is not to be done.
  • the image may be divided into regions based on the color information of the photographed image, the focal position may be derived for each divided region in the same manner as the AF function, and applied in the same manner as in each embodiment.
  • the face area obtained by using the function and the body area estimated from the face area may be used as a main subject area, and the remaining area may be specified as a non-main subject area. Good.
  • the inverse filter of the smoothing filter is applied as the filter for performing the sharpening process of the present invention, but the present invention is not limited to this.
  • a Wiener filter or an inverse filter of another low-pass filter may be applied.
  • the smoothing process or the sharpening process (restoration process) is necessarily performed on at least one of the reference image and the non-reference image before detecting the corresponding points. Is not limited to this. For example, it may be determined whether there is a difference of a predetermined amount or more in the focal position between the reference image and the non-reference image, and the smoothing process or the sharpening process is executed only when there is a difference.
  • the present invention is not limited to this.
  • only a region where the degree of blur is close by smoothing processing or sharpening processing may be set as a corresponding point detection target.
  • various processes such as a smoothing process, a sharpening process, a process for detecting corresponding points, a process for deforming a non-reference image, and a process for synthesizing an image are realized by software using a program.
  • the present invention is not limited to this. These processes may be realized by hardware, and may be realized by both software and hardware.
  • the configuration of the digital camera 10 described in the above embodiments is merely an example, and unnecessary parts are deleted or new parts are added within the scope of the gist of the present invention. Needless to say, the connection state or the like can be changed.
  • Digital camera 20 Imaging system (photographing means) 40 CPU (image processing means, detection means, deformation means, generation means, recording means, identification means, calculation means) 48 Memory 52 Memory card 56 Operation unit

Abstract

　離散的に焦点位置を移動して順次画像を撮影することにより主要被写体に合焦した画像を含む複数の画像を得る撮影手段と、主要被写体に合焦した画像を基準画像として基準画像および非基準画像の少なくとも一方にぼけの度合を近づけるための画像処理を施す画像処理手段と、画像処理の実行後の基準画像と非基準画像との間の被写体の対応点を検出する検出手段と、対応点の位置が一致するように画像処理の実行前の非基準画像を変形する変形手段と、基準画像と変形された非基準画像とに基づいてぼけ調整画像を生成する生成手段と、ぼけ調整画像を記録媒体に記録する記録手段と、を備えた撮像装置が提供される。

Description

撮像装置、撮像方法およびプログラム
　本発明は、撮像装置、撮像方法およびプログラムに係り、特に、フォーカスブラケット撮影を行う機能を有する撮像装置と、当該撮像装置において実行される撮像方法およびプログラムに関する。
　近年、ＣＣＤ（Charge Coupled Device）エリアセンサ、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージ・センサ等の固体撮像素子の高解像度化に伴い、デジタル電子スチルカメラ、デジタルビデオカメラ、携帯電話機、ＰＤＡ（Personal Digital Assistant，携帯情報端末）等の撮影機能を有する情報機器の需要が急増している。なお、以上のような撮影機能を有する情報機器を撮像装置と称する。
　ところで、従来より、焦点位置を変更しながら連続して撮影を行うフォーカスブラケット撮影により撮影された複数の画像を合成処理することにより、ぼけのコントロールを行った画像や、画面全体に焦点の合った全焦点画像を得ることが行われてきた。しかしながら、この合成処理は、連続して撮影を行う間に手ブレや被写体ブレがあると処理に使用する画像間の相関度が下がり、意図した画像が得られない。
　これを解決するための技術として、特許文献１（特開２００８－２７１２４０号公報）には、予め定められた移動量で離散的に焦点位置を移動して順次画像を撮影することにより複数の画像を得るフォーカスブラケット撮影手段と、前記フォーカスブラケット撮影手段により撮影された複数の画像間の被写体の対応点を検出する対応点検出手段と、前記複数の画像の中から所定の基準により選択された１枚の基準画像に対して、前記対応点の位置が一致するように前記基準画像以外の前記複数の画像を変形する画像変形手段と、前記変形された画像を含む複数の画像を合成する画像合成手段と、前記画像合成手段により得られた画像を記録媒体に記録する記録手段と、を備えた撮像装置が開示されている。
　しかしながら、上記特許文献１（特開２００８－２７１２４０号公報）に開示されている技術におけるフォーカスブラケット撮影手段によって得られる複数の画像は互いに焦点位置が異なるものであるため、各画像毎にぼけの度合が異なる結果、対応点の検出に失敗しやすい。特に、これは、マクロ撮影を行う場合等に顕著に生じる。
　本発明の態様によれば、フォーカスブラケット撮影によって得られた複数の画像間で対応点の検出を行う際の誤検出を抑制することのできる撮像装置、撮像方法およびプログラムを提供する。
　本発明の第１の態様によれば、離散的に焦点位置を移動して順次画像を撮影することにより少なくとも主要被写体に合焦した画像を含む複数の画像を得る撮影手段と、前記撮影手段によって得られた複数の画像のうちの前記主要被写体に合焦した画像を基準画像として、当該基準画像および当該基準画像を除く非基準画像の少なくとも一方に、前記基準画像および前記非基準画像の相互のぼけの度合を近づけるための画像処理を施す画像処理手段と、前記画像処理手段による前記画像処理の実行後の前記基準画像と前記非基準画像との間の被写体の対応点を検出する検出手段と、前記検出手段によって検出された対応点の位置が一致するように前記画像処理手段による画像処理の実行前の前記非基準画像を変形する変形手段と、前記基準画像と前記変形手段によって変形された前記非基準画像とに基づいてぼけ調整画像を生成する生成手段と、前記生成手段によって生成されたぼけ調整画像を記録媒体に記録する記録手段と、を備えた撮像装置が提供される。
　本発明の第１の態様による撮像装置によれば、撮影手段により、離散的に焦点位置を移動して順次画像を撮影（フォーカスブラケット撮影）することにより少なくとも主要被写体に合焦した画像を含む複数の画像が得られる。
　ここで、本発明の第１の態様によれば、画像処理手段により、前記撮影手段によって得られた複数の画像のうちの前記主要被写体に合焦した画像を基準画像として、当該基準画像および当該基準画像を除く非基準画像の少なくとも一方に、前記基準画像および前記非基準画像の相互のぼけの度合を近づけるための画像処理が施され、検出手段により、前記画像処理手段による前記画像処理の実行後の前記基準画像と前記非基準画像との間の被写体の対応点が検出される。
　そして、本発明の第１の態様によれば、変形手段により、前記検出手段によって検出された対応点の位置が一致するように前記画像処理手段による画像処理の実行前の前記非基準画像が変形され、生成手段により、前記基準画像と前記変形手段によって変形された前記非基準画像とに基づいてぼけ調整画像が生成されて、記録手段により、前記生成手段によって生成されたぼけ調整画像が記録媒体に記録される。
　このように、本発明の第１の態様による撮像装置によれば、離散的に焦点位置を移動して順次画像を撮影することにより少なくとも主要被写体に合焦した画像を含む複数の画像を得て、当該複数の画像のうちの前記主要被写体に合焦した画像を基準画像として、当該基準画像および当該基準画像を除く非基準画像の少なくとも一方に、前記基準画像および前記非基準画像の相互のぼけの度合を近づけるための画像処理を施し、当該画像処理の実行後の前記基準画像と前記非基準画像との間の被写体の対応点を検出している。これにより、フォーカスブラケット撮影によって得られた複数の画像間で対応点の検出を行う際の誤検出を抑制することができる。
　なお、本発明の第２の態様によれば、第１の態様において、前記画像処理手段が、前記画像処理として平滑化処理および鮮鋭化処理の少なくとも一方を施してもよい。これにより、平滑化処理および鮮鋭化処理という比較的簡易な処理によって、フォーカスブラケット撮影によって得られた複数の画像間で対応点の検出を行う際の誤検出を抑制することができる。
　特に、本発明の第３の態様によれば、第２の態様において、前記画像処理手段が、予め定められた第１のフィルタ特性によるフィルタ処理により前記平滑化処理および前記鮮鋭化処理の少なくとも一方を施してもよい。これにより、フィルタ処理という比較的簡易な処理によって、フォーカスブラケット撮影によって得られた複数の画像間で対応点の検出を行う際の誤検出を抑制することができる。
　また、本発明の第４の態様によれば、第３の態様において、前記第１のフィルタ特性が、前記基準画像と、前記非基準画像を撮影した際の焦点位置と、に基づいて予め定められてもよい。これにより、新たな手段を要することなく、簡易にフォーカスブラケット撮影によって得られた複数の画像間で対応点の検出を行う際の誤検出を抑制することができる。
　また、本発明の第５の態様によれば、第１から第４の何れかの態様による撮像装置において、前記撮影手段による撮影によって得られた画像における主要被写体領域と主要被写体領域を除く被写体領域である非主要被写体領域とを特定する特定手段をさらに備え、前記画像処理手段が、前記特定手段によって特定された前記主要被写体領域と前記非主要被写体領域との面積の広い方に対して前記画像処理を施してもよい。これにより、より多くの対応点を検出することができるようになる結果、より高品質なぼけ調整画像を得ることができる。
　また、本発明の第６の態様によれば、第１から第４の何れかの態様による撮像装置において、前記撮影手段による撮影によって得られた画像における主要被写体領域と主要被写体領域を除く被写体領域である非主要被写体領域とを特定する特定手段をさらに備え、前記画像処理手段が、前記画像処理として平滑化処理を行う場合は、前記基準画像の前記主要被写体領域および前記非基準画像の前記非主要被写体領域の双方に対して当該平滑化処理を施し、前記画像処理として鮮鋭化処理を行う場合は、前記基準画像の前記非主要被写体領域および前記非基準画像の前記主要被写体領域の双方に対して当該鮮鋭化処理を施してもよい。これにより、さらに多くの対応点を検出することができるようになる結果、より高品質なぼけ調整画像を得ることができる。
　また、本発明の第７の態様によれば、第１から第６の何れかの態様による撮像装置において、前記変形手段によって変形された前記非基準画像を含む複数の画像から、画素の座標に応じたぼかし量を算出する算出手段をさらに備え、前記生成手段が、前記算出手段による算出結果に基づき第２のフィルタ特性を決定し、前記基準画像に対して決定したフィルタ特性によるフィルタ処理を行うことにより前記ぼけ調整画像を生成してもよい。これにより、画素単位でフィルタ処理を行うことができる結果、より高品質なぼけ調整画像を得ることができる。
　特に、本発明の第８の態様によれば、第７の態様において、前記第２のフィルタ特性が、前記基準画像と、前記非基準画像を撮影した際の焦点位置とに基づいて予め定められていてもよい。これにより、新たな手段を要することなく、簡易に、より高品質なぼけ調整画像を得ることができる。
　また、本発明の第９の態様によれば、第１から第６の何れかの態様による撮像装置において、前記生成手段が、前記基準画像と前記変形手段によって変形された前記非基準画像とを合成することにより前記ぼけ調整画像を生成してもよい。これにより、基準画像に対してフィルタ処理を行うことによりぼけ調整画像を生成する場合に比較して、より簡易にぼけ調整画像を生成することができる。
　さらに、本発明の第１０の態様によれば、第１から第９の何れかの態様による撮像装置において、前記生成手段が、主要被写体領域に対して非主要被写体領域のぼけの度合が大きくなるように前記ぼけ調整画像を生成してもよい。
　一方、本発明の第１１の態様によれば、離散的に焦点位置を移動して順次画像を撮影することにより少なくとも主要被写体に合焦した画像を含む複数の画像を得る撮影工程と、前記撮影工程によって得られた複数の画像のうちの前記主要被写体に合焦した画像を基準画像として、当該基準画像および当該基準画像を除く非基準画像の少なくとも一方に、前記基準画像および前記非基準画像の相互のぼけの度合を近づけるための画像処理を施す画像処理工程と、前記画像処理工程による前記画像処理の実行後の前記基準画像と前記非基準画像との間の被写体の対応点を検出する検出工程と、前記検出工程によって検出された対応点の位置が一致するように前記画像処理工程による画像処理の実行前の前記非基準画像を変形する変形工程と、前記基準画像と前記変形工程によって変形された前記非基準画像とに基づいてぼけ調整画像を生成する生成工程と、前記生成工程によって生成されたぼけ調整画像を記録媒体に記録する記録工程と、を有する撮像方法が提供される。
　従って、本発明の第１１の態様によれば、本発明の第１の態様と同様に作用するので、本発明の第１の態様と同様に、フォーカスブラケット撮影によって得られた複数の画像間で対応点の検出を行う際の誤検出を抑制することができる。
　一方、本発明の第１２の態様によれば、コンピュータを、離散的に焦点位置を移動して順次画像を撮影することにより少なくとも主要被写体に合焦した画像を含む複数の画像を得る撮影手段と、前記撮影手段によって得られた複数の画像のうちの前記主要被写体に合焦した画像を基準画像として、当該基準画像および当該基準画像を除く非基準画像の少なくとも一方に、前記基準画像および前記非基準画像の相互のぼけの度合を近づけるための画像処理を施す画像処理手段と、前記画像処理手段による前記画像処理の実行後の前記基準画像と前記非基準画像との間の被写体の対応点を検出する検出手段と、前記検出手段によって検出された対応点の位置が一致するように前記画像処理手段による画像処理の実行前の前記非基準画像を変形する変形手段と、前記基準画像と前記変形手段によって変形された前記非基準画像とに基づいてぼけ調整画像を生成する生成手段と、前記生成手段によって生成されたぼけ調整画像を記録媒体に記録する記録手段と、として機能させるためのプログラムが提供される。
　従って、本発明の第１２の態様によれば、コンピュータを本発明の第１の態様と同様に作用させることができるので、本発明の第１の態様と同様に、フォーカスブラケット撮影によって得られた複数の画像間で対応点の検出を行う際の誤検出を抑制することができる。
　本発明の態様によれば、離散的に焦点位置を移動して順次画像を撮影することにより少なくとも主要被写体に合焦した画像を含む複数の画像を得て、当該複数の画像のうちの前記主要被写体に合焦した画像を基準画像として、当該基準画像および当該基準画像を除く非基準画像の少なくとも一方に、前記基準画像および前記非基準画像の相互のぼけの度合を近づけるための画像処理を施し、当該画像処理の実行後の前記基準画像と前記非基準画像との間の被写体の対応点を検出している。これにより、フォーカスブラケット撮影によって得られた複数の画像間で対応点の検出を行う際の誤検出を抑制することができる。
実施の形態に係るデジタルカメラの電気系の要部構成を示すブロック図である。 第１の実施の形態に係る第１撮影処理プログラムの処理の流れを示すフローチャートである。 実施の形態に係るデジタルカメラにおけるフォーカスブラケット撮影の説明に供する図であり、焦点位置とＡＦ評価値との関係を示すグラフである。 実施の形態に係るデジタルカメラにおけるぼかし量の決定手順の説明に供する概略図である。 実施の形態に係るデジタルカメラにおけるぼかし量の決定手順の説明に供する概略図である。 実施の形態に係るデジタルカメラにおける特徴点と対応点の検出手順の説明に供する概略図である。 実施の形態に係るデジタルカメラにおける特徴点と対応点の検出手順の説明に供する概略図である。 実施の形態に係るラプラシアンフィルタのフィルタ行列を示す図である。 実施の形態に係るぼかし量の絶対値とガウシアンフィルタのσパラメータの関係を示すグラフである。 実施の形態に係るぼかし量の絶対値とガウシアンフィルタのσパラメータの関係を示すグラフである。 第１の実施の形態に係る第１撮影処理プログラムの処理内容の説明に供する概略図である。 第２の実施の形態に係る第２撮影処理プログラムの処理の流れを示すフローチャートである。 第２の実施の形態に係るデジタルカメラにおける主要被写体領域と非主要被写体領域の特定手順の説明に供する概略図である。 第２の実施の形態に係るデジタルカメラにおける主要被写体領域と非主要被写体領域の特定手順の説明に供する概略図である。 第３の実施の形態に係る第３撮影処理プログラムの処理の流れを示すフローチャートである。 第３の実施の形態に係るデジタルカメラにおける簡易構図解析の説明に供する概略図である。 第４の実施の形態に係る第４撮影処理プログラムの処理の流れを示すフローチャートである。 第４の実施の形態に係る第４撮影処理プログラムの処理内容の説明に供する概略図である。 第５の実施の形態に係る第５撮影処理プログラムの処理の流れを示すフローチャートである。 第６の実施の形態に係る第６撮影処理プログラムの処理の流れを示すフローチャートである。 第７の実施の形態に係る第７撮影処理プログラムの処理の流れを示すフローチャートである。 第８の実施の形態に係る第８撮影処理プログラムの処理の流れを示すフローチャートである。
　以下、図面を参照して、本発明を実施するための形態について詳細に説明する。なお、ここでは、本発明を、静止画像の撮影を行うデジタル電子スチルカメラ（以下、「デジタルカメラ」という。）に適用した場合について説明する。
　［第１の実施の形態］
　まず、図１を参照して、本実施の形態に係るデジタルカメラ１０の電気系の要部構成を説明する。
　図１に示されるように、本実施の形態に係るデジタルカメラ１０は、被写体像を結像させるためのレンズを含んで構成された光学ユニット２２と、当該レンズの光軸後方に配設された固体撮像素子２４と、入力されたアナログ信号に対して各種のアナログ信号処理を行うアナログ信号処理部２６と、を含んで構成されている。尚、撮像系２０は、撮影手段に対応する。
　また、デジタルカメラ１０は、入力されたアナログ信号をデジタルデータに変換するアナログ／デジタル変換器（以下、「ＡＤＣ」という。）２８と、入力されたデジタルデータに対して各種のデジタル信号処理を行うデジタル信号処理部３０と、を含んで構成されている。
　なお、デジタル信号処理部３０は、所定容量のラインバッファを内蔵し、入力されたデジタルデータを後述するメモリ４８の所定領域に直接記憶させる制御も行う。
　固体撮像素子２４の出力端はアナログ信号処理部２６の入力端に、アナログ信号処理部２６の出力端はＡＤＣ２８の入力端に、ＡＤＣ２８の出力端はデジタル信号処理部３０の入力端に、各々接続されている。従って、固体撮像素子２４から出力された被写体像を示すアナログ信号はアナログ信号処理部２６によって所定のアナログ信号処理が施され、ＡＤＣ２８によってデジタル画像データに変換された後にデジタル信号処理部３０に入力される。
　一方、デジタルカメラ１０は、撮影された被写体像やメニュー画面等を表示する液晶ディスプレイ（以下、「ＬＣＤ」という。）３８と、当該被写体像やメニュー画面等をＬＣＤ３８に表示させるための信号を生成してＬＣＤ３８に供給するＬＣＤインタフェース３６と、デジタルカメラ１０全体の動作を司るＣＰＵ（中央処理装置）４０と、撮影により得られたデジタル画像データ等を一時的に記憶するメモリ４８と、メモリ４８に対するアクセスの制御を行うメモリインタフェース４６と、を含んで構成されている。尚、ＣＰＵ４０は、画像処理手段、検出手段、変形手段、生成手段、記録手段、特定手段及び算出手段に対応する。
　さらに、デジタルカメラ１０は、可搬型のメモリカード５２をデジタルカメラ１０でアクセス可能とするための外部メモリインタフェース５０と、デジタル画像データに対する圧縮処理および伸張処理を行う圧縮・伸張処理回路５４と、を含んで構成されている。
　なお、本実施の形態のデジタルカメラ１０では、メモリ４８としてフラッシュ・メモリ（Flash Memory）が用いられ、メモリカード５２としてｘＤピクチャ・カード（登録商標）が用いられているが、これに限るものでないことは言うまでもない。
　デジタル信号処理部３０、ＬＣＤインタフェース３６、ＣＰＵ４０、メモリインタフェース４６、外部メモリインタフェース５０、および圧縮・伸張処理回路５４はシステムバスＢＵＳを介して相互に接続されている。従って、ＣＰＵ４０は、デジタル信号処理部３０および圧縮・伸張処理回路５４の作動の制御、ＬＣＤ３８に対するＬＣＤインタフェース３６を介した各種情報の表示、メモリ４８およびメモリカード５２へのメモリインタフェース４６ないし外部メモリインタフェース５０を介したアクセスを各々行うことができる。
　一方、デジタルカメラ１０には、主として固体撮像素子２４を駆動させるためのタイミング信号（パルス信号）を生成して固体撮像素子２４に供給するタイミングジェネレータ３２が備えられており、固体撮像素子２４の駆動はＣＰＵ４０によりタイミングジェネレータ３２を介して制御される。
　さらに、デジタルカメラ１０にはモータ駆動部３４が備えられており、光学ユニット２２に備えられた図示しない焦点調整モータ、ズームモータおよび絞り駆動モータの駆動もＣＰＵ４０によりモータ駆動部３４を介して制御される。
　すなわち、本実施の形態に係る上記レンズは複数枚のレンズを有し、焦点距離の変更（変倍）が可能なズームレンズ系として構成されており、図示しないレンズ駆動機構を備えている。このレンズ駆動機構に上記焦点調整モータ、ズームモータおよび絞り駆動モータは含まれるものであり、これらのモータは各々ＣＰＵ４０の制御によりモータ駆動部３４から供給された駆動信号によって駆動される。
　さらに、デジタルカメラ１０には、撮影を実行する際に押圧操作されるレリーズスイッチ（所謂シャッタースイッチ）、デジタルカメラ１０の電源のオン／オフを切り替える際に操作される電源スイッチ、撮影を行うモードである撮影モードおよび被写体像をＬＣＤ３８に再生するモードである再生モードの何れかのモードに設定する際に操作されるモード切替スイッチ、ＬＣＤ３８にメニュー画面を表示させるときに押圧操作されるメニュースイッチ、それまでの操作内容を確定するときに押圧操作される決定スイッチ、直前の操作内容をキャンセルするときに押圧操作されるキャンセルスイッチ等の各種スイッチ類を含んで構成された操作部５６が備えられており、これらの操作部５６はＣＰＵ４０に接続されている。従って、ＣＰＵ４０は、これらの操作部５６に対する操作状態を常時把握することができる。
　なお、本実施の形態に係るデジタルカメラ１０のレリーズスイッチは、中間位置まで押下される状態（以下、「半押し状態」という。）と、当該中間位置を超えた最終押下位置まで押下される状態（以下、「全押し状態」という。）と、の２段階の押圧操作が検出可能に構成されている。
　そして、デジタルカメラ１０では、レリーズスイッチを半押し状態にすることによりＡＥ（Automatic Exposure、自動露出）機能が働いて露出状態（シャッタースピード、絞りの状態）が設定された後、ＡＦ機能が働いて合焦制御され、その後、引き続き全押し状態にすると露光（撮影）が行われる。
　また、デジタルカメラ１０には、撮影時に必要に応じて被写体に照射する光を発するストロボ４４と、ストロボ４４とＣＰＵ４０との間に介在されると共に、ＣＰＵ４０の制御によりストロボ４４を発光させるための電力を充電する充電部４２と、が備えられている。さらに、ストロボ４４はＣＰＵ４０にも接続されており、ストロボ４４の発光はＣＰＵ４０によって制御される。
　ところで、本実施の形態に係るデジタルカメラ１０には、離散的に焦点位置を移動して順次画像を撮影することにより、少なくとも主要被写体に合焦した画像を含む複数の画像を得て、当該複数の画像に基づいて主要被写体の領域（以下、「主要被写体領域」という。）を除く領域（以下、「非主要被写体領域」という。）のぼけの度合が調整されたぼけ調整画像を生成して記録するフォーカスブラケット撮影機能が搭載されている。
　ここで、本実施の形態に係るデジタルカメラ１０では、ユーザによって操作部５６を介してフォーカスブラケット撮影機能を働かせることが設定された場合のみ、以上のようなフォーカスブラケット撮影が行われ、上記ぼけ調整画像が生成されてメモリカード５２に記録される。
　次に、図２を参照して、本実施の形態に係るデジタルカメラ１０の作用を説明する。なお、図２は、操作部５６のレリーズスイッチが半押し状態を経て全押し状態に移行した際に、デジタルカメラ１０のＣＰＵ４０によって実行される第１撮影処理プログラムの処理の流れを示すフローチャートであり、当該プログラムはメモリ４８の所定領域に予め記憶されている。また、ここでは、錯綜を回避するために、ユーザによってフォーカスブラケット撮影機能を働かせることが設定されている場合について説明する。
　図２のステップ１００では、ＡＦ機能を働かせることにより、主要被写体に対して自動合焦位置判断を行い、次のステップ１０２では、焦点位置間隔ｄを決定する。
　本実施の形態では、フォーカスブラケット撮影の際に設定される焦点位置に、主要被写体の合焦位置と、その前後の焦点位置を含むようにする。ここでは、一例として図３に示すように、主要被写体の合焦位置Ｆ３、主要被写体の合焦位置から前後に焦点位置間隔ｄだけ離れた焦点位置Ｆ２およびＦ４、さらに主要被写体の合焦位置Ｆ３から遠ざかる方向に、焦点位置Ｆ２およびＦ４から焦点位置間隔ｄだけ離れた焦点位置のＦ１およびＦ５の計５点をフォーカスブラケット撮影の際の焦点位置とする。なお、焦点位置の端から順に、Ｆ１で撮影された画像の番号を１、Ｆ２で撮影された画像の番号を２、・・・、Ｆ５で撮影された画像の番号を５とする。
　本実施の形態に係るデジタルカメラ１０では、絞りのＦ値が小さい場合や焦点距離が長い場合等、被写界深度が浅い場合はｄを小さく、逆に絞りのＦ値が大きい場合や焦点距離が短い場合等、被写界深度が深い場合はｄを大きくするように設定されている。ＣＰＵ４０は、メモリ４８に記憶されたこの設定に基づいて焦点位置間隔ｄを決定する。これにより、任意の絞りと焦点距離において、ぼけ強調に適した焦点の異なる画像を得ることができる。なお、焦点位置間隔ｄは一定でなくてもよく、例えば、主要被写体の合焦位置から見てＮＥＡＲ側とＦＡＲ側で変えるようにしてもよい。
　次のステップ１０４では、上記ステップ１００およびステップ１０２の処理によって得られた主要被写体に対する合焦位置および焦点位置間隔ｄにより決定される複数の焦点位置（本実施の形態では、図３に示されるＦ１～Ｆ５の５箇所の焦点位置）の何れか１つとなるように焦点位置を制御し、次のステップ１０６にて、撮影を行うように制御する。
　次のステップ１０８では、撮影回数が予め定められた回数（本実施の形態では、５回）に達したか否かを判定し、否定判定となった場合は上記ステップ１０４に戻る一方、肯定判定となった時点でステップ１１０に移行する。なお、上記ステップ１０４～ステップ１０８の繰り返し処理を実行する際にステップ１０４では、上記複数の焦点位置のうち、それまでに設定しなかった焦点位置を設定するように制御する。以上のステップ１０４～ステップ１０８の繰り返し処理により、フォーカスブラケット撮影が行われ、これにより得られた撮影画像がメモリ４８の所定領域に格納される。
　ステップ１１０では、以上の処理によって得られた撮影画像のうち、主要被写体に合焦されている画像を基準画像とし、当該基準画像を除く画像を非基準画像として、非基準画像に対して平滑化フィルタにより平滑化処理を施すことによって、非基準画像のぼけの度合を基準画像のぼけの度合に近づける。
　ここで、本実施の形態に係るデジタルカメラ１０では、非基準画像に対する平滑化処理によるぼかし量を次のように決定する。
　図４Ａ及び図４Ｂに示すように、焦点距離をｆ［ｍｍ］、Ｆ値をＦとするレンズを用いて、ある基準被写体が合焦するように像面が配置されているとする。ここで、基準被写体距離（基準被写体からレンズ中心Ｈまでの距離）をｄｂ［ｍｍ］とし、基準被写体の焦点（像面）とレンズ中心Ｈとの距離をｂｂ［ｍｍ］とする。また、任意の位置にある被写体の被写体距離をｄ［ｍｍ］とし、この被写体の焦点とレンズ中心Ｈとの距離をｂ［ｍｍ］とする。このとき、任意被写体の被写体距離ｄ［ｍｍ］とぼけ半径ｒ［ｍｍ］との関係について考える。なお、図４Ａは任意被写体が基準被写体よりも手前にあるとき（ＮＥＡＲ側：ｄ≦ｄｂ）の関係を表し、図４Ｂは任意被写体が基準被写体よりも遠くにあるとき（ＦＡＲ側：ｄ＞ｄｂ）の関係を表している。
　このとき、結像公式より以下の（１）式および（２）式が成り立つ。
Figure JPOXMLDOC01-appb-M000001
　また、像面側で形成する相似三角形の関係より、以下の（３）式および（４）式が成り立つ。
Figure JPOXMLDOC01-appb-M000002
　ここで、開口径の半径をｆ／２Ｆとしているが、これは「Ｆ値＝焦点距離／開口径」という定義に基づくものである。
　また、（３）式および（４）式をまとめて、以下の（５）式で表せる。
Figure JPOXMLDOC01-appb-M000003
　（１）式および（２）式をｂ、ｂｂに対して解き、これらを（５）式に代入すると任意の被写体距離ｄとぼけ半径ｒについて以下の関係式が得られる。
Figure JPOXMLDOC01-appb-M000004
　ただし、合焦被写体距離は焦点距離よりも長い、すなわち、ｄｂ＞ｆ（１／ｆ＞１／ｄｂ）が成り立つものとする。このぼけ半径ｒ［ｍｍ］が平滑化度合の目安となる。
　固体撮像素子２４の画素ピッチをｐ［μｍ］とすれば、画素単位でのぼけ半径ｒｐは、以下の（７）式で表される。
Figure JPOXMLDOC01-appb-M000005
　最後に、上記ぼけ半径に基づいてフィルタ特性を決定する。本実施の形態に係るデジタルカメラ１０では、平滑化フィルタとしてガウシアンフィルタを適用し、当該ガウシアンフィルタのσパラメータを次の（８）式により算出する。
Figure JPOXMLDOC01-appb-M000006
　ここで、Ｄは平滑化の度合いを調整するための定数である。このように求められたσパラメータからフィルタ係数ｆ（ｘ）を算出するには、次の（９）式を用いて演算を行い、算出されたフィルタ係数の総和が１になるように正規化を行う。
Figure JPOXMLDOC01-appb-M000007
　デジタルフィルタの場合は注目画素を中心とした離散位置ごとにｆ（ｘ）が決定される。例えば、５タップフィルタの場合は、ｆ（ｘ）＝｛０．１、０．２、０．４、０．２、０．１｝等となる。なお、一般には画像の明るさが変動しないよう、各係数の総和が１．０になるように正規化される。また、ここでは１次元のフィルタ係数で表現しているが、このフィルタを水平方向と垂直方向に順に施すことにより２次元のフィルタ処理を行うことができる。
　なお、本ステップ１１０では、平滑化処理が施された非基準画像をフォーカスブラケット撮影によって得られた非基準画像とは別に生成するようにしている。
　次のステップ１１２では、基準画像と上記ステップ１１０の処理によって平滑化処理が施された非基準画像との間における対応点の検出を行う。以下、当該対応点の検出手順について説明する。対応点検出は、複数画像間で対応する点の位置関係を求めるものである。図５Ａ、図５Ｂは、フォーカスブラケット撮影から得られた画像の一例を示す図である。本実施の形態に係るデジタルカメラ１０では、一例として図５Ａに示す基準画像から特徴点を抽出し、その特徴点が一例として図５Ｂに示す追跡画像のどの位置に移動したかを追跡することにより、対応点の検出を行う。
　まず、ＣＰＵ４０は、基準画像から特徴点の抽出を行う。ここで、特徴点の抽出の手法は種々のものが提案されているが、ここでは、ある点を中心とする所定領域内の輝度の標準偏差が所定値以上の場合に、その点を特徴点として抽出する。図５Ａにおける丸印が、図５Ａの画像における特徴点を示す。特徴点は多いほうが以後の処理を精度よく行うことができるが、特徴点が多くなると処理負荷が増大するため、特徴点の数はハード性能等から適宜決めればよい。
　次に、ＣＰＵ４０は、非基準画像の何れか１つを追跡画像として選択し、当該追跡画像において、基準画像から抽出された特徴点の１つを選択して、この特徴点がどの位置へ移動したかを追跡する。ここで、当該追跡の手法についても種々のものが提案されているが、ここではその点を中心とする所定領域内の相互相関係数が最小となるような座標を見つける手法（ブロックマッチング法）を用いて追跡を行う。
　以上の基準画像における特徴点の追跡を全ての非基準画像について実行することにより、対応点の検出処理が終了する。
　次のステップ１５０では、上記ステップ１１０による平滑化処理が施される前の非基準画像（フォーカスブラケット撮影によって得られた非基準画像）に対して、上記ステップ１１２の処理によって得られた対応する非基準画像の対応点が基準画像の対応点の位置に極力一致するように画像の変形を行う。
　なお、本実施の形態に係るデジタルカメラ１０では、当該画像の変形を、非基準画像に対する平行移動、回転移動、縮小・拡大処理により行う。これらの画像変形は、複数組の対応点の距離の総和が最小となるように移動ベクトルを決めればよい。なお、これらの平行移動、回転移動、および拡大・縮小処理は、アフィン変換により行う。
　また、基準画像と非基準画像との間に複雑な動きが生じている場合は、全ての対応点をより精度よく一致させるためにはワーピングを行う。ワーピングは、全ての対応点の組を完全に一致するような移動ベクトルを選択すると共に、その周囲の点も補間により求めるものである。
　次のステップ１５２では、ぼかし量の算出を行う。以下、当該ぼかし量の算出手順について説明する。
　まず、ＣＰＵ４０は、基準画像および上記ステップ１５０の処理により画像の変形が行われた後の非基準画像の各々について、各画素の鮮鋭度を算出する。
　鮮鋭度の算出については、ラプラシアンフィルタ処理による出力値の絶対値を算出することにより行う。図６は、ラプラシアンフィルタのフィルタ行列を示す図である。ラプラシアンフィルタ処理を行うことによりエッジ検出をすることができ、この出力値の絶対値が鮮鋭度を示す。画像のぼけと鮮鋭度に関しては、画像のぼけが小さい画素ほど鮮鋭度が高く、ぼけが大きくなるほど鮮鋭度が低くなるという関係がある。なお、ラプラシアンフィルタのカーネルはこの例に限定されるものではなく、またラプラシアンフィルタ以外の鮮鋭度算出フィルタを用いてもよい。
　次に、ＣＰＵ４０は、画素毎に、算出した鮮鋭度が最大値である画像番号をｎとし、基準画像の画像番号をｃとして、次の（１０）式によりぼかし量ｋを算出する。
Figure JPOXMLDOC01-appb-M000008
　ここで、ｕはユーザが指定したぼけ強調度合いであり、ｕが１．０よりも大きければ基準設定よりもぼけが強調され、ｕが１．０未満の場合は基準設定よりもぼけが緩和される画像となる。なお、ぼけ強調度合いｕは、ユーザが操作部５６を操作することにより設定が可能となっている。また、本実施の形態では、ｃ＝３である。
　次のステップ１５４では、基準画像に対してぼかし処理を行う。本実施の形態に係るデジタルカメラ１０では、ぼかし処理にもガウシアンフィルタを用いる。
　まず、ＣＰＵ４０は、上記ステップ１５２の処理によって得られたぼかし量ｋから何れかの画素に対応するぼかし量を選択し、ぼかし量の絶対値｜ｋ｜と所定の閾値Ｔｈとの比較を行う。所定の閾値Ｔｈの方が大きい場合は、この画素を合焦領域とみなして合焦位置Ｆ３で撮影した画素値を出力する。ぼかし量の絶対値｜ｋ｜の方が大きい場合は、この画素をぼけ強調すべき領域とみなしてフィルタ係数を決定する。
　前述したように、本実施の形態に係るデジタルカメラ１０では、このフィルタ処理にガウシアンフィルタを用いる。図７Ａ及び図７Ｂは、ぼかし量の絶対値｜ｋ｜と、ガウシアンフィルタのσパラメータの関係を示したグラフである。図７Ａ及び図７Ｂに示すように、ぼかし量の絶対値｜ｋ｜が所定の閾値Ｔｈ以上のとき、ぼかし量の絶対値｜ｋ｜と比例関係にあるガウシアンフィルタのσパラメータが求められ、このσパラメータに応じたガウシアンフィルタ係数ｆ（ｘ）を決定する。ＣＰＵ４０は、メモリ４８の所定領域に記憶されたこの関係に基づいてσパラメータを決定する。
　図７Ｂは、注目画素からの距離ｘとガウシアンフィルタのフィルタ係数ｆ（ｘ）の関係を示したグラフである。図７Ｂに示すように、ガウシアンフィルタはσパラメータが大きいほど周辺画素の重みを大きくして加重平均をとる。従って、ぼかし量の絶対値｜ｋ｜の大きさに応じてσパラメータを大きくすることにより、ぼかし量の絶対値｜ｋ｜が大きいほど平滑化の度合いを大きくすることができる。
　このように求められたσパラメータを前述した（９）式に代入することによりフィルタ係数ｆ（ｘ）を算出し、当該フィルタ係数の総和が１になるように正規化を行う。なお、ここでも１次元のフィルタ係数で表現しているが、このフィルタを水平方向と垂直方向に順に施すことにより２次元のフィルタ処理を行うことができる。
　以上のような、ぼかし量に応じたフィルタ処理を全ての画素について行うことにより、主要被写体の領域を除く領域のぼけの度合が調整された、ぼけ調整画像が生成される。このように、主要被写体の合焦位置で撮影された基準画像に対してフィルタ処理を行うことにより、より自然なぼけ強調が可能となる。なお、このフィルタ処理に用いるフィルタはガウシアンフィルタに限られるものではなく、ローパスフィルタなら他のフィルタでも構わない。例えば、絞りやレンズの特性に応じたぼけ形状を持ったフィルタを用いてもよい。
　次のステップ１５６では、上記ステップ１５４の処理によって得られたぼけ調整画像を、圧縮／伸張処理回路５４にて圧縮した後に、外部メモリインタフェース５０を介してメモリカード５２に記録し、その後に本第１撮影処理プログラムを終了する。
　以上の第１撮影処理プログラムの実行により、一例として図８に示すように、まず、フォーカスブラケット撮影を行うことにより、主要被写体の領域に合焦された基準画像と、主要被写体の領域を除く背景の領域に合焦された非基準画像が得られる。次に、非基準画像に対して平滑化処理を施すことにより、当該非基準画像における主要被写体を除く背景領域のぼけの度合いを基準画像に近づける。
　次に、基準画像の特徴点を検出した後、当該特徴点に対応する対応点を平滑化処理が施された後の非基準画像から検出し、検出した対応点が特徴点に重なるように、平滑化処理が施される前の非基準画像を変形する。
　次に、基準画像および変形された非基準画像の各々の各画素の鮮鋭度に基づいて各画素毎のぼかし量を算出し、最後に、算出したぼかし量にて基準画像の背景領域をぼかすことによりぼけ調整画像を生成して、メモリカード５２に記録する。
　以上詳細に説明したように、本実施の形態によれば、離散的に焦点位置を移動して順次画像を撮影（フォーカスブラケット撮影）することにより少なくとも主要被写体に合焦した画像を含む複数の画像を得て、当該複数の画像のうちの前記主要被写体に合焦した画像を基準画像として、当該基準画像および当該基準画像を除く非基準画像の少なくとも一方（本実施の形態では、非基準画像）に、前記基準画像および前記非基準画像の相互のぼけの度合を近づけるための画像処理（本実施の形態では、平滑化処理）を施し、当該画像処理の実行後の前記基準画像と前記非基準画像との間の被写体の対応点を検出している。これにより、フォーカスブラケット撮影によって得られた複数の画像間で対応点の検出を行う際の誤検出を抑制することができる。
　また、本実施の形態によれば、前記画像処理として平滑化処理を施しているので、比較的簡易な処理によって、フォーカスブラケット撮影によって得られた複数の画像間で対応点の検出を行う際の誤検出を抑制することができる。
　特に、本実施の形態によれば、予め定められた第１のフィルタ特性によるフィルタ処理により前記平滑化処理を施しているので、フィルタ処理という比較的簡易な処理によって、フォーカスブラケット撮影によって得られた複数の画像間で対応点の検出を行う際の誤検出を抑制することができる。
　また、本実施の形態によれば、前記第１のフィルタ特性が、前記基準画像と、前記非基準画像を撮影した際の焦点位置と、に基づいて予め定められているので、新たな手段を要することなく、簡易にフォーカスブラケット撮影によって得られた複数の画像間で対応点の検出を行う際の誤検出を抑制することができる。
　また、本実施の形態によれば、変形された前記非基準画像を含む複数の画像から、画素の座標に応じたぼかし量を算出し、当該算出結果に基づき第２のフィルタ特性を決定し、前記基準画像に対して決定したフィルタ特性によるフィルタ処理を行うことにより、ぼけ調整画像を生成しているので、画素単位でフィルタ処理を行うことができる結果、より高品質なぼけ調整画像を得ることができる。
　さらに、本実施の形態によれば、前記第２のフィルタ特性が、前記基準画像と、前記非基準画像を撮影した際の焦点位置とに基づいて予め定められているので、新たな手段を要することなく、簡易に、より高品質なぼけ調整画像を得ることができる。
　［第２の実施の形態］
　次に、本発明の第２の実施の形態について詳細に説明する。なお、本第２の実施の形態に係るデジタルカメラ１０の構成は、図１に示される上記第１の実施の形態に係るデジタルカメラ１０と同様であるので、ここでの説明は省略する。
　以下、図９を参照して、本第２の実施の形態に係るデジタルカメラ１０の作用を説明する。なお、図９は、レリーズスイッチが半押し状態を経て全押し状態に移行した際に、本第２の実施の形態に係るデジタルカメラ１０のＣＰＵ４０によって実行される第２撮影処理プログラムの処理の流れを示すフローチャートであり、図９の図２と同一の処理を実行するステップについては図２と同一のステップ番号を付して、その説明を省略する。また、ここでは、錯綜を回避するために、ユーザによってフォーカスブラケット撮影機能を働かせることが設定されている場合について説明する。
　図９のステップ１２０では、撮影画像における主要被写体領域と主要被写体領域を除く被写体領域である非主要被写体領域との面積を特定する構図解析を行う。以下、当該構図解析の手順について説明する。
　本実施の形態に係るデジタルカメラ１０では、操作部５６におけるレリーズスイッチが半押し状態とされた際に実行されるＡＦ機能により得られる情報を利用して上記構図解析を実行する。
　すなわち、本実施の形態に係るデジタルカメラ１０では、レリーズスイッチが半押し状態とされた際にＡＦ機能が働いて、一例として図１０Ａに示されるように、撮影画角内の予め定められた分割領域（本実施の形態では、横方向に８領域で縦方向に６領域の合計４８の分割領域）の各々毎に焦点位置が得られる。
　ここで、特定の被写体がデジタルカメラ１０から同一の距離に位置するとすれば、当該被写体を含む分割領域の焦点位置は略同一になることが期待される。そこで、本実施の形態に係る構図解析では、予め定められた範囲内の焦点位置となる分割領域の数を被写体の面積として考える。図１０Ｂに示す例では、主要被写体である人物に属する分割領域の数が８で、背景に属する分割領域の数が４０となっており、これらの分割領域の数により主要被写体領域と非主要被写体領域の面積を特定する。
　次のステップ１２２では、上記ステップ１２０の処理によって得られた主要被写体領域の面積が、非主要被写体領域の最大の面積より小さいか否かを判定し、肯定判定となった場合はステップ１２４に移行する。
　ステップ１２４では、上記第１の実施の形態に係る第１撮影処理プログラムのステップ１１０およびステップ１１２の処理と同様に、非基準画像に対して平滑化フィルタにより平滑化処理を施すことによって、非基準画像のぼけの度合を基準画像のぼけの度合に近づける。その後、次のステップ１２６にて、基準画像と上記ステップ１２４の処理によって平滑化処理が施された非基準画像との間における対応点の検出を行い、その後にステップ１５０に移行する。
　一方、上記ステップ１２２において否定判定となった場合はステップ１２８に移行し、基準画像に対して平滑化フィルタにより平滑化処理を施すことによって、基準画像のぼけの度合を非基準画像のぼけの度合に近づける。その後、次のステップ１３０にて、上記ステップ１２８の処理によって平滑化処理が施された基準画像と非基準画像との間における対応点の検出を行い、その後にステップ１５０に移行する。
　以上詳細に説明したように、本実施の形態によれば、上記第１の実施の形態と略同様の効果を奏することができると共に、フォーカスブラケット撮影によって得られた画像における主要被写体領域と主要被写体領域を除く被写体領域である非主要被写体領域とを特定し、特定した前記主要被写体領域と前記非主要被写体領域との面積の広い方に対して前記画像処理を施している。これにより、より多くの対応点を検出することができるようになる結果、より高品質なぼけ調整画像を得ることができる。
　［第３の実施の形態］
　次に、本発明の第３の実施の形態について詳細に説明する。なお、本第３の実施の形態に係るデジタルカメラ１０の構成は、図１に示される上記第１の実施の形態に係るデジタルカメラ１０と同様であるので、ここでの説明は省略する。
　以下、図１１を参照して、本第３の実施の形態に係るデジタルカメラ１０の作用を説明する。なお、図１１は、レリーズスイッチが半押し状態を経て全押し状態に移行した際に、本第３の実施の形態に係るデジタルカメラ１０のＣＰＵ４０によって実行される第３撮影処理プログラムの処理の流れを示すフローチャートであり、図１１の図２と同一の処理を実行するステップについては図２と同一のステップ番号を付して、その説明を省略する。また、ここでは、錯綜を回避するために、ユーザによってフォーカスブラケット撮影機能を働かせることが設定されている場合について説明する。
　図１１のステップ１４０では、撮影画像における主要被写体領域と主要被写体領域を除く非主要被写体領域とを特定する簡易構図解析を行う。
　本実施の形態に係るデジタルカメラ１０でも、上記第２の実施の形態に係るデジタルカメラ１０の構図解析と同様に、操作部５６におけるレリーズスイッチが半押し状態とされた際に実行されるＡＦ機能により得られる情報を利用して上記簡易構図解析を実行する。
　具体的には、本実施の形態に係る簡易構図解析では、画角内の中央部に位置する分割領域の焦点位置を含み、かつ予め定められた範囲内の焦点位置となる分割領域を主要被写体領域とし、他の領域を非主要被写体領域とする。
　ところで、本実施の形態に係る簡易構図解析では、レリーズスイッチが半押し状態とされた際に得られた焦点位置を用いているため、一例として図１２に示すように、当該簡易構図解析により得られる主要被写体領域および非主要被写体領域と、実際にフォーカスブラケット撮影を行っている際の各領域とでは、各領域の位置に若干のずれが生じる。
　そこで、次のステップ１４２では、上記ステップ１４０の処理によって特定された主要被写体領域および非主要被写体領域を上記ずれに応じて補正する処理を実行する。以下、図１２を参照して、当該補正処理の手順について説明する。
　まず、簡易構図解析で用いた焦点位置を得るためのＡＦ機能が働いている際に得られた画像（以下、「ＡＦ画像」という。）とフォーカスブラケット撮影によって得られた基準画像との間で前述した手順と同様の手順で対応点検出を行う。次に、検出した対応する対応点間の距離およびＡＦ画像から基準画像に対する移動方向を特定する。そして、特定した各対応点間の距離および移動方向に基づいて、上記ステップ１４０の処理によって得られた主要被写体領域と非主要被写体領域との境界線を、最も近接するＡＦ画像における対応点に対する上記距離だけ、対応する上記移動方向に移動する。
　次のステップ１４４では、基準画像の上記ステップ１４２の処理によって補正された主要被写体領域に対して平滑化フィルタにより平滑化処理を施すことにより、基準画像の主要被写体領域のぼけの度合を非基準画像の主要被写体領域のぼけの度合に近づける。次のステップ１４４にて、非基準画像の上記ステップ１４２の処理によって補正された非主要被写体領域に対して平滑化フィルタにより平滑化処理を施すことにより、非基準画像の非主要被写体領域のぼけの度合を基準画像の非主要被写体領域のぼけの度合に近づける。
　次のステップ１４８では、以上の処理によって平滑化処理が施された基準画像と非基準画像との間における対応点の検出を、上記第１の実施の形態に係る第１撮影処理プログラムのステップ１１２の処理と同様に行う。
　以上詳細に説明したように、本実施の形態によれば、上記第１の実施の形態と略同様の効果を奏することができると共に、撮影によって得られた画像における主要被写体領域と主要被写体領域を除く被写体領域である非主要被写体領域とを特定し、前記基準画像の前記主要被写体領域および前記非基準画像の前記非主要被写体領域の双方に対して、前記基準画像および前記非基準画像の相互のぼけの度合を近づけるための画像処理を施している。これにより、さらに多くの対応点を検出することができるようになる結果、より高品質なぼけ調整画像を得ることができる。
　［第４の実施の形態］
　次に、本発明の第４の実施の形態について詳細に説明する。なお、本第４の実施の形態に係るデジタルカメラ１０の構成は、図１に示される上記第１の実施の形態に係るデジタルカメラ１０と同様であるので、ここでの説明は省略する。
　以下、図１３を参照して、本第４の実施の形態に係るデジタルカメラ１０の作用を説明する。なお、図１３は、レリーズスイッチが半押し状態を経て全押し状態に移行した際に、本第４の実施の形態に係るデジタルカメラ１０のＣＰＵ４０によって実行される第４撮影処理プログラムの処理の流れを示すフローチャートであり、図１３の図２と同一の処理を実行するステップについては図２と同一のステップ番号を付して、その説明を省略する。また、ここでは、錯綜を回避するために、ユーザによってフォーカスブラケット撮影機能を働かせることが設定されている場合について説明する。
　図１３のステップ１１０’では、フォーカスブラケット撮影によって得られた撮影画像のうちの基準画像に対して復元フィルタにより復元処理を施すことによって、基準画像のぼけの度合（鮮鋭度）を非基準画像のボケの度合（鮮鋭度）に近づける。
　ここで、本実施の形態に係るデジタルカメラ１０では、上記復元フィルタとして上記第１の実施の形態に係る平滑化フィルタの逆フィルタを適用する。なお、当該平滑化フィルタのフィルタ係数は上記第１の実施の形態と同様に導出することができる。
　以上の第４撮影処理プログラムの実行により、一例として図１４に示すように、まず、フォーカスブラケット撮影を行うことにより、主要被写体の領域に合焦された基準画像と、主要被写体の領域を除く背景の領域に合焦された非基準画像とが得られる。次に、基準画像に対して復元処理を施すことにより、当該基準画像における背景領域のぼけの度合いを非基準画像に近づける。
　次に、基準画像の特徴点を検出した後、当該特徴点に対応する対応点を非基準画像から検出し、検出した対応点が特徴点に重なるように、非基準画像を変形する。次に、基準画像および非基準画像の各々の各画素の鮮鋭度に基づいて各画素毎のぼかし量を算出する。最後に、算出したぼかし量にて基準画像の背景領域をぼかすことによりぼけ調整画像を生成して、メモリカード５２に記録する。
　本実施の形態でも、上記第１の実施の形態と同様の効果を奏することができる。
　［第５の実施の形態］
　次に、本発明の第５の実施の形態について詳細に説明する。なお、本第５の実施の形態に係るデジタルカメラ１０の構成は、図１に示される上記第１の実施の形態に係るデジタルカメラ１０と同様であるので、ここでの説明は省略する。
　以下、図１５を参照して、本第５の実施の形態に係るデジタルカメラ１０の作用を説明する。なお、図１５は、レリーズスイッチが半押し状態を経て全押し状態に移行した際に、本第５の実施の形態に係るデジタルカメラ１０のＣＰＵ４０によって実行される第５撮影処理プログラムの処理の流れを示すフローチャートであり、図１５の図９と同一の処理を実行するステップについては図９と同一のステップ番号を付して、その説明を省略する。また、ここでは、錯綜を回避するために、ユーザによってフォーカスブラケット撮影機能を働かせることが設定されている場合について説明する。
　同図のステップ１２４’では、上記第４の実施の形態に係る第４撮影処理プログラムのステップ１１０’の処理と同様の復元フィルタにより、基準画像に対して復元処理を施すことによって、基準画像のぼけの度合（鮮鋭度）を非基準画像のぼけの度合（鮮鋭度）に近づける。また、ステップ１２８’では、非基準画像に対して同様の復元フィルタにより復元処理を施すことによって、非基準画像のぼけの度合を基準画像のぼけの度合に近づける。
　本実施の形態でも、上記第２の実施の形態と同様の効果を奏することができる。
　［第６の実施の形態］
　次に、本発明の第６の実施の形態について詳細に説明する。なお、本第６の実施の形態に係るデジタルカメラ１０の構成は、図１に示される上記第１の実施の形態に係るデジタルカメラ１０と同様であるので、ここでの説明は省略する。
　以下、図１６を参照して、本第６の実施の形態に係るデジタルカメラ１０の作用を説明する。なお、図１６は、レリーズスイッチが半押し状態を経て全押し状態に移行した際に、本第６の実施の形態に係るデジタルカメラ１０のＣＰＵ４０によって実行される第６撮影処理プログラムの処理の流れを示すフローチャートであり、図１６の図１１と同一の処理を実行するステップについては図１１と同一のステップ番号を付して、その説明を省略する。また、ここでは、錯綜を回避するために、ユーザによってフォーカスブラケット撮影機能を働かせることが設定されている場合について説明する。
　図１６のステップ１４４’では、上記第４の実施の形態に係る第４撮影処理プログラムのステップ１１０’の処理と同様の復元フィルタにより、基準画像の上記ステップ１４２の処理によって補正された非主要被写体領域に対して復元処理を施すことにより、基準画像の非主要被写体領域のぼけの度合（鮮鋭度）を非基準画像の非主要被写体領域のぼけの度合（鮮鋭度）に近づける。次のステップ１４６’にて、非基準画像の上記ステップ１４２の処理によって補正された主要被写体領域に対して復元処理を施すことにより、非基準画像の主要被写体領域のぼけの度合（鮮鋭度）を基準画像の主要被写体領域のぼけの度合（鮮鋭度）に近づける。
　本実施の形態でも、上記第３の実施の形態と略同様の効果を奏することができる。
　［第７の実施の形態］
　次に、本発明の第７の実施の形態について詳細に説明する。なお、本第７の実施の形態に係るデジタルカメラ１０の構成は、図１に示される上記第１の実施の形態に係るデジタルカメラ１０と同様であるので、ここでの説明は省略する。
　以下、図１７を参照して、本第７の実施の形態に係るデジタルカメラ１０の作用を説明する。なお、図１７は、レリーズスイッチが半押し状態を経て全押し状態に移行した際に、本第７の実施の形態に係るデジタルカメラ１０のＣＰＵ４０によって実行される第７撮影処理プログラムの処理の流れを示すフローチャートであり、図１７の図２と同一の処理を実行するステップについては図２と同一のステップ番号を付して、その説明を省略する。また、ここでは、錯綜を回避するために、ユーザによってフォーカスブラケット撮影機能を働かせることが設定されている場合について説明する。
　図１７に示すように、本実施の形態に係る第７撮影処理プログラムは、上記第１の実施の形態に係る第１撮影処理プログラムに対して、ステップ１５２およびステップ１５４の処理に代えてステップ１５３の処理が適用されている点のみが異なっている。
　すなわち、図１７のステップ１５３では、基準画像に上記ステップ１５０の処理によって変形した非基準画像を合成することにより、ぼけ調整画像を生成する。以下、当該合成の手順について説明する。
　まず、ＣＰＵ４０は、基準画像および画像の変形が行われた非基準画像の各々について、各画素の鮮鋭度を、前述したラプラシアンフィルタ処理による出力値の絶対値を算出することにより導出する。
　次に、ＣＰＵ４０は、画素毎に、算出した鮮鋭度が最大である画像が何れの画像であるかを判定し、鮮鋭度が最大である画像が基準画像であれば当該基準画像の画素値を、ぼけ調整画像の画素値として採用する。これに対して、算出した鮮鋭度が最大である画像が、主要被写体の合焦位置より遠い側（ＦＡＲ側）の画像（本実施の形態では、画像番号が４または５の画像）であれば、当該画像の基準画像を中心として点対称の焦点位置とされた、主要被写体の合焦位置より近い側（ＮＥＡＲ側）の画像（本実施の形態では、鮮鋭度が最大である画像が４の場合は画像番号が２の画像で、鮮鋭度が最大である画像が５の場合は画像番号が１の画像）の画素値を、ぼけ調整画像の画素値として採用する。さらに、算出した鮮鋭度が最大である画像がＮＥＡＲ側の画像（本実施の形態では、画像番号が１または２の画像）であれば、当該画像の基準画像を中心として点対称の焦点位置とされたＦＡＲ側の画像（本実施の形態では、鮮鋭度が最大である画像が１の場合は画像番号が５の画像で、鮮鋭度が最大である画像が２の場合は画像番号が４の画像）の画素値を、ぼけ調整画像の画素値として採用する。
　以上詳細に説明したように、本実施の形態によれば、上記第１の実施の形態と略同様の効果を奏することができると共に、基準画像と変形した非基準画像とを合成することにより、ぼけ調整画像を生成しているので、基準画像に対してフィルタ処理を行うことによりぼけ調整画像を生成する場合に比較して、より簡易にぼけ調整画像を生成することができる。
　［第８の実施の形態］
　次に、本発明の第８の実施の形態について詳細に説明する。なお、本第８の実施の形態に係るデジタルカメラ１０の構成は、図１に示される上記第１の実施の形態に係るデジタルカメラ１０と同様であるので、ここでの説明は省略する。
　以下、図１８を参照して、本第８の実施の形態に係るデジタルカメラ１０の作用を説明する。なお、図１８は、レリーズスイッチが半押し状態を経て全押し状態に移行した際に、本第８の実施の形態に係るデジタルカメラ１０のＣＰＵ４０によって実行される第８撮影処理プログラムの処理の流れを示すフローチャートであり、図１８の図１７と同一の処理を実行するステップについては図１７と同一のステップ番号を付して、その説明を省略する。また、ここでは、錯綜を回避するために、ユーザによってフォーカスブラケット撮影機能を働かせることが設定されている場合について説明する。
　図１８に示すように、本実施の形態に係る第８撮影処理プログラムは、上記第７の実施の形態に係る第７撮影処理プログラムに対して、ステップ１５３の処理に代えてステップ１５３’の処理が適用されている点のみが異なっている。
　すなわち、図１８のステップ１５３’では、基準画像に上記ステップ１５０の処理によって変形した非基準画像を合成することにより、ぼけ調整画像を生成する。以下、当該合成の手順について説明する。
　まず、ＣＰＵ４０は、基準画像および画像の変形が行われた非基準画像の各々について、各画素の鮮鋭度を、前述したラプラシアンフィルタ処理による出力値の絶対値を算出することにより導出する。
　次に、ＣＰＵ４０は、画素毎に、鮮鋭度が最大となる画像の画素値を、ぼけ調整画像の画素値として採用する。本実施の形態に係る第８撮影処理プログラムにより得られるぼけ調整画像は、主要被写体領域と非主要被写体領域の双方について合焦されている全焦点画像となる。
　本実施の形態でも、上記第７の実施の形態と同様の効果を奏することができる。
　以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されない。発明の要旨を逸脱しない範囲で上記実施の形態に多様な変更または改良を加えることができ、当該変更または改良を加えた形態も本発明の技術的範囲に含まれる。
　また、上記の実施の形態は、クレーム（請求項）にかかる発明を限定するものではなく、また実施の形態の中で説明されている特徴の組み合わせの全てが発明の解決手段に必須であるとは限らない。前述した実施の形態には種々の段階の発明が含まれており、開示される複数の構成要件における適宜の組み合わせにより種々の発明を抽出できる。実施の形態に示される全構成要件から幾つかの構成要件が削除されても、効果が得られる限りにおいて、この幾つかの構成要件が削除された構成が発明として抽出され得る。
　例えば、上記第２，第３，第５，第６の実施の形態では、構図解析および簡易構図解析をＡＦ機能により得られる情報を利用して行う場合について説明したが、本発明はこれに限定されるものではない。例えば、撮影画像の色情報に基づいて画像の領域分割を行い、各分割領域毎にＡＦ機能と同様に焦点位置を導出して、各実施の形態と同様に適用する形態としてもよいし、顔検出機能を有するデジタルカメラにおいては、当該機能を用いて得られる顔領域と当該顔領域から推定される胴体領域とを主要被写体領域とし、残りの領域を非主要被写体領域として特定する形態等としてもよい。
　また、上記各実施の形態では、本発明の鮮鋭化処理を行うフィルタとして平滑化フィルタの逆フィルタを適用した場合について説明したが、本発明はこれに限定されるものではない。例えば、ウィナーフィルタや、他のローパスフィルタの逆フィルタを適用する形態としてもよい。
　また、上記各実施の形態では、対応点を検出する前に、基準画像および非基準画像の少なくとも一方に平滑化処理または鮮鋭化処理（復元処理）を必ず実行する場合について説明したが、本発明はこれに限定されるものではない。例えば、基準画像と非基準画像との間で焦点位置に所定量以上の差があるか否かを判定し、差がある場合のみ平滑化処理または鮮鋭化処理を実行する形態としてもよい。
　また、上記各実施の形態では、対応点の検出を画像の全域に渡って行う場合について説明したが、本発明はこれに限定されるものではない。例えば、平滑化処理または鮮鋭化処理により、ぼけの度合が近づいた領域のみを対応点の検出対象とする形態としてもよい。
　また、上記各実施の形態では、平滑化処理、鮮鋭化処理、対応点を検出する処理、非基準画像を変形する処理、画像を合成する処理等の各種処理をプログラムによるソフトウェアにより実現する場合について説明したが、本発明はこれに限定されるものではない。これらの処理をハードウェアにより実現する形態としてもよく、さらに、ソフトウェアとハードウェアの双方にて実現する形態としてもよい。
　その他、上記各実施の形態で説明したデジタルカメラ１０の構成（図１参照。）は一例であり、本発明の主旨を逸脱しない範囲内において、不要な部分を削除したり、新たな部分を追加したり、接続状態等を変更したりすることができることは言うまでもない。
　さらに、上記各実施の形態で説明した各種撮影処理プログラムの処理の流れ（図２，図９，図１１，図１３，図１５～図１８参照。）も一例であり、本発明の主旨を逸脱しない範囲内において、不要なステップを削除したり、新たなステップを追加したり、処理順序を入れ換えたりすることができることは言うまでもない。
　尚、日本特許出願２０１１－０８００３４の開示はその全体が参照により本明細書に取り込まれる。本明細書に記載された全ての文献、特許出願、および技術規格は、個々の文献、特許出願、および技術規格が参照により取り込まれることが具体的かつ個々に記された場合と同程度に、本明細書中に参照により取り込まれる。
１０　　デジタルカメラ
２０　　撮像系（撮影手段）
４０　　ＣＰＵ（画像処理手段，検出手段，変形手段，生成手段，記録手段，特定手段，算出手段）
４８　　メモリ
５２　　メモリカード
５６　　操作部

Claims (12)

  1. 　離散的に焦点位置を移動して順次画像を撮影することにより少なくとも主要被写体に合焦した画像を含む複数の画像を得る撮影手段と、
    　前記撮影手段によって得られた複数の画像のうちの前記主要被写体に合焦した画像を基準画像として、当該基準画像および当該基準画像を除く非基準画像の少なくとも一方に、前記基準画像および前記非基準画像の相互のぼけの度合を近づけるための画像処理を施す画像処理手段と、
    　前記画像処理手段による前記画像処理の実行後の前記基準画像と前記非基準画像との間の被写体の対応点を検出する検出手段と、
    　前記検出手段によって検出された対応点の位置が一致するように前記画像処理手段による画像処理の実行前の前記非基準画像を変形する変形手段と、
    　前記基準画像と前記変形手段によって変形された前記非基準画像とに基づいてぼけ調整画像を生成する生成手段と、
    　前記生成手段によって生成されたぼけ調整画像を記録媒体に記録する記録手段と、
    　を備えた撮像装置。
  2. 　前記画像処理手段は、前記画像処理として平滑化処理および鮮鋭化処理の少なくとも一方を施す
    　請求項１記載の撮像装置。
  3. 　前記画像処理手段は、予め定められた第１のフィルタ特性によるフィルタ処理により前記平滑化処理および前記鮮鋭化処理の少なくとも一方を施す
    　請求項２記載の撮像装置。
  4. 　前記第１のフィルタ特性は、前記基準画像と、前記非基準画像を撮影した際の焦点位置と、に基づいて予め定められる
    　請求項３記載の撮像装置。
  5. 　前記撮影手段による撮影によって得られた画像における主要被写体領域と主要被写体領域を除く被写体領域である非主要被写体領域とを特定する特定手段をさらに備え、
    　前記画像処理手段は、前記特定手段によって特定された前記主要被写体領域と前記非主要被写体領域との面積の広い方に対して前記画像処理を施す
    　請求項１から請求項４の何れか１項記載の撮像装置。
  6. 　前記撮影手段による撮影によって得られた画像における主要被写体領域と主要被写体領域を除く被写体領域である非主要被写体領域とを特定する特定手段をさらに備え、
    　前記画像処理手段は、前記画像処理として平滑化処理を行う場合は、前記基準画像の前記主要被写体領域および前記非基準画像の前記非主要被写体領域の双方に対して当該平滑化処理を施し、前記画像処理として鮮鋭化処理を行う場合は、前記基準画像の前記非主要被写体領域および前記非基準画像の前記主要被写体領域の双方に対して当該鮮鋭化処理を施す
    　請求項１から請求項４の何れか１項記載の撮像装置。
  7. 　前記変形手段によって変形された前記非基準画像を含む複数の画像から、画素の座標に応じたぼかし量を算出する算出手段をさらに備え、
    　前記生成手段は、前記算出手段による算出結果に基づき第２のフィルタ特性を決定し、前記基準画像に対して決定したフィルタ特性によるフィルタ処理を行うことにより前記ぼけ調整画像を生成する
    　請求項１から請求項６の何れか１項記載の撮像装置。
  8. 　前記第２のフィルタ特性は、前記基準画像と、前記非基準画像を撮影した際の焦点位置とに基づいて予め定められる
    　請求項７記載の撮像装置。
  9. 　前記生成手段は、前記基準画像と前記変形手段によって変形された前記非基準画像とを合成することにより前記ぼけ調整画像を生成する
    　請求項１から請求項６の何れか１項記載の撮像装置。
  10. 　前記生成手段は、主要被写体領域に対して非主要被写体領域のぼけの度合が大きくなるように前記ぼけ調整画像を生成する
    　請求項１から請求項９の何れか１項記載の撮像装置。
  11. 　離散的に焦点位置を移動して順次画像を撮影することにより少なくとも主要被写体に合焦した画像を含む複数の画像を得る撮影工程と、
    　前記撮影工程によって得られた複数の画像のうちの前記主要被写体に合焦した画像を基準画像として、当該基準画像および当該基準画像を除く非基準画像の少なくとも一方に、前記基準画像および前記非基準画像の相互のぼけの度合を近づけるための画像処理を施す画像処理工程と、
    　前記画像処理工程による前記画像処理の実行後の前記基準画像と前記非基準画像との間の被写体の対応点を検出する検出工程と、
    　前記検出工程によって検出された対応点の位置が一致するように前記画像処理工程による画像処理の実行前の前記非基準画像を変形する変形工程と、
    　前記基準画像と前記変形工程によって変形された前記非基準画像とに基づいてぼけ調整画像を生成する生成工程と、
    　前記生成工程によって生成されたぼけ調整画像を記録媒体に記録する記録工程と、
    　を有する撮像方法。
  12. 　コンピュータを、
    　離散的に焦点位置を移動して順次画像を撮影することにより少なくとも主要被写体に合焦した画像を含む複数の画像を得る撮影手段と、
    　前記撮影手段によって得られた複数の画像のうちの前記主要被写体に合焦した画像を基準画像として、当該基準画像および当該基準画像を除く非基準画像の少なくとも一方に、前記基準画像および前記非基準画像の相互のぼけの度合を近づけるための画像処理を施す画像処理手段と、
    　前記画像処理手段による前記画像処理の実行後の前記基準画像と前記非基準画像との間の被写体の対応点を検出する検出手段と、
    　前記検出手段によって検出された対応点の位置が一致するように前記画像処理手段による画像処理の実行前の前記非基準画像を変形する変形手段と、
    　前記基準画像と前記変形手段によって変形された前記非基準画像とに基づいてぼけ調整画像を生成する生成手段と、
    　前記生成手段によって生成されたぼけ調整画像を記録媒体に記録する記録手段と、
    　として機能させるためのプログラム。
PCT/JP2011/078951 2011-03-31 2011-12-14 撮像装置、撮像方法およびプログラム WO2012132129A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN2011800665226A CN103348667A (zh) 2011-03-31 2011-12-14 摄像装置、摄像方法及程序
JP2013507061A JP5453573B2 (ja) 2011-03-31 2011-12-14 撮像装置、撮像方法およびプログラム
US13/933,205 US8780224B2 (en) 2011-03-31 2013-07-02 Imaging device, method and computer readable medium for generating a blur-adjusted image on the basis of a reference image and a non-reference image

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2011080034 2011-03-31
JP2011-080034 2011-03-31

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US13/933,205 Continuation US8780224B2 (en) 2011-03-31 2013-07-02 Imaging device, method and computer readable medium for generating a blur-adjusted image on the basis of a reference image and a non-reference image

Publications (1)

Publication Number Publication Date
WO2012132129A1 true WO2012132129A1 (ja) 2012-10-04

Family

ID=46929926

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2011/078951 WO2012132129A1 (ja) 2011-03-31 2011-12-14 撮像装置、撮像方法およびプログラム

Country Status (4)

Country Link
US (1) US8780224B2 (ja)
JP (1) JP5453573B2 (ja)
CN (1) CN103348667A (ja)
WO (1) WO2012132129A1 (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014168014A1 (ja) * 2013-04-10 2014-10-16 シャープ株式会社 撮像装置
WO2015072363A1 (ja) * 2013-11-18 2015-05-21 シャープ株式会社 画像処理装置
JP2019087924A (ja) * 2017-11-08 2019-06-06 キヤノン株式会社 画像処理装置、撮像装置、画像処理方法およびプログラム

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103945126B (zh) * 2014-04-21 2015-03-04 中国人民解放军国防科学技术大学 一种自动对焦定位方法
GB2536429B (en) * 2015-03-13 2018-01-10 Imagination Tech Ltd Image noise reduction
JP6495446B2 (ja) * 2015-06-08 2019-04-03 オリンパス株式会社 ぼけ強調画像処理装置、ぼけ強調画像処理プログラム、ぼけ強調画像処理方法
US10284835B2 (en) 2015-09-04 2019-05-07 Apple Inc. Photo-realistic shallow depth-of-field rendering from focal stacks
JP6301416B2 (ja) 2016-09-05 2018-03-28 株式会社Ｓｃｒｅｅｎホールディングス 画像処理方法、画像処理装置、および撮像装置
JP6590899B2 (ja) * 2017-12-07 2019-10-16 キヤノン株式会社 撮像装置、撮像方法およびプログラム
CN111446694B (zh) * 2019-10-23 2021-08-10 宣城市泰力磁业有限公司 驱动电机紧急制动平台及方法
CN113225551B (zh) * 2021-05-07 2022-11-22 中国人民解放军63660部队 一种基于标校灯的相机曝光时间检测方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000251060A (ja) * 1999-03-04 2000-09-14 Ricoh Co Ltd 画像合成処理方法及び記録媒体
JP2008271240A (ja) * 2007-04-20 2008-11-06 Fujifilm Corp 撮像装置、画像処理装置、撮像方法、及び画像処理方法
JP2009188490A (ja) * 2008-02-04 2009-08-20 Ricoh Co Ltd 画像処理装置およびプログラム

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4136793B2 (ja) * 2003-05-29 2008-08-20 キヤノン株式会社 撮像装置および撮像装置の制御方法
JP2004357202A (ja) * 2003-05-30 2004-12-16 Canon Inc 撮影装置
JP4582423B2 (ja) * 2007-04-20 2010-11-17 富士フイルム株式会社 撮像装置、画像処理装置、撮像方法、及び画像処理方法
JP4524717B2 (ja) * 2008-06-13 2010-08-18 富士フイルム株式会社 画像処理装置、撮像装置、画像処理方法及びプログラム
JP5214476B2 (ja) * 2009-01-15 2013-06-19 富士フイルム株式会社 撮像装置及び画像処理方法並びにプログラム

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000251060A (ja) * 1999-03-04 2000-09-14 Ricoh Co Ltd 画像合成処理方法及び記録媒体
JP2008271240A (ja) * 2007-04-20 2008-11-06 Fujifilm Corp 撮像装置、画像処理装置、撮像方法、及び画像処理方法
JP2009188490A (ja) * 2008-02-04 2009-08-20 Ricoh Co Ltd 画像処理装置およびプログラム

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014168014A1 (ja) * 2013-04-10 2014-10-16 シャープ株式会社 撮像装置
JP2014207502A (ja) * 2013-04-10 2014-10-30 シャープ株式会社 撮像装置
US9756241B2 (en) 2013-04-10 2017-09-05 Sharp Kabushiki Kaisha Image capturing apparatus
WO2015072363A1 (ja) * 2013-11-18 2015-05-21 シャープ株式会社 画像処理装置
JP2015099975A (ja) * 2013-11-18 2015-05-28 シャープ株式会社 画像処理装置
JP2019087924A (ja) * 2017-11-08 2019-06-06 キヤノン株式会社 画像処理装置、撮像装置、画像処理方法およびプログラム

Also Published As

Publication number Publication date
US20130286259A1 (en) 2013-10-31
JP5453573B2 (ja) 2014-03-26
CN103348667A (zh) 2013-10-09
JPWO2012132129A1 (ja) 2014-07-24
US8780224B2 (en) 2014-07-15

Similar Documents

Publication Publication Date Title
JP5453573B2 (ja) 撮像装置、撮像方法およびプログラム
JP5484631B2 (ja) 撮像装置、撮像方法、プログラム、及びプログラム記憶媒体
US8023000B2 (en) Image pickup apparatus, image processing apparatus, image pickup method, and image processing method
US8767085B2 (en) Image processing methods and apparatuses to obtain a narrow depth-of-field image
JP4898761B2 (ja) オブジェクト追跡を用いたデジタル画像の手ぶれ補正装置および方法
JP5036599B2 (ja) 撮像装置
JP6157242B2 (ja) 画像処理装置及び画像処理方法
KR101594300B1 (ko) Ｐ ｓ ｆ를 추정하기 위한 장치 및 방법
WO2012063449A1 (ja) 撮像装置、撮像方法、プログラム、および集積回路
JP6355454B2 (ja) 撮像装置及びその制御方法、プログラム、記憶媒体
US20100328477A1 (en) Image processor, image processing method, digital camera, and imaging apparatus
JP6711396B2 (ja) 画像処理装置、撮像装置、および画像処理方法、並びにプログラム
US8988545B2 (en) Digital photographing apparatus and method of controlling the same
US9111129B2 (en) Subject detecting method and apparatus, and digital photographing apparatus
JP5144724B2 (ja) 撮像装置、画像処理装置、撮像方法、及び画像処理方法
WO2013094552A1 (ja) 撮像装置、その制御方法およびプログラム
WO2013094551A1 (ja) 撮像装置、その制御方法およびプログラム
KR20110090612A (ko) 자동 초점 조절 장치 및 방법과 상기 방법을 기록한 기록 매체
JP2011066827A (ja) 画像処理装置、画像処理方法及びプログラム
JP2010245658A (ja) 画像処理装置、それを備えたデジタルカメラ及び画像処理プログラム
JP6172973B2 (ja) 画像処理装置
JP2018142983A (ja) 画像処理装置及びその制御方法、プログラム、記憶媒体
JP2012191265A (ja) 画像処理装置およびプログラム
JP5182395B2 (ja) 撮像装置、撮像方法および撮像プログラム
KR20180028962A (ko) 영상이동검출장치 및 방법

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 11862096

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2013507061

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 11862096

Country of ref document: EP

Kind code of ref document: A1