WO2012063449A1 - 撮像装置、撮像方法、プログラム、および集積回路 - Google Patents

撮像装置、撮像方法、プログラム、および集積回路 Download PDF

Info

Publication number
WO2012063449A1
WO2012063449A1 PCT/JP2011/006185 JP2011006185W WO2012063449A1 WO 2012063449 A1 WO2012063449 A1 WO 2012063449A1 JP 2011006185 W JP2011006185 W JP 2011006185W WO 2012063449 A1 WO2012063449 A1 WO 2012063449A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
focal position
imaging
subject
variation range
Prior art date
Application number
PCT/JP2011/006185
Other languages
English (en)
French (fr)
Inventor
康伸 小倉
ポンサック ラーサン
シェン メイ シェン
Original Assignee
パナソニック株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by パナソニック株式会社 filed Critical パナソニック株式会社
Priority to JP2012514281A priority Critical patent/JP5870264B2/ja
Priority to EP11839512.8A priority patent/EP2640056A4/en
Priority to US13/520,257 priority patent/US9076204B2/en
Priority to CN201180005484.3A priority patent/CN102696219B/zh
Publication of WO2012063449A1 publication Critical patent/WO2012063449A1/ja

Links

Images

Classifications

    • G06T5/73—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration by the use of more than one image, e.g. averaging, subtraction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/67—Focus control based on electronic image sensor signals
    • H04N23/673—Focus control based on electronic image sensor signals based on contrast or high frequency components of image signals, e.g. hill climbing method
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/67—Focus control based on electronic image sensor signals
    • H04N23/676—Bracketing for image capture at varying focusing conditions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10141—Special mode during image acquisition
    • G06T2207/10148—Varying focus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging

Definitions

  • the present invention relates to image data processing. More specifically, the present invention relates to a method and apparatus for generating an enlarged depth of field from at least one image taken with varying focal positions.
  • An image having a large depth of field is a three-dimensional (3D) image having a relatively deep depth in which both a relatively close subject and a relatively far subject appear to be reasonably sharp (in focus).
  • a large depth of field is preferred in many cases.
  • 3D three-dimensional
  • both the image of the person and the beautiful background behind the person are sharply 3D (that is, stereoscopic 3D). ) Is preferable.
  • the viewer can sharply view the 3D image in both cases, whether viewing the person on the near side or viewing the beautiful background on the far side.
  • Patent Document 1 US Pat. No. 6,201,899, issued on Mar. 13, 2001 discloses a method and apparatus for imaging an extended depth of field. In this method, a plurality of source images picked up at different focal positions are combined into one image. Referring to FIG. 2, the method receives a plurality of source images (I 1 to I M ) captured at different focal positions. A high pass filter is applied to each source image to obtain a relatively high frequency component. In this method, the energy level of the high frequency component is calculated for each of the plurality of source images, and a plurality of sub-regions having the maximum energy level are selected. Finally, an image with an expanded depth of field is constructed by synthesizing a plurality of sub-regions corresponding to the source image having the highest energy level of the high-frequency component.
  • this method requires that all of the multiple source images be completely received before image composition can begin. For this reason, in order to obtain an image with an enlarged depth of field by this method, a time lag at least equal to the time required to capture a plurality of source images often occurs. Such a time lag is not acceptable when real-time operation is required to obtain an image with an expanded depth of field. Furthermore, with this method, especially when a high-resolution source image is used, a huge amount of memory is usually required to store the source image and the filtered image.
  • Patent Document 2 discloses a method and apparatus for increasing the depth of field of an image. Referring to FIG. 3, in this method, a plurality of images are captured at different focal positions, and the captured images are combined to create one final image. The method then sharpens the final image to construct an output image with improved depth of field.
  • this method also has a drawback in that a plurality of images are used. That is, a time lag may occur. This method is therefore unsuitable for real-time applications.
  • Patent Document 2 another method is also proposed.
  • this method only one image is captured while changing the focal position when the image is captured, and one final image is created.
  • the method then sharpens the final image to construct an image with improved depth of field.
  • the range of the focus position to be changed may be set manually by the user or may be set in advance in the camera. Therefore, this method is not completely automatic, and it is difficult for a general user to adjust the range. In addition, this method is inappropriate when the scene being imaged is unknown or unpredictable.
  • Non-Patent Document 1 (“Flexible Depth of Field Photographic”, S. Kuthirumal, H. Nagahara, C. Zhou, and S. K. Nayar, IE Transataction. .) Picks up one image while changing the focal position during image pick-up.
  • the range of the focal position to be changed is preset.
  • some of the known methods always start capturing an image (opening the shutter) by focusing on Z1, and then adjust the focal position before finishing capturing the image (closing the shutter). Move to Z3.
  • This method is appropriate when the scene is known in advance or the imaging environment of the image is known, for example, when the distance between the camera and the subject is known as in the case of imaging with an electron microscope.
  • these methods are inappropriate when the scene type being imaged is unknown or unpredictable.
  • An object of the present invention is to propose a method and apparatus for expanding the depth of field of a scene image.
  • it is efficient, uses less memory, has no significant time lag, allows real-time operation, and automatically obtains sharp images for various scenes even when the scene being captured is unknown and unpredictable
  • an information processing apparatus is an imaging apparatus that captures an imaging target in a state where a focal position is changed, and outputs the captured result as at least one output image.
  • a pre-capture unit that images the imaging target at different focal positions in a predetermined focal range, and outputs the captured results as a plurality of pre-capture images having a resolution lower than that of the output image, and the pre-capture unit
  • a sharpness calculation unit that calculates the sharpness of the plurality of captured pre-capture images, and based on the sharpness calculated by the sharpness calculation unit, a signal-to-noise ratio in the output image is equal to or greater than a predetermined threshold
  • a variation range determination unit that determines a focal position variation range within the predetermined focal range, and a range determined by the variation range determination unit Accordance focal position variation range, imaging the imaging target in a state in which varying the focal position, and an imaging unit for outputting a result of image pickup as at least one of said output image.
  • a depth-of-field-expanded image in which the depth of field is expanded is further derived using at least one image output by the imaging unit and at least one predetermined point spread function. It is preferable to include an enlarged depth-of-field image deriving unit.
  • a pre-capture image is obtained as a result of imaging the imaging target at a plurality of different focal positions, and the sharpness of the plurality of pre-capture images is determined.
  • the variation range determination unit can automatically determine the focal position variation range so that, for example, in the scene to be imaged, the focal position for each subject that can be imaged with high sharpness is included.
  • the user manually adjusts the focal position variation range according to the scene. There is no need. Accordingly, the user can easily operate the imaging apparatus, and can reduce confusion with the operation method. Therefore, even when the position of the subject in the imaged scene with respect to the imaging device is unknown, an image with high quality, sharpness, and clearness and an expanded depth of field is obtained for various scenes. be able to.
  • the present invention has a small time lag and can be applied to real-time applications.
  • the variation range determination unit acquires the sharpness of a plurality of regions obtained by dividing the plurality of pre-capture images, for each of the plurality of pre-capture images, and the plurality of regions for each of the plurality of regions.
  • the sharpness for each pre-capture image is compared, and the focal position corresponding to the pre-capture image having the maximum sharpness among the sharpness for each pre-capture image for each of the plurality of regions is determined for each of the plurality of regions.
  • the focal position variation range is determined so as to include a plurality of acquired focal positions.
  • the fluctuation range determination unit acquires the sharpness of a plurality of regions obtained by dividing each of the plurality of pre-capture images for each of the plurality of pre-captures, and for each pre-capture image for each of the plurality of regions.
  • a focal position corresponding to a pre-capture image having the maximum sharpness among the sharpnesses is acquired for each of a plurality of regions.
  • the focal position variation range is determined so that the acquired plurality of focal positions are included.
  • the focal position corresponding to the pre-capture image having the maximum sharpness in each region is acquired, and the focal position variation range is determined based on the acquired focal position.
  • the focal position corresponding to the subject can be acquired. That is, since the focal position variation range is determined so that the acquired focal position is included, an image with high sharpness can be obtained for each subject included in the scene to be imaged.
  • the fluctuation range determination unit acquires the sharpness of the plurality of regions obtained by dividing the plurality of pre-capture images, for each of the plurality of pre-capture images, and for each of the acquired plurality of pre-capture images.
  • a plurality of focal positions at which a pre-capture image having a sharpness greater than a predetermined threshold is captured within the sharpness of each of the plurality of regions are acquired, and the acquired plurality of focal positions are included.
  • the focal position variation range may be determined.
  • the fluctuation range determination unit acquires the sharpness of the plurality of regions obtained by dividing the plurality of pre-capture images, for each of the plurality of pre-capture images, and for each of the plurality of pre-capture images and the plurality of regions.
  • a plurality of focal positions where a pre-capture image having a sharpness greater than a predetermined threshold is captured within each sharpness are acquired.
  • the focal position variation range is determined so that the acquired plurality of focal positions are included.
  • the focal position variation range is determined so that the focal position where a pre-capture image having a sharpness greater than a predetermined threshold is captured is included. That is, since a focal position corresponding to a subject with a high sharpness can be acquired, a range in which a sharpness is imaged in a scene to be imaged can be set as a focal position fluctuation range. For this reason, an image with high sharpness can be obtained.
  • the change range determination unit determines the focus position change range by using a minimum position as a start point and a maximum position as an end point among the plurality of acquired focus positions.
  • the fluctuation range determination unit sets a minimum position in a focus position group including a plurality of focus positions satisfying a predetermined continuity among the acquired plurality of focus positions as a start point and a maximum position as an end point.
  • a plurality of focal position fluctuation ranges can be determined.
  • the imaging unit adjusts an exposure time based on the determined size of the focus position variation range so that pixels of an image to be captured are not saturated, and the focus is within the adjusted exposure time. It is preferable to image the imaging object while changing the focal position according to the position fluctuation range.
  • the exposure time is adjusted so as not to saturate the pixels in accordance with the size of the focal position variation range, it is possible to image the imaging target with as much optical signal as possible. That is, a clear image with high sharpness and high image quality can be obtained.
  • the focal position variation range is preferably limited by a predetermined exposure time.
  • the focal position variation range is limited according to a predetermined exposure time, it is effective, for example, when the amount of light is large.
  • a subject detection unit that detects a subject in the imaging target, and a partial region of an image obtained by imaging the imaging target so that the subject is centered based on the detected subject.
  • a subject area identifying unit for identifying a subject area, wherein the variation range determining unit is configured to maximize the signal-to-noise ratio of the detected subject based on the subject area identified by the subject area identifying unit.
  • the focal position variation range is determined.
  • the variation range determination unit can determine the focal position variation range. For this reason, since the data amount concerning the said evaluation can be decreased, the time which determines a focus position fluctuation
  • the image processing apparatus further includes a selection receiving unit that receives a selection of a region in which the subject in the imaging target is imaged by a user, and the subject region identification unit is based on the selection of the region received by the receiving unit. It is preferable to identify the subject area.
  • the present invention can be realized not only as such an image pickup apparatus but also as an image pickup method in the image pickup apparatus. It can also be realized as a program for causing a computer to execute an imaging method. Such a program can also be distributed via a recording medium such as a CD-ROM or a transmission medium such as the Internet. The present invention can also be realized as an integrated circuit that performs processing of each processing unit.
  • the effect of the present invention is to automatically determine the focal position variation range according to the scene before actually capturing an image.
  • the user does not need to manually adjust the focal position variation range. Accordingly, the user can easily perform an operation, and the user is less confused.
  • the present invention attempts to maximize the high-frequency component and signal-to-noise ratio of the subject in the image, and appropriately determines the focal position variation range based on the scene. Therefore, even if the scene to be imaged is unknown, an image with high image quality, sharpness, and clearness with an expanded depth of field can be obtained for various scene types.
  • Patent Document 2 and other known methods have an effect.
  • Another advantage of the present invention is that fewer high-resolution images are used and stored. Therefore, less memory is required than the memory of the prior art method disclosed in US Pat. Furthermore, the present invention has a small time lag and can be applied to real-time applications.
  • FIG. 1 is a diagram illustrating an image capturing method according to the prior art.
  • FIG. 2 is a flow diagram illustrating a prior art method for constructing an image with an increased depth of field.
  • FIG. 3 is a flow diagram illustrating another prior art method for increasing the depth of field of an imaging device.
  • FIG. 4A is an illustrative example of imaging two separate imaging scenarios in one scene.
  • FIG. 4B is an illustrative example of imaging two separate imaging scenarios in one scene.
  • FIG. 5A is a diagram illustrating an imaging apparatus according to an embodiment of the present invention.
  • FIG. 5B is a diagram illustrating an imaging apparatus according to an embodiment of the present invention.
  • FIG. 6A is a block diagram of an apparatus for extended depth of field according to one embodiment of the present invention.
  • FIG. 6B is a flowchart illustrating depth of field expansion processing according to one embodiment of the present invention.
  • FIG. 7 is a flowchart of a process for evaluating blur and / or sharpness of a subject according to an embodiment of the present invention.
  • FIG. 8 is an illustrative example of an image pre-captured at different focal positions.
  • FIG. 9 is a diagram showing a focused display image of each image pre-captured in FIG.
  • FIG. 10 is a flowchart of a process for determining a focus variation range according to an embodiment of the present invention.
  • FIG. 11A is a diagram illustrating a focus level of a subject in a scene having different focal positions.
  • FIG. 11B is a diagram illustrating a focus level of a subject in a scene having different focal positions.
  • FIG. 11C is a diagram illustrating a focus level of a subject in a scene having different focal positions.
  • FIG. 12 is an illustration of an imaging apparatus according to an embodiment of the present invention.
  • FIG. 13 is a diagram of an imaging apparatus according to an embodiment of the present invention.
  • FIG. 14 is a diagram of an imaging device according to another embodiment of the present invention.
  • FIG. 15 is a diagram of an imaging device according to another embodiment of the present invention.
  • FIG. 16A is a diagram showing an accumulation of high-frequency components of a subject within a predetermined exposure time in various focus sweep ranges.
  • FIG. 16B is a diagram showing an accumulation of high-frequency components of a subject within a predetermined exposure time in various focus sweep ranges.
  • FIG. 16C is a diagram showing an accumulation of high-frequency components of a subject within a predetermined exposure time in various focus sweep ranges.
  • the present invention provides an imaging apparatus and an imaging method for enlarging the depth of field of an image obtained by capturing a scene.
  • at least one image is captured by changing a focal position.
  • the focal position variation range is automatically determined so as to adapt to the scene, the scene is imaged while varying the focal position according to the determined focal position variation range, and at least one output image is obtained.
  • the present invention determines the store fluctuation range so that the signal-to-noise ratio of the subject is maximized in the output image to be output. Therefore, a high-quality, sharp and clear depth-of-field image can be obtained for various scene types.
  • FIG. 4A shows an example of a scene as an imaging target to be imaged, and shows a case where a plurality of subjects exist in the scene.
  • a relatively close subject is close to the imaging device
  • a relatively far subject is away from the imaging device, and there are a plurality of subjects in between.
  • the focus position of the imaging device is set far from a nearby subject so that high-frequency components of all subjects are embedded in the captured image. Change the image to the subject and change the image.
  • the “focus position fluctuation range” from the focal position that focuses on the subject closest to the imaging apparatus to the focal position that focuses on the subject farthest from the imaging apparatus is SR1.
  • FIG. 4B shows another example of imaging a scene where only a nearby subject exists.
  • a focal position variation range different from the focal position variation range SR1 shown in FIG. 4A should be determined adaptively.
  • the focal position variation range is reduced to a focal position variation range SR2 that is shorter than the focal position variation range SR1.
  • the plurality of subjects illustrated in FIG. 4B are located closer to the imaging device than the plurality of subjects illustrated in FIG. 4A. That is, the subject farthest from the imaging device is closer to the subject shown in FIG. 4B than the subject shown in FIG. 4A.
  • An image in which useful information (high-frequency component) of the subject is captured in order to change the focal position variation range according to the position distribution of the subject with respect to the imaging device in the scene so as to include at least the position where each subject is focused. Embedded in.
  • the focal position fluctuation range is fixed or when the focal position fluctuation range is set in advance, unnecessary information (such as blur) may be imaged.
  • unnecessary information such as blur
  • the focal position variation range is preset to SR1
  • only the blur information of the first and second subjects is imaged in the fluctuation range when the focal position fluctuates beyond the focal position fluctuation range SR2.
  • the blurred information of the first and second subjects is captured, the image quality and the sharpness of the subject in the output image may be affected.
  • the focus position variation range SR2 when used for the scene of FIG. 4B, the most useful information (high frequency component) of the subject is imaged, and the blurred information of the subject is not imaged as much as possible. For this reason, when the scene of FIG. 4B is captured, an image captured in the focal position variation range SR2 has a higher signal-to-noise ratio than an image captured in the focal position variation range SR1 during a predetermined exposure time. Thus, since the range of the focal position fluctuation range SR2 is short, the fluctuation of the focal position can be delayed within a predetermined imaging time. As a result, more time of exposure can be performed.
  • the focal position can be changed by moving the imaging lens and / or the imaging element.
  • 5A and 5B show an imaging device 600 according to the present invention.
  • the imaging device 600 includes an imaging element 6 (12), an imaging lens 8 (14), and an actuator 10 (16).
  • the actuator 10 (16) moves one or both of the imaging element 6 (12) and the imaging lens 8 (14).
  • the actuator 10 (16) is realized by a linear motor, a step motor, a servo control system, a piezoelectric element, or a micro electro mechanical system (MEMS).
  • MEMS micro electro mechanical system
  • the actuator 10 (16) is preferably fast and highly accurate.
  • the present invention controls the actuator 10 (16) to move at least one of the imaging element 6 (12) or the imaging lens 8 (14) in a range SF2 shorter than the long range SF1 or SF1 according to the scene, Imaging is performed in a state where the focal position variation range is varied according to the scene. Note that the focal position variation range is automatically determined. Details will be described next.
  • FIG. 6A is a block diagram of an imaging device 600 for enlarging the depth of field of an image according to an embodiment of the present invention.
  • the imaging apparatus 600 includes a pre-capture module 602, a subject sharpness evaluation module 604, a focus variation range determination module 606, an image imaging module 608, a deconvolution module 610, and an internal buffer 612.
  • the pre-capture module 602 functions as a pre-capture unit, images a scene to be imaged for each different focal position, and finally has a plurality of resolutions lower than an output image (see later) output by the imaging device 600. Output a pre-capture image.
  • the pre-capture image output by the pre-capture module 602 may be stored in the internal buffer 612 or may be directly processed by the subject sharpness evaluation module 604.
  • the subject sharpness evaluation module 604 evaluates the sharpness of the subject in a plurality of pre-captured images. Note that the subject sharpness evaluation module 604 may evaluate the blur of the subject instead of evaluating the sharpness of the subject. Here, the subject sharpness evaluation module 604 may evaluate that the sharpness (or blur) of the subject is higher as the spatial frequency in the pre-capture image is higher, and the sharpness is higher as the contrast is higher. May be evaluated as high.
  • the evaluation is indicated as the focus level of the subject in the plurality of pre-capture images. That is, in the following, the evaluation will be described as “subject focus level”, but it may be replaced with “subject sharpness” or “subject blur”. In the case of replacing with “subject blur”, the magnitude relationship is opposite to the “subject focus level”.
  • the result of this evaluation may be stored in the internal buffer 612, or may be directly processed by the focus variation range determination module 606.
  • the focus variation range determination module 606 appropriately determines a focus position variation range suitable for each imaging scene in which the signal-to-noise ratio of the subject in the output image finally output to the imaging device 600 of the scene is maximized. . This determination is based on the result of the evaluation of the sharpness (or blur) of the subject.
  • the subject sharpness evaluation module 604 and the focus variation range determination module 606 function as a variation range determination unit, and are based on the sharpness of a plurality of pre-capture images captured by the pre-capture module 602 functioning as a pre-capture unit.
  • the focal position variation range is determined so that the signal-to-noise ratio in the output image is maximized.
  • the image imaging module 608 functions as an imaging unit, and changes the focal position according to the focal position variation range determined by the subject sharpness evaluation module 604 and the focal variation range determination module 606 that function as a variation range determination unit. Take an image and output at least one output image.
  • the image capturing module 608 simultaneously starts changing the focus position and capturing at least one image when capturing a scene to be captured.
  • the focal position changed at this time is based on the determined focal position fluctuation range. Thereby, a superimposed image corresponding to the focal position variation range is created.
  • the inverse superimposing module 610 functions as a depth-of-field extended image derivation unit, and uses at least one image output by the imaging unit and at least one point spread function (PSF) determined in advance.
  • a depth-of-field-enlarged image with an expanded depth of field is derived. That is, the reverse superimposing module 610 desuperimposes the captured image (superimposed image) output from the image capturing module 608 by using at least one predetermined PSF, and the depth of field is expanded.
  • a depth-of-field enlarged image is derived.
  • the image with the expanded depth of field output by the deconvolution module 610 is also called an “all focus (AIF)” image and may be used for display.
  • AIF images may be used in further processing modules such as depth estimation and depth image based rendering (DIBR) methods. This is described in further detail in other embodiments.
  • a pre-capture module 602, a subject sharpness evaluation module 604, a focus variation range determination module 606, an image imaging module 608, a deconvolution module 610, and an internal buffer 612 that constitute the imaging apparatus 600 are usually an IC (integrated circuit), It is implemented in the form of an ASIC (Application Specific Integrated Circuit), LSI (Large Scale Integrated Circuit), DSP (Digital Signal Processor), or by a CPU-based processor and machine including a PC (Personal Computer). Each of these modules may be composed of a plurality of chips or a single chip. The name used here is LSI, but it may also be called IC, system LSI, super LSI, or ultra LSI depending on the degree of integration.
  • the method for achieving integration may be realized not only by an LSI but also by a dedicated circuit or a general-purpose processor.
  • An FPGA Field Programmable Gate Array
  • DSPs Digital Signal Processors
  • An FPGA Field Programmable Gate Array
  • the imaging device 600 may be incorporated in an imaging device such as a digital still camera or a movie camera.
  • the imaging device 600 may be mounted on a stand-alone device so as to cooperate with an image imaging system in a specialized imaging system or the like. It is also possible to mount the imaging device 600 on other types of devices, which does not limit the scope of the present invention.
  • FIG. 6B is a flowchart of the depth of field expansion process according to an embodiment of the present invention.
  • the pre-capture module 602 captures (pre-captures) scenes to be imaged at different focal positions, and outputs a plurality of pre-capture images.
  • pre-capture indicates a scene imaging process (hereinafter referred to as “pre-capture process”) for calculating a focal position variation range in advance.
  • the image captured by this pre-capture process is not directly used for the configuration of the output image.
  • the pre-capture process may be performed while the camera is in the preview mode. For example, in the case of a movie camera, the preview mode is turned on while the user points the camera at a scene to be captured.
  • the pre-capture process may be performed immediately before the recording button is pressed.
  • the number of images captured in the pre-capture process is less than ten.
  • the pre-capture process takes only 330 milliseconds when capturing all 10 images at normal video speed (30 frames per second). This delay is acceptable because only one pre-capture process is required in the same scene.
  • Another example is when a digital still camera is used.
  • the pre-capture process in this case may be performed immediately after the user presses the shutter button halfway. This does not cause a delay that the user notices.
  • pre-capture processing performed in an exposure and shutter speed determination function, an autofocus function, and the like.
  • the present invention can also use such an existing pre-capture process.
  • a pre-capture process for the autofocus function may be directly used in the present invention. This is because the pre-capture image obtained by the pre-capture process of the present invention may have a different focal point.
  • other pre-capture processing may be used. This does not limit the scope and spirit of the invention.
  • the resolution of the pre-capture image obtained by the pre-capture process is a relatively low resolution.
  • the focal position of each image in the pre-capture processing may be effectively changed by controlling the actuator and moving the imaging element or the imaging lens, or both.
  • step S604 the subject sharpness evaluation module 604 evaluates the sharpness (or blur) of the subject in the plurality of pre-captured pre-capture images, and displays an image indicating the focus level of the subject in the plurality of pre-capture images. obtain.
  • the image is pre-captured in the pre-capture process, the focal position of this image is recorded.
  • subjects with different distances from the imaging device appear to be in sharp focus in different pre-capture images.
  • a specific subject has the maximum sharpness (maximum focus level) in only one pre-capture image.
  • the distance from the imaging device of the subject (hereinafter referred to as “subject distance”) can be calculated.
  • subject distance can be calculated for each of the plurality of subjects as described above, the relative distance to other subjects can also be calculated.
  • the focus variation range determination module 606 adds the focus position variation range to the pre-capture image obtained in step S604 so that the signal-to-noise ratio (SNR) of the subject in the captured image of the scene is maximized.
  • SNR signal-to-noise ratio
  • the start and end points of the range may be determined using at least two subject distances derived from the highest focus level of the subject in the image obtained from step S604.
  • the starting point and the ending point determined in this case correspond to the minimum subject distance and the maximum subject distance in the scene, respectively. Specifically, it is determined by making one start point correspond to the minimum subject distance in the scene and making one end point correspond to the distance within the range from the minimum subject distance to the maximum subject distance in the scene.
  • the focus variation range determination module 606 determines the focus position variation range by setting the minimum position as the start point and the maximum position as the end point among the plurality of focus positions acquired in step S604. Note that the focus variation range determination module 606 uses the minimum position in the focus position group including a plurality of focus positions satisfying a predetermined continuity among the plurality of focus positions acquired in step S604 as the starting point. A plurality of focal position fluctuation ranges may be determined by setting the end point.
  • the “focus position satisfying a predetermined continuity” means, for example, a focus position corresponding to a pre-capture image captured continuously among 10 pre-capture images captured continuously.
  • the first to the third The focal position variation range is determined as two focal position ranges, that is, a focal position range corresponding to the pre-captured images up to the eyes and a focal position range corresponding to the seventh to tenth pre-captured images. .
  • step S608 the image capturing module 608 captures the scene to be imaged while varying the focal position during imaging according to the focal position variation range determined in step S606, and outputs at least one output image.
  • the optical signals of the subjects at both the in-focus position and the out-of-focus position in the scene are accumulated in the pixels of the image sensor 6 (12) to become an output image (superposed image).
  • the focus variation speed may be increased so that the exposure time is shortened in a range other than the focus variation range, or an image is captured in each of the plurality of focus variation ranges. You may make it do. In the latter case, a number of images corresponding to a plurality of focus variation ranges are captured.
  • step S610 the deconvolution module 610 de-superimposes the image captured (superimposed) in step S608 using at least one point spread function (PSF) to expand the depth of field.
  • PSF point spread function
  • a depth-enlarged image is obtained.
  • a plurality of images are captured with a plurality of focus variation ranges set, by superimposing a plurality of images overlaid using a point spread function corresponding to the images, As a result, a depth-of-field enlarged image in which the depth of field is enlarged is obtained.
  • the focal depth variation range is adaptively determined based on the subject distance of the subject in the scene by the above-described depth-of-field expansion process, so that the optical signals of all subjects at the in-focus position are accumulated (integrated) in the pixel. ) This is to surely maximize the high-frequency component of the subject in the image in the scene (which refers to the optical signal of the subject at the in-focus position). Therefore, it is possible to obtain high-quality images with an increased depth of field for various scenes.
  • a known deconvolution method may be used.
  • An example of such a deconvolution method is “wiener deconvolution” or “wiener filter”. Details on this method can be found in R.C. C. Gonzalez & R. E. “Digital Image Processing” by Woods, Addison-Wesley Publishing Company, Inc. 1992 (Non-Patent Document 2).
  • Another example of the known method is “Lucy Richardson Deconvolution”. Details of this method are described in D.C. S. C. Biggs, Applied Optics, vol. 36, no. 8, pp. 1766-1775, 1997, “Acceleration of Iterative Image Restoration Algorithms” (Non-patent Document 3).
  • the PSF used in step S610 is stored in the memory in advance.
  • the PSF stored in the memory in advance may be calculated in advance by calibrating the imaging apparatus 600.
  • a calibration chart is arranged in a scene and images are taken at different focal positions.
  • the calibration chart is imaged by adaptively changing the distance between the calibration chart and the imaging device, and the PSF is calculated using the calibration data obtained by imaging.
  • the PSF may be calculated when an image is captured by using a PSF estimation technique.
  • deconvolution such as blind deconvolution technique is used in step S610.
  • FIG. 7 is a diagram showing details of a method for evaluating the sharpness of a subject according to an example of an embodiment of the present invention. That is, FIG. 7 is a diagram for explaining the details of the process in step S604 in the depth-of-field expansion process.
  • step S702 the subject sharpness evaluation module 604 captures a plurality of pre-capture images as input images, and smoothes the input images.
  • step S704 the subject sharpness evaluation module 604 calculates a vertical gradient image and a horizontal gradient image of the input image, and a vertical gradient image and a horizontal gradient image of the smoothed image.
  • step S706 the subject sharpness evaluation module 604 calculates a difference image between the input image and the vertical gradient image of the smoothed image, and a difference image between the input image and the horizontal gradient image of the smoothed image.
  • step S ⁇ b> 708 the subject sharpness evaluation module 604 uses the calculated vertical gradient difference image and the calculated horizontal gradient difference image to indicate the in-focus display image indicating the focus level of the corresponding input image. Is calculated for each of a plurality of input images (pre-capture images), and an image is obtained by this step.
  • step S710 the method stores the in-focus display image and the focus position calculated for the corresponding input image to indicate the subject distance and subject focus level in the image. Steps S702 to S710 are repeated until all the pre-capture images are evaluated.
  • FIG. 8 is a diagram illustrating an example of a pre-capture image captured at different focal positions in the pre-capture process.
  • this scene is imaged at different focal positions in order from the near focus position to the far focus position.
  • the image 801 is captured at the near focus position.
  • the image 801 is focused on a close subject.
  • the focal position varies with time.
  • the focus position is changed to the center, indicating that the focus is on the center subject. Further, the focus position is changed to the next far focus.
  • the focal point is adjusted to a far object.
  • FIG. 9 is a diagram showing an actual example of the focus level distribution of each pre-capture image. These are 10 pre-captured images that have been captured.
  • the image A is taken with the focus position set to near focus.
  • the focal position is changed from the near focus to the far focus.
  • the image J is captured with the focal position set to the far focus.
  • FIG. 9 shows that the focus level increases from the image A toward the image E. That is, this indicates that the closest subject in the image E is in focus.
  • the focus level of this image is high and decreases in image J. This means that the farthest subject is out of focus (out of focus) because the focus level of all subjects has decreased.
  • the highest focus level of a distant subject is that in image I. Therefore, the focal positions of the images E and I can be used to determine the focal position variation range.
  • FIG. 10 is a detailed view of a process for determining a focus variation range according to an embodiment of the present invention. That is, FIG. 10 is a diagram for explaining the details of the process in step S606 in the process for expanding the depth of field.
  • step S1002 the focus variation range determination module 606 acquires a plurality of focus level distributions and a plurality of focus positions corresponding to the plurality of input images.
  • step S1004 the focus variation range determination module 606 identifies the first image having the maximum focus level of the closest subject in the scene, and the second image having the maximum focus level of the farthest subject in the scene. Identify.
  • step S ⁇ b> 1006 the focus variation range determination module 606 determines the focus position variation based on the focus positions of the identified first and second images so that the signal-to-noise ratio of the output image finally output is maximized. Calculate the range.
  • FIG. 11A to FIG. 11C are diagrams showing examples of in-focus levels for different subjects in a scene over different focal positions.
  • the focal position shown here is closer as the focal position number is smaller, and farther away as the focal number is larger.
  • FIG. 11A shows focus levels over different focal positions when the first subject 811 in FIG. 8 is imaged.
  • the in-focus level of the subject increases from the focal point 1 to the focal point 5 and then decreases continuously.
  • FIG. 11B shows focus levels over different focal positions when the second subject 812 in FIG. 8 is imaged.
  • the in-focus level of the subject increases from the focal position 1 to the focal position 6, moves horizontally to the focal positions 7 and 8, and then decreases. That is, the focus level corresponding to the intermediate subject is shown.
  • FIG. 11C shows focus levels over different focal positions when the third subject 813 in FIG. 8 is imaged.
  • the focus level of the subject increases from the focal position 1 to the focal position point 9 and then decreases. That is, the focus level corresponding to a distant subject is shown.
  • the focal position variation range is derived from the focal position of the pre-capture image corresponding to P5 and P9.
  • the focus variation range determination module 606 acquires the focus levels (sharpness) of the plurality of regions obtained by dividing the plurality of pre-capture images, for each of the plurality of pre-captures.
  • the focal position corresponding to the pre-capture image having the maximum sharpness among the focus levels (sharpness) for each pre-capture image is acquired for each of a plurality of regions. Then, the focal position variation range is determined so that the acquired plurality of focal positions are included.
  • the focal position corresponding to the pre-capture image having the maximum focus level (sharpness) in each region is acquired, and the focal position variation range is determined based on the acquired focal position.
  • the focal position corresponding to the subject can be acquired. That is, since the focal position variation range is determined so that the acquired focal position is included, an image with high sharpness can be obtained for each subject included in the scene to be imaged.
  • the focus variation range determination module 606 acquires the focus levels (sharpness) of a plurality of regions obtained by dividing the plurality of pre-capture images, for each of the plurality of pre-capture images, and the acquired plurality of pre-capture images.
  • a plurality of focal positions where a pre-capture image having a sharpness greater than a predetermined threshold is captured within the in-focus level for each captured image and for each of a plurality of areas are acquired, and the acquired plurality of focal positions are included.
  • the focal position variation range may be determined as described above.
  • the focus variation range determination module acquires the focus levels (sharpness) of the plurality of regions obtained by dividing the plurality of pre-capture images, for each of the plurality of pre-capture images.
  • the focal position variation range is determined so that the acquired plurality of focal positions are included.
  • the focal position variation range is determined so that the focal position where a pre-capture image having a focus level (sharpness) larger than at least a predetermined threshold is captured is included.
  • the focal position corresponding to a subject with a high focus level (sharpness) can be acquired, the range where the focus level (sharpness) is imaged in the scene to be imaged is set as the focus position fluctuation range. can do. For this reason, an image with high sharpness can be obtained.
  • FIG. 12 is a schematic block diagram of hardware of the imaging apparatus 600 according to the embodiment of the present invention.
  • the imaging apparatus 600 includes an optical system 1202, an imaging element 1204, an ADC (Analog-Digital Converter) 1206, an image processor 1208, a microcomputer 1210, an external memory 1212, a driver controller 1220, and an OIS (optical type). (Shake prevention mechanism) sensor 1218, operation unit 1222, storage / transmission device 1216, and display device 1214.
  • the image processor 1208 includes an internal memory 1240, an expanded depth of field module 1246, an original image processor 1242, a color image processor 1243, and a 3D image processor 1244 as necessary. Other components such as a microphone and a speaker are not shown, but this does not limit the scope of the present invention.
  • the optical system 1202 may include components such as a plurality of lenses or a set of lenses, a zoom / focus mechanism, an actuator, a shutter, and an opening in order to control an optical signal reaching the image sensor 1204.
  • the image sensor 1204 accumulates incident light operated by the optical system 1202 and converts the light into an electrical signal.
  • the image sensor 1204 is controlled by the microcomputer 1210.
  • the electrical signal converted by the image sensor 1204 is converted to digital data (original image data) by the ADC 1206 and stored in the internal memory 1240 or the external memory 1212.
  • the original image data includes a set of a plurality of pre-capture images, and each pre-capture image is captured at a different focal position.
  • the original image data includes an image having a higher resolution than the pre-capture image. An image having a resolution higher than that of the pre-capture image is captured while changing the focal position at the time of image capturing, so that original image data in a state in which images captured at different focal positions are superimposed is created.
  • the original image processor 1242 may capture original image data from the internal memory 1240 (or the external memory 1212) and perform many preprocessing (not shown) such as resizing, linearity correction, white balance, gamma correction, and the like. .
  • This preprocessed original image data may be stored or transmitted by the storage / transmission device 1216.
  • a color image such as RGB or YCbCr can be generated.
  • the color image processor 1243 performs processes such as color interpolation, color correction, adjustment of the color tone range, and reduction of color noise in order to generate a suitable color image.
  • the enlarged depth-of-field module 1246 captures the pre-captured image and controls the microcomputer 1210 to drive the imaging lens or imaging element to vary the focal position during image capture.
  • the captured image is input to an enlarged depth of field module 1246 to generate an enlarged depth of field (“All In Focus (AIF)”) image.
  • AIF image may be used for display on the display device 1214 or may be stored in the storage / transmission device 1216.
  • Examples of storage devices within the storage / transmission device 1216 include, but are not limited to, flash-based memory cards, hard drives, and optical drives. Further, examples of the transmission device in the storage / transmission device 1216 include, but are not limited to, an HDMI interface, a USB interface, a wireless interface, and a direct-to-printer interface.
  • Data processed by the storage / transmission device 1216 may optionally be lossless or lossy compressed.
  • the output AIF image may be used in a further processing module such as a 3D image processor 1244.
  • the AIF image may be used for depth estimation and 3D image generation. Details of this will be described later in the following embodiment.
  • the optical system 1202 may be controlled by a driver controller 1220 that is controlled by the microcomputer 1210.
  • the operation unit 1222 receives input by a user operation and transmits an electric signal to the microcomputer 1210 to control related modules, for example, modules corresponding to user inputs such as the driver controller 1220, the image sensor 1204, and the image processor 1208. To do.
  • the OIS sensor 1218 detects movement caused by camera shake or camera movement, and transmits an electric signal to the microcomputer 1210.
  • the microcomputer 1210 controls the driver controller 1220 to control an actuator or the like in the optical system 1202 for moving the lens so as to compensate for the motion via the driver controller 1220, thereby causing camera shake or motion blur caused by the camera. To reduce the impact.
  • the image processor 1208 may transmit the first electrical signal from the enlarged depth of field module 1246 to the microcomputer 1210.
  • the microcomputer 1210 controls the driver controller 1220 to control an actuator or the like in the optical system 1202 for changing the focal position of each image during the pre-capture process.
  • the image processor 1208 may transmit the second electric signal from the enlarged depth of field module 1246 to the microcomputer 1210.
  • the microcomputer 1210 controls the driver controller 1220 to control an actuator or the like for moving the lens in the optical system 1202 so as to compensate for the movement, to change the focal position during the pre-capture process, and to display the superimposed image. Create and input to an expanded depth of field module 1246 to generate an expanded depth of field image.
  • the image processor 1208, the expanded depth of field module 1246, and the modules inside thereof are usually realized in the form of an IC (Integrated Circuit), an ASIC (Application Specific Integrated Circuit), or an LSI (Large Scale Integrated Circuit). Each of these modules may be composed of a plurality of chips or a single chip.
  • the name used here is LSI, but it may also be called IC, system LSI, super LSI, or ultra LSI depending on the degree of integration.
  • the method for achieving integration may be realized not only by an LSI but also by a dedicated circuit or a general-purpose processor. This includes specialized microprocessors such as DSPs (Digital Signal Processors) that can be controlled by program instructions.
  • DSPs Digital Signal Processors
  • An FPGA Field Programmable Gate Array
  • a processor that can reconfigure the connection or configuration of the LSI may be used.
  • manufacturing and processing technologies will improve and entirely new technologies may replace LSIs. Integration can be done by that technique.
  • the pre-capture module 602 obtains a pre-capture image as a result of imaging the imaging target at a plurality of different focal positions before actually capturing the imaging target and obtaining an output image.
  • the subject sharpness evaluation module 604 obtains the sharpness of a plurality of pre-capture images. That is, the subject sharpness evaluation module 604 obtains the sharpness of the pre-capture image captured at a plurality of focal positions in advance, so that the position of the subject in the scene to be imaged can be grasped.
  • the focus variation range determination module 606 can automatically determine the focus position variation range so that, for example, the focus position for each subject that can be imaged with high sharpness is included in the scene to be imaged.
  • the user manually adjusts the focal position variation range according to the scene. There is no need. Accordingly, the user can easily operate the imaging apparatus, and can reduce confusion with the operation method. Therefore, even when the position of the subject in the imaged scene with respect to the imaging device 600 is unknown, images with high quality, sharpness, and clearness with an expanded depth of field for various scenes. Obtainable.
  • the present invention has a small time lag and can be applied to real-time applications.
  • FIG. 13 is a block diagram illustrating an expanded depth of field device 1300 including an imaging device according to an embodiment of the invention.
  • the enlarged depth of field device 1300 pre-captures a plurality of scenes to be imaged and stores them in the memory 1340. Each pre-capture image is captured at a different focal position. Therefore, each subject existing in different pre-capture images has a different sharpness.
  • the controller 1320 controls an actuator (not shown) to move at least one of the lens system 1302 and the image sensor 1304 in order to change the focal position of the image when pre-capturing.
  • the subject sharpness evaluation module 1346 captures a plurality of images from the memory 1340, evaluates the blur and / or sharpness of the subject in each image, and indicates the subject distance corresponding to the subject in the image and the focus level of the subject. Get the data.
  • the subject sharpness evaluation module 1346 may store the obtained data in the memory 1340, and may further send the obtained data to the focus variation range determination module 1342.
  • the focus variation range determination module 1342 takes in the obtained data and determines the focus position variation range. Specifically, the focus variation range determination module 1342 is based on the data obtained above, and the maximum focus level obtained for a near subject and the maximum focus level obtained for a far subject. Is taken into consideration to determine the start point and end point of the focus variation range.
  • the focus variation range determination module 1342 derives from the focus position of the pre-capture image where the focus level of the near subject is the maximum as the start point of the focus variation range, and the focus level of the far subject is the maximum as the end point of the focus variation range. Is derived from the focus position of the pre-capture image. That is, an image of a scene captured by moving at least one of the lens system 1302 and the image sensor 1304 according to the focus variation range includes all the maximum focus levels from a near subject to a far subject. . Therefore, in an image captured in a state where the focal position is changed within the determined range, an image in which an image that maximizes the sharpness of all subjects is superimposed is captured.
  • the focus variation range determination module 1342 transmits an electrical signal indicating the focus position variation range to the controller 1320.
  • the controller 1320 controls the actuator to change the focal position during image capturing based on the electrical signal indicating the focal position fluctuation range.
  • the apparatus captures at least one image while changing the focal position and stores it in the memory 1340.
  • the deconvolution module 1343 takes an image stored in the memory 1340 and deconvolves the image by using at least one predetermined point spread function (PSF) to obtain an AIF image.
  • PSF point spread function
  • the enlarged depth of field device 1300 may further capture additional near-focus images and far-focus images. Alternatively, the near focus image and the far focus image may be used in the deconvolution module 1343.
  • the AIF image may be used for display as an image (2D) with enhanced depth of field.
  • AIF images, near focus images, and far focus images may be used in depth estimation module 1345.
  • the depth estimation module 1345 estimates the depth map using advanced optical illusion (A-DFD) techniques.
  • A-DFD advanced optical illusion
  • the estimated depth map and AIF image are input to a DIBR (depth image based rendering) module 1347.
  • the DIBR module 1347 generates left and right images for stereoscopic viewing that can be used for 3D viewing.
  • the focus position variation range may be adaptively determined based on the scene to be imaged. For example, the range in which the focal position is changed in order to capture a scene including a subject with a distance from 1.0 meter to 2.5 meters captures a scene including a subject with a distance from 1.0 meter to 10 meters. Therefore, it may be shorter than the focal position fluctuation range.
  • f is the focal length of the imaging system in the enlarged depth of field device 1300
  • u is the distance between the subject and the imaging lens in the scene
  • v is the distance u. This is the distance between the imaging lens and the image plane at which a certain subject looks sharp when focused.
  • the range in which the focal position is varied to capture a scene including a subject with a distance of 1.0 to 10.0 meters is set to 18.3299 mm to 18.0324 mm.
  • the actuator is controlled to move the imaging lens or the imaging element by a distance of 297.5 um.
  • the focus level (at the focal point) of the subject of the captured image (while changing the focal position) is maximized.
  • the signal-to-noise ratio of the subject is maximized.
  • FIG. 16A to FIG. 16C are obtained by calculating the in-focus level of a subject during a predetermined exposure time in various focus sweep (variation) ranges by integrating the contrast.
  • this scene includes a subject OB1 (relatively close to the camera), a subject OB2 (center), and a subject OB3 (relatively far from the camera).
  • the focal position variation range is set so as to integrate the maximum in-focus (maximum contrast) of the subjects OB1, OB2, and OB3, and corresponds to the distance D1.
  • the amount of time for integrating the light signal of the subject at each position is calculated by, for example, [integrated time (T) / distance (D1)].
  • T integrated time
  • D1 distance
  • the focal position variation range is changed and shortened. This is because only the optical signals from the maximum focus point of OB1 to the maximum focus position of OB2 are integrated.
  • the time for integrating the optical signal of the subject at each position is [integrated time (T) / distance (D3)]> [integrated time (T) / distance (D2)]. That is, when capturing a scene of only the subjects OB1 and OB2, it is possible to acquire a subject contrast corresponding to different focal lengths by capturing a plurality of pre-capture images in advance.
  • the range not included is automatically set as the focus variation range. In this way, since the focus range can be set in accordance with the range where the subject exists, the signal-to-noise ratio at the focus position of the subject in the captured image is maximized.
  • the exposure time of the imaging system may be adjusted based on the determined focal position variation range. This is effective for still images. For example, if the initial exposure time is set to 1/8 second and the determined fluctuation range is 4.3 mm and the actuator moves at a maximum speed of 43 mm / second, the exposure time for this range is adjusted to 1/10 second. May be.
  • the operating speed of the actuator may be adjusted to match the exposure time. In this example, the operating speed of the actuator may be adjusted to 34.4 mm / sec.
  • the exposure time may be adjusted so that the pixel is not saturated according to the size of the focal position variation range.
  • the imaging target can be imaged in a state where the amount of optical signal is as large as possible. That is, a clear image with high sharpness and high image quality can be obtained.
  • the focal position variation range may be limited according to a predetermined exposure time. This is effective when the amount of light is large.
  • the image quality of the output AIF image is improved by capturing the image of the scene while changing the focal position during image capturing.
  • the output AIF image is used for display (2D viewing)
  • a sharper and clearer subject can be seen.
  • the output AIF image is used for depth estimation (1345)
  • the accuracy of the estimated depth map is improved.
  • the output AIF image is used for 3D image generation, a sharp and clear 3D image is obtained, and the effect of 3D viewing is improved.
  • FIG. 14 is a block diagram of an imaging apparatus 1400 according to another embodiment of the present invention.
  • the difference between this embodiment and the embodiment in FIG. 13 is that a subject detection module 1446 is used.
  • the subject detection module 1446 functions as a subject detection unit, and detects a subject such as a face in a scene to be imaged.
  • the subject detection module 1446 also functions as a subject region identification unit, and is a region of a portion of an image obtained by imaging an imaging target based on a detected subject such as a face so that the detected subject is centered.
  • a region of interest (ROI) is identified as the subject region. ROI data regarding the identified region of interest may be transmitted to the focus variation range determination module 1442.
  • ROI region of interest
  • the focus variation range determination module 1442 determines a range in which the focus position is varied based on the ROI data so that the signal-to-noise ratio of the subject detected in the image of the captured scene is maximized.
  • the focus variation range determination module 1442 transmits an electrical signal indicating the range in which the focus position is varied to the controller 1420.
  • the controller 1420 controls the actuator to change the focal position during image capturing.
  • the apparatus captures at least one image while changing the focal position and stores it in the memory 1424.
  • the desuperimposing module 1443 takes a captured image, desuperimposes, and obtains an output AIF image.
  • the device may also take additional near and far focus images. Alternatively, near focus and far focus images may be used in the deconvolution module 1443.
  • the AIF image may be used for display as an image (2D) with enhanced depth of field.
  • AIF images, near focus images, and far focus images may be used in depth estimation module 1445.
  • the depth estimation module 1445 estimates the depth map using advanced illusion phenomenon (A-DFD) techniques.
  • A-DFD advanced illusion phenomenon
  • the estimated depth map and AIF image are input to a DIBR (depth image based rendering) module 1447.
  • the DIBR module 1447 generates right and left images for stereoscopic viewing that can be used for 3D viewing.
  • the focus variation range determination module 1442 can determine the focal position variation range by evaluating the pre-capture image while focusing on the ROI. For this reason, since the data amount concerning the said evaluation can be decreased, the time which determines a focus position fluctuation
  • FIG. 15 is a block diagram of an imaging apparatus 1500 according to another embodiment of the present invention.
  • the difference between this embodiment and the embodiment in FIG. 13 is that a user interface module 1546 is implemented.
  • the user interface module 1546 functions as a selection receiving unit, and is interested in selecting a region where the subject in the imaging target is imaged by the user via a user interaction device such as a touch screen display device provided in the display module 1514. Accepted as an object (OOI).
  • the user interface module 1546 also functions as a subject area identification unit, and identifies the ROI in the scene so that the OOI is the center of the area of interest (ROI) based on the received OOI data regarding the object of interest.
  • the ROI data regarding the identified ROI is transmitted to the focus variation range determination module 1542.
  • the focus variation range determination module 1542 determines the focus position variation range based on the ROI data so that the signal-to-noise ratio of the OOI detected in the image of the captured scene is maximized.
  • the focus variation range determination module 1542 transmits an electrical signal indicating the range in which the focus position is varied to the controller 1520.
  • the controller 1520 controls the actuator to change the focal position during image capturing.
  • the apparatus captures at least one image while changing the focal position and stores it in the memory 1524.
  • the deconvolution module 1543 captures a captured image, deconvolves it, and obtains an output AIF image.
  • the device may also take additional near and far focus images. Alternatively, near-focus and far-focus images may be used in the deconvolution module 1543.
  • the AIF image may be used for display as an image (2D) with enhanced depth of field.
  • AIF images, near focus images, and far focus images may be used in depth estimation module 1545.
  • the depth estimation module 1545 estimates the depth map using advanced illusion phenomenon (A-DFD) techniques.
  • A-DFD advanced illusion phenomenon
  • the estimated depth map and AIF image are input to a DIBR (depth image based rendering) module 1547.
  • the DIBR module 1547 generates right and left images for stereoscopic viewing that can be used for 3D viewing.
  • the subject region region of interest
  • OOI object of interest
  • the present invention is efficient, uses less memory, has no significant time lag, allows real-time operation, and automatically produces sharp images for various scenes even when the scene being imaged is unknown and unpredictable. It is useful as an imaging device that can be obtained.

Abstract

　本発明の目的は、シーンの画像の被写界深度を拡大するための方法および装置を提案することである。撮像装置（６００）は、所定の焦点範囲において異なる焦点位置毎に撮像対象を撮像し、撮像した結果を出力画像よりも解像度の低い複数のプリキャプチャ画像として出力するプリキャプチャモジュール（６０２）と、プリキャプチャモジュール（６０２）により撮像された複数のプリキャプチャ画像の鮮鋭度を算出する被写体鮮鋭度評価モジュール（６０４）と、被写体鮮鋭度評価モジュール（６０４）により算出された鮮鋭度に基づいて、出力画像における信号対雑音比が所定の閾値以上となるように所定の焦点範囲の内の焦点位置変動範囲を決定する焦点変動範囲決定モジュール（６０６）と、焦点変動範囲決定モジュール（６０６）により決定された焦点位置変動範囲に従って、焦点位置を変動させている状態において撮像対象を撮像し、撮像した結果を少なくとも１つの出力画像として出力する画像撮像モジュール（６０８）とを備える。

Description

撮像装置、撮像方法、プログラム、および集積回路
　本発明は、画像データ処理に関する。より具体的には、本発明は、焦点位置を変動させながら撮像された少なくとも１つの画像から、拡大された被写界深度を生成するための方法および装置に関する。
　被写界深度が大きい画像は、比較的近い被写体および比較的遠い被写体がどちらも適度に鮮鋭に（合焦して）見える、比較的深度の深い３次元（３Ｄ）の画像である。大きな被写界深度は、多くの場合において好まれている。例えば、あるシーンを３Ｄに適用する際に、美しい背景の前に人物が立っているシーンでは、人物と人物の奥側にある美しい背景との両方の画像を鮮鋭に３Ｄ（つまり立体視の３Ｄ）で見ることが好ましい。これにより、視聴者は、手前側の人物を見る場合であっても、奥側の美しい背景を見る場合であっても、両方の場合において３Ｄの画像を鮮鋭に見ることができる。
　従来では、撮像装置の絞りのＦ値を大きくする（口径を減少させる）ことにより被写界深度を深くする容易な方法が達成された。しかしながら、これにより、撮像される入射光の量が減少する。このため、この撮像画像は特に、ノイズが多く、シャッター速度が遅くなり手ブレや被写体ブレを発生させることがある。
　被写界深度を深くするための方法が以下の特許文献１および２に開示されている。特許文献１（米国特許第６２０１８９９号明細書、２００１年３月１３日発行）は、拡大被写界深度の画像化方法および装置を開示している。この方法は、異なる焦点位置で撮像された複数のソース画像を用いて、１つの画像に合成する。図２を参照すると、この方法では、異なる焦点位置で撮像された複数のソース画像（Ｉ１からＩＭ）を受信する。比較的高い周波数成分を得るために、ハイパスフィルタが各ソース画像に適用される。そして、この方法では、複数のソース画像毎に高周波成分のエネルギーレベルを算出して、エネルギーレベルが最大である複数のサブ領域を選択する。最後に、高周波成分のエネルギーレベルが最大のソース画像に対応する複数のサブ領域を合成することにより、拡大被写界深度の画像が構成される。
　しかしながらこの方法は、画像の合成が開始できるようになる前に複数のソース画像の全てを完全に受信する必要がある。このため、この方法により拡大被写界深度の画像を得るためには、多くの場合、複数のソース画像の撮像に要する時間に少なくとも等しいタイムラグが生じる。このようなタイムラグは、拡大被写界深度の画像を得ることにリアルタイムの動作が求められている場合、許容できるものではない。さらに、この方法では、特に高解像度のソース画像を用いる場合、通常は、ソース画像およびフィルタリング処理された画像を格納するために膨大なメモリが必要である。
　また、特許文献２（米国特許第７７１１２５９号明細書、２０１０年５月４日発行）は、画像の被写界深度を深くするための方法および装置を開示している。図３を参照すると、この方法では、複数の画像を異なる焦点位置で撮像し、撮像された画像を合成して１つの最終画像を作成する。次に、この方法は、最終画像を鮮鋭化して被写界深度が改良された出力画像を構成する。しかしながらこの方法にも、複数の画像が用いられることに欠点がある。それは、タイムラグが発生することがあることである。したがって、この方法は、リアルタイムの用途には不適切である。
　また、特許文献２の別の実施形態において、別の方法も提案されている。この方法は、画像の撮像時に焦点位置を変化させながら１つの画像のみ撮像して、１つの最終画像を作成する。次に、この方法は、最終画像を鮮鋭化して被写界深度が改良された画像を構成する。変化させる焦点位置の範囲は、ユーザが手動で設定してもよく、またはカメラに予め設定されていてもよい。したがって、この方法は、完全に自動ではなく、一般的なユーザにとってはその範囲を調整することが難しい。さらに、この方法は、撮像されるシーンが未知または予測不可能である場合には不適切である。
　さらに、非特許文献１（「Ｆｌｅｘｉｂｌｅ　Ｄｅｐｔｈ　ｏｆ　Ｆｉｅｌｄ　Ｐｈｏｔｏｇｒａｐｈｙ」，　Ｓ．　Ｋｕｔｈｉｒｕｍｍａｌ，　Ｈ．　Ｎａｇａｈａｒａ，　Ｃ．　Ｚｈｏｕ，　ａｎｄ　Ｓ．　Ｋ．　Ｎａｙａｒ，　ＩＥＥＥ　Ｔｒａｎｓａｃｔｉｏｎｓ　ｏｎ　Ｐａｔｔｅｒｎ　Ａｎａｌｙｓｉｓ　ａｎｄ　Ｍａｃｈｉｎｅ　Ｉｎｔｅｌｌｉｇｅｎｃｅ，　Ｖｏｌ．９９，　Ｍａｒ，　２０１０．）は、焦点位置を画像撮像時に変化させながら１つの画像を撮像するものである。これらの既知の方法は、変化させる焦点位置の範囲を予め設定している。図１を参照すると、既知の方法のいくつかは、常にＺ１で合焦することにより画像の撮像（シャッターを開く）を開始し、画像の撮像を終了する（シャッターを閉じる）前に焦点位置をＺ３に移動させる。この方法は、シーンが予めわかっているか、画像の撮像環境がわかっている場合、例えば、電子顕微鏡での撮像のように、カメラと被写体との距離がわかっている場合などに適切である。しかしながら、これらの方法は、撮像されるシーンタイプが未知または予測不可能である場合には不適切である。
米国特許第６２０１８９９号明細書 米国特許第７７１１２５９号明細書
「Ｆｌｅｘｉｂｌｅ　Ｄｅｐｔｈ　ｏｆ　Ｆｉｅｌｄ　Ｐｈｏｔｏｇｒａｐｈｙ」，　Ｓ．　Ｋｕｔｈｉｒｕｍｍａｌ，　Ｈ．　Ｎａｇａｈａｒａ，　Ｃ．　Ｚｈｏｕ，　ａｎｄ　Ｓ．　Ｋ．　Ｎａｙａｒ，　ＩＥＥＥ　Ｔｒａｎｓａｃｔｉｏｎｓ　ｏｎ　Ｐａｔｔｅｒｎ　Ａｎａｌｙｓｉｓ　ａｎｄ　Ｍａｃｈｉｎｅ　Ｉｎｔｅｌｌｉｇｅｎｃｅ，　Ｖｏｌ．９９，　Ｍａｒ，　２０１０． 「Ｄｉｇｉｔａｌ　Ｉｍａｇｅ　Ｐｒｏｃｅｓｓｉｎｇ」、Ｒ．Ｃ．Ｇｏｎｚａｌｅｚ＆Ｒ．Ｅ．Ｗｏｏｄｓ、Ａｄｄｉｓｏｎ－Ｗｅｓｌｅｙ　Ｐｕｂｌｉｓｈｉｎｇ　Ｃｏｍｐａｎｙ，Ｉｎｃ．、１９９２年 「Ａｃｃｅｌｅｒａｔｉｏｎ　ｏｆ　Ｉｔｅｒａｔｉｖｅ　Ｉｍａｇｅ　Ｒｅｓｔｏｒａｔｉｏｎ　Ａｌｇｏｒｉｔｈｍｓ」、Ｄ．Ｓ．Ｃ．Ｂｉｇｇｓ，Ａｐｐｌｉｅｄ　Ｏｐｔｉｃｓ，ｖｏｌ．３６、ｎｏ．８、１７６６-１７７５頁、１９９７年
　本発明の目的は、シーンの画像の被写界深度を拡大するための方法および装置を提案することである。特に、効率的でメモリ使用が少なく、著しいタイムラグがなく、リアルタイムの動作が可能であり、撮像するシーンが未知で予測不可能である場合でも種々のシーンに対して鮮鋭な画像が自動的に得ることができる方法および装置を提供することにある。
　上記目的を達成するために、本発明の一形態にかかる情報処理装置は、焦点位置を変動させている状態において撮像対象を撮像し、撮像した結果を少なくとも１つの出力画像として出力する撮像装置であって、所定の焦点範囲において異なる焦点位置毎に前記撮像対象を撮像し、撮像した結果を前記出力画像よりも解像度の低い複数のプリキャプチャ画像として出力するプリキャプチャ部と、前記プリキャプチャ部により撮像された前記複数のプリキャプチャ画像の鮮鋭度を算出する鮮鋭度算出部と、前記鮮鋭度算出部により算出された鮮鋭度に基づいて、前記出力画像における信号対雑音比が所定の閾値以上となるように前記所定の焦点範囲の内の焦点位置変動範囲を決定する変動範囲決定部と、前記変動範囲決定部により決定された前記焦点位置変動範囲に従って、焦点位置を変動させている状態において前記撮像対象を撮像し、撮像した結果を少なくとも１つの前記出力画像として出力する撮像部とを備える。
　ここで、さらに、前記撮像部によって出力された少なくとも１つの画像と、予め定められた少なくとも１つの点広がり関数とを用いて、被写界深度が拡大された被写界深度拡大画像を導出する被写界深度拡大画像導出部を備えることが好ましい。
　これによれば、実際に撮像対象を撮像して出力画像を得る前に、撮像対象を異なる焦点位置毎に複数回撮像した結果としてプリキャプチャ画像を得て、複数のプリキャプチャ画像の鮮鋭度を求めている。つまり、複数の焦点位置において撮像されたプリキャプチャ画像の鮮鋭度を予め求めることにより、撮像対象となるシーンにおける被写体の撮像装置に対する位置を把握することができる。これにより、変動範囲決定部は、例えば、撮像対象となるシーンにおいて、鮮鋭度が大きく撮像できる各被写体に対する焦点位置が含まれるように焦点位置変動範囲を自動的に決定することができる。
　このように、実際に画像を撮像する前に、焦点位置変動範囲を撮像対象となるシーンに応じて自動的に決定することにより、ユーザは、焦点位置変動範囲をシーンに合わせて手動で調整する必要がない。これにより、ユーザは、撮像装置の操作を容易に行うことができ、操作方法を混乱することを低減できる。したがって、撮像されるシーンにおける被写体の撮像装置に対する位置が未知の場合であっても、種々のシーンに対して高品質、鮮鋭、かつクリアであって、被写界深度が拡大された画像を得ることができる。
　また、焦点位置変動範囲を決定するために取得される複数のプリキャプチャ画像は出力画像よりも低解像度であるため、使用および格納する高解像度画像が少なくて済む。したがって、特許文献１において開示された先行技術の方法のメモリよりも、少ないメモリでよい。さらに、本発明は、タイムラグが少なく、リアルタイムの用途に適用することが可能である。
　ここで、前記変動範囲決定部は、前記複数のプリキャプチャ画像をそれぞれ分割して得られる複数の領域の鮮鋭度を、複数のプリキャプチャ画像毎に取得し、前記複数の領域毎に前記複数のプリキャプチャ画像別の鮮鋭度を比較し、前記複数の領域毎の前記プリキャプチャ画像別の鮮鋭度の内で最大の鮮鋭度を有するプリキャプチャ画像に対応する焦点位置を、前記複数の領域毎に取得し、取得した複数の焦点位置が含まれるように前記焦点位置変動範囲を決定するとすることが好ましい。
　これによれば、変動範囲決定部が、複数のプリキャプチャ画像をそれぞれ分割して得られる複数の領域の鮮鋭度を、複数のプリキャプチャ毎に取得し、複数の領域毎のプリキャプチャ画像別の鮮鋭度の内で最大の鮮鋭度を有するプリキャプチャ画像に対応する焦点位置を複数の領域毎に取得する。そして、取得した複数の焦点位置が含まれるように焦点位置変動範囲を決定する。
　このため、各領域において最大の鮮鋭度を有するプリキャプチャ画像に対応する焦点位置を取得し、取得した焦点位置に基づいて焦点位置変動範囲を決定する。これにより、分割された領域に被写体が存在する場合に、その被写体に対応する焦点位置を取得することができる。つまり、取得した焦点位置が含まれるように焦点位置変動範囲が決定されるため、撮像対象となるシーンに含まれる各被写体に対して鮮鋭度の高い画像を得ることができる。
　ここで、前記変動範囲決定部は、前記複数のプリキャプチャ画像をそれぞれ分割して得られる複数の領域の鮮鋭度を、複数のプリキャプチャ画像毎に取得し、取得した前記複数のプリキャプチャ画像毎かつ前記複数の領域毎の鮮鋭度の内で、予め定められた閾値よりも大きい鮮鋭度を有するプリキャプチャ画像が撮像された焦点位置を複数取得し、取得した複数の焦点位置が含まれるように前記焦点位置変動範囲を決定するとすることもできる。
　これによれば、変動範囲決定部が、複数のプリキャプチャ画像をそれぞれ分割して得られる複数の領域の鮮鋭度を、複数のプリキャプチャ画像毎に取得し、複数のプリキャプチャ毎かつ複数の領域毎の鮮鋭度の内で、予め定められた閾値よりも大きい鮮鋭度を有するプリキャプチャ画像が撮像された焦点位置を複数取得する。そして、取得した複数の焦点位置が含まれるように焦点位置変動範囲を決定する。
　このため、少なくとも予め定められた閾値よりも大きい鮮鋭度を有するプリキャプチャ画像が撮像された焦点位置が含まれるように焦点位置変動範囲が決定される。つまり、鮮鋭度の大きい被写体に対応する焦点位置を取得できるため、撮像対象となるシーンの内で鮮鋭度が大きく撮像される範囲を焦点位置変動範囲として設定することができる。このため、鮮鋭度の高い画像を得ることができる。
　ここで、前記変動範囲決定部は、取得した前記複数の焦点位置の内で、最小の位置を始点とし、最大の位置を終点とすることにより前記焦点位置変動範囲を決定することが好ましい。
　ここで、前記変動範囲決定部は、前記取得した複数の焦点位置の内で、所定の連続性を満たす複数の焦点位置から成る焦点位置群における最小の位置を始点とし最大の位置を終点とすることにより前記焦点位置変動範囲を複数決定することもできる。
　ここで、前記撮像部は、決定された前記焦点位置変動範囲の大きさに基づいて、撮像される画像の画素が飽和しないように露光時間を調整し、調整した前記露光時間内に、前記焦点位置変動範囲に従って焦点位置を変動させながら前記撮像対象を撮像することが好ましい。
　これによれば、焦点位置変動範囲の大きさに応じて画素が飽和しないように露光時間を調整するため、光信号の量が極力多い状態で撮像対象を撮像することができる。つまり、鮮鋭度が高く、高画質でクリアな画像を得ることができる。
　ここで、前記焦点位置変動範囲は、予め定められた露光時間により制限されることが好ましい。
　これによれば、予め定められた露光時間に従って焦点位置変動範囲が制限されるため、例えば、光の量が多い場合などに有効である。
　ここで、さらに、前記撮像対象における被写体を検出する被写体検出部と、前記検出された前記被写体に基づいて、当該被写体が中心になるように前記撮像対象を撮像した画像の一部の領域である被写体領域を識別する被写体領域識別部とを備え、前記変動範囲決定部は、前記被写体領域識別部により識別された前記被写体領域に基づいて、検出された被写体の信号対雑音比が最大になるように前記焦点位置変動範囲を決定することが好ましい。
　これによれば、被写体領域を識別することにより、被写体領域に絞ってプリキャプチャ画像を評価して、焦点位置変動範囲を変動範囲決定部が決定することができる。このため、当該評価にかかるデータ量を少なくできるため、焦点位置変動範囲を決定する時間を短くすることができる。
　ここで、さらに、ユーザによる前記撮像対象における被写体が撮像される領域の選択を受け付ける選択受付部を備え、前記被写体領域識別部は、前記受付部により受け付けられた前記領域の選択に基づいて、前記被写体領域を識別することが好ましい。
　これによれば、ユーザによって与えられた情報に基づいて、被写体領域を認識しているため、少なくともユーザの意図に適した被写体について高い鮮鋭度の画像を得ることができる。
　また、本発明は、このような撮像装置として実現できるだけでなく、撮像装置における撮像方法として実現することもできる。また、撮像方法をコンピュータに実行させるためのプログラムとして実現することもできる。そのようなプログラムは、ＣＤ－ＲＯＭ等の記録媒体またはインターネット等の伝送媒体を介して配信することもできる。また、本発明は、各処理部の処理を行う集積回路として実現することもできる。
　本発明の効果は、実際に画像を撮像する前に、焦点位置変動範囲をシーンに応じて自動的に決定することである。ユーザは、焦点位置変動範囲を手動で調整する必要がない。これにより、ユーザが簡単に操作を行うことができ、ユーザが混乱することが少なくなる。本発明は、画像における被写体の高周波成分および信号対雑音比を最大にするように試み、焦点位置変動範囲をシーンに基づいて適切に決定する。したがって、撮像されるシーンが未知であっても、種々のシーンタイプに対して高画質で、鮮鋭かつクリアである、被写界深度が拡大された画像が得られるため、本発明は、先行技術の特許文献２および他の既知の方法を超える効果を有する。
　本発明の別の効果は、使用および格納する高解像度画像が少なくて済むことである。したがって、特許文献１において開示された先行技術の方法のメモリよりも、少ないメモリでよい。さらに、本発明は、タイムラグが少なく、リアルタイムの用途に適用することが可能である。
図１は、先行技術による画像撮像方法を示す図である。 図２は、被写界深度が拡大された画像を構成するための、先行技術の方法を示すフロー図である。 図３は、撮像装置の被写界深度を深くするための先行技術による別の方法を示すフロー図である。 図４Ａは、１つのシーンにおいて２つの別々の撮像シナリオを撮像する一図示例である。 図４Ｂは、１つのシーンにおいて２つの別々の撮像シナリオを撮像する一図示例である。 図５Ａは、本発明の一実施形態による撮像装置を示す図である。 図５Ｂは、本発明の一実施形態による撮像装置を示す図である。 図６Ａは、本発明の一実施形態による拡大被写界深度のための装置のブロック図である。 図６Ｂは、本発明の一実施形態による、被写界深度拡大処理を示すフローチャートである。 図７は、本発明の一実施形態による、被写体のボケおよび／または鮮鋭度を評価する処理のフローチャートである。 図８は、異なる焦点位置においてプリキャプチャされた画像の図示例である。 図９は、図８においてプリキャプチャされた各画像の合焦点表示画像を示す図である。 図１０は、本発明の一実施形態による、焦点変動範囲を決定する処理のフローチャートである。 図１１Ａは、異なる焦点位置を有するシーンにおける被写体の合焦レベルを示す図である。 図１１Ｂは、異なる焦点位置を有するシーンにおける被写体の合焦レベルを示す図である。 図１１Ｃは、異なる焦点位置を有するシーンにおける被写体の合焦レベルを示す図である。 図１２は、本発明の一実施形態による撮像装置の図示例である。 図１３は、本発明の一実施形態による撮像装置の図である。 図１４は、本発明の別の実施形態による撮像装置の図である。 図１５は、本発明の別の実施形態による撮像装置の図である。 図１６Ａは、様々なフォーカススイープ範囲の所定の露光時間内において被写体の高周波成分を積算したものを示す図である。 図１６Ｂは、様々なフォーカススイープ範囲の所定の露光時間内において被写体の高周波成分を積算したものを示す図である。 図１６Ｃは、様々なフォーカススイープ範囲の所定の露光時間内において被写体の高周波成分を積算したものを示す図である。
　以下、本発明の実施の形態について、図面を用いて詳細に説明する。なお、以下で説明する実施の形態は、いずれも本発明の好ましい一具体例を示すものである。以下の実施の形態で示される構成要素、構成要素の配置位置及び接続形態、動作の順序などは、一例であり、本発明を限定する主旨ではない。本発明は、請求の範囲だけによって限定される。よって、以下の実施の形態における構成要素のうち、本発明の最上位概念を示す独立請求項に記載されていない構成要素については、本発明の課題を達成するのに必ずしも必要ではないが、より好ましい形態を構成するものとして説明される。
　本発明は、シーンを撮像した画像の被写界深度を拡大するための撮像装置および撮像方法を提供し、本発明では少なくとも１つの画像が、焦点位置を変動させて撮像される。撮像対象となるシーンに基づいて当該シーンに適応するように焦点位置変動範囲を自動的に決定し、決定した焦点位置変動範囲に従って焦点位置を変動させながらシーンを撮像し、少なくとも１つの出力画像を出力する。本発明は、出力される出力画像において、被写体の信号対雑音比が最大になるように商店変動範囲を決定する。したがって、種々のシーンタイプに対して高画質で鮮鋭かつクリアな被写界深度が拡大された画像が得られる。
　図４Ａは、撮像される撮像対象としてのシーンの一例を示したものであり、当該シーンに複数の被写体が存在する場合を示す。このシーンでは、比較的近くの被写体は撮像装置に近く、比較的遠くの被写体は撮像装置から離れており、その間に複数の被写体がある。全ての被写体に対応して被写界深度が深い画像を得るためには、全ての被写体の高周波成分が撮像画像の中に埋め込まれるように、撮像装置の焦点位置を、近くの被写体から遠くの被写体へと変更して変動させた上で撮像する。このときに、例えば、このシーンにおいて、最も撮像装置に近い被写体に対して合焦する焦点位置から、最も撮像装置に遠い被写体に対して合焦する焦点位置までの「焦点位置変動範囲」は、ＳＲ１となる。
　図４Ｂは、近くの被写体のみが存在するシーンを撮像する別の例を示す。このシーンに対して、図４Ａで示した焦点位置変動範囲ＳＲ１とは異なる焦点位置変動範囲を適応的に決定すべきである。例えば、焦点位置変動範囲を焦点位置変動範囲ＳＲ１よりも短い焦点位置変動範囲ＳＲ２にまで縮める。焦点位置変動範囲ＳＲ２は、図４Ｂに示す複数の被写体が図４Ａに示す複数の被写体よりも撮像装置に対して近い位置に存在している。つまり、撮像装置から最も遠い被写体は、図４Ｂに示す被写体の方が、図４Ａに示す被写体よりも近い位置にある。各被写体に合焦する位置を少なくとも含むように、シーンにおける被写体の撮像装置に対する位置の分布に応じて、焦点位置変動範囲を変更するため、被写体の有益な情報（高周波成分）が撮像された画像に埋め込まれる。
　反対に、焦点位置変動範囲が固定されている場合、または、焦点位置変動範囲が予め設定されている場合、不必要な情報（ボケなど）が撮像されることがある。例えば、焦点位置変動範囲がＳＲ１に予め設定される場合、図４Ｂのシーンで用いることは不適切である可能性がある。なぜなら、焦点位置が第１の被写体（人物）および第２の被写体（木）を通過して移動させた後には、合焦して撮像される被写体が他に何もないのに画像の撮像が続けられ、さらに焦点位置変動範囲ＳＲ２を超えて焦点位置が変動している場合の変動範囲では第１および第２の被写体のボケた情報のみが撮像される。このように第１および第２の被写体のボケた情報が撮像される場合、出力画像における画質および被写体の鮮鋭度に影響することがある。一方で、図４Ｂのシーンに対して焦点位置変動範囲ＳＲ２が用いられた場合、被写体の最も有益な情報（高周波成分）が撮像され、被写体のボケた情報は極力撮像されない。このため、図４Ｂのシーンを撮像する場合、所定の露光時間において、焦点位置変動範囲ＳＲ２で撮像された画像は焦点位置変動範囲ＳＲ１で撮像された画像よりも信号対雑音比が高い。このように、焦点位置変動範囲ＳＲ２の範囲が短いため、所定の撮像時間内において焦点位置の変動を遅くすることができる。それによってより多くの時間の露光を行うことができる。
　シーンに基づき焦点位置変動範囲を適応的に変更することにより、種々のシーンタイプに対して高画質の出力画像が得られる。本発明は、撮像レンズもしくは撮像素子、またはその両方を移動させることにより、焦点位置を変動することができる。図５Ａおよび図５Ｂは、本発明による撮像装置６００を示す。撮像装置６００は、撮像素子６（１２）と、撮像レンズ８（１４）と、アクチュエータ１０（１６）とを有する。アクチュエータ１０（１６）は、撮像素子６（１２）および撮像レンズ８（１４）の一方、または、その両方を動かす。アクチュエータ１０（１６）は、リニアモータ、ステップモータ、サーボ制御システム、圧電素子、または微小電気機械システム（ＭＥＭＳ）によって実現される。アクチュエータ１０（１６）は、高速で高精度であることが好ましい。本発明は、アクチュエータ１０（１６）を制御して、シーンに応じて長い範囲ＳＦ１またはＳＦ１よりも短い範囲ＳＦ２で撮像素子６（１２）または撮像レンズ８（１４）の少なくとも一方を動かすことにより、シーンに応じて焦点位置変動範囲を変動させた状態で撮像する。なお、焦点位置変動範囲は自動的に決定される。その詳細を次に述べる。
　図６Ａは、本発明の一実施形態による、画像の被写界深度を拡大するための撮像装置６００のブロック図である。撮像装置６００は、プリキャプチャモジュール６０２と、被写体鮮鋭度評価モジュール６０４と、焦点変動範囲決定モジュール６０６と、画像撮像モジュール６０８と、逆重畳モジュール６１０と、内部バッファ６１２とを備える。
　プリキャプチャモジュール６０２は、プリキャプチャ部として機能し、異なる焦点位置毎に撮像対象であるシーンを撮像し、最終的に撮像装置６００によって出力される出力画像（後述参照）よりも解像度の低い複数のプリキャプチャ画像を出力する。プリキャプチャモジュール６０２により出力されたプリキャプチャ画像は、内部バッファ６１２に格納させてもよいし、被写体鮮鋭度評価モジュール６０４によって直接処理されるようにしてもよい。
　被写体鮮鋭度評価モジュール６０４は、複数のプリキャプチャされた画像における被写体の鮮鋭度を評価する。なお、被写体鮮鋭度評価モジュール６０４は、被写体の鮮鋭度を評価することの代わりに、被写体のボケを評価してもよい。ここで、被写体鮮鋭度評価モジュール６０４は、被写体の鮮鋭度（またはボケ）をプリキャプチャ画像における空間周波数が高周波数であるほど鮮鋭度が高いと評価してもよいし、コントラストが大きいほど鮮鋭度が高いと評価してもよい。この被写体の鮮鋭度の評価が行われることにより、当該評価は複数のプリキャプチャ画像における被写体の合焦レベルとして示される。つまり、以下では当該評価を「被写体の合焦レベル」として説明するが、「被写体の鮮鋭度」と置き換えてもよいし、「被写体のボケ」と置き換えてもよい。なお、「被写体のボケ」と置き換える場合には、大小関係が「被写体の合焦レベル」とは逆になる。この評価の結果は、内部バッファ６１２に格納させてもよいし、焦点変動範囲決定モジュール６０６に直接処理させてもよい。
　焦点変動範囲決定モジュール６０６は、シーンの最終的に撮像装置６００に出力される出力画像における被写体の信号対雑音比が最大になる、それぞれの撮像シーンに適した焦点位置変動範囲を適切に決定する。この決定は、被写体の鮮鋭度（またはボケ）の評価の結果に基づくものである。
　なお、被写体鮮鋭度評価モジュール６０４および焦点変動範囲決定モジュール６０６は、変動範囲決定部として機能し、プリキャプチャ部として機能するプリキャプチャモジュール６０２により撮像された複数のプリキャプチャ画像の鮮鋭度に基づいて、出力画像における信号対雑音比が最大になるように焦点位置変動範囲を決定する。
　画像撮像モジュール６０８は、撮像部として機能し、変動範囲決定部として機能する被写体鮮鋭度評価モジュール６０４および焦点変動範囲決定モジュール６０６により決定された焦点位置変動範囲に従って焦点位置を変動させながら撮像対象を撮像し、少なくとも１つの出力画像を出力する。画像撮像モジュール６０８は、撮像対象となるシーンの撮像時に焦点位置を変動と、少なくとも１つの画像の撮像とを同時に開始する。このとき変動される焦点位置は決定された焦点位置変動範囲に基づく。これにより、焦点位置変動範囲に対応する重畳画像が作成される。
　逆重畳モジュール６１０は、被写界深度拡大画像導出部として機能し、撮像部によって出力された少なくとも１つの画像と、予め定められた少なくとも１つの点広がり関数（ＰＳＦ）とを用いて、被写界深度が拡大された被写界深度拡大画像を導出する。つまり、逆重畳モジュール６１０は、予め定められた少なくとも１つのＰＳＦを用いることにより、画像撮像モジュール６０８により出力された撮像画像（重畳画像）を逆重畳して、被写界深度が拡大された被写界深度拡大画像を導出する。逆重畳モジュール６１０により出力された、被写界深度が拡大された画像は、「全焦点（ＡＩＦ）」画像とも呼ばれ、表示用に用いてもよい。または、ＡＩＦ画像は、奥行き推定および奥行き画像に基づくレンダリング（ＤＩＢＲ）法などのさらなる処理モジュールにおいて用いてもよい。これについて、さらなる詳細を他の実施形態において述べる。
　撮像装置６００を構成するプリキャプチャモジュール６０２、被写体鮮鋭度評価モジュール６０４、焦点変動範囲決定モジュール６０６、画像撮像モジュール６０８、逆重畳モジュール６１０、および内部バッファ６１２は、通常は、ＩＣ（集積回路）、ＡＳＩＣ（特定用途集積回路）、ＬＳＩ（大規模集積回路）、ＤＳＰ（デジタルシグナルプロセッサ）の形で実現され、またはＰＣ（パーソナルコンピュータ）を含むＣＰＵベースのプロセッサおよび機械により実現される。これらの各モジュールは、複数チップで構成されてもよいし、１チップで構成されてもよい。ここで用いた名称はＬＳＩであるが、集積度に応じて、ＩＣ、システムＬＳＩ、スーパーＬＳＩ、またはウルトラＬＳＩとも呼ばれることもある。さらに、集積化を達成する方法は、ＬＳＩのみではなく、専用回路または汎用プロセッサ等で実現してもよい。これには、プログラム命令により制御することができる、ＤＳＰ（デジタルシグナルプロセッサ）など、特化したマイクロプロセッサが含まれる。ＬＳＩ製造後にプログラムすることが可能なＦＰＧＡ（フィールド・プログラマブル・ゲートアレイ）や、ＬＳＩの接続または構成を再構成可能なプロセッサを同じ用途に利用してもよい。将来的には、製造および処理技術が向上し、全く新しい技術がＬＳＩに取って代わるかもしれない。集積化はその技術によって行うことができる。実施の際に、撮像装置６００をデジタルスチルカメラおよびムービーカメラなどの撮像装置に組み込んでもよい。撮像装置６００は、独立型の装置に実装して、専門の撮像システムなどにおける画像撮像システムと協働するようにしてもよい。撮像装置６００を他の種類の装置に実装することも可能であり、これは本発明の範囲を限定するものではない。
　図６Ｂは、本発明の一実施形態による、被写界深度の拡大処理のフローチャートである。
　まず、ステップＳ６０２において、プリキャプチャモジュール６０２が、異なる焦点位置毎に撮像対象となるシーンを撮像（プリキャプチャ）し、複数のプリキャプチャ画像を出力する。ここでは「プリキャプチャ」という用語が用いられており、これは事前に焦点位置変動範囲を演算するためのシーンの撮像処理（以下、「プリキャプチャ処理」という）を示す。このプリキャプチャ処理により撮像された画像は、出力画像の構成に直接用いられるものではない。プリキャプチャ処理は、カメラがプレビューモードになっている間に行われてもよい。例えば、ムービーカメラの場合、ユーザが撮像予定のシーンにカメラを向けている間、プレビューモードがオンになる。プリキャプチャ処理は、録画ボタンを押す直前に行われてもよい。通常は、プリキャプチャ処理において撮像される画像の数は、１０枚より少ない。すなわち、プリキャプチャ処理には、通常のビデオ速度（３０フレーム毎秒）で１０枚の画像すべてを撮像する場合、３３０ミリ秒しかかからない。同じシーンで必要なプリキャプチャ処理は１回のみであるため、この遅延は許容できるものである。もう１つの例は、デジタルスチルカメラを用いる場合である。この場合のプリキャプチャ処理は、ユーザがシャッターボタンを半分押した直後に行われてもよい。これにより、ユーザが気付くほどの遅延は起こらない。
　上記のプリキャプチャ処理には、他の既知の処理方法がある。例えば、露光およびシャッター速度決定機能、オートフォーカス機能等において行われるプリキャプチャ処理である。本発明は、このような既存のプリキャプチャ処理を利用することもできる。具体的には、オートフォーカス機能のためのプリキャプチャ処理を本発明に直接用いてもよい。なぜなら、本発明のプリキャプチャ処理により得られるプリキャプチャ画像は異なる合焦点を有してもよいからである。また、他のプリキャプチャ処理も用いてもよい。これは、本発明の範囲および精神を限定するものではない。メモリに効率よく格納するため、かつ以後の処理の効率を良くするために、プリキャプチャ処理により得られるプリキャプチャ画像の解像度は比較的低い解像度であることが好ましい。
　プリキャプチャ処理における各画像の焦点位置は、アクチュエータを制御して撮像素子もしくは撮像レンズ、またはその両方を動かして効果的に変更してもよい。
　ステップＳ６０４において、被写体鮮鋭度評価モジュール６０４は、プリキャプチャされた複数のプリキャプチャ画像における被写体の鮮鋭度（またはボケ）を評価して、複数のプリキャプチャ画像における被写体の合焦レベルを示す画像を得る。画像がプリキャプチャ処理においてプリキャプチャされた場合、この画像の焦点位置を記録する。シーンの中で、撮像装置からの距離が異なる被写体は、それぞれ異なるプリキャプチャ画像において鮮鋭に合焦するように見える。特定の被写体は、１つのプリキャプチャ画像のみにおいて最大鮮鋭度（最大合焦レベル）を有する。したがって、被写体の最大鮮鋭度を有するプリキャプチャ画像に対応する焦点位置を確認することによって、当該被写体の撮像装置からの距離（以下、「被写体距離」とする。）を算出することができる。また、このように複数の被写体毎に被写体距離を算出することができるため、他の被写体に対する相対的な距離を算出することもできる。
　ステップＳ６０６において、焦点変動範囲決定モジュール６０６は、焦点位置変動範囲を、撮像されるシーンの画像における被写体の信号対雑音比（ＳＮＲ）が最大になるように、ステップＳ６０４によって得られるプリキャプチャ画像に基づき決定される。例えば、一実施形態において、ステップＳ６０４から得られた画像内の被写体の最も高い合焦レベルから導き出される、少なくとも２つの被写体距離を用いて、上記範囲の始点および終点を決定してもよい。この場合に決定される始点および終点は、それぞれ、シーンにおける最小被写体距離および最大被写体距離に対応する。具体的には、１つの始点をシーンにおける最小被写体距離に対応させ、１つの終点をシーンにおける最小被写体距離から最大被写体距離までの範囲内の距離に対応させることにより決定される。つまり、焦点変動範囲決定モジュール６０６は、ステップＳ６０４において取得された複数の焦点位置の内で、最小の位置を始点とし、最大の位置を終点とすることにより焦点位置変動範囲を決定する。なお、焦点変動範囲決定モジュール６０６は、ステップＳ６０４において取得された複数の焦点位置の内で、所定の連続性を満たす複数の焦点位置から成る焦点位置群における最小の位置を始点とし最大の位置を終点とすることにより焦点位置変動範囲を複数決定してもよい。この場合には、「所定の連続性を満たす焦点位置」とは例えば１０枚連続して撮像するプリキャプチャ画像の内で連続して撮像されたプリキャプチャ画像に対応する焦点位置を指し、例えばステップＳ６０４において取得された複数の焦点位置が、１枚目から３枚目までのプリキャプチャ画像と７枚目から１０枚目までのプリキャプチャ画像に対応する位置であれば、１枚目から３枚目までのプリキャプチャ画像に対応する焦点位置の範囲と、７枚目から１０枚目までのプリキャプチャ画像に対応する焦点位置の範囲との２つの焦点位置範囲に焦点位置変動範囲が決定される。
　ステップＳ６０８において、画像撮像モジュール６０８は、ステップＳ６０６において決定された焦点位置変動範囲に従って、撮像時に焦点位置を変動させながら撮像対象のシーンを撮像し、少なくとも１つの出力画像を出力する。そのシーンにおける、合焦位置および非合焦位置の両方の被写体の光信号は、撮像素子６（１２）における画素に蓄積されることにより出力画像（重畳画像）となる。なお、焦点変動範囲が複数の場合には、焦点変動範囲以外の範囲において、露光時間が短くなるように焦点変動の速度を速くしてもよいし、複数の焦点変動範囲のそれぞれにおいて画像を撮像するようにしてもよい。後者の場合には、複数の焦点変動範囲に対応する枚数の画像を撮像することになる。
　ステップＳ６１０において、逆重畳モジュール６１０は、ステップＳ６０８において撮像された（重畳された）画像を少なくとも１つの点広がり関数（ＰＳＦ）を用いて逆重畳し、被写界深度が拡大された被写界深度拡大画像が得られる。なお、複数の焦点変動範囲が設定されて複数の画像が撮像された場合には、複数の画像を重ねあわせた画像に対して、その画像に対応する点広がり関数を用いて逆重畳することにより、被写界深度が拡大された被写界深度拡大画像が得られることになる。
　上記被写界深度の拡大処理により、シーン内の被写体の被写体距離に基づいて焦点位置変動範囲を適応的に決定することによって、合焦位置にあるすべての被写体の光信号を画素に蓄積（積算）する。これは、シーン内の画像における被写体の高周波成分（合焦位置における被写体の光信号のことを指す）を確実に最大化するためである。よって、種々のシーンに対して、被写界深度が拡大された高画質な画像を得ることができる。
　なお、ステップＳ６１０においては、既知の逆重畳方法を用いてもよい。このような逆重畳方法の一例は、「ウィナーデコンボリューション」または「ウィナーフィルタ」である。この方法に関する詳細は、Ｒ．Ｃ．Ｇｏｎｚａｌｅｚ＆Ｒ．Ｅ．Ｗｏｏｄｓによる、「Ｄｉｇｉｔａｌ　Ｉｍａｇｅ　Ｐｒｏｃｅｓｓｉｎｇ」、Ａｄｄｉｓｏｎ－Ｗｅｓｌｅｙ　Ｐｕｂｌｉｓｈｉｎｇ　Ｃｏｍｐａｎｙ，Ｉｎｃ．、１９９２年（非特許文献２）に記載されている。また、既知の方法の他の例は、「ルーシー・リチャードソン・デコンボリューション」である。この方法の詳細は、Ｄ．Ｓ．Ｃ．Ｂｉｇｇｓ，Ａｐｐｌｉｅｄ　Ｏｐｔｉｃｓ，ｖｏｌ．３６、ｎｏ．８、１７６６-１７７５頁、１９９７年の「Ａｃｃｅｌｅｒａｔｉｏｎ　ｏｆ　Ｉｔｅｒａｔｉｖｅ　Ｉｍａｇｅ　Ｒｅｓｔｏｒａｔｉｏｎ　Ａｌｇｏｒｉｔｈｍｓ」（非特許文献３）に記載されている。
　ステップＳ６１０において用いられている、ＰＳＦは、予めメモリに格納されている。予めメモリに格納されているＰＳＦは、撮像装置６００をキャリブレーションすることにより事前に算出してもよい。例えば、シーンにキャリブレーションチャートを配置して、異なる焦点位置で撮像する。キャリブレーションチャートと撮像装置との間の距離を適応的に変更しすることによりキャリブレーションチャートを撮像し、撮像することにより得られたキャリブレーションデータを用いてＰＳＦを算出する。または、ＰＳＦ推定技術を用いることによって、画像が撮像された時にＰＳＦを算出してもよい。このように、ブラインド・デコンボリューション技術などの逆重畳は、ステップＳ６１０において用いられる。
　図７は、本発明の実施形態の一例による、被写体の鮮鋭度評価方法の詳細を示す図である。つまり、図７は、被写界深度の拡大処理におけるステップＳ６０４の処理についての詳細を説明する図である。
　この方法は、ステップＳ６０２において異なる焦点位置において撮像された複数のプリキャプチャ画像が出力されると開始される。まず、ステップＳ７０２において被写体鮮鋭度評価モジュール６０４は、複数のプリキャプチャ画像を入力画像として取り込み、当該入力画像を平滑化する。
　ステップＳ７０４において、被写体鮮鋭度評価モジュール６０４は、入力画像の垂直勾配画像および水平勾配画像と、平滑化された画像の垂直勾配画像および水平勾配画像とを算出する。ステップＳ７０６において、被写体鮮鋭度評価モジュール６０４は、入力画像および平滑化画像の垂直勾配画像間の差分画像と、入力画像および平滑化画像の水平勾配画像間の差分画像とを算出する。ステップＳ７０８において、被写体鮮鋭度評価モジュール６０４は、算出された垂直勾配の差分画像と、算出された水平勾配の差分画像とを用いることによって、対応する入力画像の合焦レベルを示す合焦点表示画像を複数の入力画像（プリキャプチャ画像）毎に算出して、このステップによって画像を得る。ステップＳ７１０において、この方法は、対応する入力画像に対して算出された合焦点表示画像および焦点位置を格納して、画像における被写体距離および被写体の合焦レベルが示される。全てのプリキャプチャ画像が評価されるまで、ステップＳ７０２からＳ７１０まで繰り返す。
　図８は、プリキャプチャ処理における異なる焦点位置で撮像したプリキャプチャ画像の一例を示す図である。例えば、このシーンを、近焦点位置から遠焦点位置へ順に異なる焦点位置で撮像する。図８では、画像８０１を近焦点位置で撮像している。画像８０１の焦点は、近い被写体に合わせられている。焦点位置は、時間毎に変動している。画像８０５では、焦点位置が中央に変更されており、焦点が中央の被写体にあることを示す。さらに、焦点位置をこの次の遠い焦点に変更する。そして、遠焦点位置では、画像８０９において示されるように、焦点が遠くの被写体に合わせられている。このプリキャプチャ処理の後、それぞれが異なる焦点を有する複数のプリキャプチャ画像が得られる。
　図９は、各プリキャプチャ画像の合焦レベル分布の実際の例を示す図である。これらは撮像された１０枚のプリキャプチャ画像である。画像Ａは、焦点位置を近焦点（ｎｅａｒ　ｆｏｃｕｓ）に設定して撮像したものである。この焦点位置は、近焦点から遠焦点（ｆａｒ　ｆｏｃｕｓ）に変更される。画像Ｊは、焦点位置を遠焦点に設定して撮像したものである。図９において、合焦レベルが画像Ａから画像Ｅに向かって増えていることが示されている。つまり、これは、画像Ｅにおいて最も近い被写体に合焦していることを示す。この画像の合焦レベルが高く、画像Ｊにおいて減少している。これは、すべての被写体の合焦レベルが減少しているため、最も遠い被写体がボケている（非合焦）ということである。遠い被写体の最も高い合焦レベルは、画像Ｉにおけるものである。したがって、焦点位置変動範囲を決定するために、画像ＥおよびＩの焦点位置を用いることができる。
　図１０は、本発明の一実施形態による、焦点変動範囲を決定する処理の詳細図である。つまり、図１０は、被写界深度の拡大処理におけるステップＳ６０６の処理についての詳細を説明する図である。
　この方法は、ステップＳ６０４において被写体の合焦レベルが示されると開始される。まず、ステップＳ１００２において、焦点変動範囲決定モジュール６０６は、複数の合焦レベル分布と、その複数の入力画像に対応する複数の焦点位置とを取得する。ステップＳ１００４において、焦点変動範囲決定モジュール６０６は、シーンにおける最も近い被写体の最大合焦レベルを有する第１の画像を識別し、当該シーンにおける最も遠い被写体の最大合焦レベルを有する第２の画像を識別する。ステップＳ１００６において、焦点変動範囲決定モジュール６０６は、最終的に出力される出力画像の信号対雑音比が最大になるように、識別された第１および第２の画像の焦点位置に基づき焦点位置変動範囲を算出する。
　図１１Ａ～図１１Ｃは、異なる焦点位置にわたるシーンの被写体別の合焦レベルの例を示す図である。なお、ここで示す焦点位置は焦点位置の番号が小さいほど近い位置であり、大きい程遠い位置であることを意味する。具体的には、図１１Ａは、図８における第一の被写体８１１を撮像した場合の異なる焦点位置にわたる合焦レベルを示す。図１１Ａにおいては、被写体の合焦レベルは、焦点位置点１から焦点位置点５まで増加し、その後連続的に減少している。
　図１１Ｂは、図８における第二の被写体８１２を撮像した場合の異なる焦点位置にわたる合焦レベルを示す。図１１Ｂにおいては、被写体の合焦レベルは、焦点位置１から焦点位置６まで増加し、焦点位置７及び８まで水平に移行し、その後減少する。つまり、中間の被写体に対応する合焦レベルが示されている。
　図１１Ｃは、図８における第三の被写体８１３を撮像した場合の異なる焦点位置にわたる合焦レベルを示す。図１１Ｃにおいては、被写体の合焦レベルは、焦点位置１から焦点位置点９まで増加し、その後減少する。つまり、遠い被写体に対応する合焦レベルが示されている。
　これらの例から、最も近い被写体である第一の被写体８１１に対応する最大合焦レベルはＰ５であると識別され、最も遠い被写体の最大合焦レベルはＰ９であると識別される。したがって、焦点位置変動範囲は、Ｐ５およびＰ９に対応するプリキャプチャ画像の焦点位置から導き出される。
　これによれば、焦点変動範囲決定モジュール６０６が、複数のプリキャプチャ画像をそれぞれ分割して得られる複数の領域の合焦レベル（鮮鋭度）を、複数のプリキャプチャ毎に取得し、複数の領域毎のプリキャプチャ画像別の合焦レベル（鮮鋭度）の内で最大の鮮鋭度を有するプリキャプチャ画像に対応する焦点位置を複数の領域毎に取得する。そして、取得した複数の焦点位置が含まれるように焦点位置変動範囲を決定する。
　このため、各領域において最大の合焦レベル（鮮鋭度）を有するプリキャプチャ画像に対応する焦点位置を取得し、取得した焦点位置に基づいて焦点位置変動範囲を決定する。これにより、分割された領域に被写体が存在する場合に、その被写体に対応する焦点位置を取得することができる。つまり、取得した焦点位置が含まれるように焦点位置変動範囲が決定されるため、撮像対象となるシーンに含まれる各被写体に対して鮮鋭度の高い画像を得ることができる。
　また、焦点変動範囲決定モジュール６０６は、複数のプリキャプチャ画像をそれぞれ分割して得られる複数の領域の合焦レベル（鮮鋭度）を、複数のプリキャプチャ画像毎に取得し、取得した複数のプリキャプチャ画像毎かつ複数の領域毎の合焦レベルの内で、予め定められた閾値よりも大きい鮮鋭度を有するプリキャプチャ画像が撮像された焦点位置を複数取得し、取得した複数の焦点位置が含まれるように焦点位置変動範囲を決定してもよい。
　これによれば、焦点変動範囲決定モジュールが、複数のプリキャプチャ画像をそれぞれ分割して得られる複数の領域の合焦レベル（鮮鋭度）を、複数のプリキャプチャ画像毎に取得し、複数のプリキャプチャ毎かつ複数の領域毎の合焦レベル（鮮鋭度）の内で、予め定められた閾値よりも大きい合焦レベル（鮮鋭度）を有するプリキャプチャ画像が撮像された焦点位置を複数取得する。そして、取得した複数の焦点位置が含まれるように焦点位置変動範囲を決定する。
　このため、少なくとも予め定められた閾値よりも大きい合焦レベル（鮮鋭度）を有するプリキャプチャ画像が撮像された焦点位置が含まれるように焦点位置変動範囲が決定される。つまり、合焦レベル（鮮鋭度）の大きい被写体に対応する焦点位置を取得できるため、撮像対象となるシーンの内で合焦レベル（鮮鋭度）が大きく撮像される範囲を焦点位置変動範囲として設定することができる。このため、鮮鋭度の高い画像を得ることができる。
　図１２は、本発明の実施形態による撮像装置６００のハードウェアの概略ブロック図を示す。撮像装置６００は、光学系１２０２と、撮像素子１２０４と、ＡＤＣ（アナログ－デジタル変換器）１２０６と、イメージプロセッサ１２０８と、マイクロコンピュータ１２１０と、外部メモリ１２１２と、ドライバコントローラ１２２０と、ＯＩＳ（光学式手振れ防止機構）センサ１２１８と、操作部１２２２と、記憶／送信装置１２１６と、表示装置１２１４とを備える。イメージプロセッサ１２０８は、内部メモリ１２４０と、拡大被写界深度モジュール１２４６と、原画像プロセッサ１２４２と、カラー画像プロセッサ１２４３と、必要に応じて３Ｄ画像プロセッサ１２４４とを備える。マイク、スピーカなどの他の構成要素は図示されていないが、これは本発明の範囲を限定するものではない。
　光学系１２０２は、撮像素子１２０４に到達する光信号を制御するために、複数のレンズまたはレンズの集合、ズーム／フォーカス機構、アクチュエータ、シャッター、開口部などの構成要素を備えてもよい。
　撮像素子１２０４は、光学系１２０２により就航された入射光を蓄積し、その光を電気信号に変換する。この撮像素子１２０４は、マイクロコンピュータ１２１０により制御される。撮像素子１２０４により変換された電気信号は、ＡＤＣ１２０６によりデジタルデータ（原画像データ）に変換され、内部メモリ１２４０または外部メモリ１２１２に格納される。原画像データは、複数のプリキャプチャ画像から成る組を含んでおり、各プリキャプチャ画像は異なる焦点位置で撮像される。また、原画像データは、プリキャプチャ画像よりも高解像度の画像を含む。このプリキャプチャ画像よりも高解像度の画像は、画像撮像時に焦点位置を変動させながら撮像されることより異なる焦点位置において撮像された画像が重畳された状態の原画像データが作成される。
　原画像プロセッサ１２４２は、内部メモリ１２４０（または外部メモリ１２１２）から原画像データを取り込み、サイズ変更、直線性補正、ホワイトバランス、ガンマ補正等の多くの前処理（図示せず）を行ってもよい。この前処理された原画像データを、記憶／送信装置１２１６により格納または送信してもよい。また、前処理された原画像データを、カラー画像プロセッサ１２４３で処理することで、ＲＧＢまたはＹＣｂＣｒ等のカラー画像を生成することもできる。カラー画像プロセッサ１２４３は、好適なカラー画像を生成するために、色補間、色補正、色調範囲の調整、色ノイズの低減等の処理を行う。拡大被写界深度モジュール１２４６は、プリキャプチャされた画像を取り込み、マイクロコンピュータ１２１０を制御して、画像の撮像中に焦点位置を変動させるために撮像レンズまたは撮像素子を駆動させる。撮像画像は、拡大被写界深度モジュール１２４６に入力され、拡大被写界深度（「オールインフォーカス（ＡＩＦ）と呼ばれる」）画像が生成される。出力されるＡＩＦ画像は、表示装置１２１４上で表示するために用いてもよく、記憶／送信装置１２１６に格納してもよい。記憶／送信装置１２１６の内の記憶装置の例には、フラッシュベースのメモリカード、ハードドライブ、および光学ドライブが含まれ、また、これらに限定されない。また、記憶／送信装置１２１６の内の送信装置の例には、ＨＤＭＩインターフェース、ＵＳＢインターフェース、ワイヤレスインターフェースおよびｄｉｒｅｃｔ－ｔｏ－ｐｒｉｎｔｅｒインターフェースが含まれ、また、これらに限定されない。記憶／送信装置１２１６で処理されるデータは、任意に可逆または不可逆圧縮されていてもよい。さらに、出力されるＡＩＦ画像は、３Ｄ画像プロセッサ１２４４などのさらなる処理モジュールにおいて用いてもよい。ＡＩＦ画像は、奥行き推定および３Ｄ画像生成に用いられてもよい。この詳細は次の実施形態で後述する。
　光学系１２０２は、マイクロコンピュータ１２１０によって制御される、ドライバコントローラ１２２０により制御されてもよい。操作部１２２２は、ユーザ操作による入力を受信し、マイクロコンピュータ１２１０に電気信号を送信して関連したモジュール、例えば、ドライバコントローラ１２２０、撮像素子１２０４、イメージプロセッサ１２０８などのユーザ入力に対応するモジュールを制御する。ＯＩＳセンサ１２１８は、手振れまたはカメラの動きによる動きを検知し、電気信号をマイクロコンピュータ１２１０に送信する。マイクロコンピュータ１２１０は、ドライバコントローラ１２２０を制御して、光学系１２０２における、ドライバコントローラ１２２０を介して動きを補償するようにレンズを動かすためのアクチュエータ等を制御して、それにより手振れまたはカメラによるモーションブラーの影響を低減する。
　イメージプロセッサ１２０８は、拡大被写界深度モジュール１２４６からの第１の電気信号を、マイクロコンピュータ１２１０に送信してもよい。マイクロコンピュータ１２１０は、ドライバコントローラ１２２０を制御して、光学系１２０２における、プリキャプチャ処理中に各画像の焦点位置を変更するためのアクチュエータ等を制御する。
　また、イメージプロセッサ１２０８は、拡大被写界深度モジュール１２４６からの第２の電気信号を、マイクロコンピュータ１２１０に送信してもよい。マイクロコンピュータ１２１０は、ドライバコントローラ１２２０を制御して、光学系１２０２における、動きを補償するようにレンズを動かすためのアクチュエータ等を制御して、プリキャプチャ処理中に焦点位置を変更し、重畳画像を作成し、拡大被写界深度モジュール１２４６に入力して拡大被写界深度画像を生成する。
　なお、拡大被写界深度モジュール１２４６の詳細は、前述の実施形態の撮像装置６００で示す機能を実現するハードウェアである。
　イメージプロセッサ１２０８、拡大被写界深度モジュール１２４６、およびその内部のモジュールは、通常、ＩＣ（集積回路）、ＡＳＩＣ（特定用途集積回路）、またはＬＳＩ（大規模集積回路）の形で実現される。これらの各モジュールは、複数チップで構成されてもよいし、１チップで構成されてもよい。ここで用いた名称はＬＳＩであるが、集積度に応じて、ＩＣ、システムＬＳＩ、スーパーＬＳＩ、またはウルトラＬＳＩとも呼ばれることもある。さらに、集積化を達成する方法は、ＬＳＩのみではなく、専用回路または汎用プロセッサ等で実現してもよい。これには、プログラム命令により制御することができる、ＤＳＰ（デジタルシグナルプロセッサ）など、特化したマイクロプロセッサが含まれる。ＬＳＩ製造後にプログラムすることが可能なＦＰＧＡ（フィールド・プログラマブル・ゲートアレイ）や、ＬＳＩの接続または構成を再構成可能なプロセッサを利用してもよい。将来的には、製造および処理技術が向上し、全く新しい技術がＬＳＩに取って代わるかもしれない。集積化はその技術によって行うことができる。
　本実施形態にかかる撮像装置６００によれば、プリキャプチャモジュール６０２が、実際に撮像対象を撮像して出力画像を得る前に、撮像対象を異なる焦点位置毎に複数回撮像した結果としてプリキャプチャ画像を得ている。そして、被写体鮮鋭度評価モジュール６０４が複数のプリキャプチャ画像の鮮鋭度を求めている。つまり、被写体鮮鋭度評価モジュール６０４が複数の焦点位置において撮像されたプリキャプチャ画像の鮮鋭度を予め求めることにより、撮像対象となるシーンにおける被写体の撮像装置に対する位置を把握することができる。これにより、焦点変動範囲決定モジュール６０６は、例えば、撮像対象となるシーンにおいて、鮮鋭度が大きく撮像できる各被写体に対する焦点位置が含まれるように焦点位置変動範囲を自動的に決定することができる。
　このように、実際に画像を撮像する前に、焦点位置変動範囲を撮像対象となるシーンに応じて自動的に決定することにより、ユーザは、焦点位置変動範囲をシーンに合わせて手動で調整する必要がない。これにより、ユーザは、撮像装置の操作を容易に行うことができ、操作方法を混乱することを低減できる。したがって、撮像されるシーンにおける被写体の撮像装置６００に対する位置が未知の場合であっても、種々のシーンに対して高品質、鮮鋭、かつクリアであって、被写界深度が拡大された画像を得ることができる。
　また、焦点位置変動範囲を決定するために取得される複数のプリキャプチャ画像は出力画像よりも低解像度であるため、使用および格納する高解像度画像が少なくて済む。したがって、特許文献１において開示された先行技術の方法のメモリよりも、少ないメモリでよい。さらに、本発明は、タイムラグが少なく、リアルタイムの用途に適用することが可能である。
　図１３は、本発明の一実施形態による撮像装置を含む拡大被写界深度装置１３００を例示するブロック図である。本実施形態において、３Ｄ（左および右）画像を生成する際に適用する拡大被写界深度装置１３００の詳細を、図示例により説明する。拡大被写界深度装置１３００は、撮像対象であるシーンを複数プリキャプチャし、メモリ１３４０に格納する。各プリキャプチャ画像は、異なる焦点位置において撮像される。したがって、異なるプリキャプチャ画像に存在する各被写体は、異なる鮮鋭度を有する。コントローラ１３２０は、アクチュエータ（図示せず）を制御して、プリキャプチャする際に画像の焦点位置を変更するために、レンズ系１３０２および撮像素子１３０４の少なくとも一方を移動させる。被写体鮮鋭度評価モジュール１３４６は、メモリ１３４０から複数の画像を取り込み、各画像の被写体のボケおよび／または鮮鋭度を評価して、その画像における被写体に対応する被写体距離および被写体の合焦レベルを示すデータを得る。被写体鮮鋭度評価モジュール１３４６は、得られたデータをメモリ１３４０に格納してもよいし、得られたデータをさらに焦点変動範囲決定モジュール１３４２にも送信してもよい。焦点変動範囲決定モジュール１３４２は、得られたデータを取り込み、焦点位置変動範囲を決定する。具体的には、焦点変動範囲決定モジュール１３４２は、上記で得られたデータに基づき、近い被写体に対して得られた最大の合焦レベルと遠い被写体に対して得られた最大の合焦レベルとを考慮することによって、焦点変動範囲の始点および終点を求める。焦点変動範囲決定モジュール１３４２は、この焦点変動範囲の始点として、近い被写体の合焦レベルが最大であるプリキャプチャ画像の焦点位置から導き出し、焦点変動範囲の終点として、遠い被写体の合焦レベルが最大であるプリキャプチャ画像の焦点位置から導き出す。つまり、この焦点変動範囲によってレンズ系１３０２および撮像素子１３０４の少なくとも一方を移動させることにより撮像されるシーンの画像は、近い被写体から遠い被写体までの全ての最大の合焦レベルを含むということである。したがって、この決定された範囲内で焦点位置を変動させている状態で撮像された画像において、すべての被写体の鮮鋭度が最大になる画像が重畳された画像が撮像される。
　図１３を参照して、焦点変動範囲決定モジュール１３４２は、焦点位置変動範囲を示す電気信号をコントローラ１３２０に送信する。コントローラ１３２０は、アクチュエータを制御して、焦点位置変動範囲を示す電気信号に基づいて画像の撮像中に焦点位置を変動させる。上記装置は、焦点位置を変動させながら少なくとも１つの画像を撮像し、メモリ１３４０に格納する。逆重畳モジュール１３４３は、メモリ１３４０に格納された画像を取り込み、当該画像を、予め定められた少なくとも１つの点広がり関数（ＰＳＦ）を用いることにより逆重畳して、ＡＩＦ画像を得る。この拡大被写界深度装置１３００は、さらに、追加の近焦点画像および遠焦点画像を撮像してもよい。または、近焦点画像および遠焦点画像は、逆重畳モジュール１３４３において用いられてもよい。ＡＩＦ画像は、被写界深度が強化された画像（２Ｄ）として表示するために用いられてもよい。ＡＩＦ画像、近焦点画像、および遠焦点画像は、奥行き推定モジュール１３４５において用いられてもよい。奥行き推定モジュール１３４５は、高度な錯視現象（Ａ－ＤＦＤ）技術を用いて奥行きマップを推定する。推定された奥行きマップおよびＡＩＦ画像は、ＤＩＢＲ（奥行き画像に基づくレンダリング）モジュール１３４７に入力される。ＤＩＢＲモジュール１３４７は、３Ｄ視に用いることができる、立体視用の左右の画像を生成する。
　一実施形態において、焦点位置変動範囲は、撮像対象のシーンに基づき適応的に決定してもよい。例えば、１．０メートルから２．５メートルまでの距離の被写体を含むシーンを撮像するために焦点位置を変動させる範囲は、１．０メートルから１０メートルまでの距離の被写体を含むシーンを撮像するための焦点位置変動範囲よりも、短くてもよい。以下の薄型レンズの方程式によると、　
Figure JPOXMLDOC01-appb-M000001
 であり、（式１）中、ｆは拡大被写界深度装置１３００における撮像システムの焦点距離であり、ｕは、シーンにおける被写体と撮像レンズとの間の距離であり、ｖは、距離ｕにある被写体が合焦して鮮鋭に見える、撮像レンズと画像平面との間の距離である。例えば、焦点距離ｆ＝１８ｍｍを有する撮像システムが、１．０メートル先の距離にある被写体にフォーカスしている場合、被写体が合焦して見える撮像レンズと画像平面との距離は、以下の（式２）および（式３）に示すように算出される。
Figure JPOXMLDOC01-appb-M000002
Figure JPOXMLDOC01-appb-M000003
　この撮像システムが２．５メートル先の距離にある被写体にフォーカスしている場合、被写体が合焦して見える撮像レンズと画像平面との距離は、ｖ＝１８．１３０５ｍｍである。したがって、例えば、この例では、１．０メートルから２．５メートルまでの距離の被写体を含むシーンを撮像するために焦点位置を変動させる範囲は、１８．３２９９ｍｍから１８．１３０５ｍｍに設定される。この場合に、例えばアクチュエータを制御して、撮像レンズまたは撮像素子を１９９．４ｕｍの距離で動かす。そして、上記の撮像システムが１０．０メートル先の距離にある被写体にフォーカスしている場合、被写体が合焦して見える撮像レンズと画像平面との距離は、ｖ＝１８．０３２４ｍｍである。したがって、この例では、１．０メートルから１０．０メートルまでの距離の被写体を含むシーンを撮像するために焦点位置を変動させる範囲は、１８．３２９９ｍｍから１８．０３２４ｍｍに設定される。この場合に、例えばアクチュエータを制御して、撮像レンズまたは撮像素子を２９７．５ｕｍの距離で動かす。
　これを適応的に行うことによって、（焦点位置を変動させながら）撮像された画像の被写体の（焦点での）合焦レベルが最大になる。また、特に、比較的近い被写体のみを含むシーンの画像に対しては、焦点変動範囲が短いため、被写体の信号対雑音比も最大になる。
　図１６Ａ～図１６Ｃは、様々なフォーカススイープ（変動）範囲の所定の露光時間において被写体の合焦レベルを、コントラストを積算することにより算出したものである。図１６Ａにおいて、このシーンは被写体ＯＢ１（比較的カメラに近い）、被写体ＯＢ２（中央）、および被写体ＯＢ３（比較的カメラから遠い）を含む。焦点位置変動範囲は、被写体ＯＢ１、ＯＢ２、およびＯＢ３の最大の合焦点（最大のコントラスト）を積算するように設定され、距離Ｄ１に対応する。各位置の被写体の光信号を積算するための時間量は、例えば［積算時間（Ｔ）／距離（Ｄ１）］で算出する。図１６Ｂにおいて、このシーンは、被写体ＯＢ１（比較的カメラに近い）および被写体ＯＢ２（中央）のみを含む。従来のように、焦点位置変動範囲が予め定義されている場合は、Ｄ１と同様に設定されるが、これは適切ではない。図１６Ｂに示すように、各位置の被写体の光信号を積算するための時間量は、［積算時間（Ｔ）／距離（Ｄ２）］で算出され、Ｄ２＝Ｄ１であるが、ＯＢ２の後に何も被写体がないため、適切ではない。ＯＢ２の後の何も被写体がない範囲を焦点変動範囲に含む必要はない。図１６Ｃにおいては、シーンは図１６Ｂのように、被写体ＯＢ１（比較的カメラ近い）、および被写体ＯＢ２（中央）のみを含む。しかし、焦点位置変動範囲が変更され、短くなる。これは、ＯＢ１の最大合焦点からＯＢ２の最大合焦位置までの光信号のみを積算するためである。各位置の被写体の光信号を積算する時間は、［積算時間（Ｔ）／距離（Ｄ３）］＞［積算時間（Ｔ）／距離（Ｄ２）］である。つまり、被写体ＯＢ１およびＯＢ２のみのシーンを撮像する場合、予め複数のプリキャプチャ画像を撮像して異なる焦点距離に対応した被写体コントラストを取得できるため被写体ＯＢ２が存在する被写体距離より被写体距離が遠い範囲を含まない範囲を焦点変動範囲として自動的に設定する。このように、被写体が存在する範囲に合わせて焦点範囲を設定できるため、撮像された画像内の被写体の合焦位置における信号対雑音比が、最大になる。
　一実施形態において、焦点位置変動範囲は、アクチュエータの動作速度により制限される。例えば、アクチュエータの最大動作速度が、４３ｍｍ／秒である場合、ビデオフレーム速度（３０フレーム毎秒）範囲の上限は、４３／３０＝１．４３３ｍｍである。
　一実施形態において、撮像システムの露光時間は、決定された焦点位置変動範囲に基づいて調整してもよい。これは、静止画像には有効である。例えば、最初の露光時間が１／８秒と設定されており、決定された変動範囲が４．３ｍｍでアクチュエータが最大速度４３ｍｍ／秒で動く場合、この範囲に対する露光時間を１／１０秒に調整してもよい。一方、アクチュエータの動作速度を露光時間に合致するように調整してもよい。この例において、アクチュエータの動作速度を３４．４ｍｍ／秒に調整してもよい。
　また、焦点位置変動範囲の大きさに応じて画素が飽和しないように露光時間を調整してもよい。この場合、光信号の量が極力多い状態で撮像対象を撮像することができる。つまり、鮮鋭度が高く、高画質でクリアな画像を得ることができる。また、予め定められた露光時間に従って焦点位置変動範囲を制限してもよい。この場合、光の量が多い場合などに有効である。
　本発明に従って、画像撮像中に焦点位置を変動させながらシーンの画像を撮像することにより、出力ＡＩＦ画像の画質が向上する。出力ＡＩＦ画像を表示用（２Ｄ視）に用いた場合、より鮮鋭かつクリアな被写体を見ることができる。出力ＡＩＦ画像を奥行き推定に用いた場合（１３４５）、推定された奥行きマップの精度が向上する。出力ＡＩＦ画像を３Ｄ画像生成に用いた場合、鮮鋭かつクリアな３Ｄ画像が得られ、３Ｄ視の効果が向上する。
　図１４は、本発明の別の実施形態による撮像装置１４００のブロック図である。この実施形態と図１３における実施形態との差異は、被写体検出モジュール１４４６が用いられていることである。被写体検出モジュール１４４６は、被写体検出部として機能し、撮像対象のシーンにおける例えば顔などの被写体を検出する。被写体検出モジュール１４４６はまた、被写体領域識別部としても機能し、顔などの検出された被写体に基づいて、検出された被写体が中心になるように撮像対象を撮像した画像の一分の領域である被写体領域として関心領域（ＲＯＩ）を識別する。識別した関心領域に関するＲＯＩデータは、焦点変動範囲決定モジュール１４４２に送信してもよい。焦点変動範囲決定モジュール１４４２は、撮像されるシーンの画像内で検出された被写体の信号対雑音比が最大になるように、ＲＯＩデータに基づいて焦点位置を変動させる範囲を決定する。焦点変動範囲決定モジュール１４４２は、焦点位置を変動させる範囲を示す電気信号をコントローラ１４２０に送信する。コントローラ１４２０は、アクチュエータを制御して、画像の撮像中に焦点位置を変動させる。上記装置は、焦点位置を変動させながら少なくとも１つの画像を撮像し、メモリ１４２４に格納する。逆重畳モジュール１４４３は、撮像画像を取り込み、逆重畳して、出力されるＡＩＦ画像を得る。この装置は、さらに、追加の近焦点画像および遠焦点画像を撮像してもよい。または、近焦点および遠焦点画像は、逆重畳モジュール１４４３において用いられてもよい。ＡＩＦ画像は、被写界深度が強化された画像（２Ｄ）として表示するために用いられてもよい。ＡＩＦ画像、近焦点画像、および遠焦点画像は、奥行き推定モジュール１４４５において用いられてもよい。奥行き推定モジュール１４４５は、高度な錯視現象（Ａ－ＤＦＤ）技術を用いて奥行きマップを推定する。推定された奥行きマップおよびＡＩＦ画像は、ＤＩＢＲ（奥行き画像に基づくレンダリング）モジュール１４４７に入力される。ＤＩＢＲモジュール１４４７は、３Ｄ視に用いることができる、立体視用の左右の画像を生成する。
　このように、被写体領域を関心領域（ＲＯＩ）として識別することにより、ＲＯＩに絞ってプリキャプチャ画像を評価して、焦点位置変動範囲を焦点変動範囲決定モジュール１４４２が決定することができる。このため、当該評価にかかるデータ量を少なくできるため、焦点位置変動範囲を決定する時間を短くすることができる。
　図１５は、本発明の別の実施形態による撮像装置１５００のブロック図である。この実施形態と図１３における実施形態との差異は、ユーザインターフェイスモジュール１５４６が実装されていることである。ユーザインターフェイスモジュール１５４６は、選択受付部として機能し、ディスプレイモジュール１５１４に設けられているタッチスクリーン表示装置などのユーザインタラクション機器を介して、ユーザによる前記撮像対象における被写体が撮像される領域の選択を関心対象物（ＯＯＩ）として受け付ける。ユーザインターフェイスモジュール１５４６はまた、被写体領域識別部としても機能し、受け付けた関心対象物に関するＯＯＩデータに基づいて、ＯＯＩが関心領域（ＲＯＩ）の中心になるようにシーンにおけるＲＯＩを識別する。識別したＲＯＩに関するＲＯＩデータは、焦点変動範囲決定モジュール１５４２に送信される。焦点変動範囲決定モジュール１５４２は、撮像されるシーンの画像内で検出されたＯＯＩの信号対雑音比が最大になるように、ＲＯＩデータに基づいて焦点位置変動範囲を決定する。焦点変動範囲決定モジュール１５４２は、焦点位置を変動させる範囲を示す電気信号をコントローラ１５２０に送信する。コントローラ１５２０は、アクチュエータを制御して、画像の撮像中に焦点位置を変動させる。上記装置は、焦点位置を変動させながら少なくとも１つの画像を撮像し、メモリ１５２４に格納する。逆重畳モジュール１５４３は、撮像画像を取り込み、逆重畳して、出力されるＡＩＦ画像を得る。この装置は、さらに、追加の近焦点画像および遠焦点画像を撮像してもよい。または、近焦点および遠焦点画像は、逆重畳モジュール１５４３において用いられてもよい。ＡＩＦ画像は、被写界深度が強化された画像（２Ｄ）として表示するために用いられてもよい。ＡＩＦ画像、近焦点画像、および遠焦点画像は、奥行き推定モジュール１５４５において用いられてもよい。奥行き推定モジュール１５４５は、高度な錯視現象（Ａ－ＤＦＤ）技術を用いて奥行きマップを推定する。推定された奥行きマップおよびＡＩＦ画像は、ＤＩＢＲ（奥行き画像に基づくレンダリング）モジュール１５４７に入力される。ＤＩＢＲモジュール１５４７は、３Ｄ視に用いることができる、立体視用の左右の画像を生成する。
　これによれば、ユーザによって与えられた情報である関心対象物（ＯＯＩ）に基づいて、被写体領域（関心領域）を認識しているため、少なくともユーザの意図に適した被写体について高い鮮鋭度の画像を得ることができる。
　本発明は、効率的でメモリ使用が少なく、著しいタイムラグがなく、リアルタイムの動作が可能であり、撮像するシーンが未知で予測不可能である場合でも種々のシーンに対して鮮鋭な画像が自動的に得ることができる撮像装置等として有用である。
６００　撮像装置
６０２　プリキャプチャモジュール
６０４　被写体鮮鋭度評価モジュール
６０６　焦点変動範囲決定モジュール
６０８　画像撮像モジュール
６１０　逆重畳モジュール
６１２　内部バッファ
８０１　画像
８０５　画像
８０９　画像
８１１　第一の被写体
８１２　第二の被写体
８１３　第三の被写体
１２０２　光学系
１２０４　撮像素子
１２０６　ＡＤＣ
１２０８　イメージプロセッサ
１２１０　マイクロコンピュータ
１２１２　外部メモリ
１２１４　表示装置
１２１６　記憶／送信装置
１２１８　ＯＩＳセンサ
１２２０　ドライバコントローラ
１２２２　操作部
１２４０　内部メモリ
１２４２　原画像プロセッサ
１２４３　カラー画像プロセッサ
１２４４　３Ｄ画像プロセッサ
１２４６　拡大被写界深度モジュール
１３００　拡大被写界深度装置
１３０２　レンズ系
１３０４　撮像素子
１３２０　コントローラ
１３４０　メモリ
１３４２　焦点変動範囲決定モジュール
１３４３　逆重畳モジュール
１３４５　推定モジュール
１３４６　被写体鮮鋭度評価モジュール
１３４７　モジュール
１４００　撮像装置
１４２０　コントローラ
１４２４　メモリ
１４４２　焦点変動範囲決定モジュール
１４４３　逆重畳モジュール
１４４５　推定モジュール
１４４６　被写体検出モジュール
１４４７　ＤＩＢＲモジュール
１５００　撮像装置
１５１４　ディスプレイモジュール
１５２０　コントローラ
１５２４　メモリ
１５４２　焦点変動範囲決定モジュール
１５４３　逆重畳モジュール
１５４５　推定モジュール
１５４６　ユーザインターフェイスモジュール
１５４７　ＤＩＢＲモジュール

Claims (13)

  1. 　焦点位置を変動させている状態において撮像対象を撮像し、撮像した結果を少なくとも１つの出力画像として出力する撮像装置であって、
    　所定の焦点範囲において異なる焦点位置毎に前記撮像対象を撮像し、撮像した結果を前記出力画像よりも解像度の低い複数のプリキャプチャ画像として出力するプリキャプチャ部と、
    　前記プリキャプチャ部により撮像された前記複数のプリキャプチャ画像の鮮鋭度を算出する鮮鋭度算出部と、
    　前記鮮鋭度算出部により算出された鮮鋭度に基づいて、前記出力画像における信号対雑音比が所定の閾値以上となるように前記所定の焦点範囲の内の焦点位置変動範囲を決定する変動範囲決定部と、
    　前記変動範囲決定部により決定された前記焦点位置変動範囲に従って、焦点位置を変動させている状態において前記撮像対象を撮像し、撮像した結果を少なくとも１つの前記出力画像として出力する撮像部と
    　を備える撮像装置。
  2. 　さらに、
    　前記撮像部によって出力された少なくとも１つの画像と、予め定められた少なくとも１つの点広がり関数とを用いて、被写界深度が拡大された被写界深度拡大画像を導出する被写界深度拡大画像導出部を備える
    　請求項１に記載の撮像装置。
  3. 　前記変動範囲決定部は、
    　前記複数のプリキャプチャ画像をそれぞれ分割して得られる複数の領域の鮮鋭度を、複数のプリキャプチャ画像毎に取得し、
    　前記複数の領域毎に前記複数のプリキャプチャ画像別の鮮鋭度を比較し、
    　前記複数の領域毎の前記プリキャプチャ画像別の鮮鋭度の内で最大の鮮鋭度を有するプリキャプチャ画像に対応する焦点位置を、前記複数の領域毎に取得し、
    　取得した複数の焦点位置が含まれるように前記焦点位置変動範囲を決定する
    　請求項１または２に記載の撮像装置。
  4. 　前記変動範囲決定部は、
    　前記複数のプリキャプチャ画像をそれぞれ分割して得られる複数の領域の鮮鋭度を、複数のプリキャプチャ画像毎に取得し、
    　取得した前記複数のプリキャプチャ画像毎かつ前記複数の領域毎の鮮鋭度の内で、予め定められた閾値よりも大きい鮮鋭度を有するプリキャプチャ画像が撮像された焦点位置を複数取得し、
    　取得した複数の焦点位置が含まれるように前記焦点位置変動範囲を決定する
    　請求項１または２に記載の撮像装置。
  5. 　前記変動範囲決定部は、取得した前記複数の焦点位置の内で、最小の位置を始点とし、最大の位置を終点とすることにより前記焦点位置変動範囲を決定する
    　請求項３または４に記載の撮像装置。
  6. 　前記変動範囲決定部は、前記取得した複数の焦点位置の内で、所定の連続性を満たす複数の焦点位置から成る焦点位置群における最小の位置を始点とし最大の位置を終点とすることにより前記焦点位置変動範囲を複数決定する
    　請求項３または４に記載の撮像装置。
  7. 　前記撮像部は、
    　決定された前記焦点位置変動範囲の大きさに基づいて、撮像される画像の画素が飽和しないように露光時間を調整し、
    　調整した前記露光時間内に、前記焦点位置変動範囲に従って焦点位置を変動させながら前記撮像対象を撮像する
    　請求項１から５のいずれか１項に記載の撮像装置。
  8. 　前記焦点位置変動範囲は、予め定められた露光時間により制限される
    　請求項１から７のいずれか１項に記載の撮像装置。
  9. 　さらに、
    　前記撮像対象における被写体を検出する被写体検出部と、
    　前記検出された前記被写体に基づいて、当該被写体が中心になるように前記撮像対象を撮像した画像の一部の領域である被写体領域を識別する被写体領域識別部と
    　を備え、
    　前記変動範囲決定部は、前記被写体領域識別部により識別された前記被写体領域に基づいて、検出された被写体の信号対雑音比が最大になるように前記焦点位置変動範囲を決定する
    　請求項１から８のいずれか１項に記載の撮像装置。
  10. 　さらに、
    　ユーザによる前記撮像対象における被写体が撮像される領域の選択を受け付ける選択受付部を備え、
    　前記被写体領域識別部は、前記受付部により受け付けられた前記領域の選択に基づいて、前記被写体領域を識別する
    　請求項９に記載の撮像装置。
  11. 　焦点位置を変動させながら撮像対象を撮像し、少なくとも１つの出力画像を出力する撮像方法であって、
    　異なる焦点位置毎に前記撮像対象を撮像し、前記出力画像よりも解像度の低い複数のプリキャプチャ画像を取得するプリキャプチャ画像取得ステップと、
    　前記プリキャプチャ画像取得ステップにより撮像された前記複数のプリキャプチャ画像の鮮鋭度を算出する鮮鋭度算出ステップと、
    　前記鮮鋭度算出ステップにより算出された鮮鋭度に基づいて、前記出力画像における信号対雑音比が最大になるように焦点位置変動範囲を決定する変動範囲決定ステップと、
    　前記変動範囲決定ステップにより決定された前記焦点位置変動範囲に従って焦点位置を変動させながら前記撮像対象を撮像し、少なくとも１つの前記出力画像を出力する撮像ステップと
    　を含む撮像方法。
  12. 　請求項１１に記載の撮像方法に含まれるステップをコンピュータに実行させるためのプログラム。
  13. 　焦点位置を変動させながら撮像対象を撮像し、少なくとも１つの出力画像を出力する集積回路であって、
    　異なる焦点位置毎に前記撮像対象を撮像し、前記出力画像よりも解像度の低い複数のプリキャプチャ画像を出力するプリキャプチャ部と、
    　前記プリキャプチャ部により撮像された前記複数のプリキャプチャ画像の鮮鋭度を算出する鮮鋭度算出部と、
    　前記鮮鋭度算出部により算出された鮮鋭度に基づいて、前記出力画像における信号対雑音比が最大になるように焦点位置変動範囲を決定する変動範囲決定部と、
    　前記変動範囲決定部により決定された前記焦点位置変動範囲に従って焦点位置を変動させながら前記撮像対象を撮像し、少なくとも１つの前記出力画像を出力する撮像部と
    　を含む集積回路。
PCT/JP2011/006185 2010-11-08 2011-11-07 撮像装置、撮像方法、プログラム、および集積回路 WO2012063449A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2012514281A JP5870264B2 (ja) 2010-11-08 2011-11-07 撮像装置、撮像方法、プログラム、および集積回路
EP11839512.8A EP2640056A4 (en) 2010-11-08 2011-11-07 IMAGE FORMING DEVICE, IMAGE FORMING METHOD, PROGRAM, AND INTEGRATED CIRCUIT
US13/520,257 US9076204B2 (en) 2010-11-08 2011-11-07 Image capturing device, image capturing method, program, and integrated circuit
CN201180005484.3A CN102696219B (zh) 2010-11-08 2011-11-07 摄像装置、摄像方法及集成电路

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2010250229 2010-11-08
JP2010-250229 2010-11-08

Publications (1)

Publication Number Publication Date
WO2012063449A1 true WO2012063449A1 (ja) 2012-05-18

Family

ID=46050618

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2011/006185 WO2012063449A1 (ja) 2010-11-08 2011-11-07 撮像装置、撮像方法、プログラム、および集積回路

Country Status (5)

Country Link
US (1) US9076204B2 (ja)
EP (1) EP2640056A4 (ja)
JP (1) JP5870264B2 (ja)
CN (1) CN102696219B (ja)
WO (1) WO2012063449A1 (ja)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2013081086A1 (en) * 2011-12-02 2013-06-06 Canon Kabushiki Kaisha Image processing apparatus and image processing method
CN103516988A (zh) * 2012-06-29 2014-01-15 美国博通公司 利用透镜移动的增强图像处理
WO2014155814A1 (ja) * 2013-03-27 2014-10-02 富士フイルム株式会社 撮像装置、キャリブレーション方法、プログラム及び記録媒体
WO2014171423A1 (ja) * 2013-04-16 2014-10-23 富士フイルム株式会社 撮像装置、キャリブレーションシステム、キャリブレーション方法、及びプログラム
JP2015231058A (ja) * 2014-06-03 2015-12-21 オリンパス株式会社 撮像装置、撮像装置の制御方法、及びプログラム

Families Citing this family (52)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8526754B2 (en) * 2009-05-28 2013-09-03 Aptina Imaging Corporation System for enhancing depth of field with digital image processing
US9264558B2 (en) * 2010-07-20 2016-02-16 Kodak Alaris Inc. System for verifying accuracy of a raster scanned image of a document
US9294667B2 (en) * 2012-03-10 2016-03-22 Digitaloptics Corporation MEMS auto focus miniature camera module with fixed and movable lens groups
JP5882805B2 (ja) 2012-03-26 2016-03-09 キヤノン株式会社 情報処理装置、その処理方法及びプログラム
US8994809B2 (en) * 2012-07-19 2015-03-31 Sony Corporation Method and apparatus for simulating depth of field (DOF) in microscopy
US8988520B2 (en) * 2012-07-19 2015-03-24 Sony Corporation Method and apparatus for improving depth of field (DOF) in microscopy
JP5746794B2 (ja) * 2012-09-27 2015-07-08 富士フイルム株式会社 撮像装置及び画像処理方法
JP5664626B2 (ja) * 2012-10-12 2015-02-04 カシオ計算機株式会社 画像処理装置、画像処理方法及びプログラム
JP6091228B2 (ja) * 2013-01-30 2017-03-08 キヤノン株式会社 画像処理装置、撮像装置
CN103345756B (zh) * 2013-07-19 2016-08-10 浙江农林大学 一种尿沉渣分析仪中显微镜的自动对焦方法、装置和电子设备
JP6061816B2 (ja) * 2013-08-22 2017-01-18 キヤノン株式会社 撮像装置、撮像装置の制御方法、プログラム、および、記憶媒体
CN103491308A (zh) * 2013-10-10 2014-01-01 珠海市魅族科技有限公司 图像数据的采集方法和终端
CN104793910B (zh) * 2014-01-20 2018-11-09 联想(北京)有限公司 一种信息处理的方法及电子设备
JP5895270B2 (ja) * 2014-03-28 2016-03-30 パナソニックＩｐマネジメント株式会社 撮像装置
US9449234B2 (en) 2014-03-31 2016-09-20 International Business Machines Corporation Displaying relative motion of objects in an image
US9300857B2 (en) * 2014-04-09 2016-03-29 International Business Machines Corporation Real-time sharpening of raw digital images
CN103945126B (zh) * 2014-04-21 2015-03-04 中国人民解放军国防科学技术大学 一种自动对焦定位方法
CN103929591B (zh) * 2014-04-22 2017-06-20 苏州比特速浪电子科技有限公司 图像处理装置
WO2015175907A1 (en) * 2014-05-15 2015-11-19 Indiana University Research And Technology Corp. Three dimensional moving pictures with a single imager and microfluidic lens
US9876964B2 (en) * 2014-05-29 2018-01-23 Apple Inc. Video coding with composition and quality adaptation based on depth derivations
JP6317635B2 (ja) * 2014-06-30 2018-04-25 株式会社東芝 画像処理装置、画像処理方法及び画像処理プログラム
KR20160032587A (ko) * 2014-09-16 2016-03-24 삼성전자주식회사 영상 촬영 장치 및 이의 촬영 방법
US9525814B2 (en) * 2014-10-12 2016-12-20 Himax Imaging Limited Automatic focus searching using focal sweep technique
CN104459509B (zh) * 2014-12-04 2017-12-29 北京中科新微特科技开发股份有限公司 测量待测器件的热阻的方法
CN104506771B (zh) * 2014-12-18 2018-04-27 北京智谷睿拓技术服务有限公司 图像处理方法及装置
US11240421B2 (en) 2015-04-10 2022-02-01 Qualcomm Incorporated Methods and apparatus for defocus reduction using laser autofocus
US9984508B2 (en) * 2015-05-20 2018-05-29 Micron Technology, Inc. Light-based radar system for augmented reality
DE102015118154A1 (de) * 2015-10-23 2017-04-27 Arnold & Richter Cine Technik Gmbh & Co. Betriebs Kg Elektronisches Mikroskop, insbesondere Operationsmikroskop
CN106888352B (zh) * 2015-12-16 2020-12-18 中兴通讯股份有限公司 一种推焦位置确定方法及装置
EP3211599A1 (en) * 2016-02-29 2017-08-30 Thomson Licensing Adaptive depth-guided non-photorealistic rendering method, corresponding computer program product, computer-readable carrier medium and device
CN107800947A (zh) * 2016-09-02 2018-03-13 中兴通讯股份有限公司 一种拍摄方法和终端
WO2018051699A1 (ja) * 2016-09-16 2018-03-22 富士フイルム株式会社 撮像装置、撮像方法、撮像プログラム
JP2018081224A (ja) * 2016-11-17 2018-05-24 キヤノン株式会社 撮像装置およびその制御方法
US10944902B2 (en) * 2017-06-20 2021-03-09 Adobe Inc. Digital image generation using capture support data
DE102018103092A1 (de) * 2018-02-12 2019-08-14 Arnold & Richter Cine Technik Gmbh & Co. Betriebs Kg Fokuseinstellungs-Anzeigeeinheit
US10595007B2 (en) * 2018-03-21 2020-03-17 Himax Imaging Limited Structured-light method and system of dynamically generating a depth map
CN112333378A (zh) * 2018-07-23 2021-02-05 深圳市真迈生物科技有限公司 成像方法、装置及系统
CN112291469A (zh) * 2018-07-23 2021-01-29 深圳市真迈生物科技有限公司 成像方法、装置及系统
CN109005345A (zh) * 2018-08-10 2018-12-14 苏州拓拓家软件科技有限公司 摄像装置
US11082606B1 (en) * 2018-09-11 2021-08-03 Apple Inc. Method and system for robust contrast based auto focus in low light
CN109995999A (zh) * 2019-03-14 2019-07-09 Oppo广东移动通信有限公司 场景识别方法、装置、电子设备及存储介质
EP3726459B1 (en) * 2019-04-17 2022-02-16 Leica Instruments (Singapore) Pte. Ltd. Signal to noise ratio adjustment circuit, signal to noise ratio adjustment method and signal to noise ratio adjustment program
EP4035940A4 (en) * 2019-09-26 2022-11-16 Koito Manufacturing Co., Ltd. CONTROL CAMERA, MOTOR VEHICLE, VEHICLE LIGHT, IMAGE PROCESSING DEVICE AND IMAGE PROCESSING METHOD
US10984513B1 (en) * 2019-09-30 2021-04-20 Google Llc Automatic generation of all-in-focus images with a mobile camera
CN112312016B (zh) * 2020-10-28 2022-06-10 维沃移动通信有限公司 拍摄处理方法、装置、电子设备和可读存储介质
US11727540B2 (en) * 2020-12-31 2023-08-15 Samsung Electronics Co., Ltd. Image sharpening
CN113034369A (zh) * 2021-04-07 2021-06-25 北京佰才邦技术股份有限公司 一种基于多摄像头的图像生成方法、装置和计算机设备
US20220400211A1 (en) * 2021-06-11 2022-12-15 Bennet Langlotz Digital camera with multi-subject focusing
US11283989B1 (en) * 2021-06-11 2022-03-22 Bennet Langlotz Digital camera with multi-subject focusing
US11343424B1 (en) * 2021-07-09 2022-05-24 Viewsonic International Corporation Image capturing method and electronic device
EP4137866A1 (en) * 2021-08-18 2023-02-22 Carl Zeiss Microscopy GmbH Digital microscope and method for capturing and displaying microscopic images
US20230319401A1 (en) * 2022-03-31 2023-10-05 Qualcomm Incorporated Image capture using dynamic lens positions

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6201899B1 (en) 1998-10-09 2001-03-13 Sarnoff Corporation Method and apparatus for extended depth of field imaging
JP2006154322A (ja) * 2004-11-30 2006-06-15 Fuji Photo Film Co Ltd 撮影装置
US20080013941A1 (en) * 2006-07-14 2008-01-17 Micron Technology, Inc. Method and apparatus for increasing depth of field for an imager
JP2012005063A (ja) * 2010-06-21 2012-01-05 Sony Corp 撮像装置および方法、並びにプログラム

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE3905619C2 (de) 1988-02-23 2000-04-13 Olympus Optical Co Bildeingabe-/Ausgabevorrichtung
JP3191928B2 (ja) 1988-02-23 2001-07-23 オリンパス光学工業株式会社 画像入出力装置
DE3931934C2 (de) 1988-10-03 1994-11-10 Olympus Optical Co Bild-Ein/Ausgabevorrichtung
JP3084130B2 (ja) 1992-05-12 2000-09-04 オリンパス光学工業株式会社 画像入力装置
JP2005309323A (ja) * 2004-04-26 2005-11-04 Kodak Digital Product Center Japan Ltd 撮像用焦点距離検出方法及び撮像装置
US20070248330A1 (en) * 2006-04-06 2007-10-25 Pillman Bruce H Varying camera self-determination based on subject motion
JP2008013941A (ja) 2006-07-03 2008-01-24 Panahome Corp 建築物
US8830340B2 (en) * 2006-09-08 2014-09-09 Sri International System and method for high performance image processing
US8233077B2 (en) * 2007-12-27 2012-07-31 Qualcomm Incorporated Method and apparatus with depth map generation
US8724013B2 (en) * 2007-12-27 2014-05-13 Qualcomm Incorporated Method and apparatus with fast camera auto focus
WO2009146297A1 (en) * 2008-05-27 2009-12-03 Nikon Corporation Device and method for estimating whether an image is blurred
US8131097B2 (en) * 2008-05-28 2012-03-06 Aptina Imaging Corporation Method and apparatus for extended depth-of-field image restoration
JP4524717B2 (ja) * 2008-06-13 2010-08-18 富士フイルム株式会社 画像処理装置、撮像装置、画像処理方法及びプログラム
EP2166408B1 (en) * 2008-09-17 2014-03-12 Ricoh Company, Ltd. Imaging device and imaging method using the same
JP2010091169A (ja) 2008-10-07 2010-04-22 Panasonic Corp 風呂自動機能付き給湯機
JP5163446B2 (ja) * 2008-11-25 2013-03-13 ソニー株式会社 撮像装置、撮像方法及びプログラム
WO2010061352A2 (en) * 2008-11-26 2010-06-03 Hiok Nam Tay Auto-focus image system
JP5387949B2 (ja) * 2009-03-03 2014-01-15 株式会社リコー 撮像装置、再生表示装置、撮像記録方法および再生表示方法
US8526754B2 (en) * 2009-05-28 2013-09-03 Aptina Imaging Corporation System for enhancing depth of field with digital image processing

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6201899B1 (en) 1998-10-09 2001-03-13 Sarnoff Corporation Method and apparatus for extended depth of field imaging
JP2006154322A (ja) * 2004-11-30 2006-06-15 Fuji Photo Film Co Ltd 撮影装置
US20080013941A1 (en) * 2006-07-14 2008-01-17 Micron Technology, Inc. Method and apparatus for increasing depth of field for an imager
US7711259B2 (en) 2006-07-14 2010-05-04 Aptina Imaging Corporation Method and apparatus for increasing depth of field for an imager
JP2012005063A (ja) * 2010-06-21 2012-01-05 Sony Corp 撮像装置および方法、並びにプログラム

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
D. S. C. BIGGS: "Acceleration of Iterative Image Restoration Algorithms", APPLIED OPTICS, vol. 36, no. 8, 1997, pages 1766 - 1775
D.S.C. BIGGS: "Acceleration of Iterative Image Restoration Algorithms", APPLIED OPTICS, vol. 36, no. 8, 1997, pages 1766 - 1775
R. C. GONZALEZ; R. E. WOODS: "Digital Image Processing", 1992, ADDISON-WESLEY PUBLISHING COMPANY, INC.
S. KUTHIRUMMAL; H. NAGAHARA; C. ZHOU; S. K. NAYAR: "Flexible Depth of Field Photography", IEEE TRANSACTIONS ON PATTERN ANALYSIS AND MACHINE INTELLIGENCE, vol. 99, March 2010 (2010-03-01)
See also references of EP2640056A4

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9332190B2 (en) 2011-12-02 2016-05-03 Canon Kabushiki Kaisha Image processing apparatus and image processing method
JP2013117848A (ja) * 2011-12-02 2013-06-13 Canon Inc 画像処理装置及び画像処理方法
WO2013081086A1 (en) * 2011-12-02 2013-06-06 Canon Kabushiki Kaisha Image processing apparatus and image processing method
CN103516988A (zh) * 2012-06-29 2014-01-15 美国博通公司 利用透镜移动的增强图像处理
CN103516988B (zh) * 2012-06-29 2017-04-26 安华高科技通用Ip(新加坡)公司 利用透镜移动的增强图像处理
WO2014155814A1 (ja) * 2013-03-27 2014-10-02 富士フイルム株式会社 撮像装置、キャリブレーション方法、プログラム及び記録媒体
US10171803B2 (en) 2013-03-27 2019-01-01 Fujifilm Corporation Image capturing apparatus, calibration method, and non-transitory computer-readable medium for calculating parameter for a point image restoration process
JP5833794B2 (ja) * 2013-03-27 2015-12-16 富士フイルム株式会社 撮像装置
JPWO2014171423A1 (ja) * 2013-04-16 2017-02-23 富士フイルム株式会社 撮像装置、キャリブレーションシステム、及びプログラム
JP5897769B2 (ja) * 2013-04-16 2016-03-30 富士フイルム株式会社 撮像装置、キャリブレーションシステム、及びプログラム
US9584801B2 (en) 2013-04-16 2017-02-28 Fujifilm Corporation Image pickup device, calibration system, calibration method, and program
WO2014171423A1 (ja) * 2013-04-16 2014-10-23 富士フイルム株式会社 撮像装置、キャリブレーションシステム、キャリブレーション方法、及びプログラム
JP2015231058A (ja) * 2014-06-03 2015-12-21 オリンパス株式会社 撮像装置、撮像装置の制御方法、及びプログラム

Also Published As

Publication number Publication date
CN102696219B (zh) 2016-03-23
EP2640056A4 (en) 2015-07-15
JP5870264B2 (ja) 2016-02-24
JPWO2012063449A1 (ja) 2014-05-12
CN102696219A (zh) 2012-09-26
US9076204B2 (en) 2015-07-07
EP2640056A1 (en) 2013-09-18
US20120281132A1 (en) 2012-11-08

Similar Documents

Publication Publication Date Title
JP5870264B2 (ja) 撮像装置、撮像方法、プログラム、および集積回路
JP7145208B2 (ja) デュアルカメラベースの撮像のための方法および装置ならびに記憶媒体
JP4582423B2 (ja) 撮像装置、画像処理装置、撮像方法、及び画像処理方法
JP5484631B2 (ja) 撮像装置、撮像方法、プログラム、及びプログラム記憶媒体
US8629915B2 (en) Digital photographing apparatus, method of controlling the same, and computer readable storage medium
JP5230456B2 (ja) 画像処理装置および画像処理方法
CN108462830B (zh) 摄像装置及摄像装置的控制方法
JP6800797B2 (ja) 撮像装置、画像処理装置、撮像装置の制御方法およびプログラム
JP6548367B2 (ja) 画像処理装置、撮像装置、画像処理方法及びプログラム
JP5453573B2 (ja) 撮像装置、撮像方法およびプログラム
JP2008271240A (ja) 撮像装置、画像処理装置、撮像方法、及び画像処理方法
JP2008271241A5 (ja)
JP2008175995A (ja) 撮像装置
JP2011166588A (ja) 撮像装置および撮像方法、ならびに前記撮像装置のための画像処理方法
JP2012124555A (ja) 撮像装置
JP5144724B2 (ja) 撮像装置、画像処理装置、撮像方法、及び画像処理方法
JP2009284056A (ja) 画像処理装置および方法並びにプログラム
US20160275657A1 (en) Imaging apparatus, image processing apparatus and method of processing image
JP2010135984A (ja) 複眼撮像装置及び撮像方法
JP5117889B2 (ja) 画像処理装置及び画像処理方法
JP2013165352A (ja) 撮像装置、撮像装置の制御方法及びプログラム
JP6226536B2 (ja) 撮像装置及びその制御方法
JP2012142729A (ja) カメラ
JP2009232348A (ja) 撮像装置、距離情報取得方法、画像処理方法及び光学系の駆動制御方法
JP2019083580A (ja) 画像処理装置、画像処理方法、プログラム

Legal Events

Date Code Title Description
WWE Wipo information: entry into national phase

Ref document number: 201180005484.3

Country of ref document: CN

WWE Wipo information: entry into national phase

Ref document number: 2012514281

Country of ref document: JP

WWE Wipo information: entry into national phase

Ref document number: 2011839512

Country of ref document: EP

WWE Wipo information: entry into national phase

Ref document number: 13520257

Country of ref document: US

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 11839512

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE