WO2011070755A1 - 撮像装置及びその制御方法 - Google Patents

撮像装置及びその制御方法 Download PDF

Info

Publication number
WO2011070755A1
WO2011070755A1 PCT/JP2010/007058 JP2010007058W WO2011070755A1 WO 2011070755 A1 WO2011070755 A1 WO 2011070755A1 JP 2010007058 W JP2010007058 W JP 2010007058W WO 2011070755 A1 WO2011070755 A1 WO 2011070755A1
Authority
WO
WIPO (PCT)
Prior art keywords
period
displacement
image
exposure
imaging
Prior art date
Application number
PCT/JP2010/007058
Other languages
English (en)
French (fr)
Inventor
河村　岳
Original Assignee
パナソニック株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by パナソニック株式会社 filed Critical パナソニック株式会社
Priority to JP2011545075A priority Critical patent/JP5367094B2/ja
Priority to EP10835682.5A priority patent/EP2512117B1/en
Priority to CN201080006737.4A priority patent/CN102308569B/zh
Priority to US13/147,894 priority patent/US8576326B2/en
Publication of WO2011070755A1 publication Critical patent/WO2011070755A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B7/00—Mountings, adjusting means, or light-tight connections, for optical elements
    • G02B7/28—Systems for automatic generation of focusing signals
    • G02B7/36—Systems for automatic generation of focusing signals using image sharpness techniques, e.g. image processing techniques for generating autofocus signals
    • G02B7/38—Systems for automatic generation of focusing signals using image sharpness techniques, e.g. image processing techniques for generating autofocus signals measured at different points on the optical axis, e.g. focussing on two or more planes and comparing image data
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0075—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for altering, e.g. increasing, the depth of field or depth of focus
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B13/00—Viewfinders; Focusing aids for cameras; Means for focusing for cameras; Autofocus systems for cameras
    • G03B13/32—Means for focusing
    • G03B13/34—Power focusing
    • G03B13/36—Autofocus systems
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B7/00—Control of exposure by setting shutters, diaphragms or filters, separately or conjointly
    • G03B7/08—Control effected solely on the basis of the response, to the intensity of the light received by the camera, of a built-in light-sensitive device
    • G03B7/091—Digital circuits
    • G03B7/097—Digital circuits for control of both exposure time and aperture
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95—Computational photography systems, e.g. light-field imaging systems
    • H04N23/958—Computational photography systems, e.g. light-field imaging systems for extended depth of field imaging
    • H04N23/959—Computational photography systems, e.g. light-field imaging systems for extended depth of field imaging by adjusting depth of field during image capture, e.g. maximising or setting range based on scene characteristics

Definitions

  • the present invention relates to an imaging apparatus and a control method thereof, and more particularly to an imaging apparatus that changes a focus position during an exposure period.
  • EDOF depth of field expansion
  • a blur in the depth direction is made uniform by inserting an optical element called a phase plate into the optical system.
  • an image restoration process is performed on the obtained image using a blur pattern measured in advance or a blur pattern calculated by simulation. Thereby, the method generates an EDOF image.
  • WFC Wavefront Coding
  • the second method measures the distance with high accuracy for each partial area of the image by devising the aperture shape.
  • image restoration processing is performed on each partial region using a blur pattern corresponding to each distance measured in advance. Thereby, the method generates an EDOF image.
  • This method is referred to as coded aperture (hereinafter referred to as CA) (see Non-Patent Document 2).
  • the third method is to convolve an image that is uniformly focused in the depth direction by moving the focus lens or image sensor during the exposure time (that is, synonymous with equalizing blur at each depth).
  • an image restoration process is performed on the obtained image using a blur pattern measured in advance or a blur pattern calculated by simulation. Thereby, the method generates an EDOF image.
  • This method is called “Flexible DOF” (hereinafter referred to as “F-DOF”) (Non-patent Document 3).
  • Non-Patent Document 4 a method of performing depth estimation or image sharpness detection using on-axis chromatic aberration of the lens, and generating a sharp image as a whole by image processing
  • Non-Patent Document 5 a method of performing depth estimation or image sharpness detection using on-axis chromatic aberration of the lens, and generating a sharp image as a whole by image processing
  • Non-Patent Document 5 a method of performing depth estimation or image sharpness detection using on-axis chromatic aberration of the lens, and generating a sharp image as a whole by image processing
  • Non-Patent Document 5 a method in which the blur in the depth direction is made uniform using the image, and the image restoration process is performed using the blur pattern measured in advance or the blur pattern calculated by simulation.
  • these methods have a drawback that the EDOF effect is small in principle compared with the above three methods.
  • Focal Stack has also existed for a long time.
  • a method called Focal Stack has also existed for a long time.
  • a plurality of images with different in-focus positions (focus positions) are photographed, and an area that seems to be in focus is extracted from each image.
  • the said system produces
  • this method since a large number of images are required, there are a problem that it takes a relatively long time for imaging and a problem that a large amount of memory is consumed.
  • the second CA of the three methods described above increases the distance measurement accuracy by using an unusual aperture shape. Due to such characteristics of this method itself, a specific frequency component of a captured image and an image obtained after restoration processing is lost. That is, this method has a drawback that the image quality is deteriorated. In addition, this method is generally not suitable for shooting in a dark place because the amount of light is smaller than that of a normal shooting method regardless of the aperture shape.
  • the third F-DOF among the above-mentioned three methods is a method that can obtain the best image quality, and has a high EDOF effect.
  • the off-axis characteristics also depend on the lens characteristics themselves, so it is easy to improve performance.
  • it is necessary to use an image side telecentric lens because the same subject needs to be folded on the same image position even if the focus position is moved during exposure.
  • Patent Documents 1 to 4 As a method of using F-DOF in a microscope application, there are disclosed a case where a sample side which is a subject is moved during exposure and a case where a lens barrel is moved. Note that if image restoration processing after exposure is assumed, it is reasonable to control the movement so that the image blur is always uniform, so that an image restoration processing method using a single blur pattern can be applied.
  • Patent Document 5 For this purpose, when the object to be moved is an image sensor, it is necessary to move it at a constant speed. Also when moving the focus lens, it is necessary to perform focus displacement corresponding to the movement of the imaging surface at a constant speed (Non-patent Document 3). It is known that the moving pattern may be from the back-side focusing end position to the near-side focusing end position, or vice versa.
  • EDOF technology examples include cameras mounted on mobile phones in recent years.
  • the camera can be downsized.
  • the EDOF effect can provide an omnifocal image (an image in which all subjects are in focus) without having an autofocus mechanism.
  • F-DOF itself is not adopted because it requires a mechanism to move the focus lens or image sensor, and a method using WFC or axial chromatic aberration is adopted. Yes.
  • FIG. 1 shows a configuration of an imaging apparatus 500 when the focus lens is displaced during the exposure period.
  • An imaging apparatus 500 shown in FIG. 1 includes an imaging element 1, a lens 2, a shutter 3, a focus lens displacement control unit 4, a shutter opening / closing instruction unit 5, a release receiving unit 6, and a focus lens initial position detection unit 7.
  • An exposure time determination unit 8 a focus lens position initialization unit 18, a synchronization management unit 10, an image restoration processing unit 11, a PSF storage unit 12, and an imaging data recording unit 13.
  • the lens 2 includes a focus lens 20 and other lens groups.
  • the focus lens initial position detection unit 7 detects the current position (initial position) of the focus lens 20. After the detection, the focus lens position initialization unit 18 displaces the position of the focus lens 20 to a predetermined end position, for example, the nearest end or the farthest end.
  • a distance closest to the imaging device 500 with respect to the imaging device 500 in the predetermined focusing range is set as the nearest end, and a distance farthest from the imaging device 500 is set as the farthest end.
  • the exposure time determination unit 8 determines shooting parameters such as a shutter speed and an aperture value.
  • the synchronization management unit 10 issues an exposure start instruction to the focus lens displacement control unit 4 and the shutter opening / closing instruction unit 5.
  • the synchronization management unit 10 is based on the end position of the focus lens 20 initialized by the focus lens position initialization unit 18. If the end position is the farthest end, an instruction is issued to move the focus lens 20 within the exposure period from the farthest end to the nearest end.
  • FIG. 3 is a diagram showing a state of initialization of the position of the focus lens 20 before exposure and displacement of the focal position (image plane side distance) on the imaging element surface during exposure. It is assumed that a displacement control instruction is issued to the focus lens 20 so that the in-focus position is displaced at a constant speed on the image sensor surface. As shown in FIG. 4, when the distances between the subject, the lens, and the image sensor are u and v, and the focal length is f, the following relationship (Equation 1) is generally established from the lens formula.
  • FIG. 5 shows the relationship between u and v when f is 18 [mm].
  • the image plane side distance v which is the distance between the lens principal point and the image sensor.
  • instructing the focus lens 20 to perform displacement control so that the in-focus position is displaced at a constant speed on the imaging element surface means that the changing speed of the image plane side distance v is constant.
  • the subject distance u which is the distance between the focal plane on the subject side and the lens principal point, is not displaced at a constant speed. Absent.
  • the vertical axis in FIG. 3 is the image plane side distance v. That is, it should be noted that the relationship between the exposure time and the subject distance u is opposite in magnitude from the relationship between the exposure time and the image plane side distance v. That is, the closest and farthest ends on the subject distance side are interchanged with respect to the image plane side.
  • FIG. 2 is a diagram showing a configuration of the image pickup apparatus 501 when the image pickup element is displaced during the exposure time.
  • 2 includes an image sensor 1, a shutter 3, a shutter opening / closing instruction unit 5, a release receiving unit 6, an exposure time determining unit 8, an image restoration processing unit 11, and a PSF storage unit 12.
  • the imaging data recording unit 13, the imaging device initial position detection unit 14, the synchronization management unit 16, the imaging device displacement control unit 17, and the imaging device position initialization unit 19 are provided. Elements similar to those in FIG. 1 are denoted by the same reference numerals, and redundant description is omitted.
  • the image sensor initial position detecting unit 14 detects the current position (initial position) of the image sensor 1. After the detection, the image sensor position initialization unit 19 displaces the position of the image sensor 1 to a predetermined end position, for example, the nearest end or the farthest end. Simultaneously with the initialization operation of the image sensor 1, the exposure time determination unit 8 determines shooting parameters such as a shutter speed and an aperture value. As soon as the above operation is completed, the synchronization management unit 16 issues an instruction to start exposure to the image sensor displacement control unit 17 and the shutter opening / closing instruction unit 5.
  • the synchronization management unit 16 is based on the end position of the image sensor 1 initialized by the image sensor position initialization unit 19. If the end position is the farthest end, an instruction is issued from the farthest end to the nearest end to displace the image sensor 1 within the exposure time. Note that the displacement speed of the image sensor 1 is constant.
  • German Patent No. 2301800 German Patent: Application 1973/1/15
  • Japanese Patent Publication No. 5-27084 Japanese Patent No. 3191928 US Patent Application Publication No. 2008/0013941 Japanese Patent No. 3084130
  • the F-DOF method is dominant among various EDOF methods for digital still cameras and digital video cameras.
  • it is required to continuously shoot without time lag between frames. Therefore, during moving image shooting, it is known that EDOF moving image shooting is possible by performing reciprocal displacement as shown in FIG. 6 and alternately allocating the forward path and the return path one video frame at a time.
  • the displacement pattern of the image pickup device or the displacement pattern of the focus lens as shown in FIG. 6 includes sharp turns at the nearest end and the farthest end, the feasibility is low.
  • such displacement control that generates a large torque is not practical in portable digital still cameras and digital video cameras.
  • the consumption of the drive unit becomes severe, and it is often unacceptable in terms of quality.
  • FIG. 7 schematically shows the depth of field at the time of normal photographing, that is, the focus range, and is called a through focus characteristic.
  • the vertical axis represents the sharpness (sharpness of the image) and is generally expressed in MTF (Modulation Transfer Function).
  • MTF Modulation Transfer Function
  • the horizontal axis is the image plane side distance. Further, when the horizontal axis is reversed in size and rescaled based on the relationship shown in FIG. 5, the subject distance is obtained. In normal shooting without displacement during exposure, generally, when focusing on a certain subject distance, that part becomes the sharpest, and those at the front and rear subject distance move away from the in-focus position As the sharpness is lost.
  • FIG. 8 schematically shows the through focus characteristic when displacement is performed at a constant speed during exposure as shown in FIG.
  • a dotted line represents a state in which the through focus characteristic at the time of normal photographing expressed by the schematic diagram of FIG. 7 is displaced from the farthest end to the nearest end.
  • a solid line indicates a through focus characteristic obtained as a result of the displacement.
  • Non-Patent Document 3 shows that this solid through-focus characteristic can be obtained by dotted line integration.
  • the conventional displacement method shown in FIG. 6 also includes a problem that the image quality of the subject position restored at the farthest end and the nearest edge deteriorates compared with the image quality restored at the center. ing.
  • the present invention solves the above-described conventional problems, and an object of the present invention is to provide an imaging apparatus and a control method thereof that can suppress the degradation of restored image quality at the farthest end and the nearest end in F-DOF.
  • an imaging apparatus is an imaging apparatus, and includes an imaging element, a lens that performs image formation and focusing on the imaging element, and the imaging element.
  • a displacement control unit for displacing an in-focus position on the subject side of the imaging apparatus by displacing an image plane side distance that is a distance from the lens; and an exposure time determination unit that determines an exposure time based on an imaging scene; The displacement in the frame period including the exposure period so that the focus position moves from one end to the other end of a predetermined focus range during the exposure period of the exposure time length.
  • a displacement pattern determination unit that determines a displacement pattern of the image plane side distance by the control unit, and the displacement pattern determination unit is configured such that a displacement speed of the image plane side distance is a speed during an acceleration period included in the frame period. From scratch, during the constant speed period after the acceleration period included in the frame period, the image plane side distance is displaced at a constant speed, and the deceleration period after the constant speed period included in the frame period. In the meantime, the displacement pattern is determined so that the displacement speed of the image plane side distance decreases to zero speed, and the length of each of the acceleration period and the deceleration period is 1/10 of the length of the frame period. That's it.
  • the imaging apparatus sharply increases the image plane side distance between the exposure period of a certain frame period and the exposure period of the next frame period. There is no need to displace. Furthermore, the imaging device according to an aspect of the present invention can bring the image sharpness at the farthest end and the nearest end (one end and the other end) of the focusing range closer to the sharpness of the intermediate region. As described above, the imaging apparatus according to one embodiment of the present invention can suppress degradation of the restored image quality at the farthest end and the nearest end in the F-DOF. Accordingly, the imaging device according to one embodiment of the present invention can uniform the sharpness of the image within the in-focus range, and thus can generate a high-quality EDOF image.
  • the length of each of the acceleration period and the deceleration period may be 1 ⁇ 4 or less of the length of the frame period.
  • the imaging apparatus can suppress a reduction in the restored image quality at the center.
  • the displacement pattern determination unit increases the displacement speed of the image plane side distance at a constant acceleration during the acceleration period, and decelerates the displacement speed of the image plane side distance during the deceleration period.
  • the displacement pattern may be determined such that the displacement pattern decreases.
  • the imaging apparatus can easily realize a mechanism for displacing the correct position according to the displacement pattern.
  • the frame period includes the exposure period, a first non-exposure period before the exposure period, and a second non-exposure period after the exposure period, and at least a part of the acceleration period is the It may be included in the first non-exposure period, and at least a part of the deceleration period may be included in the second non-exposure period.
  • the imaging apparatus can obtain the same EDOF restoration processing image quality within the in-focus range.
  • the displacement control unit may displace the image plane side distance by moving the position of the lens.
  • the focus lens is displaced acutely between the exposure period of a certain frame period and the exposure period of the next frame period. There is no need to do.
  • the displacement control unit may displace the image plane side distance by moving the position of the image sensor.
  • the in-focus position can be displaced by displacing the imaging element.
  • the imaging apparatus further uses the restoration PSF for the image data generated by the PSF storage unit for storing the restoration PSF (Point Spread Function) in advance and the imaging element.
  • the present invention can be realized not only as such an image pickup apparatus but also as a method for controlling an image pickup apparatus using characteristic means included in the image pickup apparatus as a step, and such characteristic steps in a computer. It can also be realized as a program to be executed. Needless to say, such a program can be distributed via a non-transitory computer-readable recording medium such as a CD-ROM and a transmission medium such as the Internet.
  • the present invention can be realized as a semiconductor integrated circuit (LSI) that realizes part of the functions of such an imaging apparatus.
  • LSI semiconductor integrated circuit
  • the present invention can provide an imaging apparatus and a control method thereof that can suppress degradation of the restored image quality at the farthest end and the nearest end in the F-DOF.
  • FIG. 1 is a block diagram of a conventional imaging apparatus.
  • FIG. 2 is a block diagram of a conventional imaging apparatus.
  • FIG. 3 is a diagram illustrating an example of a displacement pattern in a conventional imaging apparatus.
  • FIG. 4 is a diagram illustrating a positional relationship between the subject distance and the image plane side distance.
  • FIG. 5 is a graph showing an example of the relationship between the subject distance and the image plane side distance.
  • FIG. 6 is a diagram illustrating an example of a displacement pattern at the time of moving image shooting by a conventional imaging device.
  • FIG. 7 is a diagram showing through focus characteristics obtained with a general lens configuration.
  • FIG. 8 is a diagram showing a through focus characteristic obtained by a conventional F-DOF displacement.
  • FIG. 1 is a block diagram of a conventional imaging apparatus.
  • FIG. 2 is a block diagram of a conventional imaging apparatus.
  • FIG. 3 is a diagram illustrating an example of a displacement pattern in a conventional imaging apparatus.
  • FIG. 4 is
  • FIG. 9 is a block diagram of the imaging apparatus according to Embodiment 1 of the present invention.
  • FIG. 10 is a block diagram of the imaging apparatus according to Embodiment 1 of the present invention.
  • FIG. 11 is a diagram showing an example of a displacement pattern according to Embodiment 1 of the present invention.
  • FIG. 12 is a diagram showing an example of the displacement speed according to Embodiment 1 of the present invention.
  • FIG. 13 is a diagram showing the through focus characteristic according to Embodiment 1 of the present invention.
  • FIG. 14A is a diagram showing a relationship between acceleration / deceleration time and required acceleration according to Embodiment 1 of the present invention.
  • FIG. 14B is a diagram showing a relationship between the acceleration / deceleration time and the displacement speed at the central portion according to Embodiment 1 of the present invention.
  • FIG. 15A is a diagram showing the MTF after the restoration process at the end of the in-focus range according to Embodiment 1 of the present invention.
  • FIG. 15B is a diagram showing the MTF after the restoration process at the end of the in-focus range according to Embodiment 1 of the present invention.
  • FIG. 15C is a diagram showing the MTF after the restoration process at the end of the in-focus range according to Embodiment 1 of the present invention.
  • FIG. 15D is a diagram showing the MTF after the restoration process at the end of the in-focus range according to Embodiment 1 of the present invention.
  • FIG. 15A is a diagram showing the MTF after the restoration process at the end of the in-focus range according to Embodiment 1 of the present invention.
  • FIG. 15B is a diagram showing the MTF after the restoration
  • FIG. 16A is a diagram showing an MTF before restoration processing at the center of the in-focus range according to Embodiment 1 of the present invention.
  • FIG. 16B is a diagram showing an MTF before restoration processing at the center of the in-focus range according to Embodiment 1 of the present invention.
  • FIG. 16C is a diagram showing an MTF before restoration processing at the center of the in-focus range according to Embodiment 1 of the present invention.
  • FIG. 16D is a diagram showing an MTF before restoration processing at the center of the in-focus range according to Embodiment 1 of the present invention.
  • FIG. 17 is a diagram showing a variation of the displacement pattern according to Embodiment 1 of the present invention.
  • FIG. 18 is a flowchart of an imaging operation performed by the imaging apparatus according to Embodiment 1 of the present invention.
  • FIG. 19 is a block diagram of a modification of the imaging device according to Embodiment 1 of the present invention.
  • FIG. 20 is a block diagram of an imaging apparatus according to Embodiment 2 of the present invention.
  • FIG. 21 is a block diagram of a modification of the imaging apparatus according to Embodiment 2 of the present invention.
  • the imaging apparatus according to Embodiment 1 of the present invention decelerates or accelerates the displacement speed of the image plane side distance at the end of the focusing range. As a result, the imaging apparatus according to Embodiment 1 of the present invention does not need to acutely displace the image plane side distance at the end of the focusing range. Furthermore, the imaging apparatus according to Embodiment 1 of the present invention can bring the image sharpness at the end of the focusing range closer to the sharpness of the intermediate area. As described above, the imaging apparatus according to Embodiment 1 of the present invention can suppress the degradation of the restored image quality at the farthest end and the nearest end in the F-DOF.
  • FIG. 9 is a diagram showing a schematic configuration of the imaging apparatus 100 according to Embodiment 1 of the present invention.
  • 9 includes an exposure time determination unit 8, a displacement pattern determination unit 21, a displacement control unit 22, an image sensor 1, and a lens 2.
  • the lens 2 performs image formation and condensing on the image sensor 1.
  • the displacement control unit 22 displaces the in-focus position (subject distance u) on the subject side of the imaging apparatus 100 by displacing the relative distance (image plane side distance v) between the imaging element 1 and the lens 2.
  • the focus position on the subject side is also simply referred to as the focus position.
  • the exposure time determination unit 8 determines the exposure time based on the imaging scene.
  • FIG. 10 is a diagram illustrating a detailed configuration of the imaging apparatus 100 according to Embodiment 1 of the present invention.
  • the imaging apparatus 100 includes an imaging device 1, a lens 2, a shutter 3, a focus lens displacement control unit 4 ⁇ / b> A, a shutter opening / closing instruction unit 5, a release receiving unit 6, and a focus lens initial position.
  • the focus lens displacement control unit 4A is a specific example of the displacement control unit 22 shown in FIG.
  • the focus lens displacement control unit 4A moves the focus lens 20 by moving the position of the focus lens 20.
  • focus lens displacement pattern determination unit 9 is a specific example of the displacement pattern determination unit 21 shown in FIG.
  • the shutter 3 physically starts and ends exposure to the image sensor 1.
  • the shutter opening / closing instruction unit 5 instructs opening / closing of the shutter 3.
  • the lens 2 is composed of a focus lens 20 and other lens groups in order to focus on a desired subject.
  • the focus lens 20 may be composed of a plurality of lenses.
  • the focus lens 20 can be displaced relative to other lens groups, and the in-focus position is displaced by displacing the relative position.
  • the release accepting unit 6 accepts an exposure start instruction (instruction to release the shutter) from the user.
  • the focus lens initial position detection unit 7 detects the current position (initial position) of the focus lens 20 when the release reception unit 6 receives an exposure start instruction from the user.
  • the focus lens position initialization unit 18 initializes the position of the focus lens 20 based on the initial position after the initial position is detected by the focus lens initial position detection unit 7. Specifically, the focus lens position initialization unit 18 displaces the position of the focus lens 20 to a predetermined end position, for example, the nearest end or the farthest end.
  • a predetermined end position for example, the nearest end or the farthest end.
  • the distance closest to the imaging apparatus 100 with respect to the imaging apparatus 100 in the predetermined focusing range is set as the nearest end
  • the distance farthest from the imaging apparatus 100 is set as the farthest end.
  • the exposure time determination unit 8 immediately determines the exposure time based on the imaging scene when the release reception unit 6 receives an instruction to release the shutter. Further, simultaneously with the initialization operation of the focus lens 20, the exposure time determination unit 8 determines shooting parameters such as a shutter speed and an aperture value.
  • the focus lens displacement pattern determination unit 9 performs focusing during the exposure period of the exposure time determined by the exposure time determination unit 8 after the focus lens position initialization by the focus lens position initialization unit 18 is completed.
  • the focus lens displacement pattern determination unit 9 determines a displacement pattern as shown in FIG.
  • the frame period is one video frame period in moving image shooting or the shooting time of one still image based on the required burst rate during continuous shooting.
  • the focus lens displacement pattern determination unit 9 determines the displacement pattern of the focus lens 20 according to this displacement pattern, and notifies the synchronization management unit 10A of the displacement pattern. Then, the synchronization management unit 10A performs synchronization management at the start and end of exposure for the focus lens displacement control unit 4A and the shutter opening / closing instruction unit 5 based on the displacement pattern.
  • the synchronization management unit 10A detects that the displacement pattern of the focus lens 20 is determined by the focus lens displacement pattern determination unit 9 and the exposure time is determined by the exposure time determination unit 8, the synchronization management unit 10A immediately Then, an exposure start instruction is issued to the focus lens displacement control unit 4A and the shutter opening / closing instruction unit 5.
  • the shutter opening / closing instruction unit 5 performs control so that the shutter 3 opens as soon as an exposure start instruction is issued. After the exposure time has elapsed, the synchronization management unit 10A instructs the focus lens displacement control unit 4A to end the displacement of the focus lens 20, and simultaneously instructs the shutter opening / closing instruction unit 5 to end the exposure. The shutter opening / closing instruction unit 5 performs control so that the shutter 3 is closed as soon as an exposure end instruction is issued.
  • the formed optical image is converted into an image signal that is an electrical signal by the image sensor 1, and the converted image signal is sent to the image restoration processing unit 11. Moved.
  • the synchronization management unit 10A notifies the image restoration processing unit 11 that the exposure has been completed and that the focus displacement has been imaged by F-DOF.
  • the PSF storage unit 12 stores in advance a restoration PSF (Point Spread Function) for restoring an image signal.
  • a restoration PSF Point Spread Function
  • the image restoration processing unit 11 After receiving the image signal, the image restoration processing unit 11 reads the restoration PSF stored in the PSF storage unit 12 and performs image restoration processing on the image signal using the restoration PSF. Specifically, the PSF storage unit 12 holds a blur pattern due to focus displacement, which is measured in advance or obtained by simulation, as a restoration PSF. Various methods such as Wiener Filter and Lucy-Richardson are known as image restoration methods, but any method may be used.
  • the imaging data recording unit 13 records the restored image signal as imaging data.
  • FIG. 11 is a diagram showing an example of a displacement pattern of the image plane side distance v according to Embodiment 1 of the present invention.
  • FIG. 12 is a diagram showing the displacement speed of the image plane side distance v in this case.
  • the time until the displacement from the farthest end to the nearest end is the same as the exposure time of one video frame period (one frame period). is there.
  • one frame period includes an acceleration period, a subsequent constant speed period, and a subsequent deceleration period.
  • the focus lens displacement pattern determination unit 9 controls the displacement pattern of the focus lens 20 in order to control the displacement pattern of the image plane side distance v.
  • control may be performed so as to shift from the nearest end to the farthest end during the exposure period of the next video frame.
  • the moving image shooting method shown here may be used.
  • the displacement pattern within the exposure period of one video frame shown here is an example, and other displacement patterns may be used.
  • the displacement pattern is not limited to the one-way displacement pattern shown here, but is equivalent to a pattern that is displaced one-way after an integer number of round-trips, such as one half-way or two-way half-way within the exposure period of one video frame. The effect is obtained.
  • the displacement speed of the image plane side distance v increases with a constant acceleration during the acceleration period. However, this acceleration may not be constant. Similarly, in the above description, the displacement speed of the image plane side distance v decreases with a constant deceleration during the deceleration period, but this deceleration may not be constant. However, since it is easy to realize the displacement pattern, it is preferable to use constant acceleration and deceleration.
  • the acceleration / deceleration time t which is the length of each of the acceleration period and the deceleration period, is preferably 1/10 or more and 1/4 or less of one frame time T which is the length of one frame period. . The reason is described below.
  • FIG. 13 is a diagram showing through focus characteristics when the displacement pattern according to Embodiment 1 of the present invention is employed. As shown in FIG. 13, the staying time at the end of the focus range increases as compared to the center, so that the sharpness at the end of the focus range increases from the center. As a result, uniform sharpness can be obtained in a desired focusing range.
  • FIG. 14A is a graph showing the relationship between the acceleration / deceleration time t and the required acceleration a when the displacement distance on the image plane side is 100 ⁇ m and one frame time T is 1/60 second.
  • FIG. 14B is a graph showing the relationship between the acceleration / deceleration time t and the displacement speed v at the center under the same conditions.
  • the image plane side displacement distance Sd, the one frame time T, the acceleration / deceleration time t, the required acceleration a at the end of the focusing range, and the displacement speed v at the center satisfy the following relationship. .
  • acceleration / deceleration time t is set on the horizontal axis.
  • the required acceleration a is set on the vertical axis
  • the displacement speed v at the center is set on the vertical axis in FIG. 14B.
  • the acceleration / deceleration time t As shown in FIG. 14A, as the acceleration / deceleration time t is shortened, the acceleration a (deceleration) required at the end of the focusing range increases rapidly. That is, if the acceleration / deceleration time t is shortened, it is necessary to use a very large acceleration, which is difficult to realize.
  • FIG. 15A to FIG. 15D and FIG. 7A to FIG. 16D are experimental data specifically evaluating these phenomena quantitatively.
  • the focal length is set to 4.8 mm
  • the F value is set to 2.8
  • the in-focus position is set to infinity
  • the wavelength is set to 550 nm
  • the in-focus subject distance is shifted to 0.48 m around the infinity as the in-focus range.
  • the experiment was conducted. In this case, the displacement on the image plane side is 4.75 mm to 4.85 mm according to the lens formula.
  • 15A to 15D show the MTF before the restoration process (the MTF of the image obtained by simply displacing) and the MTF after the restoration process (infinite as the PSF for restoration) at 0.48 m which is the front end. 2 adopts a PSF obtained at the time of displacement when a subject is assumed.
  • FIG. Indicates the case of t 0.4T.
  • the sharpness at the end is improved by providing the acceleration period and the deceleration period. Also, until the acceleration / deceleration time t is lengthened to a certain extent, the sharpness at the end portion is further improved. However, even if the acceleration / deceleration time t is increased for a certain time or longer, the sharpness at the end portion is improved. It can be seen that does not change much (the improvement effect is reduced).
  • FIG. 16A to FIG. 16D show the MTF characteristics before the restoration process at the infinity position (that is, the EDOF central portion).
  • the spatial frequency is about 160 lpmm.
  • the spatial frequency is about 145 lpmm.
  • t 0.4T shown in FIG. Is about 130 lpmm.
  • this acceleration / deceleration time t is limited to 0.1 to 0.25 with respect to one frame time (exposure time) T.
  • At least the acceleration / deceleration time t is 1/10 or more of one frame time T, so that the restored image quality at the farthest end and the nearest end can be improved. Furthermore, by setting the acceleration / deceleration time t to 1 ⁇ 4 or less of the one frame time T, it is possible to suppress the deterioration of the restored image quality at the center.
  • the length of the acceleration period and the length of the deceleration period may be the same or different. In other words, the acceleration during the acceleration period and the deceleration during the deceleration period may be different.
  • an exposure period and a non-exposure period may be included in one frame period.
  • the exposure time of one video frame determined by the exposure time determination unit 8 or the exposure time of one sheet during still image continuous shooting is the video frame rate (1/30 or 1/60), or continuous shooting.
  • the shooting time of one still image based on the required speed is shorter.
  • the in-focus position is displaced by a predetermined amount from the actually required displacement amount (distance between the farthest end and the nearest end), and the required displacement amount (the farthest end and the nearest end).
  • the displacement is constant velocity.
  • control is performed so that the acceleration / deceleration time is included in the non-exposure time instead of staying at the end where the speed becomes zero as described above. That is, the acceleration period is included in a non-exposure period that is included in one frame period and is positioned before the exposure period, and the deceleration period is included in a non-exposure period that is included in one frame period and is positioned after the exposure period.
  • a part of the acceleration period may be included in the non-exposure period, and the other part of the acceleration period may be included in the exposure period.
  • a part of the deceleration period may be included in the non-exposure period, and the other part of the deceleration period may be included in the exposure period.
  • FIG. 18 is a flowchart of the imaging operation by the imaging apparatus 100.
  • the exposure time determination unit 8 determines the exposure time based on the imaging scene (S101).
  • the focus lens displacement pattern determination unit 9 moves the focus position from one end of the predetermined focus range to the other end during the exposure period of the exposure time determined in step S101.
  • the displacement pattern of the image plane side distance in the frame period including the exposure period is determined (S102).
  • the focus lens displacement pattern determining unit 9 determines the displacement pattern of the focus lens 20 according to the displacement pattern, and notifies the synchronization management unit 10A of the displacement pattern. Then, the synchronization management unit 10A performs synchronization management at the start and end of exposure for the focus lens displacement control unit 4A and the shutter opening / closing instruction unit 5 based on the displacement pattern. Thereby, the focus lens displacement control unit 4A displaces the image plane side distance within one frame period as in the displacement pattern determined in step S102 (S103).
  • the imaging apparatus 100 according to Embodiment 1 of the present invention can realize moving image and continuous still image shooting using EDOF adopting F-DOF by performing such control. Furthermore, the imaging apparatus 100 according to Embodiment 1 of the present invention can also improve the image quality at the end of the in-focus range.
  • imaging apparatus 100 may not include all the processing units illustrated in FIG.
  • FIG. 19 is a block diagram of an imaging apparatus 101 that is a modification of the imaging apparatus 100 according to the first embodiment. Its configuration and operation are substantially the same as in FIG. Compared with FIG. 10, the imaging apparatus 101 is characterized in that an image obtained by exposure is directly recorded in the imaging data recording unit 13. This is intended to realize the image restoration processing not in the imaging apparatus but in another apparatus in the subsequent stage, such as a personal computer, an image viewer, or a network server. Thereby, the imaging apparatus 101 can realize a significant reduction in the shutter time lag while suppressing the amount of calculation as the imaging apparatus, as compared with the configuration illustrated in FIG.
  • Embodiment 2 of the present invention an example in which the in-focus position is displaced by moving the position of the image sensor 1 will be described.
  • the schematic configuration of the imaging apparatus 200 according to Embodiment 2 of the present invention is the same as that shown in FIG.
  • FIG. 20 is a block diagram of the imaging apparatus 200 according to Embodiment 2 of the present invention.
  • the imaging apparatus 200 is different from the configuration of the imaging apparatus 100 shown in FIG. 10 in that the focus lens initial position detection unit 7, the focus lens position initialization unit 18, the focus lens displacement pattern determination unit 9, the synchronization management unit 10A, and the focus lens.
  • the displacement control unit 4A an image sensor initial position detection unit 14, an image sensor position initialization unit 19, an image sensor displacement pattern determination unit 15, a synchronization management unit 16A, and an image sensor displacement control unit 17A are provided.
  • symbol is attached
  • the imaging device 200 may include the lens 2.
  • the lens 2 is fixed, and the imaging element 1 can be displaced in a relative position with respect to the lens 2.
  • the image sensor displacement control unit 17A is a specific example of the displacement control unit 22 shown in FIG.
  • the image sensor displacement control unit 17 ⁇ / b> A displaces the in-focus position by moving the position of the image sensor 1.
  • the image sensor displacement pattern determination unit 15 is a specific example of the displacement pattern determination unit 21 shown in FIG.
  • the image sensor initial position detecting unit 14 detects the current position (initial position) of the image sensor 1.
  • the image sensor position initialization unit 19 initializes the position of the image sensor 1 based on the initial position after the initial position is detected by the image sensor initial position detection unit 14. Specifically, the image sensor position initialization unit 19 displaces the position of the image sensor 1 to a predetermined end position, for example, the nearest end or the farthest end.
  • the exposure time determination unit 8 immediately determines the exposure time based on the imaging scene when the release reception unit 6 receives an instruction to release the shutter. Further, simultaneously with the initialization operation of the image sensor 1, the exposure time determination unit 8 determines photographing parameters such as a shutter speed and an aperture value.
  • the image sensor displacement pattern determination unit 15 uses the exposure time information determined by the exposure time determination unit 8 after the image sensor position initialization unit 19 completes the initialization of the image sensor position, for example, FIG. A displacement pattern of the in-focus position as shown in FIG. Then, the image sensor displacement pattern determination unit 15 determines a displacement pattern of the image sensor in accordance with the displacement pattern at the in-focus position, and notifies the synchronization management unit 16A of the displacement pattern.
  • the synchronization management unit 16A performs synchronization management at the start and end of exposure for the image sensor displacement control unit 17A and the shutter opening / closing instruction unit 5.
  • the synchronization management unit 16A issues an instruction to start exposure to the image sensor displacement control unit 17A and the shutter opening / closing instruction unit 5.
  • the shutter opening / closing instruction unit 5 performs control so that the shutter 3 opens as soon as an exposure start instruction is issued. After a predetermined exposure time has elapsed, the synchronization management unit 16A instructs the shutter opening / closing instruction unit 5 to end the exposure.
  • the shutter opening / closing instruction unit 5 performs control so that the shutter 3 is closed as soon as an exposure end instruction is issued.
  • the formed optical image is converted into an image signal that is an electrical signal by the image sensor 1, and the converted image signal is sent to the image restoration processing unit 11. Moved.
  • the synchronization management unit 16A notifies the image restoration processing unit 11 that the exposure has been completed and that imaging of the imaging element displacement by F-DOF has been performed.
  • the other configuration conforms to the case of the focus lens displacement in FIG.
  • the displacement pattern of the imaging element conforms to the pattern of FIG. 11 shown in the first embodiment.
  • the configuration in which the imaging element 1 itself is displaced is the difference from the second embodiment, and the displacement pattern is common.
  • the acceleration / deceleration time t is limited to 0.1 to 0.25 with respect to one frame time T.
  • the imaging apparatus 200 according to the second embodiment of the present invention performs such control, so that the moving image and the continuous still image using the EDOF adopting the F-DOF, as in the first embodiment. Shooting can be realized. Furthermore, the imaging apparatus 200 according to Embodiment 2 of the present invention can simultaneously improve the image quality at the end of the focusing range.
  • imaging apparatus 200 may not include all the processing units illustrated in FIG.
  • FIG. 21 is a block diagram of an imaging apparatus 201 that is a modification of the imaging apparatus 200 according to Embodiment 2 of the present invention. Its configuration and operation are substantially the same as in FIG.
  • the imaging device 201 is characterized in that an image obtained by exposure is directly recorded in the imaging data recording unit 13 as compared with FIG. This is intended to realize the image restoration processing not in the imaging apparatus but in another apparatus in the subsequent stage, such as a personal computer, an image viewer, or a network server. Accordingly, the imaging apparatus 201 can realize a significant reduction in the shutter time lag while suppressing the amount of calculation as the imaging apparatus, as compared with the configuration illustrated in FIG.
  • the imaging device according to the embodiment of the present invention has been described above, but the present invention is not limited to this embodiment.
  • At least a part of the plurality of processing units included in the imaging apparatus according to the above embodiment is realized as an LSI that is an integrated circuit. These may be individually made into one chip, or may be made into one chip so as to include a part or all of them.
  • circuits are not limited to LSI, and may be realized by a dedicated circuit or a general-purpose processor.
  • An FPGA Field Programmable Gate Array
  • reconfigurable processor that can reconfigure the connection and setting of circuit cells inside the LSI may be used.
  • a part of the functions of the imaging apparatus according to the embodiment of the present invention may be realized by a processor such as a CPU executing a program.
  • the present invention may be the above program or a non-transitory computer-readable recording medium on which the above program is recorded.
  • the program can be distributed via a transmission medium such as the Internet.
  • the present invention can be applied to an imaging apparatus and a control method thereof, and in particular, can be applied to moving image shooting and continuous still image shooting using the F-DOF method.
  • the present invention is useful in fields such as consumer and commercial imaging devices (digital still cameras).

Abstract

　本発明に係る撮像装置（１００）は、像面側距離を変位させることにより、撮像装置（１００）の被写体側の合焦位置を変位させる変位制御部（２２）と、フレーム期間における変位制御部（２２）による変位パターンを決定する変位パターン決定部（２１）とを備える。変位パターン決定部（２１）は、フレーム期間に含まれる加速期間の間、像面側距離の変位速度が速度ゼロから増加し、等速期間の間、像面側距離が等速で変位し、減速期間の間、像面側距離の変位速度が速度ゼロまで減少するように、合焦位置の変位パターンを決定し、加速期間及び減速期間の各々の長さは、フレーム期間の長さの１／１０以上である。

Description

撮像装置及びその制御方法
　本発明は、撮像装置及びその制御方法に関し、特に、露光期間において合焦位置を変化させる撮像装置に関する。
　一般的に被写界深度拡張（以下、ＥＤＯＦと称する）を実現する方式としては、主に以下の３つの方式が挙げられる。１つ目の方式は、位相板と呼ばれる光学素子を光学系に挿入することで深度方向のボケを均一化する。そして、当該方式は、得られた画像に対して、予め測定されたボケパターン、又はシミュレーションにより算出されたボケパターンを用いて画像復元処理を行う。これにより、当該方式は、ＥＤＯＦ画像を生成する。この方式は、Ｗａｖｅｆｒｏｎｔ　Ｃｏｄｉｎｇ（以下、ＷＦＣと称する）と称されている（非特許文献１参照）。
　２つ目の方式は、絞り形状を工夫することで画像の部分領域ごとに高精度な距離測定を行う。そして、当該方式は、各部分領域に対して、予め測定しておいたそれぞれの距離に応じたボケパターンを用いて画像復元処理を行う。これにより、当該方式は、ＥＤＯＦ画像を生成する。この方式は、Ｃｏｄｅｄ　Ａｐｅｒｔｕｒｅ（以下、ＣＡと称する）と称されている（非特許文献２参照）。
　３つ目の方式は、露光時間中にフォーカスレンズ又は撮像素子を動かすことで、深度方向に一律に合焦した画像を畳み込む（つまり各深度でボケを均一化することと同義）。そして、当該方式は、得られた画像に対して、予め測定されたボケパターン、又はシミュレーションにより算出されたボケパターンを用いて画像復元処理を行う。これにより、当該方式は、ＥＤＯＦ画像を生成する。この方式は、Ｆｌｅｘｉｂｌｅ　ＤＯＦ（以下、Ｆ－ＤＯＦと称する）と称されている（非特許文献３）。
　上記の他にも、レンズの軸上色収差を利用して深度推定又は画像のシャープネス検知を行うとともに、画像処理により全体が鮮鋭な画像を生成する方式（非特許文献４）、及び、多重焦点レンズを使って深度方向のボケを均一化し、予め測定したボケパターン、又はシミュレーションにより算出されたボケパターンを用いて画像復元処理を行う方式（非特許文献５）などもある。しかし、これらの方式は原理上、上記３つの方式と比べてＥＤＯＦ効果が小さいという欠点がある。
　さらに、Ｆｏｃａｌ　Ｓｔａｃｋと呼ばれる方式も古くから存在する。この方式は、合焦位置（フォーカス位置）の異なる複数枚の画像を撮影し、合焦していると思われる領域をそれぞれの画像から抽出する。そして、当該方式は、抽出した画像を合成することで、ＥＤＯＦ画像を生成する。この方式の場合、多くの撮像枚数を必要とするため、撮像に比較的時間を要するという問題と、メモリ量を多く消費してしまうという問題とがある。
　前述における３方式のうち１つ目のＷＦＣでは、様々な位相板の種類が提案されている。その中でも、最もＥＤＯＦ効果の得られるものとして、Ｃｕｂｉｃ　Ｐｈａｓｅ　Ｍａｓｋ（以下、ＣＰＭと称する）、及びＦｒｅｅ－Ｆｏｒｍ　Ｐｈａｓｅ　Ｍａｓｋ（以下、ＦＰＭと称する）がある。復元後の画質（アーティファクトの少なさ）の観点からＦＰＭが有力とされている（非特許文献６）。しかしながら、ＷＦＣ共通の欠点として、位相板を挿入することで、レンズの光軸外の特性が悪化するという性質がある（非特許文献７）。具体的には、正面からの入射光と比べ、正面以外からの入射光に対して、同じだけのボケ均一効果が得られない。これにより、画像復元時に軸上のボケパターンで復元処理を行うと、復元後の光軸外の画質が劣化してしまう。
　前述における３方式のうち２つ目のＣＡは、変わった絞り形状を用いることで距離測定精度を高める。この方式そのものがもつこのような特性により、撮影された画像及び復元処理後に得られる画像の特定周波数成分が失われてしまう。つまり、この方式は、画質劣化してしまうという欠点がある。また、この方式は、一般的に絞り形状に関わらず通常の撮影方法よりも光量が減るため、暗い場所での撮影に向かない。
　前述における３方式のうち３つ目のＦ－ＤＯＦは、この中で最も良好な画質が得られる方式であり、ＥＤＯＦ効果も高い。また、軸外特性もレンズ特性そのものに依存するため、性能を高めやすい。ただし光学的な条件として、露光中に合焦位置を動かしても、同一被写体が同一の画像位置上に畳み込まれる必要があることから、像側テレセントリックレンズを用いる必要がある。
　上記ＥＤＯＦ技術の応用先として、最も古い歴史があるのは顕微鏡用途である。本用途の場合、静物体をじっくり撮影することができることから、Ｆｏｃａｌ　Ｓｔａｃｋ方式が古くから採用されてきた。ただしこの方式の場合、前述のとおり手間と時間とを要することから、Ｆ－ＤＯＦ方式のアイデアも合わせて、いくつかの文献に開示されてきている（特許文献１～４）。Ｆ－ＤＯＦを顕微鏡用途で用いる方法として、露光中に被写体である試料側を動かす場合と、レンズ鏡筒を動かす場合とが開示されている。なお露光後の画像復元処理を前提とする場合、像のボケが常に均一になるように動かし方を制御すれば、単一のボケパターンを使った画像復元処理方法が適用できるため合理的であることが知られている（特許文献５）。そのためには、動かす対象が撮像素子の場合、これを等速度で動かす必要がある。またフォーカスレンズを動かす場合も、撮像面が等速度で動くのに相当するフォーカス変位を行う必要がある（非特許文献３）。動かすパターンとしては、奥側合焦端位置から手前側合焦端位置まで、又はその逆でもよいことが知られている。
　ＥＤＯＦ技術のその他の応用先として、近年、携帯電話などに搭載されるカメラが挙げられる。ＥＤＯＦ技術を当該カメラに用いることで、当該カメラの小型化を実現できる。すなわちＥＤＯＦ効果により、オートフォーカス機構を持つことなく、全焦点画像（全ての被写体に焦点が合っている画像）を得ることができるからである。
　本応用先の観点からは、上記方式のうちＦ－ＤＯＦそのものはフォーカスレンズ又は撮像素子を動かす機構が必要になるので採用されておらず、ＷＦＣ又は軸上色収差を使った方式などが採用されている。
　さらにもう１つの応用先としては、通常のデジタルスチルカメラ、及びデジタルビデオカメラが考えられる。これらデジタルスチルカメラ及びデジタルビデオカメラの近年のトレンドとして、より簡単にかつ失敗の少ない撮影が求められている。ＥＤＯＦ技術は全焦点画像、すなわち合焦ミスからの開放という効果が期待できる。本応用先の観点からは、高画質であること、ＥＤＯＦ効果の大きさ、合焦範囲の任意変更が可能なこと、通常のオートフォーカス機構を応用することで実現可能なこと（特別な光学系を用意しなくてすむこと）、及びＥＤＯＦ撮影と通常撮影との切り替えが容易なこと、などから、上記方式のうち最も優れているのはＦ－ＤＯＦである。
　Ｆ－ＤＯＦを実現するのに必要な構成を、図１及び図２を用いて説明する。図１は露光期間中にフォーカスレンズを変位させる場合の撮像装置５００の構成を示している。図１に示す撮像装置５００は、撮像素子１と、レンズ２と、シャッター３と、フォーカスレンズ変位制御部４と、シャッター開閉指示部５と、レリーズ受付部６と、フォーカスレンズ初期位置検出部７と、露光時間決定部８と、フォーカスレンズ位置初期化部１８と、同期管理部１０と、画像復元処理部１１と、ＰＳＦ記憶部１２と、撮像データ記録部１３とを備える。また、レンズ２は、フォーカスレンズ２０とその他のレンズ群により構成される。
　レリーズ受付部６がユーザから露光開始指示を受け付けると、フォーカスレンズ初期位置検出部７は、フォーカスレンズ２０のそのときの位置（初期位置）を検出する。検出後、フォーカスレンズ位置初期化部１８は、フォーカスレンズ２０の位置を所定の端位置、例えば最近端又は最遠端へ変位させる。ここで所定の合焦範囲のうち撮像装置５００を基準に最も撮像装置５００に近い距離を最近端とし、最も撮像装置５００より遠い距離を最遠端とする。
　フォーカスレンズ２０の初期化作業と同時に、露光時間決定部８は、シャッター速度及び絞り値などの撮影パラメータを決定する。上記の作業終了後すみやかに、同期管理部１０は、露光開始の指示をフォーカスレンズ変位制御部４とシャッター開閉指示部５とへ出す。同時にフォーカスレンズ変位制御部４へは、同期管理部１０は、フォーカスレンズ位置初期化部１８で初期化されたフォーカスレンズ２０の端位置に基づき、端位置が最近端であれば最近端から最遠端へ、端位置が最遠端であれば最遠端から最近端へ、露光期間内にフォーカスレンズ２０を変位させるよう指示を出す。
　図３は、露光前のフォーカスレンズ２０の位置の初期化と露光中の撮像素子面における焦点位置（像面側距離）の変位との様子を示す図である。なおその変位速度は、撮像素子面で等速に合焦位置が変位するよう、フォーカスレンズ２０に対して変位制御指示が出されるものとする。図４に示すように、被写体、レンズ、撮像素子それぞれの間の距離をｕ、ｖ、焦点距離をｆとすると、一般的にレンズの公式より、下記（式１）の関係が成り立つ。
Figure JPOXMLDOC01-appb-M000001
　また、レンズが複数枚存在するときは、レンズ主点位置で考慮する。一例として、ｆが１８［ｍｍ］のときのｕとｖとの関係を図５に示す。フォーカスレンズ２０が変位することで、レンズ主点と撮像素子間の距離である像面側距離ｖが変位する。ここで、撮像素子面で等速に合焦位置が変位するよう、フォーカスレンズ２０に対して変位制御指示するとは、この像面側距離ｖの変化速度が一定であることを意味する。なお、図５に示すように、像面側距離ｖが等速度で変位しても、被写体側の焦点面とレンズ主点との間の距離である被写体距離ｕが等速度で変位するわけではない。また図３の縦軸は像面側距離ｖである。つまり、露光時間と被写体距離ｕとの関係は、露光時間と像面側距離ｖとの関係に対して、大小が逆の関係になることに注意が必要である。すなわち、被写体距離側での最近端及び最遠端は、像面側に対して大小が入れ替わることになる。
　図２は露光時間中撮像素子を変位させる場合の撮像装置５０１の構成を示す図である。図２に示す撮像装置５０１は、撮像素子１と、シャッター３と、シャッター開閉指示部５と、レリーズ受付部６と、露光時間決定部８と、画像復元処理部１１と、ＰＳＦ記憶部１２と、撮像データ記録部１３と、撮像素子初期位置検出部１４と、同期管理部１６と、撮像素子変位制御部１７と、撮像素子位置初期化部１９とを備える。なお、図１と同様の要素には同一の符号を付しており、重複する説明は省略する。
　レリーズ受付部６がユーザから露光開始指示を受け付けると、撮像素子初期位置検出部１４は、撮像素子１のそのときの位置（初期位置）を検出する。検出後、撮像素子位置初期化部１９は、撮像素子１の位置を所定の端位置、例えば最近端又は最遠端へ変位させる。　撮像素子１の初期化作業と同時に、露光時間決定部８は、シャッター速度及び絞り値などの撮影パラメータを決定する。上記の作業終了後すみやかに、同期管理部１６は、露光開始の指示を、撮像素子変位制御部１７及びシャッター開閉指示部５へ出す。同時に撮像素子変位制御部１７へは、同期管理部１６は、撮像素子位置初期化部１９で初期化された撮像素子１の端位置に基づき、端位置が最近端であれば最近端から最遠端へ、端位置が最遠端であれば最遠端から最近端へ、露光時間内に撮像素子１を変位させるよう指示を出す。なお撮像素子１の変位速度は等速とする。
西独国特許第２３０１８００号明細書（ドイツ特許：出願１９７３／１／１５） 特公平５－２７０８４号公報 特許第３１９１９２８号公報 米国特許出願公開第２００８／００１３９４１号明細書 特許第３０８４１３０号公報
Ｅ．Ｒ．Ｄｏｗｓｋｉ　ａｎｄ　Ｗ．Ｔ．Ｃａｔｈｅｙ，"Ｅｘｔｅｎｄｅｄ　ｄｅｐｔｈ　ｏｆ　ｆｉｅｌｄ　ｔｈｒｏｕｇｈ　ｗａｖｅ－ｆｒｏｎｔ　ｃｏｄｉｎｇ"，Ａｐｐｌｉｅｄ　Ｏｐｔｉｃｓ，Ｖｏｌ．３４，Ｎｏ．１１，Ｐ．１８５９－１８６６（１９９５） Ａ．Ｌｅｖｉｎ，Ｒ．Ｆｅｒｇｕｓ，Ｆ．Ｄｕｒａｎｄ　ａｎｄ　Ｗ．Ｔ．Ｆｒｅｅｍａｎ，"Ｉｍａｇｅ　ａｎｄ　Ｄｅｐｔｈ　ｆｒｏｍ　ａ　Ｃｏｎｖｅｎｔｉｏｎａｌ　Ｃａｍｅｒａ　ｗｉｔｈ　ａ　Ｃｏｄｅｄ　Ａｐｅｒｔｕｒｅ"，ＡＣＭ　Ｔｒａｎｓａｃｔｉｏｎｓ　ｏｎ　Ｇｒａｐｈｉｃｓ，Ｖｏｌ．２６，Ｎｏ．３，Ａｒｔｉｃｌｅ　７０，７０－１　－　７０－９（２００７） Ｈ．Ｎａｇａｈａｒａ，Ｓ．Ｋｕｔｈｉｒｕｍｍａｌ，Ｃ．Ｚｈｏｕ　ａｎｄ　Ｓ．Ｎａｙａｒ，"Ｆｌｅｘｉｂｌｅ　Ｄｅｐｔｈ　ｏｆ　Ｆｉｅｌｄ　Ｐｈｏｔｏｇｒａｐｈｙ"，Ｅｕｒｏｐｅａｎ　Ｃｏｎｆｅｒｅｎｃｅ　ｏｎ　Ｃｏｍｐｕｔｅｒ　Ｖｉｓｉｏｎ　（ＥＣＣＶ），Ｏｃｔ．１６ｔｈ，Ｍｏｒｎｉｎｇ　Ｓｅｓｓｉｏｎ２：Ｃｏｍｐｕｔａｔｉｏｎａｌ　Ｐｈｏｔｏｇｒａｐｈｙ（２００８） Ｃ．Ｔｉｓｓｅ，Ｈ．Ｐ．Ｎｇｕｙｅｎ，Ｒ．Ｔｅｓｉｅｒｅｓ，Ｍ．Ｐｙａｎｅｔ　ａｎｄ　Ｆ．Ｇｕｉｃｈａｒｄ，"Ｅｘｔｅｎｄｅｄ　Ｄｅｐｔｈ－ｏｆ－ｆｉｅｌｄ（ＥＤＯＦ）　ｕｓｉｎｇ　ｓｈａｒｐｎｅｓｓ　ｔｒａｎｓｐｏｒｔ　ａｃｒｏｓｓ　ｃｏｌｏｕｒ　ｃｈａｎｎｅｌｓ"，Ｏｐｔｉｃａｌ　Ｅｎｇｉｎｅｅｒｉｎｇ＋Ａｐｐｌｉｃａｔｉｏｎｓ，Ｐａｒｔ　ｏｆ　ＳＰＩＥ　Ｏｐｔｉｃｓ＋Ｐｈｏｔｏｎｉｃｓ，Ｓｅｓｓｉｏｎ１－－Ｉｍａｇｉｎｇ　ｉｎ　ｔｈｅ　Ｏｐｔｉｃａｌ　Ｄｅｓｉｇｎ　Ｐｒｏｃｅｓｓ：Ｄｅｐｔｈ　ｏｆ　Ｆｉｅｌｄ（２００８） Ｗ．Ｃｈｉ　ａｎｄ　Ｎ．Ｇｅｏｒｇｅ，"Ｃｏｍｐｕｔａｔｉｏｎａｌ　ｉｍａｇｉｎｇ　ｗｉｔｈ　ｔｈｅ　ｌｏｇａｒｉｔｈｍｉｃ　ａｓｐｈｅｒｅ：　ｔｈｅｏｒｙ"，Ｏｐｔｉｃａｌ　Ｓｏｃｉｅｔｙ　ｏｆ　Ａｍｅｒｉｃａ，Ｖｏｌ．２０，Ｎｏ．１２，Ｄｅｃｅｍｂｅｒ（２００３） Ｙ．Ｔａｋａｈａｓｈｉ　ａｎｄ　Ｓ．Ｋｏｍａｔｓｕ，"Ｏｐｔｉｍｉｚｅｄ　ｆｒｅｅ－ｆｏｒｍ　ｐｈａｓｅ　ｍａｓｋ　ｆｏｒ　ｅｘｔｅｎｓｉｏｎ　ｏｆ　ｄｅｐｔｈ　ｏｆ　ｆｉｅｌｄ　ｉｎ　ｗａｖｅｆｒｏｎｔ－ｃｏｄｅｄ　ｉｍａｇｉｎｇ"，Ｏｐｔｉｃａｌ　Ｓｏｃｉｅｔｙ　ｏｆ　Ａｍｅｒｉｃａ，Ｏｐｔｉｃｓ　Ｌｅｔｔｅｒｓ，Ｖｏｌ．３３，Ｎｏ．１３，Ｊｕｌｙ　１，（２００８） 高橋康久，尾花亮，小松進一，「ウェイブフロント・コーディング用最適化位相板―軸外の被写界深度拡張効果―」，Ｏｐｔｉｃｓ　＆　Ｐｈｏｔｏｎｉｃｓ　Ｊａｐａｎ　２００７（日本光学会年次学術講演会），予稿集，Ｐ．４６４－４６５（２７ｐＣ２），（２００７）
　このように、デジタルスチルカメラ及びデジタルビデオカメラ用途としては、様々なＥＤＯＦ方式がある中でＦ－ＤＯＦ方式が有力である。また、動画撮影の際は、１コマ１コマの間にタイムラグが発生することなく連続撮影することが求められる。よって、動画撮影中は図６に示すように往復変位を実施するとともに、往路と復路とをそれぞれ１ビデオフレームずつ交互に割り振ることで、ＥＤＯＦ動画撮影が可能であることが知られている。
　しかしながら、図６のような撮像素子の変位パターン又はフォーカスレンズの変位パターンは、最近端部及び最遠端部での鋭角的な折り返しを含んでいるので、実現可能性が低い。このような鋭角的な折り返しを実現するためには、撮像素子又はフォーカスレンズの駆動部に対して、瞬間的に大きなトルクを発生させる必要がある。機器の小型化及び省電力化の観点から、このような大きなトルクを発生させる変位制御は、持ち運び可能なデジタルスチルカメラ及びデジタルビデオカメラにおいて、現実的とはいえない。また駆動部の消耗も激しくなり、品質面からも許容されないことが多い。
　さらに図３及び図６の変位で得られる画像の鮮鋭度について議論する。図７は通常撮影時の被写界深度、すなわち合焦範囲を模式的に示したものであり、スルーフォーカス特性と呼ばれる。縦軸が鮮鋭度（画像のシャープさ）を表しており、一般的にはＭＴＦ（Ｍｏｄｕｌａｔｉｏｎ　Ｔｒａｎｓｆｅｒ　Ｆｕｎｃｔｉｏｎ）などで表現されることが多い。横軸は像面側距離である。また、横軸を、図５に示した関係に基づき大小反転しスケーリングしなおすと被写体距離になる。露光中の変位を伴わない通常撮影の場合、一般的にある被写体距離に焦点を合わせていると、その部分が最も鮮鋭となり、前後の被写体距離にあるものは、その合焦位置から離れていくにつれて、鮮鋭さが失われる。
　図８は、図３のように露光中等速度で変位を行った場合のスルーフォーカス特性を模式的に示したものである。点線は、図７の模式図で表現した通常撮影時のスルーフォーカス特性をそれぞれ最遠端から最近端へ変位させた様子を表している。また、実線は、変位の結果得られるスルーフォーカス特性を示している。この実線のスルーフォーカス特性は、点線の積分によって得られることが、例えば非特許文献３などに示されている。この模式図によると、像面側距離を最遠端から最近端へ変位させた場合、その端部において、中心部よりもその鮮鋭度がやや劣ることがわかる。これは、以下の理由により起こる現象である。中心部においてはその場所で合焦する点線と、その前後で合焦する点線との和が得られる。これに対して、端部においては変位が打ち切られることにより、その場所で合焦する点線と、片側の前又は後で合焦する点線との和しか得られない。このため図６に示す従来の変位方法では、最遠端及び最近端で復元される被写体位置の画質が、その中心部で復元される画質と比較して、劣化してしまうという問題も内包している。
　本発明は、上記従来の課題を解決するもので、Ｆ－ＤＯＦにおいて、最遠端及び最近端における復元画質の劣化を抑制できる撮像装置及びその制御方法を提供することを目的とする。
　上記の課題を解決するために、本発明の一形態に係る撮像装置は、撮像装置であって、撮像素子と、前記撮像素子に対して結像及び集光を行うレンズと、前記撮像素子と前記レンズとの距離である像面側距離を変位させることにより、当該撮像装置の被写体側の合焦位置を変位させる変位制御部と、撮像シーンに基づいて露光時間を決定する露光時間決定部と、前記露光時間の長さの露光期間の間に、前記合焦位置が、予め定められた合焦範囲の一方端から他方端へ移動するように、前記露光期間を含むフレーム期間における、前記変位制御部による前記像面側距離の変位パターンを決定する変位パターン決定部とを備え、前記変位パターン決定部は、前記フレーム期間に含まれる加速期間の間、前記像面側距離の変位速度が速度ゼロから増加し、前記フレーム期間に含まれる、前記加速期間の後の等速期間の間、前記像面側距離が等速で変位し、前記フレーム期間に含まれる前記等速期間の後の減速期間の間、前記像面側距離の変位速度が速度ゼロまで減少するように、前記変位パターンを決定し、前記加速期間及び前記減速期間の各々の長さは、前記フレーム期間の長さの１／１０以上である。
　この構成によれば、本発明の一形態に係る撮像装置は、Ｆ－ＤＯＦ方式において、あるフレーム期間の露光期間とその次のフレーム期間の露光期間との間、鋭角的に像面側距離を変位する必要がない。さらに、本発明の一形態に係る撮像装置は、合焦範囲の最遠端及び最近端（一方端及び他方端）での画像鮮鋭度を、中間領域の鮮鋭度に近づけることができる。このように、本発明の一形態に係る撮像装置は、Ｆ－ＤＯＦにおいて、最遠端及び最近端での復元画質の劣化を抑制できる。これにより、本発明の一形態に係る撮像装置は、合焦範囲内の画像の鮮鋭さを均一化することができるため、高画質なＥＤＯＦ画像を生成できる。
　また、前記加速期間及び前記減速期間の各々の長さは、前記フレーム期間の長さの１／４以下であってもよい。
　この構成によれば、本発明の一形態に係る撮像装置は、中心部での復元画質の低下を抑制できる。
　また、前記変位パターン決定部は、前記加速期間の間、前記像面側距離の変位速度が一定の加速度で増加し、前記減速期間の間、前記像面側距離の変位速度が一定の減速度で減少するように、前記変位パターンを決定してもよい。
　この構成によれば、本発明の一形態に係る撮像装置は、変位パターンに従った、合正位置を変位させる機構を容易に実現できる。
　また、前記フレーム期間は、前記露光期間と、前記露光期間より前の第１非露光期間と、前記露光期間より後の第２非露光期間とを含み、前記加速期間の少なくとも一部は、前記第１非露光期間に含まれ、前記減速期間の少なくとも一部は、前記第２非露光期間に含まれてもよい。
　この構成によれば、本発明の一形態に係る撮像装置は、合焦範囲内において、等しいＥＤＯＦ復元処理画質を得ることができる。
　また、前記変位制御部は、前記レンズの位置を移動させることにより前記像面側距離を変位させてもよい。
　この構成によれば、本発明の一形態に係る撮像装置では、Ｆ－ＤＯＦ方式においても、あるフレーム期間の露光期間とその次のフレーム期間の露光期間との間、鋭角的にフォーカスレンズを変位する必要がない。
　また、前記変位制御部は、前記撮像素子の位置を移動させることにより前記像面側距離を変位させてもよい。
　この構成によれば、本発明の一形態に係る撮像装置では、撮像素子を変位させることで、合焦位置を変位できる。
　また、前記撮像装置は、さらに、復元用ＰＳＦ（Ｐｏｉｎｔ　Ｓｐｒｅａｄ　Ｆｕｎｃｔｉｏｎ）を予め記憶しておくＰＳＦ記憶部と、前記撮像素子により生成された撮像データに対して、前記復元用ＰＳＦを用いて画像復元処理を行う画像復元処理部と、前記画像復元処理部にて復元された復元画像を記録する撮像データ記録部とを備えてもよい。
　なお、本発明は、このような撮像装置として実現できるだけでなく、撮像装置に含まれる特徴的な手段をステップとする撮像装置の制御方法として実現したり、そのような特徴的なステップをコンピュータに実行させるプログラムとして実現したりすることもできる。そして、そのようなプログラムは、ＣＤ－ＲＯＭ等の非一時的なコンピュータ読み取り可能な記録媒体、及びインターネット等の伝送媒体を介して流通させることができるのは言うまでもない。
　さらに、本発明は、このような撮像装置の機能の一部を実現する半導体集積回路（ＬＳＩ）として実現できる。
　以上より、本発明は、Ｆ－ＤＯＦにおいて、最遠端及び最近端における復元画質の劣化を抑制できる撮像装置及びその制御方法を提供できる。
図１は、従来の撮像装置のブロック図である。 図２は、従来の撮像装置のブロック図である。 図３は、従来の撮像装置における変位パターンの一例を示す図である。 図４は、被写体距離と像面側距離との位置関係を示す図である。 図５は、被写体距離と像面側距離との関係の一例を示すグラフである。 図６は、従来の撮像装置による動画撮影時における変位パターンの一例を示す図である。 図７は、一般的なレンズ構成で得られるスルーフォーカス特性を示す図である。 図８は、従来のＦ－ＤＯＦ変位で得られるスルーフォーカス特性を示す図である。 図９は、本発明の実施の形態１に係る撮像装置のブロック図である。 図１０は、本発明の実施の形態１に係る撮像装置のブロック図である。 図１１は、本発明の実施の形態１に係る変位パターンの一例を示す図である。 図１２は、本発明の実施の形態１に係る変位速度の一例を示す図である。 図１３は、本発明の実施の形態１に係るスルーフォーカス特性を示す図である。 図１４Ａは、本発明の実施の形態１に係る加速／減速時間と要求加速度との関係を示す図である。 図１４Ｂは、本発明の実施の形態１に係る加速／減速時間と中心部における変位速度との関係を示す図である。 図１５Ａは、本発明の実施の形態１に係る、合焦範囲の端部における復元処理後のＭＴＦを示す図である。 図１５Ｂは、本発明の実施の形態１に係る、合焦範囲の端部における復元処理後のＭＴＦを示す図である。 図１５Ｃは、本発明の実施の形態１に係る、合焦範囲の端部における復元処理後のＭＴＦを示す図である。 図１５Ｄは、本発明の実施の形態１に係る、合焦範囲の端部における復元処理後のＭＴＦを示す図である。 図１６Ａは、本発明の実施の形態１に係る、合焦範囲の中心部における復元処理前のＭＴＦを示す図である。 図１６Ｂは、本発明の実施の形態１に係る、合焦範囲の中心部における復元処理前のＭＴＦを示す図である。 図１６Ｃは、本発明の実施の形態１に係る、合焦範囲の中心部における復元処理前のＭＴＦを示す図である。 図１６Ｄは、本発明の実施の形態１に係る、合焦範囲の中心部における復元処理前のＭＴＦを示す図である。 図１７は、本発明の実施の形態１に係る、変位パターンの変形例を示す図である。 図１８は、本発明の実施の形態１に係る撮像装置による撮像動作のフローチャートである。 図１９は、本発明の実施の形態１に係る撮像装置の変形例のブロック図である。 図２０は、本発明の実施の形態２に係る撮像装置のブロック図である。 図２１は、本発明の実施の形態２に係る撮像装置の変形例のブロック図である。
　以下、本発明の各実施の形態について図面を参照しながら説明する。
　（実施の形態１）
　本発明の実施の形態１に係る撮像装置は、Ｆ－ＤＯＦ方式において、合焦範囲の端部で像面側距離の変位速度を減速又は加速する。これにより、本発明の実施の形態１に係る撮像装置は、合焦範囲の端部において、鋭角的に像面側距離を変位する必要がない。さらに、本発明の実施の形態１に係る撮像装置は、合焦範囲の端部での画像鮮鋭度を、中間領域の鮮鋭度に近づけることができる。このように、本発明の実施の形態１に係る撮像装置は、Ｆ－ＤＯＦにおいて、最遠端及び最近端における復元画質の劣化を抑制できる。
　本発明の実施の形態１における撮像装置について、図９～図１９を参照しながら説明する。
　まず、本発明の実施の形態１に係る撮像装置の概略構成を説明する。
　図９は、本発明の実施の形態１に係る撮像装置１００の概略構成を示す図である。
　図９に示す撮像装置１００は、露光時間決定部８と、変位パターン決定部２１と、変位制御部２２と、撮像素子１と、レンズ２とを備える。
　レンズ２は、撮像素子１に対して結像及び集光を行う。
　変位制御部２２は、撮像素子１とレンズ２との相対距離（像面側距離ｖ）を変位させることにより、撮像装置１００の被写体側の合焦位置（被写体距離ｕ）を変位させる。なお、以下では、被写体側の合焦位置を単に合焦位置とも記す。
　露光時間決定部８は、撮像シーンに基づいて露光時間を決定する。
　図１０は、本発明の実施の形態１に係る撮像装置１００の詳細な構成を示す図である。図１０に示すように、撮像装置１００は、撮像素子１と、レンズ２と、シャッター３と、フォーカスレンズ変位制御部４Ａと、シャッター開閉指示部５と、レリーズ受付部６と、フォーカスレンズ初期位置検出部７と、露光時間決定部８と、フォーカスレンズ変位パターン決定部９と、同期管理部１０Ａと、画像復元処理部１１と、ＰＳＦ記憶部１２と、撮像データ記録部１３と、フォーカスレンズ位置初期化部１８とを備える。
　フォーカスレンズ変位制御部４Ａは、図９に示す変位制御部２２の具体例である。このフォーカスレンズ変位制御部４Ａは、フォーカスレンズ２０の位置を移動させることにより合焦位置を変位させる。
　また、フォーカスレンズ変位パターン決定部９は、図９に示す変位パターン決定部２１の具体例である。
　シャッター３は、撮像素子１への露光の開始及び終了を物理的に行う。シャッター開閉指示部５は、シャッター３の開閉を指示する。
　シャッター３が開状態のとき、レンズ２により撮像素子１に被写体の光学像が結像されると、結像した光学像は、撮像素子１によって電気信号に変換される。なお通常、光学像結像の際、所望の被写体に対して合焦させるため、レンズ２はフォーカスレンズ２０とその他のレンズ群により構成される。なお、フォーカスレンズ２０は、複数枚のレンズで構成されていてもよい。このフォーカスレンズ２０は、他のレンズ群に対する相対的な位置を変位可能であり、当該相対的な位置を変位することにより合焦位置を変位させる。
　レリーズ受付部６はユーザから、露光開始指示（シャッターを切る指示）を受け付ける。
　フォーカスレンズ初期位置検出部７は、レリーズ受付部６がユーザから露光開始指示を受け付けると、フォーカスレンズ２０のそのときの位置（初期位置）を検出する。
　フォーカスレンズ位置初期化部１８は、フォーカスレンズ初期位置検出部７により初期位置が検出された後、当該初期位置に基づき、フォーカスレンズ２０の位置を初期化する。具体的には、フォーカスレンズ位置初期化部１８は、フォーカスレンズ２０の位置を所定の端位置、例えば最近端又は最遠端へ変位させる。ここで所定の合焦範囲のうち撮像装置１００を基準に最も撮像装置１００に近い距離を最近端とし、最も撮像装置１００より遠い距離を最遠端とする。
　また、露光時間決定部８は、レリーズ受付部６がシャッターを切る指示を受け付けると、ただちに撮像シーンに基づいて露光時間を決定する。さらに、フォーカスレンズ２０の初期化作業と同時に、露光時間決定部８は、シャッター速度及び絞り値などの撮影パラメータを決定する。
　フォーカスレンズ変位パターン決定部９は、フォーカスレンズ位置初期化部１８にてフォーカスレンズ位置の初期化終了後、露光時間決定部８で決定された露光時間の長さの露光期間の間に、合焦位置が、予め定められた合焦範囲の一方端から他方端へ移動するように、露光期間を含むフレーム期間における、変位制御部２２による、フォーカスレンズ２０と撮像素子１との相対距離の変位パターン、つまり像面側距離ｖの変位パタ－ンを決定する。例えば、フォーカスレンズ変位パターン決定部９は、図１１に示すような変位パターンを決定する。
　ここで、フレーム期間とは、動画撮影における１ビデオフレーム期間、又は、静止画連続撮影時の連射要求速度に基づく１枚の静止画の撮影時間である。
　また、フォーカスレンズ変位パターン決定部９は、像面側距離ｖの変位パターン決定後、この変位パターンに準じるフォーカスレンズ２０の変位パターンを決定し、同期管理部１０Ａへその変位パターンを通知する。そして同期管理部１０Ａは、その変位パターンに基づき、フォーカスレンズ変位制御部４Ａ及びシャッター開閉指示部５に対し、露光開始及び終了時の同期管理を行う。
　具体的には、同期管理部１０Ａは、フォーカスレンズ変位パターン決定部９によりフォーカスレンズ２０の変位パターンが決定され、かつ露光時間決定部８にて露光時間が決定されたことを検知すると、すみやかに、露光開始の指示をフォーカスレンズ変位制御部４Ａ及びシャッター開閉指示部５へ出す。
　シャッター開閉指示部５は、露光開始指示が出されるとすぐに、シャッター３が開くよう制御を行う。また露光時間経過後、同期管理部１０Ａは、フォーカスレンズ変位制御部４Ａへフォーカスレンズ２０の変位終了を指示すると同時に、シャッター開閉指示部５へ露光終了を指示する。シャッター開閉指示部５は露光終了指示が出されるとすぐに、シャッター３が閉まるよう制御を行う。
　上記手順にて撮像素子１に被写体の光学像を結像すると、結像した光学像は、撮像素子１によって電気信号である画像信号に変換され、変換された画像信号が画像復元処理部１１へ移される。同時に同期管理部１０Ａより画像復元処理部１１へ、露光が終了したこととＦ－ＤＯＦによるフォーカス変位の撮影が行われたことが通知される。
　ＰＳＦ記憶部１２は、画像信号を復元するための復元用ＰＳＦ（Ｐｏｉｎｔ　Ｓｐｒｅａｄ　Ｆｕｎｃｔｉｏｎ）を予め記憶している。
　画像復元処理部１１は画像信号を受領後、ＰＳＦ記憶部１２に記憶されている復元用ＰＳＦを読み込み、当該復元用ＰＳＦを用いて、画像信号に画像復元処理を行う。具体的には、ＰＳＦ記憶部１２は、予め測定された、又はシミュレーションで求められた、フォーカス変位によるボケパターンを復元用ＰＳＦとして保持しておく。また画像復元の方法は、Ｗｉｅｎｅｒ　Ｆｉｌｔｅｒ、Ｌｕｃｙ－Ｒｉｃｈａｒｄｓｏｎなどの様々な手法が知られているが、どの手法を用いてもよい。
　撮像データ記録部１３は、復元された画像信号を撮像データとして記録する。
　以下、フォーカスレンズ変位パターン決定部９により決定される変位パターンについて詳細に説明する。
　図１１は、本発明の実施の形態１に係る像面側距離ｖの変位パターンの一例を示す図である。また、図１２は、この場合の像面側距離ｖの変位速度を示す図である。
　図１１及び図１２に示すように、変位パターンにおいて、例えば動画撮影であれば、最遠端から最近端へ変位するまでの時間は、１ビデオフレーム期間（１フレーム期間）の露光時間と同一である。
　また、図１１及び図１２に示すように、１フレーム期間は、加速期間と、その後の等速期間と、その後の減速期間とを含む。
　加速期間の間、像面側距離ｖの変位速度が速度ゼロから一定の加速度で増加する。また、等速期間の間、像面側距離ｖが等速で変位する。そして、減速期間の間、像面側距離ｖの変位速度が、最近端で速度ゼロとなるよう一定の減速度で減少する。このように、フォーカスレンズ変位パターン決定部９は、像面側距離ｖの変位パターンを制御するために、フォーカスレンズ２０の変位パターンを制御する。
　もちろんこれを図５のような考え方に基づいて応用し、次のビデオフレームの露光期間においては最近端から最遠端へ変位するよう制御してもよく、これを繰り返すことで動画撮影を実現する。また静止画の連続撮影においても、ここに示した動画撮影時の手法を用いてもよい。
　なお、ここで示した１ビデオフレームの露光期間内での変位パターンは一例であり、これ以外の変位パターンであってもよい。例えば、変位パターンは、ここに示した片道変位パターンだけではなく、１ビデオフレームの露光期間内に１往復半、又は２往復半など、整数回往復後に片道変位させるようなパターンであっても同等の効果が得られる。
　また、上記説明では、加速期間の間、像面側距離ｖの変位速度が一定の加速度で増加するとしたが、この加速度は一定でなくてもよい。同様に、上記説明では、減速期間の間、像面側距離ｖの変位速度が、一定の減速度で減少するとしたが、この減速度は一定でなくてもよい。ただし、変位パターンの実現が容易なので、一定の加速度及び減速度を用いることが好ましい。
　また、加速期間及び減速期間の各々の長さである加速／減速時間ｔは、１フレーム期間の長さである１フレーム時間Ｔの１／１０以上、かつ、１／４以下であることが好ましい。その理由を以下に述べる。
　上述したとおり、合焦範囲の全てにおいて等速変位を用いた場合、合焦範囲の端部での復元処理画質がやや劣化する。一方、本発明の実施の形態１のような変位パターンを採用することで、合焦範囲の端部の復元処理画質は改善する。図１３は、本発明の実施の形態１に係る変位パターンを採用したときのスルーフォーカス特性を示す図である。図１３に示すように、合焦範囲の端部における滞留時間が中心部と比べて増加することにより、合焦範囲の端部の鮮鋭度は中心部よりも増加する。結果として所望の合焦範囲において均等な鮮鋭度が得られることになる。
　図１４Ａは、像面側の変位距離を１００μｍとし、１フレーム時間Ｔを１／６０秒としたときの、加速／減速時間ｔと要求加速度ａとの関係を示すグラフである。図１４Ｂは、同条件における、加速／減速時間ｔと、中心部の変位速度ｖとの関係を示すグラフである。
　また、一般的に像面側変位距離Ｓｄ、１フレーム時間Ｔ、加速／減速時間ｔ、合焦範囲の端部での要求加速度ａ、及び、中心部の変位速度ｖは、以下の関係が成り立つ。
Figure JPOXMLDOC01-appb-M000002
Figure JPOXMLDOC01-appb-M000003
　図１４Ａ及び図１４Ｂでは、横軸に加速／減速時間ｔを設定している。また、図１４Ａでは、縦軸に要求加速度ａを設定しており、図１４Ｂでは縦軸に中心部の変位速度ｖを設定している。
　図１４Ａに示すように、加速／減速時間ｔを短くするほど、合焦範囲の端部で必要となる加速度ａ（減速度）が急激に上昇する。つまり、加速／減速時間ｔを短くすると、非常に大きい加速度を用いる必要があるので、実現が困難である。
　また、図１４Ｂに示す加速／減速時間ｔを長くするほど、中心部での変位速度ｖは大きくなる。つまり、加速／減速時間ｔを大きく取って端部における滞留時間を長くすることで、端部の復元処理画質が向上するが、同時に、図１４Ｂに示すように中心部での変位速度ｖが大きくなってしまう。これにより、中心部を含め全体の鮮鋭度は低下してしまうことが予想できる。これは、変位したときの復元処理前のＭＴＦが低下することにより、ノイズ等の影響が大きくなることを意味している。
　図１５Ａ～図１５Ｄ及び図７Ａ～図１６Ｄは、具体的にこれらの現象を定量的に評価した実験データである。焦点距離を４．８ｍｍとし、Ｆ値を２．８とし、合焦位置を無限遠とし、波長を５５０ｎｍとし、合焦範囲として、無限遠を中心に手前側被写体距離を０．４８ｍまで変位させる実験を行った。この場合、像面側の変位はレンズの公式より、４．７５ｍｍ～４．８５ｍｍとなる。
　図１５Ａ～図１５Ｄは、手前側の端部である０．４８ｍにおける、復元処理前のＭＴＦ（単に変位させたときに得られる画像のＭＴＦ）と復元処理後のＭＴＦ（復元用ＰＳＦとして無限遠に被写体を想定したときの変位時に得られるＰＳＦを採用）とを示すグラフである。また、図１５Ａはｔ＝０．０Ｔ（すなわち全て等速変位）の場合を示し、図１５Ｂはｔ＝０．１Ｔの場合を示し、図１５Ｃはｔ＝０．２５Ｔの場合を示し、図１５Ｄはｔ＝０．４Ｔの場合を示している。
　端部の復元処理後のＭＴＦに注目すると、図１５Ａに示す等速変位では、当該復元処理後のＭＴＦはおよそ０．６近辺であるが、図１５Ｂに示すｔ＝０．１Ｔでは当該復元処理後のＭＴＦは０．８弱であり、図１５Ｃに示すｔ＝０．２５Ｔ、及び図１５Ｄに示すｔ＝０．４Ｔでは当該復元処理後のＭＴＦは０．８強であることがわかる。またｔが０．２５Ｔより大きくなっても、端部のＭＴＦは増加しないことがわかる。
　つまり、図１５Ａ～図１５Ｄにより、加速期間及び減速期間を設けることにより、端部における鮮明度が改善されることがわかる。また、ある程度の時間までは、加速／減速時間ｔを長くするほど、端部における鮮明度がより改善されるが、ある時間以上の加速／減速時間ｔを長くしても、端部における鮮明度はあまり変化しない（改善効果が少なくなる）ことがわかる。
　図１６Ａ～図１６Ｄは、無限遠位置（すなわちＥＤＯＦ中心部）における復元処理前のＭＴＦ特性を示している。例えばＭＴＦの値０．１のときの空間周波数に着目すると、図１６Ａに示すｔ＝０．０Ｔ（すなわち等速変位）の場合、当該空間周波数は約１８０ｌｐｍｍであり、図１６Ｂに示すｔ＝０．１Ｔの場合、当該空間周波数は約１６０ｌｐｍｍであり、図１６Ｃに示すｔ＝０．２５Ｔの場合、当該空間周波数は約１４５ｌｐｍｍであり、図１６Ｄに示すｔ＝０．４Ｔの場合、当該空間周波数は約１３０ｌｐｍｍである。
　これは前述の予想のとおり、加速／減速時間ｔを大きくすることで端部における滞留時間を大きくした場合、中心部での変位速度が大きくなることで、中心部のＭＴＦが相対的に低下することを示している。このため、加速／減速時間ｔを大きくした場合、画像データがノイズに埋もれやすくなり、画像復元処理において復元画質に支障をきたす可能性が高くなってしまう。そこで本発明の実施の形態１では、この加速／減速時間ｔを１フレーム時間（露光時間）Ｔに対して０．１から０．２５に限定するものである。
　なお、少なくとも加速／減速時間ｔを１フレーム時間Ｔの１／１０以上とすることで、最遠端及び最近端での復元画質を向上できる。さらに、加速／減速時間ｔを１フレーム時間Ｔの１／４以下とすることで、中心部での復元画質の低下を抑制できる。
　また、加速期間の長さ、及び減速期間の長さは同じでもよいし、異なってもよい。言い換えると、加速期間における加速度と、減速期間における減速度とは異なってもよい。
　また、上記では、１フレーム期間と露光期間とが同じ場合の例を説明したが、１フレーム期間に露光期間と非露光期間が含まれてもよい。つまり、これは、露光時間決定部８で決定された１ビデオフレームの露光時間、又は静止画連続撮影時の１枚の露光時間が、ビデオフレームレート（１／３０又は１／６０）、又は連射要求速度に基づく１枚の静止画の撮影時間よりも短い場合である。このような場合、図１１のような変位パターンにおいては、非露光時間中は変位速度ゼロとなった端部において変位せずとどまるよう制御することが考えられる。
　また、図１７のように、合焦位置を、実際に要求される変位量（最遠端と最近端との距離）よりも所定量多く変位させ、要求される変位量（最遠端と最近端の距離）の範囲内においては、等速変位となるよう制御させることも考えられる。この場合前述のように速度ゼロとなった端部で滞留するのではなく、加速／減速時間を非露光時間に含めるよう制御することとなる。つまり、加速期間が、１フレーム期間に含まれる、露光期間の前に位置する非露光期間に含まれ、減速期間が、１フレーム期間に含まれる、露光期間の後に位置する非露光期間に含まれてもよい。こうすることで、所望の変位量（最遠端と最近端の距離）の範囲内においては、等しいＥＤＯＦ復元処理画質を得ることが可能である。なお、加速期間の一部が、非露光期間に含まれ、加速期間のそれ以外の部分が露光期間に含まれてもよい。同様に、減速期間の一部が非露光期間に含まれ、減速期間のそれ以外の部分が露光期間に含まれてもよい。
　以下、撮像装置１００による動作の流れを説明する。図１８は、撮像装置１００による撮像動作のフローチャートである。
　まず、露光時間決定部８は、撮像シーンに基づいて露光時間を決定する（Ｓ１０１）。
　次に、フォーカスレンズ変位パターン決定部９は、ステップＳ１０１で決定された露光時間の長さの露光期間の間に、合焦位置が、予め定められた合焦範囲の一方端から他方端へ移動するように、露光期間を含むフレーム期間における、像面側距離の変位パターンを決定する（Ｓ１０２）。
　また、フォーカスレンズ変位パターン決定部９は、変位パターン決定後、この変位パターンに準じるフォーカスレンズ２０の変位パターンを決定し、同期管理部１０Ａへその変位パターンを通知する。そして同期管理部１０Ａは、その変位パターンに基づき、フォーカスレンズ変位制御部４Ａ及びシャッター開閉指示部５に対し、露光開始及び終了時の同期管理を行う。これにより、フォーカスレンズ変位制御部４Ａは、ステップＳ１０２で決定された変位パターンのように、１フレーム期間内において像面側距離を変位させる（Ｓ１０３）。
　以上より、本発明の実施の形態１に係る撮像装置１００は、このような制御を行うことで、Ｆ－ＤＯＦを採用したＥＤＯＦを用いた動画及び連続静止画撮影を実現することができる。さらに、本発明の実施の形態１に係る撮像装置１００は、同時に合焦範囲の端部の画質向上も実現できる。
　なお、本発明に係る撮像装置１００は、図１０に示す全ての処理部を備えなくてもよい。
　図１９は、本実施の形態１に係る撮像装置１００の変形例である撮像装置１０１のブロック図である。その構成と作用は、ほぼ図１０に準じる。この撮像装置１０１は、図１０と比較して、露光により得られた画像を直接撮像データ記録部１３へ記録するのが特徴である。これは、画像復元処理を撮像装置内ではなく、その後段の別の装置、例えばパーソナルコンピュータ、画像ビューワ、又はネットワークサーバ等にて実現することを意図したものである。これにより、撮像装置１０１は、図１０に示す構成と比較して、撮像装置としての演算量を抑えつつ、シャッタータイムラグの大幅な縮小を実現できる。
　（実施の形態２）
　本発明の実施の形態２では、撮像素子１の位置を移動させることにより合焦位置を変位する例について述べる。また、本発明の実施の形態２に係る撮像装置２００の概略構成は、図９と同様である。
　本発明の実施の形態２における撮像装置について、図２０及び図２１を参照しながら説明する。
　図２０は、本発明の実施の形態２に係る撮像装置２００のブロック図である。この撮像装置２００は、図１０に示す撮像装置１００の構成に対して、フォーカスレンズ初期位置検出部７、フォーカスレンズ位置初期化部１８、フォーカスレンズ変位パターン決定部９、同期管理部１０Ａ及びフォーカスレンズ変位制御部４Ａの代わりに、撮像素子初期位置検出部１４、撮像素子位置初期化部１９、撮像素子変位パターン決定部１５、同期管理部１６Ａ及び撮像素子変位制御部１７Ａを備える。なお、図１０と同様の要素には同一の符号を付しており、以下では相違点を主に説明する。
　また、図２０にはレンズ２を記載していないが、撮像装置２００はレンズ２を備えてもよい。
　本発明の実施の形態２に係る撮像装置１００では、例えば、レンズ２は固定されており、撮像素子１は、レンズ２に対する相対的な位置を変位可能である。
　撮像素子変位制御部１７Ａは、図９に示す変位制御部２２の具体例である。この撮像素子変位制御部１７Ａは、撮像素子１の位置を移動させることにより合焦位置を変位する。
　撮像素子変位パターン決定部１５は、図９に示す変位パターン決定部２１の具体例である。
　レリーズ受付部６がユーザから露光開始指示を受け付けると、撮像素子初期位置検出部１４は、撮像素子１のそのときの位置（初期位置）を検出する。
　撮像素子位置初期化部１９は、撮像素子初期位置検出部１４により初期位置が検出された後、当該初期位置に基づき、撮像素子１の位置を初期化する。具体的には、撮像素子位置初期化部１９は、撮像素子１の位置を所定の端位置、例えば最近端又は最遠端へ変位させる。
　また、露光時間決定部８は、レリーズ受付部６がシャッターを切る指示を受け付けると、ただちに撮像シーンに基づいて露光時間を決定する。さらに、撮像素子１の初期化作業と同時に、露光時間決定部８は、シャッター速度及び絞り値などの撮影パラメータを決定する。
　一方、撮像素子変位パターン決定部１５は、撮像素子位置初期化部１９にて撮像素子位置の初期化終了後、露光時間決定部８にて決定された露光時間の情報を用いて、例えば、図１１に示すような合焦位置の変位パターンを決定する。そして、撮像素子変位パターン決定部１５は、この合焦位置の変位パターンに準じる撮像素子の変位パターンを決定し、同期管理部１６Ａへその変位パターンを通知する。なお撮像素子１を変位させる場合、図４から明らかなように、レンズ位置を変位させなければ、合焦位置の変位パターンは撮像素子自身の変位パターンそのものとなる。同期管理部１６Ａは、その変位パターンに基づき、撮像素子変位制御部１７Ａ及びシャッター開閉指示部５に対し、露光開始及び終了時の同期管理を行う。
　具体的には、同期管理部１６Ａは、露光開始の指示を、撮像素子変位制御部１７Ａ及びシャッター開閉指示部５へ出す。シャッター開閉指示部５は露光開始指示が出されるとすぐに、シャッター３が開くよう制御を行う。また所定の露光時間経過後、同期管理部１６Ａは、シャッター開閉指示部５へ露光終了を指示する。
　シャッター開閉指示部５は露光終了指示が出されるとすぐに、シャッター３が閉まるよう制御を行う。
　上記手順にて撮像素子１に被写体の光学像を結像すると、結像した光学像は、撮像素子１によって電気信号である画像信号に変換され、変換された画像信号が画像復元処理部１１へ移される。同時に同期管理部１６Ａは、画像復元処理部１１へ、露光が終了したこととＦ－ＤＯＦによる撮像素子変位の撮影が行われたこととを通知する。これ以外の構成は、図１０のフォーカスレンズ変位の場合に準じる。
　なお、撮像素子の変位パターンについては、実施の形態１に示した図１１のパターンに準じる。実施の形態１と比較して、撮像素子１そのものが変位する構成が実施の形態２の差異であり、変位パターンについては共通である。加速／減速時間ｔを１フレーム時間Ｔに対して０．１から０．２５に限定するのも、実施の形態１と同様である。
　以上のより、本発明の実施の形態２に係る撮像装置２００は、このような制御を行うことで、実施の形態１と同様に、Ｆ－ＤＯＦを採用したＥＤＯＦを用いた動画及び連続静止画撮影を実現することができる。さらに、本発明の実施の形態２に係る撮像装置２００は、同時に合焦範囲の端部の画質向上も実現できる。
　なお、本発明に係る撮像装置２００は、図２０に示す全ての処理部を備えなくてもよい。
　図２１は、本発明の実施の形態２に係る撮像装置２００の変形例である撮像装置２０１のブロック図である。その構成と作用は、ほぼ図２０に準じる。この撮像装置２０１は、図２０と比較して、露光により得られた画像を直接撮像データ記録部１３へ記録するのが特徴である。これは、画像復元処理を撮像装置内ではなく、その後段の別の装置、例えばパーソナルコンピュータ、画像ビューワ、又はネットワークサーバ等にて実現することを意図したものである。これにより、撮像装置２０１は、図２０に示す構成と比較して、撮像装置としての演算量を抑えつつ、シャッタータイムラグの大幅な縮小を実現できる。
　以上、本発明の実施の形態に係る撮像装置について説明したが、本発明は、この実施の形態に限定されるものではない。
　また、上記実施の形態に係る撮像装置に含まれる複数の処理部のうち少なくとも一部は集積回路であるＬＳＩとして実現される。これらは個別に１チップ化されてもよいし、一部又は全てを含むように１チップ化されてもよい。
　また、集積回路化はＬＳＩに限るものではなく、専用回路又は汎用プロセッサで実現してもよい。ＬＳＩ製造後にプログラムすることが可能なＦＰＧＡ（Ｆｉｅｌｄ　Ｐｒｏｇｒａｍｍａｂｌｅ　Ｇａｔｅ　Ａｒｒａｙ）、又はＬＳＩ内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサを利用してもよい。
　また、本発明の実施の形態に係る撮像装置の機能の一部を、ＣＰＵ等のプロセッサがプログラムを実行することにより実現してもよい。
　さらに、本発明は上記プログラムであってもよいし、上記プログラムが記録された非一時的なコンピュータ読み取り可能な記録媒体であってもよい。また、上記プログラムは、インターネット等の伝送媒体を介して流通させることができるのは言うまでもない。
　また、上記実施の形態に係る、撮像装置、及びその変形例の機能のうち少なくとも一部を組み合わせてもよい。
　また、上記で用いた数字は、全て本発明を具体的に説明するために例示するものであり、本発明は例示された数字に制限されない。
　更に、本発明の主旨を逸脱しない限り、本実施の形態に対して当業者が思いつく範囲内の変更を施した各種変形例も本発明に含まれる。
　本発明は、撮像装置及びその制御方法に適用でき、特に、Ｆ－ＤＯＦ方式を用いた動画撮影及び連続静止画撮影に適用できる。また、本発明は、例えば民生用及び業務用撮像装置（デジタルスチルカメラ）などの分野において有用である。
　１　　撮像素子
　２　　レンズ
　３　　シャッター
　４、４Ａ　　フォーカスレンズ変位制御部
　５　　シャッター開閉指示部
　６　　レリーズ受付部
　７　　フォーカスレンズ初期位置検出部
　８　　露光時間決定部
　９　　フォーカスレンズ変位パターン決定部
　１０、１０Ａ　　同期管理部
　１１　　画像復元処理部
　１２　　ＰＳＦ記憶部
　１３　　撮像データ記録部
　１４　　撮像素子初期位置検出部
　１５　　撮像素子変位パターン決定部
　１６、１６Ａ　　同期管理部
　１７、１７Ａ　　撮像素子変位制御部
　１８　　フォーカスレンズ位置初期化部
　１９　　撮像素子位置初期化部
　２０　　フォーカスレンズ
　２１　　変位パターン決定部
　２２　　変位制御部
　１００、１０１、２００、２０１、５００、５０１　　撮像装置

Claims (8)

  1. 　撮像装置であって、
    　撮像素子と、
    　前記撮像素子に対して結像及び集光を行うレンズと、
    　前記撮像素子と前記レンズとの距離である像面側距離を変位させることにより、当該撮像装置の被写体側の合焦位置を変位させる変位制御部と、
    　撮像シーンに基づいて露光時間を決定する露光時間決定部と、
    　前記露光時間の長さの露光期間の間に、前記合焦位置が、予め定められた合焦範囲の一方端から他方端へ移動するように、前記露光期間を含むフレーム期間における、前記変位制御部による前記像面側距離の変位パターンを決定する変位パターン決定部とを備え、
    　前記変位パターン決定部は、
    　前記フレーム期間に含まれる加速期間の間、前記像面側距離の変位速度が速度ゼロから増加し、
    　前記フレーム期間に含まれる、前記加速期間の後の等速期間の間、前記像面側距離が等速で変位し、
    　前記フレーム期間に含まれる前記等速期間の後の減速期間の間、前記像面側距離の変位速度が速度ゼロまで減少するように、
    　前記変位パターンを決定し、
    　前記加速期間及び前記減速期間の各々の長さは、前記フレーム期間の長さの１／１０以上である
    　撮像装置。
  2. 　前記加速期間及び前記減速期間の各々の長さは、前記フレーム期間の長さの１／４以下である
    　請求項１記載の撮像装置。
  3. 　前記変位パターン決定部は、
    　前記加速期間の間、前記像面側距離の変位速度が一定の加速度で増加し、
    　前記減速期間の間、前記像面側距離の変位速度が一定の減速度で減少するように、
    　前記変位パターンを決定する
    　請求項１又は２記載の撮像装置。
  4. 　前記フレーム期間は、前記露光期間と、前記露光期間より前の第１非露光期間と、前記露光期間より後の第２非露光期間とを含み、
    　前記加速期間の少なくとも一部は、前記第１非露光期間に含まれ、
    　前記減速期間の少なくとも一部は、前記第２非露光期間に含まれる
    　請求項１～３のいずれか１項に記載の撮像装置。
  5. 　前記変位制御部は、前記レンズの位置を移動させることにより前記像面側距離を変位させる
    　請求項１～４のいずれか１項に記載の撮像装置。
  6. 　前記変位制御部は、前記撮像素子の位置を移動させることにより前記像面側距離を変位させる
    　請求項１～４のいずれか１項に記載の撮像装置。
  7. 　前記撮像装置は、さらに、
    　復元用ＰＳＦ（Ｐｏｉｎｔ　Ｓｐｒｅａｄ　Ｆｕｎｃｔｉｏｎ）を予め記憶しておくＰＳＦ記憶部と、
    　前記撮像素子により生成された撮像データに対して、前記復元用ＰＳＦを用いて画像復元処理を行う画像復元処理部と、
    　前記画像復元処理部にて復元された復元画像を記録する撮像データ記録部とを備える
    　請求項１～６のいずれか１項に記載の撮像装置。
  8. 　撮像素子と、前記撮像素子に対して結像及び集光を行うレンズとを備える撮像装置の制御方法であって、
    　前記撮像素子と前記レンズとの距離である像面側距離を変位させることにより、当該撮像装置の被写体側の合焦位置を変化させる変位制御ステップと、
    　撮像シーンに基づいて露光時間を決定する露光時間決定ステップと、
    　前記露光時間の長さの露光期間の間に、前記合焦位置が、予め定められた合焦範囲の一方端から他方端へ移動するように、前記露光期間を含むフレーム期間における、前記変位制御部による前記像面側距離の変位パターンを決定する変位パターン決定ステップとを含み、
    　変位パターン決定ステップでは、
    　前記フレーム期間に含まれる加速期間の間、前記像面側距離の変位速度を速度ゼロから増加し、
    　前記フレーム期間に含まれる、前記加速期間の後の等速期間の間、前記像面側距離を等速で変位し、
    　前記フレーム期間に含まれる前記等速期間の後の減速期間の間、前記像面側距離の変位速度を速度ゼロまで減少するように、
    　前記像面側距離の変位パターンを決定し、
    　前記加速期間及び前記減速期間の各々は、前記フレーム期間の１／１０以上の期間である
    　撮像装置の制御方法。
PCT/JP2010/007058 2009-12-07 2010-12-03 撮像装置及びその制御方法 WO2011070755A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2011545075A JP5367094B2 (ja) 2009-12-07 2010-12-03 撮像装置及びその制御方法
EP10835682.5A EP2512117B1 (en) 2009-12-07 2010-12-03 Imaging device and control method for same
CN201080006737.4A CN102308569B (zh) 2009-12-07 2010-12-03 摄像装置以及其控制方法
US13/147,894 US8576326B2 (en) 2009-12-07 2010-12-03 Imaging apparatus and method of controlling the image depth of field

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2009-277638 2009-12-07
JP2009277638 2009-12-07

Publications (1)

Publication Number Publication Date
WO2011070755A1 true WO2011070755A1 (ja) 2011-06-16

Family

ID=44145318

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2010/007058 WO2011070755A1 (ja) 2009-12-07 2010-12-03 撮像装置及びその制御方法

Country Status (5)

Country Link
US (1) US8576326B2 (ja)
EP (1) EP2512117B1 (ja)
JP (1) JP5367094B2 (ja)
CN (1) CN102308569B (ja)
WO (1) WO2011070755A1 (ja)

Families Citing this family (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102308242B (zh) * 2009-12-07 2014-08-20 松下电器产业株式会社 摄像装置以及拍摄方法
JP5635844B2 (ja) * 2010-09-06 2014-12-03 キヤノン株式会社 焦点調整装置および撮像装置
JP5847728B2 (ja) * 2011-04-15 2016-01-27 パナソニック株式会社 撮像装置、半導体集積回路および撮像方法
US8810712B2 (en) 2012-01-20 2014-08-19 Htc Corporation Camera system and auto focus method
JP5934940B2 (ja) * 2012-05-17 2016-06-15 パナソニックＩｐマネジメント株式会社 撮像装置、半導体集積回路および撮像方法
US9264630B2 (en) * 2013-01-04 2016-02-16 Nokia Technologies Oy Method and apparatus for creating exposure effects using an optical image stabilizing device
CN104364608B (zh) * 2013-04-15 2017-11-24 松下知识产权经营株式会社 距离测定装置以及距离测定方法
US20160299339A1 (en) * 2013-12-05 2016-10-13 B.G. Negev Technologies And Applications Ltd., At Ben-Gurion University Method for extended depth of field imaging
US9449234B2 (en) 2014-03-31 2016-09-20 International Business Machines Corporation Displaying relative motion of objects in an image
US9300857B2 (en) * 2014-04-09 2016-03-29 International Business Machines Corporation Real-time sharpening of raw digital images
JP6543916B2 (ja) * 2014-11-07 2019-07-17 株式会社ニコン 交換レンズおよび撮像装置
JP6724288B2 (ja) * 2014-11-07 2020-07-15 株式会社ニコン 交換レンズ、カメラ本体およびカメラ
CN105491280A (zh) * 2015-11-23 2016-04-13 英华达（上海）科技有限公司 机器视觉中进行图像采集的方法及装置
DE102017123511A1 (de) * 2017-10-10 2019-04-11 Carl Zeiss Microscopy Gmbh Mikroskop und Verfahren zum Erzeugen eines mikroskopischen Bildes mit einer erweiterten Schärfentiefe
US11172112B2 (en) 2019-09-09 2021-11-09 Embedtek, LLC Imaging system including a non-linear reflector
KR102323136B1 (ko) * 2021-01-07 2021-11-10 주식회사 오엠에스 플로우스캔 방식을 적용한 3d edof 스캐닝 장치

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE2301800A1 (de) 1973-01-15 1974-10-10 Leitz Ernst Gmbh Verfahren zur erweiterung des schaerfentiefebereiches bei der optischen und elektronenmikroskopischen abbildung
JPH038413A (ja) 1989-06-05 1991-01-16 Mitsubishi Heavy Ind Ltd 排ガス中二酸化硫黄の還元方法
JPH0527084B2 (ja) 1983-05-13 1993-04-20 Shimadzu Corp
JPH0983858A (ja) * 1995-09-12 1997-03-28 Canon Inc 撮像装置および撮像方法
JPH10257373A (ja) * 1997-01-10 1998-09-25 Olympus Optical Co Ltd 画像入力装置
JP3191928B2 (ja) 1988-02-23 2001-07-23 オリンパス光学工業株式会社 画像入出力装置
US20080013941A1 (en) 2006-07-14 2008-01-17 Micron Technology, Inc. Method and apparatus for increasing depth of field for an imager

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE3905619C2 (de) 1988-02-23 2000-04-13 Olympus Optical Co Bildeingabe-/Ausgabevorrichtung
DE3931934C2 (de) 1988-10-03 1994-11-10 Olympus Optical Co Bild-Ein/Ausgabevorrichtung
GB8917224D0 (en) 1989-07-27 1989-09-13 Unilever Plc Dispensing system
JPH03191928A (ja) 1989-12-20 1991-08-21 Matsushita Electric Ind Co Ltd 電気湯沸かし器
JPH0411704A (ja) 1990-04-28 1992-01-16 Murata Mfg Co Ltd コイル部品
JPH0527084A (ja) 1991-07-25 1993-02-05 Toshiba Eng & Constr Co Ltd 燃料集合体のチヤンネルボツクス載置確認装置
JP3084130B2 (ja) 1992-05-12 2000-09-04 オリンパス光学工業株式会社 画像入力装置
US6587148B1 (en) 1995-09-01 2003-07-01 Canon Kabushiki Kaisha Reduced aliasing distortion optical filter, and an image sensing device using same
JP2003259194A (ja) 2002-03-06 2003-09-12 Tamron Co Ltd 画像安定化装置
JP2004153497A (ja) 2002-10-30 2004-05-27 Kyocera Corp ディジタルカメラの自動露出制御システム
KR101002538B1 (ko) * 2002-11-26 2010-12-17 파나소닉 주식회사 광 디스크 드라이브, 광의 초점을 얻는 방법, 프로세서 및 프로그램을 기억한 컴퓨터 판독 가능한 기억 매체
JP4927005B2 (ja) * 2008-03-04 2012-05-09 日東光学株式会社 変化要因情報のデータの生成法および信号処理装置
WO2009120718A1 (en) * 2008-03-24 2009-10-01 The Trustees Of Columbia University In The City Of New York Methods, systems, and media for controlling depth of field in images
US8289440B2 (en) * 2008-12-08 2012-10-16 Lytro, Inc. Light field data acquisition devices, and methods of using and manufacturing same

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE2301800A1 (de) 1973-01-15 1974-10-10 Leitz Ernst Gmbh Verfahren zur erweiterung des schaerfentiefebereiches bei der optischen und elektronenmikroskopischen abbildung
JPH0527084B2 (ja) 1983-05-13 1993-04-20 Shimadzu Corp
JP3191928B2 (ja) 1988-02-23 2001-07-23 オリンパス光学工業株式会社 画像入出力装置
JPH038413A (ja) 1989-06-05 1991-01-16 Mitsubishi Heavy Ind Ltd 排ガス中二酸化硫黄の還元方法
JPH0983858A (ja) * 1995-09-12 1997-03-28 Canon Inc 撮像装置および撮像方法
JPH10257373A (ja) * 1997-01-10 1998-09-25 Olympus Optical Co Ltd 画像入力装置
US20080013941A1 (en) 2006-07-14 2008-01-17 Micron Technology, Inc. Method and apparatus for increasing depth of field for an imager

Non-Patent Citations (8)

* Cited by examiner, † Cited by third party
Title
A. LEVIN, R. FERGUS, F. DURAND, W. T. FREEMAN: "Image and Depth from a Conventional Camera with a Coded Aperture", ACM TRANSACTIONS ON GRAPHICS, vol. 26, no. 3, 2007, pages 70 - 1,70-9
C. TISSE, H. P. NGUYEN, R. TESIERES, M. PYANET, F. GUICHARD: "Extended Depth-of-field (EDOF) using sharpness transport across colour channels", OPTICAL ENGINEERING + APPLICATIONS, PART OF SPIE OPTICS + PHOTONICS, SESSION 1 -IMAGING IN THE OPTICAL DESIGN PROCESS: DEPTH OF FIELD, 2008
E. R. DOWSKI, W. T. CATHEY, APPLIED OPTICS, vol. 34, no. 11, 1995, pages 1859 - 1866
H. NAGAHARA, S. KUTHIRUMMAL, C. ZHOU, S. NAYAR: "Flexible Depth of Field Photography", EUROPEAN CONFERENCE ON COMPUTER VISION (ECCV), OCT. 16TH, MORNING SESSION 2: COMPUTATIONAL PHOTOGRAPHY, 2008
See also references of EP2512117A4
W. CHI, N. GEORGE: "Computational imaging with the logarithmic asphere: theory", vol. 20, December 2003, OPTICAL SOCIETY OF AMERICA
Y. TAKAHASHI, R. OBANA, S. KOMATSU: "Optimized phase mask for wave-front coding: Extended DOF in off axis field", OPTICS AND PHOTONICS JAPAN 2007, EXTENDED ABSTRACTS, 2007, pages 464 - 465
Y. TAKAHASHI, S. KOMATSU: "Optics Letters", vol. 33, July 2008, OPTICAL SOCIETY OF AMERICA, article "Optimized free-form phase mask for extension of depth of field in wavefront-coded imaging"

Also Published As

Publication number Publication date
EP2512117A4 (en) 2013-05-22
US8576326B2 (en) 2013-11-05
EP2512117A1 (en) 2012-10-17
CN102308569A (zh) 2012-01-04
JPWO2011070755A1 (ja) 2013-04-22
CN102308569B (zh) 2014-11-12
JP5367094B2 (ja) 2013-12-11
EP2512117B1 (en) 2015-08-05
US20110292275A1 (en) 2011-12-01

Similar Documents

Publication Publication Date Title
JP5367094B2 (ja) 撮像装置及びその制御方法
JP5588461B2 (ja) 撮像装置および撮像方法
JP5911531B2 (ja) 光学機器
US9531944B2 (en) Focus detection apparatus and control method thereof
JP2007139893A (ja) 合焦検出装置
JP5882898B2 (ja) 撮像装置、撮像方法、集積回路、コンピュータプログラム
WO2012105222A1 (ja) 画像復元装置、撮像装置及び画像復元方法
JP2006053545A (ja) 光学機器
JP6459958B2 (ja) 撮像装置および交換レンズ
WO2017154366A1 (ja) ローパスフィルタ制御装置、およびローパスフィルタ制御方法、ならびに撮像装置
JP2019095480A (ja) 撮像装置及びその制御方法、プログラム、記憶媒体
JP6451191B2 (ja) 画像処理装置および撮像装置
JP2019203929A (ja) 電子機器、電子機器の制御装置、制御プログラムおよび制御方法
JP5409588B2 (ja) 焦点調節方法、焦点調節プログラムおよび撮像装置
JP2010145495A (ja) カメラシステム
JP2008211678A (ja) 撮像装置およびその方法
JP2006023653A (ja) 光学機器
JP5773659B2 (ja) 撮像装置および制御方法
JP2016122950A (ja) 撮像装置
JP2009031562A (ja) 受光素子、受光装置、焦点検出装置、カメラ
JP2019057942A (ja) 画像処理装置および撮像装置
JP2018110287A (ja) 撮像装置、その制御方法、プログラム、及び記録媒体
JP2016224357A (ja) レンズ制御装置、光学機器およびレンズ制御プログラム
JP2009094662A (ja) 固体撮像装置

Legal Events

Date Code Title Description
WWE Wipo information: entry into national phase

Ref document number: 201080006737.4

Country of ref document: CN

ENP Entry into the national phase

Ref document number: 2011545075

Country of ref document: JP

Kind code of ref document: A

WWE Wipo information: entry into national phase

Ref document number: 13147894

Country of ref document: US

Ref document number: 2010835682

Country of ref document: EP

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 10835682

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE