WO2011070757A1 - 撮像装置および撮像方法 - Google Patents

撮像装置および撮像方法 Download PDF

Info

Publication number
WO2011070757A1
WO2011070757A1 PCT/JP2010/007061 JP2010007061W WO2011070757A1 WO 2011070757 A1 WO2011070757 A1 WO 2011070757A1 JP 2010007061 W JP2010007061 W JP 2010007061W WO 2011070757 A1 WO2011070757 A1 WO 2011070757A1
Authority
WO
WIPO (PCT)
Prior art keywords
focus position
initial
focus
exposure
imaging
Prior art date
Application number
PCT/JP2010/007061
Other languages
English (en)
French (fr)
Inventor
河村　岳
Original Assignee
パナソニック株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by パナソニック株式会社 filed Critical パナソニック株式会社
Priority to US13/147,886 priority Critical patent/US8412036B2/en
Priority to JP2011545076A priority patent/JP5588461B2/ja
Priority to EP10835683.3A priority patent/EP2511747B1/en
Priority to CN201080006774.5A priority patent/CN102308242B/zh
Publication of WO2011070757A1 publication Critical patent/WO2011070757A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B7/00—Mountings, adjusting means, or light-tight connections, for optical elements
    • G02B7/02—Mountings, adjusting means, or light-tight connections, for optical elements for lenses
    • G02B7/04—Mountings, adjusting means, or light-tight connections, for optical elements for lenses with mechanism for focusing or varying magnification
    • G02B7/08—Mountings, adjusting means, or light-tight connections, for optical elements for lenses with mechanism for focusing or varying magnification adapted to co-operate with a remote control mechanism
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B13/00—Viewfinders; Focusing aids for cameras; Means for focusing for cameras; Autofocus systems for cameras
    • G03B13/32—Means for focusing
    • G03B13/34—Power focusing
    • G03B13/36—Autofocus systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95—Computational photography systems, e.g. light-field imaging systems
    • H04N23/958—Computational photography systems, e.g. light-field imaging systems for extended depth of field imaging
    • H04N23/959—Computational photography systems, e.g. light-field imaging systems for extended depth of field imaging by adjusting depth of field during image capture, e.g. maximising or setting range based on scene characteristics
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B7/00—Mountings, adjusting means, or light-tight connections, for optical elements
    • G02B7/28—Systems for automatic generation of focusing signals

Definitions

  • the present invention relates to an image pickup apparatus and an image pickup method that realize a reduction in shutter time lag in an image pickup apparatus that employs a method for realizing extension of depth of field.
  • EDOF depth of field expansion
  • a blur in the depth direction is made uniform by inserting an optical element called a phase plate into the optical system.
  • an image restoration process is performed on the obtained image using a blur pattern measured in advance or a blur pattern calculated by simulation. Thereby, the method generates an EDOF image.
  • WFC Wavefront Coding
  • the second method measures the distance with high accuracy for each partial area of the image by devising the aperture shape.
  • image restoration processing is performed on each partial region using a blur pattern corresponding to each distance measured in advance. Thereby, the method generates an EDOF image.
  • This method is referred to as coded aperture (hereinafter referred to as CA) (see Non-Patent Document 2).
  • the third method convolves an image that is uniformly focused in the depth direction by moving the focus lens or image sensor during the exposure time (that is, synonymous with equalizing blur at each depth).
  • an image restoration process is performed on the obtained image using a blur pattern measured in advance or a blur pattern calculated by simulation. Thereby, the method generates an EDOF image.
  • This method is called “Flexible DOF” (hereinafter referred to as “F-DOF”) (see Non-Patent Document 3).
  • Non-Patent Document 4 depth estimation or image sharpness detection using axial chromatic aberration of the lens
  • a method for obtaining a sharp overall image by image processing see Non-Patent Document 4
  • a multifocal lens There is also a method (see Non-Patent Document 5) in which the blur in the depth direction is uniformed and image restoration processing is performed using a blur pattern measured in advance or a blur pattern calculated by simulation.
  • these methods have a drawback that the EDOF effect is small in principle compared with the above three methods.
  • Focal Stack has also existed for a long time.
  • a plurality of images with different in-focus positions (focus positions) are photographed, and regions that are considered in-focus are extracted from the respective images.
  • the said system produces
  • this method since a large number of images are required, there are a problem that it takes a relatively long time for imaging and a problem that a large amount of memory is consumed.
  • CPM Cubic Phase Mask
  • FPM Free-Form Phase Mask
  • Non-Patent Document 7 a common defect of WFCs is that the characteristics outside the optical axis of the lens are deteriorated by inserting a phase plate (see Non-Patent Document 7). Specifically, compared with incident light from the front, the same blur uniformity effect cannot be obtained for incident light from other than the front. For this reason, if restoration processing is performed with the blur pattern on the axis during image restoration, the image quality outside the optical axis after restoration is degraded.
  • the second CA in the three methods mentioned above increases the distance measurement accuracy by using an unusual aperture shape. Due to such characteristics of this method itself, a specific frequency component of a captured image and an image obtained after restoration processing is lost. That is, this method has a drawback that the image quality is deteriorated. In addition, this method is generally not suitable for shooting in a dark place because the amount of light is smaller than that of a normal shooting method regardless of the aperture shape.
  • the third F-DOF in the above-mentioned three systems is a system that can obtain the best image quality, and has a high EDOF effect.
  • the off-axis characteristics also depend on the lens characteristics themselves, so it is easy to improve performance.
  • it is necessary to use an image-side telecentric lens because the same subject needs to be folded on the same image position even if the focus position during exposure is moved.
  • EDOF technology examples include cameras mounted on mobile phones in recent years.
  • the camera can be downsized. That is, the EDOF effect makes it possible to obtain an omnifocal image (an image in which all subjects are in focus) without having an autofocus mechanism.
  • F-DOF itself is not adopted because it requires a mechanism to move the focus lens or image sensor, and a method using WFC or axial chromatic aberration is adopted. Yes.
  • a normal digital still camera can be considered.
  • the EDOF technique can be expected to have an effect of releasing from an all-in-focus image, that is, a focus error.
  • This application requires high image quality, the ability of the EDOF effect, the ability to arbitrarily change the EDOF range, and the ability to be realized by applying a normal autofocus mechanism (special optics F-DOF is the most excellent of the above methods because it is not necessary to prepare a system) and it is easy to switch between EDOF photographing and normal photographing.
  • a normal autofocus mechanism special optics F-DOF is the most excellent of the above methods because it is not necessary to prepare a system
  • German Patent No. 2301800 German Patent: Application 1973/1/15
  • Japanese Patent Publication No. 5-27084 Japanese Patent No. 3191928 US Patent Application Publication No. 2008/0013941 Japanese Patent No. 3084130
  • FIG. 13 is a block diagram showing a configuration of an imaging apparatus 500 that displaces the focus lens during the exposure time.
  • An imaging apparatus 500 shown in FIG. 13 includes an imaging element 1, a lens 2, a focus lens 20, a shutter 3, a focus lens displacement control unit 4, a shutter opening / closing instruction unit 5, a release receiving unit 6, and a focus.
  • the focus lens initial position detecting unit 7 detects the current position (initial position) of the focus lens 20. Then, the focus lens displacement control unit 4 moves the focus lens 20 so that the focus position moves to the end position of a predetermined focus range, for example, the closest end as shown in FIG.
  • a predetermined focus range for example, the closest end as shown in FIG.
  • the position closest to the imaging apparatus 500 with the imaging apparatus 500 as a reference is the nearest end
  • the position farthest from the imaging apparatus 500 is the farthest end.
  • the exposure / focus displacement synchronization management unit 10 instructs the shutter opening / closing instruction unit 5 to open / close the shutter 3, and simultaneously moves the focus lens 20 to the focus lens displacement control unit 4 from the nearest end to the farthest end. Instruct to move. Then, as shown in FIG. 15, the focus lens displacement control unit 4 moves the focus lens 20 so that the in-focus position reaches the farthest end simultaneously with the end of exposure.
  • FIG. 14 is a block diagram showing a configuration of an imaging apparatus 600 that displaces the imaging element 1 during the exposure time.
  • An imaging apparatus 600 shown in FIG. 14 includes a focus lens displacement control unit 4, a focus lens initial position detection unit 7, an exposure / focus displacement synchronization management unit 10, and a focus lens position of the imaging apparatus 500 that displaces the focus lens 20 described above.
  • an image sensor initial position detection unit 14 an exposure / image sensor displacement synchronization management unit 16, an image sensor displacement control unit 17, and an image sensor position initialization unit 19 are provided.
  • the imaging apparatus 600 shown in FIG. 14 is different from the imaging apparatus 500 shown in FIG. 13 that moves the focus lens 20 in that the imaging element 1 is moved to displace the in-focus position. Since other configurations and operations are the same as those of the imaging apparatus 500 shown in FIG. 13, the corresponding components are denoted by the same reference numerals, and detailed description thereof is omitted. Although not shown, the imaging apparatus 600 also includes the lens 2 including the focus lens 20.
  • the imaging apparatuses 500 and 600 that employ the F-DOF method need to initialize the position of the focus lens 20 or the imaging element from when the shutter button is pressed to when actual exposure is started. .
  • F-DOF is significantly disadvantageous compared to other EDOF systems.
  • the shutter time lag is the time required from when the user gives an instruction to start exposure (that is, when the shutter button is pressed) until the exposure is actually started.
  • the breakdown of the shutter time lag is the sum of the time required for focusing with a camera having an autofocus mechanism and the time required for various other processes (called release time lag).
  • the breakdown of the release time lag includes the time required for a camera such as a single-lens reflex camera to jump up, and the time required to squeeze the diaphragm blades according to a predetermined exposure.
  • the shutter time lag normally takes 100 milliseconds to several seconds, whereas the release time lag is about 10 to 130 milliseconds, which is overwhelmingly longer for autofocus.
  • the time required for focusing can be omitted because the autofocus mechanism itself is not required to obtain an omnifocal image. As a result, the shutter time lag can be greatly reduced.
  • the imaging apparatuses 500 and 600 that employ F-DOF as described above, it is possible to perform omnifocal image capturing, normal autofocus imaging, and manual focus imaging.
  • EDOF technology not only provides users with the value of being free from focusing errors by taking all-in-focus images, but also significantly reduces the shutter time lag, that is, immediately after the moment you want to take a picture. It is easily speculated that the provision of the advantage of cutting off can also be one of great value.
  • the conventional configuration has the problem that the latter advantage cannot be obtained because the processing is performed in the above-described procedure.
  • the present invention solves the above-described conventional problems, and an object of the present invention is to provide an imaging apparatus and an imaging method with a small shutter time lag even in F-DOF.
  • An imaging apparatus includes an imaging element, a lens that focuses light on the imaging element to form an image, and an in-focus position at the time when an instruction to start exposure is received from a user.
  • An initial focus position detection unit that detects a positional relationship between the imaging element and the lens for specifying a certain initial focus position, and an imaging in which the focus position during the exposure time is detected by the initial focus position detection unit From the initial in-focus position specified by the positional relationship between the element and the lens, pass through the nearest end and the farthest end of the predetermined in-focus range at least once and return to the initial in-focus position again.
  • the focus position is moved from the initial focus position at the start of exposure, and is again initialized at the end of exposure. Focus As to reach the location, and a displacement control unit for moving one of the imaging element and the lens.
  • the shutter time lag can be significantly reduced.
  • the order of passage of the nearest end and the farthest end may be either first.
  • the number of times of passage at the nearest end and the farthest end is not limited to one time, and may be a plurality of times. However, it is desirable that the number of passages at the nearest end and the farthest end coincide.
  • the imaging apparatus may include an exposure time determining unit that determines an exposure time according to an imaging scene.
  • the displacement pattern determination unit may increase the number of reciprocations indicating how many times the displacement pattern is executed during the exposure time as the exposure time determined by the exposure time determination unit is longer. Thereby, even if the exposure time changes, the displacement speed of the image sensor or the lens becomes substantially the same, so the burden on the driving device such as a motor is reduced.
  • the displacement pattern determination unit may return the focus position during the exposure time from the initial focus position to the initial focus position again through the closest end of the focus range and the farthest end of the focus range.
  • the displacement pattern of the focus position may be determined so as to return.
  • the displacement pattern determination unit determines that the in-focus position during the exposure time passes from the initial in-focus position to the farthest end of the in-focus range and the closest end of the in-focus range, and then again the initial in-focus. You may determine the displacement pattern of a focus position so that it may return to a position.
  • the displacement control unit may displace the in-focus position by moving the lens.
  • the displacement control unit may displace the in-focus position by moving the image sensor.
  • examples of specific methods for changing the in-focus position include a method for moving the lens and a method for moving the image sensor.
  • a mechanism for moving a lens can be shared with autofocus by adopting a method for moving the lens.
  • the imaging apparatus performs image restoration processing using the restoration PSF on the imaging data generated by the PSF storage unit that stores the restoration PSF (Point Spread Function) in advance and the imaging element.
  • An imaging method is a method in which an imaging device including an imaging device and a lens that focuses light on the imaging device to form an image picks up an image.
  • an initial focus position detection step for detecting a positional relationship between the imaging element and the lens for specifying an initial focus position that is a focus position at the time when an instruction to start exposure is received from a user;
  • the focus position during the exposure time is determined based on the initial focus position specified by the positional relationship between the imaging element and the lens detected in the initial focus position detection step.
  • a displacement pattern determining step for determining a displacement pattern at the in-focus position so as to return to the initial in-focus position again at least once through the end and the farthest end, and the displacement pattern determined in the displacement pattern determining step. Based on this, the imaging element and the lens are moved so that the in-focus position is moved from the initial in-focus position at the start of exposure, and is again reached at the end of exposure. And a displacement control step of moving one of the.
  • the present invention can be realized not only as an imaging apparatus and an imaging method, but also as a program for causing a computer to execute steps included in the imaging method, and a semiconductor integrated circuit that realizes part of the functions of the imaging apparatus It can be realized as (LSI).
  • the program can be distributed via a non-transitory computer-readable recording medium such as a CD-ROM and a transmission medium such as the Internet.
  • the shutter time lag in the F-DOF method can be significantly reduced by devising a displacement method during exposure of the image sensor or the focus lens.
  • FIG. 1 is a block diagram showing a schematic configuration of an imaging apparatus according to Embodiment 1 of the present invention.
  • FIG. 2 is a flowchart showing the operation of the imaging apparatus of FIG.
  • FIG. 3 is a block diagram showing a detailed configuration of the imaging apparatus according to Embodiment 1 of the present invention.
  • FIG. 4 is a block diagram showing a detailed configuration of the imaging apparatus according to Embodiment 1 of the present invention.
  • FIG. 5 is a diagram in which the positional relationship between the subject distance u and the image plane side distance v is defined.
  • FIG. 6 is a graph showing an example of the relationship between the subject distance u and the image plane side distance v.
  • FIG. 7 is a diagram illustrating an example of a displacement pattern of the focus lens or the image sensor.
  • FIG. 1 is a block diagram showing a schematic configuration of an imaging apparatus according to Embodiment 1 of the present invention.
  • FIG. 2 is a flowchart showing the operation of the imaging apparatus of FIG.
  • FIG. 8 is a diagram illustrating an example of a displacement pattern of the focus lens or the image sensor.
  • FIG. 9 is a diagram illustrating an example of a displacement pattern of the focus lens or the image sensor.
  • FIG. 10 is a diagram illustrating an example of a displacement pattern of the focus lens or the image sensor.
  • FIG. 11 is a block diagram showing a detailed configuration of the imaging apparatus according to Embodiment 2 of the present invention.
  • FIG. 12 is a block diagram showing a detailed configuration of the imaging apparatus according to Embodiment 2 of the present invention.
  • FIG. 13 is a block diagram of a conventional imaging device.
  • FIG. 14 is a block diagram of a conventional imaging device.
  • FIG. 15 is a diagram showing an example of a conventional focus lens or image sensor displacement pattern.
  • FIG. 16 illustrates the relationship between the shutter time lag and the release time lag.
  • Embodiment 1 An imaging apparatus according to Embodiment 1 of the present invention will be described with reference to FIGS.
  • FIG. 1 is a block diagram illustrating a schematic configuration of the imaging apparatus 1000.
  • FIG. 2 is a flowchart showing the operation of the imaging apparatus 1000.
  • the imaging apparatus 1000 includes an imaging device 110, a lens 120, an initial focus position detection unit 130, a displacement pattern determination unit 140, and a displacement control unit 150.
  • the image sensor 110 converts the formed image into an electrical signal and outputs it.
  • the specific example of the image pick-up element 110 is not specifically limited, For example, CCD (Charge Coupled Device Image Sensor) or CMOS (Complementary Metal Oxide Semiconductor Image Sensor) etc. are employable.
  • the lens 120 condenses light on the image sensor 110 to form an image.
  • the lens 120 includes a plurality of lenses including a focus lens.
  • the initial focus position detection unit 130 is an initial focus position (“focus initial position”) that is a focus position (also referred to as “focus position”, the same applies hereinafter) of the imaging apparatus 1000 when an instruction to start exposure is received from the user. The same shall apply hereinafter) (S11).
  • the in-focus position is determined by the positional relationship (more specifically, distance) between the image sensor 110 and the lens 120. That is, the initial focus position detection unit 130 actually detects the positional relationship between the imaging element 110 and the lens 120 for specifying the initial focus position.
  • the displacement pattern determination unit 140 is determined in advance from the initial focus position in which the focus position during the exposure time is specified by the positional relationship between the imaging element 110 and the lens 120 detected by the initial focus position detection unit 130.
  • a displacement pattern of the in-focus position is determined so as to return to the initial in-focus position again at least once through the nearest end and the farthest end of the in-focus range (S12).
  • the displacement pattern determined here may pass through either the nearest end or the farthest end of the focusing range first. That is, the in-focus position during the exposure time is a displacement pattern from the initial in-focus position to the initial focus position again through the closest end of the in-focus range and the farthest end of the in-focus range. Also good. Alternatively, the in-focus position during the exposure time is a displacement pattern from the initial in-focus position to the farthest end of the in-focus range and the closest end of the in-focus range, and then back to the initial in-focus position again. Also good.
  • the displacement pattern determination unit 140 determines the number of reciprocations indicating how many times the displacement pattern is executed during the exposure time. And the displacement pattern determination part 140 increases this reciprocation number, so that the exposure time determined in the exposure time determination part mentioned later is long. For example, if the number of reciprocations is 1 when the exposure time is 10 ms, the number of reciprocations is 2 when the exposure time is 20 ms. Thereby, even if the exposure time changes, the displacement speed of the image sensor 110 or the lens 120 becomes substantially the same, so the burden on a driving device such as a motor is reduced.
  • the displacement control unit 150 moves one of the image sensor 110 and the lens 120 in order to change the in-focus position based on the displacement pattern determined by the displacement pattern determination unit 140, so that the distance (relative (Position) is changed (S13). Specifically, the displacement control unit 150 moves the in-focus position from the initial in-focus position at the same time as the start of exposure so that the in-focus position reaches the initial in-focus position again at the same time as the exposure ends. One of the image sensor 110 and the lens 120 is moved.
  • the displacement control unit 150 may move the focus position by moving the image sensor 110 or may move the focus position by moving the lens 120.
  • FIG. 3 is a diagram showing a detailed configuration of the imaging apparatus 100 according to the first embodiment.
  • 3 includes an imaging device 1, a lens 2, a focus lens 20, a shutter 3, a focus lens displacement control unit 4, a shutter opening / closing instruction unit 5, a release receiving unit 6, and a focus.
  • the displacement control unit 150 corresponds to the pattern determination unit 9 and the focus lens displacement control unit 4, respectively.
  • FIG. 4 is a diagram illustrating a detailed configuration of the imaging apparatus 200 according to the first embodiment.
  • the configuration and operation are the same as those in FIG. 3 except that the image restoration processing unit 11 and the PSF storage unit 12 are omitted.
  • the imaging device 200 is characterized by directly recording an image obtained by exposure in the imaging data recording unit 13 as compared to the imaging device 100 shown in FIG. This is intended to realize the image restoration processing not in the imaging apparatus 200 but in another apparatus such as a personal computer, an image viewer, a network server, or the like thereafter. Since the other configuration is common to the imaging apparatus 100 of FIG. 3, the configuration and operation of the imaging apparatus 100 will be mainly described below.
  • the imaging apparatus 100 when the optical image of the subject is formed on the imaging device 1 by the lens 2 when the shutter 3 is in the open state, the formed optical image is converted into an electrical signal by the imaging device 1. .
  • the lens 2 is composed of a focus lens 20 and other lens groups in order to focus on a desired subject.
  • the focus lens 20 may be composed of a plurality of lenses.
  • the focus lens initial position detection unit 7 detects the current focus position (initial focus position) of the focus lens 20.
  • the exposure time determination unit 8 determines shooting parameters such as shutter speed (exposure time) and aperture value.
  • the exposure time may be determined by the exposure time determination unit 8 according to the surrounding brightness, for example, the exposure time is shortened when it is bright, and the exposure time is lengthened when it is dark. It may be determined by accepting a fast subject or a landscape.
  • the focus lens displacement pattern determination unit 9 uses the focus lens initial position information detected by the focus lens initial position detection unit 7 and the exposure time information determined by the exposure time determination unit 8, for example, as shown in FIGS. The correct focus displacement pattern.
  • the focus lens displacement pattern determination unit 9 determines a displacement pattern of the focus lens 20 according to the focus displacement pattern, and notifies the exposure / focus displacement synchronization management unit 10 of the displacement pattern.
  • the exposure / focus displacement synchronization management unit 10 performs synchronization management of exposure start and exposure end for the focus lens displacement control unit 4 and the shutter opening / closing instruction unit 5 based on the displacement pattern. That is, the exposure / focus displacement synchronization management unit 10 outputs an exposure start instruction to the shutter opening / closing instruction unit 5 and at the same time within the exposure time based on the displacement pattern determined by the focus lens displacement pattern determination unit 9. The focus lens displacement control unit 4 is instructed to displace the focus lens 20.
  • the shutter opening / closing instruction unit 5 performs control so that the shutter 3 opens as soon as an exposure start instruction is issued. After a predetermined exposure time, the exposure / focus displacement synchronization management unit 10 instructs the shutter opening / closing instruction unit 5 to end the exposure. The shutter opening / closing instruction unit 5 performs control so that the shutter 3 is closed as soon as an exposure end instruction is issued. Further, the focus lens displacement control unit 4 moves the focusing position from the initial focus position at the start of exposure based on the displacement pattern determined by the focus lens displacement pattern determination unit 9, and returns to the initial focus position at the end of exposure. The focus lens 20 is moved so as to reach it.
  • the exposure / focus displacement synchronization management unit 10 notifies the image restoration processing unit 11 that the exposure has been completed and that the focus displacement method has been captured using F-DOF.
  • the image restoration processing unit 11 After receiving the image signal, the image restoration processing unit 11 reads PSF data for restoration from the PSF storage unit 12 and performs image restoration processing. Specifically, a blur pattern due to focus displacement is obtained in advance by measurement or simulation, and this is stored in the PSF storage unit 12 as PSF data. Various methods such as Wiener Filter and Lucy-Richardson are known as image restoration methods, but any method may be used. Then, the image restoration processing unit 11 records the restored image signal in the imaging data recording unit 13 as imaging data.
  • FIG. 6 shows the relationship between the subject distance u and the image plane side distance v when f is 18 [mm].
  • the image plane side distance v which is the distance between the lens principal point and the image sensor, is displaced.
  • instructing the focus lens 20 to perform displacement control so that the focus position is displaced at a constant speed on the imaging device surface means that the changing speed of the image plane side distance v is constant.
  • the subject distance u which is the distance between the focal plane on the subject side and the lens principal point, is not displaced at a constant speed. Absent.
  • the vertical axis in FIGS. 7 to 10 is the image plane side distance v. For this reason, it should be noted that the relationship between the exposure time and the subject distance u is opposite in magnitude from the relationship between the exposure time and the image plane side distance v.
  • the closest end and the farthest end on the subject distance u side are switched on the image plane side to become the farthest end and the nearest end.
  • the focus position is displaced from the initial focus position to the nearest end on the subject side, and after reaching the nearest end, it is immediately turned back and displaced to the farthest end. After reaching the farthest end, it is immediately turned back again and displaced to the initial focus position.
  • the speed at the time of displacement is a constant speed, and this displacement speed is determined so as to reciprocate once in the exposure time determined by the exposure time determination unit 8.
  • the reason why the speed is constant in principle is that in order to perform the image restoration process with the uniform restoration PSF, it is necessary to make the blur uniform in the subject distance direction. In order to obtain uniform blur, it is necessary to make the displacement on the image plane side constant and to make the exposure amount from the nearest end to the farthest end constant.
  • FIG. 8 shows a case where the displacement pattern of FIG. 7 is reciprocated three times within the exposure time. In this way, the exposure amount from the nearest end to the farthest end can be made constant even if the reciprocation is made an integer number of times.
  • FIG. 9 shows an example of a displacement pattern that is displaced in the opposite direction to the displacement pattern of FIG.
  • the focus position is displaced from the initial focus position to the farthest end on the subject side, and after reaching the farthest end, it is immediately turned back and displaced to the nearest end. After reaching the closest end, it immediately turns back again and is displaced to the initial focus position.
  • the speed at the time of displacement is a constant speed, and this displacement speed is determined so as to reciprocate once in the exposure time determined by the exposure time determination unit 8.
  • FIG. 10 shows a case where the displacement pattern of FIG. 9 is reciprocated three times within the exposure time. As described above, even when the reverse displacement pattern is reciprocated an integer number of times, the exposure amount from the nearest end to the farthest end can be made constant.
  • FIG. 15 which is a conventional displacement pattern
  • FIGS. 7 to 10 which is a displacement pattern according to Embodiment 1 of the present application
  • the exposure amounts at the nearest and farthest ends are actually Strictly speaking, it is not constant compared with the exposure amount at the center.
  • the sharpest image is obtained at the in-focus position, but before and after that, the pattern has a pattern in which the sharpness gradually decreases as the distance increases. It is known.
  • the displacement is cut off, so that the defocus pattern from the side where the displacement disappears cannot contribute to the sharpness.
  • the sharpness at the nearest end and the farthest end is slightly lower than the sharpness at the center.
  • control may be performed such that the displacement speeds at the nearest end and the farthest end are reduced compared to the displacement speed at the center. In this case, it is necessary to take care that the time required for reciprocal displacement an integer number of times matches the exposure time.
  • the imaging apparatuses 100 and 200 having such a configuration perform the above-described control, so that the F-DOF system has high image quality, the magnitude of the EDOF effect, arbitrary setting of the EDOF range, EDOF imaging, and normal
  • the shutter time lag can be significantly reduced while maintaining the ease of switching between shootings.
  • Embodiment 2 An imaging apparatus according to Embodiment 2 of the present invention will be described with reference to FIGS.
  • FIG. 11 is a diagram illustrating a detailed configuration of the imaging apparatus 300 according to the second embodiment.
  • 11 includes an image sensor 1, a shutter 3, a shutter opening / closing instruction unit 5, a release receiving unit 6, an exposure time determining unit 8, an image restoration processing unit 11, and a PSF storage unit. 12, an imaging data recording unit 13, an imaging device initial position detection unit 14, an imaging device displacement pattern determination unit 15, an exposure / imaging device displacement synchronization management unit 16, and an imaging device displacement control unit 17.
  • the imaging apparatus 300 also includes the lens 2 including the focus lens 20.
  • the imaging device initial position detection unit 14 detects the current position (initial position) of the imaging device 1.
  • the exposure time determination unit 8 determines shooting parameters such as shutter speed and aperture value.
  • the exposure time may be determined by the exposure time determination unit 8 according to the surrounding brightness, for example, the exposure time is shortened when it is bright, and the exposure time is lengthened when it is dark. It may be determined by accepting a fast subject or a landscape.
  • the exposure / imaging element displacement synchronization management unit 16 performs an exposure start instruction on the imaging element displacement control unit 17 and the shutter opening / closing instruction unit 5 in synchronization with exposure start and exposure end. That is, the exposure / focus displacement synchronization management unit 10 outputs an exposure start instruction to the shutter opening / closing instruction unit 5 and at the same time within the exposure time based on the displacement pattern determined by the image sensor displacement pattern determination unit 15.
  • the image sensor displacement control unit 17 is instructed to displace the image sensor 1.
  • the shutter opening / closing instruction unit 5 performs control to open the shutter 3 as soon as an exposure start instruction is issued. Further, after a predetermined exposure time has elapsed, the exposure / imaging element displacement synchronization management unit 16 instructs the shutter opening / closing instruction unit 5 to end the exposure. The shutter opening / closing instruction unit 5 performs control so that the shutter 3 is closed as soon as an exposure end instruction is issued. Further, the image sensor displacement control unit 17 moves the focus position from the initial focus position at the start of exposure based on the displacement pattern determined by the image sensor displacement pattern determination unit 15, and then returns to the initial focus position at the end of exposure. The image sensor 1 is moved so as to reach it.
  • the formed optical image is converted into an electric signal (image signal) by the image sensor 1 and the image signal is transferred to the image restoration processing unit 11. .
  • the exposure / imaging element displacement synchronization management unit 16 notifies the image restoration processing unit 11 that the exposure has been completed and that imaging of the imaging element displacement method by F-DOF has been performed.
  • the other configuration conforms to the case where the focus lens 20 in FIG. 3 is displaced.
  • FIG. 12 is a diagram illustrating a detailed configuration of the imaging apparatus 400 according to the second embodiment.
  • the configuration and operation of the imaging apparatus 400 are the same as those in FIG. 11 except that the image restoration processing unit 11 and the PSF storage unit 12 are omitted.
  • the imaging apparatus 400 is characterized in that it directly records an image obtained by exposure in the imaging data recording unit 13. This is intended to realize the image restoration processing not in the imaging apparatus 400 but in another apparatus such as a personal computer, an image viewer, a network server, or the like thereafter.
  • the image sensor displacement pattern determination unit 15 uses the image sensor initial position information detected by the image sensor initial position detection unit 14 and the exposure time information determined by the exposure time determination unit 8, for example, as shown in FIGS. Such a focus displacement pattern is determined. Then, the image sensor displacement pattern determination unit 15 determines a displacement pattern of the image sensor 1 according to the focus displacement pattern and notifies the exposure / focus displacement synchronization management unit 10 of the displacement pattern.
  • the focus displacement pattern is the displacement pattern of the image pickup device 1 itself unless the position of the lens 2 is displaced.
  • the exposure / imaging element displacement synchronization management unit 16 performs synchronization management of exposure start and exposure end for the image sensor displacement control unit 17 and the shutter opening / closing instruction unit 5 based on the displacement pattern.
  • the displacement pattern of the image sensor 1 conforms to the patterns of FIGS. 7 to 10 shown in the first embodiment.
  • the configuration in which the image sensor 1 itself is displaced is the difference from the first embodiment, and the displacement pattern is common.
  • the imaging apparatuses 300 and 400 having such a configuration perform the above-described control, so that the F-DOF system has high image quality, the magnitude of the EDOF effect, arbitrary setting of the EDOF range, EDOF imaging, and normal
  • the shutter time lag can be significantly reduced while maintaining the ease of switching between shootings.
  • the imaging device according to the embodiment of the present invention has been described above, but the present invention is not limited to this embodiment.
  • At least a part of the plurality of processing units included in the imaging apparatus according to the above embodiment is realized as an LSI that is an integrated circuit. These may be individually made into one chip, or may be made into one chip so as to include a part or all of them.
  • circuits are not limited to LSI, and may be realized by a dedicated circuit or a general-purpose processor.
  • An FPGA Field Programmable Gate Array
  • reconfigurable processor that can reconfigure the connection and setting of circuit cells inside the LSI may be used.
  • a part of the functions of the imaging apparatus according to the embodiment of the present invention may be realized by a processor such as a CPU executing a program.
  • the present invention may be the above program or a non-transitory computer-readable recording medium on which the above program is recorded.
  • the program can be distributed via a transmission medium such as the Internet.
  • the image pickup apparatus and the image pickup method according to the present invention can realize a significant reduction in shutter time lag, which is a drawback of the F-DOF method, by devising how to move the image pickup element or the focus lens during exposure.

Abstract

撮像装置（１０００）は、撮像素子（１１０）と、レンズ（１２０）と、ユーザから露光開始の指示を受け付けた時点における合焦位置である初期合焦位置を特定するための撮像素子（１１０）とレンズ（１２０）との位置関係を検出する初期合焦位置検出部（１３０）と、露光時間中における合焦位置が、撮像素子（１１０）とレンズ（１２０）との位置関係によって特定される初期合焦位置から、予め定められた合焦範囲の最近端及び最遠端を少なくとも１回ずつ通って、再び初期合焦位置に戻るように、合焦位置の変位パターンを決定する変位パターン決定部（１４０）と、変位パターンに基づいて、合焦位置を、露光開始と共に初期合焦位置から移動させ、露光終了と共に再び初期合焦位置に到達させるように、撮像素子（１１０）及びレンズ（１２０）の一方を移動させる変位制御部（１５０）とを備える。

Description

撮像装置および撮像方法
　本発明は、被写界深度拡張を実現する方式を採用する撮像装置において、シャッタータイムラグの短縮を実現する撮像装置及び撮像方法に関するものである。
　一般的に被写界深度拡張（以下、ＥＤＯＦと称する）を実現する方式としては、主に以下の３つの方式が挙げられる。１つ目の方式は、位相板と呼ばれる光学素子を光学系に挿入することで深度方向のボケを均一化する。そして、当該方式は、得られた画像に対してあらかじめ測定されたボケパターン、もしくはシミュレーションにより算出されたボケパターンを用いて画像復元処理を行う。これにより、当該方式は、ＥＤＯＦ画像を生成する。この方式は、Ｗａｖｅｆｒｏｎｔ　Ｃｏｄｉｎｇ（以下、ＷＦＣと称する）と称されている（非特許文献１参照）。
　２つ目の方式は、絞り形状を工夫することで画像の部分領域ごとに高精度な距離測定を行う。そして、当該方式は、各部分領域に対して、あらかじめ測定しておいたそれぞれの距離に応じたボケパターンを用いて画像復元処理を行う。これにより、当該方式は、ＥＤＯＦ画像を生成する。この方式は、Ｃｏｄｅｄ　Ａｐｅｒｔｕｒｅ（以下、ＣＡと称する）と称されている（非特許文献２参照）。
　３つ目の方式は、露光時間中にフォーカスレンズもしくは撮像素子を動かすことで、深度方向に一律に合焦した画像を畳み込む（つまり各深度でボケを均一化することと同義）。そして、当該方式は、得られた画像に対して、あらかじめ測定されたボケパターン、もしくはシミュレーションにより算出されたボケパターンを用いて画像復元処理を行う。これにより、当該方式は、ＥＤＯＦ画像を生成する。この方式は、Ｆｌｅｘｉｂｌｅ　ＤＯＦ（以下、Ｆ－ＤＯＦと称する）と称されている（非特許文献３参照）。
　上記の他にも、レンズの軸上色収差を利用して深度推定もしくは画像のシャープネス検知を行うと共に、画像処理により全体が鮮鋭な画像を得る方式（非特許文献４参照）、及び多重焦点レンズを使って深度方向のボケを均一化し、あらかじめ測定したボケパターン、もしくはシミュレーションにより算出されたボケパターンを用いて画像復元処理を行う方式（非特許文献５参照）などもある。しかし、これらの方式は原理上、上記３つの方式と比べてＥＤＯＦ効果が小さいという欠点がある。
　さらに、Ｆｏｃａｌ　Ｓｔａｃｋと呼ばれる方式も古くから存在する。この方式は、合焦位置（フォーカス位置）の異なる複数枚の画像を撮影し、それぞれ合焦していると思われる領域をそれぞれの画像から抽出する。そして、当該方式は、抽出した画像を合成することで、ＥＤＯＦ画像を生成する。この方式の場合、多くの撮像枚数を必要とするため、撮像に比較的時間を要するという問題と、メモリ量を多く消費してしまうという問題とがある。
　前述の３方式における１つ目のＷＦＣでは、様々な位相板の種類が提案されている。その中で最もＥＤＯＦ効果の得られるものとして、Ｃｕｂｉｃ　Ｐｈａｓｅ　Ｍａｓｋ（以下、ＣＰＭと称する）、及びＦｒｅｅ－Ｆｏｒｍ　Ｐｈａｓｅ　Ｍａｓｋ（以下、ＦＰＭと称する）がある。復元後の画質（アーティファクトの少なさ）の観点からＦＰＭが有力とされている（非特許文献６参照）。
　しかしながら、ＷＦＣ共通の欠点として、位相板を挿入することで、レンズの光軸外の特性が悪化するという性質がある（非特許文献７参照）。具体的には、正面からの入射光と比べ、正面以外からの入射光に対して、同じだけのボケ均一効果が得られない。このため、画像復元時に軸上のボケパターンで復元処理を行うと、復元後の光軸外の画質が劣化してしまう。
　前述の３方式における２つ目のＣＡは、変わった絞り形状を用いることで距離測定精度を高める。この方式そのものがもつこのような特性により、撮影された画像及び復元処理後に得られる画像の特定周波数成分が失われてしまう。つまり、この方式は、画質劣化してしまうという欠点がある。また、この方式は、一般的に絞り形状に関わらず通常の撮影方法よりも光量が減るため、暗い場所での撮影に向かない。
　前述の３方式における３つ目のＦ－ＤＯＦは、この中で最も良好な画質が得られる方式であり、ＥＤＯＦ効果も高い。また、軸外特性もレンズ特性そのものに依存するため、性能を高めやすい。ただし光学的な条件として、露光中フォーカス位置を動かしても、同一被写体が同一の画像位置上に畳み込まれる必要があることから、像側テレセントリックレンズを用いる必要がある。
　上記ＥＤＯＦ技術の応用先として、最も古い歴史があるのは顕微鏡用途である。本用途の場合、静物体をじっくり撮影することができることから、Ｆｏｃａｌ　Ｓｔａｃｋ方式が古くから採用されてきた。ただしこの方式の場合、前述のとおり手間と時間とを要することから、Ｆ－ＤＯＦ方式のアイデアも合わせて、いくつかの文献に開示されてきている（特許文献１～４参照）。Ｆ－ＤＯＦを顕微鏡用途で用いる方法として、露光中に被写体である試料側を動かす場合と、レンズ鏡筒を動かす場合とが開示されている。
　なお、露光後の画像復元処理を前提とする場合、像のボケが常に均一になるように動かし方を制御すれば、単一のボケパターンを使った画像復元処理方法が適用できるため合理的であることが知られている（特許文献５参照）。そのためには、動かす対象が撮像素子の場合、これを等速度で動かす必要がある。またフォーカスレンズを動かす場合も、撮像面が等速度で動くのに相当するフォーカス変位を行う必要がある（非特許文献３参照）。動かすパターンとしては、奥側合焦端位置から手前側合焦端位置まで、またはその逆でもよいことが知られている。
　ＥＤＯＦ技術のその他の応用先として、近年、携帯電話などに搭載されるカメラが挙げられる。ＥＤＯＦ技術を当該カメラに用いることで、当該カメラの小型化を実現できる。すなわち、ＥＤＯＦ効果により、オートフォーカス機構を持つことなく、全焦点画像（すべての被写体に焦点が合っている画像）を得ることができる。
　本応用先の観点からは、上記方式のうちＦ－ＤＯＦそのものはフォーカスレンズもしくは撮像素子を動かす機構が必要になるので採用されておらず、ＷＦＣ又は軸上色収差を使った方式などが採用されている。
　さらにもう１つの応用先としては、通常のデジタルスチルカメラが考えられる。デジタルスチルカメラの近年のトレンドとして、より簡単にかつ失敗の少ない撮影が求められている。ＥＤＯＦ技術は全焦点画像、すなわち、合焦ミスからの開放という効果が期待できる。
　本応用先で要求されるのは、高画質であること、ＥＤＯＦ効果の大きさ、ＥＤＯＦ範囲の任意変更が可能なこと、通常のオートフォーカス機構を応用することで実現可能なこと（特別な光学系を用意しなくてすむこと）、ＥＤＯＦ撮影と通常撮影との切り替えが容易なこと等であるから、上記方式のうち最も優れているのはＦ－ＤＯＦである。
西独国特許第２３０１８００号明細書（ドイツ特許：出願１９７３／１／１５） 特公平５－２７０８４号公報 特許第３１９１９２８号公報 米国特許出願公開第２００８／００１３９４１号明細書 特許第３０８４１３０号公報
E.R.Dowski and W.T.Cathey, "Extended depth of field through wave-front coding", Applied Optics, Vol.34, No.11, P.1859-1866 (1995) A.Levin, R.Fergus, F.Durandand W.T.Freeman, "Image and Depth from a Conventional Camera with a Coded Aperture", ACM Transactions on Graphics, Vol.26, No.3, Article 70, 70-1 - 70-9 (2007) H.Nagahara, S.Kuthirummal, C.Zhouand S.Nayar, "Flexible Depth of Field Photography", European Conference on Computer Vision (ECCV), Oct.16th, Morning Session 2: Computational Photography (2008) C.Tisse, H.P.Nguyen, R.Tesieres, M.Pyanet and F.Guichard, "Extended Depth-of-field (EDOF) using sharpness transport across colourchannels", Optical Engineering + Applications, Part of SPIE Optics + Photonics, Session 1-- Imaging in the Optical Design Process: Depth of Field (2008) W.Chi and N.George, "Computational imaging with the logarithmic asphere: theory", Optical Society of America, Vol.20, No.12, December (2003) Y.Takahashi and S.Komatsu, "Optimized free-form phase mask for extension of depth of field in wavefront-coded imaging", Optical Society of America, Optics Letters, Vol.33, No.13, July 1, (2008) 高橋康久, 尾花亮, 小松進一, 「ウェイブフロント・コーディング用最適化位相板―軸外の被写界深度拡張効果―」, Optics & Photonics Japan 2007（日本光学会年次学術講演会）, 予稿集，P.464-465(27pC2), (2007)
　このように、デジタルスチルカメラ用途としては、様々なＥＤＯＦ方式がある中で、Ｆ－ＤＯＦ方式が有力である。そこで、Ｆ－ＤＯＦを実現するのに必要な構成を、図１３及び図１４を用いて説明する。
　まず、図１３は、露光時間中にフォーカスレンズを変位させる撮像装置５００の構成を示すブロック図である。図１３に示される撮像装置５００は、撮像素子１と、レンズ２と、フォーカスレンズ２０と、シャッター３と、フォーカスレンズ変位制御部４と、シャッター開閉指示部５と、レリーズ受付部６と、フォーカスレンズ初期位置検出部７と、露光時間決定部８と、フォーカスレンズ位置初期化部１８と、露光・フォーカス変位同期管理部１０と、画像復元処理部１１と、ＰＳＦ記憶部１２と、撮像データ記録部１３とを備える。
　図１３に示される撮像装置５００において、レリーズ受付部６がユーザから露光開始指示を受け付けると、フォーカスレンズ初期位置検出部７は、フォーカスレンズ２０のそのときの位置（初期位置）を検出する。そして、フォーカスレンズ変位制御部４は、合焦位置が所定の合焦範囲の端位置、例えば図１５に示されるように最近端に移動するように、フォーカスレンズ２０を移動させる。ここで所定の合焦範囲のうち、撮像装置５００を基準として、最も撮像装置５００に近い位置を最近端、最も撮像装置５００から遠い位置を最遠端とする。
　次に、露光・フォーカス変位同期管理部１０は、シャッター開閉指示部５にシャッター３の開閉を指示するのと同時に、フォーカスレンズ変位制御部４にフォーカスレンズ２０を最近端から最遠端に向かって移動させるように指示する。そして、フォーカスレンズ変位制御部４は、図１５に示されるように、露光終了と同時に合焦位置が最遠端に到達するように、フォーカスレンズ２０を移動させる。
　図１４は、露光時間中に撮像素子１を変位させる撮像装置６００の構成を示すブロック図である。図１４に示される撮像装置６００は、前述のフォーカスレンズ２０を変位させる撮像装置５００のフォーカスレンズ変位制御部４、フォーカスレンズ初期位置検出部７、露光・フォーカス変位同期管理部１０、及びフォーカスレンズ位置初期化部１８に代えて、撮像素子初期位置検出部１４、露光・撮像素子変位同期管理部１６、撮像素子変位制御部１７、及び撮像素子位置初期化部１９を備える。
　すなわち、図１４に示される撮像装置６００は、合焦位置を変位させるために撮像素子１を移動させる点で、フォーカスレンズ２０を移動させる図１３に示される撮像装置５００と相違する。その他の構成及び動作は、図１３に示される撮像装置５００と共通するので、対応する構成要素には同一の符号を付し、詳しい説明は省略する。また、図示は省略するが、撮像装置６００は、フォーカスレンズ２０を含むレンズ２をも備えている。
　すなわち、Ｆ－ＤＯＦ方式を採用する撮像装置５００、６００は、シャッターボタンが押下されてから実際に露光が開始されるまでの間に、フォーカスレンズ２０又は撮像素子の位置を初期化する必要がある。このように、シャッタータイムラグの縮小の観点からは、その他のＥＤＯＦ方式と比べて、Ｆ－ＤＯＦは著しく不利であった。シャッタータイムラグとは、図１６に示すように、ユーザが露光開始を指示（すなわち、シャッターボタンを押下）してから、実際に露光が開始されるまでに要する時間のことである。
　シャッタータイムラグ内訳は、オートフォーカス機構を有するカメラではその合焦に要する時間と、その他各種処理に要する時間（レリーズタイムラグと称される）との和である。また、レリーズタイムラグの内訳は、一眼レフカメラなどミラーが存在するカメラの場合はその跳ね上がりに要する時間、また決められた露出に従って絞り羽根を絞る動作に要する時間などが挙げられる。なお、シャッタータイムラグは、通常１００ミリ秒～数秒要するのに対し、レリーズタイムラグは１０～１３０ミリ秒程度であって、圧倒的にオートフォーカスに要する時間のほうが大きい。
　Ｆ－ＤＯＦ以外の方式（例えばＷＦＣやＣＡなど）の場合は、全焦点画像を得るのにオートフォーカス機構そのものが不要のため、合焦に要する時間を省略することができる。その結果、シャッタータイムラグを大幅に小さくできる。これに対してＦ－ＤＯＦを採用した撮像装置５００、６００の場合は、前述のとおり全焦点画像の撮影、通常のオートフォーカス撮影、及びマニュアルフォーカス撮影を行うことができる。その反面、露光中に、フォーカスレンズ２０もしくは撮像素子１を、奥側合焦端位置から手前側合焦端位置まで、またはその逆の方向に動かす必要がある。このため、露光開始前にフォーカスレンズ２０もしくは撮像素子１を初期位置、すなわち奥側合焦端位置もしくは手前側合焦端位置まで動かす必要がある。
　例えば、直前まで通常のオートフォーカス、もしくはマニュアルフォーカス撮影をしていて、あるフォーカス位置に焦点が合っている状態だったとする。その後、全焦点画像を撮影したい場合、上記のようにフォーカスレンズの初期化が必要なため、すぐに露光を開始できない。
　一般的に、ユーザにとってＥＤＯＦ技術は、全焦点画像の撮影による合焦ミスからの開放という価値を提供してくれるだけでなく、シャッタータイムラグの大幅な縮小、すなわち撮りたいと思った瞬間にすぐシャッターが切れるという利点の提供も、大きな価値の１つとなりうることは容易に推測される。しかしながら、Ｆ－ＤＯＦ方式の場合、従来の構成では上記のような手順で処理を行うことから、後者の利点が得られないという課題を有していた。
　なお、本課題は、従来の顕微鏡用途や携帯電話向け小型カメラ（オートフォーカス機構なし）には存在せず、デジタルスチルカメラ、またはこの構成に準じるカメラならではの課題である。
　本発明は、上記従来の課題を解決するもので、Ｆ－ＤＯＦにおいても、シャッタータイムラグの小さい撮像装置及び撮像方法を提供することを目的とする。
　本発明の一形態に係る撮像装置は、撮像素子と、前記撮像素子上に光を集光して、像を結像させるレンズと、ユーザから露光開始の指示を受け付けた時点における合焦位置である初期合焦位置を特定するための撮像素子とレンズとの位置関係を検出する初期合焦位置検出部と、露光時間中における合焦位置が、前記初期合焦位置検出部で検出された撮像素子とレンズとの位置関係によって特定される初期合焦位置から、予め定められた合焦範囲の最近端及び最遠端を少なくとも１回ずつ通って、再び初期合焦位置に戻るように、合焦位置の変位パターンを決定する変位パターン決定部と、前記変位パターン決定部で決定された変位パターンに基づいて、合焦位置を、露光開始と共に初期合焦位置から移動させ、露光終了と共に再び初期合焦位置に到達させるように、前記撮像素子及び前記レンズの一方を移動させる変位制御部とを備える。
　上記構成によれば、Ｆ－ＤＯＦ方式においても合焦位置の初期化に時間を要することがないため、シャッタータイムラグの大幅な縮小を実現できる。なお、最近端及び最遠端の通過順序は、どちらが先でも構わない。また、最近端及び最遠端の通過回数は、１回ずつに限定されず、複数回であってもよい。但し、最近端及び最遠端の通過回数は、一致していることが望ましい。
　さらに、該撮像装置は、撮像シーンに応じて露光時間を決定する露光時間決定部を備えてもよい。そして、前記変位パターン決定部は、露光時間中における前記変位パターンを何回実行させるかを示す往復回数を、前記露光時間決定部で決定された露光時間が長い程、増加させてもよい。これにより、露光時間が変わっても撮像素子又はレンズの変位速度が実質的に同一になるので、モータ等の駆動装置の負担が小さくなる。
　一例として、前記変位パターン決定部は、露光時間中における合焦位置が、初期合焦位置から、合焦範囲の最近端、合焦範囲の最遠端の順に通って、再度初期合焦位置に戻るように、合焦位置の変位パターンを決定してもよい。
　他の例として、前記変位パターン決定部は、露光時間中における合焦位置が、初期合焦位置から、合焦範囲の最遠端、合焦範囲の最近端の順に通って、再び初期合焦位置に戻るように、合焦位置の変位パターンを決定してもよい。
　上記の各構成によれば、最近端から最遠端の間で一定の露光量を保証することが可能となり、Ｆ－ＤＯＦによるＥＤＯＦ効果を持たせつつ、シャッタータイムラグの大幅な縮小を実現できる。
　一例として、前記変位制御部は、前記レンズを移動させることによって合焦位置を変位させてもよい。他の例として、前記変位制御部は、前記撮像素子を移動させることによって合焦位置を変位させてもよい。
　このように、合焦位置を変化させる具体的な手法の例として、レンズを移動させる手法と、撮像素子を移動させる手法とが考えられる。ここで、オートフォーカス機能を有する撮像装置においては、レンズを移動させる手法を採用することにより、レンズを移動させる機構をオートフォーカスと共有できる。
　さらに、該撮像装置は、復元用ＰＳＦ（Ｐｏｉｎｔ　Ｓｐｒｅａｄ　Ｆｕｎｃｔｉｏｎ）を予め記憶しておくＰＳＦ記憶部と、前記撮像素子により生成された撮像データに対して、前記復元用ＰＳＦを用いて画像復元処理を行う画像復元処理部と、前記画像復元処理部で復元された復元画像を記録する撮像データ記録部とを備えてもよい。
　本発明の一形態に係る撮像方法は、撮像素子と、前記撮像素子上に光を集光して、像を結像させるレンズとを備える撮像装置が画像を撮像する方法である。具体的には、ユーザから露光開始の指示を受け付けた時点における合焦位置である初期合焦位置を特定するための前記撮像素子と前記レンズとの位置関係を検出する初期合焦位置検出ステップと、露光時間中における合焦位置が、前記初期合焦位置検出ステップで検出された前記撮像素子と前記レンズとの位置関係によって特定される初期合焦位置から、予め定められた合焦範囲の最近端及び最遠端を少なくとも１回ずつ通って、再び初期合焦位置に戻るように、合焦位置の変位パターンを決定する変位パターン決定ステップと、前記変位パターン決定ステップで決定された変位パターンに基づいて、合焦位置を、露光開始と共に初期合焦位置から移動させ、露光終了と共に再び初期合焦位置に到達させるように、前記撮像素子及び前記レンズの一方を移動させる変位制御ステップとを含む。
　なお、本発明は、撮像装置及び撮像方法として実現できるだけでなく、撮像方法に含まれるステップをコンピュータに実行させるプログラムとして実現することもできるし、撮像装置の機能の一部を実現する半導体集積回路（ＬＳＩ）として実現できる。そして、プログラムは、ＣＤ－ＲＯＭ等の非一時的なコンピュータ読み取り可能な記録媒体、及びインターネット等の伝送媒体を介して流通させることができる。
　本発明によれば、撮像素子もしくはフォーカスレンズの露光中の変位方法を工夫することで、Ｆ－ＤＯＦ方式におけるシャッタータイムラグの大幅な縮小を実現する。
図１は、本発明の実施の形態１に係る撮像装置の概略構成を示すブロック図である。 図２は、図１の撮像装置の動作を示すフローチャートである。 図３は、本発明の実施の形態１に係る撮像装置の詳細構成を示すブロック図である。 図４は、本発明の実施の形態１に係る撮像装置の詳細構成を示すブロック図である。 図５は、被写体距離ｕと像面側距離ｖとの位置関係を定義した図である。 図６は、被写体距離ｕと像面側距離ｖとの関係の一例を示したグラフである。 図７は、フォーカスレンズもしくは撮像素子の変位パターンの一例を示した図である。 図８は、フォーカスレンズもしくは撮像素子の変位パターンの一例を示した図である。 図９は、フォーカスレンズもしくは撮像素子の変位パターンの一例を示した図である。 図１０は、フォーカスレンズもしくは撮像素子の変位パターンの一例を示した図である。 図１１は、本発明の実施の形態２に係る撮像装置の詳細構成を示すブロック図である。 図１２は、本発明の実施の形態２に係る撮像装置の詳細構成を示すブロック図である。 図１３は、従来の撮像装置のブロック図である。 図１４は、従来の撮像装置のブロック図である。 図１５は、従来のフォーカスレンズもしくは撮像素子変位パターンの一例を示した図である。 図１６は、シャッタータイムラグ及びレリーズタイムラグの関係を説明した図である。
　以下、本発明の各実施の形態について図面を参照しながら説明する。
　（実施の形態１）
　本発明の実施の形態１における撮像装置について、図１～１０を参照しながら説明する。
　まず、図１及び図２を参照して、本発明の実施の形態１に係る撮像装置１０００の構成及び動作を説明する。なお、図１は、撮像装置１０００の概略構成を示すブロック図である。図２は、撮像装置１０００の動作を示すフローチャートである。撮像装置１０００は、図１に示されるように、撮像素子１１０と、レンズ１２０と、初期合焦位置検出部１３０と、変位パターン決定部１４０と、変位制御部１５０とを備える。
　撮像素子１１０は、結像した画像を電気信号に変換して出力する。撮像素子１１０の具体例は特に限定されないが、例えば、ＣＣＤ（Ｃｈａｒｇｅ　Ｃｏｕｐｌｅｄ　Ｄｅｖｉｃｅ　Ｉｍａｇｅ　Ｓｅｎｓｏｒ）、又はＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ　Ｍｅｔａｌ　Ｏｘｉｄｅ　Ｓｅｍｉｃｏｎｄｕｃｔｏｒ　Ｉｍａｇｅ　Ｓｅｎｓｏｒ）等を採用することができる。
　レンズ１２０は、撮像素子１１０上に光を集光して、像を結像させる。レンズ１２０は、例えば、フォーカスレンズを含む複数のレンズで構成される。
　初期合焦位置検出部１３０は、ユーザから露光開始の指示を受け付けた時点における撮像装置１０００の合焦位置（「フォーカス位置」とも言う。以下同じ。）である初期合焦位置（「フォーカス初期位置」とも言う。以下同じ。）を検出する（Ｓ１１）。なお、合焦位置は、撮像素子１１０とレンズ１２０と位置関係（より具体的には、距離）によって定まる。すなわち、初期合焦位置検出部１３０は、実際には、初期合焦位置を特定するための撮像素子１１０とレンズ１２０との位置関係を検出する。
　変位パターン決定部１４０は、露光時間中における合焦位置が、初期合焦位置検出部１３０で検出された撮像素子１１０とレンズ１２０との位置関係によって特定される初期合焦位置から、予め定められた合焦範囲の最近端及び最遠端を少なくとも１回ずつ通って、再び初期合焦位置に戻るように、合焦位置の変位パターンを決定する（Ｓ１２）。
　なお、ここで決定される変位パターンは、合焦範囲の最近端及び最遠端のどちらを先に通過するものであってもよい。すなわち、露光時間中における合焦位置が、初期合焦位置から、合焦範囲の最近端、合焦範囲の最遠端の順に通って、再度初期合焦位置に戻るような変位パターンであってもよい。または、露光時間中における合焦位置が、初期合焦位置から、合焦範囲の最遠端、合焦範囲の最近端の順に通って、再び初期合焦位置に戻るような変位パターンであってもよい。
　さらに、変位パターン決定部１４０は、露光時間中に変位パターンを何回実行させるかを示す往復回数を決定する。そして、変位パターン決定部１４０は、後述する露光時間決定部で決定された露光時間が長い程、この往復回数を増加させる。例えば、露光時間が１０ｍｓの時に往復回数を１回とした場合、露光時間が２０ｍｓの時には往復回数を２回にする。これにより、露光時間が変わっても撮像素子１１０又はレンズ１２０の変位速度が実質的に同一になるので、モータ等の駆動装置の負担が小さくなる。
　変位制御部１５０は、変位パターン決定部１４０で決定された変位パターンに基づいて合焦位置を変化させるために、撮像素子１１０及びレンズ１２０の一方を移動させることによって、両者の間の距離（相対位置）を変化させる（Ｓ１３）。具体的には、変位制御部１５０は、露光開始と共に（同時に）合焦位置を初期合焦位置から移動させ、露光終了と共に（同時に）合焦位置が再び初期合焦位置に到達するように、撮像素子１１０及びレンズ１２０の一方を移動させる。
　なお、「露光開始（露光終了）と同時に」とは、厳密な同時性を要求するものではなく、制御信号を受信してから駆動装置が駆動するまでのタイムラグ等の誤差は許容されるものとする。また、変位制御部１５０は、撮像素子１１０を移動させることによって合焦位置を変位させてもよいし、レンズ１２０を移動させることによって合焦位置を変位させてもよい。
　図３は、本実施の形態１に係る撮像装置１００の詳細構成を示す図である。図３に示される撮像装置１００は、撮像素子１と、レンズ２と、フォーカスレンズ２０と、シャッター３と、フォーカスレンズ変位制御部４と、シャッター開閉指示部５と、レリーズ受付部６と、フォーカスレンズ初期位置検出部７と、露光時間決定部８と、フォーカスレンズ変位パターン決定部９と、露光・フォーカス変位同期管理部１０と、画像復元処理部１１と、ＰＳＦ記憶部１２と、撮像データ記録部１３とを備える。
　なお、図１の撮像素子１１０は図３の撮像素子１に、レンズ１２０はレンズ２に、初期合焦位置検出部１３０はフォーカスレンズ初期位置検出部７に、変位パターン決定部１４０はフォーカスレンズ変位パターン決定部９に、変位制御部１５０はフォーカスレンズ変位制御部４に、それぞれ対応する。
　図４は、本実施の形態１における撮像装置２００の詳細構成を示す図である。その構成と作用は、画像復元処理部１１及びＰＳＦ記憶部１２が省略されていることを除いて、図３に準じる。撮像装置２００は、図３に示される撮像装置１００と比較して、露光により得られた画像を直接撮像データ記録部１３へ記録するのが特徴である。これは、画像復元処理を撮像装置２００内ではなく、その後別の装置、例えばパーソナルコンピュータ、画像ビューワ、ネットワークサーバ等にて実現することを意図したものである。その他の構成は図３の撮像装置１００と共通するので、以下、撮像装置１００の構成及び動作を中心に説明する。
　上記構成の撮像装置１００において、シャッター３が開状態のとき、レンズ２で撮像素子１に被写体の光学像を結像させると、結像した光学像は、撮像素子１によって電気信号に変換される。なお、通常、光学像を結像させる際に、所望の被写体に対して合焦させるため、レンズ２は、フォーカスレンズ２０とその他のレンズ群により構成される。また、フォーカスレンズ２０は、複数枚のレンズで構成されていてもよい。
　レリーズ受付部６がユーザから露光開始指示を受け付けると、フォーカスレンズ初期位置検出部７は、フォーカスレンズ２０のそのときの合焦位置（初期合焦位置）を検出する。
　露光時間決定部８は、シャッター速度（露光時間）及び絞り値などの撮影パラメータを決定する。露光時間は、例えば、明るいときは露光時間を短く、暗いときは露光時間を長くする等、周囲の明るさに応じて露光時間決定部８が決定してもよいし、ユーザの指示（動きの速い被写体を撮影する、又は風景を撮影する等）を受け付けて、決定してもよい。
　フォーカスレンズ変位パターン決定部９は、フォーカスレンズ初期位置検出部７で検出されたフォーカスレンズ初期位置情報と、露光時間決定部８で決定された露光時間情報から、例えば図７～図１０に示すようなフォーカス変位パターンを決定する。そして、フォーカスレンズ変位パターン決定部９は、このフォーカス変位パターンに準じるフォーカスレンズ２０の変位パターンを決定し、露光・フォーカス変位同期管理部１０にその変位パターンを通知する。
　露光・フォーカス変位同期管理部１０は、その変位パターンに基づき、フォーカスレンズ変位制御部４とシャッター開閉指示部５とに対し、露光開始及び露光終了の同期管理を行う。すなわち、露光・フォーカス変位同期管理部１０は、露光開始の指示をシャッター開閉指示部５に出力するのと同時に、フォーカスレンズ変位パターン決定部９で決定された変位パターンに基づいて、露光時間内にフォーカスレンズ２０を変位させるように、フォーカスレンズ変位制御部４に指示する。
　シャッター開閉指示部５は、露光開始指示が出されるとすぐに、シャッター３が開くよう制御を行う。また、所定の露光時間経過後、露光・フォーカス変位同期管理部１０は、シャッター開閉指示部５へ露光終了を指示する。シャッター開閉指示部５は、露光終了指示が出されるとすぐに、シャッター３が閉まるよう制御を行う。また、フォーカスレンズ変位制御部４は、フォーカスレンズ変位パターン決定部９で決定された変位パターンに基づいて、合焦位置を、露光開始と共にフォーカス初期位置から移動させ、露光終了と共に再びフォーカス初期位置に到達させるように、フォーカスレンズ２０を移動させる。
　上記手順にて撮像素子１上に被写体の光学像を結像させると、結像した光学像は、撮像素子１によって電気信号（画像信号）に変換され、画像復元処理部１１へ画像信号が移される。同時に、露光・フォーカス変位同期管理部１０から画像復元処理部１１へ、露光が終了したこととＦ－ＤＯＦによるフォーカス変位方式の撮影が行われたこととが通知される。
　画像復元処理部１１は、画像信号を受領後、ＰＳＦ記憶部１２から復元のためのＰＳＦデータを読み出し、画像復元処理を行う。具体的には、フォーカス変位によるボケパターンを予め測定もしくはシミュレーションで求めておき、これをＰＳＦデータとしてＰＳＦ記憶部１２は保持しておく。また、画像復元の方法は、Ｗｉｅｎｅｒ　Ｆｉｌｔｅｒ、Ｌｕｃｙ－Ｒｉｃｈａｒｄｓｏｎなどの様々な手法が知られているが、どの手法を用いてもよい。そして、画像復元処理部１１は、復元した画像信号を撮像データとして撮像データ記録部１３に記録する。
　図５に示すように、被写体とレンズ２との間の距離を被写体距離ｕ、レンズ２と撮像素子１との間の距離を像面側距離ｖとし、焦点距離をｆとすると、一般的にレンズの公式より、式１の関係が成立する。
Figure JPOXMLDOC01-appb-M000001
　また、レンズが複数枚存在するときは、レンズ主点位置で考慮する。一例として、ｆが１８［ｍｍ］のときの被写体距離ｕと像面側距離ｖとの関係を図６に示す。フォーカスレンズ２０が変位することで、レンズ主点と撮像素子との間の距離である像面側距離ｖが変位する。ここで、撮像素子面で等速にフォーカス位置が変位するよう、フォーカスレンズ２０に対して変位制御指示するとは、この像面側距離ｖの変化速度が一定であることを意味する。
　なお、図６に示すように、像面側距離ｖが等速度で変位しても、被写体側の焦点面とレンズ主点との間の距離である被写体距離ｕが等速度で変位するわけではない。また、図７～図１０の縦軸は像面側距離ｖである。このため、露光時間と被写体距離ｕとの関係は、露光時間と像面側距離ｖとの関係に対して、大小が逆の関係になることに注意が必要である。
　すなわち、被写体距離ｕ側での最近端及び最遠端は、像面側では大小が入れ替わって、最遠端及び最近端になることになる。
　図７は、フォーカス初期位置から被写体側でいう最近端へフォーカス位置を変位させ、最近端に到達した後、ただちに折り返して最遠端へと変位させる。最遠端へ到達したあと、再度ただちに折り返して、フォーカス初期位置まで変位させる。変位時の速度は原則一定の速度とし、露光時間決定部８にて定められた露光時間で１往復するように、この変位速度を定めるものとする。
　原則一定の速度とするのは、一律の復元用ＰＳＦで画像復元処理を行うためには、被写体距離方向に対して均一なボケとなるようにすることが必要だからである。均一なボケを得るためには、像面側の変位を一定にし、最近端から最遠端までの露光量を一定にする必要がある。
　図８は、図７の変位パターンを露光時間内に３往復させる場合を示している。このように、整数回往復させても、最近端から最遠端までの露光量を一定にすることができる。
　図９は、図７の変位パターンとは逆向きに変位する変位パターンの例を示している。フォーカス初期位置から被写体側でいう最遠端へフォーカス位置を変位させ、最遠端に到達した後、ただちに折り返して最近端へと変位させる。最近端へ到達したあと、再度ただちに折り返して、フォーカス初期位置まで変位させる。変位時の速度は原則一定の速度とし、露光時間決定部８にて定められた露光時間で１往復するように、この変位速度を定めるものとする。このように、最近端及び最遠端の順序を逆にしても、最近端から最遠端までの露光量を一定にすることができる。
　図１０は、図９の変位パターンを露光時間内に３往復させる場合を示している。このように、逆の変位パターンを整数回往復させても、最近端から最遠端までの露光量を一定にすることができる。
　ただし、従来の変位パターンである図１５や本願の実施の形態１に係る変位パターンである図７～１０のように、一定速度で変位した場合、実は最近端及び最遠端の露光量は、中心部の露光量と比較して、厳密には一定にならない。一般的なレンズのもつデフォーカスパターンを見ればわかるように、合焦位置で最も鮮明な像が得られる一方で、その前後では、その距離が大きくなるほど鮮明度が徐々に落ちていくパターンをもつことが知られている。
　最近端及び最遠端では、変位を打ち切ってしまうことで、変位のなくなった側からのデフォーカスパターンによる、鮮明度の貢献が得られない。その結果、最近端及び最遠端での鮮明度は、中心部の鮮明度よりもやや落ちる。これを補償するため、最近端及び最遠端での変位速度を、中心部での変位速度と比較して落とすような制御を行ってもよい。この場合、整数回往復変位する時間が、露光時間と合うように留意する必要がある。
　このような構成の撮像装置１００、２００が、上記のような制御を行うことで、Ｆ－ＤＯＦ方式の持つ、高画質性、ＥＤＯＦ効果の大きさ、ＥＤＯＦ範囲の任意設定性、ＥＤＯＦ撮影と通常撮影の切り替え容易性などを保持しつつ、シャッタータイムラグの大幅な縮小を実現することができる。
　（実施の形態２）
　本発明の実施の形態２における撮像装置について、図１１及び図１２を参照しながら説明する。
　図１１は、本実施の形態２における撮像装置３００の詳細構成を示す図である。図１１に示される撮像装置３００は、撮像素子１と、シャッター３と、シャッター開閉指示部５と、レリーズ受付部６と、露光時間決定部８と、は画像復元処理部１１と、ＰＳＦ記憶部１２と、撮像データ記録部１３と、撮像素子初期位置検出部１４と、撮像素子変位パターン決定部１５と、露光・撮像素子変位同期管理部１６と、撮像素子変位制御部１７とを備える。
　なお、図１の撮像素子１１０は図１１の撮像素子１に、レンズ１２０はレンズ２に、初期合焦位置検出部１３０は撮像素子初期位置検出部１４に、変位パターン決定部１４０は撮像素子変位パターン決定部１５に、変位制御部１５０は撮像素子変位制御部１７に、それぞれ対応する。また、図示は省略するが、撮像装置３００は、フォーカスレンズ２０を含むレンズ２をも備えている。
　上記構成の撮像装置３００において、レリーズ受付部６がユーザから露光開始指示を受け付けると、撮像素子初期位置検出部１４は、撮像素子１のそのときの位置（初期位置）を検出する。
　露光時間決定部８は、シャッター速度及び絞り値などの撮影パラメータを決定する。露光時間は、例えば、明るいときは露光時間を短く、暗いときは露光時間を長くする等、周囲の明るさに応じて露光時間決定部８が決定してもよいし、ユーザの指示（動きの速い被写体を撮影する、又は風景を撮影する等）を受け付けて、決定してもよい。
　露光・撮像素子変位同期管理部１６は、露光開始の指示を、撮像素子変位制御部１７とシャッター開閉指示部５とに対して、露光開始及び露光終了の同期管理を行う。すなわち、露光・フォーカス変位同期管理部１０は、露光開始の指示をシャッター開閉指示部５に出力するのと同時に、撮像素子変位パターン決定部１５で決定された変位パターンに基づいて、露光時間内に撮像素子１を変位させるように、撮像素子変位制御部１７に指示する。
　なお、撮像素子１の変位速度は等速とする。シャッター開閉指示部５は、露光開始指示が出されるとすぐに、シャッター３が開くよう制御を行う。また、所定の露光時間経過後、露光・撮像素子変位同期管理部１６は、シャッター開閉指示部５へ露光終了を指示する。シャッター開閉指示部５は、露光終了指示が出されるとすぐに、シャッター３が閉まるよう制御を行う。また、撮像素子変位制御部１７は、撮像素子変位パターン決定部１５で決定された変位パターンに基づいて、合焦位置を、露光開始と共にフォーカス初期位置から移動させ、露光終了と共に再びフォーカス初期位置に到達させるように、撮像素子１を移動させる。
　上記手順にて撮像素子１に被写体の光学像を結像させると、結像した光学像は、撮像素子１によって電気信号（画像信号）に変換され、画像復元処理部１１へ画像信号が移される。同時に、露光・撮像素子変位同期管理部１６から画像復元処理部１１へ、露光が終了したこととＦ－ＤＯＦによる撮像素子変位方式の撮影が行われたこととが通知される。これ以外の構成は、図３のフォーカスレンズ２０を変位させる場合に準じる。
　図１２は、本実施の形態２における撮像装置４００の詳細構成を示す図である。撮像装置４００の構成と作用は、画像復元処理部１１及びＰＳＦ記憶部１２が省略されていることを除いて、図１１に準じる。撮像装置４００は、図１１に示される撮像装置３００と比較して、露光により得られた画像を直接撮像データ記録部１３へ記録するのが特徴である。これは、画像復元処理を撮像装置４００内ではなく、その後別の装置、例えばパーソナルコンピュータ、画像ビューワ、ネットワークサーバ等にて実現することを意図したものである。
　撮像素子変位パターン決定部１５は、撮像素子初期位置検出部１４で検出された撮像素子初期位置情報と、露光時間決定部８で決定された露光時間情報とから、例えば、図７～１０に示すようなフォーカス変位パターンを決定する。そして、撮像素子変位パターン決定部１５は、このフォーカス変位パターンに準じる撮像素子１の変位パターンを決定し、露光・フォーカス変位同期管理部１０へその変位パターンを通知する。
　なお、撮像素子１を変位させる場合、図５から明らかなように、レンズ２の位置を変位させなければ、フォーカス変位パターンは撮像素子１自身の変位パターンそのものとなる。露光・撮像素子変位同期管理部１６は、その変位パターンに基づき、撮像素子変位制御部１７とシャッター開閉指示部５とに対し、露光開始及び露光終了の同期管理を行う。
　撮像素子１の変位パターンについては、実施の形態１に示した図７～図１０のパターンに準じる。撮像素子１そのものが変位する構成が実施の形態１との差異であり、変位パターンについては共通である。
　このような構成の撮像装置３００、４００が、上記のような制御を行うことで、Ｆ－ＤＯＦ方式の持つ、高画質性、ＥＤＯＦ効果の大きさ、ＥＤＯＦ範囲の任意設定性、ＥＤＯＦ撮影と通常撮影の切り替え容易性などを保持しつつ、シャッタータイムラグの大幅な縮小を実現することができる。
　以上、本発明の実施の形態に係る撮像装置について説明したが、本発明は、この実施の形態に限定されるものではない。
　また、上記実施の形態に係る撮像装置に含まれる複数の処理部のうち少なくとも一部は集積回路であるＬＳＩとして実現される。これらは個別に１チップ化されてもよいし、一部又は全てを含むように１チップ化されてもよい。
　また、集積回路化はＬＳＩに限るものではなく、専用回路又は汎用プロセッサで実現してもよい。ＬＳＩ製造後にプログラムすることが可能なＦＰＧＡ（Ｆｉｅｌｄ　Ｐｒｏｇｒａｍｍａｂｌｅ　Ｇａｔｅ　Ａｒｒａｙ）、又はＬＳＩ内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサを利用してもよい。
　また、本発明の実施の形態に係る撮像装置の機能の一部を、ＣＰＵ等のプロセッサがプログラムを実行することにより実現してもよい。
　さらに、本発明は上記プログラムであってもよいし、上記プログラムが記録された非一時的なコンピュータ読み取り可能な記録媒体であってもよい。また、上記プログラムは、インターネット等の伝送媒体を介して流通させることができるのは言うまでもない。
　また、上記実施の形態に係る、撮像装置、及びその変形例の機能のうち少なくとも一部を組み合わせてもよい。
　また、上記で用いた数字は、全て本発明を具体的に説明するために例示するものであり、本発明は例示された数字に制限されない。
　更に、本発明の主旨を逸脱しない限り、本実施の形態に対して当業者が思いつく範囲内の変更を施した各種変形例も本発明に含まれる。
　本発明にかかる撮像装置および撮像方法は、撮像素子もしくはフォーカスレンズの露光中の動かし方を工夫することで、Ｆ－ＤＯＦ方式の欠点である、シャッタータイムラグの大幅な縮小を実現できる。
　これらの構成は、例えば民生用もしくは業務用撮像装置（デジタルスチルカメラ）などの分野において有用である。
　１，１１０　　撮像素子
　２，１２０　　レンズ
　２０　　フォーカスレンズ
　３　　シャッター
　４　　フォーカスレンズ変位制御部
　５　　シャッター開閉指示部
　６　　レリーズ受付部
　７　　フォーカスレンズ初期位置検出部
　８　　露光時間決定部
　９　　フォーカスレンズ変位パターン決定部
　１０　　露光・フォーカス変位同期管理部
　１１　　画像復元処理部
　１２　　ＰＳＦ記憶部
　１３　　撮像データ記録部
　１４　　撮像素子初期位置検出部
　１５　　撮像素子変位パターン決定部
　１６　　露光・撮像素子変位同期管理部
　１７　　撮像素子変位制御部
　１８　　フォーカスレンズ位置初期化部
　１９　　撮像素子位置初期化部
　１００，２００，３００，４００，５００，６００，１０００　撮像装置
　１３０　　初期合焦位置検出部
　１４０　　変位パターン決定部
　１５０　　変位制御部
 

Claims (8)

  1. 　撮像装置であって、
    　撮像素子と、
    　前記撮像素子上に光を集光して、像を結像させるレンズと、
    　ユーザから露光開始の指示を受け付けた時点における合焦位置である初期合焦位置を特定するための前記撮像素子と前記レンズとの位置関係を検出する初期合焦位置検出部と、
    　露光時間中における合焦位置が、前記初期合焦位置検出部で検出された前記撮像素子と前記レンズとの位置関係によって特定される初期合焦位置から、予め定められた合焦範囲の最近端及び最遠端を少なくとも１回ずつ通って、再び初期合焦位置に戻るように、合焦位置の変位パターンを決定する変位パターン決定部と、
    　前記変位パターン決定部で決定された変位パターンに基づいて、合焦位置を、露光開始と共に初期合焦位置から移動させ、露光終了と共に再び初期合焦位置に到達させるように、前記撮像素子及び前記レンズの一方を移動させる変位制御部とを備える
    　撮像装置。
  2. 　該撮像装置は、さらに、撮像シーンに応じて露光時間を決定する露光時間決定部を備え、
    　前記変位パターン決定部は、露光時間中における前記変位パターンを何回実行させるかを示す往復回数を、前記露光時間決定部で決定された露光時間が長い程、増加させる
    　請求項１に記載の撮像装置。
  3. 　前記変位パターン決定部は、露光時間中における合焦位置が、初期合焦位置から、合焦範囲の最近端、合焦範囲の最遠端の順に通って、再度初期合焦位置に戻るように、合焦位置の変位パターンを決定する
    　請求項１又は２に記載の撮像装置。
  4. 　前記変位パターン決定部は、露光時間中における合焦位置が、初期合焦位置から、合焦範囲の最遠端、合焦範囲の最近端の順に通って、再び初期合焦位置に戻るように、合焦位置の変位パターンを決定する
    　請求項１又は２に記載の撮像装置。
  5. 　前記変位制御部は、前記レンズを移動させることによって合焦位置を変位させる
    　請求項１～４のいずれか１項に記載の撮像装置。
  6. 　前記変位制御部は、前記撮像素子を移動させることによって合焦位置を変位させる
    　請求項１～４のいずれか１項に記載の撮像装置。
  7. 　該撮像装置は、さらに、
    　復元用ＰＳＦ（Ｐｏｉｎｔ　Ｓｐｒｅａｄ　Ｆｕｎｃｔｉｏｎ）を予め記憶しておくＰＳＦ記憶部と、
    　前記撮像素子により生成された撮像データに対して、前記復元用ＰＳＦを用いて画像復元処理を行う画像復元処理部と、
    　前記画像復元処理部で復元された復元画像を記録する撮像データ記録部とを備える
    　請求項１～６のいずれか１項に記載の撮像装置。
  8. 　撮像素子と、前記撮像素子上に光を集光して、像を結像させるレンズとを備える撮像装置が画像を撮像する撮像方法であって、
    　ユーザから露光開始の指示を受け付けた時点における合焦位置である初期合焦位置を特定するための前記撮像素子と前記レンズとの位置関係を検出する初期合焦位置検出ステップと、
    　露光時間中における合焦位置が、前記初期合焦位置検出ステップで検出された前記撮像素子と前記レンズとの位置関係によって特定される初期合焦位置から、予め定められた合焦範囲の最近端及び最遠端を少なくとも１回ずつ通って、再び初期合焦位置に戻るように、合焦位置の変位パターンを決定する変位パターン決定ステップと、
    　前記変位パターン決定ステップで決定された変位パターンに基づいて、合焦位置を、露光開始と共に初期合焦位置から移動させ、露光終了と共に再び初期合焦位置に到達させるように、前記撮像素子及び前記レンズの一方を移動させる変位制御ステップとを含む
    　撮像方法。
     
PCT/JP2010/007061 2009-12-07 2010-12-03 撮像装置および撮像方法 WO2011070757A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
US13/147,886 US8412036B2 (en) 2009-12-07 2010-12-03 Imaging apparatus and method of controlling the apparatus
JP2011545076A JP5588461B2 (ja) 2009-12-07 2010-12-03 撮像装置および撮像方法
EP10835683.3A EP2511747B1 (en) 2009-12-07 2010-12-03 Imaging device and imaging method
CN201080006774.5A CN102308242B (zh) 2009-12-07 2010-12-03 摄像装置以及拍摄方法

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2009277639 2009-12-07
JP2009-277639 2009-12-07

Publications (1)

Publication Number Publication Date
WO2011070757A1 true WO2011070757A1 (ja) 2011-06-16

Family

ID=44145319

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2010/007061 WO2011070757A1 (ja) 2009-12-07 2010-12-03 撮像装置および撮像方法

Country Status (5)

Country Link
US (1) US8412036B2 (ja)
EP (1) EP2511747B1 (ja)
JP (1) JP5588461B2 (ja)
CN (1) CN102308242B (ja)
WO (1) WO2011070757A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013141192A (ja) * 2011-12-07 2013-07-18 Fujitsu Ltd 被写界深度拡張システム及び被写界深度拡張方法
US20130314586A1 (en) * 2011-03-02 2013-11-28 Panasonic Corporation Imaging device, semiconductor integrated circuit, and imaging method

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2511747B1 (en) * 2009-12-07 2017-11-08 Panasonic Corporation Imaging device and imaging method
EP2688284B1 (en) * 2011-03-14 2017-10-25 Panasonic Corporation Imaging device, imaging method, integrated circuit, and computer program
JP5847728B2 (ja) * 2011-04-15 2016-01-27 パナソニック株式会社 撮像装置、半導体集積回路および撮像方法
US8890996B2 (en) * 2012-05-17 2014-11-18 Panasonic Corporation Imaging device, semiconductor integrated circuit and imaging method
US9191578B2 (en) * 2012-06-29 2015-11-17 Broadcom Corporation Enhanced image processing with lens motion
US9264630B2 (en) * 2013-01-04 2016-02-16 Nokia Technologies Oy Method and apparatus for creating exposure effects using an optical image stabilizing device
US9897776B2 (en) 2013-03-15 2018-02-20 Nokia Technologies Oy Apparatus, method and computer program for capturing images
US9485414B2 (en) * 2014-06-20 2016-11-01 John Visosky Eye contact enabling device for video conferencing
JP5893713B1 (ja) * 2014-11-04 2016-03-23 オリンパス株式会社 撮像装置、撮像方法、処理プログラム
CN105491280A (zh) * 2015-11-23 2016-04-13 英华达（上海）科技有限公司 机器视觉中进行图像采集的方法及装置
CN113406764B (zh) * 2021-07-13 2022-01-28 广东弘景光电科技股份有限公司 光学镜头镜片调芯方法及系统
CN114205523A (zh) * 2021-11-18 2022-03-18 苏州长风航空电子有限公司 一种光电转台监控图像控制方法

Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE2301800A1 (de) 1973-01-15 1974-10-10 Leitz Ernst Gmbh Verfahren zur erweiterung des schaerfentiefebereiches bei der optischen und elektronenmikroskopischen abbildung
JPH0527084B2 (ja) 1983-05-13 1993-04-20 Shimadzu Corp
JP3084130B2 (ja) 1992-05-12 2000-09-04 オリンパス光学工業株式会社 画像入力装置
JP3191928B2 (ja) 1988-02-23 2001-07-23 オリンパス光学工業株式会社 画像入出力装置
JP2003259194A (ja) * 2002-03-06 2003-09-12 Tamron Co Ltd 画像安定化装置
JP2007286118A (ja) * 2006-04-12 2007-11-01 Canon Inc 撮像装置及びその制御方法
US20080013941A1 (en) 2006-07-14 2008-01-17 Micron Technology, Inc. Method and apparatus for increasing depth of field for an imager
JP2008166947A (ja) * 2006-12-27 2008-07-17 Eastman Kodak Co 撮像装置
JP2009010521A (ja) * 2007-06-26 2009-01-15 Olympus Imaging Corp 撮像装置
JP2009098351A (ja) * 2007-10-16 2009-05-07 Fujifilm Corp 撮影方法及び装置
JP2009139867A (ja) * 2007-12-10 2009-06-25 Samsung Techwin Co Ltd 撮像装置および撮像方法
JP2009213032A (ja) * 2008-03-06 2009-09-17 Renesas Technology Corp ワイド・ダイナミック・レンジ画像生成処理装置

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE3905619C2 (de) 1988-02-23 2000-04-13 Olympus Optical Co Bildeingabe-/Ausgabevorrichtung
DE3931934C2 (de) 1988-10-03 1994-11-10 Olympus Optical Co Bild-Ein/Ausgabevorrichtung
US5237363A (en) * 1989-08-31 1993-08-17 Minolta Camera Kabushiki Kaisha Camera system with lens movable in vertical direction to optical axis of photo-taking lens
JPH0498230A (ja) * 1990-08-17 1992-03-30 Olympus Optical Co Ltd 撮影倍率設定モードを有するカメラ
JPH0527084A (ja) 1991-07-25 1993-02-05 Toshiba Eng & Constr Co Ltd 燃料集合体のチヤンネルボツクス載置確認装置
US5253007A (en) * 1991-08-30 1993-10-12 Canon Kabushiki Kaisha Camera having special photography function
JPH05249364A (ja) * 1992-03-06 1993-09-28 Canon Inc カメラ及びズ−ムレンズ
GB2271646B (en) * 1992-10-19 1996-12-04 Asahi Optical Co Ltd An optical camera and a method of conducting a focusing operation therein
JP2004153497A (ja) 2002-10-30 2004-05-27 Kyocera Corp ディジタルカメラの自動露出制御システム
US7493030B2 (en) * 2005-06-24 2009-02-17 Nokia Corporation Adaptive optical plane formation with rolling shutter
CN101191980B (zh) * 2006-11-27 2010-09-01 亚洲光学股份有限公司 自动对焦方法
JP2009031760A (ja) * 2007-07-04 2009-02-12 Sanyo Electric Co Ltd 撮像装置及びオートフォーカス制御方法
JP2009086017A (ja) * 2007-09-27 2009-04-23 Kyocera Corp 撮像装置および撮像方法
WO2009120718A1 (en) * 2008-03-24 2009-10-01 The Trustees Of Columbia University In The City Of New York Methods, systems, and media for controlling depth of field in images
JP5367094B2 (ja) * 2009-12-07 2013-12-11 パナソニック株式会社 撮像装置及びその制御方法
EP2511747B1 (en) * 2009-12-07 2017-11-08 Panasonic Corporation Imaging device and imaging method
WO2011096237A1 (ja) * 2010-02-08 2011-08-11 パナソニック株式会社 撮像装置

Patent Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE2301800A1 (de) 1973-01-15 1974-10-10 Leitz Ernst Gmbh Verfahren zur erweiterung des schaerfentiefebereiches bei der optischen und elektronenmikroskopischen abbildung
JPH0527084B2 (ja) 1983-05-13 1993-04-20 Shimadzu Corp
JP3191928B2 (ja) 1988-02-23 2001-07-23 オリンパス光学工業株式会社 画像入出力装置
JP3084130B2 (ja) 1992-05-12 2000-09-04 オリンパス光学工業株式会社 画像入力装置
JP2003259194A (ja) * 2002-03-06 2003-09-12 Tamron Co Ltd 画像安定化装置
JP2007286118A (ja) * 2006-04-12 2007-11-01 Canon Inc 撮像装置及びその制御方法
US20080013941A1 (en) 2006-07-14 2008-01-17 Micron Technology, Inc. Method and apparatus for increasing depth of field for an imager
JP2008166947A (ja) * 2006-12-27 2008-07-17 Eastman Kodak Co 撮像装置
JP2009010521A (ja) * 2007-06-26 2009-01-15 Olympus Imaging Corp 撮像装置
JP2009098351A (ja) * 2007-10-16 2009-05-07 Fujifilm Corp 撮影方法及び装置
JP2009139867A (ja) * 2007-12-10 2009-06-25 Samsung Techwin Co Ltd 撮像装置および撮像方法
JP2009213032A (ja) * 2008-03-06 2009-09-17 Renesas Technology Corp ワイド・ダイナミック・レンジ画像生成処理装置

Non-Patent Citations (8)

* Cited by examiner, † Cited by third party
Title
A. LEVIN, R. FERGUS, F. DURAND, W. T. FREEMAN: "Image and Depth from a Conventional Camera with a Coded Aperture", ACM TRANSACTIONS ON GRAPHICS, vol. 26, no. 3, 2007, pages 70 - 1,70-9
C. TISSE, H. P. NGUYEN, R. TESIERES, M. PYANET, F. GUICHARD: "Extended Depth-of-field (EDOF) using sharpness transport across color channels", OPTICAL ENGINEERING + APPLICATIONS, PART OF SPIE OPTICS + PHOTONICS, SESSION 1 -IMAGING IN THE OPTICAL DESIGN PROCESS: DEPTH OF FIELD, 2008
E. R. DOWSKI, W. T. CATHEY: "Extended depth of field through wave-front coding", APPLIED OPTICS, vol. 34, no. 11, 1995, pages 1859 - 1866, XP002518082, DOI: doi:10.1364/AO.34.001859
H. NAGAHARA, S. KUTHIRUMMAL, C. ZHOU, S. NAYAR: "Flexible Depth of Field Photography", EUROPEAN CONFERENCE ON COMPUTER VISION (ECCV, 16 October 2008 (2008-10-16)
See also references of EP2511747A4
W. CHI, N. GEORGE: "Computational imaging with the logarithmic asphere: theory", OPTICAL SOCIETY OF AMERICA, vol. 20, no. 12, December 2003 (2003-12-01), XP055059195, DOI: doi:10.1364/JOSAA.20.002260
Y. TAKAHASHI, R. OBANA, S. KOMATSU: "Optimized phase mask for wave-front coding: Extended DOF in off axis field", OPTICS AND PHOTONICS JAPAN, 2007, pages 464 - 465
Y. TAKAHASHI, S. KOMATSU: "Optimized free-form phase mask for extension of depth of field in wavefront-coded imaging", OPTICAL SOCIETY OF AMERICA, OPTICS LETTERS, vol. 33, no. 13, 1 July 2003 (2003-07-01)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130314586A1 (en) * 2011-03-02 2013-11-28 Panasonic Corporation Imaging device, semiconductor integrated circuit, and imaging method
US9083880B2 (en) * 2011-03-02 2015-07-14 Panasonic Corporation Imaging device, semiconductor integrated circuit, and imaging method
JP2013141192A (ja) * 2011-12-07 2013-07-18 Fujitsu Ltd 被写界深度拡張システム及び被写界深度拡張方法

Also Published As

Publication number Publication date
CN102308242A (zh) 2012-01-04
JPWO2011070757A1 (ja) 2013-04-22
JP5588461B2 (ja) 2014-09-10
EP2511747B1 (en) 2017-11-08
CN102308242B (zh) 2014-08-20
EP2511747A4 (en) 2014-11-05
EP2511747A1 (en) 2012-10-17
US8412036B2 (en) 2013-04-02
US20110292364A1 (en) 2011-12-01

Similar Documents

Publication Publication Date Title
JP5588461B2 (ja) 撮像装置および撮像方法
JP5367094B2 (ja) 撮像装置及びその制御方法
JP5911531B2 (ja) 光学機器
JP4794963B2 (ja) 撮像装置および撮像プログラム
JP2007096753A (ja) デジタルカメラ
JP5882898B2 (ja) 撮像装置、撮像方法、集積回路、コンピュータプログラム
US20110164868A1 (en) Method and apparatus for applying multi-autofocusing (af) using contrast af
JP2002258147A (ja) 撮像装置、焦点調整方法および記憶媒体
WO2012105222A1 (ja) 画像復元装置、撮像装置及び画像復元方法
JP2010026120A (ja) カメラシステム及びアダプタ
WO2017154366A1 (ja) ローパスフィルタ制御装置、およびローパスフィルタ制御方法、ならびに撮像装置
JP6218385B2 (ja) 交換レンズ及び撮像装置
JP2010145495A (ja) カメラシステム
JP2009092961A (ja) 合焦位置制御装置、及び合焦位置制御方法、合焦位置制御プログラム
JP2014142497A (ja) 撮像装置及びその制御方法
JP2017207702A (ja) 焦点検出装置及び焦点検出方法
JP2007213047A (ja) 焦点調節装置、光学機器および焦点調節方法
JP2004086018A (ja) カメラ
JP5438496B2 (ja) 撮像装置及びその制御方法、プログラム
JP5773659B2 (ja) 撮像装置および制御方法
WO2024058029A1 (ja) 撮像装置、情報処理装置及びプログラム
WO2014136703A1 (ja) 撮像装置及び画像表示方法
JP3841241B2 (ja) カメラのピント調整方法
JP6429485B2 (ja) 撮像装置、通信制御方法および撮像システム
JP2014179782A (ja) 撮像装置及び画像表示方法

Legal Events

Date Code Title Description
WWE Wipo information: entry into national phase

Ref document number: 201080006774.5

Country of ref document: CN

ENP Entry into the national phase

Ref document number: 2011545076

Country of ref document: JP

Kind code of ref document: A

REEP Request for entry into the european phase

Ref document number: 2010835683

Country of ref document: EP

WWE Wipo information: entry into national phase

Ref document number: 13147886

Country of ref document: US

Ref document number: 2010835683

Country of ref document: EP

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 10835683

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE