WO2012117733A1 - 撮像装置、半導体集積回路および撮像方法 - Google Patents

撮像装置、半導体集積回路および撮像方法 Download PDF

Info

Publication number
WO2012117733A1
WO2012117733A1 PCT/JP2012/001411 JP2012001411W WO2012117733A1 WO 2012117733 A1 WO2012117733 A1 WO 2012117733A1 JP 2012001411 W JP2012001411 W JP 2012001411W WO 2012117733 A1 WO2012117733 A1 WO 2012117733A1
Authority
WO
WIPO (PCT)
Prior art keywords
focus lens
imaging
image sensor
displacement
image
Prior art date
Application number
PCT/JP2012/001411
Other languages
English (en)
French (fr)
Inventor
武史 島本
芳明 杉谷
河村　岳
Original Assignee
パナソニック株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by パナソニック株式会社 filed Critical パナソニック株式会社
Priority to JP2013502197A priority Critical patent/JP5809688B2/ja
Priority to CN201280007501.1A priority patent/CN103348276B/zh
Priority to EP12752314.0A priority patent/EP2682799B1/en
Priority to US13/983,381 priority patent/US9083880B2/en
Publication of WO2012117733A1 publication Critical patent/WO2012117733A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B7/00—Mountings, adjusting means, or light-tight connections, for optical elements
    • G02B7/28—Systems for automatic generation of focusing signals
    • G02B7/36—Systems for automatic generation of focusing signals using image sharpness techniques, e.g. image processing techniques for generating autofocus signals
    • G02B7/38—Systems for automatic generation of focusing signals using image sharpness techniques, e.g. image processing techniques for generating autofocus signals measured at different points on the optical axis, e.g. focussing on two or more planes and comparing image data
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/73—Circuitry for compensating brightness variation in the scene by influencing the exposure time
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95—Computational photography systems, e.g. light-field imaging systems
    • H04N23/958—Computational photography systems, e.g. light-field imaging systems for extended depth of field imaging
    • H04N23/959—Computational photography systems, e.g. light-field imaging systems for extended depth of field imaging by adjusting depth of field during image capture, e.g. maximising or setting range based on scene characteristics

Definitions

  • the present invention relates to moving image or continuous still image shooting in, for example, a Flexible DOF (Depth Of Field) method used for extending the depth of field.
  • DOF Depth Of Field
  • EDOF extended depth of field
  • an optical element called a phase plate is inserted to make the blur in the depth direction uniform, and image restoration processing is performed using the obtained blur pattern by measurement or simulation in advance.
  • EDOF image an extended image
  • This method is called Wavefront Coding (hereinafter referred to as WFC) (Non-Patent Document 1).
  • the second method measures the distance with high accuracy for each partial area of the image by devising the aperture shape, performs image restoration processing with the blur pattern corresponding to each distance measured in advance, and EDOF Get an image.
  • This method is called Coded Aperture (hereinafter referred to as CA) (Non-Patent Document 2).
  • the third method is to convolve an image that is uniformly focused in the depth direction by moving the focus lens or image sensor during the exposure time (that is, synonymous with equalizing the blur of the image at each depth).
  • An image restoration process is performed using a blurred pattern obtained by measurement or simulation to obtain an EDOF image.
  • This method is called “Flexible DOF” (hereinafter referred to as “F-DOF”) (Non-patent Document 3).
  • Non-patent Document 4 a method in which the axial chromatic aberration of the lens is used to estimate the depth or detect the sharpness of the image and to obtain a sharp image as a whole by image processing.
  • Non-Patent Document 5 a method in which a multifocal lens is used to make the blur of an image in the depth direction uniform, and an image restoration process is performed using a blur pattern obtained by measurement or simulation in advance.
  • these methods have a drawback that, in principle, the EDOF effect is smaller than the three methods described above.
  • Focal Stack has also been known for a long time.
  • a method called Focal Stack has also been known for a long time.
  • a plurality of images with different in-focus positions are photographed, and regions that are thought to be in focus are extracted from each image and combined to obtain an EDOF image. Since this method requires a large number of captured images, there are problems that it takes a relatively long time to capture images and that a large amount of memory is consumed for storing images.
  • Non-patent Document 6 Cubic Phase Mask
  • FPM Free-Form Phase Mask
  • the same blur uniformity effect cannot be obtained for incident light from other than the front, so when performing restoration processing with an on-axis blur pattern during image restoration, The image quality outside the optical axis after restoration is deteriorated.
  • CA is a specific frequency component of a captured image or an image obtained after restoration processing due to the characteristics of the method itself that increases the distance measurement accuracy by inserting a stop having a characteristic shape. Is lost, that is, the image quality deteriorates. In general, the amount of light is smaller than that of a normal photographing method regardless of the aperture shape, so that it is not suitable for photographing in a dark place.
  • F-DOF is the method that provides the best image quality, and has a high EDOF effect. Since off-axis characteristics also depend on the lens characteristics themselves, it is easy to improve performance. However, according to the F-DOF, even if the position of the focus lens is moved during exposure, an image with good image quality can be obtained when the same subject is folded on the same image position. For this reason, an image-side telecentric lens may be used in F-DOF.
  • Non-Patent Document 3 it is known that the moving pattern may be from the back-side focusing end position to the near-side focusing end position or vice versa.
  • German Patent No. 2301800B2 Japanese Patent Publication No. 5-27084 Japanese Patent No. 3191928 U.S. Pat. No. 7,711,259 Japanese Patent No. 3084130 JP 2006-47954 A Japanese Patent Laid-Open No. 2007-10908
  • Morning Session 2 Computational Photography (2008) C. Tisse, H. P. Nguyen, R.A. Tesieres, M.M. Pyanet and F.M. Guichard, "Extended Depth-of-field (EDOF) using sharpness transport across colour channels", Optical Engineering + Applications, Part of SPIE Optics + Photonics, Session 1-- Imaging in the Optical Design Process: Depth of Field (2008) W. Chi and N. George, “Computational imaging with the logical sphere: theory”, Optical Society of America, Vol. 20, No. 12, December (2003) Y. Takahashi and S.H.
  • the present invention has an object to provide an imaging device, an integrated circuit used in the imaging device, and an imaging method that can obtain an EDOF image.
  • the imaging apparatus disclosed in the present application has a plurality of photoelectric conversion elements arranged in a two-dimensional manner, sequentially exposes the plurality of photoelectric conversion elements, and sequentially scans from the plurality of photoelectric conversion elements to electrically
  • an image sensor that generates an image signal
  • a lens optical system that includes a focus lens that collects light toward the image sensor, and a distance between the image sensor and the focus lens are changed.
  • a drive unit that drives one of the image sensor or the focus lens, and outputs a command to the drive unit, thereby controlling the displacement of the driven image sensor or the focus lens based on a predetermined displacement pattern.
  • the reciprocating displacement of the driven imaging device or the focus lens in the entire section between two in-focus positions, and the driven imaging device or the focus lens is in each of a plurality of photoelectric conversion elements.
  • the reciprocating displacement is made an integral number of times during the exposure time for one image of the imaging scene.
  • the imaging device the integrated circuit, and the imaging method disclosed in the present application, it is possible to realize moving image shooting or continuous still image shooting by the F-DOF method using a CMOS type imaging device that performs a rolling shutter operation.
  • FIG. 1 shows a block configuration diagram of an imaging apparatus according to a first embodiment.
  • FIG. 3 is a flowchart illustrating an operation of the imaging apparatus according to the first embodiment.
  • (A) shows an example of the displacement pattern of the focus lens or the image sensor in the first and second embodiments, and (b) shows the timing of the exposure and readout operations of the image sensor.
  • (C) to (f) show the relationship between the exposure amount in a predetermined row of the image sensor and the position of the focus lens or the image sensor, respectively.
  • (A) shows an example of the displacement pattern of the focus lens or the image sensor in the first and second embodiments, and (b) shows the timing of the exposure and readout operations of the image sensor.
  • (A) shows an example of the displacement pattern of the focus lens or the image sensor in the first and second embodiments, and (b) shows the timing of the exposure and readout operations of the image sensor.
  • (A) shows an example of the displacement pattern of the focus lens or the image sensor in the first and second embodiments, and (b) shows the timing of the exposure and readout operations of the image sensor.
  • (A) shows an example of the displacement pattern of the focus lens or the image sensor in the first and second embodiments, and (b) shows the timing of the exposure and readout operations of the image sensor.
  • (A) shows an example of the displacement pattern of the focus lens or the image sensor in the first and second embodiments, and (b) shows the timing of the exposure and readout operations of the image sensor.
  • (A) shows an example of the displacement pattern of the focus lens or the image sensor in the first and second embodiments, and (b) shows the timing of the exposure and readout operations of the image sensor.
  • the block block diagram of the imaging device by 2nd Embodiment is shown. It is a flowchart which shows operation
  • (A) shows an example of the displacement pattern of the focus lens or the image sensor in the image pickup apparatus shown in FIG. 12 or FIG. 16, and
  • (b) shows the timing of the exposure and readout operations of the image sensor.
  • (C) to (f) show the relationship between the exposure amount in a predetermined row of the image sensor and the position of the focus lens or the image sensor, respectively.
  • the inventor of the present application has examined in detail a structure suitable for obtaining an EDOF image in a digital still camera or a digital video camera having a mechanism for driving a focus lens such as an autofocus mechanism used for normal photographing.
  • the obtained image has high image quality, the EDOF effect is large, the EDOF range can be arbitrarily changed, and can be realized by applying a normal autofocus mechanism.
  • the F-DOF method is suitable because there is no need to prepare a special optical system and EDOF shooting and normal shooting can be easily switched.
  • An imaging apparatus 300 shown in FIG. 12 shows an example of a structure that displaces the focus lens during the exposure time.
  • the imaging apparatus 300 includes a lens optical system 120 including a focus lens 101, a focus lens driving unit 103 that drives the focus lens 101, and an imaging element 104.
  • a lens optical system 120 including a focus lens 101, a focus lens driving unit 103 that drives the focus lens 101, and an imaging element 104.
  • the focus lens position detecting unit 102 detects the current position (initial position) of the focus lens 101. After detection, the position of the focus lens 101 is displaced to a predetermined end position, for example, the nearest end or the farthest end.
  • FIG. 13 is a schematic diagram showing the positional relationship between the subject included in the shooting scene and the focus lens 101 and the image sensor 104 in the image pickup apparatus 300.
  • the closest end is the position of the focus lens 101 when the focus lens 101 is moved so that the subject closest to the imaging device 300 among the subjects included in the shooting scene forms an image on the imaging surface of the imaging device 104.
  • the distance u from the subject to the focus lens 101 of the imaging apparatus 300 is the shortest, and the distance v between the focus lens 101 and the imaging element 104 is the longest.
  • the farthest end is a focus lens when the focus lens 101 is moved so that the subject farthest from the imaging device 300 among the subjects included in the shooting scene forms an image on the imaging surface of the imaging device 104.
  • the position of 101 is said.
  • the distance u from the subject to the focus lens 101 of the imaging apparatus 300 is the longest, and the distance v between the focus lens 101 and the imaging element is the shortest.
  • the distance between the nearest end and the farthest end of the focus lens 101 is shown larger than the distance between the subject and the imaging apparatus 300.
  • the exposure time determination unit 114 determines shooting parameters such as a shutter speed and an aperture value.
  • the exposure / focus lens displacement synchronization unit 107 that synchronizes exposure and focus displacement outputs an exposure start command to the focus lens displacement control unit 106 and the shutter opening / closing command unit 112.
  • the farthest end is the farthest end if the end position is the farthest end, and the farthest from the nearest end if the end position is the nearest end.
  • a command for displacing the focus lens 101 within the exposure time is output to the focus lens displacement control unit 106.
  • the focal length on the image plane side changes depending on the position of the focus lens 101, and the focus lens 101 is focused on the basis of a command from the focus lens displacement control unit 106 so that the position of the focus lens is displaced at a constant speed with respect to the imaging element surface. It is driven by the lens driving unit 103.
  • FIG. 15 shows the relationship between u and v when f is 18 [mm].
  • the distance v between the lens principal point and the image sensor changes.
  • Driving the focus lens 101 so that the displacement of the focus lens changes at a constant speed with respect to the imaging element surface means that the changing speed of v is constant.
  • the distance u between the focal plane on the subject side and the lens principal point is not displaced at a constant speed.
  • the horizontal axis in FIG. 15 is the image plane side focal length v, the relationship is opposite to the subject distance u. In other words, the longer the subject distance (distant), the shorter the image plane side focal length v.
  • the shutter opening / closing command unit 112 Upon receiving an exposure start command from the exposure / focus lens displacement synchronization unit 107, the shutter opening / closing command unit 112 immediately controls the shutter 111 to open. After a predetermined exposure time has elapsed, the exposure / focus lens displacement synchronization unit 107 outputs an exposure end command to the shutter opening / closing command unit 112. The shutter open / close command unit 112 receives the exposure end command, and immediately controls to close the shutter 111.
  • the formed optical image is converted into an electric signal by the image sensor 104, and an image signal is output to the image processing unit 109 via the readout circuit 108.
  • the exposure / focus lens displacement synchronization unit 107 notifies the image processing unit 109 that the exposure has been completed and that the focus displacement has been imaged by F-DOF.
  • the image processing unit 109 receives the image signal, performs necessary signal processing, and outputs it to the recording unit 110.
  • An imaging apparatus 400 illustrated in FIG. 16 includes an imaging element 104, an imaging element position detection unit 202, an exposure / imaging element displacement synchronization unit 207, an imaging element displacement control unit 206, and an imaging element driving unit 203, and the imaging element during the exposure time. Is displaced. Unlike the imaging device 300, the imaging element position detection unit 202 detects the position of the imaging element 104. An exposure / image sensor displacement synchronization unit 207 synchronizes the exposure timing with the displacement of the image sensor 104. The image sensor displacement control unit 206 controls the displacement of the image sensor 104. The image sensor driving unit 203 receives the signal from the image sensor displacement control unit 206 and drives the image sensor 104.
  • the image sensor position detection unit 202 detects the current position (initial position) of the image sensor 104. After detection, the position of the image sensor 104 is displaced to a predetermined end position, for example, the nearest end or the farthest end.
  • the nearest end of the predetermined focusing range is the image sensor 104 so that the subject closest to the imaging device 400 among the subjects included in the shooting scene forms an image on the imaging surface of the image sensor 104. This refers to the position of the image sensor 104 when moved.
  • the distance u from the subject to the focus lens 101 is the shortest, and the distance v between the focus lens 101 and the image sensor 104 is the longest.
  • the farthest end is an image sensor when the image sensor 104 is moved so that a subject farthest from the imaging device 400 among the subjects included in the shooting scene forms an image on the imaging surface of the image sensor 104. 104 position.
  • the distance u from the subject to the focus lens 101 is the longest, and the distance v between the focus lens 101 and the image sensor 104 is the shortest.
  • the exposure time determination unit 114 determines shooting parameters such as a shutter speed and an aperture value.
  • the exposure / imaging device displacement synchronization unit 207 that synchronizes exposure and imaging device displacement outputs an exposure start command to the imaging device displacement control unit 206 and the shutter opening / closing command unit 112.
  • the farthest end is the farthest end if the end position is the farthest end, and the farthest from the nearest end if the end position is the nearest end.
  • a command for displacing the image sensor 104 within the exposure time is output to the image sensor displacement control unit 206.
  • the image sensor 104 is displaced at a constant speed.
  • the shutter opening / closing command unit 112 When the exposure start command is received from the exposure / imaging element displacement synchronization unit 207, the shutter opening / closing command unit 112 immediately controls the shutter 111 to open. Further, after a predetermined exposure time has elapsed, the exposure / imaging element displacement synchronization unit 207 outputs an exposure end command to the shutter opening / closing command unit 112. The shutter open / close command unit 112 receives the exposure end command and immediately controls the shutter 111 to close.
  • the formed optical image is converted into an electric signal by the image sensor 104, and the electric signal is output to the image processing unit 109 via the readout circuit 108.
  • the exposure / imaging element displacement synchronization unit 207 notifies the image processing unit 109 that the exposure has been completed and that the focus displacement has been imaged by F-DOF.
  • the other configuration performs the same operation as that of the imaging apparatus 300 shown in FIG.
  • the imaging device 300 and the imaging device 400 a CCD type imaging device or a CMOS type imaging device is used as the imaging device 104.
  • the CMOS type image pickup device is superior in the operation of reading out a large number of pixels at high speed, and is being used in a consumer machine for the purpose of reading out a full HD (1920 ⁇ 1080) size image for 60 frames per second, for example.
  • image information can be obtained by accumulating charges in each pixel in the image sensor by exposing the image sensor through a lens and reading it out.
  • a rolling shutter that reads a charge from each pixel by sequentially scanning a two-dimensional array of pixels in units of rows when continuously reading out the charge obtained by exposing the image sensor with a CMOS image sensor.
  • a so-called electronic shutter control method is used.
  • FIG. 17 shows the charge readout timing from the pixel set in the CMOS image sensor.
  • the horizontal axis indicates time, and the vertical axis indicates the position of the readout row of the image sensor.
  • the image sensor is composed of a plurality of N pixel rows.
  • an image is obtained by sequentially scanning from the first row of the image sensor to read out charges from each pixel, starting to accumulate charges immediately thereafter, and scanning again after a predetermined time to read out charges from each pixel. Get a signal. After the scanning of the Nth row is completed, a continuous moving image can be obtained by repeating the scanning from the top again.
  • FIG. 17 when shooting is performed with a rolling shutter, the imaging timing within the imaging element plane is deviated, and the first row and the last row are deviated by one reading time.
  • the focus state is displaced from the farthest end to the nearest end of a predetermined focusing range (hereinafter, this operation is referred to as a sweep operation), and all of the in-plane of the image sensor is detected. It is necessary to obtain an image in which these pixels are uniformly exposed (hereinafter, this image is referred to as a sweep image).
  • this image is referred to as a sweep image.
  • the imaging timing in the image sensor plane is shifted by the rolling shutter described above, so even if the sweep operation is simply performed from the farthest end to the nearest end, Thus, a uniform sweep image cannot be obtained.
  • FIG. 18A shows the position of the focus lens (distance between the focus lens and the image sensor) when the position of the focus lens is changed by a reciprocating operation from the farthest end to the nearest end in order to continuously capture images.
  • FIG. 18B is a diagram showing the exposure and readout timing of the CMOS image sensor corresponding to FIG. Accumulation of charge is started in the first row of the image sensor from the position where the image sensor is focused at the farthest end, and the charge accumulated in the first row of the image sensor is read when the image sensor reaches the position where the image sensor is focused at the nearest end . At the same time, charge accumulation is started in the last row of the image sensor, and the charge accumulated in the last row of the image sensor is read at the timing when the image sensor reaches the farthest end again.
  • FIGS. 18C to 18F show the position of the focus lens in the first row that is the head of the readout row of the image sensor, the i-th and j-th rows in the middle, and the N-th row that is the end row. It is a figure which shows distribution of exposure amount. As can be seen from the figure, it is impossible to perform exposure uniformly from the farthest end to the nearest end except for the first row and the Nth row, and an optimum sweep image cannot be obtained.
  • CCD-type image sensors are not suitable for high-speed reading. For this reason, in order to obtain an EDOF image at a high resolution and a high frame rate, it is preferable to perform imaging using the F-EDOF method in an imaging apparatus using a CMOS type imaging device.
  • An imaging device includes a plurality of photoelectric conversion elements arranged two-dimensionally, sequentially scans and exposes the plurality of photoelectric conversion elements, and sequentially scans from the plurality of photoelectric conversion elements.
  • a drive unit that drives one of the image sensor or the focus lens, and outputs a command to the drive unit, so that the displacement of the driven image sensor or the focus lens is changed based on a predetermined displacement pattern.
  • the reciprocating displacement of the driven imaging element or the focus lens in the entire section between the second focusing position, and the driven imaging element or the focus lens is a plurality of photoelectric conversion elements, respectively. In the above, the reciprocating displacement is performed an integral number of times during the exposure time for one image of the imaging scene.
  • the plurality of photoelectric conversion elements are two-dimensionally arranged in a row direction and a column direction, the plurality of photoelectric conversion elements are exposed for each row, and the plurality of photoelectric conversion elements are arranged.
  • the image signal is read from the conversion element for each row.
  • the driven imaging device or the focus lens starts the displacement operation in synchronization with the start of the exposure, and ends the displacement operation in synchronization with the end of the exposure.
  • the imaging apparatus includes an exposure time determination unit that determines an exposure time of the imaging element based on the imaging scene, and the first focus position, the second focus position, and the exposure time. And a displacement setting unit that determines the displacement pattern based on the displacement pattern.
  • the imaging apparatus further includes a position detection unit that detects a position of the driven imaging element or the focus lens, and the displacement control unit uses the output of the position detection unit and the displacement pattern. Based on this, the drive amount is commanded to the drive unit.
  • the imaging apparatus further includes a readout circuit that reads out the image signal from the imaging element, and the synchronization unit controls the displacement control unit and the readout circuit based on an exposure timing of the imaging element. To do.
  • the number of reciprocal displacements is 1.
  • the number of reciprocal displacements is two.
  • An integrated circuit which is one embodiment of the present invention includes a plurality of photoelectric conversion elements arranged two-dimensionally, sequentially scans and exposes the plurality of photoelectric conversion elements, and sequentially scans from the plurality of photoelectric conversion elements.
  • An image pickup device or a drive unit that drives one of the focus lens, and outputs the command to the drive unit to drive the drive based on a predetermined displacement pattern.
  • a displacement control unit that controls the displacement of the imaging device or the focus lens, and a synchronization unit that controls the displacement control unit based on the exposure timing of the imaging device
  • the predetermined displacement pattern is in focus at a first focus distance of the focus lens or the image sensor that is focused at a first subject distance in the imaging scene and at a second subject distance in the imaging scene.
  • the reciprocating displacement of the driven image sensor or the focus lens in the entire section between the focus lens or the second focus position of the image sensor that is in focus, the driven image sensor or the The focus lens is reciprocated an integer number of times during the exposure time for one image of the imaging scene in each of the plurality of photoelectric conversion elements.
  • An imaging method includes a plurality of photoelectric conversion elements arranged two-dimensionally, sequentially scans and exposes the plurality of photoelectric conversion elements, and sequentially scans from the plurality of photoelectric conversion elements.
  • FIG. 1 is a block diagram showing an imaging apparatus 100 according to this embodiment.
  • the imaging apparatus 100 includes a focus lens driving unit 103, an image sensor 104, a focus lens displacement control unit 106, an exposure / focus lens displacement synchronization unit 107, and a lens optical system 120.
  • the image sensor 104 is a COMS type image sensor, and has a plurality of photoelectric conversion elements arranged two-dimensionally.
  • the image sensor 104 sequentially scans and exposes a plurality of photoelectric conversion elements. Further, an image signal is generated by sequentially scanning from a plurality of photoelectric conversion elements to read out an electric signal.
  • the lens optical system 120 includes a focus lens 101 that collects light toward the image sensor 104 and forms an image on the image sensor 104.
  • the lens optical system 120 may include one or more other lenses in addition to the focus lens 101.
  • the focus lens 101 may also be composed of a plurality of lenses.
  • the position of the focus lens refers to the position of the principal point by the plurality of lenses.
  • the focus lens drive unit 103 functions as a drive unit that drives one of the image sensor 104 or the focus lens 101 so that the distance between the image sensor 104 and the focus lens 101 changes. That is, the focus lens drive unit 103 drives the focus lens so that the distance between the image sensor 104 and the focus lens 101 changes based on the drive signal.
  • the focus lens displacement control unit 106 controls the displacement of the focus lens 101 based on a predetermined displacement pattern by outputting a command to the focus lens driving unit 103 as described below.
  • the exposure / focus lens displacement synchronization unit 107 controls the focus lens displacement control unit 106 based on the exposure timing of the image sensor 104.
  • the imaging apparatus 100 further includes a focus lens position detection unit 102, a focus lens displacement setting unit 105, a readout circuit 108, an image processing unit 109, a recording unit 110, a shutter 111, a shutter open / close command unit 112, A release reception unit 113 and an exposure time determination unit 114 are included.
  • the focus lens position detection unit 102 includes a position sensor, detects the position of the focus lens 101, and outputs a detection signal to the focus lens displacement control unit 106.
  • the focus lens displacement setting unit 105 sets a displacement pattern of the focus lens 101 and sets it as the position of the target focus lens. Accordingly, the focus lens displacement control unit 106 calculates a drive signal from the difference between the position of the target focus lens and the current position of the focus lens 101 detected by the focus lens position detection unit 102 and outputs the drive signal to the focus lens drive unit 103. To do.
  • the exposure time determining unit 114 determines the exposure time of the image sensor 104. Also, information relating to the exposure time is output to the exposure / focus lens displacement synchronization unit 107 and the focus lens displacement setting unit 105.
  • the exposure / focus lens displacement synchronization unit 107 is configured to perform exposure, drive of the focus lens 101, and readout of an electric signal from the image sensor 104 at a synchronized timing based on information on the exposure time. Commands are output to the lens displacement control unit 106 and the readout circuit 108. Specifically, the shutter opening / closing command unit 112 is instructed about the exposure timing and the exposure time. Further, it instructs the focus lens displacement control unit 106 to drive the focus lens 101 and drive time.
  • the shutter 111 performs an opening / closing operation in accordance with a command from the shutter opening / closing command unit 112.
  • the image sensor 104 is exposed by the light condensed by the focus lens 101, and the exposed light is converted into an electrical signal and output.
  • the readout circuit 108 reads out an electrical signal by outputting a readout signal to the image sensor 104, and outputs the readout electrical signal to the image processing unit 109.
  • the image processing unit 109 performs various corrections and the like on the input electric signal, sequentially constructs an image signal constituting an image of a shooting scene for one video frame, and outputs the image signal to the recording unit 110.
  • the image pickup apparatus 100 can expose the image pickup device 104 while driving the focus lens 101 and changing the position of the focus lens to obtain a sweep image.
  • the focus lens position detection unit 102, the focus lens driving unit 103, the imaging element 104, the image processing unit 109, the release receiving unit 113, and the recording unit 110 are configured by known hardware. It may be.
  • Some or all of the components may be configured by software stored in an information processing circuit such as a CPU and a storage unit such as a memory.
  • the information processing circuit controls each component of the imaging apparatus 100 by reading out software defining the procedure of the imaging method described below from the memory and executing the procedure of the imaging method.
  • Some of the components realized by the software stored in the information processing circuit and the memory may be configured by a dedicated integrated circuit.
  • the focus lens displacement setting unit 105, the focus lens displacement control unit 106, the exposure / focus lens displacement synchronization unit 107, and the shutter opening / closing command unit 112 may constitute an integrated circuit.
  • the imaging method of the present embodiment particularly the position of the focus lens for obtaining the sweep image, the exposure of the imaging device 104, and the timing of signal readout will be described.
  • FIG. 2 is a flowchart showing the imaging method of the present embodiment.
  • FIG. 3A shows a change in the position of the focus lens when the position of the focus lens is swept back and forth between the farthest end and the nearest end.
  • FIG. The horizontal axis represents time, and the vertical axis represents the position of the focus lens (distance from the image sensor).
  • FIG. 3B is a diagram showing exposure and readout timings of the CMOS image sensor corresponding to the time axis shown in FIG.
  • the farthest end (the distance between the focus lens and the image sensor) is the farthest end (the distance between the focus lens and the image sensor) is the longest distance between the focus lens and the image sensor. Is set as the initial position of the focus lens position, and the entire section from the farthest end to the nearest end is reciprocally displaced.
  • the farthest end and the nearest end are in focus on the imaging surface of the image sensor 104 for various subjects within a predetermined distance range in an imaging scene including subjects at various distances from the imaging device.
  • the focus lens 101 When the focus lens 101 is moved as described above, it means the position of the focus lens 101 when the subject closest to the imaging device forms an image and when the subject farthest from the imaging device forms an image.
  • the subject that forms an image at the farthest end (first focus position) is located at the longest distance from the imaging device (first subject distance) within the predetermined distance range, and the nearest end (second focus position).
  • the subject that forms an image is positioned at the shortest distance from the imaging device (second subject distance) within a predetermined distance range.
  • reciprocation means moving to the farthest end or the nearest end as an arbitrary point starting point between the farthest end and the nearest end, turning back at the farthest end or the nearest end, and returning to the starting point. .
  • To reciprocate the whole section move to the farthest end or the nearest end as an arbitrary point starting point between the farthest end and the nearest end, return at the farthest end or the nearest end, return to the starting point, If there is a portion that has not passed between the farthest end and the nearest end, move further to the nearest or farthest end located in the direction of folding, and then turn back again at the nearest or farthest end. To return to the starting point.
  • the image sensor 104 is a CMOS image sensor that performs a rolling shutter operation, and a plurality of photoelectric conversion elements are two-dimensionally arranged in the row direction and the column direction.
  • the plurality of photoelectric conversion elements are exposed for each row, and an image signal is read for each row from the plurality of photoelectric conversion elements.
  • the exposure time and the readout time of the photoelectric conversion elements in each row of the image sensor 104 are equal.
  • the time for obtaining an image of one captured scene, that is, one video frame is defined by the sum of the exposure time and the readout time.
  • the exposure time determination unit 114 determines the exposure time parameter from the shooting parameters such as the shutter speed and the aperture value (S102).
  • the exposure time parameter is output to the focus lens displacement setting unit 105 and the exposure / focus lens displacement synchronization unit 107.
  • the focus lens displacement setting unit 105 generates a displacement pattern of the focus lens position (S103).
  • the displacement pattern is a reciprocating displacement in the entire section between the farthest end and the nearest end. More specifically, in the displacement pattern, the time required for one reciprocating operation in the entire section from the farthest end to the nearest end is equal to the exposure time in one video frame, and an electric signal is transmitted from the entire area of the image sensor 104. It is set to continue the reciprocating displacement until reading is completed. The set displacement pattern is output to the focus lens displacement control unit 106.
  • the exposure / focus lens displacement synchronization unit 107 After determining the displacement pattern of the focus lens position, the exposure / focus lens displacement synchronization unit 107 operates the shutter opening / closing command so that the focus lens displacement setting unit 105 and the readout circuit 108 operate based on the exposure timing of the image sensor 104. Commands are output to the unit 112, the focus lens displacement setting unit 105, and the readout circuit 108. As a result, the shutter opening / closing command unit 112 releases the shutter 111 and exposure of the image sensor 104 is started. In synchronization with the start of exposure, the focus lens driving unit 103 causes the focus lens driving unit 103 to move the focus lens in response to a command from the focus lens displacement control unit 106. 101 is displaced.
  • the term “synchronization” includes the case of simultaneous and the case of sandwiching a predetermined delay time.
  • the focus lens 101 is displaced by the focus lens driving unit 103, and the position of the focus lens is moved from the farthest end. The closest end is reached in half the exposure time.
  • the displacement direction of the focus lens 101 is reversed and the movement is started, and the focus lens 101 arrives at the position of the farthest end upon completion of the exposure of the first row of readout rows.
  • the exposure is completed only in the first row of the readout row, and the other readout rows need to be uniformly exposed in the range from the farthest end to the nearest end.
  • the displacement operation so far is continuously repeated until the exposure and readout of the Nth row which is the final readout row of the image sensor 104 are completed. That is, the displacement operation ends in synchronization with the end of exposure.
  • the readout circuit 108 reads out electrical signals from the row where the exposure of the image sensor 104 is completed.
  • FIGS. 3A and 3B the position of the focus lens 101 is exactly 2 from the farthest end to the nearest end until the exposure and readout of the entire area of the image sensor 104 are completed. It will be reciprocated.
  • FIGS. 3C to 3F are the first row, the first row, the i-th and j-th rows in the middle, and the last row, respectively, of the readout row of the image sensor of FIG. 3B. It is a figure which shows the position of the focus lens 101 in the Nth line, and distribution of exposure amount. As shown in FIG. 3A and FIG.
  • the focus lens 101 is stopped at the farthest end position at the timing when the reading from the image sensor is completed. However, if this operation is performed continuously, a sweep image can be obtained continuously, so that it can be applied to moving image processing.
  • the displacement pattern of the focus lens position shown in FIG. 3A is an example, and if the displacement of the focus lens position is reciprocated an integral number of times during the exposure time of each row of the image sensor 104 in one video frame, It is possible to obtain a sweep image that is uniformly exposed in the range of the position of the focus lens from the farthest end to the nearest end in all readout rows. This means that the reciprocation of the position displacement of the focus lens is repeated until the reading of all the rows of the image sensor, that is, the entire area of the imaging surface is completed. As long as this condition is satisfied, various displacement patterns may be set. In the displacement pattern of FIG. 3A, during the exposure time, the focus lens makes one round trip through the entire section defined by the farthest end and the nearest end, and one video until the reading of the entire area of the image sensor is completed. The number of round trips in the frame is 2.
  • the initial position at which the focus lens is displaced is the farthest end. However, if the entire section defined by the farthest end and the nearest end is reciprocated, the farthest end and the nearest end.
  • the displacement of the focus lens may be started from an arbitrary position between.
  • FIG. 4A shows a displacement pattern when the initial position of the focus lens 101 is set to a position other than the farthest end and the nearest end.
  • FIG. 4B shows the exposure and readout timing of the image sensor 104 corresponding to the time axis of FIG. As shown in FIG. 4A and FIG. 4B, the focus lens 101 starts to be displaced from a position in the middle between the farthest end and the nearest end in synchronization with the exposure of the image sensor 104.
  • the position of the focus lens 101 is changed. A sweep image can be obtained regardless of the initial position.
  • the focus lens 101 makes one round trip through the entire section defined by the farthest end and the nearest end, and 1 until the reading of the entire area of the image sensor is completed.
  • the number of round trips in the video frame is two.
  • FIG. 5 (a) shows a displacement pattern when the number of focus reciprocation sweeps during the exposure time in one video frame is two.
  • FIG. 5B shows the exposure and readout timing of the image sensor 104 corresponding to the time axis of FIG.
  • the displacement cycle of the position of the focus lens 101 is 1 ⁇ 2, but the number of reciprocations may be further increased as long as it is within the drive capability of the focus lens drive unit 103. Is possible.
  • the displacement pattern of FIG. 5A during the exposure time, the focus lens 101 makes two reciprocations over the entire section defined by the farthest end and the nearest end, and 1 until the reading of the entire area of the image sensor is completed.
  • the number of round trips in the video frame is four. Even with such a displacement pattern, it is possible to obtain a sweep image that is uniformly exposed in the range of the focus lens position from the farthest end to the nearest end in all readout rows of the image sensor 104.
  • FIG. 3A illustrates the displacement pattern when the exposure time and readout time of each row of the image sensor 104 are the same, other displacement patterns may be employed.
  • FIG. 6A shows a displacement pattern when the exposure time of each row of the image sensor 104 is 1 ⁇ 2 of the readout time.
  • FIG. 6B shows the exposure and readout timing of the image sensor 104 corresponding to the time axis of FIG.
  • Such an operation can be realized, for example, by using an electronic shutter, which is a basic function of the image sensor 104, and is used for the purpose of limiting the exposure amount when the amount of light incident on the image sensor 104 is large. Is done. Even in such a case, a sweep image can be obtained within a range that satisfies the above-described focus reciprocation sweep condition.
  • the number of focus reciprocal sweeps during the exposure time of each row of the image sensor 104 is 1, and the number of focus reciprocal sweeps until the readout of the entire area of the imaging surface of the image sensor 104 is 3 is 3. is there. Even in this case, it is possible to obtain a sweep image that is uniformly exposed in the range of the position of the focus lens from the farthest end to the nearest end in all readout rows of the image sensor 104. As described above, the initial position at which the focus lens 101 starts to be displaced may be between the farthest end and the nearest end.
  • FIG. 7A shows a displacement pattern when the exposure time of each row of the image sensor 104 is 2/3 of the readout time.
  • FIG. 7B shows the exposure and readout timing of the image sensor 104 corresponding to the time axis of FIG.
  • the number of focus reciprocation sweeps during the exposure time of each row of the image sensor 104 is 1, and the focus reciprocation sweep from the start of exposure until the reading of the entire area of the imaging surface of the image sensor 104 is completed.
  • the number of times is 2.5. Even in this case, it is possible to obtain a sweep image that is uniformly exposed in the range of the position of the focus lens from the farthest end to the nearest end in all readout rows of the image sensor 104.
  • the position of the focus lens before and after the sweep image acquisition can be arbitrarily set. Thereby, it is possible to alternately obtain a fixed focus image and a sweep image at the positions of a plurality of focus lenses at high speed.
  • FIG. 8A shows a displacement pattern when the exposure time of each row of the image sensor 104 is twice the readout time.
  • FIG. 8B shows the exposure and readout timing of the image sensor 104 corresponding to the time axis of FIG.
  • the number of focus reciprocation sweeps during the exposure time of each row of the image sensor 104 is 1, and from the start of exposure until reading of the entire area of the imaging surface of the image sensor 104 is completed.
  • the number of focus reciprocation sweeps is 1.5.
  • FIG. 9A shows a displacement pattern when reading is performed twice during the exposure time of each row of the image sensor 104.
  • FIG. 9B shows exposure and readout timings of the image sensor 104 corresponding to the time axis of FIG. As shown in FIG. 9B, the readout is performed twice during the exposure time of each row of the image sensor 104. The exposure time for each row is twice the readout time.
  • the number of focus reciprocation sweeps during the exposure time of each row of the image sensor 104 is 1, and from the start of exposure until reading of the entire area of the imaging surface of the image sensor 104 is completed.
  • the number of focus reciprocation sweeps is 1.5.
  • FIG. 9 (a) and 9 (b) show the displacement pattern in the case where reading is performed twice during the exposure time of each row.
  • the exposure time may be increased and the number of times of reading may be three or more. Further, the exposure time may not be an integral multiple of the readout time.
  • the displacement pattern shown in FIG. 9A if the readout time is approximately the same as the readout time in the displacement pattern shown in FIG. 3A, for example, the operating frequency of the focus reciprocating sweep operation is shown in FIG.
  • the displacement pattern can be reduced compared to the displacement pattern shown in FIG. Lowering the operating frequency leads to reduction of power consumption and specification relaxation of the focus lens driving unit, and is effective for products that require small size, low power consumption, and low cost such as a digital still camera.
  • the displacement of the focus lens during the reciprocating sweep operation described so far is a substantially constant linear motion in each of the forward and backward operations so that the exposure amount at the position of each focus lens in the sweep image is uniform. There may be.
  • the operation of the imaging apparatus using the displacement pattern described so far in this embodiment does not depend on the readout time (speed) of the imaging element.
  • the displacement lens shown in FIGS. 3A to 9A is expanded and contracted in the time axis direction in accordance with the exposure time and the readout time, so that the focus lens from the farthest end to the nearest end is obtained. A swept image that is uniformly exposed in the range of the positions is obtained.
  • the displacement speed of the focus lens may be increased correspondingly.
  • the initial position of the focus lens may be an arbitrary position between the farthest end and the nearest end, as in the case described with reference to FIG.
  • the reciprocating distance of the focus reciprocating sweep operation (the distance between the farthest end and the nearest end) is large, high driving performance is required for the focus lens driving unit, which may lead to an increase in power consumption.
  • it is possible to obtain a sweep image with a wider focal length by dividing a section defined by the farthest end and the nearest end into a plurality of sub sections and acquiring a sweep image in each sub section.
  • a section defined by the farthest end and the nearest end is divided into two at the intermediate position, and the focus reciprocating sweep operation described in FIGS. 3 to 9 is performed from the subsection and the intermediate position from the intermediate position to the farthest end. It repeats alternately in the subsection to the nearest end.
  • CMOS image sensor that performs a rolling shutter operation is continuously performed at high speed by performing exposure and readout operations of the image sensor while displacing the position of the focus lens.
  • a sweep image can be obtained.
  • FIG. 10 is a block configuration diagram illustrating the imaging apparatus 200 of the present embodiment.
  • the same components as those in the imaging device 100 according to the first embodiment are denoted by the same reference numerals.
  • the imaging apparatus 200 is different from the imaging apparatus 100 in that the distance between the lens optical system 120 and the focus lens 101 is changed by moving the position of the imaging element 104.
  • the imaging apparatus 200 includes an imaging element position detection unit 202, an imaging element driving unit 203, an imaging element displacement setting unit 205, an imaging element displacement control unit 206, and an exposure / imaging element displacement synchronization unit 207.
  • the image sensor position detector 202 includes a position sensor, detects the position of the image sensor 104, and outputs a detection signal to the image sensor displacement controller 206.
  • the image sensor displacement setting unit 205 sets a displacement pattern of the image sensor 104 and sets it as the position of the target image sensor.
  • the image sensor displacement control unit 206 calculates a drive signal from the difference between the target image sensor position and the current position of the image sensor 104 detected by the image sensor position detector 202 and outputs the drive signal to the image sensor drive unit 203. .
  • the exposure time determining unit 114 determines the exposure time of the image sensor 104. Also, information relating to the exposure time is output to the exposure / image sensor displacement synchronization unit 207.
  • the exposure / imaging element displacement synchronization unit 207 is configured to perform exposure, drive of the imaging element 104, and readout of an electrical signal from the imaging element 104 at synchronized timing based on information related to the exposure time. Commands are output to the element displacement control unit 206 and the readout circuit 108. Specifically, the shutter opening / closing command unit 112 is instructed about the exposure timing and the exposure time. Further, it instructs the image sensor displacement control unit 206 to drive the image sensor 104 and the drive time. As a result, the imaging apparatus 200 can drive the imaging element 104 to expose the imaging element 104 while changing the position of the imaging element, and obtain a sweep image.
  • FIG. 11 is a flowchart showing the imaging method of the present embodiment. Except for displacing the image sensor to change the distance between the image sensor and the focus lens, this is the same as the image capturing method in the first embodiment described in FIG.
  • the displacement pattern of the image sensor is the same as that of FIGS. 3A to 9A, which is the displacement pattern of the position of the focus lens described in the first embodiment.
  • a stepping motor may be used for the focus lens driving unit 103 or the image sensor driving unit 203.
  • the focus lens position detector 102 or the image sensor since the current position of the focus lens 101 or the image sensor 104 can be specified without using the focus lens position detector 102 or the image sensor position detector 202, the focus lens position detector 102 or the image sensor.
  • the position detection unit 202 may not be provided in the imaging device.
  • a voice coil motor may be used as the focus lens driving unit 103 or the image sensor driving unit 203. In that case, it is possible to drive at higher speed than the stepping motor.
  • a piezoelectric element actuator may be used as the focus lens driving unit 103 or the image sensor driving unit 203. In this case, it is possible to drive with lower power consumption than the voice coil motor.
  • the imaging device the integrated circuit, and the imaging method disclosed in the present application, it is possible to realize moving image shooting or continuous still image shooting by the F-DOF method using a CMOS type imaging device that performs a rolling shutter operation.
  • CMOS type imaging device that performs a rolling shutter operation.
  • These configurations can be suitably used for, for example, consumer or business digital still cameras, digital video cameras, and the like.
  • DESCRIPTION OF SYMBOLS 100, 200, 300, 400 Image pick-up device 101 Focus lens 102 Focus lens position detection part 103 Focus lens drive part 104 Imaging element 105 Focus lens displacement setting part 106 Focus lens displacement control part 107 Exposure / focus lens displacement synchronization part 108 Reading circuit 109 Image processing unit 110 Recording unit 111 Shutter 112 Shutter opening / closing command unit 113 Release reception unit 114 Exposure time determination unit 120 Lens optical system 202 Image sensor position detection unit 203 Image sensor drive unit 205 Image sensor displacement setting unit 206 Image sensor displacement control unit 207 Exposure / image sensor displacement synchronization section

Abstract

　本願に開示された撮像装置は、二次元に配列された複数の光電変換素子を有し、前記複数の光電変換素子を順次走査して露光させ、前記複数の光電変換素子から順次走査して電気信号を読み出すことにより、画像信号を生成する撮像素子と、前記撮像素子に向けて集光する、フォーカスレンズを含むレンズ光学系と、前記撮像素子と前記フォーカスレンズとの距離が変化するように、前記撮像素子または前記フォーカスレンズの一方を駆動する駆動部と、前記駆動部に指令を出力することにより、所定の変位パターンに基づき、前記駆動される前記撮像素子または前記フォーカスレンズの変位を制御する変位制御部と、前記撮像素子の露光のタイミングに基づき、前記変位制御部を制御する同期部とを備え、前記所定の変位パターンは、撮像シーン中の第１被写体距離において合焦する、前記フォーカスレンズまたは前記撮像素子の第１合焦位置と、前記撮像シーン中の第２被写体距離において合焦する、前記フォーカスレンズまたは前記撮像素子の第２合焦位置との間の全区間における、前記駆動される前記撮像素子または前記フォーカスレンズの往復変位であり、前記駆動される前記撮像素子または前記フォーカスレンズは、複数の光電変換素子のそれぞれにおける、前記撮像シーンの１画像分の露光時間中に整数回数、往復変位する。

Description

撮像装置、半導体集積回路および撮像方法
　本発明は、例えば被写界深度拡張に用いるＦｌｅｘｉｂｌｅ　ＤＯＦ（Ｄｅｐｔｈ　Ｏｆ　Ｆｉｅｌｄ）方式における、動画もしくは連続静止画撮影に関する。
　撮像装置において、被写界深度拡張（Ｅｘｔｅｎｄｅｄ　Ｄｅｐｔｈ　Ｏｆ　Ｆｉｅｌｄ、以下ＥＤＯＦと称する）を実現する方式として、一般的には主に以下の３つの方式が挙げられる。
　１つ目の方式は、位相板と呼ばれる光学素子を挿入することにより深度方向の像のボケを均一化し、あらかじめ測定もしくはシミュレーションにより、得られたボケパターンによって画像復元処理を行い、被写界深度が拡張された画像（以下、ＥＤＯＦ画像という）を得る。この方式は、Ｗａｖｅｆｒｏｎｔ　Ｃｏｄｉｎｇ（以下ＷＦＣと称する）と称されている（非特許文献１）。
　２つ目の方式は、絞り形状を工夫することにより画像の部分領域ごとに高精度な距離測定を行い、あらかじめ測定しておいたそれぞれの距離に応じたボケパターンによって画像復元処理を行い、ＥＤＯＦ画像を得る。この方式は、Ｃｏｄｅｄ　Ａｐｅｒｔｕｒｅ（以下ＣＡと称する）と称されている（非特許文献２）。
　３つ目の方式は、露光時間中にフォーカスレンズもしくは撮像素子を動かすことにより、深度方向に一律に合焦した画像を畳み込み（つまり各深度で像のボケを均一化することと同義）、あらかじめ測定もしくはシミュレーションにより得られたボケパターンによって画像復元処理を行い、ＥＤＯＦ画像を得る。この方式は、Ｆｌｅｘｉｂｌｅ　ＤＯＦ（以下Ｆ－ＤＯＦと称する）と称されている（非特許文献３）。
　この他、レンズの軸上色収差を利用して深度推定もしくは画像のシャープネス検知を行い、画像処理により全体が鮮鋭な画像を得る方式（非特許文献４）が知られている。多重焦点レンズを使って深度方向の像のボケを均一化し、あらかじめ測定もしくはシミュレーションにより得られたボケパターンによって画像復元処理を行う方式（非特許文献５）なども知られている。しかし、これらの方式は、原理上、上述した３つの方式に比べて、ＥＤＯＦ効果が小さいという欠点がある。
　さらに、Ｆｏｃａｌ　Ｓｔａｃｋと呼ばれる方式も古くから知られている。この方式は、合焦位置の異なる複数枚の画像を撮影し、それぞれ合焦していると思われる領域をそれぞれの画像から抽出・合成し、ＥＤＯＦ画像を得る。この方式の場合、多くの撮影画像を必要とするため、撮像に比較的時間を要することおよび画像の記憶にメモリ量を多く消費してしまうという問題がある。
　上述した３つの方式のうち、ＷＦＣは、様々な種類の位相板が提案されており、最もＥＤＯＦ効果の得られるものとして、Ｃｕｂｉｃ　Ｐｈａｓｅ　Ｍａｓｋ（以下ＣＰＭと称する）やＦｒｅｅ－Ｆｏｒｍ　Ｐｈａｓｅ　Ｍａｓｋ（以下ＦＰＭと称する）などが挙げられる。復元後の画質（アーティファクトの少なさ）の観点からＦＰＭが有力とされている（非特許文献６）。しかしながら、ＷＦＣ共通の欠点として、位相板を挿入することにより、レンズの光軸外の特性が悪化するという性質がある（非特許文献７）。具体的には、正面からの入射光と比べ、正面以外からの入射光に対して、同じだけのボケ均一効果が得られないため、画像復元時に軸上のボケパターンで復元処理を行うと、復元後の光軸外の画質が劣化してしまう。
　上述した３つの方式のうち、ＣＡは、特徴的な形状の絞りを挿入することにより距離測定精度を高めるという方式そのものがもつ特性により、撮影された画像や復元処理後に得られる画像の特定周波数成分が失われてしまう、つまり画質劣化してしまうという欠点がある。また一般的に絞り形状に関わらず通常の撮影方法よりも光量が減るため、暗い場所での撮影に向かない。
　上述した３つの方式のうち、Ｆ－ＤＯＦは、この中で最も良好な画質が得られる方式であり、ＥＤＯＦ効果も高い。軸外特性もレンズ特性そのものに依存するため、性能を高めやすい。ただし、Ｆ－ＤＯＦによれば、露光中、フォーカスレンズの位置を動かしても、同一被写体が同一の画像位置上に畳み込まれる場合に良好な画質の画像が得られる。このために、Ｆ－ＤＯＦでは像側テレセントリックレンズを用いる場合がある。
　ＥＤＯＦ技術の利用分野の１つに、顕微鏡が挙げられる。顕微鏡による撮像の場合、撮影対象が静物体であるため、時間をかけて撮影することができる。このため、Ｆｏｃａｌ　Ｓｔａｃｋ方式が古くから用いられてきた。ただしこの方式の場合、前述のとおり手間および時間を要することから、Ｆ－ＤＯＦ方式も併用した技術が提案されている（特許文献１～４）。Ｆ－ＤＯＦを顕微鏡用途で用いる場合、露光中に被写体である試料またはレンズ鏡筒を移動させる。露光後の画像復元処理を前提とする場合、像のボケが常に均一になるよう被写体またはレンズ鏡筒を移動させる。この移動の仕方を適切に制御すれば、単一のボケパターンを使った画像復元処理方法が適用できるため合理的であることが知られている（特許文献５）。そのためには、撮像素子を移動させる場合、撮像素子を等速度で動かす。またフォーカスレンズを移動させる場合、撮像面が等速度で動くのに相当するフォーカス変位を行う必要がある（非特許文献３）。動かすパターンとしては、奥側合焦端位置から手前側合焦端位置まで、またはその逆でもよいことが知られている。
　この他、近年、ＥＤＯＦ技術を携帯電話などに搭載されるカメラに適用する例が知られている。ＥＤＯＦの効果により、オートフォーカス機構を持つことなく、全焦点画像（すべての被写体に焦点が合っている画像）を得ることができるからである。この観点では、上述の３つの方式のうち、ＷＦＣや軸上色収差を用いる方式が採用されている。Ｆ－ＤＯＦは、フォーカスレンズもしくは撮像素子を動かす機構が必要となるため、一般的には採用されていない。
独国特許第２３０１８００Ｂ２号明細書 特公平５－２７０８４号公報 特許第３１９１９２８号公報 米国特許第７７１１２５９号明細書 特許第３０８４１３０号公報 特開２００６－４７９５４号公報 特開２００７－１０９０８号公報
Ｅ．Ｒ．Ｄｏｗｓｋｉ　ａｎｄ　Ｗ．Ｔ．Ｃａｔｈｅｙ，"Ｅｘｔｅｎｄｅｄ　ｄｅｐｔｈ　ｏｆ　ｆｉｅｌｄ　ｔｈｒｏｕｇｈ　ｗａｖｅ－ｆｒｏｎｔ　ｃｏｄｉｎｇ"，　Ａｐｐｌｉｅｄ　Ｏｐｔｉｃｓ，　Ｖｏｌ．３４，　Ｎｏ．１１，　Ｐ．１８５９－１８６６　（１９９５） Ａ．Ｌｅｖｉｎ，　Ｒ．Ｆｅｒｇｕｓ，　Ｆ．Ｄｕｒａｎｄ　ａｎｄ　Ｗ．Ｔ．Ｆｒｅｅｍａｎ，"Ｉｍａｇｅ　ａｎｄ　Ｄｅｐｔｈ　ｆｒｏｍ　ａ　Ｃｏｎｖｅｎｔｉｏｎａｌ　Ｃａｍｅｒａ　ｗｉｔｈ　ａ　Ｃｏｄｅｄ　Ａｐｅｒｔｕｒｅ"，　ＡＣＭ　Ｔｒａｎｓａｃｔｉｏｎｓ　ｏｎ　Ｇｒａｐｈｉｃｓ，　Ｖｏｌ．２６，　Ｎｏ．３，　Ａｒｔｉｃｌｅ　７０，　７０－１　－　７０－９　（２００７） Ｈ．Ｎａｇａｈａｒａ，　Ｓ．Ｋｕｔｈｉｒｕｍｍａｌ，　Ｃ．Ｚｈｏｕ　ａｎｄ　Ｓ．Ｎａｙａｒ，"Ｆｌｅｘｉｂｌｅ　Ｄｅｐｔｈ　ｏｆ　Ｆｉｅｌｄ　Ｐｈｏｔｏｇｒａｐｈｙ"，　Ｅｕｒｏｐｅａｎ　Ｃｏｎｆｅｒｅｎｃｅ　ｏｎ　Ｃｏｍｐｕｔｅｒ　Ｖｉｓｉｏｎ　（ＥＣＣＶ），Ｏｃｔ．１６ｔｈ，　Ｍｏｒｎｉｎｇ　Ｓｅｓｓｉｏｎ　２：　Ｃｏｍｐｕｔａｔｉｏｎａｌ　Ｐｈｏｔｏｇｒａｐｈｙ　（２００８） Ｃ．Ｔｉｓｓｅ，　Ｈ．Ｐ．Ｎｇｕｙｅｎ，　Ｒ．Ｔｅｓｉｅｒｅｓ，　Ｍ．Ｐｙａｎｅｔ　ａｎｄ　Ｆ．Ｇｕｉｃｈａｒｄ，"Ｅｘｔｅｎｄｅｄ　Ｄｅｐｔｈ－ｏｆ－ｆｉｅｌｄ　（ＥＤＯＦ）　ｕｓｉｎｇ　ｓｈａｒｐｎｅｓｓ　ｔｒａｎｓｐｏｒｔ　ａｃｒｏｓｓ　ｃｏｌｏｕｒ　ｃｈａｎｎｅｌｓ"，　Ｏｐｔｉｃａｌ　Ｅｎｇｉｎｅｅｒｉｎｇ　＋　Ａｐｐｌｉｃａｔｉｏｎｓ，　Ｐａｒｔ　ｏｆ　ＳＰＩＥ　Ｏｐｔｉｃｓ　＋　Ｐｈｏｔｏｎｉｃｓ，　Ｓｅｓｓｉｏｎ　１－－　Ｉｍａｇｉｎｇ　ｉｎ　ｔｈｅ　Ｏｐｔｉｃａｌ　Ｄｅｓｉｇｎ　Ｐｒｏｃｅｓｓ：　Ｄｅｐｔｈ　ｏｆ　Ｆｉｅｌｄ　（２００８） Ｗ．Ｃｈｉ　ａｎｄ　Ｎ．Ｇｅｏｒｇｅ，"Ｃｏｍｐｕｔａｔｉｏｎａｌ　ｉｍａｇｉｎｇ　ｗｉｔｈ　ｔｈｅ　ｌｏｇａｒｉｔｈｍｉｃ　ａｓｐｈｅｒｅ：　ｔｈｅｏｒｙ"，　Ｏｐｔｉｃａｌ　Ｓｏｃｉｅｔｙ　ｏｆ　Ａｍｅｒｉｃａ，　Ｖｏｌ．２０，　Ｎｏ．１２，　Ｄｅｃｅｍｂｅｒ　（２００３） Ｙ．Ｔａｋａｈａｓｈｉ　ａｎｄ　Ｓ．Ｋｏｍａｔｓｕ，"Ｏｐｔｉｍｉｚｅｄ　ｆｒｅｅ－ｆｏｒｍ　ｐｈａｓｅ　ｍａｓｋ　ｆｏｒ　ｅｘｔｅｎｓｉｏｎ　ｏｆ　ｄｅｐｔｈ　ｏｆ　ｆｉｅｌｄ　ｉｎ　ｗａｖｅｆｒｏｎｔ－ｃｏｄｅｄ　ｉｍａｇｉｎｇ"，　Ｏｐｔｉｃａｌ　Ｓｏｃｉｅｔｙ　ｏｆ　Ａｍｅｒｉｃａ，　Ｏｐｔｉｃｓ　Ｌｅｔｔｅｒｓ，　Ｖｏｌ．３３，　Ｎｏ．１３，　Ｊｕｌｙ　１，　（２００８） 高橋康久，　尾花亮，　小松進一，　「ウェイブフロント・コーディング用最適化位相板―軸外の被写界深度拡張効果―」，　Ｏｐｔｉｃｓ　＆　Ｐｈｏｔｏｎｉｃｓ　Ｊａｐａｎ　２００７（日本光学会年次学術講演会），　予稿集，Ｐ．４６４－４６５（２７ｐＣ２），　（２００７）
　近年、簡単にかつ失敗の少ない撮影を行うことが可能なデジタルスチルカメラやデジタルビデオカメラへのニーズがある。このようなデジタルスチルカメラやデジタルビデオカメラを実現するために、ＥＤＯＦ技術を採用することが考えられる。ＥＤＯＦ技術を用いれば、全焦点画像、すなわち合焦ミスから解放されるという効果が期待できるからである。
　本願発明は、このような課題に鑑み、ＥＤＯＦ画像を得ることのできる、撮像装置、撮像装置に用いられる集積回路および撮像方法を提供することを目的とする。
　本願に開示された撮像装置は、二次元に配列された複数の光電変換素子を有し、前記複数の光電変換素子を順次走査して露光させ、前記複数の光電変換素子から順次走査して電気信号を読み出すことにより、画像信号を生成する撮像素子と、前記撮像素子に向けて集光する、フォーカスレンズを含むレンズ光学系と、前記撮像素子と前記フォーカスレンズとの距離が変化するように、前記撮像素子または前記フォーカスレンズの一方を駆動する駆動部と、前記駆動部に指令を出力することにより、所定の変位パターンに基づき、前記駆動される前記撮像素子または前記フォーカスレンズの変位を制御する変位制御部と、前記撮像素子の露光のタイミングに基づき、前記変位制御部を制御する同期部とを備え、前記所定の変位パターンは、撮像シーン中の第１被写体距離において合焦する、前記フォーカスレンズまたは前記撮像素子の第１合焦位置と、前記撮像シーン中の第２被写体距離において合焦する、前記フォーカスレンズまたは前記撮像素子の第２合焦位置との間の全区間における、前記駆動される前記撮像素子または前記フォーカスレンズの往復変位であり、前記駆動される前記撮像素子または前記フォーカスレンズは、複数の光電変換素子のそれぞれにおける、前記撮像シーンの１画像分の露光時間中に整数回数、往復変位する。
　本願に開示された撮像装置、集積回路および撮像方法によれば、ローリングシャッター動作を行うＣＭＯＳ型撮像素子を用いてＦ－ＤＯＦ方式で動画撮影もしくは連続静止画撮影を実現することができる。
第１の実施形態による撮像装置のブロック構成図を示す。 第１の実施形態による撮像装置の動作を示すフローチャートである。 （ａ）は、第１および第２の実施形態におけるフォーカスレンズまたは撮像素子の変位パターンの一例を示し、（ｂ）は、撮像素子の露光および読み出し動作のタイミングを示している。（ｃ）から（ｆ）は、撮像素子の所定の行における露光量とフォーカスレンズまたは撮像素子の位置との関係をそれぞれ示している。 （ａ）は、第１および第２の実施形態におけるフォーカスレンズまたは撮像素子の変位パターンの一例を示し、（ｂ）は、撮像素子の露光および読み出し動作のタイミングを示している。 （ａ）は、第１および第２の実施形態におけるフォーカスレンズまたは撮像素子の変位パターンの一例を示し、（ｂ）は、撮像素子の露光および読み出し動作のタイミングを示している。 （ａ）は、第１および第２の実施形態におけるフォーカスレンズまたは撮像素子の変位パターンの一例を示し、（ｂ）は、撮像素子の露光および読み出し動作のタイミングを示している。 （ａ）は、第１および第２の実施形態におけるフォーカスレンズまたは撮像素子の変位パターンの一例を示し、（ｂ）は、撮像素子の露光および読み出し動作のタイミングを示している。 （ａ）は、第１および第２の実施形態におけるフォーカスレンズまたは撮像素子の変位パターンの一例を示し、（ｂ）は、撮像素子の露光および読み出し動作のタイミングを示している。 （ａ）は、第１および第２の実施形態におけるフォーカスレンズまたは撮像素子の変位パターンの一例を示し、（ｂ）は、撮像素子の露光および読み出し動作のタイミングを示している。 第２の実施形態による撮像装置のブロック構成図を示す。 第２の実施形態による撮像装置の動作を示すフローチャートである。 本願発明者が検討した撮像装置のブロック構成図である。 被写体、フォーカスレンズおよび撮像素子の位置関係を示す図である。 図１２に示す撮像装置におけるフォーカスレンズの位置と露光時間との関係を示す図である。 被写体距離ｖと像面側焦点距離ｕの関係の一例を示すグラフである。 本願発明者が検討した他の撮像装置のブロック構成図である。 ＣＭＯＳ型撮像素子のローリングシャッター動作を説明する図である。 （ａ）は、図１２または図１６に示す撮像装置におけるフォーカスレンズまたは撮像素子の変位パターンの一例を示し、（ｂ）は、撮像素子の露光および読み出し動作のタイミングを示している。（ｃ）から（ｆ）は、撮像素子の所定の行における露光量とフォーカスレンズまたは撮像素子の位置との関係をそれぞれ示している。
　本願発明者は、通常の撮影に用いられる、オートフォーカス機構等のフォーカスレンズを駆動させる機構を備えたデジタルスチルカメラやデジタルビデオカメラにおいて、ＥＤＯＦ画像を得るために適した構造について詳細に検討した。このような用途のカメラでは、得られる画像が高画質であること、ＥＤＯＦ効果が大きいこと、ＥＤＯＦ範囲を任意に変更することが可能なこと、通常のオートフォーカス機構を応用することにより実現可能なこと（特別な光学系を用意しなくてすむこと）、ＥＤＯＦ撮影と通常撮影の切り替えが容易なこと、などから、Ｆ－ＤＯＦ方式が適している。
　まず、Ｆ－ＤＯＦ方式の撮像を実現するのに必要な構成を、図１２および図１３を用いて説明する。図１２に示す撮像装置３００は、露光時間中にフォーカスレンズを変位させる構造の一例を示している。撮像装置３００は、フォーカスレンズ１０１を含むレンズ光学系１２０、フォーカスレンズ１０１を駆動するフォーカスレンズ駆動部１０３および撮像素子１０４を含む。フォーカスレンズ１０１の位置を変化させることにより、撮像素子１０４との距離を変化させ、フォーカス距離を変更し得る。フォーカスレンズ１０１が固定していると考えた場合、フォーカス距離の変更は、焦点位置の変更と同義である。
　レリーズ受付部１１３がユーザから露光開始指令を受け付けると、フォーカスレンズ位置検出部１０２が、フォーカスレンズ１０１のそのときの位置（初期位置）を検出する。検出後、フォーカスレンズ１０１の位置を所定の端位置、例えば最近端もしくは最遠端へ変位させる。
　図１３は、撮影シーンに含まれる被写体と撮像装置３００内におけるフォーカスレンズ１０１および撮像素子１０４との位置関係を示す模式図である。
　最近端とは、撮影シーンに含まれる被写体のうち、撮像装置３００に最も近い被写体が撮像素子１０４の撮像面上において像を形成するようにフォーカスレンズ１０１を移動させた場合におけるフォーカスレンズ１０１の位置をいう。この時、被写体から撮像装置３００のフォーカスレンズ１０１までの距離ｕは最も短くなり、フォーカスレンズ１０１と撮像素子１０４との距離ｖは最も長くなる。
　また、最遠端とは、撮影シーンに含まれる被写体のうち、撮像装置３００に最も遠い被写体が撮像素子１０４の撮像面上において像を形成するようにフォーカスレンズ１０１を移動させた場合におけるフォーカスレンズ１０１の位置をいう。この時、被写体から撮像装置３００のフォーカスレンズ１０１までの距離ｕは最も長くなり、フォーカスレンズ１０１と撮像素子との距離ｖは最も短くなる。なお、図１３では、図示し易さのため、被写体と撮像装置３００との距離に比べて、フォーカスレンズ１０１の最近端と最遠端との距離が大きく示されている。
　フォーカスレンズ１０１の初期化作業と同時に、露光時間決定部１１４にて、シャッター速度や絞り値などの撮影パラメータを決定する。これらの動作の終了後すみやかに、露光、フォーカス変位の同期を取る露光・フォーカスレンズ変位同期部１０７は、露光開始の指令をフォーカスレンズ変位制御部１０６およびシャッター開閉指令部１１２へ出力する。同時にフォーカスレンズ位置検出部１０２で検出されたフォーカスレンズ１０１の端位置に基づき、端位置が最遠端であれば最遠端から最近端へ、端位置が最近端であれば最近端から最遠端へ、露光時間内にフォーカスレンズ１０１を変位させる指令をフォーカスレンズ変位制御部１０６へ出力する。図１４は、露光時間および露光量と像面側の焦点距離との関係を示している。像面側の焦点距離はフォーカスレンズ１０１の位置によって変化し、撮像素子面に対して等速にフォーカスレンズの位置が変位するよう、フォーカスレンズ変位制御部１０６の指令に基づき、フォーカスレンズ１０１がフォーカスレンズ駆動部１０３によって駆動される。上述したように、被写体とフォーカスレンズ１０１との距離をｕとし、フォーカスレンズ１０１と撮像素子１０４との距離をｖとし、焦点距離をｆとすると、一般的にレンズの公式より、
（式１）１／ｆ＝１／ｕ＋１／ｖ
の関係が成り立つ。レンズが複数枚存在するときは、レンズ主点位置で考慮する。一例として、ｆが１８［ｍｍ］のときのｕとｖとの関係を図１５に示す。フォーカスレンズ１０１が変位することにより、レンズ主点と撮像素子間の距離ｖが変化する。撮像素子面に対して等速にフォーカスレンズの変位が変化するよう、フォーカスレンズ１０１を駆動するとは、このｖの変化速度が一定であることを意味する。図１５に示すように、ｖが等速度で変位しても、被写体側の焦点面とレンズ主点間の距離ｕが等速度で変位するわけではない。また図１５の横軸は像面側焦点距離ｖであるため、被写体距離ｕの大小とは逆の関係になる。つまり、被写体距離が長い（遠くに位置する）被写体ほど像面側焦点距離ｖが短くなる。
　露光・フォーカスレンズ変位同期部１０７から露光開始指令を受け取ると、シャッター開閉指令部１１２はすぐに、シャッター１１１が開くよう制御する。また所定の露光時間経過後、露光・フォーカスレンズ変位同期部１０７は、シャッター開閉指令部１１２へ露光終了指令を出力する。シャッター開閉指令部１１２は露光終了指令を受け取り、すぐに、シャッター１１１が閉まるよう制御を行う。
　上記手順によって撮像素子１０４に被写体の光学像が結像すると、結像した光学像は、撮像素子１０４によって電気信号に変換され、読み出し回路１０８を介して、画像処理部１０９へ画像信号が出力される。同時に露光・フォーカスレンズ変位同期部１０７より画像処理部１０９へ、露光が終了したことおよびＦ－ＤＯＦによるフォーカス変位の撮影が行われたことが通知される。画像処理部１０９は画像信号を受け取り、必要な信号処理を行い、記録部１１０へ出力する。
　図１６に示す撮像装置４００は、撮像素子１０４、撮像素子位置検出部２０２、露光・撮像素子変位同期部２０７、撮像素子変位制御部２０６、撮像素子駆動部２０３を備え、露光時間中に撮像素子を変位させる。撮像素子位置検出部２０２は、撮像装置３００とは異なり、撮像素子１０４の位置を検出する。露光・撮像素子変位同期部２０７は露光のタイミングと撮像素子１０４の変位との同期を取る。撮像素子変位制御部２０６は、撮像素子１０４の変位を制御する。撮像素子駆動部２０３は、撮像素子変位制御部２０６からの信号を受けて撮像素子１０４を駆動する。
　レリーズ受付部１１３がユーザから露光開始指令を受け付けると、撮像素子位置検出部２０２が、撮像素子１０４のそのときの位置（初期位置）を検出する。検出後、撮像素子１０４の位置を所定の端位置、例えば最近端もしくは最遠端へ変位させる。ここで所定の合焦範囲のうち、最近端とは、撮影シーンに含まれる被写体のうち、撮像装置４００に最も近い被写体が撮像素子１０４の撮像面上において像を形成するように撮像素子１０４を移動させた場合における撮像素子１０４の位置をいう。この時、被写体からフォーカスレンズ１０１までの距離ｕは最も短くなり、フォーカスレンズ１０１と撮像素子１０４との距離ｖは最も長くなる。また、最遠端とは、撮影シーンに含まれる被写体のうち、撮像装置４００に最も遠い被写体が撮像素子１０４の撮像面上において像を形成するように撮像素子１０４を移動させた場合における撮像素子１０４の位置をいう。この時、被写体からフォーカスレンズ１０１までの距離ｕは最も長くなり、フォーカスレンズ１０１と撮像素子１０４との距離ｖは最も短くなる。
　撮像素子１０４の初期化作業と同時に、露光時間決定部１１４にて、シャッター速度や絞り値などの撮影パラメータを決定する。これらの動作の終了後すみやかに、露光、撮像素子変位の同期を取る露光・撮像素子変位同期部２０７は、露光開始の指令を撮像素子変位制御部２０６およびシャッター開閉指令部１１２へ出力する。同時に撮像素子位置検出部２０２で検出された撮像素子１０４の端位置に基づき、端位置が最遠端であれば最遠端から最近端へ、端位置が最近端であれば最近端から最遠端へ、露光時間内に撮像素子１０４を変位させる指令を撮像素子変位制御部２０６へ出力する。撮像素子１０４は等速で変位する。
　露光・撮像素子変位同期部２０７から露光開始指令を受け取ると、シャッター開閉指令部１１２はすぐに、シャッター１１１が開くよう制御する。また所定の露光時間経過後、露光・撮像素子変位同期部２０７は、シャッター開閉指令部１１２へ露光終了指令を出力する。シャッター開閉指令部１１２は露光終了指令を受け取り、すぐに、シャッター１１１が閉まるよう制御する。
　上記手順にて撮像素子１０４に被写体の光学像を結像すると、結像した光学像は、撮像素子１０４によって電気信号に変換され、読み出し回路１０８を介して画像処理部１０９へ電気信号が出力される。同時に露光・撮像素子変位同期部２０７より画像処理部１０９へ、露光が終了したことおよびＦ－ＤＯＦによるフォーカス変位の撮影が行われたことが通知される。これ以外の構成は、図１２に示す撮像装置３００と同じ動作を行う。
　撮像装置３００および撮像装置４００において、撮像素子１０４には、ＣＣＤ型撮像素子またはＣＭＯＳ型撮像素子が用いられる。このうち、多数の画素を高速に読み出す動作はＣＭＯＳ型撮像素子の方が優れており、例えばＦｕｌｌＨＤ（１９２０×１０８０）サイズの画像を秒間６０フレーム読み出すような用途で民生機に用いられつつある。
　ＣＣＤ型撮像素子およびＣＭＯＳ型撮像素子では、レンズを通して撮像素子を露光させることにより撮像素子内の各画素に電荷を蓄積し、それを読み出すことにより画像情報を得ることができる。ＣＭＯＳ型撮像素子で撮像素子を露光して得られた電荷を連続して読み出す場合、二次元に配列された画素集合を行などの部分単位で順次走査して各画素から電荷を読み出すローリングシャッターと呼ばれる電子シャッター制御方式が用いられる。
　図１７はＣＭＯＳ型撮像素子における画素集合からの電荷の読み出しタイミングを示している。横軸は時間を示し、縦軸は、撮像素子の読み出し行の位置を示している。撮像素子はＮ行の複数の画素行によって構成されている。図１７に示すように、撮像素子の先頭行から順次走査して各画素から電荷を読み出し、その直後から電荷を蓄積し始め、所定時間経過後に再度走査して各画素から電荷を読み出すことにより画像信号を得る。第Ｎ行目の走査が終了した後は先頭から走査を再度繰り返すことにより、連続した動画像を得ることができる。図１７からわかるように、ローリングシャッターで撮影を行う場合、撮像素子面内での撮像タイミングにずれが生じ、先頭行と最終行では最大１読み出し時間分のずれが生じる。
　前述のＦ－ＤＯＦ方式を実現するためには、フォーカス状態を所定の合焦範囲の最遠端から最近端まで変位させて（以降、この動作をスイープ動作と称する）、撮像素子面内の全ての画素を均一に露光させた画像を得る必要がある（以降、この画像をスイープ画像と称する）。ところが撮像素子にＣＭＯＳ型撮像素子を用いる場合、前述のローリングシャッターにより撮像素子面内の撮像タイミングのずれが発生するため、単純に最遠端から最近端までスイープ動作させても、撮像素子面内で均一なスイープ画像を得ることができない。
　図１８（ａ）は連続して撮像するために、フォーカスレンズの位置を最遠端から最近端の間で往復動作によって変化させた場合におけるフォーカスレンズの位置（フォーカスレンズと撮像素子との距離）を示す図であり、図１８（ｂ）は図１８（ａ）に対応したＣＭＯＳ型撮像素子の露光および読み出しタイミングを示す図である。撮像素子が最遠端で合焦する位置から撮像素子先頭行に電荷の蓄積を開始し、撮像素子が最近端で合焦する位置に到達したタイミングで撮像素子先頭行に蓄積された電荷を読み出す。それと同時に撮像素子最終行に電荷の蓄積を開始し、撮像素子が再度最遠端に到達したタイミングで撮像素子最終行に蓄積された電荷を読み出す。
　図１８（ｃ）～（ｆ）は、それぞれ撮像素子の読み出し行の先頭である第１行目、中間部のｉ行目およびｊ行目、終端行であるＮ行目におけるフォーカスレンズの位置と露光量の分布を示す図である。図からわかるように、第１行目およびＮ行目以外では最遠端から最近端まで均一に露光ができず、最適なスイープ画像の取得ができない。
　なお、ＣＣＤ型撮像素子を用いる場合、撮像素子面内において同一タイミングで撮像素子の露光・読み出しが可能であるため、図１８（ａ）に示すスイープ動作でスイープ画像を得ることができる。しかしＣＣＤ型撮像素子は高速読み出しに不向きである。このため、高解像度かつ高いフレームレートでＥＤＯＦ画像を得るためには、ＣＭＯＳ型撮像素子を用いた撮像装置において、Ｆ－ＥＤＯＦ方式による撮影を行うことが好ましい。
　本願発明者はこのような課題に鑑み、新規な撮像装置を想到した。以下、図面を参照しながら、本発明による撮像装置、集積回路および撮像方法の実施の形態を詳細に説明する。以下の説明において、同じ構成要素には同じ符号を付しており、説明を省略する場合もある。
　本発明の一態様である撮像装置は、二次元に配列された複数の光電変換素子を有し、前記複数の光電変換素子を順次走査して露光させ、前記複数の光電変換素子から順次走査して電気信号を読み出すことにより、画像信号を生成する撮像素子と、前記撮像素子に向けて集光する、フォーカスレンズを含むレンズ光学系と、前記撮像素子と前記フォーカスレンズとの距離が変化するように、前記撮像素子または前記フォーカスレンズの一方を駆動する駆動部と、前記駆動部に指令を出力することにより、所定の変位パターンに基づき、前記駆動される前記撮像素子または前記フォーカスレンズの変位を制御する変位制御部と、前記撮像素子の露光のタイミングに基づき、前記変位制御部を制御する同期部とを備え、前記所定の変位パターンは、撮像シーン中の第１被写体距離において合焦する、前記フォーカスレンズまたは前記撮像素子の第１合焦位置と、前記撮像シーン中の第２被写体距離において合焦する、前記フォーカスレンズまたは前記撮像素子の第２合焦位置との間の全区間における、前記駆動される前記撮像素子または前記フォーカスレンズの往復変位であり、前記駆動される前記撮像素子または前記フォーカスレンズは、複数の光電変換素子のそれぞれにおける、前記撮像シーンの１画像分の露光時間中に整数回数、往復変位する。
　ある例示的な態様において、前記撮像素子において、前記複数の光電変換素子は行方向および列方向に二次元に配置されており、前記複数の光電変換素子は行ごとに露光され、前記複数の光電変換素子から行ごとに前記画像信号が読み出される。
　ある例示的な態様において、前記駆動される前記撮像素子または前記フォーカスレンズは、前記露光の開始に同期して前記変位動作を開始し、前記露光の終了に同期して前記変位動作が終了する。
　ある例示的な態様において、撮像装置は、前記撮像シーンに基づいて前記撮像素子の露光時間を決定する露光時間決定部と、前記第１合焦位置、前記第２合焦位置および前記露光時間に基づいて前記変位パターンを決定する変位設定部とをさらに備える。
　ある例示的な態様において、撮像装置は、前記駆動される前記撮像素子または前記フォーカスレンズの位置を検出する位置検出部をさらに備え、前記変位制御部は前記位置検出部の出力および前記変位パターンに基づき、前記駆動部に駆動量を指令する。
　ある例示的な態様において、撮像装置は、前記撮像素子から前記画像信号を読み出す読み出し回路をさらに備え、同期部は、前記撮像素子の露光のタイミングに基づき、前記変位制御部および前記読み出し回路を制御する。
　ある例示的な態様において、前記往復変位の回数は１である。
　ある例示的な態様において、前記往復変位の回数は２である。
　本発明の一態様である集積回路は、二次元に配列された複数の光電変換素子を有し、前記複数の光電変換素子を順次走査して露光させ、前記複数の光電変換素子から順次走査して電気信号を読み出すことにより、画像信号を生成する撮像素子と、前記撮像素子に向けて集光する、フォーカスレンズを含むレンズ光学系と、前記撮像素子と前記フォーカスレンズとの距離が変化するように、前記撮像素子または前記フォーカスレンズの一方を駆動する駆動部とを備えた撮像装置の集積回路であって、前記駆動部に指令を出力することにより、所定の変位パターンに基づき、前記駆動される前記撮像素子または前記フォーカスレンズの変位を制御する変位制御部と、前記撮像素子の露光のタイミングに基づき、前記変位制御部を制御する同期部とを備え、前記所定の変位パターンは、前記撮像シーン中の第１被写体距離において合焦する、前記フォーカスレンズまたは前記撮像素子の第１合焦位置と、前記撮像シーン中の第２被写体距離において合焦する、前記フォーカスレンズまたは前記撮像素子の第２合焦位置との間の全区間における、前記駆動される前記撮像素子または前記フォーカスレンズの往復変位であり、前記駆動される前記撮像素子または前記フォーカスレンズは、複数の光電変換素子のそれぞれにおける前記撮像シーンの１画像分の露光時間中に整数回数往復変位する。
　本発明の一態様である撮像方法は、二次元に配列された複数の光電変換素子を有し、前記複数の光電変換素子を順次走査して露光させ、前記複数の光電変換素子から順次走査して電気信号を読み出すことにより、画像信号を生成する撮像素子に、フォーカスレンズによって光を集光することにより、撮像シーンを結像させる撮像方法であって、前記複数の光電変換素子のそれぞれにおける前記撮像シーンの１画像分の露光時間中、前記撮像シーン中の第１被写体距離において合焦する、前記フォーカスレンズまたは前記撮像素子の第１合焦位置と、前記撮像シーン中の第２被写体距離において合焦する、前記フォーカスレンズまたは前記撮像素子の第２合焦位置との間の全区間において、前記撮像素子または前記フォーカスレンズの一方を整数回、往復変位させる。
　（第１の実施形態）
　以下、図面を参照しながら、本発明による撮像装置、集積回路および撮像方法の第１の実施形態を説明する。
　図１は、本実施形態の撮像装置１００を示すブロック構成図である。撮像装置１００は、フォーカスレンズ駆動部１０３と、撮像素子１０４と、フォーカスレンズ変位制御部１０６と、露光・フォーカスレンズ変位同期部１０７と、レンズ光学系１２０とを備える。
　撮像素子１０４は、ＣＯＭＳ型の撮像素子であり、二次元に配列された複数の光電変換素子を有する。撮像素子１０４は、複数の光電変換素子を順次走査して露光させる。また、複数の光電変換素子から順次走査して電気信号を読み出すことにより、画像信号を生成する。
　レンズ光学系１２０は、撮像素子１０４に向けて集光し、撮像シーンを撮像素子１０４に結像させるフォーカスレンズ１０１を含む。撮像シーン中の所望の被写体に対して合焦させるため、レンズ光学系１２０はフォーカスレンズ１０１以外に他の１枚以上のレンズを含んでいてもよい。フォーカスレンズ１０１も複数枚のレンズで構成されていてもよい。フォーカスレンズ１０１が複数のレンズによって構成される場合、フォーカスレンズの位置とは、複数のレンズによる主点の位置をいう。
　本実施形態では、フォーカスレンズ駆動部１０３は、撮像素子１０４とフォーカスレンズ１０１との距離が変化するように、撮像素子１０４またはフォーカスレンズ１０１の一方を駆動する駆動部として機能する。つまり、フォーカスレンズ駆動部１０３は、駆動信号に基づき、撮像素子１０４とフォーカスレンズ１０１との距離が変化するように、フォーカスレンズを駆動する。
　フォーカスレンズ変位制御部１０６は、以下において説明するように、フォーカスレンズ駆動部１０３に指令を出力することにより、所定の変位パターンに基づき、フォーカスレンズ１０１の変位を制御する。
　露光・フォーカスレンズ変位同期部１０７は、撮像素子１０４の露光のタイミングに基づき、フォーカスレンズ変位制御部１０６を制御する。
　撮像装置１００は、さらに、フォーカスレンズ位置検出部１０２と、フォーカスレンズ変位設定部１０５と、読み出し回路１０８と、画像処理部１０９と、記録部１１０と、シャッター１１１と、シャッター開閉指令部１１２と、レリーズ受付部１１３と、露光時間決定部１１４とを含む。
　フォーカスレンズ位置検出部１０２は、位置センサを含み、フォーカスレンズ１０１の位置を検出し、検出信号をフォーカスレンズ変位制御部１０６へ出力する。フォーカスレンズ変位設定部１０５はフォーカスレンズ１０１の変位パターンを設定し、目標フォーカスレンズの位置とする。これにより、フォーカスレンズ変位制御部１０６は、目標フォーカスレンズの位置とフォーカスレンズ位置検出部１０２によって検出されたフォーカスレンズ１０１の現在位置との差から駆動信号を計算してフォーカスレンズ駆動部１０３に出力する。
　レリーズ受付部１１３において、ユーザからの露光開始指令を受け付けると、露光時間決定部１１４が撮像素子１０４の露光時間を決定する。また、露光・フォーカスレンズ変位同期部１０７およびフォーカスレンズ変位設定部１０５に露光時間に関する情報を出力する。
　露光・フォーカスレンズ変位同期部１０７は、露光時間に関する情報に基づき、同期したタイミングで露光、フォーカスレンズ１０１の駆動および撮像素子１０４からの電気信号の読み出しを行うように、シャッター開閉指令部１１２、フォーカスレンズ変位制御部１０６および読み出し回路１０８に指令を出力する。具体的には、シャッター開閉指令部１１２に露光のタイミングおよび露光時間を指令する。また、フォーカスレンズ変位制御部１０６にフォーカスレンズ１０１を駆動するタイミングおよび駆動時間を指令する。
　シャッター１１１は、シャッター開閉指令部１１２からの指令に応じて開閉動作を行う。シャッター１１１が開状態のとき、撮像素子１０４はフォーカスレンズ１０１によって集光された光によって露光され、露光された光は電気信号に変換されて出力される。
　読み出し回路１０８は撮像素子１０４に読み出し信号を出力することによって電気信号を読み出し、読み出した電気信号を画像処理部１０９へ出力する。
　画像処理部１０９は入力された電気信号に対して各種補正等を行い、逐次１ビデオフレーム分の撮影シーンの画像を構成する画像信号を構築し、記録部１１０に出力する。
　これにより、撮像装置１００は、フォーカスレンズ１０１を駆動してフォーカスレンズの位置を変化させながら撮像素子１０４に露光させ、スイープ画像を得ることが可能となる。
　撮像装置１００の上述の構成要素のうち、フォーカスレンズ位置検出部１０２、フォーカスレンズ駆動部１０３、撮像素子１０４、画像処理部１０９、レリーズ受付部１１３、記録部１１０は、公知のハードウエアによって構成されていてもよい。また、フォーカスレンズ変位設定部１０５、フォーカスレンズ変位制御部１０６、露光・フォーカスレンズ変位同期部１０７、読み出し回路１０８、画像処理部１０９、記録部１１０、シャッター開閉指令部１１２、および露光時間決定部１１４の各構成要素の一部または全部は、ＣＰＵなどの情報処理回路およびメモリ等の記憶部に記憶されたソフトウエアによって構成されていてもよい。この場合、情報処理回路は、以下において説明する撮像方法の手順を規定するソフトウエアをメモリから読み出し、撮像方法の手順を実行することによって、撮像装置１００の各構成要素を制御する。これら情報処理回路およびメモリに記憶されたソフトウエアによって実現される構成要素の一部は、専用の集積回路によって構成されていてもよい。例えば、フォーカスレンズ変位設定部１０５、フォーカスレンズ変位制御部１０６、露光・フォーカスレンズ変位同期部１０７およびシャッター開閉指令部１１２は集積回路を構成してもよい。
　次に、図１、図２および図３を参照しながら、本実施形態の撮像方法、特に、スイープ画像を得るためのフォーカスレンズの位置と撮像素子１０４の露光および信号読み出しのタイミングについて説明する。
　図２は本実施の形態の撮像方法を示すフローチャートであり、図３（ａ）は、フォーカスレンズの位置を最遠端と最近端との間で往復スイープさせたときのフォーカスレンズの位置変化を示す図である。横軸は時間を示し、縦軸は、フォーカスレンズの位置（撮像素子との距離）を示している。図３（ｂ）は図３（ａ）に示す時間軸に対応したＣＭＯＳ型撮像素子の露光および読み出しタイミングを示す図である。この例では、スイープ画像を得る対象となるフォーカスレンズの位置の最遠端（フォーカスレンズと撮像素子間との距離が最も短い）と最近端（フォーカスレンズと撮像素子間との距離が最も長い）の位置を設定したうえで、最遠端となる位置をフォーカスレンズの位置の初期位置とし、最遠端から最近端までの全区間を往復変位する。
　上述したように最遠端及び最近端とは、撮像装置から種々の距離にある被写体が含まれる撮像シーン中、所定の距離範囲内にある種々の被写体を撮像素子１０４の撮像面に焦点が一致するようにフォーカスレンズ１０１を移動させた場合おいて、最も撮像装置に近い被写体が結像する場合および最も撮像装置に遠い被写体が結像する場合におけるフォーカスレンズ１０１の位置をいう。最遠端（第１合焦位置）で結像する被写体は、所定の距離範囲内のうち、最も撮像装置から長い距離に位置（第１被写体距離）し、最近端（第２合焦位置）で結像する被写体は、所定の距離範囲内のうち、最も撮像装置から短い距離に位置（第２被写体距離）している。
　また、往復とは、最遠端から最近端までの間の任意の点出発点として最遠端または最近端へ向かって移動し、最遠端または最近端で折り返し、出発点へ戻ることをいう。全区間を往復変位するとは、最遠端から最近端までの間の任意の点出発点として最遠端または最近端へ向かって移動し、最遠端または最近端で折り返し、出発点へ戻り、最遠端と最近端との間で、通過していない部分があれば、さらに折り返し進行する方向に位置する最近端または最遠端まで移動し、最近端または最遠端で再度折り返した後、出発点まで戻ることをいう。
　撮像素子１０４は上述したように、ローリングシャッター動作を行うＣＭＯＳ型撮像素子であり、複数の光電変換素子は行方向および列方向に二次元に配置されている。
　複数の光電変換素子は行ごとに露光され、複数の光電変換素子から行ごとに画像信号が読み出される。図３に示す例では、撮像素子１０４の各行の光電変換素子の露光時間と読み出し時間とが等しい。１枚の撮像シーンの画像を得るための時間、つまり、１ビデオフレームは露光時間と読み出し時間との和によって定義される。
　図２に示すように、まず、ユーザによるレリーズ動作を受け付けると（Ｓ１０１）、露光時間決定部１１４にてシャッター速度や絞り値などの撮影パラメータから露光時間パラメータを決定する（Ｓ１０２）。露光時間パラメータは、フォーカスレンズ変位設定部１０５および露光・フォーカスレンズ変位同期部１０７に出力される。
　次に、決定した露光時間パラメータから、フォーカスレンズ変位設定部１０５は、フォーカスレンズの位置の変位パターンを生成する（Ｓ１０３）。変位パターンは、最遠端と最近端との間の全区間における往復変位である。より具体的には、変位パターンは、最遠端から最近端までの全区間の１往復動作にかかる時間と１ビデオフレーム中の露光時間とが等しくなり、撮像素子１０４の全領域から電気信号を読み出し終わるまで往復変位する動作を継続するように設定される。設定された変位パターンは、フォーカスレンズ変位制御部１０６へ出力される。
　フォーカスレンズの位置の変位パターン決定後、露光・フォーカスレンズ変位同期部１０７は、撮像素子１０４の露光のタイミングに基づいて、フォーカスレンズ変位設定部１０５および読み出し回路１０８が動作するように、シャッター開閉指令部１１２、フォーカスレンズ変位設定部１０５および読み出し回路１０８に指令を出力する。これにより、シャッター開閉指令部１１２がシャッター１１１を解放し、撮像素子１０４の露光が開始され、露光の開始に同期して、フォーカスレンズ変位制御部１０６の指令により、フォーカスレンズ駆動部１０３がフォーカスレンズ１０１を変位させる。ここで同期とは、同時である場合および所定の遅延時間を挟む場合を含む。
　具体的には、撮像素子１０４の先頭読み出し行である第１行目の露光が開始するとともに、フォーカスレンズ１０１をフォーカスレンズ駆動部１０３によって変位させ、フォーカスレンズの位置を最遠端から移動させ、露光時間の１／２の時間で最近端に到達させる。その直後にフォーカスレンズ１０１の変位方向を反転させて移動を開始し、読み出し行第１行目の露光完了とともに、フォーカスレンズ１０１を最遠端の位置に到着させる。この時点で露光が完了しているのは読み出し行第１行目のみであり、他の読み出し行も同様に最遠端から最近端の範囲を均一に露光する必要がある。そこで、撮像素子１０４の最終読み出し行である第Ｎ行目の露光および読み出しが完了するまで、これまでの変位動作を繰り返し継続する。つまり露光の終了に同期して、変位動作が終了する。上述したように、読み出し回路１０８は、撮像素子１０４の露光が完了した行から、電気信号を読み出す。
　図３（ａ）および図３（ｂ）で示した例では、撮像素子１０４の全領域の露光および読み出しが完了するまでの間に、フォーカスレンズ１０１の位置を最遠端から最近端までちょうど２往復させることになる。図３（ｃ）～（ｆ）は、それぞれ図３（ｂ）の撮像素子の読み出し行の先頭である第１行目、中間部の第ｉ行目および第ｊ行目、最終行である第Ｎ行目におけるフォーカスレンズ１０１の位置と露光量の分布を示す図である。図３（ａ）および図３（ｂ）に示すように、撮像素子１０４の露光および読み出し動作と同期を取りつつフォーカスレンズ１０１の位置の変位動作を行うことにより、撮像素子１０４の全ての読み出し行において最遠端から最近端のフォーカスレンズの位置の範囲で均一に露光したスイープ画像を得ることができる。
　スイープ画像取得後は、フォーカスレンズの位置変位を停止するとともに、シャッターを閉じることにより撮影を完了する。
　図３（ａ）および図３（ｂ）では撮像素子からの読み出しが完了したタイミングでフォーカスレンズ１０１を最遠端の位置で停止させている。しかし、本動作を連続して行えば連続してスイープ画像を得ることができるため、動画像処理に適用することができる。
　なお、図３（ａ）で示したフォーカスレンズの位置の変位パターンは一例であり、１ビデオフレームにおける撮像素子１０４の各行の露光時間中、フォーカスレンズの位置の変位を整数回、往復すれば、全ての読み出し行において最遠端から最近端のフォーカスレンズの位置の範囲で均一に露光したスイープ画像を得ることができる。これは、撮像素子のすべての行、つまり、撮像面の全領域の読み出しが完了するまでフォーカスレンズの位置変位の往復動作を繰り返すことになる。この条件を満たす限り、種々の変位パターンを設定してもよい。図３（ａ）の変位パターンにおいては、露光時間中、フォーカスレンズは、最遠端と最近端とで規定される区間全体を１往復し、撮像素子全領域の読み出しが完了するまでの１ビデオフレーム中における往復回数は２である。
　また、図３（ａ）ではフォーカスレンズが変位する初期位置は最遠端であったが、最遠端と最近端とで規定される区間全体を往復するのであれば、最遠端と最近端との間の任意の位置からフォーカスレンズの変位を開始してもよい。図４（ａ）は、フォーカスレンズ１０１の位置の初期位置を最遠端および最近端以外の位置に設定した場合における変位パターンを示している。図４（ｂ）は図４（ａ）の時間軸に対応した撮像素子１０４の露光および読み出しタイミングを示している。図４（ａ）および図４（ｂ）に示すように、フォーカスレンズ１０１が、撮像素子１０４の露光に同期して、最遠端と最近端との間の途中の位置から変位を開始しても、撮像素子１０４の各行の露光時間の間にフォーカスレンズ１０１が、最遠端と最近端との間の全区間を一往復し、移動を開始した位置に戻れば、フォーカスレンズ１０１の位置の初期位置に関係なくスイープ画像を得ることができる。図４（ａ）の変位パターンにおいては、露光時間中、フォーカスレンズ１０１は、最遠端と最近端とで規定される区間全体を１往復し、撮像素子全領域の読み出しが完了するまでの１ビデオフレーム中における往復回数は２である。
　図５（ａ）は、１ビデオフレームにおける露光時間中のフォーカス往復スイープ回数が２である場合の変位パターンを示している。図５（ｂ）は図５（ａ）の時間軸に対応した撮像素子１０４の露光および読み出しタイミングを示している。図２（ａ）に示す変位パターンと比べ、フォーカスレンズ１０１の位置の変位周期が１／２であるが、フォーカスレンズ駆動部１０３の駆動能力の範囲内であればさらに往復回数を増加させることも可能である。図５（ａ）の変位パターンにおいては、露光時間中、フォーカスレンズ１０１は、最遠端と最近端とで規定される区間全体を２往復し、撮像素子全領域の読み出しが完了するまでの１ビデオフレーム中における往復回数は４である。このような変位パターンでも、撮像素子１０４の全ての読み出し行において最遠端から最近端のフォーカスレンズの位置の範囲で均一に露光したスイープ画像を得ることができる。
　また、図３（ａ）は撮像素子１０４の各行の露光時間と読み出し時間が等しい場合における変位パターンを説明したが、それ以外の変位パターンを採用してもよい。図６（ａ）は、撮像素子１０４の各行の露光時間が読み出し時間の１／２である場合における変位パターンを示している。図６（ｂ）は図６（ａ）の時間軸に対応した撮像素子１０４の露光および読み出しタイミングを示している。このような動作は、例えば、撮像素子１０４が持つ基本的機能である電子シャッターを用いることにより実現可能であり、撮像素子１０４への入射される光量が大きい場合に露光量を制限する目的で使用される。このような場合においても、前述のフォーカス往復スイープ条件を満たす範囲内でスイープ画像を得ることができる。図６（ａ）においては、撮像素子１０４の各行の露光時間中のフォーカス往復スイープ回数は１であり、撮像素子１０４の撮像面の全領域の読み出しが完了するまでのフォーカス往復スイープ回数は３である。この場合でも、撮像素子１０４の全ての読み出し行において最遠端から最近端のフォーカスレンズの位置の範囲で均一に露光したスイープ画像を得ることができる。上述したように、フォーカスレンズ１０１が変位を開始する初期位置は、最遠端と最近端との間でもあってもよい。
　図７（ａ）は、撮像素子１０４の各行の露光時間が読み出し時間の２／３である場合における変位パターンを示している。図７（ｂ）は図７（ａ）の時間軸に対応した撮像素子１０４の露光および読み出しタイミングを示している。図７（ａ）においては、撮像素子１０４の各行の露光時間中のフォーカス往復スイープ回数は１であり、露光の開始から撮像素子１０４の撮像面の全領域の読み出しが完了するまでのフォーカス往復スイープ回数は２．５である。この場合でも、撮像素子１０４の全ての読み出し行において最遠端から最近端のフォーカスレンズの位置の範囲で均一に露光したスイープ画像を得ることができる。このように、露光時間を調整するとともに、変位パターンを露光時間に合わせて変化させることにより、スイープ画像取得前後のフォーカスレンズの位置を任意に設定することが可能である。これにより、複数のフォーカスレンズの位置における固定焦点画像とスイープ画像を交互に高速に得ることも可能となる。
　なお、暗所撮影時など、より長時間露光が必要となる条件であっても、本実施形態の撮像装置を好適に用いることができる。図８（ａ）は、撮像素子１０４の各行の露光時間が読み出し時間の２倍である場合における変位パターンを示している。図８（ｂ）は図７（ａ）の時間軸に対応した撮像素子１０４の露光および読み出しタイミングを示している。図８（ａ）に示す変位パターンでは、撮像素子１０４の各行の露光時間中のフォーカス往復スイープ回数は１であり、露光の開始から撮像素子１０４の撮像面の全領域の読み出しが完了するまでのフォーカス往復スイープ回数は１．５である。
　また、撮像素子１０４の露光時間中に２回以上読み出しを行ってもよい。図９（ａ）は、撮像素子１０４の各行の露光時間中に２回読み出しを行う場合における変位パターンを示している。図９（ｂ）は図９（ａ）の時間軸に対応した撮像素子１０４の露光および読み出しタイミングを示している。図９（ｂ）に示すように、撮像素子１０４の各行の露光時間中、２回読み出しが行われる。各行の露光時間は読み出し時間の２倍である。図９（ａ）に示す変位パターンでは、撮像素子１０４の各行の露光時間中のフォーカス往復スイープ回数は１であり、露光の開始から撮像素子１０４の撮像面の全領域の読み出しが完了するまでのフォーカス往復スイープ回数は１．５である。図９（ａ）および図９（ｂ）から分かるように、読み出し１あるいは読み出し２の際の露光時間中、撮像素子１０４の１行目およびＮ行目を除いて、フォーカスレンズは最遠端から最近端の全範囲にはない。このため、読み出し１あるいは読み出し２の一方の電気信号では、最遠端から最近端のフォーカスレンズの位置の範囲で均一に露光したスイープ画像とはならない。しかし、読み出し１および読み出し２の電気信号を画像処理部１０９で合成することによって得られる画像信号を、１ビデオフレーム分の画像信号として用いることにより、最遠端から最近端のフォーカスレンズの位置の範囲で均一に露光したスイープ画像が得られる。
　図９（ａ）および（ｂ）では、各行の露光時間中、２回読み出しを行う場合における変位パターンを示したが、露光時間を長くとり、読み出し回数を３回以上にしてもよい。また、露光時間は読み出し時間の整数倍でなくてもよい。図９（ａ）に示す変位パターンにおいて、読み出し時間が例えば、図３（ａ）に示す変位パターンにおける読み出し時間と同程度であるとすれば、フォーカス往復スイープ動作の動作周波数を、図３（ａ）に示す変位パターンに比べて低下させることができる。この動作周波数を下げることは、フォーカスレンズ駆動部の消費電力の低減や仕様緩和などにつながり、デジタルスチルカメラなどの小型・省電力・低コストが求められる製品に対して効果がある。
　なお、これまで述べた往復スイープ動作中のフォーカスレンズの変位は、スイープ画像中の各フォーカスレンズの位置での露光量が均一となるように、往・復それぞれの動作において略等速直線運動であってもよい。
　また、本実施形態でこれまで説明した変位パターンを用いた撮像装置の動作は、撮像素子の読み出し時間（速度）に依存しない。図３（ａ）から図９（ａ）に示した変位パターンを、露光時間や読み出し時間に合わせて、時間軸方向に伸縮することにより、上述したように、最遠端から最近端のフォーカスレンズの位置の範囲で均一に露光したスイープ画像が得られる。
　読み出し時間を短くすると、露光時間も短くなり、１ビデオフレーム時間も短くなる。この場合、フォーカスレンズの変位速度を対応して速くしてもよい。あるいは、図９を参照して説明したように、複数回の露光および読み出しによる画像信号を合成し、１ビデオフレームの画像信号とすることにより、フォーカスレンズの変位速度を速めなくてもよい。これにより、フォーカスレンズ駆動部の消費電力の低減することができる。
　なお、図５から図９で説明した動作において、フォーカスレンズの初期位置は図４を用いて説明した場合と同様、最遠端と最近端との間の任意の位置であってもよい。
　また、フォーカス往復スイープ動作の往復距離（最遠端と最近端との距離）が大きいと、フォーカスレンズ駆動部により高い駆動性能が求められ、消費電力の増加にもつながる場合がある。この場合、最遠端と最近端とで規定される区間を複数に副区間に分割し、各副区間においてスイープ画像を取得することにより、より広い焦点距離でスイープ画像を取得することが可能となる。例えば、最遠端と最近端とで規定される区間を中間位置で２分割し、図３から図９で説明したフォーカス往復スイープ動作を、中間位置から最遠端までの副区間および中間位置から最近端までの副区間において、交互に繰り返し行う。これにより、１回の往復振幅を半分にすることができる。また、副区間をさらに細かく分割すれば、非常に広い範囲のスイープ画像を一連の動作で取得できる。これらの動作は、高速な読み出しが可能な撮像素子と組み合わせることにより、より効果を発揮する。
　以上で述べたように、本実施形態によれば、フォーカスレンズの位置を変位させつつ撮像素子の露光および読み出し動作を行うことにより、ローリングシャッター動作を行うＣＭＯＳ型撮像素子であっても高速に連続してスイープ画像を得ることが可能となる。
　（第２の実施形態）
　図１０および図１１を参照しながら、本発明による撮像装置、集積回路および撮像方法の第２の実施形態を説明する。
　図１０は、本実施形態の撮像装置２００を示すブロック構成図である。第１の実施形態の撮像装置１００と同一の構成要素には同じ参照符号を付している。撮像装置２００は、撮像素子１０４の位置を移動させることにより、レンズ光学系１２０のフォーカスレンズ１０１との距離を変化させる点で撮像装置１００と異なる。
　このために、撮像装置２００は、撮像素子位置検出部２０２、撮像素子駆動部２０３、撮像素子変位設定部２０５、撮像素子変位制御部２０６および露光・撮像素子変位同期部２０７を備える。
　撮像素子位置検出部２０２は、位置センサを含み、撮像素子１０４の位置を検出し、検出信号を撮像素子変位制御部２０６へ出力する。撮像素子変位設定部２０５は撮像素子１０４の変位パターンを設定し、目標撮像素子の位置とする。これにより、撮像素子変位制御部２０６は、目標撮像素子位置と撮像素子位置検出部２０２によって検出された撮像素子１０４の現在位置との差から駆動信号を計算して撮像素子駆動部２０３に出力する。
　レリーズ受付部１１３において、ユーザからの露光開始指令を受け付けると、露光時間決定部１１４が撮像素子１０４の露光時間を決定する。また、露光・撮像素子変位同期部２０７に露光時間に関する情報を出力する。
　露光・撮像素子変位同期部２０７は、露光時間に関する情報に基づき、同期したタイミングで露光、撮像素子１０４の駆動および撮像素子１０４からの電気信号の読み出しを行うように、シャッター開閉指令部１１２、撮像素子変位制御部２０６および読み出し回路１０８に指令を出力する。具体的には、シャッター開閉指令部１１２に露光のタイミングおよび露光時間を指令する。また、撮像素子変位制御部２０６に撮像素子１０４を駆動するタイミングおよび駆動時間を指令する。これにより、撮像装置２００は、撮像素子１０４を駆動して撮像素子の位置を変化させながら撮像素子１０４に露光させ、スイープ画像を得ることが可能となる。
　図１１は、本実施形態の撮像方法を示すフローチャートである。撮像素子とフォーカスレンズとの距離を変化させるために、撮像素子を変位させることを除けば、図２で説明した第１の実施形態における撮像方法と同じである。
　撮像素子の変位パターンは、第１の実施形態で説明したフォーカスレンズの位置の変位パターンである、図３（ａ）から図９（ａ）と同じである。
　このように、撮像素子を駆動し、撮像素子の位置を変化させる構成であっても、第１の実施形態と同様にスイープ画像を得ることが可能である。
　以上説明した第１および第２の実施形態において、フォーカスレンズ駆動部１０３または撮像素子駆動部２０３にステッピングモータを用いてもよい。その場合、フォーカスレンズ位置検出部１０２または撮像素子位置検出部２０２を用いなくても、フォーカスレンズ１０１または撮像素子１０４の現在の位置を特定することができるため、フォーカスレンズ位置検出部１０２または撮像素子位置検出部２０２を撮像装置が備えていなくてもよい。また、フォーカスレンズ駆動部１０３または撮像素子駆動部２０３として、ボイスコイルモータを用いてもよい。その場合、ステッピングモータと比べてより高速な駆動が可能となる。さらに、フォーカスレンズ駆動部１０３または撮像素子駆動部２０３として、圧電素子アクチュエータを用いてもよい。その場合、ボイスコイルモータと比べて、より低消費電力な駆動が可能となる。
　また、上述した実施形態の具体的な実施態様および実施例は、あくまでも、本発明の技術内容を明らかにするものであって、そのような具体例にのみ限定して本発明が解釈されるべきではない。上述した実施形態に種々の変更、改変を行い実施することが可能である。
　本願に開示された撮像装置、集積回路および撮像方法によれば、ローリングシャッター動作を行うＣＭＯＳ型撮像素子を用いてＦ－ＤＯＦ方式で動画撮影もしくは連続静止画撮影を実現することができる。これらの構成は、例えば民生用もしくは業務用のデジタルスチルカメラ、デジタルビデオカメラなどに好適に用いることが可能である。
　１００、２００、３００、４００　　撮像装置
　１０１　　フォーカスレンズ
　１０２　　フォーカスレンズ位置検出部
　１０３　　フォーカスレンズ駆動部
　１０４　　撮像素子
　１０５　　フォーカスレンズ変位設定部
　１０６　　フォーカスレンズ変位制御部
　１０７　　露光・フォーカスレンズ変位同期部
　１０８　　読み出し回路
　１０９　　画像処理部
　１１０　　記録部
　１１１　　シャッター
　１１２　　シャッター開閉指令部
　１１３　　レリーズ受付部
　１１４　　露光時間決定部
　１２０　　レンズ光学系
　２０２　　撮像素子位置検出部
　２０３　　撮像素子駆動部
　２０５　　撮像素子変位設定部
　２０６　　撮像素子変位制御部
　２０７　　露光・撮像素子変位同期部

Claims (10)

  1. 　二次元に配列された複数の光電変換素子を有し、前記複数の光電変換素子を順次走査して露光させ、前記複数の光電変換素子から順次走査して電気信号を読み出すことにより、画像信号を生成する撮像素子と、
    　前記撮像素子に向けて集光する、フォーカスレンズを含むレンズ光学系と、
    　前記撮像素子と前記フォーカスレンズとの距離が変化するように、前記撮像素子または前記フォーカスレンズの一方を駆動する駆動部と、
    　前記駆動部に指令を出力することにより、所定の変位パターンに基づき、前記駆動される前記撮像素子または前記フォーカスレンズの変位を制御する変位制御部と、
    　前記撮像素子の露光のタイミングに基づき、前記変位制御部を制御する同期部と、
    を備え、
    　前記所定の変位パターンは、撮像シーン中の第１被写体距離において合焦する、前記フォーカスレンズまたは前記撮像素子の第１合焦位置と、前記撮像シーン中の第２被写体距離において合焦する、前記フォーカスレンズまたは前記撮像素子の第２合焦位置との間の全区間における、前記駆動される前記撮像素子または前記フォーカスレンズの往復変位であり、
    　前記駆動される前記撮像素子または前記フォーカスレンズは、複数の光電変換素子のそれぞれにおける、前記撮像シーンの１画像分の露光時間中に整数回数、往復変位する、撮像装置。
  2. 　前記撮像素子において、前記複数の光電変換素子は行方向および列方向に二次元に配置されており、
    　前記複数の光電変換素子は行ごとに露光され、前記複数の光電変換素子から行ごとに前記画像信号が読み出される請求項１に記載の撮像装置。
  3. 　前記駆動される前記撮像素子または前記フォーカスレンズは、前記露光の開始に同期して前記変位動作を開始し、前記露光の終了に同期して前記変位動作が終了する請求項１または２に記載の撮像装置。
  4. 　前記撮像シーンに基づいて前記撮像素子の露光時間を決定する露光時間決定部と、
    　前記第１合焦位置、前記第２合焦位置および前記露光時間に基づいて前記変位パターンを決定する変位設定部と
    をさらに備える請求項１から３のいずれかに記載の撮像装置。
  5. 　前記駆動される前記撮像素子または前記フォーカスレンズの位置を検出する位置検出部をさらに備え、
    　前記変位制御部は前記位置検出部の出力および前記変位パターンに基づき、前記駆動部に駆動量を指令する請求項４に記載の撮像装置。
  6. 　前記撮像素子から前記画像信号を読み出す読み出し回路をさらに備え、
    　同期部は、前記撮像素子の露光のタイミングに基づき、前記変位制御部および前記読み出し回路を制御する請求項５に記載の撮像装置。
  7. 　前記往復変位の回数は１である請求項１から６のいずれかに記載の撮像装置。
  8. 　前記往復変位の回数は２である請求項１から６のいずれかに記載の撮像装置。
  9. 　二次元に配列された複数の光電変換素子を有し、前記複数の光電変換素子を順次走査して露光させ、前記複数の光電変換素子から順次走査して電気信号を読み出すことにより、画像信号を生成する撮像素子と、前記撮像素子に向けて集光する、フォーカスレンズを含むレンズ光学系と、前記撮像素子と前記フォーカスレンズとの距離が変化するように、前記撮像素子または前記フォーカスレンズの一方を駆動する駆動部とを備えた撮像装置の集積回路であって、
    　前記駆動部に指令を出力することにより、所定の変位パターンに基づき、前記駆動される前記撮像素子または前記フォーカスレンズの変位を制御する変位制御部と、
    　前記撮像素子の露光のタイミングに基づき、前記変位制御部を制御する同期部と、
    を備え、
    　前記所定の変位パターンは、前記撮像シーン中の第１被写体距離において合焦する、前記フォーカスレンズまたは前記撮像素子の第１合焦位置と、前記撮像シーン中の第２被写体距離において合焦する、前記フォーカスレンズまたは前記撮像素子の第２合焦位置との間の全区間における、前記駆動される前記撮像素子または前記フォーカスレンズの往復変位であり、
    　前記駆動される前記撮像素子または前記フォーカスレンズは、複数の光電変換素子のそれぞれにおける前記撮像シーンの１画像分の露光時間中に整数回数往復変位する、集積回路。
  10. 　二次元に配列された複数の光電変換素子を有し、前記複数の光電変換素子を順次走査して露光させ、前記複数の光電変換素子から順次走査して電気信号を読み出すことにより、画像信号を生成する撮像素子に、フォーカスレンズによって光を集光することにより、撮像シーンを結像させる撮像方法であって、
    　前記複数の光電変換素子のそれぞれにおける前記撮像シーンの１画像分の露光時間中、
    前記撮像シーン中の第１被写体距離において合焦する、前記フォーカスレンズまたは前記撮像素子の第１合焦位置と、前記撮像シーン中の第２被写体距離において合焦する、前記フォーカスレンズまたは前記撮像素子の第２合焦位置との間の全区間において、前記撮像素子または前記フォーカスレンズの一方を整数回、往復変位させる撮像方法。
PCT/JP2012/001411 2011-03-02 2012-03-01 撮像装置、半導体集積回路および撮像方法 WO2012117733A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2013502197A JP5809688B2 (ja) 2011-03-02 2012-03-01 撮像装置、半導体集積回路および撮像方法
CN201280007501.1A CN103348276B (zh) 2011-03-02 2012-03-01 摄像装置、半导体集成电路以及摄像方法
EP12752314.0A EP2682799B1 (en) 2011-03-02 2012-03-01 Imaging device, semiconductor integrated circuit, and imaging method
US13/983,381 US9083880B2 (en) 2011-03-02 2012-03-01 Imaging device, semiconductor integrated circuit, and imaging method

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2011-044634 2011-03-02
JP2011044634 2011-03-02

Publications (1)

Publication Number Publication Date
WO2012117733A1 true WO2012117733A1 (ja) 2012-09-07

Family

ID=46757675

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2012/001411 WO2012117733A1 (ja) 2011-03-02 2012-03-01 撮像装置、半導体集積回路および撮像方法

Country Status (5)

Country Link
US (1) US9083880B2 (ja)
EP (1) EP2682799B1 (ja)
JP (1) JP5809688B2 (ja)
CN (1) CN103348276B (ja)
WO (1) WO2012117733A1 (ja)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2013171954A1 (ja) * 2012-05-17 2013-11-21 パナソニック株式会社 撮像装置、半導体集積回路および撮像方法
WO2014140413A1 (en) 2013-03-15 2014-09-18 Nokia Corporation Apparatus, method and computer program for capturing images
JP2017525228A (ja) * 2014-06-17 2017-08-31 ゼットティーイー コーポレーションＺｔｅ Ｃｏｒｐｏｒａｔｉｏｎ カメラ自動焦点最適化の方法及びカメラ
EP4002830A2 (en) 2020-11-24 2022-05-25 Canon Kabushiki Kaisha Image pick up apparatus, image pick up method, and storage medium
US11808934B2 (en) 2021-04-20 2023-11-07 Eagle Technology, Llc Planar optical telescope and related methods

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5821300B2 (ja) * 2011-06-07 2015-11-24 ソニー株式会社 撮像装置及び撮像方法
JP5966535B2 (ja) * 2012-04-05 2016-08-10 ソニー株式会社 情報処理装置、プログラム及び情報処理方法
JP6045314B2 (ja) * 2012-11-20 2016-12-14 オリンパス株式会社 固体撮像装置、固体撮像装置の制御方法、および撮像装置
WO2015191998A1 (en) * 2014-06-12 2015-12-17 Duke University Systyem and method for improved computational imaging
TWI556647B (zh) * 2014-08-08 2016-11-01 恆景科技股份有限公司 影像感測器的可調適降低功率消耗的方法
US9525814B2 (en) * 2014-10-12 2016-12-20 Himax Imaging Limited Automatic focus searching using focal sweep technique
CN104639831B (zh) * 2015-01-05 2018-12-11 信利光电股份有限公司 一种照相机及拓展景深的方法
CN106125246A (zh) * 2016-07-19 2016-11-16 湖北三江航天红峰控制有限公司 一种自寻激光焦平面的方法

Citations (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE2301800B2 (de) 1973-01-15 1975-11-20 Ernst Leitz Gmbh, 6330 Wetzlar Verfahren zur Erweiterung des Schärfentiefebereiches bei der optischen und elektronenmikroskopischen Abbildung
JPH01309478A (ja) * 1988-02-23 1989-12-13 Olympus Optical Co Ltd 画像入出力装置
JPH04308975A (ja) * 1991-04-05 1992-10-30 Taiyo Densan Kk カメラの画像記録方法及び画像記録装置
JPH0527084A (ja) 1991-07-25 1993-02-05 Toshiba Eng & Constr Co Ltd 燃料集合体のチヤンネルボツクス載置確認装置
JPH09230252A (ja) * 1996-02-22 1997-09-05 Denso Corp カメラ装置
JPH10257373A (ja) * 1997-01-10 1998-09-25 Olympus Optical Co Ltd 画像入力装置
JP2000152063A (ja) * 1998-11-17 2000-05-30 Olympus Optical Co Ltd 撮像装置
JP3084130B2 (ja) 1992-05-12 2000-09-04 オリンパス光学工業株式会社 画像入力装置
JP2000316120A (ja) * 1999-03-03 2000-11-14 Denso Corp 全焦点撮像装置
JP2001257932A (ja) * 2000-03-09 2001-09-21 Denso Corp 撮像装置
JP2003319239A (ja) * 2002-04-24 2003-11-07 Minolta Co Ltd 撮像装置
JP2006047954A (ja) 2004-07-02 2006-02-16 Sony Corp 電子式カメラ及び自動フォーカス方法
JP2007010908A (ja) 2005-06-29 2007-01-18 Canon Inc 焦点調節方法及び装置
JP2009206831A (ja) * 2008-02-27 2009-09-10 Kyocera Corp 撮像装置、画像生成方法、および電子機器
US7711259B2 (en) 2006-07-14 2010-05-04 Aptina Imaging Corporation Method and apparatus for increasing depth of field for an imager

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS6068312A (ja) 1983-05-13 1985-04-18 Shimadzu Corp 光学顕微鏡像の撮影方法
DE3905619C2 (de) * 1988-02-23 2000-04-13 Olympus Optical Co Bildeingabe-/Ausgabevorrichtung
CN100538501C (zh) 2004-07-02 2009-09-09 索尼株式会社 电子像机和自动聚焦方法
US7493030B2 (en) * 2005-06-24 2009-02-17 Nokia Corporation Adaptive optical plane formation with rolling shutter
JP4337780B2 (ja) 2005-06-27 2009-09-30 ブラザー工業株式会社 画像形成装置
CN102308242B (zh) * 2009-12-07 2014-08-20 松下电器产业株式会社 摄像装置以及拍摄方法

Patent Citations (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE2301800B2 (de) 1973-01-15 1975-11-20 Ernst Leitz Gmbh, 6330 Wetzlar Verfahren zur Erweiterung des Schärfentiefebereiches bei der optischen und elektronenmikroskopischen Abbildung
JP3191928B2 (ja) 1988-02-23 2001-07-23 オリンパス光学工業株式会社 画像入出力装置
JPH01309478A (ja) * 1988-02-23 1989-12-13 Olympus Optical Co Ltd 画像入出力装置
JPH04308975A (ja) * 1991-04-05 1992-10-30 Taiyo Densan Kk カメラの画像記録方法及び画像記録装置
JPH0527084A (ja) 1991-07-25 1993-02-05 Toshiba Eng & Constr Co Ltd 燃料集合体のチヤンネルボツクス載置確認装置
JP3084130B2 (ja) 1992-05-12 2000-09-04 オリンパス光学工業株式会社 画像入力装置
JPH09230252A (ja) * 1996-02-22 1997-09-05 Denso Corp カメラ装置
JPH10257373A (ja) * 1997-01-10 1998-09-25 Olympus Optical Co Ltd 画像入力装置
JP2000152063A (ja) * 1998-11-17 2000-05-30 Olympus Optical Co Ltd 撮像装置
JP2000316120A (ja) * 1999-03-03 2000-11-14 Denso Corp 全焦点撮像装置
JP2001257932A (ja) * 2000-03-09 2001-09-21 Denso Corp 撮像装置
JP2003319239A (ja) * 2002-04-24 2003-11-07 Minolta Co Ltd 撮像装置
JP2006047954A (ja) 2004-07-02 2006-02-16 Sony Corp 電子式カメラ及び自動フォーカス方法
JP2007010908A (ja) 2005-06-29 2007-01-18 Canon Inc 焦点調節方法及び装置
US7711259B2 (en) 2006-07-14 2010-05-04 Aptina Imaging Corporation Method and apparatus for increasing depth of field for an imager
JP2009206831A (ja) * 2008-02-27 2009-09-10 Kyocera Corp 撮像装置、画像生成方法、および電子機器

Non-Patent Citations (8)

* Cited by examiner, † Cited by third party
Title
A. LEVIN; R. FERGUS; F. DURAND; W. T. FREEMAN: "Image and Depth from a Conventional Camera with a Coded Aperture", ACM TRANSACTIONS ON GRAPHICS, vol. 26, no. 3, 2007, pages 70 - 1,70-9
C. TISSE; H. P. NGUYEN; R. TESIERES; M. PYANET; F. GUICHARD: "Extended Depth-of-field (EDOF) using sharpness transport across colour channels", OPTICAL ENGINEERING + APPLICATIONS, PART OF SPIE OPTICS + PHOTONICS, SESSION 1 -- IMAGING IN THE OPTICAL DESIGN PROCESS: DEPTH OF FIELD, 2008
E. R. DOWSKI; W. T. CATHEY: "Extended depth of field through wave-front coding", APPLIED OPTICS, vol. 34, no. 11, 1995, pages 1859 - 1866
H. NAGAHARA; S. KUTHIRUMMAL; C. ZHOU; S. NAYAR: "Flexible Depth of Field Photography", EUROPEAN CONFERENCE ON COMPUTER VISION (ECCV), OCT. 16TH, MORNING SESSION 2: COMPUTATIONAL PHOTOGRAPHY (2008, 16 October 2008 (2008-10-16)
See also references of EP2682799A4
W. CHI; N. GEORGE: "Computational imaging with the logarithmic asphere: theory", vol. 20, December 2003, OPTICAL SOCIETY OF AMERICA
Y. TAKAHASHI; S. KOMATSU: "Optics Letters", vol. 33, 1 July 2008, OPTICAL SOCIETY OF AMERICA, article "Optimized free-form phase mask for extension of depth of field in wavefront-coded imaging"
YASUHISA TAKAHASHI; RYO OBANA; SHINICHI KOMATSU: "Optics & Photonics Japan 2007", 2007, THE OPTICAL SOCIETY OF JAPAN, article "Optimized phase mask for wave-front coding: Extended DOF in off axis field", pages: 464 - 465

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2013171954A1 (ja) * 2012-05-17 2013-11-21 パナソニック株式会社 撮像装置、半導体集積回路および撮像方法
US8890996B2 (en) 2012-05-17 2014-11-18 Panasonic Corporation Imaging device, semiconductor integrated circuit and imaging method
WO2014140413A1 (en) 2013-03-15 2014-09-18 Nokia Corporation Apparatus, method and computer program for capturing images
EP2954371A4 (en) * 2013-03-15 2016-11-02 Nokia Technologies Oy APPARATUS, METHOD AND COMPUTER PROGRAM FOR IMAGE CAPTURE
US9897776B2 (en) 2013-03-15 2018-02-20 Nokia Technologies Oy Apparatus, method and computer program for capturing images
JP2017525228A (ja) * 2014-06-17 2017-08-31 ゼットティーイー コーポレーションＺｔｅ Ｃｏｒｐｏｒａｔｉｏｎ カメラ自動焦点最適化の方法及びカメラ
EP4002830A2 (en) 2020-11-24 2022-05-25 Canon Kabushiki Kaisha Image pick up apparatus, image pick up method, and storage medium
US11653107B2 (en) 2020-11-24 2023-05-16 Canon Kabushiki Kaisha Image pick up apparatus, image pick up method, and storage medium
US11808934B2 (en) 2021-04-20 2023-11-07 Eagle Technology, Llc Planar optical telescope and related methods

Also Published As

Publication number Publication date
US9083880B2 (en) 2015-07-14
EP2682799A4 (en) 2014-11-05
JP5809688B2 (ja) 2015-11-11
CN103348276B (zh) 2016-04-06
CN103348276A (zh) 2013-10-09
EP2682799B1 (en) 2015-12-09
JPWO2012117733A1 (ja) 2014-07-07
EP2682799A1 (en) 2014-01-08
US20130314586A1 (en) 2013-11-28

Similar Documents

Publication Publication Date Title
JP5809688B2 (ja) 撮像装置、半導体集積回路および撮像方法
JP5934940B2 (ja) 撮像装置、半導体集積回路および撮像方法
JP5847728B2 (ja) 撮像装置、半導体集積回路および撮像方法
JP5791349B2 (ja) 撮像装置及びその制御方法
US8817165B2 (en) Image capturing apparatus
JP5914834B2 (ja) 撮像装置、半導体集積回路および撮像方法
JP5484617B2 (ja) 撮像装置
US20160269605A1 (en) Image capturing apparatus and control method for image capturing apparatus
JP6238578B2 (ja) 撮像装置およびその制御方法
JP5279638B2 (ja) 撮像装置
JP2016057546A (ja) 撮像装置およびその制御方法
JP2001215406A (ja) 撮像素子および自動焦点調節装置
JP7246176B2 (ja) 撮像装置
JP2016018034A (ja) 撮像装置、その制御方法、プログラム及び記憶媒体
JP7175635B2 (ja) 撮像装置およびその制御方法
JP2017134154A (ja) フォーカス制御装置、撮像装置およびフォーカス制御プログラム
JP2015094871A (ja) 撮像装置、撮像システム、撮像装置の制御方法、プログラム、および、記憶媒体
JP2020141347A (ja) 撮像装置
JP2010054922A (ja) 電子カメラ
JP2017126921A (ja) 撮像装置
JP2015155952A (ja) 撮像装置、撮像装置の制御方法、プログラム、および、記憶媒体

Legal Events

Date Code Title Description
WWE Wipo information: entry into national phase

Ref document number: 201280007501.1

Country of ref document: CN

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 12752314

Country of ref document: EP

Kind code of ref document: A1

DPE1 Request for preliminary examination filed after expiration of 19th month from priority date (pct application filed from 20040101)
ENP Entry into the national phase

Ref document number: 2013502197

Country of ref document: JP

Kind code of ref document: A

WWE Wipo information: entry into national phase

Ref document number: 13983381

Country of ref document: US

WWE Wipo information: entry into national phase

Ref document number: 2012752314

Country of ref document: EP

NENP Non-entry into the national phase

Ref country code: DE