WO2011096237A1 - 撮像装置 - Google Patents

撮像装置 Download PDF

Info

Publication number
WO2011096237A1
WO2011096237A1 PCT/JP2011/000692 JP2011000692W WO2011096237A1 WO 2011096237 A1 WO2011096237 A1 WO 2011096237A1 JP 2011000692 W JP2011000692 W JP 2011000692W WO 2011096237 A1 WO2011096237 A1 WO 2011096237A1
Authority
WO
WIPO (PCT)
Prior art keywords
lens
image
imaging
distance
light
Prior art date
Application number
PCT/JP2011/000692
Other languages
English (en)
French (fr)
Inventor
典広 今村
Original Assignee
パナソニック株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by パナソニック株式会社 filed Critical パナソニック株式会社
Priority to CN201180001767.0A priority Critical patent/CN102396216B/zh
Priority to JP2011525346A priority patent/JP4875787B2/ja
Priority to US13/264,019 priority patent/US20120026360A1/en
Publication of WO2011096237A1 publication Critical patent/WO2011096237A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0075—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for altering, e.g. increasing, the depth of field or depth of focus
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/73—Circuitry for compensating brightness variation in the scene by influencing the exposure time
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B13/00—Optical objectives specially designed for the purposes specified below
    • G02B13/001—Miniaturised objectives for electronic devices, e.g. portable telephones, webcams, PDAs, small digital cameras
    • G02B13/009—Miniaturised objectives for electronic devices, e.g. portable telephones, webcams, PDAs, small digital cameras having zoom function
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B7/00—Mountings, adjusting means, or light-tight connections, for optical elements
    • G02B7/02—Mountings, adjusting means, or light-tight connections, for optical elements for lenses
    • G02B7/04—Mountings, adjusting means, or light-tight connections, for optical elements for lenses with mechanism for focusing or varying magnification
    • G02B7/08—Mountings, adjusting means, or light-tight connections, for optical elements for lenses with mechanism for focusing or varying magnification adapted to co-operate with a remote control mechanism

Definitions

  • the present invention relates to an imaging apparatus such as a camera.
  • the imaging apparatus when the position of the subject is included within the range of the depth of field, the image can be focused and a clear image can be captured. Acquiring an image with an extended depth of field can be achieved by increasing the F number of the imaging optical system. However, increasing the F number decreases the amount of light.
  • Patent Document 1 discloses a technique for extending the depth of field without increasing the F-number by moving at least one of the subject and the lens barrel during the exposure time.
  • the configuration disclosed in Patent Document 1 is an effective technique for an object side telecentric optical system such as a microscope.
  • Patent Document 1 The inventor of the present application has found that there are the following problems when applying the method shown in Patent Document 1 to a camera that captures a wide field of view.
  • the optical system of the camera that captures a wide field of view is made to be image-side telecentric, the optical length becomes longer due to an increase in the number of lenses, leading to an increase in the size and cost of the imaging device.
  • the present invention has been made to solve the above-described problems, and has as its main purpose an imaging that has a large depth of field and can suppress the occurrence of a radial flow in the periphery of the image.
  • An apparatus and an imaging method are provided.
  • An imaging apparatus includes a first lens, a second lens on which light that has passed through the first lens is incident, and an imaging element having an imaging surface that detects light that has passed through the second lens.
  • An image-side non-telecentric imaging optical system a first distance between the first lens and the second lens during an exposure time, and a first distance between the second lens and the imaging element.
  • a position change unit that changes two distances
  • a signal processing unit that generates an image using an electrical signal output from the image sensor, wherein the image sensor includes the first distance and the second distance. The light that has reached the imaging surface during the exposure time in which is changed is converted into the electrical signal.
  • An imaging method of the present invention includes a first lens, a second lens on which light that has passed through the first lens is incident, and an imaging device having an imaging surface that detects light that has passed through the second lens.
  • An image-side non-telecentric imaging optical system including the image-side non-telecentric imaging optical system and a signal processing unit that generates an image using an electrical signal output from the imaging device. The light that has reached the imaging surface of the image sensor while changing the first distance between the lens and the second lens and the second distance between the second lens and the image sensor And a second step in which the signal processing unit generates an image based on the electrical signal of the light acquired in the first step.
  • the depth of field can be increased by acquiring the light that has reached the imaging surface while changing the second distance between the second lens and the imaging device. Furthermore, by acquiring the light that has reached the imaging surface while changing the first distance between the first lens and the second lens, it is possible to reduce a change in the position of an image on the imaging surface during the exposure time. Can do. As described above, since it is possible to reduce the deterioration of the peripheral portion of the generated image, the imaging device having the image-side non-telecentric imaging optical system can increase the depth of field and An image with high sharpness can be obtained.
  • Sectional drawing which shows typically the imaging device in Embodiment 1 of this invention Structure diagram of cam mechanism of imaging apparatus according to Embodiment 1 of the present invention Sectional drawing of the imaging optical system of the imaging device in Embodiment 1 of this invention
  • (1) is a graph showing spherical aberration in the optical system
  • (2) is a graph showing astigmatism in the optical system
  • (3) is a graph showing distortion aberration in the optical system.
  • (1) to (3) are diagrams showing the PSF for each subject distance when the first lens and the second lens are fixed and imaged in the imaging apparatus of FIG.
  • (1) to (3) are diagrams showing chart images for each subject distance when the first lens and the second lens are fixed and imaged in the imaging apparatus of FIG.
  • (1) to (3) are diagrams showing the PSF for each subject distance when the first lens and the second lens are moved and imaged in the imaging apparatus of FIG. (A) to (e) are diagrams for explaining the derivation of the MTF.
  • (1) to (3) are graphs of the MTF for each object distance when the first lens and the second lens are fixed and imaged in the imaging apparatus of FIG. (1) to (3) are graphs of the MTF for each subject distance when the first lens and the second lens are moved in the image pickup apparatus of FIG. (1) to (3) are diagrams showing chart images before restoration for each subject distance acquired by the imaging apparatus of FIG. (1) to (3) are graphs of MTF when restored based on a point spread function
  • (1) to (3) are diagrams showing chart images after restoration for each subject distance acquired by the imaging apparatus of FIG.
  • FIG. 1 shows typically the different form of the imaging device of FIG. Sectional drawing which shows typically the imaging device in Embodiment 2 of this invention
  • Sectional drawing of the imaging optical system of the imaging device in Embodiment 2 of this invention (1) to (3) are graphs showing spherical aberration, astigmatism and distortion in the optical system of FIG.
  • the figure which shows typically the imaging device in a comparative example Sectional drawing of the imaging optical system of the imaging device in a comparative example (1) to (3) are graphs showing spherical aberration, astigmatism and distortion in the optical system of FIG. (1) to (3) are graphs showing the PSF for each subject distance of the imaging apparatus of FIG.
  • (1) to (3) are graphs showing the MTF for each subject distance of the imaging apparatus of FIG. (1) to (3) are diagrams showing chart images before restoration for each subject distance of the imaging apparatus of FIG. (1) to (3) are graphs showing the MTF after restoration for each subject distance of the imaging apparatus of FIG. (1) to (3) are diagrams showing chart images after restoration for each subject distance of the imaging apparatus of FIG.
  • FIG. 1 is a schematic diagram illustrating a configuration of an imaging apparatus 100 according to Embodiment 1 of the present invention.
  • the imaging device 100 includes a first lens 1, a second lens 2, a diaphragm 3, and an imaging device 4 having an imaging surface 4i, a non-telecentric imaging optical system, a shutter mechanism 5, a cam cylinder, and a fixed cylinder.
  • the first lens 1 is disposed closer to the subject than the second lens 2.
  • the light from the subject enters the second lens 2 after passing through the first lens 1.
  • the second lens 2 is disposed between the first lens 1 and the image sensor 4.
  • the light that has passed through the second lens 2 is detected on the imaging surface 4 i of the imaging element 4.
  • the cam mechanism 6 and the motor 8 constitute a position changing part.
  • the motor 8 moves the cam mechanism 6 based on a control signal from the control unit 7.
  • the cam mechanism 6 changes the distance (relative position) between the first lens 1 and the second lens 2 and the distance (relative position) between the second lens 2 and the image sensor 4. Specifically, while the aperture stop 3 is opened (period), the second lens 2 is moved from the initial position (solid line) 2A to the final position (broken line) 2B, so that the second lens 2 and The distance between the imaging surface of the imaging element 4 is changed.
  • the diaphragm 3 is also functioned as a shutter.
  • the imaging element 4 converts the light that has reached the imaging surface 4i into an electrical signal while the aperture 3 is opened.
  • the imaging device 4 continuously acquires light incident on the imaging surface 4i and continuously converts the light into electric charges. After the exposure time has elapsed, the shutter mechanism 5 closes the aperture 3. Thereafter, the image sensor 4 outputs the electric charge accumulated during the exposure time to the signal processing unit 9 as an electric signal.
  • the signal processing unit 9 generates an image based on the electrical signal.
  • the second lens 2 moves in a direction approaching the subject (a direction from the initial position 2A to the final position 2B).
  • the first lens 1 moves in a direction away from the subject (a direction from the initial position 1A toward the final position 1B).
  • the position of the image on the imaging surface 4i changes as compared to the case where the distance between the first lens 1 and the second lens 2 is constant. Get smaller.
  • this comparison is based on the distance between the second lens 2 and the image sensor 4 in both the case where the distance between the first lens 1 and the second lens 2 changes and the case where the distance is constant. It is assumed that the changes are the same.
  • the distance between the first lens 1 and the second lens 2 and the distance between the second lens 2 and the image sensor 4 are changed while the diaphragm 3 is opened.
  • the position of the image on the imaging surface 4i of the imaging device 4 is constant (substantially constant).
  • the position of the image is constant means that the change in the position of the image always takes a value within a range of about 1 to 2 pixels during the predetermined time.
  • the first lens 1 and the second lens 2 may each be composed of a single lens or a lens group composed of a plurality of lenses.
  • the diaphragm 3 also serves as a shutter.
  • the “exposure time” is a time during which light is incident on the imaging surface 4 i by opening the aperture stop 3.
  • a separate shutter may be provided.
  • the shutter for example, a member such as a partition plate may be provided between the diaphragm 3 and the image sensor 4.
  • the “exposure time” is a time during which light is incident on the imaging surface 4i by opening a member such as a partition plate.
  • whether to detect light incident on the imaging surface 4 i may be switched by the electronic shutter of the imaging device 4.
  • the “exposure time” is a time for detecting light incident on the imaging surface 4i when the electronic shutter of the imaging element is in an open state.
  • FIG. 2 is a configuration diagram of the cam mechanism 6, and the first lens barrel A that holds the first lens, the second lens barrel B that holds the second lens, and the first lens mirror. It is composed of a cam cylinder C that holds the cylinder A and the second lens barrel B, and a fixed cylinder D that holds the cam cylinder C.
  • a first cam follower A1 that is convex in the direction from the center of the lens toward the outside of the lens.
  • a convex second cam follower B1 is provided in a direction from the center of the lens toward the outside of the lens.
  • the cam cylinder C is provided with a first cam groove C1 and a second cam groove C2 that penetrate the cam cylinder C.
  • a first cam follower A1 is disposed in the first cam groove C1, and a second cam follower B1 is disposed in the second cam groove C2.
  • the first cam groove C1 and the second cam groove C2 have elongated holes on the surface of the cam cylinder C, and their longitudinal directions are inclined from the imaging surface 4i.
  • the first cam groove C1 and the second cam groove C2 also rotate. Therefore, the relative position of the first cam follower A1 in the first cam groove C1 changes, and the relative position of the second cam follower B1 in the second cam groove C2 changes.
  • the longitudinal directions of the first cam groove C1 and the second cam groove C2 are inclined from the imaging surface 4i, when the cam barrel C is rotated, the first lens barrel A and the second cam barrel C2 are rotated. The position of the lens barrel B in the optical axis direction changes.
  • the relative positional relationship between the first lens barrel A and the second lens barrel B is determined by the magnitude of the longitudinal inclination of the first cam groove C1 and the second cam groove C2.
  • a first gear CG for transmitting rotation from the motor is provided.
  • first guide groove D1 and a second guide groove D2 are provided inside the fixed cylinder D.
  • a first cam follower A1 and a second cam follower B1 are disposed in the first guide groove D1 and the second guide groove D2.
  • the first guide groove D1 is provided in the movement range of the first cam follower A1 in the optical axis direction
  • the second guide groove D2 is provided in the movement range of the second cam follower B1 in the optical axis direction. That is, the longitudinal direction of the first guide groove D1 and the second guide groove D2 is directed in a direction parallel to the optical axis.
  • the motor 8 is provided with a second gear 8G for transmitting the rotation of the motor to the first gear CG provided on the cam cylinder C.
  • the cam cylinder C is rotated by rotating the motor 8 when the diaphragm 3 in FIG. 1 is opened, that is, during the exposure time, and the first lens barrel A and the second lens barrel A are rotated along with the rotation of the cam cylinder C.
  • Each lens barrel B moves in the optical axis direction.
  • the first lens 1 and the second lens are interlocked with the change in the distance between the second lens 2 and the imaging surface of the imaging device 4. The distance to 2 changes.
  • the shutter mechanism 5 is controlled by a control signal from the control unit 7 so that the diaphragm 3 is opened.
  • the first lens 1 and the second lens 2 are in the initial positions 1A and 1B, respectively.
  • the motor 8 is driven by the controller 7, and the first lens 1 and the second lens 2 are moved to the final positions 1B and 2B via the cam mechanism 6.
  • the second lens 2 and the diaphragm 3 are moved together.
  • the amount of movement of the first lens 1 and the second lens 2 is a and b, in other words, the amount of change in the distance between the first lens 1 and the second lens 2 is a + b,
  • the amount of change in the distance between the lens 2 and the imaging surface of the imaging device 4 is designed to be b. After the movement, the distance between the first lens 1 and the second lens 2 is shortened by a + b, and the distance between the second lens 2 and the imaging surface of the image sensor 4 is shortened by b.
  • the shutter mechanism 5 is controlled by the control signal from the control unit 7 to close the aperture 3.
  • the image sensor 4 converts the light detected during the exposure time into an electrical signal and outputs it to the signal processor 9.
  • the signal processing unit 9 processes the data acquired from the image sensor 4 to generate and output a single image.
  • the initial position 2A of the second lens 2 is a position where the image of the subject existing at the longest shooting distance is focused on the imaging surface
  • the final position 2B is an image of the subject existing at the shortest shooting distance. This is the position to focus on.
  • the longest shooting distance is the longest distance in the range of subject distances for which it is desired to perform focused imaging by the imaging apparatus 100
  • the shortest shooting distance is the shortest distance in the same range of subject distances. .
  • These are preset according to the specifications of the imaging apparatus 100.
  • the initial position 2A corresponds to the longest shooting distance and the final position 2A corresponds to the shortest shooting distance, but these may be reversed.
  • the initial position 1A and the final position 1B of the first lens 1 are also reversed.
  • a plurality of ranges (shooting distance ranges) from the longest shooting distance to the shortest shooting distance may be set in advance according to the mode.
  • the in-focus position of the subject at an arbitrary distance within the preset shooting distance range is set on the imaging surface 4i. Will exist.
  • the depth of field can be extended.
  • the movement of the first lens 1 in conjunction with the movement of the second lens 2 can reduce the change in the position of the image that can be caused by the movement of the second lens 2. .
  • the effect of extending the depth of field can be obtained over the entire image.
  • FIG. 3 shows an example in which the first lens of the imaging optical system of FIG. 1 is designed with one lens in one group and the second lens 2 is designed with three lenses in three groups.
  • the lens groups 2A, 2B, and 2C correspond to the second lens 2 described in FIG.
  • the imaging optical system includes a filter 10.
  • Tables 1, 2 and 3 show design data of the imaging optical system shown in FIG.
  • Ri is the paraxial radius of curvature (mm) of each surface
  • di is the surface center distance (mm) between each surface and the adjacent surface
  • nd is the refractive index of the d line of the lens or filter
  • ⁇ d Indicates the Abbe number of the d-line of the lens or filter.
  • Table 3 shows the surface interval of the fluctuating portion and the image height at a half angle of view of 24 °.
  • the position 1 corresponds to the initial positions 1A and 2A of the first lens 1 and the second lens 2 in FIG. 1
  • the position 3 also corresponds to the final positions 1B and 2B
  • the position 2 corresponds to the initial position 1A. 2A and the intermediate position between the final positions 1B and 2B.
  • position 1 indicates the position where the subject image at the subject distance of about 10000 mm is the most focused
  • position 2 indicates the position where the image of the subject at the subject distance of about 600 mm is the most focused.
  • Position 3 indicates a position where an image of a subject at a subject distance of about 300 mm is most focused.
  • the design parameters of the imaging optical system, the initial position 2A of the second lens 2 and the movement distance b were determined by deriving optimum values in consideration of the influence of lens aberration and the depth of field. Accordingly, the initial position 1A and the moving distance a of the first lens 1 are constant so that the image height on the imaging surface 4i is the lowest level in Table 3, that is, the movement of the second lens 2. Is set so as not to cause an image position change that may occur. Thereby, since the peripheral part of the image image
  • FIG. 5 shows the two-dimensional intensity distribution of PSF (Point Spread Function) for each subject distance when the imaging optical system is fixed at the position 2 in Table 3 for each of image heights of 100% and 100%.
  • the “image height” corresponds to the distance from the image center.
  • the image height of 0% means the image center portion
  • the image height of 100% means the portion where the distance from the image center is maximum.
  • the graph arranged on the left side of each graph of the two-dimensional intensity distribution represents the PSF section in the tangential direction
  • the graph disposed on the lower side represents the PSF section in the sagittal direction. It can be seen that when the imaging optical system is fixed at the position 2, the two-dimensional intensity distribution of the PSF varies greatly depending on the subject distance and image height.
  • FIG. 6 is a diagram showing images obtained by simulation for chart images for each subject distance when the imaging optical system is fixed at the position 2 in Table 3 for each of image heights of 0% and 100%. It is. Since the image of the subject at the subject distance of 600 mm is the most focused at the position 2, the sharpest image is obtained at the subject distance of 600 mm in FIG. 6, and the image is degraded at the subject distances of 300 mm and 10,000 mm. Recognize.
  • FIG. 7 shows the PSF two-dimensional luminance distribution for each subject distance for the image height of 0% and the image height of 100% when the image is captured by the above-described image acquisition flow in the present embodiment.
  • the R2 plane between the R2 plane and the diaphragm
  • the R8 plane between the R8 plane and the F1 plane
  • the change in the two-dimensional intensity distribution of the PSF when the subject distance and the image height change can be greatly reduced.
  • FIG. 8 is a diagram showing a general procedure for measuring MTF (Modulation Transfer Function) of the imaging optical system.
  • FIG. 8A is a chart in which the black-and-white boundary is a complete step.
  • the image of FIG. 8B can be acquired, and the sharpness of the black-and-white boundary is degraded by the point spread function of the imaging optical system.
  • FIG. 8C shows a cross-section of the gradation of the image of FIG. 8B, and when this is differentiated, an LSF (Line Spread Function) of FIG. 8D is obtained.
  • the MTF of the imaging optical system as shown in FIG. 8E can be acquired by Fourier transforming the LSF.
  • the MTF in the tangential direction and the MTF in the sagittal direction can be obtained by imaging the chart of FIG. 8A in the tangential direction and the sagittal direction, respectively, and Fourier transforming each LSF.
  • the higher the MTF value the higher the sharpness of the image.
  • FIG. 9 is a graph of MTF for each subject distance when the imaging optical system is fixed at the position 2 in Table 3.
  • the MTF shown in FIG. 9 is obtained according to the procedure shown in FIGS. 8 (a) to 8 (e).
  • the image corresponding to FIG. 8B is acquired by simulation with the pixel pitch of the imaging element being 1.8 ⁇ m. Since the image of the subject at the subject distance of 600 mm is most focused at the position 2, it can be seen from FIG. 9 that the MTF on the high frequency side is lower at the subject distances of 300 mm and 10000 mm than at the subject distance of 600 mm.
  • the chart image shown in FIG. 6 has an image quality according to the MTF of FIG.
  • FIG. 10 is a graph of the MTF for each subject distance when imaged in the above-described image acquisition flow in the present embodiment, and is acquired according to the above-described procedures (a) to (e) of FIG. It can be seen that lowering of the MTF on the high frequency side is suppressed as compared with the MTF graph at the subject distances of 300 mm and 10000 mm in FIG.
  • FIG. 11 is a diagram showing images obtained by simulation with respect to each of the image height of 0% and the image height of 100% of the chart image for each subject distance when captured in the above-described image acquisition flow in the present embodiment.
  • the image shown in FIG. 11 has an image quality according to the MTF characteristic of FIG. Compared with the comparative example of FIG. 6 (an image acquired at a fixed position 2), the sharpness of an image with a subject distance of 600 mm is somewhat deteriorated, but the sharpness of an image with a subject distance of 300 mm and 10,000 mm is improved. You can see that It can also be seen that the deterioration of the peripheral portion of the image compared to the central portion can be suppressed to a minimum.
  • N (u, v) is noise.
  • F (u, v) is unknown, so in practice, a constant k is used to restore the deteriorated image using the filter of (Equation 7).
  • FIG. 12 restores the acquired image (captured image) corresponding to FIG. 8B using the inverse filter of (Equation 7) in the present embodiment, and acquires it according to the procedures of FIGS. 8C to 8E. It is the graph of MTF which performed.
  • the constant k in (Expression 7) is determined by comparing the sharpness of each restored image when k is changed. As shown in FIG. 7, in this embodiment, even if the subject distance and the image height change, the PSF hardly fluctuates. Therefore, the entire image is restored based on a single PSF regardless of the subject distance and the image height. be able to.
  • Restoration was performed using a PSF with a subject distance of 600 mm and an image height of 0%. It can be seen that the MTF on the high frequency side is improved compared to the MTF before restoration in FIG. 10 at any subject distance.
  • FIG. 13 shows the image after restoration in FIG. 11, and the image quality conforms to the MTF characteristic in FIG. It can be seen that the image after restoration has improved sharpness compared to the image before restoration in FIG.
  • the position changing unit including the cam mechanism 6 and the motor 8.
  • the PSF around the image does not spread in the radial direction, and even if the subject distance or the image height changes, there is little fluctuation in the PSF. Therefore, the image is based on a single PSF regardless of the subject distance or the image height. Can be restored. Thereby, the effect of extending the depth of field can be obtained over the entire image, and an image with higher sharpness can be acquired. In addition, since an image can be restored based on a single PSF, there is no need to store a PSF for each image position, and the calculation load and memory consumption can be suppressed.
  • the image pickup device 4 is fixed and the first lens 1, the diaphragm 3 and the second lens 2 are moved.
  • the present invention is not limited to this. That is, the amount of change in the distance between the first lens 1 and the second lens 2 may be a + b, and the amount of change in the distance between the second lens 2 and the imaging surface of the imaging element 4 may be b.
  • the second lens 2 and the diaphragm 3 may be fixed and the first lens 1 and the image sensor 4 may be moved. Even in the case of FIG. 14A, the relationship between the surface intervals in Table 3 is the same, and the movement amount of the first lens 1 and the movement amount of the second lens 2 are made to correspond to a and b in FIG.
  • the first lens 1 may be fixed and the second lens 2, the diaphragm 3, and the image sensor 4 may be moved.
  • the relationship between the surface intervals in Table 3 is the same, and the movement amount of the second lens 2 and the diaphragm 3 and the movement amount of the image sensor 4 correspond to a and b in FIG. If described, they are a + b and a, respectively.
  • 14 (a) and 14 (b) the same cam groove and cam follower as in FIG. 2 can be used.
  • the PSF used for restoration in the present embodiment may be obtained by photographing a point light source in advance using the imaging optical system shown in FIG.
  • the first lens 1 and the second lens 2 change the positions of the first lens 1 and the second lens 2 at the time of shooting to acquire an image to be restored. Move under the same conditions.
  • the PSF used for restoration may be obtained by simulation.
  • the PSF is stored in a storage unit provided inside or outside the signal processing unit 9 in the imaging apparatus 100. When there are a plurality of preset shooting distance ranges, a PSF corresponding to the shooting distance range may be stored.
  • image restoration is performed using a single PSF.
  • a PSF corresponding to an image height may be acquired and stored, and restoration may be performed using a PSF corresponding to each image height.
  • the MTF value at an image height of 100% is close to a value of 0 even in a low spatial frequency region (50 to 150 lp / mm) due to deterioration of the peripheral portion of the image. Even if PSF is used, the sharpness cannot be sufficiently improved.
  • deterioration of the peripheral portion of the image can be suppressed, so that the MTF value is ensured in the low spatial frequency region (50 to 150 lp / mm) as shown in FIG. Therefore, sharpness can be sufficiently improved by performing restoration using PSF.
  • FIG. 15 is a schematic diagram illustrating a configuration of the imaging apparatus 101 according to the present embodiment.
  • the imaging device 101 includes a non-telecentric imaging optical system including a first lens 1, a diaphragm 3, a second lens 2, and an imaging device 4, a shutter mechanism 5, a control unit 7, a motor 8, and a signal processing unit 9. And.
  • the second lens 2 and the diaphragm 3 are held by the inner lens barrel 12, and the first lens 1 and the image sensor 4 are held by the outer lens barrel 13.
  • the inner lens barrel 12 and the motor 8 constitute a position changing portion.
  • the motor 8 moves the inner barrel 12 from an initial position (solid line) 12A to a final position (broken line) 12B based on a control signal from the control unit 7.
  • the second lens 2 and the diaphragm 3 held by the inner lens barrel 12 move.
  • the distance between the first lens 1 and the second lens 2 (relative position), and The distance (relative position) between the second lens 2 and the image sensor 4 changes.
  • the imaging element 4 converts the light that has reached the imaging surface 4i into an electrical signal while the aperture 3 is opened.
  • the diaphragm 3 is also functioned as a shutter.
  • the imaging device 4 continuously acquires light incident on the imaging surface 4i and continuously converts the light into electric charges. After the exposure time has elapsed, the shutter mechanism 5 closes the aperture 3. Thereafter, the image sensor 4 outputs the electric charge accumulated during the exposure time to the signal processing unit 9 as an electric signal.
  • the signal processing unit 9 generates an image based on the electrical signal.
  • the second lens 2 moves by a distance C in the direction approaching the subject, and the position of the first lens 1 does not change. In this way, the distance between the second lens 2 and the first lens 1 changes by the distance c, so that the distance between the first lens 1 and the second lens is constant. Thus, the change in the position of the image on the imaging surface 4i is reduced.
  • the distance between the first lens 1 and the second lens 2 and the distance between the second lens 2 and the image sensor 4 are changed while the diaphragm 3 is opened. Accordingly, it is preferable that the position of the image on the imaging surface 4i of the imaging element 4 is constant (substantially constant). Specifically, “the position of the image is constant” means that the change in the position of the image always takes a value within a range of about 1 to 2 pixels during the predetermined time.
  • the first lens 1 and the second lens 2 may each be composed of a single lens or a lens group composed of a plurality of lenses.
  • the diaphragm 3 also serves as a shutter.
  • the “exposure time” is a time during which light is incident on the imaging surface 4 i by opening the aperture stop 3.
  • a separate shutter may be provided.
  • the shutter for example, a member such as a partition plate may be provided between the diaphragm 3 and the image sensor 4.
  • the “exposure time” is a time during which light is incident on the imaging surface 4i by opening a member such as a partition plate.
  • whether to detect light incident on the imaging surface 4i may be switched by an electronic shutter in the imaging device 4.
  • the “exposure time” is a time for detecting light incident on the imaging surface 4i when the electronic shutter of the imaging element is in an open state.
  • the shutter mechanism 5 is controlled by a control signal from the control unit 7 so that the diaphragm 3 is opened.
  • the inner lens barrel 12 holding the second lens 2 and the diaphragm 3 is disposed at the initial position 12A.
  • the control unit 7 drives the motor 8 to move from the initial position 12A to the final position 12B.
  • the amount of movement of the inner barrel 12 at this time is c.
  • the amount of change in the distance between the first lens 1 and the second lens 2 and the amount of change in the distance between the second lens 2 and the imaging surface of the imaging element 4 are the same as those in the first embodiment.
  • the shutter mechanism 5 is controlled by a control signal from the control unit 7, and the diaphragm 3 is closed.
  • the image sensor 4 converts the light detected during the exposure time into an electrical signal and outputs it to the signal processor 9.
  • the signal processing unit 9 processes the data acquired from the image sensor 4 to generate and output a single image.
  • the initial position 12A of the inner lens barrel 12 is a position where the image of the subject at the longest shooting distance is focused on the imaging surface
  • the final position 12B is the image of the subject at the shortest shooting distance focused on the imaging surface. It is a position to do.
  • These are preset according to the specifications of the imaging apparatus 101.
  • the initial position 12A corresponds to the longest shooting distance
  • the final position 12A corresponds to the shortest shooting distance, but these may be reversed.
  • a plurality of ranges (shooting distance ranges) from the longest shooting distance to the shortest shooting distance may be set in advance according to the mode.
  • the in-focus position at an arbitrary distance within the preset shooting distance range exists on the imaging surface 4i. become.
  • the depth of field can be extended.
  • the inner lens barrel 12 moves, the distance between the first lens 1 and the second lens 2 changes in a direction to reduce the positional change that may occur due to the movement of the second lens 2.
  • the effect of extending the depth of field can be obtained over the entire image.
  • FIG. 16 shows an example in which the first lens 1 of the imaging optical system of FIG. 15 is designed with one lens in one group and the second lens 2 with three lenses in three groups.
  • the lens groups 2A, 2B, and 2C correspond to the second lens 2 described with reference to FIG.
  • the imaging optical system includes a filter 10.
  • Table 4 Table 5, and Table 6 show design data of the imaging optical system shown in FIG. In Tables 4 and 5, each symbol is the same as in the first embodiment.
  • Table 6 shows the surface interval of the fluctuating portion and the image height at a half field angle of 24 °.
  • position 1 corresponds to the initial position 12A of the inner barrel 12 in FIG. 13
  • position 3 also corresponds to the final position 12B
  • position 2 corresponds to an intermediate position between the initial position 12A and the final position 12B.
  • position 1 indicates the position where the subject image at the subject distance of about 10000 mm is the most focused
  • position 2 indicates the position where the image of the subject at the subject distance of about 600 mm is the most focused
  • Position 3 indicates a position where the image of the subject at the subject distance of about 300 mm is most focused.
  • the design parameters of the image pickup optical system and the shooting distance range (movement range of the image pickup element 4) are determined by the same method as in the first embodiment, and the image height on the image pickup surface 4i is constant as shown in the bottom row of Table 6. It is set as follows.
  • the peripheral portion of the image captured by moving the inner lens barrel 12 during the exposure time does not flow radially, so that deterioration of the peripheral portion of the image can be suppressed.
  • the movement of only one place can reduce the change in the position of the image on the imaging surface that may occur during the exposure time. This realizes a simple configuration / control.
  • the PSF around the image does not spread in the radial direction, and even if the subject distance or image height changes, there is little fluctuation in the PSF, so regardless of the subject distance or image height, Images can be restored based on a single PSF. Thereby, the effect of extending the depth of field can be obtained over the entire image, and an image with higher sharpness can be acquired.
  • the inner barrel 12 is moved, but the same effect can be obtained by moving the outer barrel 13.
  • the PSF used for restoration in the present embodiment may be acquired by photographing a point light source in advance using the imaging optical system shown in FIG.
  • the first lens and the second lens are under the same conditions as the changes in the positions of the first lens and the second lens at the time of shooting to acquire an image to be restored.
  • the PSF used for restoration may be obtained by simulation.
  • the PSF is stored in a storage unit provided inside or outside the signal processing unit 9 in the imaging apparatus 101. When there are a plurality of preset shooting distance ranges, a PSF corresponding to the shooting distance range may be stored.
  • image restoration is performed using a single PSF.
  • a PSF corresponding to an image height may be acquired and stored, and restoration may be performed using a PSF corresponding to each image height.
  • the MTF value at an image height of 100% is close to a value of 0 even in a low spatial frequency region (50 to 150 lp / mm) due to deterioration of the peripheral portion of the image. Even if PSF is used, the sharpness cannot be sufficiently improved.
  • deterioration of the peripheral portion of the image can be suppressed, so that the MTF value is ensured in the low spatial frequency region (50 to 150 lp / mm) as shown in FIG. Therefore, sharpness can be sufficiently improved by performing restoration using PSF.
  • FIG. 18 is a schematic diagram illustrating a configuration of the imaging apparatus 102 in the comparative example.
  • the configuration of this comparative example is different from the first and second embodiments in that the first lens 1 is not provided.
  • the imaging device 102 includes a non-telecentric imaging optical system including a second lens 2, a diaphragm 3, and an imaging element 4, a shutter mechanism 5, a control unit 7, a motor 8, and a signal processing unit 9.
  • the shutter mechanism 5 is controlled by a control signal from the control unit 7 so that the diaphragm 3 is opened.
  • the image pickup device 4 is at the initial position (solid line) 4A, and at the same time as the aperture 3 is opened, the control unit 7 drives the motor 8 to move to the final position 4B.
  • the shutter mechanism 5 is controlled by the control signal from the control unit 7 to close the aperture 3.
  • the image sensor 4 converts the light detected during the exposure time into an electrical signal and outputs it to the signal processor 9.
  • the signal processing unit 9 processes the data acquired from the image sensor 4 to generate and output an image.
  • the initial position 4A of the image sensor 4 is a position where the image of the subject existing at the longest shooting distance is focused on the imaging surface
  • the final position 4B is a position where the image of the subject existing at the shortest shooting distance is focused on the imaging surface. is there.
  • the imaging device 4 by moving the imaging device 4 during the exposure time (changing the back focus), the in-focus position at an arbitrary distance within the preset shooting distance range exists on the imaging surface 4i. Therefore, in the center portion of the image, the effect of extending the depth of field is obtained, and the image has little deterioration in sharpness.
  • the image height changes with the movement of the image sensor 4, so that the generated image flows radially in the image height direction.
  • FIG. 19 shows an example in which the imaging optical system in FIG. 18 is designed using three lenses in three groups.
  • the lens groups 2A, 2B, and 2C correspond to the second lens 2 described with reference to FIG.
  • the imaging optical system includes a filter 10.
  • Table 7, Table 8, and Table 9 show design data of the imaging optical system shown in FIG. In Tables 7 and 8, each symbol is the same as in the first embodiment.
  • Table 9 shows the surface distance of the fluctuating portion and the image height at a half field angle of 24 °.
  • position 1 corresponds to the initial position 4A of the imaging surface 4i in FIG. 18
  • position 3 also corresponds to the final position 4B
  • position 2 corresponds to an intermediate position between the initial position 4A and the final position 4B.
  • position 1 indicates a position where the subject image existing at a subject distance of about 10000 mm is most focused
  • position 2 is a position where the image of the subject present at a subject distance of about 600 mm is the most focused.
  • the position 3 indicates a position where an image of a subject existing at a subject distance of about 300 mm is most focused.
  • the image height changes depending on the position as shown in the lowest stage of Table 9, and the peripheral portion of the image captured and generated by the configuration of FIG. 18 flows radially, so the peripheral portion of the image deteriorates. .
  • FIG. 21 shows the PSF two-dimensional luminance distribution for each subject distance when the image is taken with the configuration of FIG. 18 for each of the image height of 0% and the image height of 100%.
  • the R6 plane (between the R6 plane and the F1 plane) in Table 9 is moved at a constant speed in the order of position 1, position 2, and position 3 during the exposure time.
  • the change in the two-dimensional luminance distribution of the central PSF when the subject distance changes can be significantly reduced as compared with the case where the imaging optical system is fixed as in the first embodiment.
  • PSF flows radially.
  • FIG. 22 is a graph of the MTF for each subject distance when imaged with the configuration of FIG. 18 and is obtained according to the procedure of FIGS. 8 (a) to 8 (e). Compared with the MTF graph of FIG. 10 of the first embodiment, it can be seen that the MTF with an image height of 100% tangential is lowered from the low frequency region.
  • FIG. 23 is a diagram showing an image obtained by simulation of the chart image for each subject distance in this comparative example with an image height of 0% and an image height of 100%, and the image quality according to the MTF characteristic of FIG. It has become.
  • the central image has almost the same image quality, but it can be seen that an image with an image height of 100% flows radially.
  • FIG. 24 is a graph of the MTF obtained by restoring the acquired image of FIG. 8B using the inverse filter of (Equation 7) in this comparative example and acquiring according to the procedures of FIGS. 8C to 8E.
  • restoration was performed using one type of PSF with a subject distance of 600 mm and an image height of 0%, regardless of the subject distance and the image height, as in the first embodiment.
  • the MTF on the high frequency side of the center and the image height of 100% sagittal is improved as compared with the MTF before restoration in FIG. 21, but the MTF with the image height of 100% tangential is almost changed. I understand that there is no.
  • FIG. 25 shows the image after restoration, and the image quality conforms to the MTF characteristic of FIG. Compared with the image in FIG. 13 of the first embodiment, the central image has almost the same image quality, but it can be seen that an image with an image height of 100% is not completely restored and flows radially.
  • the imaging apparatus according to the present invention is useful as an imaging apparatus such as a digital still camera or a digital video camera. It can also be applied to applications such as distance measuring devices.

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Lenses (AREA)
  • Studio Devices (AREA)
  • Lens Barrels (AREA)

Abstract

　本発明の撮像装置は、第１のレンズ１と、第１のレンズ１を通過した光が入射する第２のレンズ２と、第２のレンズ２を通過した光を検出する撮像面４ｉを有する撮像素子４とを含む像側非テレセントリック撮像光学系と、露光時間中に第１のレンズ１と第２のレンズ２との間の第１距離、及び、第２のレンズ２と撮像素子４との間の第２距離をそれぞれ変化させる位置変化部（カム機構６およびモーター８）と、撮像素子４から出力された電気信号を用いて画像を生成する信号処理部９とを備え、撮像素子４は、第１の距離および第２の距離が変化している露光時間中に撮像面４ｉに到達した光を電気信号に変換する。

Description

撮像装置
　本発明はカメラ等の撮像装置に関する。
　撮像装置では、被写体の位置が被写界深度の範囲内に含まれる場合に、フォーカスが合い鮮明な画像を撮像することができる。被写界深度を拡張した画像を取得するには、撮像光学系のＦナンバーを大きくすることにより対応できるが、Ｆナンバーを大きくすると、光量が低下してしまう。
　特許文献１には、被写体および鏡筒の少なくとも一方を露光時間中に動かす構成にすることにより、Ｆナンバーを大きくすることなく被写界深度を拡張する技術が開示されている。特許文献１に開示される構成は、顕微鏡などの物体側テレセントリック光学系に有効な手法である。
特開昭６０－６８３１２号公報
　本願発明者は、広視野を撮像するカメラに特許文献１に示す手法を応用する場合には、次のような課題があることを見出した。
　像側テレセントリック光学系において、露光時間中にレンズ鏡筒および撮像面の少なくとも一方を動かす構成を採用すると、バックフォーカスを変化させ、被写界深度を拡張する効果を得ることができる。
　しかしながら、広視野を撮像するカメラの光学系を像側テレセントリックにしようとすると、レンズ枚数の増加により光学長が長くなるため、撮像装置の大型化や高コスト化をまねく。
　一方、像側テレセントリックではない光学系を用いた場合、露光時間中に鏡筒および撮像面の少なくとも一方を動かすと、露光された画像の周辺部において、光軸を中心に放射状に流れが現れる。このような放射状の流れは、露光時間中に撮像面に写る像の位置（像の大きさ）が変化することが原因である。放射状の流れに対してウィナーフィルタのような画像復元フィルタを用いて処理を行っても、画像を十分に復元することは困難である。
　本発明は、上記課題を解決するためになされたものであり、その主な目的は、被写界深度が大きく、かつ、画像の周辺部に放射状の流れが生じるのを抑制することができる撮像装置および撮像方法を提供することにある。
　本発明の撮像装置は、第１のレンズと、前記第１のレンズを通過した光が入射する第２のレンズと、前記第２のレンズを通過した光を検出する撮像面を有する撮像素子とを含む像側非テレセントリック撮像光学系と、露光時間中に前記第１のレンズと前記第２のレンズとの間の第１距離、及び、前記第２のレンズと前記撮像素子との間の第２距離をそれぞれ変化させる位置変化部と、前記撮像素子から出力された電気信号を用いて画像を生成する信号処理部とを備え、前記撮像素子は、前記第１の距離および前記第２の距離が変化している前記露光時間中に前記撮像面に到達した光を前記電気信号に変換する。
　本発明の撮像方法は、第１のレンズと、前記第１のレンズを通過した光が入射する第２のレンズと、前記第２のレンズを通過した光を検出する撮像面を有する撮像素子とを含む像側非テレセントリック撮像光学系と、前記撮像素子から出力された電気信号を用いて画像を生成する信号処理部とを備える撮像装置の撮像方法であって、露光時間中に、前記第１のレンズと前記第２のレンズとの間の第１距離、及び、前記第２のレンズと前記撮像素子との間の第２距離をそれぞれ変化させながら、前記撮像素子における撮像面に到達した光を取得する第１のステップと、前記信号処理部が、前記第１ステップに取得された光の電気信号に基づいて画像を生成する第２のステップとを包含する。
　本発明によれば、第２のレンズと撮像素子との間の第２距離を変化させながら撮像面に到達した光を取得することにより、被写界深度を大きくすることができる。さらに、第１のレンズと第２のレンズとの間の第１距離を変化させながら撮像面に到達した光を取得することにより、露光時間中に撮像面に写る像の位置変化を低減することができる。このように、生成された画像の周辺部の劣化を低減することができるため、像側非テレセントリックの撮像光学系を有する撮像装置においても、被写界深度を大きくすることができる共に、画像全域にわたって鮮鋭度の高い画像を得ることができる。
本発明の実施の形態１における撮像装置を模式的に示す断面図 本発明の実施の形態１における撮像装置のカム機構の構造図 本発明の実施の形態１における撮像装置の撮像光学系の断面図 （１）は光学系における球面収差を示すグラフ、（２）は光学系における非点収差を示すグラフ、（３）は光学系における歪曲収差を示すグラフ （１）から（３）は、図１の撮像装置において、第１のレンズと第２のレンズを固定して撮像した場合の被写体距離毎のＰＳＦを示す図 （１）から（３）は、図１の撮像装置において、第１のレンズと第２のレンズを固定して撮像した場合の被写体距離毎のチャート画像を示す図 （１）から（３）は、図１の撮像装置において、第１のレンズ第２のレンズを移動して撮像した場合の被写体距離毎のＰＳＦを示す図 （ａ）から（ｅ）は、ＭＴＦの導出について説明する図 （１）から（３）は、図１の撮像装置において、第１のレンズと第２のレンズを固定して撮像した場合の被写体距離毎のＭＴＦのグラフ （１）から（３）は、図１の撮像装置において、第１のレンズと第２のレンズを移動して撮像した場合の被写体距離毎のＭＴＦのグラフ （１）から（３）は、図１の撮像装置で取得した被写体距離毎の復元前のチャート画像を示す図 （１）から（３）は、点拡がり関数に基づいて復元させた場合のＭＴＦのグラフ （１）から（３）は、図１の撮像装置で取得した被写体距離毎の復元後のチャート画像を示す図 （ａ）および（ｂ）は、図１の撮像装置の異なる形態を示す模式的に示す図 本発明の実施の形態２における撮像装置を模式的に示す断面図 本発明の実施の形態２における撮像装置の撮像光学系の断面図 （１）から（３）は、図１６の光学系における球面収差、非点収差および歪曲収差をそれぞれ示すグラフ 比較例における撮像装置を模式的に示す図 比較例における撮像装置の撮像光学系の断面図 （１）から（３）は、図１９の光学系における球面収差、非点収差および歪曲収差をそれぞれ示すグラフ （１）から（３）は、図１８の撮像装置の被写体距離毎のＰＳＦを示すグラフ （１）から（３）は、図１８の撮像装置の被写体距離毎のＭＴＦを示すグラフ （１）から（３）は、図１８の撮像装置の被写体距離毎の復元前のチャート画像を示す図 （１）から（３）は、図１８の撮像装置の被写体距離毎の復元後のＭＴＦを示すグラフ （１）から（３）は、図１８の撮像装置の被写体距離毎の復元後のチャート画像を示す図
　以下本発明の実施の形態について、図面を参照しながら説明する。
　（実施の形態１）
　図１は、本発明の実施の形態１における撮像装置１００の構成を示す模式図である。撮像装置１００は、第１のレンズ１、第２のレンズ２、絞り３、および撮像面４ｉを有する撮像素子４によって構成される非テレセントリック撮像光学系と、シャッター機構５と、カム筒および固定筒を含むカム機構６と、制御部７と、モーター８と、信号処理部９とを備えている。
　第１のレンズ１は、第２のレンズ２よりも被写体側に配置されている。被写体からの光は、第１のレンズ１を通過した後に、第２のレンズ２に入射する。第２のレンズ２は、第１のレンズ１と撮像素子４との間に配置されている。第２のレンズ２を通過した光は、撮像素子４の撮像面４ｉにおいて検出される。
　カム機構６およびモーター８は位置変化部を構成している。モーター８は、制御部７からの制御信号に基づいて、カム機構６を動かす。カム機構６は、第１のレンズ１と第２のレンズ２との間の距離（相対位置）、及び、第２のレンズ２と撮像素子４の間の距離（相対位置）をそれぞれ変化させる。具体的には、絞り３が開放されている間（期間）に、第２のレンズ２を、初期位置（実線）２Ａから最終位置（破線）２Ｂまで移動させることによって、第２のレンズ２と撮像素子４の撮像面との間の距離を変化させる。かつ、第１のレンズ１を初期位置（実線）１Ａから最終位置（破線）１Ｂまで移動させることによって、第２のレンズ２と撮像素子４の撮像面との距離の変化に連動させて、第１のレンズ１と第２のレンズ２との間の距離を変化させる。なお、本実施形態では、絞り３をシャッターとしても機能させている。
　撮像素子４は、絞り３が開放されている間に、撮像面４ｉに到達した光を電気信号に変換する。
　より具体的には、絞り３が開放されている間、撮像素子４は、撮像面４ｉに入射してくる光を連続的に取得し、その光を電荷に変換し続ける。露光時間が経過した後、シャッター機構５は絞り３を閉じる。その後、撮像素子４は、露光時間に蓄積された電荷を、電気信号として信号処理部９に出力する。信号処理部９は電気信号に基づいて画像を生成する。
　本実施形態によると、第２のレンズと撮像素子との間の距離を変化させながら撮像を行うことにより、被写界深度を大きくすることができる。
　第２のレンズ２は、被写体に近づく方向（初期位置２Ａから最終位置２Ｂに向う方向）に動く。この動きに連動し、第１のレンズ１は、被写体から遠ざかる方向（初期位置１Ａから最終位置１Ｂに向う方向）に動く。第１のレンズ１がこのような向きに動くことにより、第１のレンズ１と第２のレンズ２との間の距離が一定の場合と比較して、撮像面４ｉにおける像の位置の変化が小さくなる。ただし、この比較は、第１のレンズ１と第２のレンズ２との間の距離が変化する場合と一定の場合との両方において、第２のレンズ２と撮像素子４との間の距離の変化が同一であることを前提としている。
　本実施形態においては、絞り３が開放されている間に第１のレンズ１と第２のレンズ２との間の距離、及び、第２のレンズ２と撮像素子４との間の距離を変化させることにより、撮像素子４の撮像面４ｉにおける像の位置が一定（略一定）となることが好ましい。「像の位置が一定」であるとは、具体的には、像の位置変化が、その所定の時間において常に、１から２画素程度の範囲内の値をとることを言う。
　第１のレンズ１と第２のレンズ２は、それぞれ単レンズから構成されていてもよいし、複数レンズから構成されたレンズ群であってもよい。
　なお、上述の説明においては、絞り３が開放されている時間と、第１のレンズ１および第２のレンズ２が移動する時間とが、ほぼ一致していた。本実施形態においては、これらは一致していなくてもよい。すなわち、絞り３が開放されている時間のうちの一部のみに第１のレンズ１および第２のレンズ２が移動してもよいし、第１のレンズ１および第２のレンズ２が移動している時間の一部のみに絞り３を開放してもよい。また、第１のレンズ１および第２のレンズ２の動き自体は連続的でなくてもよく、一時的に停止してもよい。例えば、第１、第２のレンズ１、２は、０．０１秒から０．１秒程度の時間内に連続的に移動される。
　本実施形態において、絞り３はシャッターとしての役割も果たす。この場合、「露光時間」は、絞り３を開放することにより、撮像面４ｉに光が入射する時間である。本実施形態においては、絞り３のほかに、別途シャッターを設けてもよい。この場合、シャッターとしては、例えば、仕切り板などの部材を絞り３と撮像素子４との間に設ければよい。この場合、「露光時間」は、仕切り板などの部材を開放することにより、撮像面４ｉに光が入射する時間である。また、本実施形態では、撮像素子４の電子シャッターによって、撮像面４ｉに入射する光を検出するか否かを切り替えてもよい。この場合、「露光時間」とは、撮像素子の電子シャッターが開放状態にあり、撮像面４ｉに入射する光が検出される時間である。
　図２は、カム機構６の構成図であり、第１のレンズを保持する第１のレンズ鏡筒Ａと、第２のレンズを保持する第２のレンズ鏡筒Ｂと、第１のレンズ鏡筒Ａおよび第２のレンズ鏡筒Ｂを保持するカム筒Ｃと、カム筒Ｃを保持する固定筒Ｄとから構成されている。第１のレンズ鏡筒Ａの周りには、レンズの中心からレンズの外側に向かう方向に凸状の第１のカムフォロワＡ１が設けられており、第２のレンズ鏡筒Ｂの周りにも、レンズの中心からレンズの外側に向かう方向に凸状の第２のカムフォロワＢ１が設けられている。また、カム筒Ｃには、カム筒Ｃを貫通する第１のカム溝Ｃ１と第２のカム溝Ｃ２が設けられている。第１のカム溝Ｃ１内には第１のカムフォロワＡ１が、第２のカム溝Ｃ２内には第２のカムフォロワＢ１が配置されている。
　第１のカム溝Ｃ１および第２のカム溝Ｃ２は、カム筒Ｃの表面において、それぞれ細長い穴を有しており、それらの長手方向は、それぞれ、撮像面４ｉから傾いている。カム筒Ｃを回転させることにより、第１のカム溝Ｃ１、第２のカム溝Ｃ２も回転移動する。そのため、第１のカム溝Ｃ１内における第１のカムフォロワＡ１の相対的な位置が変化し、第２のカム溝Ｃ２内の第２のカムフォロワＢ１の相対的な位置が変化する。上述したように、第１のカム溝Ｃ１および第２のカム溝Ｃ２の長手方向が撮像面４ｉから傾いているため、カム筒Ｃを回転させると、第１のレンズ鏡筒Ａおよび第２のレンズ鏡筒Ｂの光軸方向の位置が変化する。第１のカム溝Ｃ１および第２のカム溝Ｃ２の長手方向の傾きの大きさによって、第１のレンズ鏡筒Ａと第２のレンズ鏡筒Ｂの相対的な位置関係が決定される。カム筒Ｃの端部には、モーターからの回転を伝達する第１のギアＣＧが設けられている。
　また、固定筒Ｄの内側には、第１のガイド溝Ｄ１および第２のガイド溝Ｄ２が設けられている。第１のガイド溝Ｄ１および第２のガイド溝Ｄ２内には、第１のカムフォロワＡ１および第２のカムフォロワＢ１が配置されている。第１のガイド溝Ｄ１は、第１のカムフォロワＡ１の光軸方向の移動範囲に設けられ、第２のガイド溝Ｄ２は、第２のカムフォロワＢ１の光軸方向の移動範囲に設けられている。すなわち、第１のガイド溝Ｄ１および第２のガイド溝Ｄ２の長手方向は、光軸に平行な方向を向いている。カム溝Ｃを回転させると、第１のカムフォロワＡ１が第１のガイド溝Ｄ１内を移動し、内第２のカムフォロワＢ１が第２のガイド溝Ｄ２を移動する。このように、第１のガイド溝Ｄ１および第２のガイド溝Ｄ２は、第１のレンズ鏡筒Ａと第２のレンズ鏡筒Ｂをそれぞれ光軸方向にガイドすることができる。
　モーター８には、カム筒Ｃに設けられた第１のギアＣＧにモーターの回転を伝達するための第２のギア８Ｇが設けられている。このような構成により、図１の絞り３の開放時つまり露光時間中にモーター８を回転させることでカム筒Ｃが回転し、カム筒Ｃの回転に伴い第１のレンズ鏡筒Ａと第２のレンズ鏡筒Ｂがそれぞれ光軸方向に移動する。第１のレンズ鏡筒Ａと第２のレンズ鏡筒Ｂの移動により、第２のレンズ２と撮像素子４の撮像面との距離の変化に連動して第１のレンズ１と第２のレンズ２との距離が変化する。
　撮像装置１００における画像取得フローの一例を説明する。まず、制御部７からの制御信号によりシャッター機構５を制御して、絞り３を開放状態とする。第１のレンズ１と第２のレンズ２は、それぞれ、初期位置１Ａ、１Ｂにある。絞り３の開放とほぼ同時に、制御部７によりモーター８が駆動され、カム機構６を介して、第１のレンズ１と第２のレンズ２は最終位置１Ｂ、２Ｂまで動かされる。このとき、第２のレンズ２及び絞り３は一体となって移動させる。
　第１のレンズ１と第２のレンズ２の移動量はそれぞれａ、ｂとなるように、言い換えると、第１のレンズ１と第２のレンズ２との距離の変化量がａ＋ｂ、第２のレンズ２と撮像素子４の撮像面との距離の変化量がｂとなるように設計されている。第１のレンズ１と第２のレンズ２との間の距離は、移動後、ａ＋ｂだけ短くなり、第２のレンズ２と撮像素子４の撮像面との間の距離は、ｂだけ短くなる。
　撮像光学系の設計パラメータとａ、ｂの値を適正に設定することにより、露光時間中は撮像面４ｉにおける像の大きさを常に一定にすることができる。詳細は後述する。次に、第１のレンズ１と第２のレンズ２の停止とほぼ同時に制御部７からの制御信号によりシャッター機構５を制御し絞り３を閉じる。撮像素子４は、露光時間中に検出した光を電気信号に変換して信号処理部９に出力する。信号処理部９は撮像素子４から取得したデータを処理して、単一の画像を生成し出力する。
　ここで、第２のレンズ２の初期位置２Ａは、最長撮影距離に存在する被写体の像が撮像面で合焦する位置であり、最終位置２Ｂは、最短撮影距離に存在する被写体の像が撮像面で合焦する位置である。最長撮影距離は、撮像装置１００によって焦点の合った撮像を行うことが望まれる被写体距離の範囲のうち最も大きい距離であり、最短撮影距離は、同様の被写体距離の範囲のうち最も小さい距離である。これらは、撮像装置１００の仕様に応じて予め設定されている。本実施形態では、初期位置２Ａが最長撮影距離に、最終位置２Ａが最短撮影距離に対応しているが、これらは逆であってもよい。この場合、第１のレンズ１の初期位置１Ａおよび最終位置１Ｂも逆になる。また、最長撮影距離から最短撮影距離までの範囲（撮影距離範囲）は、予めモードに応じて複数設定させてもよい。
　以上のように、露光時間中に第２のレンズ２を移動させる（バックフォーカスを変化させる）ことにより、予め設定された撮影距離範囲内の任意の距離における被写体の合焦位置は撮像面４ｉに存在することになる。これにより、被写界深度を拡張することができる。さらに、図１に示したように、第２のレンズ２の移動と連動した第１のレンズ１の移動により、第２のレンズ２の移動により生じうる像の位置の変化を低減することができる。これにより、像側が非テレセントリックの撮像光学系を有する撮像装置であっても、画像全域にわたって被写界深度拡張の効果を得ることができる。
　以下に実際の設計例を説明する。
　図３は、図１の撮像光学系の第１のレンズを１群１枚で、第２のレンズ２を３群３枚のレンズにて設計した例である。レンズ群２Ａ、２Ｂ、２Ｃは図１で説明した第２のレンズ２に相当する。図３において、撮像光学系はフィルタ１０を備えている。
　表１、表２および表３は、図３に示す撮像光学系の設計データをそれぞれ示している。表１と表２において、Ｒｉは各面の近軸曲率半径（ｍｍ）、ｄｉは各面における、隣接面との面中心間隔（ｍｍ）、ｎｄはレンズもしくはフィルタのｄ線の屈折率、νｄはレンズもしくはフィルタのｄ線のアッベ数を示している。また、非球面形状は、面頂点の接平面から光軸方向の距離をｘ（ｍｍ）、光軸からの高さをｈ（ｍｍ）として、ｒを近軸曲率半径、ｋを円錐定数、Ａｍ（ｍ＝４，６，８，１０）を第ｍ次の非球面係数としたとき（数１）で表される。
Figure JPOXMLDOC01-appb-M000001
　また、表３は変動箇所の面間隔と半画角２４°における像高を示している。表３において位置１は、図１における第１のレンズ１と第２のレンズ２の初期位置１Ａ、２Ａに対応し、位置３は同じく最終位置１Ｂ、２Ｂに対応し、位置２は初期位置１Ａ、２Ａと最終位置１Ｂ、２Ｂとの中間位置に対応している。また、本設計例において、位置１はおよそ１００００ｍｍの被写体距離にある被写体の像が最も合焦する位置を示し、位置２はおよそ６００ｍｍの被写体距離にある被写体の像が最も合焦する位置を示し、位置３はおよそ３００ｍｍの被写体距離にある被写体の像が最も合焦する位置を示す。
Figure JPOXMLDOC01-appb-T000001
Figure JPOXMLDOC01-appb-T000002
Figure JPOXMLDOC01-appb-T000003
　図４の（１）、（２）および（３）は、それぞれ表３の位置２における球面収差、非点収差および歪曲収差を示している。
　撮像光学系の設計パラメータ及び第２のレンズ２の初期位置２Ａおよび移動距離ｂの決定は、レンズ収差の影響及び被写界深度を勘案した上で最適値を導き出すことによって行った。また、これに伴い、第１のレンズ１の初期位置１Ａおよび移動距離ａは、撮像面４ｉにおける像高が表３の最下段のように一定になるよう、つまり、第２のレンズ２の移動により生じうる像の位置変化が生じないように設定している。これにより、露光時間中に第１のレンズ及び第２のレンズの位置を変化させて撮影した画像の周辺部は、放射状に流れることがなくなるため、画像周辺部の劣化を抑制することができる。
　次に、本実施の形態の効果について、撮像光学系を固定した場合（比較例）と比較して詳細に説明する。
　図５は、撮像光学系を表３の位置２の状態に固定した場合の被写体距離毎のＰＳＦ（Ｐｏｉｎｔ　Ｓｐｒｅａｄ　Ｆｕｎｃｔｉｏｎ）の２次元強度分布を像高０割と像高１０割のそれぞれについて示している。なお、「像高」とは、画像中心からの距離に相当し、像高０割は、画像中心部分、像高１０割は画像中心からの距離が最大となる部分のことを言う。また、２次元強度分布の各グラフの左側に配置されるグラフがタンジェンシャル方向のＰＳＦ断面を表し、下側に配置されるグラフがサジタル方向のＰＳＦ断面を表している。撮像光学系を位置２の状態に固定した場合では、被写体距離や像高によってＰＳＦの２次元強度分布が大きく変化することがわかる。
　また、図６は、撮像光学系を表３の位置２の状態に固定した場合の被写体距離毎のチャート画像を、像高０割と像高１０割のそれぞれについてシミュレーションによって取得した画像を示す図である。位置２は被写体距離６００ｍｍにある被写体の像が最も合焦するため、図６において、被写体距離６００ｍｍで最も鮮鋭な画像となっており、被写体距離３００ｍｍと１００００ｍｍでは、画像が劣化していることがわかる。
　図７は、本実施の形態における前述の画像取得フローで撮像した場合の被写体距離毎のＰＳＦの２次元輝度分布を像高０割と像高１０割のそれぞれについて示している。露光時間中にＲ２面（Ｒ２面と絞り間）とＲ８面（Ｒ８面とＦ１面間）の面間隔が、それぞれ表３の位置１、位置２、位置３の状態になるよう、順に等速で動かしている。このような画像取得フローにより、図７に示すように、被写体距離や像高が変化したときのＰＳＦの２次元強度分布の変化を大幅に減少させることができる。
　図８は、撮像光学系のＭＴＦ（Ｍｏｄｕｌａｔｉｏｎ　Ｔｒａｎｓｆｅｒ　Ｆｕｎｃｔｉｏｎ）を測定するための一般的な手順を示す図である。図８（ａ）は、白黒の境界が完全なステップ状になっているチャートである。図８（ａ）のチャートを撮像すると、図８（ｂ）の画像が取得でき、白黒の境界部の鮮鋭度は撮像光学系の点拡がり関数によって劣化する。図８（ｃ）は、図８（ｂ）の画像の階調の断面を示しており、これを微分すると図８（ｄ）のＬＳＦ（Ｌｉｎｅ　Ｓｐｒｅａｄ　Ｆｕｎｃｔｉｏｎ）が得られる。ＬＳＦをフーリエ変換することにより、図８（ｅ）のような撮像光学系のＭＴＦを取得することができる。ここで、図８（ａ）のチャートをタンジェンシャル方向とサジタル方向でそれぞれ撮像し、それぞれのＬＳＦをフーリエ変換することによりタンジェンシャル方向のＭＴＦとサジタル方向のＭＴＦを取得することができる。一般的に、ＭＴＦ値が高いほど、画像の鮮鋭度は高くなる。
　図９は、撮像光学系を表３の位置２の状態に固定した場合の被写体距離毎のＭＴＦのグラフである。図９のＭＴＦは、前述の図８（ａ）～（ｅ）の手順に従って取得したものである。ここで、図８（ｂ）に相当する画像は、撮像素子の画素ピッチを１．８μｍとしてシミュレーションによって取得している。位置２では被写体距離６００ｍｍにある被写体の像が最も合焦するため、図９において、被写体距離３００ｍｍと１００００ｍｍでは、被写体距離６００ｍｍに比べて高周波数側のＭＴＦが低下していることがわかる。なお、図６で示したチャート画像は、図９のＭＴＦに準じた画質となっている。
　図１０は、本実施の形態における前述の画像取得フローで撮像した場合の被写体距離毎のＭＴＦのグラフであり、前述の図８の（ａ）～（ｅ）の手順に従って取得したものである。図９の被写体距離３００ｍｍと１００００ｍｍにおけるＭＴＦグラフと比べて、高周波数側のＭＴＦの低下が抑制されていることがわかる。
　図１１は、本実施形態における前述の画像取得フローで撮像した場合の被写体距離毎のチャート画像を像高０割と像高１０割のそれぞれについてシミュレーションにて取得した画像を示す図である。図１１に示す画像は、図１０のＭＴＦ特性に準じた画質となっている。図６の比較例（位置２に固定して取得した画像）と比べると、被写体距離６００ｍｍの画像の鮮鋭度は多少劣化しているものの、被写体距離３００ｍｍと１００００ｍｍの画像の鮮鋭度については向上していることがわかる。また、中央部と比較した画像周辺部の劣化も最小限に抑制できていることがわかる。
　次に、劣化画像（撮影画像）をＰＳＦに基づいて復元する方法について説明する。劣化前の原画像をｆ（ｘ，ｙ）とし、ＰＳＦをｈ（ｘ，ｙ）とすると、劣化後（撮影後）の画像ｇ（ｘ，ｙ）は、（数２）で表すことができる。
Figure JPOXMLDOC01-appb-M000002
　（数２）の両辺をフーリエ変換すると（数３）のようになる。
Figure JPOXMLDOC01-appb-M000003
　ここで、（数４）の逆フィルタＨｉｎｖ（ｕ，ｖ）を劣化画像Ｇ（ｕ，ｖ）に適用することによって、（数５）のように原画像の２次元フーリエ変換Ｆ（ｕ，ｖ）が求まる。これを逆フーリエ変換することによって、原画像ｆ（ｘ，ｙ）を復元画像として得ることができる。
Figure JPOXMLDOC01-appb-M000004
Figure JPOXMLDOC01-appb-M000005
　しかし、Ｈ（ｕ，ｖ）が０あるいは極めて小さい値となるとＨｉｎｖ（ｕ，ｖ）が発散するため、（数６）のようなウィーナフィルタＨｗ（ｕ，ｖ）を用いて劣化画像を復元する。
Figure JPOXMLDOC01-appb-M000006
　（数６）においてＮ（ｕ，ｖ）はノイズである。通常はノイズと原画像Ｆ（ｕ，ｖ）は未知であるため、実際には定数ｋを用い（数７）のフィルタにて劣化画像を復元する。

Figure JPOXMLDOC01-appb-M000007
　図１２は、本実施の形態において（数７）の逆フィルタを用いて図８（ｂ）に相当する取得画像（撮影画像）を復元し、図８（ｃ）～（ｅ）の手順に従って取得したＭＴＦのグラフである。なお、（数７）における定数ｋは、ｋを変化させた際のそれぞれの復元画像の鮮鋭度を比較して決定している。図７に示したとおり、本実施の形態では、被写体距離や像高が変化してもＰＳＦの変動は少ないので、被写体距離や像高にかかわらず単一のＰＳＦに基づいて画像全体を復元させることができる。本実施の形態では、露光時間中に撮像素子の撮像面における像の位置変化が生じないように第１のレンズ及び第２のレンズの位置を変化させながら点光源を撮影することによって取得し画像（被写体距離６００ｍｍ像高０割）のＰＳＦを用いて復元を行った。いずれの被写体距離においても高周波数側のＭＴＦが図１０の復元前のＭＴＦと比べて向上していることがわかる。
　また、図１３は、図１１の復元後の画像を示しており、図１２のＭＴＦ特性に準じた画質となっている。復元後の画像は、図１１の復元前の画像に比べて鮮鋭度が向上していることがわかる。
　なお、本実施形態における画像復元処理は、図１に示した信号処理部９において実行される。
　以上のように、本実施の形態においては、カム機構６及びモーター８を含む位置変化部により、第１のレンズ１と第２のレンズ２を連動して移動させながら露光を行う。これにより、露光時間中に生じうる撮像面に写る像の位置変化を低減することができるため、生成された画像の周辺部の劣化を低減することができる。これにより、像側が非テレセントリック光学系である撮像光学系を有する撮像装置であっても、画像全域にわたって被写界深度拡張の効果を得ることができる。
　さらに、画像周辺部のＰＳＦが放射方向に広がらず、また、被写体距離や像高が変化してもＰＳＦの変動が少ないため、被写体距離や像高にかかわらず、単一のＰＳＦに基づいて画像を復元させることができる。これにより、画像全域にわたって被写界深度拡張の効果が得られ、かつ、より鮮鋭度の高い画像を取得することができる。また、単一のＰＳＦに基づいて画像を復元することができるため、画像位置毎のＰＳＦを記憶させておく必要がなくなり、演算負荷やメモリ消費を抑制することができる。
　なお、本実施の形態では撮像素子４を固定して第１のレンズ１と絞り３および第２のレンズ２を移動させているが、本発明はこれに限るものではない。すなわち、第１のレンズ１と第２のレンズ２との距離の変化量がａ＋ｂ、第２のレンズ２と撮像素子４の撮像面との距離の変化量がｂとなればよいので、例えば、図１４（ａ）に示すように、第２のレンズ２および絞り３を固定して、第１のレンズ１と撮像素子４を移動させる構成であってもよい。図１４（ａ）の場合であっても表３の面間隔の関係は同じであり、第１のレンズ１の移動量と第２のレンズ２の移動量を図１のａ、ｂと対応させて記述するとそれぞれ、ａ＋ｂ、ｂとなる。同様に、図１４（ｂ）のように第１のレンズ１を固定して第２のレンズ２と絞り３および撮像素子４を移動させる構成であってもよい。図１４（ｂ）の場合であっても表３の面間隔の関係は同じであり、第２のレンズ２と絞り３の移動量と撮像素子４の移動量を図１のａ、ｂと対応させて記述すると、それぞれａ＋ｂ、ａとなる。図１４（ａ）、（ｂ）においても、図２と同様のカム溝およびカムフォロワを用いることができる。
　また、本実施の形態において復元に用いるＰＳＦは、図１に示した撮像光学系を用いて、予め点光源を撮影することによって取得してもよい。点光源を撮影するときには、第１のレンズ１及び第２のレンズ２は、復元の対象となる画像を取得するための撮影時の第１のレンズ１及び第２のレンズ２の位置の変化と同一の条件で移動させる。または、復元に用いるＰＳＦをシミュレーションにより取得してもよい。ＰＳＦは、撮像装置１００内における信号処理部９の内部または外部に設けられた記憶部に記憶される。予め設定される撮影距離範囲が複数である場合は、撮影距離範囲に応じたＰＳＦを記憶すればよい。
　また、本実施の形態は、単一のＰＳＦを用いて画像復元を行ったが、像高に応じたＰＳＦを取得し記憶させ、各像高において対応するＰＳＦを用いて復元してもよい。後述する比較例においては、画像周辺部の劣化により像高１０割におけるＭＴＦ値が、空間周波数が低い領域（５０～１５０ｌｐ／ｍｍ）でも０の値に近接しているため、たとえ像高に対応するＰＳＦを用いても、鮮鋭度を十分に向上させることができない。しかし、本実施形態の撮影によると、画像周辺部の劣化を抑制することができるため、図１０に示すように、空間周波数が低い領域（５０～１５０ｌｐ／ｍｍ）においてＭＴＦ値が確保される。したがって、ＰＳＦを用いて復元を行うことにより、鮮鋭度を十分に向上させることができる。
　（実施の形態２）
　以下、第１のレンズ１と第２のレンズ２との間の距離の変化量と、第２のレンズ２と撮像素子４の撮像面との間の距離の変化量が同量の構成を説明する。
　図１５は、本実施形態における撮像装置１０１の構成を示す模式図である。撮像装置１０１は、第１のレンズ１、絞り３、第２のレンズ２、撮像素子４とで構成される非テレセントリック撮像光学系と、シャッター機構５、制御部７、モーター８、信号処理部９とを備えている。第２のレンズ２および絞り３は内側鏡筒１２によって保持され、第１のレンズ１および撮像素子４は外側鏡筒１３によって保持されている。
　内部鏡筒１２およびモーター８は位置変化部を構成している。モーター８は、制御部７からの制御信号に基づいて、内部鏡筒１２を、初期位置（実線）１２Ａから最終位置（破線）１２Ｂまで動かす。内部鏡筒１２が動くと、内部鏡筒１２によって保持されている第２のレンズ２および絞り３が移動する。このとき、外部鏡筒１２によって保持されている第１のレンズ１および撮像素子４の位置は変化しないため、第１のレンズ１と第２のレンズ２との間の距離（相対位置）、及び、第２のレンズ２と撮像素子４の間の距離（相対位置）がそれぞれ変化する。
　撮像素子４は、絞り３が開放されている間に、撮像面４ｉに到達した光を電気信号に変換する。なお、本実施形態では、絞り３をシャッターとしても機能させている。
　より具体的には、絞り３が開放されている間、撮像素子４は、撮像面４ｉに入射してくる光を連続的に取得し、その光を電荷に変換し続ける。露光時間が経過した後、シャッター機構５は絞り３を閉じる。その後、撮像素子４は、露光時間に蓄積された電荷を、電気信号として信号処理部９に出力する。信号処理部９は電気信号に基づいて画像を生成する。
　本実施形態によると、第２のレンズと撮像素子との間の距離を変化させながら撮像を行うことにより、被写界深度を大きくすることができる。
　絞りが開放されている間、第２のレンズ２は、被写体に近づく方向に、距離Ｃだけ動き、第１のレンズ１の位置は変化しない。このように、第２のレンズ２と第１のレンズ１との間の距離が距離ｃだけ変化することにより、第１のレンズ１と第２のレンズとの間の距離が一定の場合と比較して、撮像面４ｉにおける像の位置の変化が小さくなる。
　本実施形態においては、絞り３が開放されている間に第１のレンズ１と第２のレンズ２との間の距離、及び、第２のレンズ２と撮像素子４の間の距離を変化させることにより、撮像素子４の撮像面４ｉにおける像の位置が一定（略一定）となることが好ましい。「像の位置が一定」であるとは、具体的には、像の位置変化が、その所定の時間において常に、１から２画素程度の範囲内の値をとることを言う。
　第１のレンズ１と第２のレンズ２は、それぞれ単レンズから構成されていてもよいし、複数レンズから構成されたレンズ群であってもよい。
　なお、上述の説明においては、絞り３が開放されている時間と、内部鏡筒１２が移動する時間とが、ほぼ一致していた。本実施形態においては、これらは一致していなくてもよい。すなわち、絞り３が開放されている時間のうちの一部のみに内部鏡筒１２が移動してもよいし、内部鏡筒１２が移動している時間の一部のみに絞り３を開放してもよい。また、内部鏡筒１２の動き自体は連続的でなくてもよく、一時的に停止してもよい。内部鏡筒１２は、例えば、０．０１秒から０．１秒程度の時間内に連続的に移動される。
　本実施形態において、絞り３はシャッターとしての役割も果たす。この場合、「露光時間」は、絞り３を開放することにより、撮像面４ｉに光が入射する時間である。本実施形態においては、絞り３のほかに、別途シャッターを設けてもよい。この場合、シャッターとしては、例えば、仕切り板などの部材を絞り３と撮像素子４との間に設ければよい。この場合、「露光時間」は、仕切り板などの部材を開放することにより、撮像面４ｉに光が入射する時間である。また、本実施形態では、撮像素子４内の電子シャッターによって、撮像面４ｉに入射する光を検出するか否かを切り替えてもよい。この場合、「露光時間」とは、撮像素子の電子シャッターが開放状態にあり、撮像面４ｉに入射する光が検出される時間である。
　本実施形態の撮像装置１０１における画像取得フローの一例を説明する。まず、制御部７からの制御信号によりシャッター機構５を制御して絞り３を開放状態とする。このとき、第２のレンズ２および絞り３を保持する内側鏡筒１２は、初期位置１２Ａに配置されている。絞り３の開放とほぼ同時に、制御部７によりモーター８を駆動し、初期位置１２Ａから最終位置１２Ｂまで移動する。このときの内側鏡筒１２の移動量はｃである。
　本実施の形態は、実施の形態１において、第１のレンズ１と第２のレンズ２との距離の変化量と、第２のレンズ２と撮像素子４の撮像面との距離の変化量が同量（ａ＝０）となるよう、かつ、露光時間中、撮像面４ｉにおける像の大きさの変化が小さくなるように撮像光学系を設計したものである。ａ＝０とすることにより、移動させる箇所を一箇所のみとすることができるため、実施の形態１に比べて構成および制御を簡便にすることができる。
　内側鏡筒１２の停止とほぼ同時に、制御部７からの制御信号によりシャッター機構５を制御して、絞り３を閉じる。撮像素子４は、露光時間中に検出した光を電気信号に変換して信号処理部９に出力する。信号処理部９は撮像素子４から取得したデータを処理して、単一の画像を生成し出力する。
　ここで、内側鏡筒１２の初期位置１２Ａは、最長撮影距離にある被写体の像が撮像面で合焦する位置であり、最終位置１２Ｂは最短撮影距離にある被写体の像が撮像面で合焦する位置である。これらは、撮像装置１０１の仕様に応じて予め設定されている。本実施形態では、初期位置１２Ａが最長撮影距離に、最終位置１２Ａが最短撮影距離に対応しているが、これらは逆であってもよい。また、最長撮影距離から最短撮影距離までの範囲（撮影距離範囲）は、予めモードに応じて複数設定させてもよい。
　以上のように、露光時間中に内側鏡筒１２を移動させてバックフォーカスを変化させることにより、予め設定された撮影距離範囲内の任意の距離における合焦位置は撮像面４ｉ上に存在することになる。これにより、被写界深度を拡張することができる。さらに、内側鏡筒１２の移動により、第１のレンズ１と第２のレンズ２との距離は、第２のレンズ２の移動により生じうる位置変化を低減する方向に変化する。これにより、像側が非テレセントリック光学系である撮像光学系を有する撮像装置であっても、画像全域にわたって被写界深度拡張の効果を得ることができる。
　以下に実際の設計例を説明する。
　図１６は、図１５の撮像光学系の第１のレンズ１を１群１枚で、第２のレンズ２を３群３枚のレンズにて設計した例である。レンズ群２Ａ、２Ｂ、２Ｃは図１５で説明した第２のレンズ２に相当する。図１６において、撮像光学系はフィルタ１０を備えている。
　表４、表５および表６は、図１６に示す撮像光学系の設計データをそれぞれ示している。表４と表５において、各記号は実施の形態１と同じである。
　また、表６は変動箇所の面間隔と半画角２４°における像高を示している。表６において位置１は図１３における内側鏡筒１２の初期位置１２Ａに対応し、位置３は同じく最終位置１２Ｂに対応し、位置２は初期位置１２Ａと最終位置１２Ｂとの中間位置に対応している。また、本設計例において、位置１はおよそ１００００ｍｍの被写体距離にある被写体の像が最も合焦する位置を示し、位置２はおよそ６００ｍｍの被写体距離にある被写体の像が最も合焦する位置を示し、位置３はおよそ３００ｍｍの被写体距離にある被写体の像が最も合焦する位置を示す。
Figure JPOXMLDOC01-appb-T000004
Figure JPOXMLDOC01-appb-T000005
Figure JPOXMLDOC01-appb-T000006
　図１７の（１）、（２）および（３）は、それぞれ表６の位置２における球面収差、非点収差および歪曲収差を示している。撮像光学系の設計パラメータ及び撮影距離範囲（撮像素子４の移動範囲）の決定は、実施の形態１と同様の方法で行い、表６の最下段の通り撮像面４ｉにおける像高が一定になるよう設定している。
　図１５の構成により、露光時間中に内側鏡筒１２を移動させて撮影した画像の周辺部は、放射状に流れることがなくなるため、画像周辺部の劣化を抑制することができる。また、１箇所のみの移動により、露光時間中に生じうる撮像面に写る像の位置の変化を低減することができる。これにより簡単な構成・制御が実現する。
　また、実施の形態１と同様に、画像周辺部のＰＳＦは放射方向に広がらず、また、被写体距離や像高が変化してもＰＳＦの変動が少ないため、被写体距離や像高にかかわらず、単一のＰＳＦに基づいて画像を復元させることができる。これにより、画像全域にわたって被写界深度拡張の効果が得られ、かつ、より鮮鋭度の高い画像を取得することができる。
　なお、本実施例において、内側鏡筒１２を移動させているが、外側鏡筒１３を移動させても同様の効果が得られる。
　また、本実施の形態において復元に用いるＰＳＦは、図１５に示した撮像光学系を用いて、予め点光源を撮影することによって取得してもよい。点光源を撮影するときには、第１のレンズ及び第２のレンズは、復元の対象となる画像を取得するための撮影時の第１のレンズ及び第２のレンズの位置の変化と同一の条件で移動させる。または、復元に用いるＰＳＦをシミュレーションにより取得してもよい。ＰＳＦは、撮像装置１０１内における信号処理部９の内部または外部に設けられた記憶部に記憶される。予め設定される撮影距離範囲が複数である場合は、撮影距離範囲に応じたＰＳＦを記憶すればよい。
　また、本実施の形態は、単一のＰＳＦを用いて画像復元を行ったが、像高に応じたＰＳＦを取得し記憶させ、各像高において対応するＰＳＦを用いて復元してもよい。後述する比較例においては、画像周辺部の劣化により像高１０割におけるＭＴＦ値が、空間周波数が低い領域（５０～１５０ｌｐ／ｍｍ）でも０の値に近接しているため、たとえ像高に対応するＰＳＦを用いても、鮮鋭度を十分に向上させることができない。しかし、本実施形態の撮影によると、画像周辺部の劣化を抑制することができるため、図１０に示すように、空間周波数が低い領域（５０～１５０ｌｐ／ｍｍ）においてＭＴＦ値が確保される。したがって、ＰＳＦを用いて復元を行うことにより、鮮鋭度を十分に向上させることができる。
　（比較例）
　図１８は比較例における撮像装置１０２の構成を示す模式図である。本比較例の構成は、第１のレンズ１を備えていない点で、実施の形態１および実施の形態２と異なる。撮像装置１０２は、第２のレンズ２、絞り３、撮像素子４とで構成される非テレセントリック撮像光学系と、シャッター機構５、制御部７、モーター８、信号処理部９とを備えている。
　本比較例の撮像装置１０２における画像取得フローを説明する。まず、制御部７からの制御信号によりシャッター機構５を制御して絞り３を開放状態とする。このとき、撮像素子４は、初期位置（実線）４Ａにあり、絞り３の開放とほぼ同時に、制御部７によりモーター８を駆動し、最終位置４Ｂまで移動する。次に、撮像素子４の停止とほぼ同時に制御部７からの制御信号によりシャッター機構５を制御し絞り３を閉じる。撮像素子４は、露光時間中に検出した光を電気信号に変換して信号処理部９に出力する。信号処理部９は撮像素子４から取得したデータを処理し、画像を生成し出力する。
　撮像素子４の初期位置４Ａは最長撮影距離に存在する被写体の像が撮像面で合焦する位置であり、最終位置４Ｂは最短撮影距離に存在する被写体の像が撮像面で合焦する位置である。これらの位置は予め設定されている。
　以上のように、露光時間中に撮像素子４を移動させる（バックフォーカスを変化させる）ことで、予め設定された撮影距離範囲内の任意の距離における合焦位置は撮像面４ｉに存在することになるため、画像中央部においては、被写界深度拡張の効果が得られ、鮮鋭度の劣化の少ない画像となる。一方、画像周辺部においては、撮像素子４の移動と共に像高が変化するため、生成された画像は像高方向に放射状に流れてしまう。
　以下に実際の設計例を用いて、本比較例の画像の劣化について説明する。
　図１９は、図１８の撮像光学系を３群３枚のレンズを用いて設計した例である。レンズ群２Ａ、２Ｂ、２Ｃは、図１６を用いて説明した第２のレンズ２に相当する。図１９において、撮像光学系はフィルタ１０を備えている。
　表７、表８および表９は、図１９に示す撮像光学系の設計データをそれぞれ示している。表７と表８において、各記号は実施の形態１と同じである。
　また、表９は変動箇所の面間隔と半画角２４°における像高を示している。表９において位置１は図１８おける撮像面４ｉの初期位置４Ａに対応し、位置３は同じく最終位置４Ｂに対応し、位置２は初期位置４Ａと最終位置４Ｂの中間位置に対応している。また、本設計例において、位置１はおよそ１００００ｍｍの被写体距離に存在する被写体の像が最も合焦する位置を示し、位置２はおよそ６００ｍｍの被写体距離に存在する被写体の像が最も合焦する位置を示し、位置３はおよそ３００ｍｍの被写体距離に存在する被写体の像が最も合焦する位置を示す。
Figure JPOXMLDOC01-appb-T000007
Figure JPOXMLDOC01-appb-T000008
Figure JPOXMLDOC01-appb-T000009
　図２０の（１）、（２）および（３）は、それぞれ表３の位置２における球面収差、非点収差および歪曲収差を示している。
　本比較例では、表９の最下段の通り像高は位置によって変化しており、図１８の構成によって撮像され生成された画像の周辺部は放射状に流れてしまうため、画像周辺部は劣化する。
　図２１は、図１８の構成で撮像した場合の被写体距離毎のＰＳＦの２次元輝度分布を像高０割と像高１０割のそれぞれについて示している。図２１に示す画像の撮像時には、露光時間中に表９のＲ６面（Ｒ６面とＦ１面間）を位置１、位置２、位置３の順に等速で動かしている。本比較例では、被写体距離が変化したときの中央のＰＳＦの２次元輝度分布の変化は実施の形態１と同様に撮像光学系を固定した場合と比較して大幅に減少させることができるが、像高１０割ではＰＳＦが放射状に流れてしまう。
　図２２は、図１８の構成で撮像した場合の被写体距離毎のＭＴＦのグラフであり、前述の図８（ａ）～（ｅ）の手順に従って取得したものである。実施の形態１の図１０のＭＴＦグラフと比べると、像高１０割タンジェンシャルのＭＴＦが低周波領域から低下していることがわかる。
　また、図２３は、本比較例の被写体距離毎のチャート画像を像高０割と像高１０割のそれぞれについてシミュレーションにて取得した画像を示す図であり、図２２のＭＴＦ特性に準じた画質となっている。実施の形態１の図１１と比べると、中央の画像はほぼ同等の画質であるが、像高１０割の画像は放射状に流れていることがわかる。
　図２４は、本比較例において（数７）の逆フィルタを用いて図８（ｂ）の取得画像を復元し、図８（ｃ）～（ｅ）の手順に従って取得したＭＴＦのグラフである。この復元では、実施の形態１と同様に被写体距離と像高によらず、被写体距離６００ｍｍ像高０割のＰＳＦ１種類を用いて復元を行った。いずれの被写体距離においても中央と像高１０割サジタルの高周波数側のＭＴＦは図２１の復元前のＭＴＦと比べて向上しているが、像高１０割タンジェンシャルのＭＴＦについてはほとんど変化していないことがわかる。
　また、図２５は、復元後の画像を示しており、図２３のＭＴＦ特性に準じた画質となっている。実施の形態１の図１３の画像と比べると、中央の画像はほぼ同等の画質であるが、像高１０割の画像は復元しきれておらず、放射状に流れていることがわかる。
　本発明にかかる撮像装置は、デジタルスチルカメラやデジタルビデオカメラ等の撮像装置として有用である。また測距装置等の用途にも応用できる。
　１００，１０１，１０２　　撮像装置
　１　　第１のレンズ
　２　　第２のレンズ
　３　　絞り
　４　　撮像素子
　５　　シャッター機構
　６　　カム機構
　７　　制御部
　８　　モーター
　９　　信号処理部
　１０　　フィルタ
　Ａ　　第１の鏡筒
　Ｂ　　第２の鏡筒
　Ｃ　　カム筒
　Ｄ　　固定筒
　Ａ１　　第１のカムフォロア
　Ｂ１　　第２のカムフォロア
　Ｃ１　　第１のカム溝
　Ｃ２　　第２のカム溝
　ＣＧ　　第１のギア
　Ｄ１　　第１のガイド溝
　Ｄ２　　第２のガイド溝
　８Ｇ　　第２のギア

Claims (15)

  1. 　第１のレンズと、前記第１のレンズを通過した光が入射する第２のレンズと、前記第２のレンズを通過した光を検出する撮像面を有する撮像素子とを含む像側非テレセントリック撮像光学系と、
    　露光時間中に前記第１のレンズと前記第２のレンズとの間の第１距離、及び、前記第２のレンズと前記撮像素子との間の第２距離をそれぞれ変化させる位置変化部と、
    　前記撮像素子から出力された電気信号を用いて画像を生成する信号処理部とを備え、
    　前記撮像素子は、前記第１の距離および前記第２の距離が変化している前記露光時間中に前記撮像面に到達した光を前記電気信号に変換する、撮像装置。
  2. 　前記露光時間中に前記第２の距離が所定量変化する場合に、前記第１の距離が変化しない場合と比較して、前記撮像面における像の位置の変化が小さくなるように前記第１距離を変化させる、請求項１に記載の撮像装置。
  3. 　前記位置変化部が前記第１距離および前記第２距離を変化させることにより、前記露光時間中において、前記撮像面における像の位置が一定になる、請求項１または２に記載の撮像装置。
  4. 　前記信号処理部は、前記露光時間中に前記撮像面に到達した光の電気信号から、単一の前記画像を生成する、請求項１から３のいずれかに記載の撮像装置。
  5. 　前記信号処理部は、予め記憶された点拡がり関数を用いて、前記画像の鮮鋭度を高める、請求項１から４のいずれかに記載の撮像装置。
  6. 　前記点拡がり関数は、前記第１距離および前記第２距離をそれぞれ変化させながら点光源を撮像することによって取得されたものである、請求項５に記載の撮像装置。
  7. 　前記信号処理部は、単一の前記点拡がり関数を用いて、前記画像の全領域を復元する、請求項５または６に記載の撮像装置。
  8. 　前記位置変化部は、第１のカム溝及び第２のカム溝を有するカム筒を備え、
    　前記カム筒が光軸周りに回転することにより、第１のカム溝によって前記第２のレンズまたは前記撮像素子を移動させ、前記第２のカム溝によって前記第１のレンズまたは前記第２のレンズを移動させる、請求項１から７のいずれかに記載の撮像装置。
  9. 　前記第１距離の変化量と前記第２距離の変化量とが同量である、請求項１から７のいずれかに記載の撮像装置。
  10. 　前記第２のレンズを保持する第１の鏡筒と、
    　前記第１のレンズと前記撮像素子とを保持する第２の鏡筒とをさらに備え、
    　前記位置変化部が、前記第１の鏡筒と前記第２の鏡筒のいずれか一方を移動させる、請求項９に記載の撮像装置。
  11. 　第１のレンズと、前記第１のレンズを通過した光が入射する第２のレンズと、前記第２のレンズを通過した光を検出する撮像面を有する撮像素子とを含む像側非テレセントリック撮像光学系と、
    　前記撮像素子から出力された電気信号を用いて画像を生成する信号処理部とを備える撮像装置の撮像方法であって、
    　露光時間中に、前記第１のレンズと前記第２のレンズとの間の第１距離、及び、前記第２のレンズと前記撮像素子との間の第２距離をそれぞれ変化させながら、前記撮像素子における撮像面に到達した光を取得する第１のステップと、
    　前記信号処理部が、前記第１ステップに取得された光の電気信号に基づいて画像を生成する第２のステップとを包含する撮像方法。
  12. 　前記第１のステップでは、前記第２の距離が所定量変化する場合に、前記第１距離が変化しない場合と比較して、前記撮像面における像の位置の変化が小さくなるように、前記第１距離を変化させる、請求項１１に記載の撮像方法。
  13. 　前記露光時間中に、前記第１距離および前記第２距離を変化させることにより、前記撮像面における像の位置が一定になる、請求項１１または１２に記載の撮像方法。
  14. 　前記第２のステップにおいて、前記信号処理部は、前記露光時間中に前記撮像面に到達した光の電気信号から、単一の前記画像を生成する、請求項１１から１３のいずれかに記載の撮像方法。
  15. 　前記第２のステップにおいて生成された前記画像に対して、予め記憶された点拡がり関数を用いて前記画像の鮮鋭度を高める第３のステップをさらに含む、請求項１１から１４のいずれかに記載の撮像方法。
PCT/JP2011/000692 2010-02-08 2011-02-08 撮像装置 WO2011096237A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN201180001767.0A CN102396216B (zh) 2010-02-08 2011-02-08 摄像装置
JP2011525346A JP4875787B2 (ja) 2010-02-08 2011-02-08 撮像装置
US13/264,019 US20120026360A1 (en) 2010-02-08 2011-02-08 Imaging device

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2010025075 2010-02-08
JP2010-025075 2010-02-08

Publications (1)

Publication Number Publication Date
WO2011096237A1 true WO2011096237A1 (ja) 2011-08-11

Family

ID=44355247

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2011/000692 WO2011096237A1 (ja) 2010-02-08 2011-02-08 撮像装置

Country Status (4)

Country Link
US (1) US20120026360A1 (ja)
JP (1) JP4875787B2 (ja)
CN (1) CN102396216B (ja)
WO (1) WO2011096237A1 (ja)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2511747B1 (en) * 2009-12-07 2017-11-08 Panasonic Corporation Imaging device and imaging method
DE112013004760B4 (de) * 2012-09-27 2017-10-19 Fujifilm Corporation Bilderfassungsvorrichtung und Bildverarbeitungsverfahren
US10385861B2 (en) * 2012-10-03 2019-08-20 Praxair Technology, Inc. Method for compressing an incoming feed air stream in a cryogenic air separation plant
US9515112B2 (en) 2013-04-02 2016-12-06 Google Inc. Devices and methods for providing selectable field of view functionality by providing an optical element into and out of an optical receiving path
JP6175992B2 (ja) * 2013-08-30 2017-08-09 ソニー株式会社 露出制御装置および露出制御方法、ならびに撮像装置
CN105227818B (zh) * 2015-10-10 2018-06-29 常州光电技术研究所 一种紫外-可见光双光路成像探测系统
WO2017146060A1 (ja) * 2016-02-26 2017-08-31 富士フイルム株式会社 画像処理装置、撮像装置及び画像処理方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10257373A (ja) * 1997-01-10 1998-09-25 Olympus Optical Co Ltd 画像入力装置
JP2000152063A (ja) * 1998-11-17 2000-05-30 Olympus Optical Co Ltd 撮像装置
JP2008197582A (ja) * 2007-02-15 2008-08-28 Canon Inc 光学機器

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6236431B1 (en) * 1993-05-27 2001-05-22 Canon Kabushiki Kaisha Video camera apparatus with distance measurement area adjusted based on electronic magnification
CN101080742A (zh) * 2004-10-15 2007-11-28 松下电器产业株式会社 利用多焦点透镜获取的图像的增强
CN100468113C (zh) * 2004-12-24 2009-03-11 鸿富锦精密工业（深圳）有限公司 镜头模组
US7215493B2 (en) * 2005-01-27 2007-05-08 Psc Scanning, Inc. Imaging system with a lens having increased light collection efficiency and a deblurring equalizer
CN100376914C (zh) * 2005-07-08 2008-03-26 亚洲光学股份有限公司 变焦投影镜头
JP2007060520A (ja) * 2005-08-26 2007-03-08 Olympus Corp 撮像装置
US8315474B2 (en) * 2008-01-18 2012-11-20 Sanyo Electric Co., Ltd. Image processing device and method, and image sensing apparatus
JP2009258680A (ja) * 2008-03-27 2009-11-05 Panasonic Corp カメラシステム、カメラ本体、交換レンズユニット、フォーカス制御方法、およびプログラム。
JP5300870B2 (ja) * 2008-05-19 2013-09-25 キヤノン株式会社 撮影システム及びレンズ装置
US8289438B2 (en) * 2008-09-24 2012-10-16 Apple Inc. Using distance/proximity information when applying a point spread function in a portable media device

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10257373A (ja) * 1997-01-10 1998-09-25 Olympus Optical Co Ltd 画像入力装置
JP2000152063A (ja) * 1998-11-17 2000-05-30 Olympus Optical Co Ltd 撮像装置
JP2008197582A (ja) * 2007-02-15 2008-08-28 Canon Inc 光学機器

Also Published As

Publication number Publication date
JPWO2011096237A1 (ja) 2013-06-10
CN102396216B (zh) 2014-12-24
CN102396216A (zh) 2012-03-28
US20120026360A1 (en) 2012-02-02
JP4875787B2 (ja) 2012-02-15

Similar Documents

Publication Publication Date Title
CN114326040B (zh) 光学透镜系统、取像装置及电子装置
TWI647511B (zh) 攝像用光學鏡組、取像裝置及電子裝置
CN115236839B (zh) 摄影用光学镜头组
US8044331B2 (en) Image pickup apparatus and method for manufacturing the same
JP4875787B2 (ja) 撮像装置
US20210149158A1 (en) Photographing lens assembly, image capturing unit and electronic device
JP6648757B2 (ja) 撮像ユニットおよび撮像装置
KR101610975B1 (ko) 단일-렌즈 확장피사계심도 촬상시스템
JP2020064173A (ja) 撮像レンズおよび撮像装置
US10437017B2 (en) Photographing optical lens system, image capturing unit and electronic device
TW201942630A (zh) 攝像用光學鏡頭、取像裝置及電子裝置
JP5188397B2 (ja) 撮像装置および情報コード読取装置
US20200341242A1 (en) Optical lens assembly, image capturing unit and electronic device
JP2008245157A (ja) 撮像装置およびその方法
KR20130130548A (ko) 망원렌즈 시스템
US9541746B2 (en) Optical system and image pickup apparatus having the same
CN105652422B (zh) 变焦透镜以及摄像装置
KR20190080527A (ko) 촬상 광학계
JP4658162B2 (ja) 撮像装置および電子機器
WO2017029901A1 (ja) 撮像デバイス、および、撮像装置
US9594235B2 (en) Zoom lens system
WO2020017258A1 (ja) レンズ系、撮像装置及び撮像システム
KR102017792B1 (ko) 촬상 광학계
JP5718020B2 (ja) ズームレンズ及び撮像装置
WO2012132685A1 (ja) 焦点拡張光学系及び撮像システム

Legal Events

Date Code Title Description
WWE Wipo information: entry into national phase

Ref document number: 201180001767.0

Country of ref document: CN

WWE Wipo information: entry into national phase

Ref document number: 2011525346

Country of ref document: JP

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 11739586

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 13264019

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 11739586

Country of ref document: EP

Kind code of ref document: A1