WO2012070208A1 - 撮像装置、撮像方法、プログラムおよび集積回路 - Google Patents

撮像装置、撮像方法、プログラムおよび集積回路 Download PDF

Info

Publication number
WO2012070208A1
WO2012070208A1 PCT/JP2011/006420 JP2011006420W WO2012070208A1 WO 2012070208 A1 WO2012070208 A1 WO 2012070208A1 JP 2011006420 W JP2011006420 W JP 2011006420W WO 2012070208 A1 WO2012070208 A1 WO 2012070208A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
subject
optical
distance
imaging
Prior art date
Application number
PCT/JP2011/006420
Other languages
English (en)
French (fr)
Inventor
俊介 安木
Original Assignee
パナソニック株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by パナソニック株式会社 filed Critical パナソニック株式会社
Priority to US13/574,079 priority Critical patent/US20120314061A1/en
Priority to JP2012510474A priority patent/JP5873430B2/ja
Priority to CN201180006620.0A priority patent/CN102713513B/zh
Publication of WO2012070208A1 publication Critical patent/WO2012070208A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C3/00—Measuring distances in line of sight; Optical rangefinders
    • G01C3/02—Details
    • G01C3/06—Use of electric means to obtain final indication
    • G01C3/08—Use of electric radiation detectors
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/02—Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness
    • G01B11/026—Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness by measuring distance between sensor and object
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B7/00—Mountings, adjusting means, or light-tight connections, for optical elements
    • G02B7/28—Systems for automatic generation of focusing signals
    • G02B7/36—Systems for automatic generation of focusing signals using image sharpness techniques, e.g. image processing techniques for generating autofocus signals
    • G02B7/365—Systems for automatic generation of focusing signals using image sharpness techniques, e.g. image processing techniques for generating autofocus signals by analysis of the spatial frequency components of the image

Definitions

  • the present invention relates to an imaging apparatus that measures the depth of a scene using a plurality of images taken from a single viewpoint.
  • subject distance the distance from an imaging device to each subject
  • active methods that calculate the subject distance based on the time until the reflected wave returns, the angle of the reflected wave, etc.
  • passive method for calculating the subject distance based on the above.
  • passive methods that do not require a device for irradiating infrared rays or the like are widely used in imaging devices such as cameras.
  • DFD Depth from Defocus
  • a captured image including blur is a point spread function (PSF: Point Spread Function) that is a function of subject distance with respect to an all-focus image representing a state in which there is no blur due to the lens. ). Since the point spread function is a function of the subject distance, the DFD can obtain the subject distance by detecting the blur from the blurred image. However, at this time, the omnifocal image and the subject distance are unknown. Since one equation relating to the blurred image, the omnifocal image, and the subject distance is established for one blurred image, a new blurred image with a different focus position is captured to obtain a new equation.
  • PSF Point Spread Function
  • DFD is a method for obtaining a subject distance by using a point spread function for blur included in a blurred image.
  • the point spread function before and after the image point corresponding to the subject distance is similar, the point spread function after passing through the image point or the point before passing through the image point.
  • the image distribution function becomes ambiguous due to the influence of noise included in the image, and the discrimination becomes difficult.
  • Non-Patent Document 1 by using an aperture that has a shape that is not point-symmetric as a whole, the determination of the shape of the point spread function before and after the image point corresponding to the subject distance of the subject is eliminated. can do.
  • An object of the present invention is to provide an imaging apparatus that eliminates the problem and estimates the subject distance from a small number of captured images.
  • an imaging apparatus includes an imaging device that captures an image, an optical system that forms a subject image on the imaging device, and an optical device having a birefringence effect.
  • the distance from the imaging element to the subject is measured by the element, the captured image, and a point spread function changed by the optical element before and after the image point corresponding to the subject distance of the subject.
  • a distance measuring unit includes an imaging device that captures an image, an optical system that forms a subject image on the imaging device, and an optical device having a birefringence effect.
  • the shape of the point spread function before and after the image point corresponding to the subject distance of the subject can be made different by the action of the optical element having the effect of birefringence.
  • the birefringent material does not need to shield light compared to a method using an aperture that is not point-symmetric, it is possible to suppress a decrease in light amount.
  • optical elements having birefringence effects mainly affect only astigmatism (especially if the birefringent material is a parallel plate and the optical system is a telecentric optical system). For this reason, even if the shape of the point spread function before and after the image point corresponding to the subject distance of the subject is made different, the influence on other aberrations is small. Therefore, there is no need to redesign the optical system. That is, it can be realized simply by inserting into the current device and adding a device for processing the point spread function.
  • the direction of the optical axis of the optical element is not parallel to the optical axis of the optical system.
  • the optical element is disposed between the imaging element and the optical system on the optical axis of the optical system, and a plane of the optical element that intersects the optical axis of the optical system is light of the optical system. It is preferable to be perpendicular to the axis.
  • the distance measuring unit includes an image captured by the image sensor in a state where the birefringence effect by the optical element is not present, and an image captured in a state where the optical element is on the optical axis of the optical system. It is preferable that the distance from the image sensor to the subject is measured.
  • the optical element can electrically or magnetically turn on and off the effect of birefringence
  • the distance measurement unit can detect an image captured by the imaging element without the effect of the birefringence by the optical element.
  • the distance to the subject is measured using an image picked up in a state where the optical element is on the optical axis of the optical system.
  • it further includes a reference image generation unit that generates a reference image from an image captured by the imaging element in a state where there is no birefringence effect by the optical element, and the distance measurement unit passes through the optical element. It is preferable that the point spread function is estimated using the captured image and the reference image, and the distance to the subject is measured.
  • the reference image generation unit generates an omnifocal image as the reference image from an image picked up by the image pickup device without the effect of the birefringence by the optical element.
  • the optical system has image side telecentric optical characteristics.
  • a light beam separation unit that separates a light beam into a plurality of optical paths is further provided, and there are a plurality of the imaging elements, and each of the imaging objects is imaged corresponding to a plurality of optical paths separated by the light beam separation unit.
  • the optical element may be disposed on at least one of a plurality of optical paths separated by the light beam separation unit.
  • the present invention can be realized not only as such an image pickup apparatus but also as an image pickup method in which operations of characteristic components included in the image pickup apparatus are used as steps. It can also be realized as a program for causing a computer to execute an imaging method. Such a program can also be distributed via a recording medium such as a CD-ROM or a transmission medium such as the Internet. The present invention can also be realized as an integrated circuit that performs processing of each processing unit.
  • the object distance can be obtained stably and with high accuracy by calculating the shape of the point spread function included in the image from at least two images.
  • FIG. 1 is a block diagram showing a configuration of an imaging apparatus according to Embodiment 1 of the present invention.
  • FIG. 2 is a diagram showing the state of light rays that pass through the birefringent material.
  • FIG. 3 is a diagram showing the arrangement of components of the imaging apparatus according to Embodiment 1 of the present invention.
  • FIG. 4 is a diagram showing how the shape of the point spread function changes before and after the image point corresponding to the subject distance of the subject due to the birefringent material.
  • 5A is a diagram showing the shape of the point spread function of an extraordinary ray at position (a) in FIG. 4 when a birefringent material is used, and
  • FIG. 5B is a birefringent material.
  • FIG. 4 is a diagram showing the point spread function of the extraordinary ray at the position (b) in FIG. 4 when using the above, (a-2) is the position at the position (a) in FIG. 4 when no birefringent material is used.
  • FIG. 5B is a diagram showing a point spread function
  • FIG. 5B is a diagram showing a point spread function at a position (b) in FIG. 4 when a birefringent material is not used.
  • FIG. 6 is a diagram showing point spread functions corresponding to different subject positions when a birefringent material is used.
  • FIG. 7 is a diagram showing point spread functions corresponding to different subject positions when no birefringent material is used.
  • FIG. 8 is a diagram showing the shape of the tertiary phase plate.
  • FIG. 9 is a diagram showing a flow of operations of the imaging apparatus according to Embodiment 1 of the present invention.
  • FIG. 10 is a block diagram showing a configuration of the imaging apparatus according to Embodiment 2 of the present invention.
  • FIG. 11 is a diagram illustrating an arrangement of components of the imaging apparatus according to Embodiment 2 of the present invention.
  • FIG. 1 is a block diagram showing a configuration of an imaging apparatus according to Embodiment 1 of the present invention.
  • the imaging apparatus 10 includes an optical system 11, a birefringent material 12, an actuator 13, a focusing range control unit 14, an imaging element 15, an image acquisition unit 16, a reference image generation unit 17, and a distance measurement unit 18.
  • the optical system 11 forms a subject image on the image sensor 15.
  • a birefringent material 12 that is an optical element having a birefringence effect is installed on the optical path between the imaging element 15 and the optical system 11.
  • the shape of the point spread function of the extraordinary ray in the light ray transmitted through the birefringent material 12 is changed, and the shape of the point spread function before and after the image point corresponding to the subject distance of the subject is changed.
  • the actuator 13 inserts and retracts the birefringent material 12 with respect to the optical path.
  • the imaging device 10 Since the actuator 13 inserts and retreats the birefringent material 12 with respect to the optical path, the imaging device 10 has an image of a subject image transmitted through the birefringent material 12 and an image of a subject image not transmitted through the birefringent material 12. Can be obtained.
  • the focus range control unit 14 moves at least one of the optical system 11 and the image sensor 15 and controls the focus position and the depth of field. Specifically, the control is performed by operating the optical system 11 in a specific pattern or switching a specific optical element.
  • the imaging element 15 is composed of a CCD, a CMOS, or the like, and converts the light received on the imaging surface into an electrical signal for each pixel and outputs it.
  • the image acquisition unit 16 acquires a plurality of images from the image sensor 15 and holds each image.
  • the reference image generation unit 17 is a reference image obtained by estimating the state in which there is no blur due to the optical system from a plurality of images having different focus positions and depths of field, which are obtained by the effect of the focus range control unit 14. Focus image).
  • the distance measurement unit 18 performs distance measurement based on a DFD technique using a blurred image focused on an arbitrary distance and a reference image obtained from the reference image generation unit 17.
  • the birefringent material 12 is a material having optical anisotropy, and has a property of separating light into ordinary light and extraordinary light according to the polarization direction of the light that has entered the material.
  • the ordinary ray and the extraordinary ray are determined by the direction of the optical axis unique to the birefringent material 12.
  • An ordinary ray is a ray having an electric field that oscillates perpendicularly to a plane formed by an optical axis and an incident ray
  • an extraordinary ray is a ray having an electric field that oscillates in the plane.
  • the direction of the optical axis and the number of axes vary depending on the type of substance, and when one optical axis is provided, the case where it has one optical axis is expressed as biaxial.
  • calcite which is a uniaxial crystal is used as the birefringent material 12.
  • the difference between the ordinary ray and the extraordinary ray is that when passing through the birefringent material 12, the ordinary ray has a constant light velocity regardless of the light propagation direction, whereas the extraordinary ray has a light velocity that propagates. It depends on the direction. Furthermore, the refractive index no for ordinary light and the refractive index ne for extraordinary light are different. Due to the difference between the refractive index no for ordinary rays and the refractive index ne for extraordinary rays, and the property that the speed of extraordinary ray light varies depending on the propagation direction, when the rays enter the birefringent material 12 as shown in FIG. A difference occurs in the traveling direction between the ordinary ray and the extraordinary ray.
  • extraordinary rays are used in particular to make the shape of the point spread function before and after the image point corresponding to the subject distance of the subject different.
  • the positional relationship among the optical system 11, the birefringent material 12, and the image sensor 15 is such that the birefringent material 12 is disposed between the optical system 11 (lens) and the image sensor 15 as shown in FIG. 3. That is, the three members are arranged on the optical axis in the order of the optical system 11, the birefringent material 12, and the image sensor 15.
  • the birefringent material 12 is a parallel plate shaped and arranged so that all the planes of the birefringent material intersecting the optical axis are perpendicular to the optical axis. Note that “vertical” in this case may not be strictly vertical.
  • the birefringent material 12 is uniaxial, and the direction of the optical axis is the y direction in FIG.
  • the birefringent material 12 is preferably a parallel plate. If it is a parallel plate, it can be given the property of mainly affecting only astigmatism.
  • the parallel plate described here is a substance in which a first surface on which light is incident and a second surface on which light is emitted are parallel to each other. That is, the angles and shapes of the surfaces other than the first surface and the second surface are not limited.
  • FIG. 4 is a diagram showing the behavior of ordinary rays and extraordinary rays in the yz plane and the xz plane in the configuration of FIG.
  • the shape of the extraordinary ray point spread function is larger in the y direction than in the x direction at the position (a) in front of the image point corresponding to the subject distance of the subject in FIG. As shown in FIG. 5A-1, the shape is long in the y direction.
  • the shape of the point spread function of the extraordinary ray is larger in the x direction than in the y direction at the position (b) behind the image point corresponding to the subject distance of the subject, As shown in FIG. 5B-1, the shape is long in the x direction.
  • 5 (a-2) and 5 (b-2) are ordinary ray point spread functions at the positions (a) and (b) in FIG. 4, respectively.
  • these are point spread functions of light rays in the absence of the birefringent material 12. That is, when the birefringent material 12 is not present, it can be confirmed that the shape is similar (for example, circular in this case) before and after the image point corresponding to the subject distance of the subject.
  • FIG. 6 is a diagram showing point spread functions corresponding to different subject positions when the birefringent material 12 is used.
  • FIG. 7 is a diagram showing point spread functions corresponding to different subject positions when the birefringent material 12 is not used.
  • the “subject distance” here is defined as the distance from the imaging device to the subject in the above description, but may be the distance from the optical system 11 to the subject, or the distance from the imaging element 15 to the subject. It may be.
  • the point spread function with respect to the subject position (a) and the subject position (b) is taken into consideration when the birefringent material 12 is present as shown in FIG. 6, the point spread function before and after the image point corresponding to the subject distance of the subject. Since the shapes are different, the shape of the point spread function corresponding to the position (a) and the shape of the point spread function corresponding to the position (b) formed on the image sensor 15 are different from each other. That is, the subject distance can be uniquely estimated from the point spread function obtained in the image sensor 15. On the other hand, in FIG. 7, since there is no birefringent material 12, the point spread function corresponding to the positions (a) and (b) has a similar shape, and thus the obtained point spread function is obtained.
  • a reference image that is not blurred by the optical system 11 is used.
  • An image that is not blurred by the optical system 11 can also be referred to as an image having a deep depth of field.
  • Increasing the depth of field can be easily achieved by reducing the aperture of the optical system.
  • the amount of light received by the image sensor 15 is reduced.
  • EDoF extended depth of field
  • the simplest EDoF method is a method of capturing a plurality of images while gradually shifting the in-focus position, and extracting and synthesizing in-focus portions from these images.
  • Non-Patent Document 2 discloses a method of generating an image without blur by changing the focus position during exposure.
  • the point spread function becomes almost constant regardless of the subject distance, and a uniform blurred image can be obtained. If deconvolution is performed on the obtained blurred image using an invariant point spread function that is not affected by the subject distance, an image that is not blurred in the entire image can be obtained.
  • an EDoF technique using a special optical element has also been proposed.
  • this is a method using an optical element called a cubic phase mask (Cubic Phase Mask).
  • a cubic phase mask Cubic Phase Mask
  • the shape is shown in FIG.
  • an optical element having such a shape is incorporated in the vicinity of the aperture of the optical system, an image having a substantially constant blur can be obtained regardless of the subject distance.
  • Non-Patent Document 1 when deconvolution is performed using an invariant point spread function that is not affected by the subject distance, an image with no blur can be obtained over the entire image.
  • a method using a multifocal lens can be used.
  • FIG. 9 is a flowchart illustrating an example of a process flow for calculating the subject distance. This process is a process of calculating the closest object distance from an image obtained by capturing the target object among n predetermined object distances d1, d2,..., Dn.
  • a subject image I and a reference image I ′ obtained by transmitting through a birefringent substance are imaged and acquired (steps S101 and S102). Note that the order of steps S101 and S102 may be reversed.
  • the reference image acquired here is an image obtained by capturing a subject image that does not pass through the birefringent material 12.
  • Equation 1 the relationship represented by the following Equation 1 is established between the image I and the reference image I ′.
  • h represents a point spread function at a position (x, y) in the image
  • d (x, y) represents a subject distance at the position (x, y).
  • * in the formula represents a convolution operation. Since the point spread function varies depending on the subject distance, when there are subjects at a plurality of different subject distances, an image obtained by convolving a point spread function having different subject distances at each image position into an image without blur is image I. As obtained.
  • an initial value 1 is substituted into the counter i (step 103), and an error function C (x, y, di) with respect to the i-th subject distance is calculated for each pixel of the image (step S104).
  • the error function is expressed by Equation 2 below.
  • Equation 2 shows the difference between an image obtained by convolving a point image distribution function h (x, y, di) corresponding to the i-th subject distance di and an actual captured image I into a reference image I ′ without blur. Equivalent to taking. When the imaged subject is actually present at the i-th subject distance, the error function C (x, y, di) that is the difference is minimized.
  • Equation 2 the error function C (x, y, di) is obtained by convolving the point spread function h (x, y, di) corresponding to the i-th subject distance di between the pixels into a non-blurred image.
  • the absolute value of the difference between the captured image and the actual captured image I the error function can be determined based on an arbitrary format expressing the L2 norm equidistant distance.
  • step S105 After calculating the error function, it is determined whether the value of the counter i has reached n (step S105). If not, the value of the counter i is increased by 1 (step S106), and the value of the counter i is n Repeat until you reach.
  • the subject distance is calculated (step S107).
  • the subject distance d (x, y) at the position (x, y) is expressed by Equation 3 below.
  • the image is divided into a plurality of blocks to obtain the sum of error functions within the block, and the subject distance at which the error function is minimized is captured in the entire block.
  • the subject distance can be estimated uniquely.
  • the direction of the optical axis of the birefringent material 12 is upward in FIG. 3, but the direction of the optical axis is not limited to the upward direction, and may be any direction.
  • the shape of the point spread function before and after the image point corresponding to the subject distance can be made different.
  • the shape of the obtained point spread function also changes. Regardless of the direction of the optical axis, the position of the image point corresponding to the subject distance of the ordinary ray subject and the image point corresponding to the subject distance of the extraordinary ray subject are different, but the optical axis and the optical axis are different.
  • the birefringent material 12 is described as using calcite, which is a uniaxial crystal, but other materials having birefringence effects may be used.
  • calcite which is a uniaxial crystal
  • other materials having birefringence effects may be used.
  • the optical axis not only the direction but also the number of axes can be an element for controlling the shape of the point distribution function, and not only a uniaxial birefringent material but also a biaxial material can be effective. .
  • a plurality of birefringent materials of uniaxial, biaxial, or both can be arranged to widen the range of change. Further, depending on the thickness and type of the birefringent material, the shape of the obtained point spread function can be changed before and after the image point corresponding to the subject distance of the subject.
  • the acquisition of the subject image that has passed through the birefringent material 12 and the subject image that has not passed through the birefringent material 12 is realized by the movement of the birefringent material by the actuator, but there are other methods. In general, it can be realized by a method of moving in and out of the optical path by the movement of the birefringent material itself by physical driving, or a method of using an optical element capable of controlling the birefringence effect.
  • Examples of the former include a method of creating a case where a birefringent material is present or not present on a light path by linearly moving by an actuator or rotating a birefringent material plate while being perpendicular to the optical axis.
  • Examples of the latter include an element that can be controlled by electricity such as an electro-optic effect, an element that can be controlled by magnetism, and the like.
  • the presence or absence of the birefringence effect can be controlled by switching the presence or absence of application of voltage or magnetic field.
  • a birefringent material for example, a liquid crystal that can electrically and magnetically control the effect of the birefringent material may be employed.
  • the position of the birefringent material is not limited to that shown in FIG. 3, but the effect of making the shape of the point spread function before and after the image point corresponding to the subject distance of the subject different at any position can be obtained. However, it is preferable to arrange it immediately before the image sensor as shown in FIG.
  • the optical system 11 is preferably an optical system in which the shape of the point spread function is the same at all image heights, and is particularly preferably an image side telecentric optical system.
  • the image-side telecentric optical system is an optical system in which the principal ray and the optical axis are parallel at all angles of view on the image side.
  • the shape of the point spread function is the same at all image heights even when the birefringent material 12 is arranged on the optical path. That is, if the optical system has the property that the shape of the point distribution function is the same at all image heights, the property can be preserved even if the birefringent material 12 is arranged on the optical path. Therefore, it is not necessary to redesign the optical system including the birefringent material in that case. If the shape of the point spread function is the same at all image heights, only one point spread function may be used for ranging calculation, and the calculation cost can be reduced.
  • FIG. 10 is a block diagram illustrating a configuration of the imaging device 19 according to Embodiment 2 of the present invention. 10, the same reference numerals are used for the same components as those of the imaging device 10 of FIG. 1, and a part of the description is omitted.
  • the imaging device 19 includes an optical system 11, a light beam separation unit 20, a birefringent material 12, a focusing range control unit 14, an imaging element A21, an imaging element B22, an image acquisition unit A23, an image acquisition unit B24, a reference image generation unit 17, And a distance measuring unit 18.
  • the optical system 11 forms a subject image on the image sensor A21 and the image sensor B22.
  • the light beam separation unit 20 spatially separates light beams with an arbitrary light amount ratio.
  • the image pickup element A21 and the image pickup element B22 are composed of a CCD, a CMOS, or the like, and convert the light received by the image pickup surface into an electric signal for each pixel and output it.
  • one of the light beams separated by the light beam separation unit 20 has its shape of the point spread function changed by the birefringent material 12, and is received by the image sensor A21.
  • the image sensor B22 receives the other light beam that has not been transmitted through the birefringent material 12 and is not affected by the birefringent material 12 and separated by the light beam separation unit 20.
  • the image acquisition unit A23 and the image acquisition unit B24 acquire images from the image sensor A21 and the image sensor B22, respectively, and store the acquired images.
  • a blurred image having a configuration as shown in FIG. 11 and having different shape of the point spread function before and after the image point corresponding to the subject distance of the subject by the birefringent material 12 is obtained from the image sensor A21.
  • the light rays that do not pass through the birefringent material 12 are imaged by the imaging element B22 while the in-focus position and the depth of field are controlled by the in-focus range control unit 14 as in the first embodiment.
  • the reference image generation unit 17 generates a reference image based on the image acquired by the imaging element B22.
  • the blurred image obtained by the image sensor A21 and the reference image generated from the image captured by the image sensor B22 are used for calculation of the subject distance by performing the same processing as in FIG.
  • the blurred image obtained from the image sensor A21 and the reference image obtained from the reference image generation unit 17 correspond to the image I and the reference image I ′ in FIG. 9, respectively. Furthermore, the subject distance can be calculated by the same calculation as Expressions 1 to 3.
  • Examples of the light beam separation unit 20 used for light beam separation include a non-polarization beam splitter and a polarization beam splitter.
  • the obtained image I is an image including both an extraordinary ray and an ordinary ray as in the first embodiment.
  • a polarizing beam splitter it is possible to control the direction of polarized light to be separated from the optical axis of the birefringent material so that the light rays included in the image I are only extraordinary rays. It should be noted that, since only the extraordinary ray is used as the light ray included in the image I, an image that does not include noise due to the ordinary ray can be captured, and thus an image with higher accuracy for deriving the subject distance can be obtained.
  • a birefringent substance can be disposed between the polarizing beam splitter and the optical system. In that case, it is necessary to select a polarization direction so that only an ordinary ray reaches the image sensor B22.
  • an image containing only extraordinary rays reduces the amount of light, but can also be obtained by transmitting only extraordinary rays using an optical element that passes only specific polarized light such as a polarizer.
  • the image I and the reference image I ′ can be acquired at the same time, a difference other than blur does not occur in both images, and the subject distance can be obtained more accurately.
  • the relative position of the subject with respect to the imaging device changes due to the movement of the subject and the imaging device itself, and the two images other than the blur are generated. A difference occurs, and the accuracy of distance measurement tends to decrease.
  • the signal noise ratio S / N ratio
  • the image I and the reference image I ′ are acquired by being divided by time, whereas in the second embodiment, the image I and the reference image I ′ are acquired by being spatially divided. It can be said.
  • the amount of light for each of the image I and the reference image I ′ is reduced by dividing the light beam. However, when the light amounts of both images are combined, the amount of light is not reduced and is not wasted. If the time required to acquire both images is the same, the total light amount is the same in the first embodiment and the second embodiment.
  • an omnifocal image is used as a reference image in order to obtain the subject distance of the subject.
  • the present invention is not limited to this, and an image with uniform blur is used as the reference image. May be used to derive the subject distance of the subject.
  • control part of the actuator 13 as a birefringence effect provision part in the block diagrams (FIG. 1, FIG. 10, etc.) of the first embodiment and the second embodiment, and the image acquisition part as an imaging part. 16 and the distance measuring unit 18 are typically realized as an LSI which is an integrated circuit. These may be individually made into one chip, or may be made into one chip so as to include a part or all of them. For example, the functional blocks other than the memory may be integrated into one chip.
  • LSI is used, but depending on the degree of integration, it may be called IC, system LSI, super LSI, or ultra LSI.
  • the method of circuit integration is not limited to LSI, and implementation with a dedicated circuit or a general-purpose processor is also possible.
  • An FPGA Field Programmable Gate Array
  • a reconfigurable processor that can reconfigure the connection and setting of circuit cells inside the LSI may be used.
  • only the means for storing the data to be processed may be configured separately instead of being integrated into one chip.
  • the imaging apparatus can perform distance measurement based on an image taken from a single viewpoint, it can be applied to all imaging equipment.
  • Imaging device 11
  • Optical system 12
  • Birefringent substance 13
  • Actuator 14
  • Focusing range control part 15
  • Imaging element 16
  • Image acquisition part 17
  • Reference image generation part 18
  • Distance measurement part 19
  • Imaging apparatus 20
  • Light beam separation part 21
  • Imaging element A 22
  • Image sensor B 23
  • Image acquisition unit A 24

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Electromagnetism (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Optics & Photonics (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Automatic Focus Adjustment (AREA)
  • Measurement Of Optical Distance (AREA)
  • Studio Devices (AREA)

Abstract

露出する光量を低下させることなく、被写体の被写体距離に対応する像点前後における点像分布関数の判別の曖昧さを解消し、少ない枚数の撮像画像から被写体距離を推定する。撮像装置（１０）は、画像を撮像する撮像素子（１５）と、撮像素子（１５）に被写体像を結像させるための光学系（１１）と、複屈折の効果を有する複屈折物質（１２）と、撮像された画像と、被写体の被写体距離に対応する像点の前後において光学素子により変化を与えられた点像分布関数とによって、撮像素子から被写体までの距離を計測する距離計測部（１８）と、を備える。

Description

撮像装置、撮像方法、プログラムおよび集積回路
　本発明は単一の視点から撮像された複数枚の画像を用いて、シーンの奥行きを計測する撮像装置に関する。
　従来、３次元シーンの奥行き、即ち撮像装置から各被写体までの距離（以下、「被写体距離」とする。）を、非接触で計測するための様々な方法が提案されている。それらを大別すると、赤外線、超音波、レーザーなどを照射し、その反射波が戻ってくるまでの時間、反射波の角度などをもとに被写体距離を算出する能動的手法と、被写体の像に基づいて被写体距離を算出する受動的手法とがある。特にカメラなどの撮像装置においては赤外線などを照射するための装置を必要としない受動的手法が広く用いられている。
　受動的手法は、多くの手法が提案されており、受動的手法の一つとしてＤｅｐｔｈ　ｆｒｏｍ　Ｄｅｆｏｃｕｓ（以下、「ＤＦＤ」とする。）と呼ばれる手法がある。ＤＦＤでは、被写体距離によって大きさや形状が変化するぼけに基づいて被写体距離を計測する。ＤＦＤには、複数のカメラを必要としない、少数の画像から距離計測が可能である、などの特徴がある。
　以下、ＤＦＤの原理について簡単に説明する。
　ぼけを含んだ撮像画像（以下、「ぼけ画像」とする。）は、レンズによるぼけのない状態を表す全焦点画像に対して、被写体距離の関数である点像分布関数（ＰＳＦ：Ｐｏｉｎｔ　Ｓｐｒｅａｄ　Ｆｕｎｃｔｉｏｎ）を畳み込んだ画像であると言える。点像分布関数は被写体距離の関数であるため、ＤＦＤでは、ぼけ画像からぼけを検出することによって、被写体距離を求めることができる。ただし、このとき、全焦点画像と被写体距離とは、未知数となる。ぼけ画像一枚に対して、ぼけ画像、全焦点画像、および被写体距離に関する式が一つ成立するため、フォーカス位置の異なるぼけ画像を新たに撮像し、新たな式を得る。つまり、フォーカス位置の異なる複数のぼけ画像に関する上記式を複数得る。このようにして得られた複数の式を解くことによって、被写体距離が算出される。式の獲得の方法や式を解く方法等に関しては、特許文献１、非特許文献１をはじめとして、ＤＦＤに対する様々な提案が存在する。
　ＤＦＤは、ぼけ画像に含まれるぼけに対して点像分布関数を利用することにより被写体距離を求める手法である。しかしながら、ＤＦＤでは、被写体距離に対応する像点前後における点像分布関数の形状が類似してしまうため、像点を通過した後の点像分布関数であるのか、像点を通過する前の点像分布関数であるのかが、画像中に含まれるノイズの影響によって曖昧となり、その判別が困難になるという課題が存在する。
　この課題に対して、例えばフォーカス位置の異なる画像の枚数をさらに増やすことにより、被写体距離推定の正解率を向上させることができる。また非特許文献１のように、全体が点対称でない形状をした開口を使用することにより、被写体の被写体距離に対応する像点前後における点像分布関数の形状の判別が曖昧になることを解消することができる。
特許第２９６３９９０号公報
Ｃ．Ｚｈｏｕ，Ｓ．Ｌｉｎ　ａｎｄ　Ｓ．Ｎａｙａｒ，　"Ｃｏｄｅｄ　Ａｐｅｒｔｕｒｅ　Ｐａｉｒｓ　ｆｏｒ　Ｄｅｐｔｈ　ｆｒｏｍ　Ｄｅｆｏｃｕｓ"　Ｉｎ　Ｉｎｔｅｒｎａｔｉｏｎａｌ　Ｃｏｎｆｅｒｅｎｃｅ　ｏｎ　Ｃｏｍｐｕｔｅｒ　Ｖｉｓｉｏｎ，　２００９ "Ｆｌｅｘｉｂｌｅ　Ｄｅｐｔｈ　ｏｆ　Ｆｉｅｌｄ　Ｐｈｏｔｏｇｒａｐｈｙ"，Ｈ．Ｎａｇａｈａｒａ，Ｓ．Ｋｕｔｈｉｒｕｍｍａｌ，Ｃ．Ｚｈｏｕ，Ｓ．Ｋ．Ｎａｙｅｒ，Ｅｕｒｏｐｅａｎ　Ｃｏｎｆｅｒｅｎｃｅ　ｏｎ　Ｃｏｍｐｕｔｅｒ　Ｖｉｓｉｏｎ，　２００８
　被写体の被写体距離に対応する像点前後における点像分布関数の形状の判定の曖昧さに関する課題に対する解決法として、フォーカス位置の異なる画像の枚数を増やす方法、および、全体が点対称でない形状をした開口を使用する方法を挙げた。しかし、前者は画像枚数を増やした分、撮像時間が増加するという課題がある。また、後者は開口の一部を遮光してしまうために、光量が減少し、被写体距離の推定精度が低下するという課題がある。
　そこで、本発明は、このような状況に鑑みて為されたものであり、露出する光量を低下させることなく、被写体の被写体距離に対応する像点前後における点像分布関数の判別の曖昧さを解消し、少ない枚数の撮像画像から被写体距離を推定する撮像装置を提供することを目的とする。
　上記目的を達成するために、本発明の一形態にかかる撮像装置は、画像を撮像する撮像素子と、前記撮像素子に被写体像を結像させるための光学系と、複屈折の効果を有する光学素子と、撮像された前記画像と、被写体の被写体距離に対応する像点の前後において前記光学素子により変化を与えられた点像分布関数とによって、前記撮像素子から前記被写体までの距離を計測する距離計測部と、を備える。
　本構成によると、複屈折の効果を有する光学素子が作用することにより被写体の被写体距離に対応する像点前後における点像分布関数の形状を異なった形状にすることができる。これにより、被写体の被写体距離に対応する像点前後における点像分布関数の判別の曖昧さを解消した上で、少ない枚数の撮像画像から被写体距離の推定を行うことができる。また複屈折物質は、点対称でない開口を用いる方法と比較して、光を遮蔽する必要がないため、光量の低下を抑えることができる。
　また、複屈折の効果を有する光学素子は、（特に複屈折物質が平行板で、光学系がテレセントリック光学系であれば、）他の光学素子とは異なり主に非点収差だけに影響を与えるため、被写体の被写体距離に対応する像点前後における点像分布関数の形状を異なった形状にしても、他の収差に与える影響は小さい。したがって光学系の設計を改めて行う必要がない。つまり、現状の装置に挿入することと、点像分布関数の処理を行う装置を追加するのみで実現できる。
　ここで、前記光学素子の光学軸の方向が前記光学系の光軸と非平行であるとすることが好ましい。
　ここで、前記光学素子は、前記光学系の光軸上において、前記撮像素子と前記光学系との間に配置され、前記光学系の光軸と交わる前記光学素子の平面は前記光学系の光軸に対して垂直となるとすることが好ましい。
　ここで、さらに、前記光学素子を、前記光学系の光軸に対して挿入または退避させることにより、前記光学系の光軸上において前記複屈折の効果をオンオフする光学素子移動部を、備え、前記距離計測部は、前記光学素子による前記複屈折の効果がない状態で前記撮像素子によって撮像された画像と、前記光学素子が前記光学系の光軸上にある状態で撮像された画像とを用いて、前記撮像素子から前記被写体までの距離を計測するとすることが好ましい。
　ここで、前記光学素子は、電気的または磁気的に複屈折の効果をオンオフでき、前記距離計測部は、前記光学素子による前記複屈折の効果がない状態で前記撮像素子によって撮像された画像と、前記光学素子が前記光学系の光軸上にある状態で撮像された画像とを用いて前記被写体までの距離を計測するとすることが好ましい。
　ここで、さらに、前記光学素子による前記複屈折の効果がない状態で前記撮像素子によって撮像される画像から、参照画像を生成する参照画像生成部を備え、前記距離計測部は、前記光学素子を通して撮像した画像と、前記参照画像を用いて、前記点像分布関数を推定し、前記被写体までの距離を計測するとすることが好ましい。
　ここで、前記参照画像生成部は、前記光学素子による前記複屈折の効果がない状態で前記撮像素子によって撮像される画像から、全焦点画像を前記参照画像として生成するとすることが好ましい。
　ここで、前記光学系は、像側テレセントリック性の光学特性を有するとすることが好ましい。
　ここで、さらに、光線を複数の光路に分離する光線分離部を、備え、前記撮像素子は、複数あり、それぞれが前記光線分離部によって分離される複数の光路に対応して前記撮像対象を撮像し、前記光学素子は、前記光線分離部によって分離される複数の光路の内の少なくとも一つの光路上に配置されるとすることもできる。
　なお、本発明は、このような撮像装置として実現することができるだけでなく、撮像装置が備える特徴的な構成要素の動作をステップとする撮像方法として実現することができる。また、撮像方法をコンピュータに実行させるためのプログラムとして実現することもできる。そのようなプログラムは、ＣＤ－ＲＯＭ等の記録媒体またはインターネット等の伝送媒体を介して配信することもできる。また、本発明は、各処理部の処理を行う集積回路として実現することもできる。
　本発明の撮像装置によれば、少なくとも二枚の画像から、画像中に含まれる点像分布関数の形状を算出することにより、安定かつ高精度に被写体距離を求めることができる。
図１は、本発明の実施の形態１における撮像装置の構成を示すブロック図である。 図２は、複屈折物質を透過する光線の様子を示す図である。 図３は、本発明の実施の形態１における撮像装置の構成要素の配置を示す図である。 図４は、複屈折物質によって被写体の被写体距離に対応する像点前後における点像分布関数の形状が変化する様子を示す図である。 図５は、（ａ－１）は複屈折物質を使用した場合の、図４中の位置（ａ）における異常光線の点像分布関数の形状を示す図、（ｂ－１）は複屈折物質を使用した場合の、図４中の位置（ｂ）における異常光線の点像分布関数を示す図、（ａ－２）は複屈折物質を使用しない場合の、図４中の位置（ａ）における点像分布関数を示す図、（ｂ－２）は複屈折物質を使用しない場合の、図４中の位置（ｂ）における点像分布関数、を示す図である。 図６は、複屈折物質を用いた場合の異なる被写体位置に対応する点像分布関数を示す図である。 図７は、複屈折物質を用いない場合の異なる被写体位置に対応する点像分布関数を示す図である。 図８は、３次位相版の形状を示す図である。 図９は、本発明の実施の形態１における撮像装置の動作の流れを示す図である。 図１０は、本発明の実施の形態２における撮像装置の構成を示すブロック図である。 図１１は、本発明の実施の形態２における撮像装置の構成要素の配置を示す図である。
　以下本発明の実施の形態について、図面を参照しながら説明する。なお、以下で説明する実施の形態は、いずれも本発明の好ましい一具体例を示すものである。以下の実施の形態で示される構成要素、構成要素の配置位置および接続形態、動作の順序などは、一例であり、本発明を限定する主旨ではない。本発明は、請求の範囲だけによって限定される。よって、以下の実施の形態における構成要素のうち、本発明の最上位概念を示す独立請求項に記載されていない構成要素については、本発明の課題を達成するのに必ずしも必要ではないが、より好ましい形態を構成するものとして説明される。
　（実施の形態１）
　図１は、本発明の実施の形態１における撮像装置の構成を示すブロック図である。
　撮像装置１０は、光学系１１、複屈折物質１２、アクチュエータ１３、合焦範囲制御部１４、撮像素子１５、画像取得部１６、参照画像生成部１７、および距離計測部１８を備える。
　図１において、光学系１１は、被写体像を撮像素子１５に結像させる。撮像素子１５と、光学系１１との間の光路上には、複屈折の効果を有する光学素子である複屈折物質１２が設置される。複屈折物質１２を透過した光線中の特に異常光線の点像分布関数の形状を変化させ、被写体の被写体距離に対応する像点前後における点像分布関数の形状を異なった形状にする。アクチュエータ１３は、複屈折物質１２を光路に対して挿入および退避させる。アクチュエータ１３が複屈折物質１２を光路に対しての挿入および退避を行うため、撮像装置１０は、複屈折物質１２を透過した被写体像の画像、複屈折物質１２を透過していない被写体像の画像を得ることができる。合焦範囲制御部１４は、光学系１１および撮像素子１５の少なくとも一方を移動させ、合焦位置および被写界深度を制御する。具体的には、光学系１１を特定のパターンで動作させる、あるいは特定の光学素子を切り替える等によって制御を行う。撮像素子１５は、ＣＣＤ、ＣＭＯＳ等から成り、撮像面で受光した光を画素毎に電気信号に変換して出力する。画像取得部１６は、撮像素子１５から複数の画像を取得し、各画像を保持する。参照画像生成部１７は、合焦範囲制御部１４の効果によって得られる、異なる合焦位置および被写界深度を有する複数枚の画像から、光学系によるぼけがない状態を推定した参照画像（全焦点画像）を生成する。距離計測部１８は、任意の距離に合焦したぼけ画像および参照画像生成部１７より得られる参照画像を用い、ＤＦＤの手法に基づいて距離計測を行う。
　次に複屈折物質１２により被写体の被写体距離に対応する像点前後における点像分布関数の形状を異なった形状にする方法について説明する。
　複屈折物質１２は、光学異方性を有する物質で、物質に進入した光線の偏光方向によって、光線を常光線と異常光線に分離する性質をもつ。常光線と異常光線とは、複屈折物質１２に特有の光学軸の方向によって決定される。常光線は、光学軸と入射光線で作る平面に垂直に振動する電場を有する光線であり、異常光線は、当該平面内で振動する電場を有する光線である。なお、光学軸の方向や軸の本数は物質の種類によって異なり、光学軸を一本有する場合、一軸性、二本有する場合を二軸性と表現する。実施の形態１では、複屈折物質１２として一軸性結晶である方解石（Ｃａｌｃｉｔｅ）を用いている。
　常光線と異常光線との違いは、複屈折物質１２中を通過する際、常光線は、光の速度が光の伝播方向によらず一定である一方で、異常光線は、光の速度が伝播方向によって異なる、ということである。さらに常光線に対する屈折率ｎｏと、異常光線に対する屈折率ｎｅとは、異なる。この常光線に対する屈折率ｎｏと異常光線に対する屈折率ｎｅとの違い、及び異常光線の光の速度が伝播方向によって異なるという性質から、図２のように、光線が複屈折物質１２に入射すると、常光線と異常光線とで進行方向に差が生じる。このため、複屈折物質１２に入射した光線が複屈折物質１２中で常光線と異常光線とに分裂するという現象が起こる。図２では、光は複屈折物質１２の左側から複屈折物質１２の平面に対して垂直に入射している。
　本発明では、被写体の被写体距離に対応する像点前後における点像分布関数の形状を異なった形状にするために、特に異常光線を利用する。
　光学系１１、複屈折物質１２、および撮像素子１５の位置関係は、図３に示す通り光学系１１（レンズ）と撮像素子１５との間に複屈折物質１２が配置される関係となる。つまり、三者は、光学系１１、複屈折物質１２、撮像素子１５の順に光軸上に並んで配置される。複屈折物質１２は、光軸と交わる複屈折物質の平面は全て光軸に対して垂直になるような形状、配置をした平行な板である。なお、この場合の「垂直」とは厳密に垂直でなくともよい。また複屈折物質１２は一軸性であり、光学軸の方向は図３においてｙ方向である。なお、常光線と異常光線とに対する屈折率の関係は、ｎｏ＞ｎｅである。ここで、光学系１１、複屈折物質１２、および撮像素子１５の位置関係を説明したが、上記の位置関係にて効果を奏するためにも、複屈折物質１２は平行板であることが望ましい。平行板であれば主に非点収差への影響しか与えない性質を持たせることができる。ここで述べた平行板とは、光が入射する側である第一の面と光が出射する側である第二の面とが互いに平行である物質である。すなわち、第一の面および第二の面以外の面の角度や形状に関しては限定するものではない。
　図３の構成を用いると、被写体の被写体距離に対応する像点前後における異常光線の点像分布関数の形状に差が生じ、被写体の被写体距離に対応する像点の前側ではｙ方向に長い形状となり、被写体の被写体距離に対応する像点の後ろ側ではｘ方向に長い形状となる。図４は、図３の構成における、ｙ－ｚ平面、ｘ－ｚ平面での常光線および異常光線の振る舞いを示した図である。光学軸の方向と、異常光線の伝播方向によって光の速度が異なるという性質から、異常光線はｙ－ｚ平面では常光線よりも強く屈折し、常光線よりも被写体の被写体距離に対応する像点の位置が遠くなる。一方、ｘ－ｚ平面では、異常光線は常光線よりも屈折角が小さくなり、常光線よりも被写体の被写体距離に対応する像点の位置が近くなる。異常光線のみ考えると、ｘ－ｚ平面の光線とｙ－ｚ平面の光線とでは、被写体の被写体距離に対応する像点の位置が異なる。よって、異常光線の点像分布関数の形状は、図４の被写体の被写体距離に対応する像点の前側の（ａ）の位置では、ｙ方向のぼけ方がｘ方向のぼけ方よりも大きいため、図５（ａ－１）に示すようにｙ方向に長い形状になる。一方で、異常光線の点像分布関数の形状は、被写体の被写体距離に対応する像点の後ろ側の（ｂ）の位置では、ｘ方向のぼけ方がｙ方向のぼけ方よりも大きいため、図５（ｂ－１）に示すようにｘ方向に長い形状になる。また図５（ａ－２）、（ｂ－２）は、それぞれ図４の（ａ）、（ｂ）の位置における常光線の点像分布関数である。これらは、複屈折物質１２がない場合の光線の点像分布関数であると言うこともできる。つまり、複屈折物質１２がない場合、被写体の被写体距離に対応する像点の前後で類似した形状（例えばこの場合は円形）をしていることが確認できる。
　被写体の被写体距離に対応する像点前後において点像分布関数の形状が異なることによって、距離判別の曖昧さが解消され、被写体距離を一意に推定することが可能となる。以下、図６および図７に基づいて被写体距離の推定を、複屈折物質を用いた場合に有効であることを説明する。なお、図６は、複屈折物質１２を用いた場合の異なる被写体位置に対応する点像分布関数を示す図である。図７は、複屈折物質１２を用いない場合の異なる被写体位置に対応する点像分布関数を示す図である。また、ここで言う「被写体距離」は、上述では撮像装置から被写体までの距離と定義しているが、光学系１１から被写体までの距離であってもよいし、撮像素子１５から被写体までの距離であってもよい。
　図６のように複屈折物質１２がある場合に被写体位置（ａ）、被写体位置（ｂ）に対する点像分布関数を考慮したとき、被写体の被写体距離に対応する像点前後において点像分布関数の形状が異なるため、撮像素子１５において結像される、位置（ａ）に対応する点像分布関数の形状と、位置（ｂ）に対応する点像分布関数の形状が互いに異なる。つまり、撮像素子１５において得られた点像分布関数から一意に被写体距離を推定することが可能となる。これに対して、図７においては、複屈折物質１２がないため、位置（ａ）、（ｂ）に対応する点像分布関数が類似した形状をしてしまうため、得られた点像分布関数が位置（ａ）に対応するのか位置（ｂ）に対応するのか、ノイズによって曖昧となり、一意に被写体距離を推定することが難くなる。つまり、図６のように複屈折物質１２がある場合の方が、図７のような複屈折物質１２がない場合よりも、撮像素子１５によって取得される点像分布関数が被写体の被写体距離に対応する像点の前後のいずれかであることが明確になるため、一意に被写体距離を推定することが容易となり、この点で有効である。なお図５～図７の点像分布関数の計算には、ＺＥＭＡＸ　Ｄｅｖｅｌｏｐｍｅｎｔ　Ｃｏｒｐｏｒａｔｉｏｎ社製の光学シミュレーションソフト“ＺＥＭＡＸ（商品名）”を用いている。
　実際には、図３の構成では、常光線と異常光線が同時に検出される。ただし、異常光線を含んでいるため、被写体の被写体距離に対応する像点前後における点像分布関数の形状が異なる、ということに変わりはない。
　次に参照画像取得方法について説明する。
　実施の形態１の撮像装置１０では、光学系１１によるぼけがない参照画像（全焦点画像）を用いる。光学系１１によるぼけがない画像は、被写界深度の深い画像ともいうことができる。被写界深度を深くするには、光学系の絞りを絞ることによって容易に実現できる。ただしこの方法では、撮像素子１５が受光する光量が低下してしまうため、これに対して、絞りを絞ることなく被写界深度を深くする手法が複数提案されている。この手法の一つに、被写界深度拡張（Ｅｘｔｅｎｄｅｄ　Ｄｅｐｔｈ　ｏｆ　Ｆｉｅｌｄ、以下ＥＤｏＦと表記）と称される手法がある。以下、ＥＤｏＦの具体的な手法について説明する。
　最も単純なＥＤｏＦの手法は、合焦位置を少しずつずらしながら複数の画像を撮像し、それらの画像から合焦している部分を抜き出して合成する手法である。
　これに対して、露光中に合焦位置を変化させて、ぼけの含まれない画像を生成する手法が、非特許文献２に開示されている。
　具体的には、露光中に撮像素子またはレンズを光軸方向に動かすと、点像分布関数が被写体距離によらずほぼ一定となり、均一にぼけた画像を得ることができる。得られたぼけ画像に対して、被写体距離に影響されない不変な点像分布関数を用いてデコンボリューションを行うと、画像全体でぼけのない画像を得ることができる。
　一方、特殊な光学素子を用いたＥＤｏＦの手法も提案されている。例えば３次位相板（Ｃｕｂｉｃ　Ｐｈａｓｅ　Ｍａｓｋ）と呼ばれる光学素子を使用する方法である。３次元位相板の一例として、その形状を図８に示す。このような形状の光学素子を光学系の絞り付近に組み込むと、被写体距離によらずほぼ一定のぼけを有する画像が得られる。非特許文献１と同様に、被写体距離に影響されない不変な点像分布関数を用いてデコンボリューションを行うと、画像全体でぼけのない画像を得ることができる。この他にも、多焦点レンズを用いる方法などが挙げられる。
　なお以下では被写界深度を拡張して参照画像を得る手法として、露光時間中に合焦位置を変化させる方法を用いるものとして説明を行う。
　次に、被写体距離を算出する処理の流れについて説明する。図９は、被写体距離を算出する処理の流れの一例を示すフローチャートである。この処理は、あらかじめ決められたｎ段階の被写体距離ｄ１、ｄ２、…、ｄｎのうち、対象となる被写体が撮像された画像から被写体距離がどの距離に一番近いかを算出する処理である。
　まず、複屈折物質を透過して得られる被写体の画像Ｉと参照画像Ｉ’とを撮像して、取得する（ステップＳ１０１、Ｓ１０２）。なお、ステップＳ１０１およびＳ１０２は順序が逆であっても構わない。ただし、ここで取得される参照画像は、複屈折物質１２を透過していない被写体像を撮像した画像である。
　ここで、画像Ｉと参照画像Ｉ’との間には以下の数１で示す関係が成り立つ。
Figure JPOXMLDOC01-appb-M000001
　ここで、ｈは画像中の位置（ｘ，ｙ）における点像分布関数を、ｄ（ｘ，ｙ）は位置（ｘ，ｙ）における被写体距離を表す。また、式中の＊は畳み込み演算を表す。点像分布関数は被写体距離によって異なるため、異なる複数の被写体距離に被写体が存在する場合、画像の位置ごとに被写体距離が異なる点像分布関数がぼけのない画像に畳み込まれた画像が画像Ｉとして得られる。
　次に、カウンタｉに初期値１を代入し（ステップ１０３）、画像の画素ごとにｉ段階目の被写体距離に対する誤差関数Ｃ（ｘ，ｙ，ｄｉ）を算出する（ステップＳ１０４）。誤差関数は以下の数２で表される。
Figure JPOXMLDOC01-appb-M000002
　ここでｈ（ｘ、ｙ、ｄｉ）は被写体距離ｄｉに対応する点像分布関数を表す。被写体距離ｄｉ（ｉ＝１～ｎ：ｎは２以上の自然数）に対応する点像分布関数は、撮像装置１０の例えばメモリなどに予め記憶されている。式２は、ぼけのない参照画像Ｉ’にｉ段階目の被写体距離ｄｉに対応する点像分布関数ｈ（ｘ，ｙ，ｄｉ）を畳み込んだものと、実際の撮像画像Ｉとの差を取ることに相当する。撮像された被写体が実際にｉ段階目の被写体距離に存在する場合に、この差である誤差関数Ｃ（ｘ，ｙ，ｄｉ）は最小となる。
　なお、式２において誤差関数Ｃ（ｘ，ｙ，ｄｉ）は、各画素間のｉ段階目の被写体距離ｄｉに対応する点像分布関数ｈ（ｘ，ｙ，ｄｉ）をぼけのない画像に畳み込んだものと、実際の撮像画像Ｉとの差の絶対値であるが、Ｌ２ノルム等距離を表現する任意の形式に基づいて誤差関数を定めることもできる。
　誤差関数を算出した後、カウンタｉの値がｎに達しているのかを判定し（ステップＳ１０５）、達していない場合はカウンタｉの値を１大きくし(ステップＳ１０６)、カウンタｉの値がｎに達するまで繰り返す。
　１段階からｎ段階までの誤差関数を全て算出した後、被写体距離を算出する（ステップＳ１０７）。位置（ｘ、ｙ）における被写体距離ｄ（ｘ、ｙ）は以下の式３で表される。
Figure JPOXMLDOC01-appb-M000003
　実際には撮像画像Ｉに含まれるノイズの影響を低減するため、画像を複数のブロックに区切ってブロック内での誤差関数の総和を求め、誤差関数が最小となる被写体距離をそのブロック全体において撮像された被写体の被写体距離とするなどの処理を行うことによって、より安定に距離計測を行うことができる。
　かかる構成によれば、被写体の被写体距離に対応する像点前後における点像分布関数の形状が異なるために、被写体距離の推定を一意に行うことが可能となる。
　本実施の形態において、複屈折物質１２の光学軸の方向を図３において上向きとしたが、光学軸の向きは、上向きとは限らず任意の向きでよく、任意の向きであっても被写体の被写体距離に対応する像点前後における点像分布関数の形状を異なる形状とすることができる。光学軸の方向を変化させると、得られる点像分布関数の形状も変化する。光学軸がどの方向を向いていても、常光線の被写体の被写体距離に対応する像点と異常光線の被写体の被写体距離に対応する像点との位置は異なるが、光学軸と光軸とが平行である場合のみ、被写体の被写体距離に対応する像点前後における点像分布関数の形状の違いが小さくなる。よって、複屈折物質１２の光学軸の方向と光軸とが非平行となるように、複屈折物質１２を設置することが望ましい。
　また、本実施の形態では、複屈折物質１２として、一軸性結晶である方解石（Ｃａｌｃｉｔｅ）を用いていると記載したが、その他の複屈折の効果を有する物質を用いてもよい。光学軸に関しては、方向だけでなく、軸の数も点状分布関数の形状を制御する要素とすることができ、一軸性の複屈折物質だけでなく、二軸性のものでも効果が得られる。一軸性、二軸性、もしくはその両方の複屈折物質を複数並べて、変化の幅を広げることもできる。さらに、複屈折物質の厚み、種類によっても、得られる点像分布関数の形状を被写体の被写体距離に対応する像点前後において変化させることができる。
　なお、本実施の形態において、複屈折物質１２を透過した被写体像と透過していない被写体像の画像の取得は、アクチュエータによる複屈折物質の移動によって実現するとしたが、他にも方法は存在し、総じて物理的駆動による複屈折物質自体の移動で光路上に出し入れする方法や、複屈折の効果を制御できるような光学素子を使用する方法によって実現できる。
　前者では、アクチュエータによる直線移動や複屈折物質の板を光軸と垂直にさせたまま回転させ、光路上に複屈折物質がある場合とない場合を作り出す方法などが挙げられる。後者では、例えば電気光学効果のような電気により制御を行うことができる素子や、磁気によって制御を行うことができる素子等が挙げられる。これらの場合、電圧や磁界の印加の有無の切り替えにより、複屈折の効果の有無を制御することができる。また、複屈折物質ではなくて、複屈折物質の効果を電気的および磁気的に制御できる例えば液晶などを採用しても良い。
　複屈折物質の位置も図３のものだけでなく、任意の位置で、被写体の被写体距離に対応する像点前後における点像分布関数の形状を異なった形状とする効果が得られる。ただし、図３のように撮像素子の直前に配置すると、得られる効果は大きくなるため好ましい。
　なお、光学系１１は、全ての像高で点像分布関数の形状が同一となる光学系が望ましく、特に、像側テレセントリックの光学系であることが望ましい。像側テレセントリックの光学系とは、像側で、全画角において主光線と光軸とが平行となる光学系である。図３の構成において、光学系１１が像側テレセントリック光学系であれば、複屈折物質１２を光路上に配置しても、全ての像高において点像分布関数の形状が同一となる。つまり、全ての像高において点状分布関数の形状が同一となるという性質を光学系がもっていれば、複屈折物質１２を光路上に配置してもその性質を保存することができる。このため、その場合の複屈折物質を含めた光学系の再設計は不要となる。全ての像高において点像分布関数の形状が同一となる性質をもつならば、測距の演算に用いる点像分布関数は一つでよく、演算にかかるコストを抑えることができる。
　（実施の形態２）
　本発明の実施の形態２にかかる撮像装置１９は、常光線と異常光線とを分離して、それぞれの光線のみの画像を取得する構成を有する。図１０は、本発明の実施の形態２における撮像装置１９の構成を示すブロック図である。図１０において、図１の撮像装置１０と同じ構成要素については同じ符号を用い、一部説明を省略する。撮像装置１９は、光学系１１、光線分離部２０、複屈折物質１２、合焦範囲制御部１４、撮像素子Ａ２１、撮像素子Ｂ２２、画像取得部Ａ２３、画像取得部Ｂ２４、参照画像生成部１７、および距離計測部１８を備える。
　図１０において、光学系１１は、被写体像を撮像素子Ａ２１と撮像素子Ｂ２２に結像させる。光線分離部２０は、任意の光量比で光線を空間的に分離する。撮像素子Ａ２１、および撮像素子Ｂ２２は、ＣＣＤ、ＣＭＯＳ等から成り、撮像面で受光した光を画素毎に電気信号に変換して出力する。また、光線分離部２０で分離された光線の一方の光線は、複屈折物質１２によって、点像分布関数の形状が変化し、撮像素子Ａ２１によって受光される。撮像素子Ｂ２２は、複屈折物質１２を透過しておらず、複屈折物質１２による効果を受けていない、光線分離部２０で分離された他方の光線を受光する。画像取得部Ａ２３および画像取得部Ｂ２４は、それぞれ撮像素子Ａ２１および撮像素子Ｂ２２から画像を取得し、取得した画像を保存する。
　具体的には図１１のような構成をとり、複屈折物質１２によって、被写体の被写体距離に対応する像点前後における点像分布関数の形状が異なるぼけ画像は撮像素子Ａ２１より得られる。一方で、複屈折物質１２を通過しない光線は、実施の形態１と同様に合焦位置および被写界深度が合焦範囲制御部１４によって制御されつつ撮像素子Ｂ２２により撮像される。そして、参照画像生成部１７は、撮像素子Ｂ２２により取得された画像に基づいて参照画像を生成する。撮像素子Ａ２１によって得られたぼけ画像と、撮像素子Ｂ２２が撮像した画像から生成された参照画像とは、図９と同様の処理が行われることにより、被写体距離の算出に利用される。実施の形態２において、撮像素子Ａ２１より得られるぼけ画像、参照画像生成部１７より得られる参照画像は、それぞれ図９における画像Ｉ、参照画像Ｉ’に対応する。さらに、式１～式３と同じ演算によって被写体距離を算出することができる。
　光線の分離に使用される光線分離部２０としては、無偏光ビームスプリッターや偏光ビームスプリッター等が挙げられる。無偏光ビームスプリッターの場合、得られる画像Ｉは実施の形態１と同様に異常光線と常光線との両方を含む画像となる。偏光ビームスプリッターを用いた場合、複屈折物質の光学軸と分離する偏光の方向を制御して、画像Ｉに含まれる光線を異常光線のみにすることも可能となる。なお、画像Ｉに含まれる光線を異常光線のみにすることにより常光線によるノイズを含まない画像を撮像することができるため、被写体距離を導出するためのより精度良高い画像を得ることができる。また偏光ビームスプリッターを用いる場合は、複屈折物質を偏光ビームスプリッターと光学系の間に配置することも可能となる。その場合、撮像素子Ｂ２２に常光線のみが到達するように偏光方向を選択する必要がある。
　なお、異常光線のみ含まれる画像に関しては、光量は低下してしまうが、偏光子等の特定の偏光のみを通す光学素子を用いて、異常光線のみを透過させることによっても得ることができる。
　かかる構成によれば、同一時刻に画像Ｉおよび参照画像Ｉ’を取得することができるため、両画像においてぼけ以外の差が生じず、より正確に被写体距離を求めることができる。実施の形態１では、画像Ｉおよび参照画像Ｉ’を同時に取得する構成ではないため、被写体や撮像装置自体の動きによって、撮像装置に対する被写体の相対的な位置が変化し、両画像にぼけ以外の差が生じ、距離計測の精度が低下しやすい。ただし、画像一枚に対する撮像時間が同じであれば、光線を分離しない実施の形態１の方が一枚の撮像素子に入射する光量は多くなるため、より信号ノイズ比（Ｓ／Ｎ比）が高くなる。
　実施の形態１では時間で分割して画像Ｉと参照画像Ｉ’を取得するのに対して、実施の形態２では、空間的に分割して画像Ｉと参照画像Ｉ’を取得している、と言える。実施の形態２では光線を分割している分、画像Ｉおよび参照画像Ｉ’それぞれに対する光量は低下するが、両画像の光量を合わせると光量は低下しておらず、無駄にはしていない。また両画像の取得に要する時間を同一とすると、実施の形態１と実施の形態２では、総光量は同一となる。
　なお、上記実施の形態１および実施の形態２では、被写体の被写体距離を得るために、参照画像として全焦点画像を利用しているがこれに限らずに、ぼけが一様な画像を参照画像として利用することにより被写体の被写体距離を導出してもよい。
　なお、上記実施の形態１および実施の形態２のブロック図（図１、図１０など）の各機能ブロックの内の複屈折効果付与部としてのアクチュエータ１３の制御部、撮像部としての画像取得部１６、および距離計測部１８は典型的には集積回路であるＬＳＩとして実現される。これらは個別に１チップ化されても良いし、一部または全てを含むように１チップ化されても良い。例えばメモリ以外の機能ブロックが１チップ化されていても良い。
　ここでは、ＬＳＩとしたが、集積度の違いにより、ＩＣ、システムＬＳＩ、スーパーＬＳＩ、ウルトラＬＳＩと呼称されることもある。
　また、集積回路化の手法はＬＳＩに限るものではなく、専用回路または汎用プロセッサで実現してもよい。ＬＳＩ製造後に、プログラムすることが可能なＦＰＧＡ（Ｆｉｅｌｄ　Ｐｒｏｇｒａｍｍａｂｌｅ　Ｇａｔｅ　Ａｒｒａｙ）や、ＬＳＩ内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサを利用しても良い。
　さらには、半導体技術の進歩または派生する別技術によりＬＳＩに置き換わる集積回路化の技術が登場すれば、当然、その技術を用いて機能ブロックの集積化を行ってもよい。バイオ技術の適応等が可能性としてありえる。
　また、各機能ブロックのうち、処理の対象となるデータを格納する手段だけ１チップ化せずに別構成としても良い。
　本発明にかかる撮像装置は、単一の視点から撮像された画像を元に距離計測を行うことができるため、撮像機器全般に適用可能である。
　１０　　撮像装置
　１１　　光学系
　１２　　複屈折物質
　１３　　アクチュエータ
　１４　　合焦範囲制御部
　１５　　撮像素子
　１６　　画像取得部
　１７　　参照画像生成部
　１８　　距離計測部
　１９　　撮像装置
　２０　　光線分離部
　２１　　撮像素子Ａ
　２２　　撮像素子Ｂ
　２３　　画像取得部Ａ
　２４　　画像取得部Ｂ

Claims (13)

  1. 　画像を撮像する撮像素子と、
    　前記撮像素子に被写体像を結像させるための光学系と、
    　複屈折の効果を有する光学素子と、
    　撮像された前記画像と、被写体の被写体距離に対応する像点の前後において前記光学素子により変化を与えられた点像分布関数とによって、前記撮像素子から前記被写体までの距離を計測する距離計測部と、を備える
    　撮像装置。
  2. 　前記光学素子の光学軸の方向が前記光学系の光軸と非平行である
    　請求項１に記載の撮像装置。
  3. 　前記光学素子は、前記光学系の光軸上において、前記撮像素子と前記光学系との間に配置され、前記光学系の光軸と交わる前記光学素子の平面は前記光学系の光軸に対して垂直となる
    　請求項１または請求項２に記載の撮像装置。
  4. 　さらに、
    　前記光学素子を、前記光学系の光軸に対して挿入または退避させることにより、前記光学系の光軸上において前記複屈折の効果をオンオフする光学素子移動部を、備え、
    　前記距離計測部は、前記光学素子による前記複屈折の効果がない状態で前記撮像素子によって撮像された画像と、前記光学素子が前記光学系の光軸上にある状態で撮像された画像とを用いて、前記撮像素子から前記被写体までの距離を計測する
    　請求項１から３のいずれか１項に記載の撮像装置。
  5. 　前記光学素子は、電気的または磁気的に複屈折の効果をオンオフでき、
    　前記距離計測部は、前記光学素子による前記複屈折の効果がない状態で前記撮像素子によって撮像された画像と、前記光学素子が前記光学系の光軸上にある状態で撮像された画像とを用いて前記被写体までの距離を計測する
    　請求項１から３のいずれか１項に記載の撮像装置。
  6. 　さらに、
    　前記光学素子による前記複屈折の効果がない状態で前記撮像素子によって撮像される画像から、参照画像を生成する参照画像生成部を備え、
    　前記距離計測部は、前記光学素子を通して撮像した画像と、前記参照画像を用いて、前記点像分布関数を推定し、前記被写体までの距離を計測する
    　請求項１から５のいずれか１項に記載の撮像装置。
  7. 　前記参照画像生成部は、前記光学素子による前記複屈折の効果がない状態で前記撮像素子によって撮像される画像から、全焦点画像を前記参照画像として生成する
    　請求項６に記載の撮像装置。
  8. 　前記光学系は、像側テレセントリック性の光学特性を有する
    　請求項１から７のいずれか１項に記載の撮像装置。
  9. 　さらに、
    　光線を複数の光路に分離する光線分離部を、備え、
    　前記撮像素子は、複数あり、それぞれが前記光線分離部によって分離される複数の光路に対応して前記撮像対象を撮像し、
    　前記光学素子は、前記光線分離部によって分離される複数の光路の内の少なくとも一つの光路上に配置される
    　請求項１から８のいずれか１項に記載の撮像装置。
  10. 　前記光学素子は、複数ある
    　請求項１から９のいずれか１項に記載の撮像装置。
  11. 　画像を撮像する撮像素子と、前記撮像素子に被写体像を結像させるための光学系と、を有する撮像装置の撮像方法であって、
    　前記光学系によって定まる点像分布関数の形状を、被写体の被写体距離に対応する像点前後の位置において異なる形状とさせる複屈折の効果を前記光学系の光軸上に与える複屈折効果付与ステップと、
    　前記光学系の光軸上に前記複屈折の効果が与えられた状態で前記撮像素子により画像を撮像する撮像ステップと、
    　前記撮像素子によって撮像された画像と前記点像分布関数とによって、前記被写体までの距離を計測する距離計測ステップと、を含む
    　撮像方法。
  12. 　請求項１１の撮像方法をコンピュータに実行させるためのプログラム。
  13. 　画像を撮像する撮像素子と、前記撮像素子に被写体像を結像させるための光学系と、を有する撮像装置の集積回路であって、
    　前記光学系によって定まる点像分布関数の形状を、被写体の被写体距離に対応する像点前後の位置において異なる形状とさせる複屈折の効果を前記光学系の光軸上に与える複屈折効果付与部と、
    　前記光学系の光軸上に前記複屈折の効果が与えられた状態で前記撮像素子により画像を撮像させる撮像部と、
    　前記撮像素子によって撮像された画像と前記点像分布関数とによって、前記被写体までの距離を計測する距離計測部と、を備える
    　集積回路。
PCT/JP2011/006420 2010-11-24 2011-11-18 撮像装置、撮像方法、プログラムおよび集積回路 WO2012070208A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
US13/574,079 US20120314061A1 (en) 2010-11-24 2011-11-18 Imaging apparatus, imaging method, program, and integrated circuit
JP2012510474A JP5873430B2 (ja) 2010-11-24 2011-11-18 撮像装置、撮像方法、プログラムおよび集積回路
CN201180006620.0A CN102713513B (zh) 2010-11-24 2011-11-18 摄像装置、摄像方法、程序以及集成电路

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2010-260859 2010-11-24
JP2010260859 2010-11-24

Publications (1)

Publication Number Publication Date
WO2012070208A1 true WO2012070208A1 (ja) 2012-05-31

Family

ID=46145579

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2011/006420 WO2012070208A1 (ja) 2010-11-24 2011-11-18 撮像装置、撮像方法、プログラムおよび集積回路

Country Status (4)

Country Link
US (1) US20120314061A1 (ja)
JP (1) JP5873430B2 (ja)
CN (1) CN102713513B (ja)
WO (1) WO2012070208A1 (ja)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013205516A (ja) * 2012-03-27 2013-10-07 Nippon Hoso Kyokai <Nhk> 多重フォーカスカメラ
WO2014021238A1 (en) * 2012-07-31 2014-02-06 Canon Kabushiki Kaisha Image pickup apparatus, depth information acquisition method and program
JP2016529473A (ja) * 2013-06-13 2016-09-23 ビーエーエスエフ ソシエタス・ヨーロピアＢａｓｆ Ｓｅ 少なくとも１つの物体を光学的に検出する検出器
WO2020196027A1 (ja) * 2019-03-28 2020-10-01 ソニー株式会社 光学系、内視鏡、および医療用画像処理システム
US10955936B2 (en) 2015-07-17 2021-03-23 Trinamix Gmbh Detector for optically detecting at least one object

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6112862B2 (ja) * 2012-12-28 2017-04-12 キヤノン株式会社 撮像装置
CN104102068B (zh) * 2013-04-11 2017-06-30 聚晶半导体股份有限公司 自动对焦方法及自动对焦装置
JP2015046777A (ja) * 2013-08-28 2015-03-12 キヤノン株式会社 撮像装置および撮像装置の制御方法
CN108107571B (zh) * 2013-10-30 2021-06-01 株式会社摩如富 图像处理装置及方法及非暂时性计算机可读记录介质
US9404742B2 (en) * 2013-12-10 2016-08-02 GM Global Technology Operations LLC Distance determination system for a vehicle using holographic techniques
JP6699898B2 (ja) * 2016-11-11 2020-05-27 株式会社東芝 処理装置、撮像装置、及び自動制御システム

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0814887A (ja) * 1994-06-27 1996-01-19 Matsushita Electric Works Ltd 光学式変位計
JP2963990B1 (ja) * 1998-05-25 1999-10-18 京都大学長 距離計測装置及び方法並びに画像復元装置及び方法
JP2001074422A (ja) * 1999-08-31 2001-03-23 Hitachi Ltd 立体形状検出装置及びハンダ付検査装置並びにそれらの方法
JP2005077391A (ja) * 2003-09-04 2005-03-24 Aoi Electronics Co Ltd 位置姿勢計測装置および位置と姿勢の計測方法
JP2007533977A (ja) * 2004-03-11 2007-11-22 アイコス・ビジョン・システムズ・ナムローゼ・フェンノートシャップ 波面操作および改良３ｄ測定方法および装置

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2016456A4 (en) * 2006-04-20 2010-08-25 Xceed Imaging Ltd THROUGH OPTICAL SYSTEM AND METHOD FOR PROVIDING AN ENLARGED SHARPNESS DURING THE FIGURE
CN101952762B (zh) * 2008-01-02 2012-11-28 加利福尼亚大学董事会 高数值孔径远程显微镜设备
US8305485B2 (en) * 2010-04-30 2012-11-06 Eastman Kodak Company Digital camera with coded aperture rangefinder

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0814887A (ja) * 1994-06-27 1996-01-19 Matsushita Electric Works Ltd 光学式変位計
JP2963990B1 (ja) * 1998-05-25 1999-10-18 京都大学長 距離計測装置及び方法並びに画像復元装置及び方法
JP2001074422A (ja) * 1999-08-31 2001-03-23 Hitachi Ltd 立体形状検出装置及びハンダ付検査装置並びにそれらの方法
JP2005077391A (ja) * 2003-09-04 2005-03-24 Aoi Electronics Co Ltd 位置姿勢計測装置および位置と姿勢の計測方法
JP2007533977A (ja) * 2004-03-11 2007-11-22 アイコス・ビジョン・システムズ・ナムローゼ・フェンノートシャップ 波面操作および改良３ｄ測定方法および装置

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013205516A (ja) * 2012-03-27 2013-10-07 Nippon Hoso Kyokai <Nhk> 多重フォーカスカメラ
WO2014021238A1 (en) * 2012-07-31 2014-02-06 Canon Kabushiki Kaisha Image pickup apparatus, depth information acquisition method and program
US9762788B2 (en) 2012-07-31 2017-09-12 Canon Kabushiki Kaisha Image pickup apparatus, depth information acquisition method and program
JP2016529473A (ja) * 2013-06-13 2016-09-23 ビーエーエスエフ ソシエタス・ヨーロピアＢａｓｆ Ｓｅ 少なくとも１つの物体を光学的に検出する検出器
US10823818B2 (en) 2013-06-13 2020-11-03 Basf Se Detector for optically detecting at least one object
US10845459B2 (en) 2013-06-13 2020-11-24 Basf Se Detector for optically detecting at least one object
US10955936B2 (en) 2015-07-17 2021-03-23 Trinamix Gmbh Detector for optically detecting at least one object
WO2020196027A1 (ja) * 2019-03-28 2020-10-01 ソニー株式会社 光学系、内視鏡、および医療用画像処理システム

Also Published As

Publication number Publication date
US20120314061A1 (en) 2012-12-13
JP5873430B2 (ja) 2016-03-01
JPWO2012070208A1 (ja) 2014-05-19
CN102713513B (zh) 2015-08-12
CN102713513A (zh) 2012-10-03

Similar Documents

Publication Publication Date Title
JP5873430B2 (ja) 撮像装置、撮像方法、プログラムおよび集積回路
US20230362344A1 (en) System and Methods for Calibration of an Array Camera
US8488872B2 (en) Stereo image processing apparatus, stereo image processing method and program
WO2011158498A1 (ja) 撮像装置及び撮像方法
US11499824B2 (en) Distance measuring camera
JP2016128816A (ja) プレノプティック・カメラを使った表面属性の推定
KR20120066043A (ko) 거리 측정용 카메라 장치
US11032533B2 (en) Image processing apparatus, image capturing apparatus, image processing method, and storage medium
JP2007158825A (ja) 画像入力装置
WO2009016256A1 (en) Ultra-compact aperture controlled depth from defocus range sensor
WO2019125427A1 (en) System and method for hybrid depth estimation
US11410321B2 (en) Distance measuring camera
JP2022128517A (ja) 測距カメラ
KR20190050859A (ko) 웨이퍼의 3차원 맵핑
US20200410707A1 (en) Distance measuring camera
WO2013069279A1 (ja) 撮像装置
EP3350770A1 (en) An apparatus and a method for generating data representing a pixel beam
JP2007205767A (ja) 三次元座標計測装置および方法
JP7328589B2 (ja) 測距カメラ
US11842507B2 (en) Distance measuring camera
EP2500690B1 (en) Range finder and imaging device
JP2024021700A (ja) 画像処理装置、撮像装置、画像処理方法、及びコンピュータプログラム
Taketomi et al. Depth estimation based on defocus blur using a single image taken by a tilted lens optics camera

Legal Events

Date Code Title Description
WWE Wipo information: entry into national phase

Ref document number: 201180006620.0

Country of ref document: CN

WWE Wipo information: entry into national phase

Ref document number: 2012510474

Country of ref document: JP

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 11843382

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 13574079

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 11843382

Country of ref document: EP

Kind code of ref document: A1