WO2010016625A1 - 画像撮影装置およびその距離演算方法と合焦画像取得方法 - Google Patents

画像撮影装置およびその距離演算方法と合焦画像取得方法 Download PDF

Info

Publication number
WO2010016625A1
WO2010016625A1 PCT/JP2009/064329 JP2009064329W WO2010016625A1 WO 2010016625 A1 WO2010016625 A1 WO 2010016625A1 JP 2009064329 W JP2009064329 W JP 2009064329W WO 2010016625 A1 WO2010016625 A1 WO 2010016625A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
distance
transfer characteristic
optical transfer
observation
Prior art date
Application number
PCT/JP2009/064329
Other languages
English (en)
French (fr)
Inventor
大澤弘幸
Original Assignee
キヤノン株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by キヤノン株式会社 filed Critical キヤノン株式会社
Priority to KR1020117004469A priority Critical patent/KR101233013B1/ko
Priority to CN200980129927.2A priority patent/CN102112846A/zh
Priority to EP09805102.2A priority patent/EP2314988A4/en
Priority to US12/692,055 priority patent/US20100118142A1/en
Publication of WO2010016625A1 publication Critical patent/WO2010016625A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B13/00—Viewfinders; Focusing aids for cameras; Means for focusing for cameras; Autofocus systems for cameras
    • G03B13/32—Means for focusing
    • G03B13/34—Power focusing
    • G03B13/36—Autofocus systems
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C3/00—Measuring distances in line of sight; Optical rangefinders
    • G01C3/02—Details
    • G01C3/06—Use of electric means to obtain final indication
    • G01C3/08—Use of electric radiation detectors
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B7/00—Mountings, adjusting means, or light-tight connections, for optical elements
    • G02B7/28—Systems for automatic generation of focusing signals
    • G02B7/36—Systems for automatic generation of focusing signals using image sharpness techniques, e.g. image processing techniques for generating autofocus signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/45—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from two or more image sensors being of different type or operating in different modes, e.g. with a CMOS sensor for moving images in combination with a charge-coupled device [CCD] for still images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/55—Optical parts specially adapted for electronic image sensors; Mounting thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/67—Focus control based on electronic image sensor signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/67—Focus control based on electronic image sensor signals
    • H04N23/672—Focus control based on electronic image sensor signals based on the phase difference signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof

Definitions

  • the present invention relates to an apparatus for capturing a distance image indicating a distance distribution of an object and a focused image in focus in the entire image.
  • the blur analysis method analyzes the degree of blur in an image, and obtains an estimated distance from the relationship between the amount of blur and the distance.
  • the method using a laser or pattern light applies a laser light to an actual subject, measures the flight time of the light returned and measures the distance (Time of flight method (TOF method)) or the subject From the observation image obtained by photographing the laser light and the pattern light, the estimated distance is obtained using triangulation and illumination distribution method.
  • the method shown in reference 2 which is a ray tracing method using a microlens array or the like determines an estimated distance by analyzing angle information of a ray to be photographed from an observation image.
  • Patent Document 1 and Reference 1 that are methods using patterned apertures etc. acquire an observation image using a patterned aperture, and analyze the observed image based on the aperture pattern Thus, the distance image and the in-focus image are obtained.
  • the phase difference method used in an autofocus camera or the like requires an element for distance measurement, an optical system for distance measurement, and the like in addition to the photographing CMOS.
  • it is difficult to obtain a distance image because it is only possible to measure distances at a few points or dozens of points on the observation image.
  • the lens focusing method requires the movement of the focus and involves mechanical driving of the focus lens, so that it takes time to acquire a distance image.
  • the blur analysis method uses the relationship between blur generated by a telecentric optical system and imaging. Therefore, the degree of freedom in lens design is low.
  • the method using a laser or pattern light is called the active method, and it is possible to measure the distance with high accuracy, but in an environment where it is not possible to use a laser or pattern light because it requires a laser or pattern light. , Can not use.
  • the ray tracing method using a micro lens array or the like causes a decrease in the spatial resolution of the in-focus image because the angle information of the light to be captured is acquired.
  • patent document 1 which is one of the methods using a patterned diaphragm etc., although a distance image and an in-focus image are obtained, a telecentric optical system is used and it is further implemented by the diaphragm using a pinhole aperture. The problem is that the amount of light is reduced.
  • Non-Patent Document 1 also obtains a distance image and a focused image, in the process of image processing, degraded image restoration processing by MAP estimation is performed for the number of distance resolutions.
  • the optical system of the conventional image capturing apparatus is shown in FIGS. 13A and 13B.
  • reference numeral 1201 denotes the optical system of Patent Document 1.
  • an aperture mask 1207 having two pinholes at a position 1203 is used as a stop. Therefore, there is a problem that the amount of light is small because the substantial F value is large, and the exposure time is long.
  • CMOS sensors are disposed at positions 1204, 1205, and 1206 to obtain a plurality of observation images with different focus.
  • reference numeral 1202 denotes the optical system of reference 1 which is one of the methods using a patterned stop or the like.
  • a patterned diaphragm coding aperture mask 1210 is disposed at the position of a diaphragm 1208 of the optical system of a normal digital camera, and a CMOS sensor 1209 captures an observation image.
  • the distance measurement method of Non-Patent Document 1 uses the PSF (Point Spread Function) according to the distance to the subject for which the degradation and restoration process has been measured in advance for the observation image obtained by the aperture mask 1210. Calculate the image not included.
  • the estimated distance is a distance to a PSF subject that can generate an optimal image that does not include blurring.
  • Formula 3 which performs the degradation image restoration process currently disclosed by this method is shown below.
  • y is an observed image
  • h is an optical transfer characteristic
  • x is an estimated restored image not including blur
  • ⁇ is a parameter for ⁇ term adjustment
  • ⁇ ( ⁇ xi) is a Laplacian filter
  • the degraded image restoration processing represented by Equation 3 requires repetitive operations including convolution operations and requires a large amount of processing time.
  • a first image photographing apparatus calculates observational image photographing means for photographing a plurality of observation images by photographing the same object with a plurality of aperture patterns, and calculating an optical transfer characteristic according to the distance to the object.
  • an image capturing apparatus comprising: means; and distance calculating means for calculating a distance to the subject from the plurality of observed images and the optical transfer characteristic.
  • a second image photographing apparatus calculates observational image photographing means for photographing a plurality of observation images by photographing the same object with a plurality of aperture patterns, and calculating an optical transfer characteristic according to the distance to the object. Means for calculating the optical transfer characteristic so as to minimize the blur amount from the plurality of observed images and the optical transfer characteristic, and using the optical transfer characteristic such that the blur amount is minimized
  • an image capturing device characterized in that it comprises a blur restoring means for restoring a blurred image and obtaining an in-focus image.
  • the distance calculation method of an image photographing apparatus comprises the steps of photographing the same subject with a plurality of aperture patterns to obtain a plurality of observation images, and calculating an optical transfer characteristic according to the distance to the subject A distance calculation step of calculating a distance to the subject from the plurality of observed images and the optical transfer characteristic.
  • a focused image acquiring method of an image photographing apparatus comprises the steps of photographing the same subject with a plurality of aperture patterns to obtain a plurality of observation images, and calculating an optical transfer characteristic according to the distance to the subject
  • the image blur is restored using steps of: calculating an optical transfer characteristic that minimizes the blur amount from the plurality of observed images and the optical transfer characteristic; and using the optical transfer characteristic that minimizes the blur amount And obtaining an in-focus image.
  • the distance to the subject at each point on the observation image can be measured. This makes it possible to take a distance image or a focused image.
  • FIG. 1 is a block diagram of an apparatus configuration of an embodiment of the image capturing apparatus of the present invention.
  • FIG. 2 is a block diagram of the device configuration of another configuration example of the image capturing device of the present invention.
  • FIG. 3 is a diagram showing an optical system of an image photographing apparatus using a variable pupil filter.
  • 4A, 4B, 4C, and 4D are diagrams showing an observation image, an in-focus image, and a distance image.
  • FIG. 5 is a view showing an overview of the image capturing apparatus of the present embodiment.
  • FIG. 6 is a view showing an optical system using a patterned pupil filter.
  • FIG. 7 is a view showing another optical system using a patterned pupil filter.
  • FIG. 8 is a diagram showing an optical transfer characteristic-estimated distance table.
  • FIG. 9 is a flowchart showing the operation of the distance calculation unit.
  • FIG. 10 shows a flowchart showing the operation of the optical transfer characteristic calculation unit.
  • FIG. 11 is a diagram showing the relationship between the estimated distance and the error evaluation value.
  • FIG. 12 is a flowchart showing the operation of the blur restoring unit.
  • 13A and 13B are diagrams showing the configuration of an optical system of a conventional image capturing apparatus.
  • FIG. 1 is a block diagram of an apparatus configuration of an embodiment of the image capturing apparatus of the present invention.
  • the image capturing apparatus according to the present embodiment includes an observed image capturing unit 221 for capturing a plurality of observed images, an optical transfer characteristic calculating unit 222, a distance calculating unit / optimum optical characteristic calculating unit 206, a blur restoring unit 207, and a refocused image.
  • An arithmetic unit 208 is configured.
  • the observation image photographing unit 221 serves as an observation image photographing unit.
  • the observation image photographing unit 221 includes an optical lens (optical lens 1) 201, a light passing unit 202, an optical lens (optical lens 2) 219, and a photoelectric conversion unit 203.
  • the light lens 201 has a function of condensing the light 209 using a lens substantially similar to a conventional film camera or digital camera.
  • the light collected by the light lens 201 is modulated by using the light passage part 202.
  • the light passing portion 202 modulates light using a diaphragm, but may modulate using a non-spherical lens, a variable curvature lens, or the like.
  • the observation images of the same subject are taken in time division, the optical characteristics of the light passing portion 202 are temporally changed, and a plurality of observation images are acquired.
  • blur prevention means or the like for preventing occurrence of camera shake may be added, or a high shutter speed may be selected so that subject blur does not occur.
  • the light 211 modulated by the light passing portion 202 is further collected by the optical lens 219 and imaged.
  • the light thus imaged is converted into an electrical signal by the photoelectric conversion unit 203, and is captured as an observation image im1 and an observation image im2212.
  • the photoelectric conversion unit 203 converts a light imaging state into an electrical signal using a CCD sensor, a CMOS sensor, or the like.
  • the light passing portion, the optical lens 2 and the photoelectric conversion portion are provided as one set, and the observation image of the same object is taken in time division, and the optical characteristics of the light passing portion are temporally changed. The observation image of is acquired. However, as shown in FIG.
  • two sets of the photoelectric conversion unit 205 may be provided.
  • the observation image photographing unit 223 serves as an observation image photographing means.
  • the optical characteristics of the light passing portion 202 and the light passing portion 204 are different.
  • three or more sets may be provided. As described above, by simultaneously having two or more sets, a plurality of observation images can be simultaneously taken. Alternatively, observation images of the same subject may be taken in time division, and after obtaining observation images with one set, other observation images may be obtained with the other set.
  • the light transfer characteristic calculation unit 222 is means for calculating an optical transfer characteristic (first optical transfer characteristic) according to the distance to the subject.
  • the optical transfer characteristic may be calculated using a mathematical expression, or may hold discrete values as a table. In this embodiment, although the method of interpolating discrete values is used, other similar methods may be used.
  • the distance calculation unit 206 calculates the distance image 213 using the observation image im1 and the observation image im2.
  • the distance calculation unit 206 also includes an optimum optical characteristic calculation unit.
  • the optimum optical characteristic calculator is an optical transmission characteristic calculator that calculates a second optical transmission characteristic that minimizes the amount of blur. This is a means for calculating the estimated distance to the subject discretely calculated more accurately.
  • the blur restoring unit 207 receives the data of the distance image and the observed image im1 and the observed image im2 from the distance calculating unit 206, calculates the in-focus image 214 by calculating these data, and obtains the in-focus image. .
  • the refocused image calculation unit 208 receives the data of the focused image 218 and the distance image 216 and calculates the refocused image 215 by intentionally adding blur to the area to be blurred.
  • the refocused image calculation unit 208 can set camera parameters (such as focus distance and F number) to generate an image corresponding to various lenses and depth of field. is there.
  • camera parameters such as focus distance and F number
  • FIG. 3 is a view showing an observation image photographing unit of the image photographing apparatus of FIG. 1 and a view showing an observation image photographing unit (optical system) using a variable pupil filter. In the configuration shown in FIG.
  • An optical system 101 as an observation image photographing unit includes an optical lens 105 for condensing incident light on a diaphragm 102 to which an aperture mask 103 and an aperture mask 104 are applied as a light passing unit, and light coupling as an photoelectric conversion unit. And a CMOS sensor 106 for converting an image state into an electrical signal.
  • the optical lens 105 corresponds to the optical lens 201 and the optical lens 219 of FIG.
  • the aperture 102 is an aperture that can electrically change the pattern of the aperture mask, and can be changed to the pattern of the aperture mask 103 and the pattern of the aperture mask 104.
  • the diaphragm 102 can use other methods such as a method of mechanically switching and a method of physically switching in addition to electrically switching the opening pattern.
  • the image capturing apparatus captures an image in a state where the aperture 102 is changed to the aperture mask 103 and the aperture mask 104, and thereby obtains observation images having a plurality of different aperture shapes.
  • the distance calculation unit, the blur restoration unit, and the refocus image generation unit calculate the distance image, the in-focus image, and the refocus image from a plurality of observation images having different patterns of the aperture mask.
  • the aperture mask 103 and the aperture mask 104 have a patterned coded aperture shape (pupil system shape). Specifically, the aperture mask 103 has a pattern such as the aperture 107, and the aperture mask 104 has a pattern such as the aperture 108.
  • the patterns used in the openings 107 and 108 greatly affect the stability of the distance calculation. For example, if the aperture patterns of the aperture 107 and the aperture 108 are both circular apertures, the two blurred images are captured as almost similar images, making analysis difficult. For this reason, it is desirable that the blur characteristics of individual observation images captured by the two aperture patterns be different characteristics. Specifically, an aperture pattern is used which generates blurs having different spatial frequency characteristics of an image to be captured. In the present embodiment, an example in which there are two opening patterns is shown.
  • two or more opening patterns may be used, and two or more images may be taken to obtain two or more observation images.
  • two images can be selected from among them, and a distance image, a focused image, and a refocused image can be obtained by the same method as that of this embodiment.
  • the observation image obtained by changing the diaphragm 102 to the pattern of the aperture mask 103 or the pattern of the aperture mask 104 has the same angle of view although the spatial frequency characteristics are different.
  • the selection of the aperture pattern can enhance the calculation accuracy of the distance calculation unit and the focus restoration unit by satisfying the following conditions.
  • the pattern should be easy to analyze blur characteristics (5) Not affected by diffraction
  • a plurality of diaphragm patterns satisfying the above conditions can be considered, in the present embodiment, the pattern of the aperture mask as shown in FIG. 3 is selected.
  • image data related to the present embodiment will be described. 4A, 4B, 4C, and 4D show the observation image, the in-focus image, and the distance image.
  • 1001 and 1002 in FIGS. 4A and 4B indicate the observation image im1 and the observation image im2. Each is photographed using an aperture mask of a different pattern, and although it is a photograph of the same angle of view, it becomes an observation image having a difference in blur characteristics.
  • 1003 of FIG. 4C has shown the distance image.
  • the distance image is a two-dimensional array data on the same plane as the observation image, using the distance to the subject as a value.
  • the luminance value for each pixel indicates the distance at the same angle of view as the observed image.
  • the dots on the distance image corresponding to the dots on the observation image indicate the characteristics on the same point of the subject, but if the positional relationship between the observation image and the distance image can be recognized, the observation image And the spatial resolution of the distance image may be different.
  • 1003 of FIG. 4C the higher the luminance, the closer the distance, and the lower the luminance, the farther the distance.
  • 1004 indicates a focused image.
  • the in-focus image is an image that has the same angle of view as the observation image im1 and the observation image im2, but does not include the blur characteristic. That is, the in-focus image is an image that does not include a blur state on the image, and corresponds to an image with an infinite depth of field.
  • FIG. 5 is a view showing an overview of the image capturing apparatus of the present embodiment.
  • the appearance of the image capturing apparatus is almost the same as a normal digital camera.
  • the optical system 101 described in FIG. 3 corresponds to the optical system 301 in FIG. Since all the optical systems 101 enter the optical system 301, when the optical system shown in FIG. 3 is implemented as one set in time-division photography, the hardware portion of the main body portion 303 can be changed by simply changing the diaphragm pattern.
  • the image photographing apparatus changes the aperture pattern by the number of observation images necessary for processing, photographs a plurality of observation images, and creates a distance image and a focused image.
  • an optical system as an observation image photographing unit used in the image photographing apparatus of FIG. 2 will be shown.
  • FIG. 6 shows an optical system using a patterned pupil filter, which is an optical system different from FIG.
  • the optical system is configured to further suppress occurrence of camera shake and subject shake.
  • FIG. 2 two sets of the light passing portion, the optical lens 2 and the photoelectric conversion portion are provided.
  • the major difference between the optical system of FIG. 3 and the optical system of FIG. 6 is that the light source is bisected by the light splitter. That is, light beam splitting is performed by the light splitter.
  • the light incident through the light lens is divided into two by the light splitter 403.
  • One half of the divided light is imaged through the aperture 402 and the CMOS sensor 406 obtains an input of the observed image im1.
  • the diaphragm 402 uses a patterned diaphragm such as the aperture pattern 408.
  • the other half of the divided light is changed its optical path by using a reflecting mirror 404, is imaged through the aperture 401, and the CMOS sensor 405 obtains an input of the observation image im 2.
  • the diaphragm 401 uses a patterned diaphragm such as the opening pattern 407.
  • FIG. 7 shows a configuration example in which the optical system of FIG. 6 is further modified.
  • the optical system shown in FIG. 6 can capture a plurality of observation images simultaneously, but will enlarge the entire imaging apparatus.
  • the light splitter 501 is disposed at a condensing position instead of splitting the light at the diaphragm position 506. The light incident through the light lens is divided into two by the light splitter 501.
  • Half of the divided light is imaged through the patterned diaphragm 502 and input by the CMOS sensor 503 as an observation image im1.
  • the remainder of the split light is imaged through the patterned aperture 504 and input by CMOS sensor 504 as observation image im2.
  • a different point from FIG. 6 is that scaling is performed with the patterns 504 and 502 of the aperture mask so that the size of the diaphragm pattern becomes constant in focus.
  • the entire image capturing apparatus can be designed to be smaller than the image capturing apparatus using the optical system of FIG.
  • the optical system of the image photographing apparatus is shown in FIG. 3, FIG. 6, and FIG. 7.
  • the distance calculating unit 206, the blur restoring unit 207, and the refocus image calculating unit 208 are the image photographing apparatus of FIG. It is possible to carry out all in common. Each optical system has advantages, so it is possible to select an optical system according to the application.
  • an algorithm for calculating the distance according to the present embodiment will be shown.
  • photography of two observation images is shown using two opening masks shown in FIG.
  • the optical system of FIG. 7 or FIG. 3 may be used.
  • the observation image (which will be the first observation image) photographed with the aperture mask of the diaphragm 402 is im1 and the observation image (which will be the second observation image) photographed with the aperture mask of the diaphragm 401 is im2.
  • Equation 4 When Fourier transforming Equation 4, Equation 4 becomes Equation 5.
  • IM1, IM2, Ha, Hb, and S indicate frequency characteristics of im1, im2, ha, hb, and s, respectively. Since the focused image S of Formula 5 is a common term, Formula 6 can be derived by putting together the formulas.
  • Equation (6) the observation image im1 taken with the aperture mask of the aperture 402 is subjected to the convolution operation using the PSF of the aperture mask of the aperture 401 and the observation image im2 taken with the aperture mask of the aperture 401 according to PSF of the aperture mask of the aperture 402 It can be seen that the result of the convolution operation is the same. However, in practice, the left side of Equation 6 does not completely become 0 due to an error or a state of imaging, so the distance is obtained from the following equation. z 'shows an estimated distance. Consider the condition that satisfies Equation 7.
  • IM1 and IM2 are Ha ⁇ S and Hb ⁇ S according to the equation 5, if the appropriate Ha and Hb can be substituted into the equation 7, the following equation 8 is minimized.
  • the optical transfer characteristics Ha and Hb depend on the distance to the object, and the combination of Ha and Hb at a certain distance is uniquely determined with respect to the distance. Therefore, the relationship between the distance z to the subject and the optical transfer characteristics Ha and Hb is held as an optical transfer characteristic table, and the estimated distance z 'can be obtained by substituting Ha and Hb.
  • Ha and Hb may use designed values or measured values. That is, since Ha and Hb depend on the distance to the subject, Equation 7 can be expressed as Equation 9. And the table of Ha and Hb can be expressed as follows.
  • Equation 10 is the same as the optical transfer characteristic-estimated distance table (which will be an optical transfer characteristic table) shown in FIG. 8 described later. That is, equation 10 shows the optical transfer characteristic table.
  • Expression 10 is an optical transfer characteristic table indicating optical transfer characteristics at each position of the imaging surface to be imaged on the light receiving surface of the imaging device when the imaging device is a shift variant optical system. It is prepared for. If the imaging apparatus is a shift-invariant optical system, the optical transmission characteristic is the same anywhere on the imaging surface of the imaging element, so Equation 10 shows one optical transmission characteristic regardless of the position on the imaging surface. You just have to prepare a table.
  • the optical transfer characteristic table is an optical transfer characteristic corresponding to the distance of discrete values, but by holding the optical transfer characteristic from the lens design information as a functional expression (optical transfer characteristic function) with respect to the distance Equation 10 may be realized.
  • the permissible circle of confusion size pcs is calculated from the distance z by the equation 12, and the optical transfer characteristic is approximately calculated using the permissible circle of confusion size pcs, and is calculated as the equation 10.
  • Zf indicates the subject distance
  • Zp indicates the focus distance
  • f indicates the focal length
  • d indicates the lens diameter.
  • the optical transfer characteristic-estimated distance table is a data table used by a light transfer characteristic calculation unit described later.
  • As the optical transfer characteristic a designed value may be used, but in the present embodiment, an actually measured value is used. By using the measured optical transfer characteristics, calibration can be performed against the effects of noise and optical aberrations.
  • the subject distance 601 is the distance to the subject.
  • the optical transmission characteristic 602 and the optical transmission characteristic 603 described later indicate the optical transmission characteristic when the subject is present at a point separated by z.
  • Reference numeral 602 denotes an optical transmission characteristic Ha according to the distance z of the object.
  • the optical transmission characteristic Ha is an optical transmission characteristic corresponding to the aperture mask 103.
  • 603 is an optical transfer characteristic Hb according to the distance z of the subject.
  • the optical transmission characteristic Hb is an optical transmission characteristic corresponding to the aperture mask 104. Since the optical transmission characteristic changes depending on the distance from the optical axis and the direction from the optical axis, the optical transmission characteristic may be held according to the position of the lens. Also, since it changes depending on the focus position, necessary tables are held. In the present embodiment, two of the optical transfer characteristics Ha and Hb are held, but when the number of aperture masks is two or more, the number may be increased accordingly. As described above, the optical transmission characteristics of the aperture mask with distance are maintained. Next, the flowchart regarding the distance image calculation of this embodiment is shown. FIG. 9 shows a flowchart showing the operation of the distance calculation unit.
  • FIG. 10 shows a flowchart showing the operation of the optical transfer characteristic calculation unit.
  • the observation image im1 and the observation image im2 are input to the distance calculation unit.
  • the distance calculation unit obtains, from the observation image im1 and the observation image im2, a window size (wx, wy) smaller than the observation image by cutting out an image on a position (x, y) on the observation screen Let i1 and i2.
  • the estimated distance z is measured for each small window. In calculating the estimated distance z, if the maximum size of the PSF on the CMOS 106 is larger than the window size (wx, wy), the subject's distance can not be determined correctly. It is necessary to decide.
  • step S703 the observation image i1 and the observation image i2 are Fourier-transformed to calculate I1 and I2. Further, 0 is substituted for m which is a reference counter.
  • step S704 the optical transfer characteristic calculation unit is called to acquire zm, Ham, and Hb m corresponding to the reference counter m.
  • the optical transfer characteristic calculation unit is started from step S1101 in FIG.
  • step S1102 the optical transfer characteristic calculation unit acquires zm, Ham, and Hb m corresponding to the reference counter m from the above-described optical transfer characteristic-estimated distance table. Then, the process returns in step S1103.
  • step S705 the following equation 13 is calculated to obtain an error evaluation value em.
  • the estimated distance z ' is zm that minimizes the error evaluation value em. Equation 13 is used to evaluate Equation 9 by the error evaluation value em. Since it is necessary to evaluate this error evaluation value em in the case of all the reference counters m, after the reference counter is increased in step S706, step S704 and subsequent steps are repeatedly calculated. After the calculation for all the reference counters m is completed, in step S 707, m that minimizes the error evaluation value em is obtained. Next, in step S708, an estimated distance z corresponding to m that minimizes the error evaluation value em is determined. These relationships are shown in the relationship graph of the estimated distance and the error evaluation value in FIG. Taking the values of FIG.
  • the estimated distance zm is obtained as a discrete value. Therefore, as shown in 901 of FIG. 11, the minimum value em ′ may be calculated to calculate the minimum value em ′, and the corresponding estimated distance z ′ may be determined to obtain a more accurate distance.
  • the distance to the object in the window size (wx, wy) is calculated.
  • step S709 the calculated estimated distance z 'is set as the pixel value (distance value) of the coordinates (x, y) of the distance image.
  • step S710 a process loop is performed so that the processes in steps S702 to S709 calculate all the pixels on the image.
  • the error evaluation value em is sequentially increased and the calculation is performed to obtain the minimum value.
  • the minimum value of the error evaluation value em can also be obtained at high speed using a binary search method or the like.
  • the error evaluation value em is calculated in the frequency domain in Equation 13, it is also possible to perform the calculation in the spatial domain by using the following equation.
  • Equation 5 An in-focus image can be calculated by Equation 5.
  • Equation 15 the optical transfer characteristics Ha and Hb may have zero or a value close to zero, and the division may not be accurately performed. Therefore, assuming that the Fourier transform of the estimated in-focus image is S ′, the estimated in-focus image S ′ can be obtained using Expression 16.
  • FIG. 12 shows a flowchart related to in-focus image calculation in the present embodiment.
  • the blur restoring unit 207 is started from step S801.
  • the weighting factor Wm is determined using the method represented by the above-mentioned equation 17.
  • the estimated in-focus image S ' can be obtained by calculating Formula 16 in step S803. Since the estimated in-focus image S 'represents spatial frequency characteristics, inverse Fourier transform is performed to obtain an estimated in-focus image s'. As described above, a focused image is obtained. Note that, with regard to the generation of the refocused image from the distance image and the focused image used in the refocused image calculation unit 208, since an already known algorithm can be used, the description will be omitted. An image capturing apparatus and method according to a second embodiment of the present invention will be described in detail. In the second embodiment, the frequency characteristics of the optical transfer characteristics of the aperture mask 103 and the aperture mask 104 in FIG.
  • the frequency characteristics of the aperture mask 103 and the aperture mask 104 satisfy the following relationship.
  • Ha, Hb, H1, and H2 indicate frequency characteristics of the optical transfer characteristics ha, hb, h1, and h2, respectively.
  • Formula 9 for calculating the distance to the subject is as follows.
  • a table indicating the relationship between H1 and the distance to the subject can be expressed as follows.
  • the estimated distance z ′ satisfying Equation 19 is determined by finding z at which The difference from the first embodiment is that the operation for evaluating the estimated distance z ′ is performed only once in the convolution operation (multiplication in the frequency domain) in Expression 19.
  • a convolution operation is an operation that takes time to process. Therefore, the operation amount of Expression 19 of the second embodiment is approximately half that of the operation amount of Expression 9 of the first embodiment.
  • the difference between the equation 10 which is a table showing the optical characteristics of the first embodiment and the equation 20 of the second embodiment is a table using one optical transfer characteristic and the value of the distance Therefore, the amount of data is approximately one half.
  • the aperture mask 103 and the aperture mask 104 that satisfy Expression 18 satisfy the characteristics using the aperture pattern of the diaphragm.
  • two diaphragms showing the optical characteristics of H1 and H2 are prepared, and one of the observation images (im1) is photographed through the opening mask of H1 and H2 at the time of photographing of the observation image (im1). You may shoot through only the mask.
  • the calculation amount for calculating the distance and the capacity of the data table indicating the optical transfer characteristics are compared with those in the first embodiment. Therefore, the calculation can be performed more efficiently.
  • the present invention is also realized by executing the following processing.

Abstract

テレセントリック光学系を用いたりする光学的制限や、劣化画像復元処理を複数回行う処理量的制限などが存在した。複数の絞りパターンで同一の被写体を撮影して複数の観測画像を得る観測画像撮影部（２２１）と、被写体までの距離に応じた光学伝達特性を算出する算出部（２２２）と、複数の観測画像と光学伝達特性から、被写体までの距離を算出する距離演算部（２０６）とを備える。また、複数の絞りパターンで同一の被写体を撮影して複数の観測画像を得る観測画像撮影部（２２１）と、被写体までの距離に応じた光学伝達特性を算出する算出部（２２２）と、複数の観測画像と光学伝達特性から、ボケ量が最小となる光学伝達特性を算出する光学伝達特性演算部（２０６）と、ボケ量が最小となる光学伝達特性を利用して画像のボケを復元し合焦画像を得るボケ復元部（２０７）とを備える。

Description

画像撮影装置およびその距離演算方法と合焦画像取得方法
　本発明は、被写体の距離分布を示す距離画像と、画像全域で焦点が合っている合焦画像を撮影する装置に関するものである。
　従来、撮像装置から被写体までの距離を計測する方法は、レンズと像面の位置関係によって生じるボケ量から距離を計測する方法など多数提案されて来た。以下、撮像装置から被写体までの距離を計測する方法の例について説明する。
　（１）　オートフォーカスカメラ等で用いられる手法
　（２）　レンズ焦点法（Ｄｅｐｔｈ　ｆｒｏｍ　ｆｏｃｕｓ）
　（３）　ボケ解析法（Ｄｅｐｔｈ　ｆｒｏｍ　ｄｅｆｏｃｕｓ）
　（４）　レーザーやパターン光などを用いる手法
　（５）　マイクロレンズアレイなどによる光線追跡手法
　（６）　パターン化された絞りなどを用いる手法
　オートフォーカスカメラ等で用いられる手法は、光学系に二つ目レンズなどを用いて距離計測用素子等に結像させ、距離計測を行う。
　レンズ焦点法は、フォーカスを随時移動し、観測画面が画面上で最も映像が鮮鋭になったときの距離を推定距離として求める。
　ボケ解析法は、画像中のボケ具合を解析し、ボケ量と距離の関係から推定距離を求める。
　レーザーやパターン光などを用いた手法は、レーザー光を実際の被写体に当て、反射して帰ってきた光の飛行時間を計測し距離計測を行う手法（Ｔｉｍｅ　ｏｆ　ｆｌｉｇｈｔ法（ＴＯＦ法））や被写体に写ったレーザー光やパターン光を撮影した観測画像から、三角測量法や照度分布法を用いて、推定距離を求める。
　マイクロレンズアレイなどを用いた光線追跡手法である参考文献２で示される手法は、撮影される光線の角度情報を観測画像から解析することによって、推定距離を求める。
　パターン化された絞りなどを用いる手法である特許文献１や参考文献１で示される手法は、パターン化された絞りを用いて、観測画像を取得し、観測画像を絞りのパターンに基づいて解析することで、距離画像及び合焦画像を求める。
特許第０２９６３９９０号明細書 Ｉｍａｇｅ　ａｎｄ　Ｄｅｐｔｈ　ｆｒｏｍ　ａ　Ｃｏｎｖｅｎｔｉｏｎａｌ　Ｃａｍｅｒａ　ｗｉｔｈ　ａ　Ｃｏｄｅｄ　Ａｐｅｒｔｕｒｅ／Ａｎａｔ　Ｌｅｖｉｎ，Ｒｏｂ　Ｆｅｒｇｕｓ，Ｆｒ´ｅｄｏ　Ｄｕｒａｎｄ，Ｗｉｌｌｉａｍ　Ｔ．Ｆｒｅｅｍａｎ／Ｍａｓｓａｃｈｕｓｅｔｔｓ　Ｉｎｓｔｉｔｕｔｅ　ｏｆ　Ｔｅｃｈｎｏｌｏｇｙ，Ｃｏｍｐｕｔｅｒ　Ｓｃｉｅｎｃｅ　ａｎｄ　Ａｒｔｉｆｉｃｉａｌ　Ｉｎｔｅｌｌｉｇｅｎｃｅ　Ｌａｂｏｒａｔｏｒｙ／ＳＩＧＧＲＡＰＨ２００７ Ｌｉｇｈｔ　Ｆｉｅｌｄ　Ｐｈｏｔｏｇｒａｐｈｙ　ｗｉｔｈ　ａ　Ｈａｎｄ−ｈｅｌｄ　Ｐｌｅｎｏｐｔｉｃ　Ｃａｍｅｒａ／Ｒｅｎ　Ｎｇ，Ｍａｒｃ　Ｌｅｖｏｙ，Ｍａｔｈｉｅｕ，Ｂｒ´ｅｄｉｆ　Ｇｅｎｅ，Ｄｕｖａｌ　†　Ｍａｒｋ　Ｈｏｒｏｗｉｔｚ，Ｐａｔ　Ｈａｎｒａｈａｎ／Ｓｔａｎｆｏｒｄ　Ｕｎｉｖｅｒｓｉｔｙ　†　Ｄｕｖａｌ　Ｄｅｓｉｇｎ／ＳＩＧＧＲＡＰＨ２００５
　しかしながら、従来の手法には以下に説明するように、いくつか問題点があった。
　オートフォーカスカメラ等で用いられる位相差方式は、撮影用ＣＭＯＳ以外に、距離計測用素子や距離計測用光学系等が必要となる。また、観測画像上の数点ないし数十点の距離しか距離計測を行うことが出来ないため、距離画像を得るのは難しい。
　レンズ焦点法は、フォーカスの移動を必要とし、フォーカスレンズの機械的駆動を伴うため、距離画像の取得に時間がかかる。
　ボケ解析法は、テレセントリック光学系によって発生するボケと結像の関係を用いている。　そのため、レンズ設計の自由度は低い。
　レーザーやパターン光などを用いる手法は、アクティブ法と呼ばれ、高精度な距離計測が可能ではあるが、レーザーやパターン光を必要とするために、レーザーやパターン光を使用不可な環境下においては、使用することが出来ない。
　マイクロレンズアレイなどによる光線追跡手法は、撮影される光の角度情報を取得する分、合焦画像の空間解像度の低下が発生する。
　パターン化された絞りなどを用いる手法の一つである特許文献１では、距離画像と合焦画像が得られるが、テレセントリック光学系を用いており、更にピンホール開口を用いた絞りによって実施されているため、光量の低下という問題がある。
　非特許文献１でも、距離画像と合焦画像が得られるが、画像処理を行う過程で、ＭＡＰ推定による劣化画像復元処理を距離解像度の数だけ実施している。
　従来例の画像撮影装置の光学系を図１３Ａ、図１３Ｂに示す。
　図１３Ａにおいて、１２０１は、特許文献１の光学系を示している。ボケの量と結像の大きさの関係を保つ為に、位置１２０３に二つのピンホールを有する開口マスク１２０７を絞りとして使用している。その為、実質的なＦ値が大きいために光量が少なく、露光時間が長くなる問題点が存在する。また、ＣＭＯＳセンサーを位置１２０４、１２０５、１２０６になるように配置して、フォーカスが違う観測画像を複数枚得ている。同手法を実現するには、フォーカスを機械的手段によって動かすか、分光などの光学的手段を用いる必要があり、機械的稼動の制約（フォーカス移動時間）や、光学系的手段の制約（光学系の大きさ）等の問題が存在する。
　また、図１３Ｂにおいて、１２０２は、パターン化された絞りなどを用いる手法の一つである参考文献１の光学系を示している。通常のデジタルカメラの光学系の絞り１２０８の位置に、パターン化された絞り符号化開口マスク１２１０が配置され、ＣＭＯＳセンサー１２０９によって観測画像の撮影が行われる。非特許文献１の距離測定の手法は、開口マスク１２１０によって得られた観測画像を劣化復元処理を予め測定しておいた被写体までの距離に応じたＰＳＦ（点像分布関数）を用いてボケを含まない画像を演算する。　そして、ボケを含まない最適な画像を生成することが可能なＰＳＦの被写体までの距離を推定距離とする手法である。
　この手法で開示されている劣化画像復元処理を行う数式３を以下に示す。
Figure JPOXMLDOC01-appb-I000003
　数式３において、ｙは観測画像、ｈは光学伝達特性、ｘはボケを含まない推定復元画像、λはρ項調整用パラメータ、ρ（▽ｘｉ）はラプラシアンフィルタ、
Figure JPOXMLDOC01-appb-I000004
　数式３で示される劣化画像復元処理は、畳み込み演算を含む繰り返し演算が必要となり処理時間を多く必要とする。また、光学伝達特性ｈのゲインが零もしくは零に近い付近での劣化画像回復は、難しい。
　そこで、本発明の目的は、上記のような不具合を生じることなく、安定的かつ、畳み込み演算を過度に使用しない低負荷な処理によって、高精度な被写体の距離画像及び、合焦画像を取得することを目的とする画像撮影装置を提供することである。
　本発明に係わる第１の画像撮影装置は、複数の絞りパターンで同一の被写体を撮影して複数の観測画像を得る観測画像撮影手段と、前記被写体までの距離に応じた光学伝達特性を算出する手段と、前記複数の観測画像と前記光学伝達特性から、前記被写体までの距離を算出する距離演算手段とを備えることを特徴とする画像撮影装置である。
　本発明に係わる第２の画像撮影装置は、複数の絞りパターンで同一の被写体を撮影して複数の観測画像を得る観測画像撮影手段と、前記被写体までの距離に応じた光学伝達特性を算出する手段と、前記複数の観測画像と前記光学伝達特性から、ボケ量が最小となるように光学伝達特性を算出する光学伝達特性演算手段と、前記ボケ量が最小となる光学伝達特性を利用して画像のボケを復元し合焦画像を得るボケ復元手段とを備えることを特徴とする画像撮影装置である。
　本発明に係わる画像撮影装置の距離演算方法は、複数の絞りパターンで同一の被写体を撮影して複数の観測画像を得るステップと、前記被写体までの距離に応じた光学伝達特性を算出するステップと、前記複数の観測画像と前記光学伝達特性から、前記被写体までの距離を算出する距離演算ステップとを備えることを特徴とする画像撮影装置の距離演算方法である。
　本発明に係わる画像撮影装置の合焦画像取得方法は、複数の絞りパターンで同一の被写体を撮影して複数の観測画像を得るステップと、前記被写体までの距離に応じた光学伝達特性を算出するステップと、前記複数の観測画像と前記光学伝達特性から、ボケ量が最小となる光学伝達特性を算出するステップと、前記ボケ量が最小となる光学伝達特性を利用して画像のボケを復元し合焦画像を得るステップとを備えることを特徴とする画像撮影装置の合焦画像取得方法である。
　本発明によれば、観察画像上の各点の被写体までの距離が測定可能となる。これにより、距離画像や合焦画像の撮影が可能となる。
　図１は、本発明の画像撮影装置の一実施形態の装置構成のブロック図である。
　図２は、本発明の画像撮影装置の他の構成例の装置構成のブロック図である。
　図３は、可変瞳フィルタを用いた画像撮影装置の光学系を示す図である。
　図４Ａ、４Ｂ、４Ｃ、４Ｄは、観測画像と合焦画像と距離画像を示す図である。
　図５は、本実施形態の画像撮影装置の概観を示した図である。
　図６は、パターン化された瞳フィルタを用いた光学系を示す図である。
　図７は、パターン化された瞳フィルタを用いた他の光学系を示す図である。
　図８は、光学伝達特性−推定距離テーブルを示す図である。
　図９は、距離演算部の動作を示すフローチャートである。
　図１０は、光学伝達特性算出部の動作を示すフローチャートを示している。
　図１１は、推定距離と誤差評価値の関係を示す図である。
　図１２は、ボケ復元部の動作を示すフローチャートである。
　図１３Ａ、１３Ｂは、従来の画像撮影装置の光学系の構成を示す図である。
１０１　光学系
１０２　絞り
１０３　開口マスク
１０４　開口マスク
１０５　光学レンズ
１０６　ＣＭＯＳセンサー
２０６　距離演算部・最適光学特性演算部
２０７　ボケ復元部
２０８　リフォーカス画像演算部
２２１　観測画像撮影部
２２２　光学伝達特性算出部
　本発明による第一の実施形態の画像撮影装置及び方法を、図面を参照して詳細に説明する。なお、以下に説明する実施形態の装置構成は、本発明に係わる第１の画像撮影装置と第２の画像撮影装置とを組み合わせたものである。
　図１は、本発明の画像撮影装置の一実施形態の装置構成のブロック図である。
　本実施形態の画像撮影装置は、複数の観測画像を撮影するための観測画像撮影部２２１、光学伝達特性算出部２２２、距離演算部・最適光学特性演算部２０６、ボケ復元部２０７、リフォーカス画像演算部２０８から構成されている。観測画像撮影部２２１は観測画像撮影手段となる。
　観測画像撮影部２２１は、光学レンズ（光学レンズ１）２０１、光通過部２０２、光学レンズ（光学レンズ２）２１９、光電気変換部２０３から構成されている。
　光レンズ２０１は、従来のフィルムカメラやデジタルカメラとほぼ同様のレンズを用いて、光２０９を集光させる機能を持っている。
　光レンズ２０１によって集光された光は、光通過部２０２を用いて変調される。
　本実施形態では、後述するように、光通過部２０２は絞りを用いて光の変調を行っているが、非球面レンズや曲率可変レンズ等を用いて変調を行っても良い。ここでは、同じ被写体の観測画像を時分割で撮影するようにし、光通過部２０２の光学的特性を時間的に変更し、複数の観測画像を取得している。時分割によって複数枚の観測画像を撮影するために、手ブレが発生しないようにするブレ防止手段等を追加したり、被写体ブレが発生しないように高速なシャッター速度を選択しても良い。
　光通過部２０２によって変調された光２１１は、光学レンズ２１９により、さらに集光し結像される。
　結像された光は、光電気変換部２０３によって電気信号に変換され、観測画像ｉｍ１及び観測画像ｉｍ２２１２として撮影される。
　そして、ソフトウェア処理である距離演算部２０６、ボケ復元部２０７及びリフォーカス画像演算部２０８の引数として渡される。
　光電気変換部２０３は、ＣＣＤセンサーやＣＭＯＳセンサー等を用いて光の結像の状態を電気信号に変換する。
　図１では、光通過部、光学レンズ２及び光電気変換部を一組設け、同じ被写体の観測画像を時分割で撮影するようにし、光通過部の光学的特性を時間的に変更し、複数の観測画像を取得している。しかし、図２に示すように、観測画像撮影部２２３として、光通過部２０２、光学レンズ（光学レンズ２）２１９及び光電気変換部２０３と、光通過部２０４、光学レンズ（光学レンズ２）２２０及び光電気変換部２０５との２組設けてもよい。観測画像撮影部２２３は観測画像撮影手段となる。光通過部２０２と光通過部２０４との光学的特性は異なる。また、３つ以上の組を設けてもよい。このように、２組以上を同時に持つことで、複数の観測画像を同時に撮影することができる。また、同じ被写体の観測画像を時分割で撮影するようにし、一方の組で観測画像を得た後に、他方の組で他の観測画像を得てもよい。上述したように、時分割によって複数枚の観測画像を撮影する場合は、手ブレが発生しないようにするブレ防止手段等を追加したり、被写体ブレが発生しないように高速なシャッター速度を選択しても良い。
　光伝達特性算出部２２２は、被写体との距離による光学伝達特性（第１の光学伝達特性）を算出する手段である。
　光学伝達特性は、数式を用いて算出を行っても良いし、テーブルとして離散値を保持しても良い。
　本実施形態では、離散値を補間する手法を用いているが、類似する他の手法を用いても良い。
　距離演算部２０６は、観測画像ｉｍ１及び観測画像ｉｍ２を用いて距離画像２１３の算出を行う。
　また、距離演算部２０６は、最適光学特性演算部も備えている。最適光学特性演算部はボケ量が最小となる第２の光学伝達特性を算出する光学伝達特性演算手段となる。これは、離散的に算出される被写体までの推定距離を更に精度良く演算するための手段である。
　ボケ復元部２０７は、距離演算部２０６から距離画像及び観測画像ｉｍ１及び観測画像ｉｍ２のデータを受け、これらのデータを演算することで、合焦画像２１４の算出を行い、合焦画像を取得する。
　リフォーカス画像演算部２０８は、合焦画像２１８及び距離画像２１６のデータを受け、ぼかしたい領域にわざとボケを付加することで、リフォーカス画像２１５の算出を行う。
　リフォーカス画像演算部２０８は、リフォーカス画像２１５の生成時に、カメラパラメータ（フォーカス距離やＦナンバーなど）を設定して、様々なレンズと被写界深度に対応した画像を生成することが可能である。
　本実施形態では、距離画像と合焦画像から任意のフォーカス位置の画像や任意の被写界深度の画像、更に収差を再現した画像などのリフォーカス画像を作成することが出来る。
　図３は、図１の画像撮影装置の観測画像撮影部を示す図であり、可変瞳フィルタを用いた観測画像撮影部（光学系）を示す図である。図３に示す構成は、光通過部、光学レンズ２及び光電気変換部を一組設け、同じ被写体の観測画像を時分割で撮影するようにし、光通過部の光学的特性を時間的に変更したものである。
　観測画像撮影部としての光学系１０１は、光通過部として開口マスク１０３及び開口マスク１０４を適用した絞り１０２に、入射された光を集光する光学レンズ１０５と、光電気変換部として光の結像状態を電気信号に変換するＣＭＯＳセンサー１０６とを備える。光学レンズ１０５は図１の光学レンズ２０１及び光学レンズ２１９に対応する。
　絞り１０２は、電気的に開口マスクのパターンを変更することが可能な絞りであり、開口マスク１０３のパターンと開口マスク１０４のパターンとに変更することが可能である。
　絞り１０２は、電気的に開口パターンを切り替える以外に、機械的に切り替える方法や物性的に切り替える方法など、他の手法を用いることも出来る。
　画像撮影装置は、絞り１０２を開口マスク１０３と開口マスク１０４とに変更した状態で画像を撮影することで、複数枚の絞り形状が異なる観測画像を得る。
　距離演算部及びボケ復元部及びリフォーカス画像作成部は、開口マスクのパターンの違う複数枚の観測画像から、距離画像及び合焦画像及びリフォーカス画像の算出を行う。
　開口マスク１０３と開口マスク１０４は、パターン化された符号化開口形状（瞳系形状）を有する。具体的には、開口マスク１０３は、開口１０７のようなパターン、開口マスク１０４は、開口１０８のようなパターンを備えている。
　開口１０７及び開口１０８で用いられるパターンは、距離演算の安定性に大きく影響がある。例えば、開口１０７及び開口１０８の開口パターンが、どちらも円形開口であると、２つのボケ画像は、ほとんど同じような画像として撮影されるため解析が困難になる。このため、２つの開口パターンによって撮影される個々の観測画像のボケ特性は、違う特性になることが望ましい。具体的には、撮影される画像の空間周波数特性が異なるボケを発生させる開口パターンを用いる。
　本実施形態では、開口パターンが２つの場合の例を示すが、開口パターンを２つ以上用い、２回以上撮影し、２枚以上の観測画像を得てもよい。
　この場合、複数枚の観測画像が得られるので、その中から２枚を選択し、本実施形態と同様の手法で距離画像及び合焦画像及びリフォーカス画像を得ることが出来る。
　更に、２枚の選択の組み合わせを全ての組み合わせにおいて、同様に距離画像および合焦画像の演算を行い、演算結果を平均化することで、演算精度を高めることが可能である。
　絞り１０２を開口マスク１０３のパターンもしくは、開口マスク１０４のパターンに、変更することによって得られる観測画像は、空間周波数特性は違うが同一画角である。
　開口パターンの選択は、以下のような条件を満たすことで、距離演算部及び合焦復元部の演算精度を高めることが出来る。
　（１）　ボケの大きさに関わらず高周波域のゲインが落ちないこと
　（２）　複数の開口パターンの周波数特性においてゲインの零点が同一周波数において重ならないこと
　（３）　開口面積をなるべく大きくして露光に必要な光量を得ること
　（４）　ボケ特性の解析が容易なパターンであること
　（５）　回折の影響を受けないこと
　上記条件を満たす絞りパターンは複数考えられるが、本実施形態では、図３に示したような開口マスクのパターンを選択する。
　次に、本実施形態に関連する画像データについて示す。
　図４Ａ、４Ｂ、４Ｃ、４Ｄは、観測画像と合焦画像と距離画像を示している。
　図４Ａ、４Ｂの１００１及び１００２は、観測画像ｉｍ１及び観測画像ｉｍ２を示している。それぞれ、違うパターンの開口マスクを用いて撮影されており、同一の画角の写真ではあるが、ボケ特性に違いがある観測画像となる。
　図４Ｃの１００３は、距離画像を示している。距離画像とは、被写体までの距離を値として観測画像と同一平面の２次元配列データである。観測画像と同一画角で、かつ画素毎の輝度値が距離を示している。
　本実施形態では、観測画像上のドットと対応する距離画像上のドットは、被写体の同一地点上の特性を示しているが、観測画像と距離画像の位置関係が認識出来るのであれば、観測画像と距離画像の空間解像度は違っていても構わない。
　図４Ｃの１００３では、輝度が高いほど近い距離、輝度が低いほど遠い距離を示している。
　図４Ｄの１００４は、合焦画像を示している。合焦画像は、観測画像ｉｍ１及び観測画像ｉｍ２と同一画角ではあるが、ボケ特性を含まない画像である。つまり、合焦画像は、画像上にボケ状態を含まない画像のことであり、被写界深度が無限大の画像に相当する。
　本実施形態では、更に、距離画像と合焦画像から、フォーカスに関連するパラメータを変更したリフォーカス画像を生成し、撮影後に任意のボケ状態を有する画像を作成する。
　次に、本実施形態の画像撮影装置の装置概観を示す。
　図５は、本実施形態の画像撮影装置の概観を示した図である。
　画像撮影装置の外見は、通常のデジタルカメラとほぼ同様である。
　図３で説明をした光学系１０１は、図５の光学系３０１に相当する。
　光学系１０１は全て光学系３０１に入ってしまうため、図３で示される光学系を１組として時分割撮影で実施した場合、本体部分３０３のハードウェア部分は絞りパターンを変更するだけで従来のデジタルカメラを流用することも可能である。
　また、絞り１０２の開口パターンの一つを円形開口や多角形開口にすることによって、従来のデジタルカメラと同様な観測画像を撮影することも可能である。
　距離画像及び合焦画像を撮影する場合のユーザーの操作は、従来のデジタルカメラと同様に１度のシャッターボタン操作を行うだけで良い。
　画像撮影装置は、１回のシャッターボタンの動作を検出後、処理に必要な観測画像数だけ絞りパターンを変更し、複数の観測画像を撮影して、距離画像と合焦画像を作る。
　次に図２の画像撮影装置に用いられる観測画像撮影部としての光学系を示す。
　図６は、パターン化された瞳フィルタを用いた光学系であり、図３とは別の光学系である。
　図３での光学系の構成は、光学系１０１が１組のみであるために、時分割による複数回の撮影によって複数枚の観測画像を得ている。そのため、手ブレや被写体ブレには弱い側面がある。
　図６では、手ブレや被写体ブレの発生をより抑制した光学系の構成となる。この構成例は、図２に示すように、光通過部、光学レンズ２及び光電気変換部を２組設けた例となる。
　図３の光学系と図６の光学系の大きな差は、光スプリッタにより光源を二分した点にある。つまり光スプリッタにより光束分割を行っている。
　光レンズを通して入射して来た光は、光スプリッタ４０３によって２分される。
　２分された光のうちの半分は、絞り４０２を通して結像され、ＣＭＯＳセンサー４０６で観測画像ｉｍ１の入力を得る。このとき、絞り４０２は、開口パターン４０８のようなパターン化された絞りを用いている。
　２分された光の残り半分は、反射鏡４０４を用いて光路を変更し、絞り４０１を通して結像され、ＣＭＯＳセンサー４０５で観測画像ｉｍ２の入力を得る。このとき、絞り４０１は、開口パターン４０７のようなパターン化された絞りを用いている。
　ＣＭＯＳセンサー４０６及びＣＭＯＳセンサー４０５の観測画像ｉｍ１及び観測画像ｉｍ２の撮影は、同時に行われるため、図２の光学系を用いた画像撮影装置よりも手ブレや被写体ブレに対してより耐性がある。
　図７では、更に図６の光学系に変更を加えた構成例を示している。
　図６で示される光学系は、複数の観測画像の撮影を同時に行うことが可能であるが、撮影装置全体を大きくしてしまうことになる。
　図７では、この点を改善するために、絞りの位置５０６で光を分割するのではなく、集光している位置に、光スプリッタ５０１を配置する。
　光レンズを通して入射して来た光は、光スプリッタ５０１によって２分される。
　２分された光のうち半分は、パターン化絞り５０２を通して結像され、ＣＭＯＳセンサー５０３によって観測画像ｉｍ１として入力される。
　２分された光のうち残りは、パターン化絞り５０４を通して結像され、ＣＭＯＳセンサー５０４によって観測画像ｉｍ２として入力される。
　図６と違う点は、絞りパターンの大きさをフォーカス状態に合わせて一定になるように開口マスクのパターン５０４及び５０２でスケーリングを行うことが求められる。
　しかし、画像撮影装置全体は、図６の光学系を用いた画像撮影装置よりも小さく設計することが可能である。
　画像撮影装置の光学系を図３、図６、図７に示したが、距離演算部２０６、ボケ復元部２０７、リフォーカス画像演算部２０８は、図３、図６、図７の画像撮影装置全てで共通に実施することが可能である。
　それぞれの光学系には、利点が存在する為、適用に合わせて光学系を選択することが可能である。
　次に、本実施形態の距離算出のためのアルゴリズムを示す。
　図６に示した２つの開口マスクを用い、観測画像を２枚撮影した場合の例を示す。図７や図３の光学系を用いても良いことは勿論である。
　絞り４０２の開口マスクで撮影をした観測画像（第１の観測画像となる）をｉｍ１、絞り４０１の開口マスクで撮影をした観測画像（第２の観測画像となる）をｉｍ２とし、絞り４０２の開口マスクによるＰＳＦ（点像分布関数）をｈａ、絞り４０１の開口マスクによるＰＳＦをｈｂ、合焦画像をｓとすれば、以下の式が成り立つ。
Figure JPOXMLDOC01-appb-I000005
Figure JPOXMLDOC01-appb-I000006
　数式４をフーリエ変換すると、数式４は、数式５となる。
このときＩＭ１，ＩＭ２，Ｈａ，Ｈｂ，Ｓは、それぞれｉｍ１，ｉｍ２，ｈａ，ｈｂ，ｓの周波数特性を示す。
Figure JPOXMLDOC01-appb-I000007
　数式５の合焦画像Ｓは、共通な項であるため、式をまとめると数式６を導くことが出来る。
Figure JPOXMLDOC01-appb-I000008
　数式６から絞り４０２の開口マスクで撮影した観測画像ｉｍ１に絞り４０１の開口マスクのＰＳＦによる畳み込み演算をした結果と、絞り４０１の開口マスクで撮影した観測画像ｉｍ２に絞り４０２の開口マスクのＰＳＦによる畳み込み演算をした結果は、同じになることが分かる。
　しかし、実際には、誤差や結像の状態によって完全には、数式６の左辺が０にならないので、以下の数式から距離を求める。
Figure JPOXMLDOC01-appb-I000009
　ｚ’は推定距離を示す。
　数式７を満たす状態を考察する。
　ＩＭ１及びＩＭ２は、数式５よりＨａ・Ｓ及びＨｂ・Ｓである為、適切なＨａ及びＨｂを数式７に代入出来れば、以下の数式８が最小になる。
Figure JPOXMLDOC01-appb-I000010
　光学伝達特性Ｈａ，Ｈｂは、被写体までの距離に依存し、ある距離におけるＨａとＨｂの組は、距離に対して一意に決まる。
　そこで、予め被写体までの距離ｚと光学伝達特性Ｈａ及びＨｂの関係を、光学伝達特性テーブルとして保持して置き、Ｈａ及びＨｂを代入することで推定距離ｚ’を求めることが可能になる。このとき、Ｈａ及びＨｂは設計値を用いてもよいし、実測値を用いてもよい。
　つまり、Ｈａ及びＨｂは、被写体までの距離に依存するため、数式７は、数式９として表すことが出来る。
Figure JPOXMLDOC01-appb-I000011
　そして、Ｈａ及びＨｂのテーブルを以下のように表すことが出来る。
Figure JPOXMLDOC01-appb-I000012
　数式１０のテーブルを用いて、以下の数式１１が最小値になるｚを求めることによって数式９を満たす推定距離ｚ’が求まる。
Figure JPOXMLDOC01-appb-I000013
　尚、数式１０は、後述する図８で示される光学伝達特性−推定距離テーブル（光学伝達特性テーブルとなる）と同様のものである。つまり、数式１０は光学伝達特性テーブルを示している。
　数式１０は、撮影装置が、シフトバリアントな光学系の場合、撮像素子の受光面に結像する撮影面の各位置における光学伝達特性を示す光学伝達特性テーブルであり、撮像面上での位置に対して用意される。
　また、撮影装置が、シフトインバリアントな光学系の場合、撮影素子の撮影面上どこでも同じ光学伝達特性になるため、数式１０は、撮影面上での位置とは関係なく、１つの光学伝達特性テーブルを用意すれば良い。
　また、光学伝達特性テーブルは、離散値の距離に対応する光学伝達特性であるが、レンズの設計情報から光学伝達特性を距離に対しての関数式（光学伝達特性関数）として保持をすることで、数式１０を実現しても構わない。
　例えば、本実施形態では、数式１２により距離ｚから許容錯乱円サイズｐｃｓを算出し、許容錯乱円サイズｐｃｓを用いて光学伝達特性を近似計算し、数式１０として算出している。
Figure JPOXMLDOC01-appb-I000014
　ただし、Ｚｆは被写体距離、Ｚｐはフォーカス距離、ｆは焦点距離、ｄはレンズ径を示している。
　次に、本実施形態で使用されるデータテーブルに関して示す。
　図８は、光学伝達特性−推定距離テーブルを示したものである。
　図８の光学伝達特性−推定距離テーブルは、被写体までの距離ｚにおけるＰＳＦ（ｐｏｉｎｔ　ｓｐｒｅａｄ　ｆｕｎｃｔｉｏｎ）の周波数変換した光学伝達特性を記載したものである。
　この光学伝達特性−推定距離テーブルは、後述の光伝達特性算出部によって使用されるデータテーブルである。
　光学伝達特性は、設計値を使用しても良いが、本実施形態では、実測した値を用いている。
　実測した光学伝達特性を用いることによって、ノイズの影響や光学的収差などの影響に対してキャリブレーションを行うことが出来る。
　被写体距離６０１は、被写体への距離である。
　後述の光学伝達特性６０２及び光学伝達特性６０３は、被写体がｚだけ離れた地点に存在する場合の光学伝達特性を示す。
　６０２は、被写体の距離ｚに応じた光学伝達特性Ｈａである。光学伝達特性Ｈａは、開口マスク１０３に対応する光学伝達特性である。
　同様に、６０３は、被写体の距離ｚに応じた光学伝達特性Ｈｂである。光学伝達特性Ｈｂは、開口マスク１０４に対応する光学伝達特性である。
　光学伝達特性は、光軸からの距離や光軸からの方向によって変化するため、光学伝達特性をレンズの位置に応じて保持しても良い。また、フォーカス位置によっても変化するので、必要なテーブルは保持しておく。
　本実施形態では、光学伝達特性Ｈａ及びＨｂの２つを保持しているが、開口マスクの数が２つ以上ある場合は、これに応じて増やせば良い。
　上記の様に、距離による開口マスクの光学伝達特性を保持する。
　次に、本実施形態の距離画像算出に関するフローチャートを示す。
　図９は、距離演算部の動作を示すフローチャートを示している。
　また、図１０は、光学伝達特性算出部の動作を示すフローチャートを示している。
　ステップＳ７０１で、距離演算部には、観測画像ｉｍ１と観測画像ｉｍ２が入力される。
　距離演算部は、ステップＳ７０２で、観測画像ｉｍ１及び観測画像ｉｍ２から、観測画像よりも小さいウインドサイズ（ｗｘ，ｗｙ）を、観測画面上の位置（ｘ，ｙ）上で切り出した画像を観測画像ｉ１及びｉ２とする。
　推定距離ｚは、この小ウィンドウ毎に測定を行う。
　推定距離ｚの算出は、ＰＳＦのＣＭＯＳ１０６上での最大の大きさが、ウィンドウサイズ（ｗｘ，ｗｙ）以上だと被写体の距離判定が正しく出来ないので、これらの事象を考慮してｗｘ，ｗｙを決定する必要がある。
　次にステップＳ７０３にて観測画像ｉ１及び観測画像ｉ２をフーリエ変換して、Ｉ１及びＩ２を算出する。また、参照カウンタであるｍに０を代入する。
　ステップＳ７０４で光学伝達特性算出部を呼び出して、参照カウンタｍに対応をするｚｍ及びＨａ　ｍ及びＨｂ　ｍを取得する。
　光学伝達特性算出部は、図１０のステップＳ１１０１から開始される。
　光学伝達特性算出部は、ステップＳ１１０２で、前述の光学伝達特性−推定距離テーブルから参照カウンタｍに対応をするｚｍ及びＨａ　ｍ及びＨｂ　ｍを取得する。そして、ステップＳ１１０３で復帰をする。
　次に、ステップＳ７０５で以下の数式１３を演算し、誤差評価値ｅｍを得る。
Figure JPOXMLDOC01-appb-I000015
　誤差評価値ｅｍを最小にするｚｍが推定距離ｚ’となる。
　数式１３は、誤差評価値ｅｍによって数式９を評価するために用いられる。
　この誤差評価値ｅｍは、参照カウンタｍ全ての場合で評価する必要があるため、ステップＳ７０６で参照カウンタを増加させた上で、ステップＳ７０４以降を繰り返し演算する。
　全ての参照カウンタｍに関して演算が終了した後に、ステップＳ７０７にて、誤差評価値ｅｍを最小にするｍを求める。
　次に、ステップＳ７０８で、誤差評価値ｅｍを最小にするｍに対応する推定距離ｚを決定する。
　これらの関係を図１１の推定距離と誤差評価値の関係グラフに示す。図１１の値を例とすれば、誤差評価値ｅｍは、ｚ４（ｍ＝４）の状態で最小値となっている。その為、ｚ４で示される距離を推定距離ｚ’として良い。
　しかし、図８で示される光学伝達特性−推定距離テーブルでは、推定距離ｚｍが離散値となって得られる。
　そこで、図１１の９０１で示されるように最小二乗近似等を用いて、最小値ｅｍ’を算出し、それに対応する推定距離ｚ’を求めることで、より精度の高い距離を求めても良い。
　以上のようにして、ウィンドウサイズ（ｗｘ，ｗｙ）における被写体への距離の演算を行う。ステップＳ７０９で、算出された推定距離ｚ’を距離画像の座標（ｘ，ｙ）の画素値（距離値）とする。
　ステップＳ７１０で、ステップＳ７０２~ステップＳ７０９までの工程が画像上の全ての画素に対して演算するように処理のループを行う。
　尚、本実施形態は、誤差評価値ｅｍを順次増加させて演算をし、最小値を求めたが、二分探索法などを用いて、高速に誤差評価値ｅｍの最小値を求めることも出来る。
　また、数１３にて誤差評価値ｅｍを周波数領域で演算しているが、以下のような式を用いることで、空間領域での演算をすることも可能である。
Figure JPOXMLDOC01-appb-I000016
　ただし、ｉ１，ｈｂ　ｍ，ｉ２，ｈａ　ｍを観測画像１，観測画像２の点像分布関数，観測画像２，観測画像１の点像分布関数とする。
　以上の様にして演算処理を行うことで、距離画像を得ることが出来る。
　次に、本実施形態の合焦画像算出のためのアルゴリズムを示す。
　合焦画像は、数式５より算出できる。
　数式５を変形すると数式１５が求まる。
Figure JPOXMLDOC01-appb-I000017
　しかし、実際には、数１５では、光学伝達特性Ｈａ及びＨｂ内で零もしくは零に近い値を持つ場合があり、除算が正確に行われない可能性がある。
　そこで、推定合焦画像のフーリエ変換をＳ’とすれば、数式１６を用いて推定合焦画像Ｓ’を求めることが出来る。
Figure JPOXMLDOC01-appb-I000018
　Ｈ１＝Ｈａ，Ｈ２＝Ｈｂとする。
　数式１６のＷｍは、ある空間周波数において、観測画像ＩＭ１及び観測画像ＩＭ２どちらのスペクトルが高いかを示す重み付け係数である。
Figure JPOXMLDOC01-appb-I000019
　Ｗｍは、数式１７を満たすことで、空間周波数応答に零点が存在しても、正しく合焦画像を復元することが出来る。
　尚、本実施形態では、開口パターンが２つの場合、観測画像が２画面の場合を示しているが、開口パターンが２つ以上であっても同様に演算することが可能である。
　次に、図１２に本実施形態における合焦画像算出に関するフローチャートを示す。
　ボケ復元部２０７は、ステップＳ８０１から開始される。
　ステップＳ８０２にて上述の数式１７で示される手法を用いて重み付け係数Ｗｍを決定する。
　そして、ステップＳ８０３で数式１６を演算することで、推定合焦画像Ｓ’を求めることが出来る。
　推定合焦画像Ｓ’は、空間周波数特性を表しているので、逆フーリエ変換を行い、推定合焦画像ｓ’を得る。
　以上のようにして、合焦画像を得る。
　尚、リフォーカス画像演算部２０８で用いられる距離画像及び合焦画像からのリフォーカス画像生成に関しては、既に知られたアルゴリズムを用いることが出来るため、説明を省く。
　本発明による第二の実施形態の画像撮影装置及び方法について詳細に説明する。
　第二の実施形態では、図３における開口マスク１０３及び開口マスク１０４の光学伝達特性の周波数特性を決め、条件に合う開口マスクパターンを得ることによって演算量の低減とメモリ使用量の低減を図るものである。
　第二の実施形態では、開口マスク１０３及び開口マスク１０４の周波数特性が以下の関係を満たしている。
Figure JPOXMLDOC01-appb-I000020
　このときＨａ，Ｈｂ，Ｈ１，Ｈ２は、それぞれ光学伝達特性ｈａ，ｈｂ，ｈ１，ｈ２の周波数特性を示す。
　観測画像の撮影状態を数式４とした場合、被写体までの距離を算出する数式９は、以下の数式のようになる。
Figure JPOXMLDOC01-appb-I000021
　このとき、Ｈ１と被写体までの距離の関係を示すテーブルを以下のように表すことが出来る。
Figure JPOXMLDOC01-appb-I000022
　数式２０のテーブルを用いて、
Figure JPOXMLDOC01-appb-I000023
　が最小になるｚを求めることによって数式１９を満たす推定距離ｚ’が求まる。
　第一の実施形態との違いは、数式１９の中での畳み込み演算（周波数領域での乗算）が１回のみで推定距離ｚ’の評価のための演算が行われている点である。
　畳み込み演算は、処理に時間のかかる演算である。
　そのため、第二の実施形態の数式１９の演算量は、第一の実施形態の数式９の演算量に比べ、ほぼ二分の一になる。
　また、第一の実施形態の光学特性を示すテーブルである数式１０と第二の実施形態の数式２０の違いは、第二の実施形態の場合、１つの光学伝達特性と距離の値によるテーブルとなるため、データ量は、ほぼ二分の一になる。
　なお、数式１８を満たす開口マスク１０３及び開口マスク１０４は、絞りの開口パターンを用いて特性を満たすものとする。
　また、Ｈ１及Ｈ２の光学特性を示す絞りを２枚用意し、片方の観測画像（ｉｍ１）の撮影時にＨ１及びＨ２の開口マスクを通して撮影し、もう片方の観測画像（ｉｍ２）は、Ｈ２の開口マスクのみを通して撮影しても良い。
　以上のように、開口マスク１０３及び開口マスク１０４の周波数特性が、数式１８を満たすことによって、距離算出のための演算量及び光学伝達特性を示すデータテーブルの容量は、第一の実施形態と比べてほぼ二分の一となり、より効率的に演算を行うことが可能になる。
（その他の実施例）
　また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。この場合、そのプログラム、及び該プログラムを記憶した記憶媒体は本発明を構成することになる。
　この出願は２００８年８月８日に出願された日本国特許出願番号第２００８−２０５８８２号からの優先権を主張するものであり、その内容を引用してこの出願の一部とするものである。

Claims (10)

  1. 　複数の絞りパターンで同一の被写体を撮影して複数の観測画像を得る観測画像撮影手段と、
    　前記被写体までの距離に応じた光学伝達特性を算出する手段と、
    　前記複数の観測画像と前記光学伝達特性から、前記被写体までの距離を算出する距離演算手段とを備えることを特徴とする画像撮影装置。
  2. 　複数の絞りパターンで同一の被写体を撮影して複数の観測画像を得る観測画像撮影手段と、
    　前記被写体までの距離に応じた第１の光学伝達特性を算出する光学伝達特性算出手段と、
    　前記複数の観測画像と前記光学伝達特性から、ボケ量が最小となるように第２の光学伝達特性を算出する光学伝達特性演算手段と、
    　前記第２の光学伝達特性を利用して画像のボケを復元し合焦画像を得るボケ復元手段とを備えることを特徴とする画像撮影装置。
  3. 　前記光学伝達特性は、撮像素子の受光面各位置における光学伝達特性と距離との関係を示す、光学伝達特性テーブルを利用して算出することを特徴とする請求項１または２に記載の画像撮影装置。
  4. 　前記光学伝達特性は、撮像素子の受光面各位置における光学伝達特性と距離との関係を示す、光学伝達特性関数を利用して算出することを特徴とする請求項１または２に記載の画像撮影装置。
  5. 　前記複数の絞りパターンのうち一の絞りパターンによる観測画像を第１の観測画像、前記複数の絞りパターンのうち他の絞りパターンによる観測画像を第２の観測画像としたとき、
    　前記距離演算手段は、
    Figure JPOXMLDOC01-appb-I000001
    が最小になるように距離を算出することを特徴とする請求項１に記載の画像撮影装置。
  6. 　前記複数の絞りパターンのうち一の絞りパターンによる観測画像を第１の観測画像、前記複数の絞りパターンのうち他の絞りパターンによる観測画像を第２の観測画像としたとき、
    　前記光学伝達特性演算手段は、
    Figure JPOXMLDOC01-appb-I000002
    が最小になるように前記第２の光学伝達特性を算出することを特徴とする請求項２に記載の画像撮影装置。
  7. 　前記複数の観測画像は、時分割により取得することを特徴とする請求項１または２に記載の画像撮影装置。
  8. 　前記複数の観測画像は、光束分割により取得することを特徴とする請求項１または２に記載の画像撮影装置。
  9. 　複数の絞りパターンで同一の被写体を撮影して複数の観測画像を得るステップと、
    　前記被写体までの距離に応じた光学伝達特性を算出するステップと、
    　前記複数の観測画像と前記光学伝達特性から、前記被写体までの距離を算出する距離演算ステップとを備えることを特徴とする画像撮影装置の距離演算方法。
  10. 　複数の絞りパターンで同一の被写体を撮影して複数の観測画像を得るステップと、
    　前記被写体までの距離に応じた光学伝達特性を算出するステップと、
    　前記複数の観測画像と前記光学伝達特性から、ボケ量が最小となる光学伝達特性を算出するステップと、
    　前記ボケ量が最小となる光学伝達特性を利用して画像のボケを復元し合焦画像を得るステップとを備えることを特徴とする画像撮影装置の合焦画像取得方法。
PCT/JP2009/064329 2008-08-08 2009-08-07 画像撮影装置およびその距離演算方法と合焦画像取得方法 WO2010016625A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
KR1020117004469A KR101233013B1 (ko) 2008-08-08 2009-08-07 화상 촬영 장치 및 그 거리 연산 방법과 합초 화상 취득 방법
CN200980129927.2A CN102112846A (zh) 2008-08-08 2009-08-07 摄像设备及其距离运算方法和聚焦图像获得方法
EP09805102.2A EP2314988A4 (en) 2008-08-08 2009-08-07 PICTURE RECORDING DEVICE, DISTANCE CALCULATION METHOD AND METHOD FOR DETECTING FOCUSED PICTURES
US12/692,055 US20100118142A1 (en) 2008-08-08 2010-01-22 Image photographing apparatus, its distance arithmetic operating method, and in-focus image obtaining method

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2008205882A JP5173665B2 (ja) 2008-08-08 2008-08-08 画像撮影装置およびその距離演算方法と合焦画像取得方法
JP2008-205882 2008-08-08

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US12/692,055 Continuation US20100118142A1 (en) 2008-08-08 2010-01-22 Image photographing apparatus, its distance arithmetic operating method, and in-focus image obtaining method

Publications (1)

Publication Number Publication Date
WO2010016625A1 true WO2010016625A1 (ja) 2010-02-11

Family

ID=41663831

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2009/064329 WO2010016625A1 (ja) 2008-08-08 2009-08-07 画像撮影装置およびその距離演算方法と合焦画像取得方法

Country Status (6)

Country Link
US (1) US20100118142A1 (ja)
EP (1) EP2314988A4 (ja)
JP (1) JP5173665B2 (ja)
KR (1) KR101233013B1 (ja)
CN (1) CN102112846A (ja)
WO (1) WO2010016625A1 (ja)

Families Citing this family (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8976203B2 (en) * 2010-03-02 2015-03-10 Panasonic Intellectual Property Management Co., Ltd. Wavelength conversion device and image display apparatus using same
DE102010023344A1 (de) * 2010-06-10 2012-01-19 Arnold & Richter Cine Technik Gmbh & Co. Betriebs Kg Kameraobjektiv und Kamerasystem
JP5868183B2 (ja) * 2010-06-15 2016-02-24 パナソニック株式会社 撮像装置及び撮像方法
CN102472622B (zh) * 2010-06-17 2015-12-02 松下电器产业株式会社 距离推定装置以及距离推定方法
US9134126B2 (en) * 2010-06-17 2015-09-15 Dolby International Ab Image processing device, and image processing method
JP5635844B2 (ja) 2010-09-06 2014-12-03 キヤノン株式会社 焦点調整装置および撮像装置
AU2011224051B2 (en) * 2011-09-14 2014-05-01 Canon Kabushiki Kaisha Determining a depth map from images of a scene
KR101863626B1 (ko) 2011-11-02 2018-07-06 삼성전자주식회사 영상 처리 장치 및 방법
WO2013080551A1 (ja) * 2011-11-30 2013-06-06 パナソニック株式会社 撮像装置
JP5900049B2 (ja) * 2011-12-07 2016-04-06 富士通株式会社 被写界深度拡張システム及び被写界深度拡張方法
CN103262523B (zh) * 2011-12-12 2017-07-25 松下电器产业株式会社 摄像装置、摄像系统、摄像方法以及图像处理方法
JP5986386B2 (ja) * 2012-01-26 2016-09-06 キヤノン株式会社 撮像装置及びその制御方法
JP5832353B2 (ja) * 2012-03-29 2015-12-16 富士フイルム株式会社 撮像装置
JP5966535B2 (ja) * 2012-04-05 2016-08-10 ソニー株式会社 情報処理装置、プログラム及び情報処理方法
KR101871235B1 (ko) 2012-06-05 2018-06-27 삼성전자주식회사 깊이 영상 생성 방법 및 장치, 깊이 영상 처리 방법 및 장치
JP6016463B2 (ja) * 2012-06-07 2016-10-26 キヤノン株式会社 デフォーカス量推定方法、撮像装置、および透光性部材
JP6091176B2 (ja) * 2012-11-19 2017-03-08 キヤノン株式会社 画像処理方法、画像処理プログラム、画像処理装置および撮像装置
JP5709911B2 (ja) 2013-02-04 2015-04-30 キヤノン株式会社 画像処理方法、画像処理装置、画像処理プログラムおよび撮像装置
JP6032648B2 (ja) * 2013-04-30 2016-11-30 株式会社Ｓｃｒｅｅｎホールディングス 開口パターンの設計方法、画像の復元方法および画像復元装置
JP5903529B2 (ja) * 2013-08-01 2016-04-13 富士フイルム株式会社 撮像装置、撮像方法及び画像処理装置
CN103412461B (zh) * 2013-08-19 2016-06-29 南京邮电大学 基于分光片的3d成像系统
WO2015128908A1 (ja) 2014-02-26 2015-09-03 パナソニックＩｐマネジメント株式会社 深さ位置検出装置、撮像素子、及び深さ位置検出方法
US11037320B1 (en) 2016-03-01 2021-06-15 AI Incorporated Method for estimating distance using point measurement and color depth
US10311590B1 (en) 2016-03-01 2019-06-04 Al Incorporated Method for estimating distance using point measurement and color depth
JP2016149772A (ja) * 2016-03-01 2016-08-18 京セラ株式会社 電子機器
DE102017000889A1 (de) * 2017-01-27 2018-08-02 Christian Overmann Modulares optisches Aufnahmesystem
WO2018225547A1 (ja) * 2017-06-09 2018-12-13 キヤノン株式会社 画像処理方法、画像処理装置、撮像装置および画像処理プログラム
JP6687210B1 (ja) * 2019-10-03 2020-04-22 株式会社ザクティ 撮像装置

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS5374062A (en) * 1976-12-13 1978-07-01 Suteo Tsutsumi Distance measurement system by space filter
JPH05332725A (ja) * 1992-06-04 1993-12-14 Hitachi Ltd ３次元立体視方法および装置
JP2963990B1 (ja) 1998-05-25 1999-10-18 京都大学長 距離計測装置及び方法並びに画像復元装置及び方法
JP2001124984A (ja) * 1999-10-28 2001-05-11 Canon Inc 焦点検出装置と撮像装置
JP2008205882A (ja) 2007-02-21 2008-09-04 Sharp Corp 電子機器の起動モード設定方法および電子機器

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3047252B2 (ja) * 1990-11-05 2000-05-29 コニカ株式会社 合焦制御装置
US5521695A (en) * 1993-06-25 1996-05-28 The Regents Of The University Of Colorado Range estimation apparatus and method
US6819360B1 (en) * 1999-04-01 2004-11-16 Olympus Corporation Image pickup element and apparatus for focusing
US6737652B2 (en) * 2000-09-29 2004-05-18 Massachusetts Institute Of Technology Coded aperture imaging
JP2006094469A (ja) 2004-08-26 2006-04-06 Kyocera Corp 撮像装置および撮像方法
JP2006323212A (ja) * 2005-05-19 2006-11-30 Konica Minolta Photo Imaging Inc レンズユニット、およびそれを備えた撮像装置
US7705970B2 (en) * 2006-06-05 2010-04-27 The Regents Of The University Of Colorado Method and system for optical imaging and ranging
JP4749985B2 (ja) * 2006-09-28 2011-08-17 京セラ株式会社 撮像装置、並びにその製造装置および製造方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS5374062A (en) * 1976-12-13 1978-07-01 Suteo Tsutsumi Distance measurement system by space filter
JPH05332725A (ja) * 1992-06-04 1993-12-14 Hitachi Ltd ３次元立体視方法および装置
JP2963990B1 (ja) 1998-05-25 1999-10-18 京都大学長 距離計測装置及び方法並びに画像復元装置及び方法
JPH11337313A (ja) * 1998-05-25 1999-12-10 Univ Kyoto 距離計測装置及び方法並びに画像復元装置及び方法
JP2001124984A (ja) * 1999-10-28 2001-05-11 Canon Inc 焦点検出装置と撮像装置
JP2008205882A (ja) 2007-02-21 2008-09-04 Sharp Corp 電子機器の起動モード設定方法および電子機器

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP2314988A4

Also Published As

Publication number Publication date
KR20110036757A (ko) 2011-04-08
JP2010039448A (ja) 2010-02-18
EP2314988A4 (en) 2014-01-15
US20100118142A1 (en) 2010-05-13
JP5173665B2 (ja) 2013-04-03
CN102112846A (zh) 2011-06-29
KR101233013B1 (ko) 2013-02-13
EP2314988A1 (en) 2011-04-27

Similar Documents

Publication Publication Date Title
WO2010016625A1 (ja) 画像撮影装置およびその距離演算方法と合焦画像取得方法
JP6112824B2 (ja) 画像処理方法および装置、プログラム。
JP5868183B2 (ja) 撮像装置及び撮像方法
JP5709911B2 (ja) 画像処理方法、画像処理装置、画像処理プログラムおよび撮像装置
JP5832424B2 (ja) 撮像装置及び距離計測方法
JP5869883B2 (ja) 画像処理装置
JP5134694B2 (ja) 画像処理装置及び画像処理方法
JP5237978B2 (ja) 撮像装置および撮像方法、ならびに前記撮像装置のための画像処理方法
JP5968073B2 (ja) 画像処理装置、撮像装置、画像処理方法、および画像処理プログラム
JP2017208641A (ja) 圧縮センシングを用いた撮像装置、撮像方法および撮像プログラム
JP7378219B2 (ja) 撮像装置、画像処理装置、制御方法、及びプログラム
JP2017150878A (ja) 画像処理装置、撮像装置および画像処理プログラム
JP2012256118A (ja) 画像復元装置およびその方法
JP2017208642A (ja) 圧縮センシングを用いた撮像装置、撮像方法および撮像プログラム
CN109923854B (zh) 图像处理装置、图像处理方法以及记录介质
JP2013162369A (ja) 撮像装置
US10062150B2 (en) Image processing apparatus, image capturing apparatus, and storage medium
JP5900049B2 (ja) 被写界深度拡張システム及び被写界深度拡張方法
JP2019083580A (ja) 画像処理装置、画像処理方法、プログラム
JP6537228B2 (ja) 画像処理装置、撮像装置、画像処理方法、画像処理プログラム、および、記憶媒体
US10523861B2 (en) Defocus estimation method independent of the scene content and use in an autofocus system
JP6611509B2 (ja) 画像処理装置、撮像装置および画像処理プログラム
JP6652294B2 (ja) 画像処理装置、撮像装置、画像処理方法、プログラム、および、記憶媒体
JP5914092B2 (ja) 画像処理システム及びそれを備えた顕微鏡システム
TWI605418B (zh) 影像編輯方法以及影像處理裝置

Legal Events

Date Code Title Description
WWE Wipo information: entry into national phase

Ref document number: 200980129927.2

Country of ref document: CN

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 09805102

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 2009805102

Country of ref document: EP

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 20117004469

Country of ref document: KR

Kind code of ref document: A