WO2012105222A1 - 画像復元装置、撮像装置及び画像復元方法 - Google Patents

画像復元装置、撮像装置及び画像復元方法 Download PDF

Info

Publication number
WO2012105222A1
WO2012105222A1 PCT/JP2012/000582 JP2012000582W WO2012105222A1 WO 2012105222 A1 WO2012105222 A1 WO 2012105222A1 JP 2012000582 W JP2012000582 W JP 2012000582W WO 2012105222 A1 WO2012105222 A1 WO 2012105222A1
Authority
WO
WIPO (PCT)
Prior art keywords
range
sweep
image
psf
restoration
Prior art date
Application number
PCT/JP2012/000582
Other languages
English (en)
French (fr)
Inventor
河村　岳
Original Assignee
パナソニック株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by パナソニック株式会社 filed Critical パナソニック株式会社
Priority to JP2012527551A priority Critical patent/JP5832433B2/ja
Priority to US13/636,385 priority patent/US8767092B2/en
Priority to EP12742400.0A priority patent/EP2672696B1/en
Priority to CN201280000943.3A priority patent/CN102804751B/zh
Publication of WO2012105222A1 publication Critical patent/WO2012105222A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/73—Deblurring; Sharpening
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95—Computational photography systems, e.g. light-field imaging systems
    • H04N23/958—Computational photography systems, e.g. light-field imaging systems for extended depth of field imaging
    • H04N23/959—Computational photography systems, e.g. light-field imaging systems for extended depth of field imaging by adjusting depth of field during image capture, e.g. maximising or setting range based on scene characteristics
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/67—Focus control based on electronic image sensor signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof

Definitions

  • the present invention relates to an image restoration apparatus, an imaging apparatus, and an image restoration method, and in particular, a sweep range including a desired distance range to be focused by driving an imaging element or a lens that collects light on the imaging element.
  • a sweep range including a desired distance range to be focused by driving an imaging element or a lens that collects light on the imaging element.
  • EDOF depth of field expansion
  • a blur in the depth direction is made uniform by inserting an optical element called a phase plate into the optical system.
  • an image restoration process is performed on the obtained image using a blur pattern measured in advance or a blur pattern calculated by simulation. Thereby, the method generates an EDOF image.
  • WFC Wavefront Coding
  • the second method measures the distance with high accuracy for each partial range of the image by devising the aperture shape.
  • image restoration processing is performed on each partial range using a blur pattern corresponding to each distance measured in advance. Thereby, the method generates an EDOF image.
  • This method is referred to as coded aperture (hereinafter referred to as CA).
  • the third method is to convolve an image that is uniformly focused in the depth direction by moving the focus lens or image sensor during the exposure time (that is, synonymous with equalizing blur at each depth).
  • an image restoration process is performed on the obtained image using a blur pattern measured in advance or a blur pattern calculated by simulation. Thereby, the method generates an EDOF image.
  • This method is called “Flexible DOF” (hereinafter referred to as “F-DOF”) (see, for example, Patent Document 1).
  • the third F-DOF is a method that can obtain the best image quality, and has a high EDOF effect.
  • the off-axis characteristics also depend on the lens characteristics themselves, so it is easy to improve performance.
  • it is necessary to use an image side telecentric lens because the same subject needs to be folded on the same image position even if the focus position is moved during exposure.
  • the oldest history is the microscope application.
  • the EDOF effect can provide an omnifocal image (an image in which all subjects are in focus) without having an autofocus mechanism.
  • the present invention solves the above-described conventional problems, and an object thereof is to provide an image restoration device, an imaging device, and an image restoration method capable of reducing the capacity of a memory for storing PSF data.
  • an image restoration device includes a desired distance range to be focused by driving an imaging element or a lens that focuses light on the imaging element.
  • a restored image with an extended depth of field is obtained by performing restoration processing on the swept image captured by the image sensor that is focus swept during exposure between the focal points on the image plane side corresponding to the sweep range.
  • a first spread function (PSF) for performing a restoration process on the first sweep image that is the sweep image when the sweep range is the first range
  • Restoration processing is performed on the second sweep image that is the sweep image when the sweep range is the second range that does not include the first range.
  • a third sweep image that is the sweep image when the sweep range is a third range that is a range obtained by combining the first range and the second range.
  • a PSF storage unit that stores any two PSFs out of the third PSFs for performing the restoration process
  • a PSF calculation unit that calculates the remaining one and the first PSF are used to generate the restored image by performing a restoration process on the first sweep image, and the second PSF is used to generate the second
  • the restored image is generated by performing restoration processing on the sweep image, and the restoration is performed by performing restoration processing on the third sweep image using the third PSF.
  • an image restoring unit which generates an image.
  • the image restoration apparatus can calculate the remaining PSF from two PSFs out of the first PSF, the second PSF, and the third PSF, so that the remaining PSF is stored in the PSF storage unit. There is no need to remember. Accordingly, the image restoration apparatus according to an aspect of the present invention can reduce the capacity of PSF data stored in the PSF storage unit.
  • the PSF calculation unit may calculate the third PSF by adding the first PSF and the second PSF.
  • the image restoration apparatus can calculate the third PSF from the first PSF and the second PSF, and thus it is not necessary to store the third PSF in the PSF storage unit. Accordingly, the image restoration apparatus according to an aspect of the present invention can reduce the capacity of PSF data stored in the PSF storage unit.
  • An imaging apparatus includes the image restoration apparatus, the imaging element, the lens, and any one of the first range, the second range, and the third range as the sweep range.
  • the lens or the imaging element so as to obtain the image plane side focal point corresponding to the sweep range and obtain an image obtained by performing a focus sweep between the image plane side focal points during exposure.
  • a sweep imaging unit that causes the imaging device to capture the sweep image.
  • the imaging apparatus can reduce the capacity of PSF data stored in the PSF storage unit.
  • the sweep range determining unit may determine any one of the first range, the second range, and the third range as the sweep range based on a specified range specified by a user.
  • the imaging apparatus can realize an imaging apparatus capable of sweeping the focusing range designated by the user.
  • the sweep range determination unit when the specified range does not match any of the first range, the second range, and the third range, the first range, the second range, and the third range.
  • the specified range may be included and the narrowest range may be determined as the sweep range.
  • the imaging apparatus can reduce the capacity of PSF data stored in the PSF storage unit.
  • the sweep imaging unit displaces a focal position on the subject side of the imaging element by displacing an image plane side distance that is a distance between the imaging element and the lens, and determines a focal position on the subject side.
  • the displacement amount of the image plane side distance for sweeping in the first range may be equal to the displacement amount of the image plane side distance for sweeping the focal position on the subject side in the second range.
  • the similarity between the first PSF and the second PSF can be increased. That is, if similarities are recognized within an allowable range, it is only necessary to store one type of PSF instead of two types of PSFs, so that the capacity of PSF data can be reduced.
  • the present invention can be realized not only as such an image restoration device and an image pickup apparatus, but also as an image restoration method or an image pickup apparatus control method in which characteristic means included in the image restoration device or the image pickup apparatus are used as steps. Or, it can be realized as a program for causing a computer to execute such characteristic steps. Needless to say, such a program can be distributed via a non-transitory computer-readable recording medium such as a CD-ROM and a transmission medium such as the Internet.
  • the present invention can be realized as a semiconductor integrated circuit (LSI) that realizes part or all of the functions of such an image restoration device or imaging device.
  • LSI semiconductor integrated circuit
  • the present invention can provide an image restoration device, an imaging device, and an image restoration method capable of reducing the capacity of a memory for storing PSF data.
  • FIG. 1 is a block diagram of an imaging apparatus according to Embodiment 1 of the present invention.
  • FIG. 2 is a flowchart of processing by the imaging apparatus according to Embodiment 1 of the present invention.
  • FIG. 3 is a flowchart of the PSF calculation process according to Embodiment 1 of the present invention.
  • FIG. 4 is a diagram showing an example of a PSF calculation process according to Embodiment 1 of the present invention.
  • FIG. 5 is a diagram showing the subject distance and the image plane side distance according to Embodiment 1 of the present invention.
  • FIG. 6 is a diagram showing a PSF model according to Embodiment 1 of the present invention.
  • FIG. 1 is a block diagram of an imaging apparatus according to Embodiment 1 of the present invention.
  • FIG. 2 is a flowchart of processing by the imaging apparatus according to Embodiment 1 of the present invention.
  • FIG. 3 is a flowchart of the PSF calculation process according to Embodiment 1 of the present invention
  • FIG. 7 is a diagram showing an example of a displacement pattern of the image plane side distance according to Embodiment 1 of the present invention.
  • FIG. 8 is a graph showing the relationship between the subject distance and the image plane side distance according to Embodiment 1 of the present invention.
  • FIG. 9 is a diagram showing the amount of displacement of the image plane side distance according to Embodiment 1 of the present invention.
  • FIG. 10 is a block diagram of the image restoration apparatus according to Embodiment 1 of the present invention.
  • FIG. 11 is a flowchart of processing by the image restoration apparatus according to Embodiment 1 of the present invention.
  • FIG. 12 is a flowchart of the sweep range determination process according to Embodiment 2 of the present invention.
  • FIG. 13 is a diagram showing an example of a sweep range determination process according to Embodiment 2 of the present invention.
  • Embodiment 1 The imaging apparatus according to Embodiment 1 of the present invention calculates the PSF of the third range by adding the PSF of the first range and the PSF of the second range. As a result, the imaging apparatus does not need to store the third range of PSF in the memory, so the capacity of the PSF data stored in the memory can be reduced.
  • FIG. 1 is a block diagram of an imaging apparatus 100 according to Embodiment 1 of the present invention.
  • the imaging device 100 is, for example, a digital still camera or a digital video camera.
  • the imaging apparatus 100 has an F-DOF function capable of sweeping an arbitrary focus range. Specifically, the imaging apparatus 100 generates a sweep image 131 in which the focus position is swept within a specified range 130 that is a focus range specified by the user. Then, the imaging apparatus 100 generates a restored image 132 that is in focus in the entire designated range 130 by performing restoration processing on the generated sweep image 131 using the PSF.
  • the imaging apparatus 100 includes an imaging element 101, a lens 102, a sweep range determination unit 103, a sweep imaging unit 104, and an image restoration device 110.
  • the imaging device 101 generates image data (sweep image 131) by photoelectrically converting incident light.
  • the lens 102 condenses light on the image sensor 101.
  • the sweep range determination unit 103 determines the sweep range 133 based on the specified range 130 specified by the user.
  • the sweep range indicates a concept of a range on the subject side, not on the image plane side.
  • the sweep range determining unit 103 determines the range indicated by the specified range 130 among the plurality of predetermined ranges as the sweep range 133.
  • the sweep imaging unit 104 causes the image sensor 101 to capture the sweep image 131 while sweeping the focal position of the image sensor 101 within the sweep range 133. Specifically, the sweep imaging unit 104 obtains two image plane side in-focus positions corresponding to the sweep range 133, and an image obtained by performing a focus sweep between the two image plane side in-focus positions during exposure is obtained. By driving the lens 102 or the image sensor 102, the sweep image is captured by the image sensor. That is, the sweep image 131 is an image captured by the image sensor 101 during a period in which the focus position on the subject side of the image sensor 101 is sweeping the sweep range 133.
  • the sweep image 131 is focus swept during exposure between the focal points on the image plane side corresponding to the sweep range including the desired distance range to be focused by driving the image sensor 101 or the lens 102. It is an image.
  • the whole lens 102 may be moved, or a focus lens that constitutes a part of the lens may be driven.
  • the image restoration apparatus 110 generates a restored image 132 with an extended depth of field by performing a restoration process on the sweep image 131. Specifically, the image restoration device 110 performs restoration processing on the sweep image 131 using the PSF corresponding to the sweep range 133.
  • the restored image 132 is an image that is in focus in the entire sweep range 133.
  • the image restoration apparatus 110 includes a PSF storage unit 111, a PSF calculation unit 112, and an image restoration unit 113.
  • the PSF storage unit 111 stores a plurality of PSF data corresponding to a plurality of sweep ranges 133.
  • the PSF storage unit 111 stores four PSF data (first range PSF 121, second range PSF 122, third range PSF 123, and fourth range PSF 124) will be described.
  • the sweep range that can be specified by the user is larger than the number of PSF data stored in the PSF storage unit 111.
  • the PSF calculation unit 112 calculates new PSF data corresponding to the sweep range 133 by adding and normalizing two or more of the plurality of PSF data stored in the PSF storage unit 111.
  • the image restoration unit 113 performs a restoration process on the sweep image 131 using any one of the plurality of PSF data stored in the PSF storage unit 111 or the PSF data calculated by the PSF calculation unit 112. Thus, the restored image 132 is generated.
  • FIG. 2 is a flowchart of the imaging process performed by the imaging apparatus 100.
  • the sweep range determination unit 103 determines the sweep range 133 based on the specified range 130 specified by the user (S101). For example, the user selects one of a plurality of predetermined sweep ranges. The sweep range determination unit 103 determines the range designated by the user as the sweep range 133.
  • the image sensor 101 is caused to capture the sweep image 131 while the focus position of the image sensor 101 is swept within the sweep range 133 (S102).
  • the PSF calculation unit 112 calculates PSF data corresponding to the sweep range 133 (S103).
  • step S103 the process of step S103 will be described in detail.
  • FIG. 3 is a flowchart of the PSF calculation process performed by the PSF calculation unit 112.
  • FIG. 4 is a diagram illustrating an example of a PSF calculation process performed by the PSF calculation unit 112.
  • the PSF calculation unit 112 acquires the sweep range 133 of the sweep image 131 determined by the sweep range determination unit 103 (S111).
  • the first range PSF 121 stored in the PSF storage unit 111 corresponds to a sweep range of 1 m to 3 m
  • the second range PSF 122 corresponds to a sweep range of 3 m to 5 m
  • the third range PSF 123 is 5 m to 10 m
  • the fourth range PSF 124 corresponds to a sweep range from 10 m to infinity.
  • the PSF storage unit 111 has only PSF data corresponding to each partial range obtained by dividing the sweepable range (here, 1 m to infinity).
  • the sweep ranges that can be specified by the user are the plurality of partial ranges and a plurality of types of ranges obtained by combining two or more consecutive partial ranges of the plurality of partial ranges.
  • the PSF calculation unit 112 determines whether or not PSF data corresponding to the sweep range 133 acquired in step S111 is stored in the PSF storage unit 111 (S112).
  • the sweep range 133 is any one of 1 m to 3 m, 3 m to 5 m, 5 m to 10 m, and 10 m to infinity
  • the PSF data corresponding to the sweep range 133 is stored in the PSF. It is determined that the data is stored in the unit 111 (Yes in S112).
  • the PSF calculation unit 112 determines that the PSF data corresponding to the sweep range 133 is not stored in the PSF storage unit 111 (No in S112). ).
  • the PSF calculation unit 112 acquires PSF data corresponding to the sweep range 133 from the PSF storage unit 111 (S113). ). Then, the PSF calculation unit 112 passes the acquired PSF data to the image restoration unit 113.
  • the PSF calculation unit 112 converts the PSF data corresponding to a plurality of partial ranges included in the sweep range 133 to the PSF. Obtained from the storage unit 111 (S114).
  • the PSF calculation unit 112 calculates PSF data corresponding to the sweep range 133 by adding and normalizing the PSF data corresponding to the acquired plurality of partial ranges (S115 and S116). Then, the PSF calculation unit 112 passes the calculated PSF data to the image restoration unit 113.
  • the PSF calculation unit 112 corresponds to 1 m to 5 m by adding and normalizing the first range PSF 121 and the second range PSF 122. PSF data is calculated.
  • the PSF calculation unit 112 adds and normalizes the first range PSF 121, the second range PSF 122, and the third range PSF 123, and thereby PSF data corresponding to 1 m to 10 m. Is calculated.
  • the image restoration unit 113 After the PSF calculation process (S103), the image restoration unit 113 performs the restoration process on the sweep image 131 using the PSF data corresponding to the sweep range 133 passed from the PSF calculation unit 112, thereby restoring the restored image. 132 is generated (S104). Then, the image restoration unit 113 outputs the generated restored image 132 to the outside of the imaging device 100 or stores it in a storage unit (not shown) included in the imaging device 100.
  • the imaging apparatus 100 according to Embodiment 1 of the present invention can calculate PSF data corresponding to a new range from a plurality of PSF data stored in the PSF storage unit 111. Thereby, the PSF storage unit 111 does not need to store PSF data corresponding to the new range. Thereby, the imaging device 100 according to Embodiment 1 of the present invention can reduce the capacity of the PSF data stored in the PSF storage unit 111.
  • steps S102 to S104 shown in FIG. 2 is performed every time one still image is taken in the case of still image shooting, and every frame in the case of moving image shooting.
  • the process of step S101 may be performed every time one still image is shot, or the process of step S101 is performed in advance, and then the sweep range 133 set in step S101. A plurality of still images may be taken using.
  • the process of step S101 is performed every time one or more times of moving image shooting.
  • the sweep range determination unit 103 determines the sweep range 133 based on the specified range 130 specified by the user.
  • the sweep range determination unit 103 corresponds to the detection result of the sensor included in the imaging apparatus 100.
  • the sweep range 133 may be automatically determined.
  • the sweep range determination unit 103 may determine the sweep range 133 according to the distance to the subject used in the autofocus function or the like, or the state of the field (for example, brightness). Further, the distance to the subject and the state of the object scene may be calculated from the captured image. Further, the sweep range determination unit 103 may determine the sweep range 133 based on these information and the specified range 130, or may adjust the sweep range 133 according to these information.
  • the determination or adjustment processing of the sweep range 133 is performed every one or a plurality of frames.
  • the number of PSF data stored in the PSF storage unit 111 may be any number as long as it is two or more.
  • the number of the plurality of partial ranges obtained by dividing the sweepable range may be two or more. That is, the imaging apparatus 100 has, as the sweep range 133, at least a first range, a second range that is continuous with the first range, and a third range that is a range obtained by combining the first range and the second range. It is only necessary to be able to select. In this case, the PSF storage unit 111 only needs to store PSF data corresponding to the first range and the second range.
  • the second range may be a range that does not include the first range.
  • the number of partial ranges is preferably 2 to the power of n (n is an integer of 1 or more).
  • n is an integer of 1 or more.
  • the number of the partial ranges is 4, 8, 16, 32, or 64.
  • FIG. 5 is a diagram illustrating a relationship among the subject, the lens 102, and the image sensor 101.
  • Equation 1 the distance between the subject M and the lens 102 is a subject distance u, and the distance between the lens 102 and the image sensor 101 is an image plane side distance v.
  • equation 1 the following equation (Equation 1) is generally established from the lens formula for the subject distance u, the image plane side distance v, and the focal length f.
  • the diameter b of the blur is expressed by the following (formula 2).
  • P that is PSF is expressed by the following (formula 3).
  • ⁇ (x) is a Rectangle function, which is 1 when
  • FIG. 6 is a diagram showing PSF in the lens model of this Pillbox.
  • IPSF the PSF used for the sweep image
  • the IPSF when the focus position is swept between time 0 and time T is expressed by the following (formula 4).
  • IPSF is expressed by integration. That is, the sum of the IPSF from time T1 to time T2 and the IPSF from time T2 to time T3 is the IPSF from time T1 to time T3.
  • the integral term function itself is unchanged under the rule that the sweep operation p (t) is constant speed. Therefore, the IPSF from time T1 to time T3 is equivalent to setting the integration start time and end time to time T1 and time T3.
  • the PSF data of the range combining the plurality of partial ranges can be calculated.
  • FIG. 7 is a diagram showing the state of displacement of the image plane side distance v during exposure and the exposure amount.
  • the sweep imaging unit 104 displaces the subject distance u, which is the focal position of the image sensor 101 on the subject side, by displacing the image plane side distance v at a constant speed.
  • the sweep imaging unit 104 may displace the image plane side distance v by displacing the position of the lens 102, or it may displace the image plane side distance v by displacing the position of the image sensor 101.
  • the image plane side distance v may be displaced by displacing both the lens 102 and the image sensor 101.
  • FIG. 8 is a graph showing the relationship between the image plane side distance v and the subject distance u when the focal length f is 18 [mm]. As shown in FIG. 8, even if the image plane side distance v is displaced at a constant speed, the subject distance u is not displaced at a constant speed.
  • the partial range that is, the range of the subject distance u is not equally spaced.
  • the plurality of partial ranges are determined so that the displacement amount of the image plane side distance v corresponding to the plurality of partial ranges is constant.
  • FIG. 9 is a diagram showing a displacement amount of the image plane side distance v according to Embodiment 1 of the present invention.
  • the displacement amount dv of the image plane side distance v for sweeping each partial range is constant.
  • the range of the image plane side distance v0 to v1 shown in FIG. 9 corresponds to a sweep range from 10 m to infinity
  • the range of the image plane side distance v1 to v2 corresponds to a sweep range of 5 m to 10 m.
  • the range from the distance v2 to v3 corresponds to the sweep range from 3 m to 5 m
  • the range from the image plane side distance v3 to v4 corresponds to the sweep range from 1 m to 3 m.
  • the S / N ratio in each partial range can be made the same level. Therefore, the PSF similarity corresponding to each partial range can be increased. Thereby, since the processing amount etc. with respect to each partial range can be made comparable, various control can be performed efficiently.
  • FIG. 10 is a block diagram of the image restoration apparatus 110 according to Embodiment 1 of the present invention.
  • the image restoration device 110 can be realized as a semiconductor integrated circuit used in the imaging device 100 described above, for example. Further, it is also possible to realize a device independent of the imaging device that performs the restoration process on the sweep image 131 captured by the imaging device.
  • the image restoration apparatus 110 may be mounted on an apparatus such as a personal computer.
  • FIG. 11 is a flowchart of the imaging process performed by the image restoration device 110. Note that the processing in steps S103 and S104 shown in FIG. 11 is the same as the processing in steps S103 and S104 shown in FIG.
  • the imaging apparatus 100 and the image restoration apparatus 110 according to Embodiment 1 of the present invention calculate the PSF data of a certain sweep range 133 from the PSF data of a plurality of partial ranges constituting the sweep range 133. Thereby, the imaging device 100 and the image restoration device 110 according to Embodiment 1 of the present invention can reduce the capacity of the PSF data stored in the PSF storage unit 111.
  • the present invention to portable cameras such as digital still cameras, digital video cameras, and mobile phone cameras, the memory capacity of portable cameras with limited memory capacity can be reduced. is there.
  • the user selects any one of a plurality of predetermined sweep ranges, but in the second embodiment, the user can designate an arbitrary sweep range.
  • the imaging apparatus 100 according to Embodiment 2 of the present invention is different from Embodiment 1 in the function of the sweep range determination unit 103.
  • FIG. 12 is a flowchart of the sweep range determination process (step S101 in FIG. 2) by the sweep range determination unit 103 according to the second embodiment.
  • FIG. 13 is a diagram illustrating an example of the sweep range determination process.
  • the sweep range determination unit 103 acquires a specified range 130 from the user (S121).
  • the designated range 130 is, for example, an arbitrary sweep range designated by the user.
  • the sweep range determining unit 103 determines whether or not the designated range 130 matches any of a plurality of pre-registered ranges (hereinafter, registered ranges) (S122).
  • the plurality of registration ranges are, for example, the ten types of ranges illustrated in FIG. 4 described in the first embodiment.
  • the sweep range determining unit 103 determines the designated range 130 as the sweep range 133 (S123).
  • the sweep range determining unit 103 determines whether the entire designated range 130 is included in the sweepable range (for example, 1 m to infinity). It is determined whether or not (S124).
  • the sweep range determining unit 103 includes all of the designated ranges 130 among the plurality of registered ranges and the narrowest range as the sweep range 133. Determine (S125).
  • the sweep range determining unit 103 determines from 3 m to infinity as the sweep range 133.
  • the sweep range determining unit 103 determines the range closest to the designated range 130 among the plurality of registered ranges as the sweep range 133 (S126). .
  • the sweep range determining unit 103 determines 1 m to 3 m as the sweep range 133.
  • the sweep range determining unit 103 determines the nearest end of the sweep range 133 as the nearest end of the sweepable range. Set to the edge.
  • the sweep range determination unit 103 can sweep the farthest end of the sweep range 133 when the farthest end of the specified range 130 (the end on the side far from the imaging apparatus 100) is farther than the farthest end of the sweepable range. Set to the farthest end of the range. In the example of FIG.
  • the farthest end of the designated range 130 cannot be farther than the farthest end of the sweepable range, but for example, the farthest of the sweepable range Such a case occurs when the edges are finite.
  • the sweep range determination unit 103 may determine, as the sweep range 133, the range closest to the specified range 130 among the plurality of registered ranges.
  • the sweep range determination unit 103 sets a threshold value in each partial range, and when the nearest end of the designated range 130 is less than the threshold value, the nearest end of the partial range is set as the nearest end of the sweep range 133 and is designated.
  • the nearest end of the range 130 is equal to or greater than the threshold, the farthest end of the partial range may be the nearest end of the sweep range 133.
  • the sweep range determining unit 103 sets the nearest end of the partial range as the farthest end of the sweep range 133, and the farthest end of the designated range 130 is the relevant end.
  • the farthest end of the partial range may be the closest end of the sweep range 133.
  • the threshold For example, 4.5 m is set as the threshold for a partial range of 3 m to 5 m. In this case, as shown in FIG. 13, when the designated range 130 is from 4 m to infinity, the nearest end (4 m) of the designated range 130 is less than the threshold (4.5 m). Is determined as the closest end of the sweep range 133.
  • the method of determining a range wider than the designated range 130 as the sweep range 133 has an advantage that a restored image 132 that is in focus with respect to at least the range designated by the user can be generated.
  • the imaging apparatus 100 determines the narrowest range as the sweep range 133 including all the specified ranges 130 among the plurality of registered ranges. Accordingly, the imaging apparatus 100 can reduce the types of sweep ranges that are actually subjected to sweep imaging, and can therefore reduce the types of necessary PSF data. Thereby, the imaging apparatus 100 can reduce the capacity of the PSF data stored in the PSF storage unit 111.
  • the imaging apparatus 100 can generate the restored image 132 that is focused on at least the range designated by the user by determining the sweep range 133 as a range wider than the designated range 130. In this way, the imaging apparatus 100 can capture an image that meets the user's request and can reduce the capacity of PSF data stored in the PSF storage unit 111.
  • the imaging device according to the embodiment of the present invention has been described above, but the present invention is not limited to this embodiment.
  • new PSF data is generated by adding and normalizing two PSF data.
  • new PSF data is obtained. It may be generated.
  • the imaging apparatus 100 stores PSF data in the range of 1 m to 3 m and PSF data in the range of 1 m to 5 m, and subtracts PSF data in the range of 1 m to 3 m from the PSF data in the range of 1 m to 5 m.
  • PSF data of 3 to 5 m may be generated.
  • the imaging apparatus 100 includes the first range of PSF data, the second range of PSF data that does not include the first range, and the third range of PSF data that is a combination of the first range and the second range.
  • One of the two PSF data may be stored, and the remaining one of the three PSF data may be calculated by adding or subtracting the two PSF data.
  • each processing unit included in the imaging device and the image restoration device according to the above embodiment is typically realized as an LSI which is an integrated circuit. These may be individually made into one chip, or may be made into one chip so as to include a part or all of them.
  • circuits are not limited to LSI, and may be realized by a dedicated circuit or a general-purpose processor.
  • An FPGA Field Programmable Gate Array
  • reconfigurable processor that can reconfigure the connection and setting of circuit cells inside the LSI may be used.
  • imaging apparatus or the image restoration apparatus may be realized by a processor such as a CPU executing a program.
  • the present invention may be the above program or a non-transitory computer-readable recording medium on which the above program is recorded.
  • the program can be distributed via a transmission medium such as the Internet.
  • connection relationship between the components is exemplified for specifically explaining the present invention, and the connection relationship for realizing the function of the present invention is not limited to this.
  • the present invention can be applied to an imaging apparatus such as a digital still camera and a digital video camera.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computing Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Studio Devices (AREA)

Abstract

　本発明に係る画像復元装置（１１０）は、スイープ範囲（１３３）が第１範囲である場合のスイープ画像（１３１）である第１スイープ画像に対して復元処理を施すための第１範囲ＰＳＦ（１２１）と、スイープ範囲（１３３）が、第１範囲を含まない第２範囲である場合のスイープ画像（１３１）である第２スイープ画像に対して復元処理を施すための第２範囲ＰＳＦ（１２２）と、スイープ範囲（１３３）が、第１範囲と第２範囲とを合わせた範囲である第３範囲である場合のスイープ画像（１３１）である第３スイープ画像に対して復元処理を施すための第３範囲ＰＳＦとのうち、いずれか２つのＰＳＦを記憶するＰＳＦ記憶部（１１１）と、前記２つのＰＳＦを加算又は減算することにより、第１範囲ＰＳＦ、第２範囲ＰＳＦ及び第３範囲ＰＳＦのうち残りの一つを算出するＰＳＦ算出部（１１２）とを備える。

Description

画像復元装置、撮像装置及び画像復元方法
　本発明は、画像復元装置、撮像装置及び画像復元方法に関し、特に、撮像素子又は当該撮像素子に光を集光するレンズが駆動されることにより、合焦させたい所望の距離範囲を含むスイープ範囲に対応する像面側合焦点間を露光中にフォーカススイープされた、当該撮像素子により撮像されたスイープ画像に対して復元処理を施すことにより、被写界深度が拡張された復元画像を生成する画像復元装置に関する。
　一般的に被写界深度拡張（以下、ＥＤＯＦと称する）を実現する方式としては、主に以下の３つの方式が挙げられる。１つ目の方式は、位相板と呼ばれる光学素子を光学系に挿入することで深度方向のボケを均一化する。そして、当該方式は、得られた画像に対して、予め測定されたボケパターン、又はシミュレーションにより算出されたボケパターンを用いて画像復元処理を行う。これにより、当該方式は、ＥＤＯＦ画像を生成する。この方式は、Ｗａｖｅｆｒｏｎｔ　Ｃｏｄｉｎｇ（以下、ＷＦＣと称する）と称されている。
　２つ目の方式は、絞り形状を工夫することで画像の部分範囲ごとに高精度な距離測定を行う。そして、当該方式は、各部分範囲に対して、予め測定しておいたそれぞれの距離に応じたボケパターンを用いて画像復元処理を行う。これにより、当該方式は、ＥＤＯＦ画像を生成する。この方式は、Ｃｏｄｅｄ　Ａｐｅｒｔｕｒｅ（以下、ＣＡと称する）と称されている。
　３つ目の方式は、露光時間中にフォーカスレンズ又は撮像素子を動かすことで、深度方向に一律に合焦した画像を畳み込む（つまり各深度でボケを均一化することと同義）。そして、当該方式は、得られた画像に対して、予め測定されたボケパターン、又はシミュレーションにより算出されたボケパターンを用いて画像復元処理を行う。これにより、当該方式は、ＥＤＯＦ画像を生成する。この方式は、Ｆｌｅｘｉｂｌｅ　ＤＯＦ（以下、Ｆ－ＤＯＦと称する）と称されている（例えば、特許文献１参照）。
　これらの３方式のうち３つ目のＦ－ＤＯＦは、この中で最も良好な画質が得られる方式であり、ＥＤＯＦ効果も高い。また、軸外特性もレンズ特性そのものに依存するため、性能を高めやすい。ただし光学的な条件として、露光中に合焦位置を動かしても、同一被写体が同一の画像位置上に畳み込まれる必要があることから、像側テレセントリックレンズを用いる必要がある。
　上記ＥＤＯＦ技術の応用先として、最も古い歴史があるのは顕微鏡用途である。
　また、ＥＤＯＦ技術のその他の応用先として、近年、携帯電話などに搭載されるカメラが挙げられる。ＥＤＯＦ技術を当該カメラに用いることで、当該カメラの小型化を実現できる。すなわちＥＤＯＦ効果により、オートフォーカス機構を持つことなく、全焦点画像（全ての被写体に焦点が合っている画像）を得ることができるからである。
　さらにもう１つの応用先としては、通常のデジタルスチルカメラ、及びデジタルビデオカメラが考えられる。これらデジタルスチルカメラ及びデジタルビデオカメラの近年のトレンドとして、より簡単にかつ失敗の少ない撮影が求められている。ＥＤＯＦ技術は全焦点画像、すなわち合焦ミスからの開放という効果が期待できる。本応用先の観点からは、高画質であること、ＥＤＯＦ効果の大きさ、合焦範囲の任意変更が可能なこと、通常のオートフォーカス機構を応用することで実現可能なこと（特別な光学系を用意しなくてすむこと）、及びＥＤＯＦ撮影と通常撮影との切り替えが容易なこと、などから、上記方式のうち最も優れているのはＦ－ＤＯＦである。
米国特許出願公開第２００８／００１３９４１号明細書
　しかしながら、複数の合焦範囲をスイープ可能なＦ－ＤＯＦ機能を有する撮像装置（カメラ）を実現するためには、複数の合焦範囲の各々で撮像された画像に対して復元処理を施すためのＰＳＦ（Ｐｏｉｎｔ　Ｓｐｒｅａｄ　Ｆｕｎｃｔｉｏｎ）データが必要である。
　よって、この合焦範囲のパターンが増加することにより、必要となるＰＳＦデータの数が増加する。これにより、ＰＳＦデータを格納するためのメモリの容量が増加してしまうという課題が生じる。
　本発明は、上記従来の課題を解決するもので、ＰＳＦデータを格納するためのメモリの容量を低減できる画像復元装置、撮像装置及び画像復元方法を提供することを目的とする。
　上記目的を達成するために、本発明の一形態に係る画像復元装置は、撮像素子又は前記撮像素子に光を集光するレンズが駆動されることにより、合焦させたい所望の距離範囲を含むスイープ範囲に対応する像面側合焦点間を露光中にフォーカススイープされた、当該撮像素子により撮像されたスイープ画像に対して復元処理を施すことにより、被写界深度が拡張された復元画像を生成する画像復元装置であって、（１）前記スイープ範囲が第１範囲である場合の前記スイープ画像である第１スイープ画像に対して復元処理を施すための第１ＰＳＦ（Ｐｏｉｎｔ　Ｓｐｒｅａｄ　Ｆｕｎｃｔｉｏｎ）と、（２）前記スイープ範囲が、前記第１範囲を含まない第２範囲である場合の前記スイープ画像である第２スイープ画像に対して復元処理を施すための第２ＰＳＦと、（３）前記スイープ範囲が、前記第１範囲と前記第２範囲とを合わせた範囲である第３範囲である場合の前記スイープ画像である第３スイープ画像に対して復元処理を施すための第３ＰＳＦとのうち、いずれか２つのＰＳＦを記憶するＰＳＦ記憶部と、前記２つのＰＳＦを加算又は減算することにより、前記第１ＰＳＦ、前記第２ＰＳＦ及び前記第３ＰＳＦのうち残りの一つを算出するＰＳＦ算出部と、前記第１ＰＳＦを用いて、前記第１スイープ画像に対して復元処理を施すことにより前記復元画像を生成し、前記第２ＰＳＦを用いて、前記第２スイープ画像に対して復元処理を施すことにより前記復元画像を生成し、前記第３ＰＳＦを用いて、前記第３スイープ画像に対して復元処理を施すことにより前記復元画像を生成する画像復元部とを備える。
　この構成によれば、本発明の一形態に係る画像復元装置は、第１ＰＳＦ、第２ＰＳＦ及び第３ＰＳＦのうちの２つのＰＳＦから残りのＰＳＦを算出できるので、当該残りのＰＳＦをＰＳＦ記憶部に記憶しておく必要がない。これにより、本発明の一形態に係る画像復元装置は、ＰＳＦ記憶部に記憶しておくＰＳＦデータの容量を削減できる。
　また、前記ＰＳＦ算出部は、前記第１ＰＳＦと前記第２ＰＳＦとを加算することにより、前記第３ＰＳＦを算出してもよい。
　この構成によれば、本発明の一形態に係る画像復元装置は、第１ＰＳＦと第２ＰＳＦとから第３ＰＳＦを算出できるので、第３ＰＳＦをＰＳＦ記憶部に記憶しておく必要がない。これにより、本発明の一形態に係る画像復元装置は、ＰＳＦ記憶部に記憶しておくＰＳＦデータの容量を削減できる。
　また、本発明の一形態に係る撮像装置は、前記画像復元装置と、前記撮像素子と、前記レンズと、前記第１範囲、前記第２範囲及び前記第３範囲のいずれかを、前記スイープ範囲に決定するスイープ範囲決定部と、前記スイープ範囲に対応する前記像面側合焦点を求め、露光中に前記像面側合焦点間をフォーカススイープさせた画像が得られるよう前記レンズ又は前記撮像素子を駆動させることにより、前記撮像素子に前記スイープ画像を撮像させるスイープ撮像部とを備える。
　この構成によれば、本発明の一形態に係る撮像装置は、ＰＳＦ記憶部に記憶しておくＰＳＦデータの容量を削減できる。
　また、前記スイープ範囲決定部は、ユーザにより指定された指定範囲に基づき、前記第１範囲、前記第２範囲及び前記第３範囲のいずれかを、前記スイープ範囲に決定してもよい。
　この構成によれば、本発明の一形態に係る撮像装置は、ユーザにより指定された合焦範囲をスイープ可能な撮像装置を実現できる。
　また、前記スイープ範囲決定部は、前記指定範囲が、前記第１範囲、前記第２範囲及び前記第３範囲のいずれにも一致しない場合、前記第１範囲、前記第２範囲及び前記第３範囲のうち、前記指定範囲を全て含み、かつ最も狭い範囲を前記スイープ範囲に決定してもよい。
　この構成によれば、本発明の一形態に係る撮像装置は、ＰＳＦ記憶部に記憶しておくＰＳＦデータの容量を削減できる。
　また、前記スイープ撮像部は、前記撮像素子と前記レンズとの距離である像面側距離を変位させることにより、前記撮像素子の前記被写体側の焦点位置を変位させ、前記被写体側の焦点位置を前記第１範囲でスイープさせるための前記像面側距離の変位量は、前記被写体側の焦点位置を前記第２範囲でスイープさせるための前記像面側距離の変位量と等しくてもよい。
　この構成によれば、第１範囲と第２範囲とにおけるスイープ距離が同じになるため、第１ＰＳＦと第２ＰＳＦとの類似度を上げることができる。すなわち、許容できる範囲内で類似性が認められれば、２種類のＰＳＦではなく、１種類のＰＳＦを記憶するだけでよいので、ＰＳＦデータの容量を削減できる。
　なお、本発明は、このような画像復元装置及び撮像装置として実現できるだけでなく、画像復元装置又は撮像装置に含まれる特徴的な手段をステップとする画像復元方法又は撮像装置の制御方法として実現したり、そのような特徴的なステップをコンピュータに実行させるプログラムとして実現したりすることもできる。そして、そのようなプログラムは、ＣＤ－ＲＯＭ等の非一時的なコンピュータ読み取り可能な記録媒体、及びインターネット等の伝送媒体を介して流通させることができるのは言うまでもない。
　さらに、本発明は、このような画像復元装置又は撮像装置の機能の一部又は全てを実現する半導体集積回路（ＬＳＩ）として実現できる。
　以上より、本発明は、ＰＳＦデータを格納するためのメモリの容量を低減できる画像復元装置、撮像装置及び画像復元方法を提供できる。
図１は、本発明の実施の形態１に係る撮像装置のブロック図である。 図２は、本発明の実施の形態１に係る撮像装置による処理のフローチャートである。 図３は、本発明の実施の形態１に係るＰＳＦ算出処理のフローチャートである。 図４は、本発明の実施の形態１に係るＰＳＦ算出処理の一例を示す図である。 図５は、本発明の実施の形態１に係る被写体距離と像面側距離とを示す図である。 図６は、本発明の実施の形態１に係るＰＳＦのモデルを示す図である。 図７は、本発明の実施の形態１に係る像面側距離の変位パターンの一例を示す図である。 図８は、本発明の実施の形態１に係る被写体距離と像面側距離との関係を示すグラフである。 図９は、本発明の実施の形態１に係る像面側距離の変位量を示す図である。 図１０は、本発明の実施の形態１に係る画像復元装置のブロック図である。 図１１は、本発明の実施の形態１に係る画像復元装置による処理のフローチャートである。 図１２は、本発明の実施の形態２に係るスイープ範囲決定処理のフローチャートである。 図１３は、本発明の実施の形態２に係るスイープ範囲決定処理の一例を示す図である。
　以下、本発明に係る撮像装置の実施の形態について、図面を参照しながら詳細に説明する。なお、以下で説明する実施の形態は、いずれも本発明の好ましい一具体例を示すものである。以下の実施の形態で示される数値、形状、材料、構成要素、構成要素の配置位置及び接続形態、ステップ、ステップの順序などは、一例であり、本発明を限定する主旨ではない。本発明は、請求の範囲だけによって限定される。よって、以下の実施の形態における構成要素のうち、本発明の最上位概念を示す独立請求項に記載されていない構成要素については、本発明の課題を達成するのに必ずしも必要ではないが、より好ましい形態を構成するものとして説明される。
　(実施の形態１)
　本発明の実施の形態１に係る撮像装置は、第１範囲のＰＳＦと第２範囲のＰＳＦとを加算することにより、第３範囲のＰＳＦを算出する。これにより、当該撮像装置は、第３範囲のＰＳＦをメモリに記憶しておく必要がないのでメモリに記憶しておくＰＳＦデータの容量を削減できる。
　まず、本発明の実施の形態１に係る撮像装置の構成を説明する。
　図１は、本発明の実施の形態１に係る撮像装置１００のブロック図である。
　撮像装置１００は、例えば、デジタルスチルカメラ又はデジタルビデオカメラである。この撮像装置１００は、任意の合焦範囲をスイープ可能なＦ－ＤＯＦ機能を有する。具体的には、撮像装置１００は、ユーザにより指定された合焦範囲である指定範囲１３０で合焦位置をスイープしたスイープ画像１３１を生成する。そして、撮像装置１００は、ＰＳＦを用いて、生成したスイープ画像１３１に対して復元処理を施すことにより、指定範囲１３０の全てにおいてピントがあった復元画像１３２を生成する。
　この撮像装置１００は、撮像素子１０１と、レンズ１０２と、スイープ範囲決定部１０３と、スイープ撮像部１０４と、画像復元装置１１０とを備える。
　撮像素子１０１は、入射光を光電変換することにより画像データ（スイープ画像１３１）を生成する。レンズ１０２は、撮像素子１０１に光を集光する。
　スイープ範囲決定部１０３は、ユーザにより指定された指定範囲１３０に基づき、スイープ範囲１３３を決定する。ここでスイープ範囲とは、像面側ではなく、被写体側での範囲概念を示している。例えば、スイープ範囲決定部１０３は、予め定められた複数の範囲のうち、指定範囲１３０で示される範囲をスイープ範囲１３３として決定する。
　スイープ撮像部１０４は、撮像素子１０１の焦点位置をスイープ範囲１３３でスイープさせながら、撮像素子１０１にスイープ画像１３１を撮像させる。具体的には、スイープ撮像部１０４は、スイープ範囲１３３に対応する像面側合焦点位置の２点を求め、露光中に当該像面側合焦点位置の２点間をフォーカススイープされた画像が得られるよう、レンズ１０２又は撮像素子１０２を駆動させることにより、前記撮像素子に前記スイープ画像を撮像させる。つまり、スイープ画像１３１は、撮像素子１０１の被写体側の焦点位置がスイープ範囲１３３をスイープしている期間において当該撮像素子１０１により撮像された画像である。言い換えると、スイープ画像１３１は、撮像素子１０１又はレンズ１０２が駆動されることにより、合焦させたい所望の距離範囲を含むスイープ範囲に対応する像面側合焦点間を露光中にフォーカススイープされた画像である。なおここでは、レンズ１０２全体を動かすものであってもよいし、レンズの一部を構成するフォーカスレンズを駆動させるものであってもよい。
　画像復元装置１１０は、スイープ画像１３１に対して復元処理を施すことにより、被写界深度が拡張された復元画像１３２を生成する。具体的には、画像復元装置１１０は、スイープ範囲１３３に対応するＰＳＦを用いてスイープ画像１３１に対して復元処理を施す。ここで、復元画像１３２は、スイープ範囲１３３の全てにおいてピントがあった画像である。
　この画像復元装置１１０は、ＰＳＦ記憶部１１１と、ＰＳＦ算出部１１２と、画像復元部１１３とを備える。
　ＰＳＦ記憶部１１１は、複数のスイープ範囲１３３に対応する複数のＰＳＦデータを記憶する。なお、ここでは、ＰＳＦ記憶部１１１が４つのＰＳＦデータ（第１範囲ＰＳＦ１２１、第２範囲ＰＳＦ１２２、第３範囲ＰＳＦ１２３及び第４範囲ＰＳＦ１２４）を記憶している例を述べる。また、ユーザが指定可能なスイープ範囲は、ＰＳＦ記憶部１１１に記憶されるＰＳＦデータの数より多い。
　ＰＳＦ算出部１１２は、ＰＳＦ記憶部１１１に記憶されている複数のＰＳＦデータのうち２以上を加算及び正規化することにより、スイープ範囲１３３に対応する新たなＰＳＦデータを算出する。
　画像復元部１１３は、ＰＳＦ記憶部１１１に記憶されている複数のＰＳＦデータのいずれか、又は、ＰＳＦ算出部１１２により算出されたＰＳＦデータを用いて、スイープ画像１３１に対して復元処理を施すことにより、復元画像１３２を生成する。
　次に、撮像装置１００の動作を説明する。
　図２は、撮像装置１００による撮像処理のフローチャートである。
　まず、スイープ範囲決定部１０３は、ユーザにより指定された指定範囲１３０に基づき、スイープ範囲１３３に決定する（Ｓ１０１）。例えば、ユーザは、予め定められた複数のスイープ範囲のうちいずれかを選択する。スイープ範囲決定部１０３は、ユーザに指定された範囲をスイープ範囲１３３として決定する。
　次に、撮像素子１０１の焦点位置をスイープ範囲１３３でスイープさせながら、撮像素子１０１にスイープ画像１３１を撮像させる（Ｓ１０２）。
　次に、ＰＳＦ算出部１１２は、スイープ範囲１３３に対応するＰＳＦデータを算出する（Ｓ１０３）。
　以下、このステップＳ１０３の処理を詳細に説明する。
　図３は、ＰＳＦ算出部１１２によるＰＳＦ算出処理のフローチャートである。また、図４は、ＰＳＦ算出部１１２によるＰＳＦ算出処理の一例を示す図である。
　図３に示すように、まず、ＰＳＦ算出部１１２は、スイープ範囲決定部１０３により決定された、スイープ画像１３１のスイープ範囲１３３を取得する（Ｓ１１１）。
　ここで、図４に示すように、スイープ範囲１３３は、１ｍ、３ｍ、５ｍ及び１０ｍのいずれかを一端として、３ｍ、５ｍ、１０ｍ及び無限遠（∞）のいずれか他端とする１０種類の範囲である。また、ＰＳＦ記憶部１１１に記憶されている第１範囲ＰＳＦ１２１は、１ｍから３ｍのスイープ範囲に対応し、第２範囲ＰＳＦ１２２は３ｍから５ｍのスイープ範囲に対応し、第３範囲ＰＳＦ１２３は５ｍから１０ｍのスイープ範囲に対応し、第４範囲ＰＳＦ１２４は１０ｍから無限遠のスイープ範囲に対応する。
　このように、本発明の実施の形態１に係る撮像装置１００では、ＰＳＦ記憶部１１１は、スイープ可能範囲（ここでは１ｍから無限遠）を複数に分割した各々の部分範囲に対応するＰＳＦデータのみを記憶する。また、ユーザが指定可能なスイープ範囲は、これら複数の部分範囲と、当該複数の部分範囲のうち連続した２以上部分範囲を合わせた複数種類の範囲とである。
　次に、ＰＳＦ算出部１１２は、ステップＳ１１１で取得したスイープ範囲１３３に対応するＰＳＦデータがＰＳＦ記憶部１１１に記憶されているか否かを判定する（Ｓ１１２）。上記例では、ＰＳＦ算出部１１２は、スイープ範囲１３３が、１ｍから３ｍ、３ｍから５ｍ、５ｍから１０ｍ、及び、１０ｍから無限遠のいずれかの場合、スイープ範囲１３３に対応するＰＳＦデータがＰＳＦ記憶部１１１に記憶されていると判定する（Ｓ１１２でＹｅｓ）。また、ＰＳＦ算出部１１２は、スイープ範囲１３３がこれら以外（例えば、１ｍから１０ｍ等）の場合、スイープ範囲１３３に対応するＰＳＦデータがＰＳＦ記憶部１１１に記憶されていないと判定する（Ｓ１１２でＮｏ）。
　スイープ範囲１３３に対応するＰＳＦデータがＰＳＦ記憶部１１１に記憶されている場合（Ｓ１１２でＹｅｓ）、ＰＳＦ算出部１１２は、当該スイープ範囲１３３に対応するＰＳＦデータをＰＳＦ記憶部１１１から取得する（Ｓ１１３）。そして、ＰＳＦ算出部１１２は、取得したＰＳＦデータを画像復元部１１３へ受け渡す。
　一方、スイープ範囲１３３に対応するＰＳＦデータがＰＳＦ記憶部１１１に記憶されていない場合（Ｓ１１２でＮｏ）、ＰＳＦ算出部１１２は、スイープ範囲１３３に含まれる複数の部分範囲に対応するＰＳＦデータをＰＳＦ記憶部１１１から取得する（Ｓ１１４）。
　次に、ＰＳＦ算出部１１２は、取得した複数の部分範囲に対応するＰＳＦデータを加算及び正規化することにより、スイープ範囲１３３に対応するＰＳＦデータを算出する（Ｓ１１５及びＳ１１６）。そして、ＰＳＦ算出部１１２は、算出したＰＳＦデータを画像復元部１１３へ受け渡す。
　例えば、図４に示すように、スイープ範囲１３３が１ｍから５ｍの場合、ＰＳＦ算出部１１２は、第１範囲ＰＳＦ１２１と第２範囲ＰＳＦ１２２とを加算及び正規化することにより、１ｍから５ｍに対応するＰＳＦデータを算出する。また、スイープ範囲１３３が１ｍから１０ｍの場合、ＰＳＦ算出部１１２は、第１範囲ＰＳＦ１２１と第２範囲ＰＳＦ１２２と第３範囲ＰＳＦ１２３とを加算及び正規化することにより、１ｍから１０ｍに対応するＰＳＦデータを算出する。
　再び、図２に示すフローチャートを用いて説明する。
　ＰＳＦ算出処理（Ｓ１０３）の後、画像復元部１１３は、ＰＳＦ算出部１１２から渡された、スイープ範囲１３３に対応するＰＳＦデータを用いてスイープ画像１３１に対して復元処理を施すことにより、復元画像１３２を生成する（Ｓ１０４）。そして、画像復元部１１３は、生成した復元画像１３２を、撮像装置１００の外部へ出力したり、撮像装置１００が備える記憶部（図示せず）に記憶したりする。
　以上のように、本発明の実施の形態１に係る撮像装置１００は、ＰＳＦ記憶部１１１が記憶している複数のＰＳＦデータから新たな範囲に対応するＰＳＦデータを算出できる。これにより、ＰＳＦ記憶部１１１は、当該新たな範囲に対応するＰＳＦデータを記憶しておく必要がない。これにより、本発明の実施の形態１に係る撮像装置１００は、ＰＳＦ記憶部１１１に記憶しておくＰＳＦデータの容量を削減できる。
　また、図２に示すステップＳ１０２～Ｓ１０４の処理は、静止画撮影の場合には１枚の静止画の撮影ごとに、動画撮影の場合には１フレームごとに行われる。また、静止画撮影の場合、ステップＳ１０１の処理は、１枚の静止画の撮影ごとに行なわれてもよいし、予めステップＳ１０１の処理が行われ、その後、ステップＳ１０１で設定されたスイープ範囲１３３を用いて複数枚の静止画が撮影されてもよい。また、動画撮影の場合、典型的には、ステップＳ１０１の処理は、１回又は複数回の動画撮影ごとに行なわれる。
　また、上記説明では、スイープ範囲決定部１０３は、ユーザにより指定された指定範囲１３０に基づきスイープ範囲１３３を決定するとしたが、スイープ範囲決定部１０３は、撮像装置１００が備えるセンサの検出結果に応じて、スイープ範囲１３３を自動的に決定してもよい。例えば、スイープ範囲決定部１０３は、オートフォーカス機能等で用いられる被写体までの距離、又は、被写界の状態（例えば明るさ）に応じて、スイープ範囲１３３を決定してもよい。また、このような被写体までの距離及び被写界の状態は、撮影した画像から算出してもよい。さらに、スイープ範囲決定部１０３は、これらの情報と指定範囲１３０とに基づいてスイープ範囲１３３を決定してもよし、これらの情報に応じてスイープ範囲１３３を調整してもよい。
　さらに、動画撮影時に、このように自動的にスイープ範囲１３３を決定又は調整する場合には、スイープ範囲１３３の決定又は調整処理は、１又は複数フレームごとに行われる。
　また、上記説明では、ＰＳＦ記憶部１１１が４つのＰＳＦデータを記憶する例を述べたが、ＰＳＦ記憶部１１１が記憶するＰＳＦデータの数は２以上であれば任意の数でよい。言い換えると、スイープ可能範囲（上記例では１ｍから無限遠）を分割した複数の部分範囲の数は２以上であればよい。つまり、撮像装置１００は、スイープ範囲１３３として、少なくとも第１範囲と、当該第１範囲に連続する第２範囲と、当該第１範囲と当該第２範囲とを合わせた範囲である第３範囲とを選択可能であればよい。また、この場合、ＰＳＦ記憶部１１１には、第１範囲及び第２範囲に対応するＰＳＦデータが記憶されていればよい。また、上記第２範囲は、第１範囲を含まない範囲であってもよい。
　なお、各種処理の効率化の観点から、部分範囲の数は、２のｎ乗（ｎは１以上の整数）であることが好ましい。例えば、当該部分範囲の数は、４、８、１６、３２又は６４である。
　以下、複数の連続する部分範囲のＰＳＦデータを加算することで、当該複数の部分範囲を合わせた範囲のＰＳＦデータを算出できる原理を説明する。
　図５は、被写体、レンズ１０２及び撮像素子１０１の関係を示す図である。
　図５に示すように、被写体Ｍとレンズ１０２との間の距離を被写体距離ｕとし、レンズ１０２と撮像素子１０１との間の距離を像面側距離ｖとする。この場合、被写体距離ｕと像面側距離ｖと焦点距離ｆとにおいて、一般的にレンズの公式より、下記（式１）の関係が成り立つ。
Figure JPOXMLDOC01-appb-M000001
　ここで、図５に示すように、撮像素子１０１が像面側距離ｖの位置から像面側距離ｐの位置へ変位した場合、ボケの直径ｂは、下記（式２）で表される。
Figure JPOXMLDOC01-appb-M000002
　ここで、ａは、開口の大きさである。
　また、例えば、Ｐｉｌｌｂｏｘなどのレンズモデルでは、ＰＳＦであるＰは下記（式３）で表される。
Figure JPOXMLDOC01-appb-M000003
　ここで、ｒはボケサークルの中心からの距離である。また、Π（ｘ）はＲｅｃｔａｎｇｌｅ関数であり、｜ｘ｜＜１／２のときに１、それ以外のときに０となる関数である。
　図６は、このＰｉｌｌｂｏｘのレンズモデルでのＰＳＦを示す図である。
　ここで、スイープ画像に用いるＰＳＦをＩＰＳＦと呼ぶことにする。時刻０から時刻Ｔの間で焦点位置をスイープした場合のＩＰＳＦは、下記（式４）で表される。
Figure JPOXMLDOC01-appb-M000004
　（式４）に示すように、ＩＰＳＦは積分で表現される。すなわち、時刻Ｔ１から時刻Ｔ２までのＩＰＳＦと、時刻Ｔ２から時刻Ｔ３までのＩＰＳＦとの和が、時刻Ｔ１から時刻Ｔ３までのＩＰＳＦとなる。
　また、積分項の関数自身は、スイープ動作ｐ（ｔ）が一定速度というルールのもとでは不変である。よって、時刻Ｔ１から時刻Ｔ３のＩＰＳＦは、積分の開始時刻及び終了時刻を時刻Ｔ１及び時刻Ｔ３にすることと等価である。
　以上のように、複数の連続する部分範囲のＰＳＦデータを加算することで、当該複数の部分範囲を合わせた範囲のＰＳＦデータを算出できる。
　次に、スイープ動作の具体例を説明する。
　図７は、露光中の像面側距離ｖの変位の様子と、露光量とを示す図である。図７に示すように、例えば、スイープ撮像部１０４は、像面側距離ｖを等速で変位させることにより、撮像素子１０１の被写体側の焦点位置である被写体距離ｕを変位させる。なお、スイープ撮像部１０４は、レンズ１０２の位置を変位させることで、像面側距離ｖを変位させてもよいし、撮像素子１０１の位置を変位させることで、像面側距離ｖを変位させてもよいし、レンズ１０２及び撮像素子１０１の両方を変位させることで、像面側距離ｖを変位させてもよい。
　図８は、焦点距離ｆが１８［ｍｍ］のときの像面側距離ｖと被写体距離ｕとの関係を示すグラフである。図８に示すように、像面側距離ｖが等速度で変位しても、被写体距離ｕは等速度で変位しない。
　図４に示したように、本発明の実施の形態１に係る撮像装置１００では、部分範囲、つまり被写体距離ｕの範囲は等間隔ではない。
　一方で、当該撮像装置１００では、複数の部分範囲に対応する像面側距離ｖの変位量が一定になるように、複数の部分範囲を決定している。
　図９は、本発明の実施の形態１に係る像面側距離ｖの変位量を示す図である。
　図９に示すように、各部分範囲をスイープさせるための像面側距離ｖの変位量ｄｖは一定である。なお、図９に示す像面側距離ｖ０からｖ１の範囲は１０ｍから無限遠のスイープ範囲に対応し、像面側距離ｖ１からｖ２の範囲は５ｍから１０ｍのスイープ範囲に対応し、像面側距離ｖ２からｖ３の範囲は３ｍから５ｍのスイープ範囲に対応し、像面側距離ｖ３からｖ４の範囲は１ｍから３ｍのスイープ範囲に対応する。
　このように、像面側距離ｖの変位量ｄｖを一定にすることで、各部分範囲におけるＳ／Ｎ比を同程度にできる。よって、各部分範囲に対応するＰＳＦの類似度を上げることができる。これにより、各部分範囲に対する処理量等を同程度にできるので、各種制御を効率的に行なえる。
　なお、上記説明では、本発明を撮像装置に適用する例を述べたが、本発明は、上述した画像復元装置１１０として実現することもできる。図１０は、本発明の実施の形態１に係る画像復元装置１１０のブロック図である。この画像復元装置１１０は、例えば、上述した撮像装置１００に用いられる半導体集積回路として実現できる。また、撮像装置で撮像されたスイープ画像１３１に対して復元処理を施す、撮像装置とは独立した装置として実現することも可能である。また、この画像復元装置１１０は、パーソナルコンピュータ等の装置に搭載されてもよい。
　また、図１１は、この画像復元装置１１０による撮像処理のフローチャートである。なお、図１１に示すステップＳ１０３及びＳ１０４の処理は、図２に示すステップＳ１０３及びＳ１０４の処理と同様である。
　以上より、本発明の実施の形態１に係る撮像装置１００及び画像復元装置１１０は、あるスイープ範囲１３３のＰＳＦデータを、当該スイープ範囲１３３を構成する複数の部分範囲のＰＳＦデータから算出する。これにより、本発明の実施の形態１に係る撮像装置１００及び画像復元装置１１０は、ＰＳＦ記憶部１１１に記憶しておくＰＳＦデータの容量を削減できる。
　さらに、本発明を、デジタルスチルカメラ、デジタルビデオカメラ、及び携帯電話用カメラ等の携帯型カメラに適用することにより、メモリ容量に制限がある携帯型カメラのメモリ容量を削減できるので、より有効である。
　（実施の形態２）
　本発明の実施の形態２では、上述した実施の形態１に係る撮像装置１００の変形例について説明する。なお、以下では、実施の形態１との相違点を主に説明し、重複する説明は省略する。
　上述した実施の形態１では、ユーザは予め定められた複数のスイープ範囲からいずれかを選択するとしたが、実施の形態２では、ユーザは任意のスイープ範囲を指定できる。
　また、本発明の実施の形態２に係る撮像装置１００は、スイープ範囲決定部１０３の機能が実施の形態１と異なる。
　図１２は、実施の形態２に係るスイープ範囲決定部１０３によるスイープ範囲決定処理（図２のステップＳ１０１）のフローチャートである。また、図１３は、当該スイープ範囲決定処理の一例を示す図である。
　図１２に示すように、まず、スイープ範囲決定部１０３は、ユーザからの指定範囲１３０を取得する（Ｓ１２１）。ここで、指定範囲１３０は、例えば、ユーザが指定した任意のスイープ範囲である。
　次に、スイープ範囲決定部１０３は、指定範囲１３０が、予め登録されている複数の範囲（以下、登録範囲）のいずれかと一致するか否かを判定する（Ｓ１２２）。ここで、複数の登録範囲とは、例えば、実施の形態１で説明した、図４に示す１０種類の範囲である。
　指定範囲１３０が複数の登録範囲のいずれかと一致する場合（Ｓ１２２でＹｅｓ）、スイープ範囲決定部１０３は、指定範囲１３０をスイープ範囲１３３に決定する（Ｓ１２３）。
　一方、指定範囲１３０が複数の登録範囲のいずれとも一致しない場合（Ｓ１２２でＮｏ）、スイープ範囲決定部１０３は、指定範囲１３０の全てがスイープ可能範囲（例えば１ｍから無限遠）内に含まれるか否かを判定する（Ｓ１２４）。
　指定範囲１３０の全てがスイープ可能範囲内に含まれる場合（Ｓ１２４でＹｅｓ）、スイープ範囲決定部１０３は、複数の登録範囲のうち、指定範囲１３０を全て含み、かつ最も狭い範囲をスイープ範囲１３３に決定する（Ｓ１２５）。
　例えば、図１３に示すように、指定範囲１３０が４ｍから無限遠の場合、スイープ範囲決定部１０３は、３ｍから無限遠をスイープ範囲１３３に決定する。
　一方、指定範囲１３０がスイープ可能範囲を超える場合（Ｓ１２４でＮｏ）、スイープ範囲決定部１０３は、複数の登録範囲のうち、指定範囲１３０に一番近い範囲をスイープ範囲１３３に決定する（Ｓ１２６）。
　例えば、指定範囲１３０が０．５ｍから３ｍの場合、スイープ範囲決定部１０３は、１ｍから３ｍをスイープ範囲１３３に決定する。
　言い換えると、スイープ範囲決定部１０３は、指定範囲１３０の最近端（撮像装置１００に近い側の端部）がスイープ可能範囲の最近端より近い場合、スイープ範囲１３３の最近端をスイープ可能範囲の最近端に設定する。同様に、スイープ範囲決定部１０３は、指定範囲１３０の最遠端（撮像装置１００に遠い側の端部）がスイープ可能範囲の最遠端より遠い場合、スイープ範囲１３３の最遠端をスイープ可能範囲の最遠端に設定する。なお、図１３の例ではスイープ可能範囲の最遠端は無限遠であるので、指定範囲１３０の最遠端がスイープ可能範囲の最遠端より遠くはならないが、例えば、スイープ可能範囲の最遠端が有限の場合には、このようなケースが発生する。
　なお、ステップＳ１２５において、スイープ範囲決定部１０３は、複数の登録範囲のうち、指定範囲１３０に一番近い範囲をスイープ範囲１３３に決定してもよい。
　また、スイープ範囲決定部１０３は、各部分範囲内に閾値を定めておき、指定範囲１３０の最近端が当該閾値未満の場合は、当該部分範囲の最近端をスイープ範囲１３３の最近端とし、指定範囲１３０の最近端が当該閾値以上の場合は、当該部分範囲の最遠端をスイープ範囲１３３の最近端としてもよい。同様に、スイープ範囲決定部１０３は、指定範囲１３０の最遠端が当該閾値未満の場合は、当該部分範囲の最近端をスイープ範囲１３３の最遠端とし、指定範囲１３０の最遠端が当該閾値以上の場合は、当該部分範囲の最遠端をスイープ範囲１３３の最近端としてもよい。例えば、３ｍから５ｍの部分範囲に対して閾値として４．５ｍを設定する。この場合、図１３に示すように、指定範囲１３０が４ｍから無限遠の場合、指定範囲１３０の最近端（４ｍ）が閾値（４．５ｍ）未満なので、スイープ範囲決定部１０３は、当該部分範囲の最近端（３ｍ）をスイープ範囲１３３の最近端に決定する。
　なお、図１３に示すように、指定範囲１３０よりも広い範囲をスイープ範囲１３３に決定する方法は、少なくともユーザが指定した範囲に対してピントがあった復元画像１３２を生成できるという利点がある。
　以上より、本発明の実施の形態２に係る撮像装置１００は、複数の登録範囲のうち、指定範囲１３０を全て含み、かつ最も狭い範囲をスイープ範囲１３３に決定する。これにより、当該撮像装置１００は、実際にスイープ撮像するスイープ範囲の種類を減らすことができるので、必要となるＰＳＦデータの種類を減らすことができる。これにより、当該撮像装置１００は、ＰＳＦ記憶部１１１に記憶しておくＰＳＦデータの容量を削減できる。
　また、当該撮像装置１００は、指定範囲１３０よりも広い範囲をスイープ範囲１３３に決定することで、少なくともユーザが指定した範囲に対してピントがあった復元画像１３２を生成できる。このように、当該撮像装置１００は、ユーザの要求にあった画像を撮像できるとともに、ＰＳＦ記憶部１１１に記憶しておくＰＳＦデータの容量を削減できる。
　以上、本発明の実施の形態に係る撮像装置について説明したが、本発明は、この実施の形態に限定されるものではない。
　例えば、上記説明では、２つのＰＳＦデータを加算及び正規化することにより、新たなＰＳＦデータを生成する例を述べたが、２つのＰＳＦデータを減算及び正規化することにより、新たなＰＳＦデータを生成してもよい。例えば、撮像装置１００は、１ｍから３ｍの範囲のＰＳＦデータと、１ｍから５ｍの範囲のＰＳＦデータを記憶しており、１ｍから５ｍの範囲のＰＳＦデータから１ｍから３ｍの範囲のＰＳＦデータを減算及び正規化することにより、３ｍから５ｍのＰＳＦデータを生成してもよい。
　つまり、撮像装置１００は、第１範囲のＰＳＦデータと、第１範囲を含まない第２範囲のＰＳＦデータと、第１範囲と第２範囲とを合わせた範囲である第３範囲のＰＳＦデータとのうち、いずれか２つのＰＳＦデータを記憶し、この２つのＰＳＦデータを加算又は減算することにより、上記の３つのＰＳＦデータのうち残りの一つを算出すればよい。
　また、上記実施の形態に係る撮像装置及び画像復元装置に含まれる各処理部は典型的には集積回路であるＬＳＩとして実現される。これらは個別に１チップ化されてもよいし、一部又は全てを含むように１チップ化されてもよい。
　また、集積回路化はＬＳＩに限るものではなく、専用回路又は汎用プロセッサで実現してもよい。ＬＳＩ製造後にプログラムすることが可能なＦＰＧＡ（Ｆｉｅｌｄ　Ｐｒｏｇｒａｍｍａｂｌｅ　Ｇａｔｅ　Ａｒｒａｙ）、又はＬＳＩ内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサを利用してもよい。
　また、本発明の実施の形態に係る、撮像装置又は画像復元装置の機能の一部又は全てを、ＣＰＵ等のプロセッサがプログラムを実行することにより実現してもよい。
　さらに、本発明は上記プログラムであってもよいし、上記プログラムが記録された非一時的なコンピュータ読み取り可能な記録媒体であってもよい。また、上記プログラムは、インターネット等の伝送媒体を介して流通させることができるのは言うまでもない。
　また、上記実施の形態１～２に係る、撮像装置、画像復元装置及びその変形例の機能のうち少なくとも一部を組み合わせてもよい。
　また、上記で用いた数字は、全て本発明を具体的に説明するために例示するものであり、本発明は例示された数字に制限されない。また、構成要素間の接続関係は、本発明を具体的に説明するために例示するものであり、本発明の機能を実現する接続関係はこれに限定されない。
　更に、本発明の主旨を逸脱しない限り、本実施の形態に対して当業者が思いつく範囲内の変更を施した各種変形例も本発明に含まれる。
　本発明は、デジタルスチルカメラ及びデジタルビデオカメラ等の撮像装置に適用できる。
　１００　撮像装置
　１０１　撮像素子
　１０２　レンズ
　１０３　スイープ範囲決定部
　１０４　スイープ撮像部
　１１０　画像復元装置
　１１１　ＰＳＦ記憶部
　１１２　ＰＳＦ算出部
　１１３　画像復元部
　１２１　第１範囲ＰＳＦ
　１２２　第２範囲ＰＳＦ
　１２３　第３範囲ＰＳＦ
　１２４　第４範囲ＰＳＦ
　１３０　指定範囲
　１３１　スイープ画像
　１３２　復元画像
　１３３　スイープ範囲

Claims (9)

  1. 　撮像素子又は前記撮像素子に光を集光するレンズが駆動されることにより、合焦させたい所望の距離範囲を含むスイープ範囲に対応する像面側合焦点間を露光中にフォーカススイープされた、当該撮像素子により撮像されたスイープ画像に対して復元処理を施すことにより、被写界深度が拡張された復元画像を生成する画像復元装置であって、
    　（１）前記スイープ範囲が第１範囲である場合の前記スイープ画像である第１スイープ画像に対して復元処理を施すための第１ＰＳＦ（Ｐｏｉｎｔ　Ｓｐｒｅａｄ　Ｆｕｎｃｔｉｏｎ）と、（２）前記スイープ範囲が、前記第１範囲を含まない第２範囲である場合の前記スイープ画像である第２スイープ画像に対して復元処理を施すための第２ＰＳＦと、（３）前記スイープ範囲が、前記第１範囲と前記第２範囲とを合わせた範囲である第３範囲である場合の前記スイープ画像である第３スイープ画像に対して復元処理を施すための第３ＰＳＦとのうち、いずれか２つのＰＳＦを記憶するＰＳＦ記憶部と、
    　前記２つのＰＳＦを加算又は減算することにより、前記第１ＰＳＦ、前記第２ＰＳＦ及び前記第３ＰＳＦのうち残りの一つを算出するＰＳＦ算出部と、
    　前記第１ＰＳＦを用いて、前記第１スイープ画像に対して復元処理を施すことにより前記復元画像を生成し、前記第２ＰＳＦを用いて、前記第２スイープ画像に対して復元処理を施すことにより前記復元画像を生成し、前記第３ＰＳＦを用いて、前記第３スイープ画像に対して復元処理を施すことにより前記復元画像を生成する画像復元部とを備える
    　画像復元装置。
  2. 　前記ＰＳＦ算出部は、前記第１ＰＳＦと前記第２ＰＳＦとを加算することにより、前記第３ＰＳＦを算出する
    　請求項１記載の画像復元装置。
  3. 　請求項１又は２記載の画像復元装置と、
    　前記撮像素子と、
    　前記レンズと、
    　前記第１範囲、前記第２範囲及び前記第３範囲のいずれかを、前記スイープ範囲に決定するスイープ範囲決定部と、
    　前記スイープ範囲に対応する前記像面側合焦点を求め、露光中に前記像面側合焦点間をフォーカススイープさせた画像が得られるよう前記レンズ又は前記撮像素子を駆動させることにより、前記撮像素子に前記スイープ画像を撮像させるスイープ撮像部とを備える
    　撮像装置。
  4. 　前記スイープ範囲決定部は、ユーザにより指定された指定範囲に基づき、前記第１範囲、前記第２範囲及び前記第３範囲のいずれかを、前記スイープ範囲に決定する
    　請求項３記載の撮像装置。
  5. 　前記スイープ範囲決定部は、前記指定範囲が、前記第１範囲、前記第２範囲及び前記第３範囲のいずれにも一致しない場合、前記第１範囲、前記第２範囲及び前記第３範囲のうち、前記指定範囲を全て含み、かつ最も狭い範囲を前記スイープ範囲に決定する
    　請求項４記載の撮像装置。
  6. 　前記スイープ撮像部は、前記撮像素子と前記レンズとの距離である像面側距離を変位させることにより、前記撮像素子の前記被写体側の焦点位置を変位させ、
    　前記被写体側の焦点位置を前記第１範囲でスイープさせるための前記像面側距離の変位量は、前記被写体側の焦点位置を前記第２範囲でスイープさせるための前記像面側距離の変位量と等しい
    　請求項３記載の撮像装置。
  7. 　撮像素子又は前記撮像素子に光を集光するレンズが駆動されることにより、合焦させたい所望の距離範囲を含むスイープ範囲に対応する像面側合焦点間を露光中にフォーカススイープされた、当該撮像素子により撮像されたスイープ画像に対して復元処理を施すことにより、被写界深度が拡張された復元画像を生成する画像復元方法であって、
    　（１）前記スイープ範囲が第１範囲である場合の前記スイープ画像である第１スイープ画像に対して復元処理を施すための第１ＰＳＦ（Ｐｏｉｎｔ　Ｓｐｒｅａｄ　Ｆｕｎｃｔｉｏｎ）と、（２）前記スイープ範囲が、前記第１範囲を含まない第２範囲である場合の前記スイープ画像である第２スイープ画像に対して復元処理を施すための第２ＰＳＦと、（３）前記スイープ範囲が、前記第１範囲と前記第２範囲とを合わせた範囲である第３範囲である場合の前記スイープ画像である第３スイープ画像に対して復元処理を施すための第３ＰＳＦとのうち、いずれか２つのＰＳＦを加算又は減算することにより、前記第１ＰＳＦ、前記第２ＰＳＦ及び前記第３ＰＳＦのうち残りの一つを算出するＰＳＦ算出ステップと、
    　前記第１ＰＳＦを用いて、前記第１スイープ画像に対して復元処理を施すことにより前記復元画像を生成し、前記第２ＰＳＦを用いて、前記第２スイープ画像に対して復元処理を施すことにより前記復元画像を生成し、前記第３ＰＳＦを用いて、前記第３スイープ画像に対して復元処理を施すことにより前記復元画像を生成する画像復元ステップとを含む
    　画像復元方法。
  8. 　請求項７記載の画像復元方法をコンピュータに実行させるための
    　プログラム。
  9. 　撮像素子又は前記撮像素子に光を集光するレンズが駆動されることにより、合焦させたい所望の距離範囲を含むスイープ範囲に対応する像面側合焦点間を露光中にフォーカススイープされた、当該撮像素子により撮像されたスイープ画像に対して復元処理を施すことにより、被写界深度が拡張された復元画像を生成する集積回路であって、
    　（１）前記スイープ範囲が第１範囲である場合の前記スイープ画像である第１スイープ画像に対して復元処理を施すための第１ＰＳＦ（Ｐｏｉｎｔ　Ｓｐｒｅａｄ　Ｆｕｎｃｔｉｏｎ）と、（２）前記スイープ範囲が、前記第１範囲を含まない第２範囲である場合の前記スイープ画像である第２スイープ画像に対して復元処理を施すための第２ＰＳＦと、（３）前記スイープ範囲が、前記第１範囲と前記第２範囲とを合わせた範囲である第３範囲である場合の前記スイープ画像である第３スイープ画像に対して復元処理を施すための第３ＰＳＦとのうち、いずれか２つのＰＳＦを記憶するＰＳＦ記憶部と、
    　前記２つのＰＳＦを加算又は減算することにより、前記第１ＰＳＦ、前記第２ＰＳＦ及び前記第３ＰＳＦのうち残りの一つを算出するＰＳＦ算出部と、
    　前記第１ＰＳＦを用いて、前記第１スイープ画像に対して復元処理を施すことにより前記復元画像を生成し、前記第２ＰＳＦを用いて、前記第２スイープ画像に対して復元処理を施すことにより前記復元画像を生成し、前記第３ＰＳＦを用いて、前記第３スイープ画像に対して復元処理を施すことにより前記復元画像を生成する画像復元部とを備える
    　集積回路。
PCT/JP2012/000582 2011-01-31 2012-01-30 画像復元装置、撮像装置及び画像復元方法 WO2012105222A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2012527551A JP5832433B2 (ja) 2011-01-31 2012-01-30 画像復元装置、撮像装置及び画像復元方法
US13/636,385 US8767092B2 (en) 2011-01-31 2012-01-30 Image restoration device, imaging apparatus, and image restoration method
EP12742400.0A EP2672696B1 (en) 2011-01-31 2012-01-30 Image restoration device, imaging device, and image restoration method
CN201280000943.3A CN102804751B (zh) 2011-01-31 2012-01-30 图像恢复装置、摄像装置以及图像恢复方法

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2011-018949 2011-01-31
JP2011018949 2011-01-31

Publications (1)

Publication Number Publication Date
WO2012105222A1 true WO2012105222A1 (ja) 2012-08-09

Family

ID=46602447

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2012/000582 WO2012105222A1 (ja) 2011-01-31 2012-01-30 画像復元装置、撮像装置及び画像復元方法

Country Status (5)

Country Link
US (1) US8767092B2 (ja)
EP (1) EP2672696B1 (ja)
JP (1) JP5832433B2 (ja)
CN (1) CN102804751B (ja)
WO (1) WO2012105222A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020016922A1 (ja) * 2018-07-17 2020-01-23 オリンパス株式会社 撮像システム、処理装置および内視鏡
US10718715B2 (en) 2016-03-25 2020-07-21 Olympus Corporation Microscopy system, microscopy method, and computer-readable storage medium

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9897776B2 (en) 2013-03-15 2018-02-20 Nokia Technologies Oy Apparatus, method and computer program for capturing images
JP6236908B2 (ja) * 2013-06-21 2017-11-29 株式会社リコー 撮像装置、撮像システムおよび撮像方法
JP6318520B2 (ja) * 2013-09-27 2018-05-09 株式会社リコー 撮像装置、撮像システムおよび撮像方法
JP6317635B2 (ja) * 2014-06-30 2018-04-25 株式会社東芝 画像処理装置、画像処理方法及び画像処理プログラム
WO2017217115A1 (ja) * 2016-06-17 2017-12-21 ソニー株式会社 画像処理装置、画像処理方法、プログラム、及び画像処理システム
US11422355B2 (en) * 2020-07-22 2022-08-23 Sartorius Bioanalytical Instruments, Inc. Method and system for acquisition of fluorescence images of live-cell biological samples

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007121896A (ja) * 2005-10-31 2007-05-17 Nikon Corp 焦点検出装置および光学システム
US20080013941A1 (en) 2006-07-14 2008-01-17 Micron Technology, Inc. Method and apparatus for increasing depth of field for an imager
JP2012005063A (ja) * 2010-06-21 2012-01-05 Sony Corp 撮像装置および方法、並びにプログラム

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE3905619C2 (de) 1988-02-23 2000-04-13 Olympus Optical Co Bildeingabe-/Ausgabevorrichtung
JP3191928B2 (ja) 1988-02-23 2001-07-23 オリンパス光学工業株式会社 画像入出力装置
DE3931934C2 (de) 1988-10-03 1994-11-10 Olympus Optical Co Bild-Ein/Ausgabevorrichtung
GB8917224D0 (en) 1989-07-27 1989-09-13 Unilever Plc Dispensing system
JPH03191928A (ja) 1989-12-20 1991-08-21 Matsushita Electric Ind Co Ltd 電気湯沸かし器
JP3084130B2 (ja) 1992-05-12 2000-09-04 オリンパス光学工業株式会社 画像入力装置
JP2004153497A (ja) 2002-10-30 2004-05-27 Kyocera Corp ディジタルカメラの自動露出制御システム
JP2006003803A (ja) * 2004-06-21 2006-01-05 Olympus Corp 合焦情報取得装置及び合焦情報取得方法
WO2007067999A2 (en) * 2005-12-09 2007-06-14 Amnis Corporation Extended depth of field imaging for high speed object analysis
JP5012135B2 (ja) * 2007-03-28 2012-08-29 コニカミノルタアドバンストレイヤー株式会社 超深度画像生成装置
WO2009120718A1 (en) * 2008-03-24 2009-10-01 The Trustees Of Columbia University In The City Of New York Methods, systems, and media for controlling depth of field in images
US8131097B2 (en) * 2008-05-28 2012-03-06 Aptina Imaging Corporation Method and apparatus for extended depth-of-field image restoration
CN101373271B (zh) * 2008-08-15 2011-08-10 北京泰邦天地科技有限公司 一种摄像系统和摄像方法
US8289438B2 (en) * 2008-09-24 2012-10-16 Apple Inc. Using distance/proximity information when applying a point spread function in a portable media device
US8593509B2 (en) * 2010-03-24 2013-11-26 Fujifilm Corporation Three-dimensional imaging device and viewpoint image restoration method
JP5869883B2 (ja) * 2010-06-17 2016-02-24 パナソニック株式会社 画像処理装置
CN101937561A (zh) * 2010-09-19 2011-01-05 华中科技大学 一种天基大视场成像点源/斑状目标的图像恢复增强方法
US9979941B2 (en) * 2011-01-14 2018-05-22 Sony Corporation Imaging system using a lens unit with longitudinal chromatic aberrations and method of operating
JP5882898B2 (ja) * 2011-03-14 2016-03-09 パナソニック株式会社 撮像装置、撮像方法、集積回路、コンピュータプログラム
TWI467226B (zh) * 2011-11-15 2015-01-01 Ind Tech Res Inst 相位物體顯微系統

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007121896A (ja) * 2005-10-31 2007-05-17 Nikon Corp 焦点検出装置および光学システム
US20080013941A1 (en) 2006-07-14 2008-01-17 Micron Technology, Inc. Method and apparatus for increasing depth of field for an imager
JP2012005063A (ja) * 2010-06-21 2012-01-05 Sony Corp 撮像装置および方法、並びにプログラム

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP2672696A4

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10718715B2 (en) 2016-03-25 2020-07-21 Olympus Corporation Microscopy system, microscopy method, and computer-readable storage medium
WO2020016922A1 (ja) * 2018-07-17 2020-01-23 オリンパス株式会社 撮像システム、処理装置および内視鏡
JPWO2020016922A1 (ja) * 2018-07-17 2021-08-26 オリンパス株式会社 撮像システム、処理装置および内視鏡
US11258941B2 (en) 2018-07-17 2022-02-22 Olympus Corporation Imaging system adapted to perform focal sweep imaging, processing apparatus, and endoscope
JP7036923B2 (ja) 2018-07-17 2022-03-15 オリンパス株式会社 撮像システム、処理装置および内視鏡

Also Published As

Publication number Publication date
EP2672696B1 (en) 2018-06-13
JPWO2012105222A1 (ja) 2014-07-03
US20130010160A1 (en) 2013-01-10
CN102804751B (zh) 2016-08-03
EP2672696A4 (en) 2015-07-08
EP2672696A1 (en) 2013-12-11
CN102804751A (zh) 2012-11-28
US8767092B2 (en) 2014-07-01
JP5832433B2 (ja) 2015-12-16

Similar Documents

Publication Publication Date Title
JP5832433B2 (ja) 画像復元装置、撮像装置及び画像復元方法
JP5367094B2 (ja) 撮像装置及びその制御方法
JP5588461B2 (ja) 撮像装置および撮像方法
JP6210333B2 (ja) 距離測定装置、及び、距離測定方法
KR20110036757A (ko) 화상 촬영 장치 및 그 거리 연산 방법과 합초 화상 취득 방법
JP5882898B2 (ja) 撮像装置、撮像方法、集積回路、コンピュータプログラム
US9674420B2 (en) Lens apparatus and image capturing apparatus
JP2011217368A (ja) 撮像装置、カメラ本体及び交換レンズ
US10536624B2 (en) Image pickup apparatus and image pickup method
JP2009111774A (ja) 撮像装置および画像処理方法
JP6642998B2 (ja) 像ズレ量算出装置、撮像装置、および像ズレ量算出方法
JP2012217090A (ja) 撮像装置、撮影レンズユニット、および撮像ユニット
JP2011053255A (ja) オートフォーカス装置、オートフォーカス方法及びプログラム
JP6305017B2 (ja) フォーカス制御装置、およびその制御方法
WO2013172030A1 (ja) 撮像装置、撮影レンズユニット、および撮像ユニット
JP6305016B2 (ja) フォーカス制御装置、フォーカス制御装置の制御方法及び撮像装置
JP6645690B2 (ja) 自動焦点調節装置、撮像装置、および自動焦点調節方法
JP5581177B2 (ja) 撮像位置調整装置および撮像装置
JP2018045101A (ja) 焦点調節装置、焦点調節方法、プログラム
WO2020054684A1 (en) Lens apparatus, image pickup apparatus, processing apparatus, and camera apparatus
JP2013246315A (ja) オートフォーカスシステムおよびプログラム
JP5741671B2 (ja) 撮像装置及び撮像方法
JP6171856B2 (ja) レンズ、撮像装置、及び光量低下補正方法
JP2020122923A (ja) レンズ装置および撮像装置
JP2018110287A (ja) 撮像装置、その制御方法、プログラム、及び記録媒体

Legal Events

Date Code Title Description
WWE Wipo information: entry into national phase

Ref document number: 201280000943.3

Country of ref document: CN

WWE Wipo information: entry into national phase

Ref document number: 2012527551

Country of ref document: JP

WWE Wipo information: entry into national phase

Ref document number: 2012742400

Country of ref document: EP

WWE Wipo information: entry into national phase

Ref document number: 13636385

Country of ref document: US

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 12742400

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE