WO2011132280A1 - 撮像装置及び撮像方法 - Google Patents

撮像装置及び撮像方法 Download PDF

Info

Publication number
WO2011132280A1
WO2011132280A1 PCT/JP2010/057103 JP2010057103W WO2011132280A1 WO 2011132280 A1 WO2011132280 A1 WO 2011132280A1 JP 2010057103 W JP2010057103 W JP 2010057103W WO 2011132280 A1 WO2011132280 A1 WO 2011132280A1
Authority
WO
WIPO (PCT)
Prior art keywords
subject
image
imaging
light
imaging apparatus
Prior art date
Application number
PCT/JP2010/057103
Other languages
English (en)
French (fr)
Inventor
由樹雄 平井
Original Assignee
富士通株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 富士通株式会社 filed Critical 富士通株式会社
Priority to PCT/JP2010/057103 priority Critical patent/WO2011132280A1/ja
Priority to CN201080066279.3A priority patent/CN102845052B/zh
Priority to JP2012511454A priority patent/JP5477464B2/ja
Publication of WO2011132280A1 publication Critical patent/WO2011132280A1/ja
Priority to US13/614,198 priority patent/US8860845B2/en

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/81—Camera processing pipelines; Components thereof for suppressing or minimising disturbance in the image signal generation
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0075—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for altering, e.g. increasing, the depth of field or depth of focus
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B2207/00—Coding scheme for general features or characteristics of optical elements and systems of subclass G02B, but not including elements and systems which would be classified in G02B6/00 and subgroups
    • G02B2207/125—Wavefront coding

Definitions

  • the present invention relates to an imaging apparatus and an imaging method.
  • An imaging device such as a camera mounted on a digital camera or a mobile phone generally performs imaging processing by imaging a subject on a two-dimensional imaging element such as a CCD (Charge Coupled Device) or a CMOS (Complementary Metal Oxide Semiconductor). I do.
  • a technique called WFC Wivefront Coding may be employed in such an imaging apparatus.
  • FIG. 10 is a diagram schematically illustrating an optical system of a conventional imaging apparatus in which WFC technology is employed.
  • the conventional imaging apparatus includes an optical system 90 and an imaging element 95.
  • lenses 91 to 93 and a phase plate 94 which is a light wavefront modulation element are arranged.
  • the phase plate 94 is arranged so that the phase plate 94 regularly disperses the light beam emitted from the subject to be imaged, and is applied to the light receiving surface of the image sensor 95. Deform the imaging. As a result, the image sensor 95 obtains an image out of focus (hereinafter sometimes referred to as “intermediate image”). Then, the imaging apparatus generates a subject image by performing digital processing such as an inverse filter on the intermediate image captured by the imaging element 95.
  • the intermediate image obtained by the imaging device employing the WFC technology has a small amount of fluctuation in the degree of blur even when the relative position between the imaging device and the subject varies.
  • the fluctuation amount of the blur degree is small between the intermediate image when the distance between the imaging device and the subject is H1 and the intermediate image when the distance between the imaging device and the subject is H2 (> H1).
  • An imaging apparatus employing the WFC technology can expand the depth of field by generating a subject image by performing digital processing on such an intermediate image with a small fluctuation amount of the blur degree.
  • FIGS. 11 and 12 are diagrams showing examples of the shape of the conventional phase plate 94 shown in FIG.
  • FIG. 12 shows the shape of the phase plate 94 viewed from the Z-axis direction of FIG.
  • a phase plate 94 having the shape illustrated in FIGS. 11 and 12 is used in a conventional imaging apparatus employing the WFC technology.
  • the shape of such a conventional phase plate 94 is represented by the following formula (1), for example.
  • phase plate 94 having the shape represented by the above formula (1) has a phase distribution orthogonal to the X-axis direction and the Y-axis direction. Specifically, the light that has passed through the phase plate 94 is focused on a region of the light receiving surface of the image sensor 95 that is orthogonal to the X-axis direction and the Y-axis direction.
  • phase distribution of the phase plate 94 is expressed by, for example, the following formula (2).
  • the PSF (Point Spread Function) of the optical system 90 including such a phase plate 94 is dispersed in two directions, the X-axis direction and the Y-axis direction, as in the example shown in FIG. Is asymmetric.
  • a conventional imaging apparatus acquires an intermediate image using such an optical system 90 having a PSF, and generates a subject image by performing digital processing on the intermediate image.
  • the subject image generated by the conventional imaging device may include a ghost.
  • G which is the result of Fourier transform of PSF “g”
  • OTF Optical Transfer Function
  • MTF Modulation Transfer Function
  • the conventional imaging device When the conventional imaging device performs digital processing on the intermediate image “h” to obtain the subject image “f”, for example, “H” that is the result of Fourier transform of the intermediate image “h”
  • the inverse filter “H inv ” of OTF “G” is multiplied, and the multiplication result is inverse Fourier transformed.
  • the conventional imaging apparatus calculates the subject image “F” after Fourier transform by performing multiplication represented by the following equation (5).
  • the conventional imaging device generates a subject image “f” by performing inverse Fourier transform on the subject image “F”.
  • the inverse filter “H inv ” shown in the following equation (5) is represented by the following equation (6).
  • the conventional imaging apparatus may generate the subject image “f” by performing inverse Fourier transform on the inverse filter “H inv ” to obtain the inverse kernel “h inv ”.
  • the conventional imaging device generates a subject image “f” by performing a convolution operation between the intermediate image “h” and the inverse kernel “h inv ” as shown in the following Expression (7). May be.
  • the MTF does not become “0” until the spatial frequency becomes high, and the MTF is even when the focal position changes. There is a characteristic that the amount of fluctuation is small.
  • the PSF of the conventional optical system 90 is dispersed in the orthogonal X-axis direction and Y-axis direction. Therefore, the absolute value MTF of OTF “G” calculated by Fourier transforming PSF “g” may be a value close to “0” in a region between the X-axis direction and the Y-axis direction.
  • the MTF may be a value close to “0” in the region A11 or the like between the X-axis direction and the Y-axis direction.
  • the inverse filter “H inv ” expressed by Equation (6) may have a large value in a region between the X-axis direction and the Y-axis direction, as in the example illustrated in FIG.
  • a ghost may occur in the region between the X-axis direction and the Y-axis direction of the subject image “f”.
  • FIG. 15 illustrates an example of a subject image generated using the inverse filter illustrated in FIG. In the example shown in FIG. 15, a ghost is generated in the areas A21 to A26 of the subject image.
  • the PSF of the optical system is dispersed in two directions of the X axis direction and the Y axis direction, and thus the generated subject image includes a ghost. There is. That is, there are cases in which a conventional image pickup apparatus employing the WFC technology cannot generate a subject image with high accuracy.
  • the disclosed technique has been made in view of the above, and an object thereof is to provide an imaging apparatus and an imaging method capable of generating a subject image with high accuracy.
  • an imaging device disclosed in the present application includes an optical wavefront modulation element that disperses a light beam emitted from a subject in three or more directions, and an image sensor that receives and forms an image by receiving the light beam dispersed by the light wavefront modulation element And a generation unit that generates an image of the subject by performing processing corresponding to the dispersion on the subject image obtained by being imaged by the imaging element.
  • FIG. 1 is a block diagram illustrating a configuration example of the imaging apparatus according to the first embodiment.
  • FIG. 2 is a block diagram illustrating a configuration example of the imaging apparatus according to the second embodiment.
  • FIG. 3 is a diagram illustrating an example of the shape of the phase plate in the second embodiment.
  • FIG. 4 is a diagram illustrating an example of the shape of the phase plate in the second embodiment.
  • FIG. 5 is a diagram illustrating an example of a PSF included in the optical system according to the second embodiment.
  • FIG. 6 is a diagram illustrating an example of an inverse filter according to the second embodiment.
  • FIG. 7 is a diagram illustrating an example of a subject image generated by the imaging apparatus according to the second embodiment.
  • FIG. 1 is a block diagram illustrating a configuration example of the imaging apparatus according to the first embodiment.
  • FIG. 2 is a block diagram illustrating a configuration example of the imaging apparatus according to the second embodiment.
  • FIG. 3 is a diagram illustrating an example of the shape of the phase plate
  • FIG. 8 is a diagram illustrating the depth of field characteristics of the imaging apparatus according to the second embodiment.
  • FIG. 9 is a flowchart illustrating an imaging process procedure performed by the imaging apparatus according to the second embodiment.
  • FIG. 10 is a diagram schematically illustrating an optical system of a conventional imaging apparatus in which WFC technology is employed.
  • FIG. 11 is a diagram showing an example of the shape of the conventional phase plate shown in FIG.
  • FIG. 12 is a diagram showing an example of the shape of the conventional phase plate shown in FIG.
  • FIG. 13 is a diagram illustrating an example of a PSF included in a conventional optical system.
  • FIG. 14 is a diagram illustrating an example of a conventional inverse filter.
  • FIG. 15 is a diagram illustrating an example of a conventional subject image.
  • FIG. 1 is a block diagram illustrating a configuration example of the imaging apparatus according to the first embodiment.
  • the imaging apparatus 1 according to the first embodiment includes an optical system 10, an imaging element 20, and a generation unit 30.
  • the optical system 10 makes light emitted from a subject to be photographed incident on the image sensor 20.
  • the optical system 10 includes lenses 11 and 12 and a light wavefront modulation element 13.
  • the lens 11 refracts light emitted from the subject.
  • the light wavefront modulation element 13 disperses the luminous flux of the subject irradiated through the lens 11 in three or more directions, and the dispersed luminous flux enters the image sensor 20 via the lens 12.
  • the light wavefront modulation element 13 forms an image of the light flux of the subject on a region of the light receiving surface of the imaging element 20 that is dispersed in three or more directions from an arbitrary position.
  • the imaging element 20 receives the light beam dispersed by the light wavefront modulation element 13 and forms an image.
  • the generation unit 30 generates a subject image by performing digital processing on a subject image obtained by being imaged by the image sensor 20. In other words, the generation unit 30 restores the subject image from the subject image that is an intermediate image.
  • the imaging apparatus 1 according to the first embodiment disperses light beams emitted from the subject in three or more directions, and forms an image of the dispersed light beams.
  • the imaging apparatus 1 according to the first embodiment has fewer regions in which the MTF has a value close to “0” during digital processing, as compared with the imaging apparatus in which the PSF illustrated in FIG. 13 is dispersed in two directions. That is, since the imaging apparatus 1 according to the first embodiment has a small area where the inverse filter “H inv ” has a large value, the area affected by noise can be reduced, and as a result, a ghost is generated in the subject image. This can be prevented. For this reason, the imaging apparatus 1 according to the first embodiment can generate a subject image with high accuracy.
  • Example 2 an example of an imaging apparatus having PSFs distributed in three directions will be described.
  • a configuration example of the imaging apparatus according to the second embodiment, a depth-of-field characteristic of the imaging apparatus according to the second embodiment, and an imaging process procedure performed by the imaging apparatus according to the second embodiment will be described in order.
  • FIG. 2 is a block diagram illustrating a configuration example of the imaging apparatus according to the second embodiment.
  • 2 is, for example, a digital camera, a camera mounted on a portable information terminal such as a mobile phone, a camera mounted on an image inspection apparatus, an industrial camera for automatic control, or the like.
  • the imaging apparatus 100 includes an optical system 110, an imaging element 120, an ADC (Analog To Digital Converter) 130, a timing control unit 140, an image processing unit 150, a signal, A processing unit 160 and a control unit 170 are included.
  • ADC Analog To Digital Converter
  • the optical system 110 makes light emitted from a subject to be photographed incident on the image sensor 120.
  • the optical system 110 includes lenses 111 to 113 and a phase plate 114.
  • the lenses 111 and 112 refract light emitted from the subject to be imaged.
  • the phase plate 114 is, for example, an optical wavefront modulation element, and disperses the luminous flux of the subject irradiated through the lenses 111 and 112 in three directions.
  • the light beam dispersed by the phase plate 114 forms an image on the image sensor 120 via the lens 113.
  • the phase plate 114 forms an image of the light flux of the subject on a region of the light receiving surface of the image sensor 120 that is dispersed in three directions from an arbitrary position.
  • FIGS. 3 and 4 are diagrams illustrating examples of the shape of the phase plate 114 in the second embodiment.
  • the phase plate 114 shown in FIG. 3 is arranged so that the XY plane of the phase plate 114 and the lens 112 and the lens 113 face each other.
  • the phase plate 114 is inserted into the optical system 110 so that the lens 112 and the lens 113 are arranged in the Z-axis direction.
  • the surface shape of the phase plate 114 is a shape in which three combinations of protruding convex portions and concave concave portions are formed.
  • the surface shape of the phase plate 114 has a convex portion projecting in the direction in which the lens 112 is located on the periphery of the XY plane, and a recess in the direction in which the lens 112 is located. This is a shape in which three combinations with the recessed portions are formed.
  • the phase plate 114 has three sets of convex portions protruding in the direction approaching the lens 112 and convex portions protruding in the direction away from the lens 112 alternately on the periphery of the XY plane. Shape.
  • the shape of such a phase plate 114 is represented by the following formula (8), for example.
  • phase plate 114 having the shape represented by the above formula (8) has a phase distribution dispersed in three directions from an arbitrary position on the XY plane. Specifically, the phase distribution of the phase plate 114 is expressed by, for example, the following formula (9).
  • ⁇ 1 , ⁇ 2 , ⁇ 3 , ⁇ 4 shown in the above formula (9) are arbitrary coefficients.
  • ⁇ 1 is “0.0196”
  • ⁇ 2 is “ ⁇ 0.1363”
  • ⁇ 3 is “ ⁇ 0.0288”
  • ⁇ 4 is “0.0373”.
  • the phase plate 114 in the second embodiment has a shape as illustrated in FIGS. 3 and 4 and has the phase distribution illustrated in the above formula (8), so that the light beam emitted from the subject can be dispersed in three directions. it can.
  • the image sensor 120 forms an image of the light beam incident from the optical system 110. Specifically, the image sensor 120 receives the light beam dispersed by the phase plate 114 through the lens 113 and forms an image.
  • Such an image sensor 120 is, for example, a CCD or a CMOS. Note that the subject image obtained by being imaged by the imaging device 120 is a blurred image in an out-of-focus state and an intermediate image because the light flux is dispersed by the phase plate 114.
  • the ADC 130 converts the intermediate image of the analog signal input from the image sensor 120 into a digital signal, and outputs the intermediate image converted into the digital signal to the image processing unit 150.
  • the timing control unit 140 controls the drive timing of the image sensor 120 and the ADC 130 in accordance with instructions from the signal processing unit 160.
  • the image processing unit 150 performs a digital process on the intermediate image of the digital signal input from the ADC 130 to generate a subject image.
  • the image processing unit 150 includes a buffer 151, a storage unit 152, a convolution operation control unit 153, and a convolution operation unit 154.
  • the buffer 151 stores an intermediate image of the digital signal input from the ADC 130.
  • the storage unit 152 stores kernel data for convolution calculation determined by the PSF of the optical system 110. Specifically, the storage unit 152 stores kernel data “h inv ” obtained by performing an inverse Fourier transform on an inverse filter “H inv ” of OTF “G” that is a result of Fourier transform of PSF “g”. For example, the storage unit 152 stores kernel data “h inv ” in association with the optical magnification. For example, the storage unit 152 stores kernel data “h inv ” in association with distance information between the imaging device 100 and the subject.
  • the convolution operation control unit 153 performs replacement control of kernel data used for the convolution operation in accordance with control by the control unit 170. Specifically, the convolution calculation control unit 153 uses the kernel data used for the convolution calculation among the kernel data stored in the storage unit 152 based on the exposure information determined when the exposure is set by the control unit 170 described later. Select.
  • the convolution operation unit 154 generates a subject image “f” by performing a convolution operation on the intermediate image of the digital signal stored in the buffer 151 based on the kernel data selected by the convolution operation control unit 153. To do. For example, when the intermediate image is “h” and the kernel data selected by the convolution operation control unit 153 is “h inv ”, the convolution operation unit 154 performs the convolution operation shown in the above equation (7). Thus, the subject image “f” is generated.
  • FIG. 2 shows an example in which the convolution operation unit 154 generates a subject image by performing a convolution operation on the digital signal of the intermediate image based on the kernel data stored in the storage unit 152.
  • the image processing unit 150 according to the second embodiment may generate a subject image by performing processing other than the above example.
  • the storage unit 152 may store the inverse filter “H inv ” shown in the above equation (6) in association with the optical magnification or the like. Then, the convolution calculation control unit 153 selects a reverse filter for calculation from the reverse filters stored in the storage unit 152 based on the exposure information and the like determined by the control unit 170. Then, the convolution operation unit 154 performs the multiplication shown in the above equation (5) using the inverse filter selected by the convolution operation control unit 153 and the intermediate image of the digital signal stored in the buffer 151. Then, the convolution operation unit 154 may generate the subject image “f” by performing inverse Fourier transform on the multiplication result.
  • the signal processing unit 160 performs color interpolation processing, white balance, YCbCr conversion processing, and the like on the subject image generated by the image processing unit 150. Further, the signal processing unit 160 stores the subject image subjected to the color interpolation processing or the like in a memory (not shown) or controls display on a display unit (not shown).
  • the signal processing unit 160 is, for example, a DSP (Digital Signal Processor).
  • the control unit 170 controls the entire imaging apparatus 100. Specifically, the control unit 170 controls the exposure of the light to the image sensor 120 or the ADC 130, the image processing unit 150, and the signal processing unit 160 according to the operation content input to the operation unit (not shown). Control the operation.
  • FIG. 5 is a diagram illustrating an example of a PSF included in the optical system 110 according to the second embodiment.
  • FIG. 6 is a diagram illustrating an example of an inverse filter according to the second embodiment.
  • FIG. 7 is a diagram illustrating an example of a subject image generated by the imaging apparatus 100 according to the second embodiment.
  • the PSF of the optical system 110 is dispersed in three directions.
  • MTF which is the result of Fourier transform of such PSF, has a symmetric property and a smaller area close to “0” than MTF obtained by Fourier transform of PSF dispersed in two orthogonal directions.
  • the inverse filter “H inv ” used by the imaging apparatus 100 according to the second embodiment has symmetry as in the example illustrated in FIG. For this reason, the inverse filter “H inv ” used by the imaging apparatus 100 according to the second embodiment has a smaller area susceptible to noise as compared to the example illustrated in FIG. 14.
  • FIG. 7 shows an example of a subject image generated by the convolution operation unit 154. As shown in FIG. 7, the subject image generated by the convolution operation unit 154 does not cause a ghost compared to the subject image shown in FIG. 15. From the above, the imaging apparatus 100 according to the second embodiment can generate a subject image with high accuracy.
  • FIG. 8 is a diagram illustrating the depth of field characteristics of the imaging apparatus 100 according to the second embodiment.
  • the imaging device 100 according to the second embodiment and the imaging device in which the PSF is distributed in two directions will be compared to describe the depth of field characteristics.
  • the distance between the imaging device and the subject is changed to “z1” and “z2”, and the square sum of the OTF differences is used as the evaluation function.
  • the evaluation function EF Error Function
  • the PSF dispersed in three directions as in the optical system 110 in the second embodiment has a smaller MTF difference according to the subject distance than the PSF dispersed in two orthogonal directions.
  • the imaging device 100 according to the second embodiment can improve the depth of field characteristics as compared with the imaging device in which the PSF is distributed in two directions.
  • FIG. 9 is a flowchart illustrating an imaging process procedure performed by the imaging apparatus 100 according to the second embodiment.
  • the control unit 170 performs exposure control on the imaging element 120, and the ADC 130 and image processing are performed.
  • the operations of the unit 150 and the signal processing unit 160 are controlled.
  • the phase plate 114 disperses the luminous flux of the subject irradiated through the lenses 111 and 112 in three directions (step S102). Then, the light beam dispersed by the phase plate 114 forms an image on the image sensor 120 through the lens 113 (step S103). Thereby, the imaging apparatus 100 can obtain an intermediate image corresponding to the subject image to be photographed. Subsequently, the image processing unit 150 generates a subject image by performing a convolution operation on the intermediate image of the digital signal based on the kernel data (step S104).
  • the imaging apparatus 100 according to the second embodiment includes the optical system 110 in which the PSF is dispersed in three directions, there are few regions where the MTF has a value close to “0” during digital processing. That is, since the imaging apparatus 100 according to the second embodiment has a small area where the inverse filter has a large value, the area affected by noise can be reduced, and as a result, a ghost is prevented from being generated in the subject image. be able to. For this reason, the imaging apparatus 100 according to the second embodiment can generate a subject image with high accuracy.
  • phase plate 114 of the imaging apparatus 100 has the shape illustrated in FIGS. 3 and 4, the light beam emitted from the subject can be dispersed in three directions.
  • phase plate 114 of the imaging apparatus 100 has a phase distribution represented by the above formula (9), the light beam emitted from the subject can be dispersed in three directions.
  • the phase plate 114 may disperse light beams emitted from the subject in four or more directions.
  • the surface shape of the phase plate 114 includes a convex portion that protrudes in the direction in which the lens 112 is located on the periphery of the XY plane, and a concave portion that is recessed in the direction in which the lens 112 is located. This can be realized by forming four or more combinations.
  • the phase plate 114 has the shape illustrated in FIGS. 3 and 4 to disperse the light beam emitted from the subject in three directions.
  • the phase plate 114 may be anything as long as it deforms the wavefront.
  • the phase plate 114 may be an optical element such as a gradient index wavefront modulation lens whose refractive index changes.
  • the optical system 110 has the phase plate 114.
  • the lens 111, the lens 112, and the like of the optical system 110 may be integrated with the phase plate 114 so that the light beam emitted from the subject is dispersed in three directions.
  • the light beam emitted from the subject may be dispersed in three directions.

Abstract

　被写体画像を高精度に生成することができる撮像装置及び撮像方法を提供することを課題とする。かかる課題を解決するために、例えば、撮像装置が、被写体から発せられる光束をレンズ及び光波面変調素子により撮像素子に対して３方向以上に分散させ、分散された光束を撮像素子により結像して被写体像を取得する。そして、撮像装置が、逆フィルタ等に基づいて、かかる被写体像に対してデジタル処理を施すことにより被写体の画像を生成する。

Description

撮像装置及び撮像方法
　本発明は、撮像装置及び撮像方法に関する。
　デジタルカメラや携帯電話機に搭載されているカメラ等の撮像装置は、一般に、ＣＣＤ（Charge　Coupled　Device）やＣＭＯＳ（Complementary　Metal　Oxide　Semiconductor）等の二次元撮像素子上に被写体を結像することにより撮像処理を行う。近年、このような撮像装置には、ＷＦＣ（Wavefront　Coding）と呼ばれる技術が採用される場合がある。
　ここで、図１０を用いて、ＷＦＣ技術が採用される撮像装置について説明する。図１０は、ＷＦＣ技術が採用される従来の撮像装置の光学系を模式的に示す図である。図１０に示すように、従来の撮像装置は、光学系９０と、撮像素子９５とを有する。光学系９０には、レンズ９１～９３と、光波面変調素子である位相板９４とが配置される。
　図１０に示した例において、仮に、位相板９４が存在しない場合には、レンズ９１～９３は、撮影対象の被写体から発せられる光を収束させる。一方、図１０に示した例のように、位相板９４が配置されることにより、位相板９４は、撮影対象の被写体から発せられる光束を規則的に分散し、撮像素子９５の受光面への結像を変形させる。これにより、撮像素子９５は、ピントがずれた状態の画像（以下、「中間画像」と表記する場合がある）を得ることになる。そして、撮像装置は、撮像素子９５により撮像された中間画像に対して、逆フィルタ等のデジタル処理を施すことにより、被写体の画像を生成する。
　ＷＦＣ技術が採用される撮像装置によって得られる中間画像は、撮像装置と被写体との相対位置が変動した場合であっても、ボケ度合いの変動量が小さい。例えば、撮像装置と被写体との距離がＨ１である場合における中間画像と、撮像装置と被写体との距離がＨ２（＞Ｈ１）である場合における中間画像とは、ボケ度合いの変動量が小さい。ＷＦＣ技術が採用される撮像装置は、このようなボケ度合いの変動量が小さい中間画像に対してデジタル処理を施して被写体画像を生成することにより、被写界深度を拡大することができる。
特開２００８－１０９５４２号公報 特開２００３－２３５７９４号公報
Edward　R.Dowski,　Jr.,　and　W.Thomas　Cathey,　"Extended　depth　of　field　through　wave-front　coding",　Applied　Optics,　vol.34,　no　11,pp.　1859-1866,　April,　1995.
　しかしながら、上記の従来技術には、被写体画像を高精度に生成できないおそれがあるという問題がある。かかる問題について、図１１～図１５を用いて具体的に説明する。図１１及び図１２は、図１０に示した従来の位相板９４の形状例を示す図である。なお、図１２は、図１１のＺ軸方向から見た位相板９４の形状を示す。一般に、ＷＦＣ技術が採用される従来の撮像装置には、図１１及び図１２に例示した形状の位相板９４が用いられる。このような従来の位相板９４の形状は、例えば、以下の式（１）により表される。
Figure JPOXMLDOC01-appb-M000001
　上記式（１）に示した「Ａ」は、任意の係数である。上記式（１）で表される形状の位相板９４は、Ｘ軸方向とＹ軸方向とに直交した位相分布を有する。具体的には、位相板９４を通過した光は、撮像素子９５の受光面のうち、主にＸ軸方向とＹ軸方向とに直交した領域に結像される。このような位相板９４の位相分布は、例えば、以下の式（２）により表される。
Figure JPOXMLDOC01-appb-M000002
　すなわち、このような位相板９４を含む光学系９０のＰＳＦ（Point　Spread　Function：点像分布関数）は、図１３に示した例のように、Ｘ軸方向とＹ軸方向との２方向に分散されており、非対称となる。従来の撮像装置は、このようなＰＳＦを有する光学系９０を用いて中間画像を取得し、かかる中間画像に対してデジタル処理を施すことにより被写体画像を生成する。このとき、光学系９０のＰＳＦがＸ軸方向とＹ軸方向とに分散されていることが原因で、従来の撮像装置によって生成された被写体画像にはゴーストが含まれる場合がある。
　この点について、具体的に説明する。まず、中間画像を「ｈ」とし、ＰＳＦを「ｇ」とし、被写体画像を「ｆ」とした場合に、「ｈ」、「ｇ」及び「ｆ」には以下の関係式（３）が成り立つ。
Figure JPOXMLDOC01-appb-M000003
　上記式（３）に示した「＊」は、畳み込み演算（convolution）を示す。そして、上記式（３）をフーリエ変換すると、以下の式（４）によって表される。
Figure JPOXMLDOC01-appb-M000004
　上記式（４）のうち、ＰＳＦ「ｇ」をフーリエ変換した結果である「Ｇ」は、ＯＴＦ（Optical　Transfer　Function：光学伝達関数）であり、結像光学系の空間周波数伝達特性を表す。なお、ＯＴＦの絶対値は、ＭＴＦ（Modulation　Transfer　Function）と呼ばれる。
　従来の撮像装置は、中間画像「ｈ」に対してデジタル処理を施して被写体画像「ｆ」を求める場合に、例えば、中間画像「ｈ」をフーリエ変換した結果である「Ｈ」に対して、ＯＴＦ「Ｇ」の逆フィルタ「Ｈｉｎｖ」を乗算し、乗算結果を逆フーリエ変換する。具体的には、従来の撮像装置は、以下の式（５）によって表される乗算を行うことにより、フーリエ変換後の被写体画像「Ｆ」を算出する。そして、従来の撮像装置は、被写体画像「Ｆ」を逆フーリエ変換することにより、被写体画像「ｆ」を生成する。なお、以下の式（５）に示した逆フィルタ「Ｈｉｎｖ」は、以下の式（６）により表される。
Figure JPOXMLDOC01-appb-M000005
Figure JPOXMLDOC01-appb-M000006
　なお、従来の撮像装置は、逆フィルタ「Ｈｉｎｖ」を逆フーリエ変換して、逆カーネル「ｈｉｎｖ」を求めて、被写体画像「ｆ」を生成してもよい。具体的には、従来の撮像装置は、以下の式（７）に示すように、中間画像「ｈ」と逆カーネル「ｈｉｎｖ」との畳み込み演算を行うことにより被写体画像「ｆ」を生成してもよい。
Figure JPOXMLDOC01-appb-M000007
　ここで、図１１及び図１２に例示した形状の位相板９４が用いられるＷＦＣでは、空間周波数が高域になるまでＭＴＦが「０」にならず、焦点位置が変動した場合であってもＭＴＦの変動量が小さいという特性がある。しかし、図１３に示した例のように、従来の光学系９０のＰＳＦは、直交するＸ軸方向とＹ軸方向とに分散している。したがって、ＰＳＦ「ｇ」をフーリエ変換することにより算出されるＯＴＦ「Ｇ」の絶対値ＭＴＦは、Ｘ軸方向とＹ軸方向との間の領域において「０」に近い値となる場合がある。図１３に示した例では、Ｘ軸方向とＹ軸方向との間の領域Ａ１１等において、ＭＴＦは「０」に近い値になる場合がある。
　このため、上記式（６）で表される逆フィルタ「Ｈｉｎｖ」は、図１４に示した例のように、Ｘ軸方向とＹ軸方向の間の領域において大きい値になる場合がある。その結果、Ｘ軸方向とＹ軸方向の間の領域はノイズの影響を受けやすくなるので、被写体画像「ｆ」のＸ軸方向とＹ軸方向との間の領域にゴーストが生じる場合がある。図１５に、図１４に例示した逆フィルタを用いて生成された被写体画像の一例を示す。図１５に示した例では、被写体画像の領域Ａ２１～Ａ２６等にゴーストが生じている。
　以上のように、ＷＦＣ技術が採用される従来の撮像装置には、光学系のＰＳＦがＸ軸方向とＹ軸方向との２方向に分散されるので、生成した被写体画像にゴーストが含まれる場合がある。すなわち、ＷＦＣ技術が採用される従来の撮像装置には、被写体画像を高精度に生成できない場合がある。
　開示の技術は、上記に鑑みてなされたものであって、被写体画像を高精度に生成することができる撮像装置及び撮像方法を提供することを目的とする。
　本願の開示する撮像装置は、一つの態様において、被写体から発せられる光束を３方向以上に分散させる光波面変調素子と、前記光波面変調素子により分散された光束を受光して結像する撮像素子と、前記撮像素子により結像されて得られる被写体像に対して前記分散に対応する処理を施すことにより前記被写体の画像を生成する生成部とを備える。
　本願の開示する撮像装置の一つの態様によれば、被写体画像を高精度に生成することができるという効果を奏する。
図１は、実施例１に係る撮像装置の構成例を示すブロック図である。 図２は、実施例２に係る撮像装置の構成例を示すブロック図である。 図３は、実施例２における位相板の形状例を示す図である。 図４は、実施例２における位相板の形状例を示す図である。 図５は、実施例２における光学系が有するＰＳＦの一例を示す図である。 図６は、実施例２における逆フィルタの一例を示す図である。 図７は、実施例２に係る撮像装置により生成される被写体画像の一例を示す図である。 図８は、実施例２に係る撮像装置における被写界深度特性を示す図である。 図９は、実施例２に係る撮像装置による撮像処理手順を示すフローチャートである。 図１０は、ＷＦＣ技術が採用される従来の撮像装置の光学系を模式的に示す図である。 図１１は、図１０に示した従来の位相板の形状例を示す図である。 図１２は、図１０に示した従来の位相板の形状例を示す図である。 図１３は、従来の光学系が有するＰＳＦの一例を示す図である。 図１４は、従来の逆フィルタの一例を示す図である。 図１５は、従来の被写体画像の一例を示す図である。
　以下に、本願の開示する撮像装置及び撮像方法の実施例を図面に基づいて詳細に説明する。なお、この実施例により本願の開示する撮像装置及び撮像方法が限定されるものではない。
　まず、図１を用いて、実施例１に係る撮像装置について説明する。図１は、実施例１に係る撮像装置の構成例を示すブロック図である。図１に示すように、実施例１に係る撮像装置１は、光学系１０と、撮像素子２０と、生成部３０とを有する。光学系１０は、撮影対象の被写体から発せられる光を撮像素子２０に入射する。具体的には、光学系１０は、レンズ１１及び１２と、光波面変調素子１３とを有する。
　レンズ１１は、被写体から発せられる光を屈折させる。光波面変調素子１３は、レンズ１１を介して照射される被写体の光束を３方向以上に分散させ、分散させた光束をレンズ１２を介して撮像素子２０に入射する。例えば、光波面変調素子１３は、撮像素子２０の受光面のうち、任意の位置から３方向以上に分散した領域に対して、被写体の光束を結像させる。
　撮像素子２０は、光波面変調素子１３により分散された光束を受光して結像する。生成部３０は、撮像素子２０により結像されて得られる被写体像に対してデジタル処理を施すことにより被写体画像を生成する。言い換えれば、生成部３０は、中間画像である被写体像から被写体画像を復元する。
　このように、実施例１に係る撮像装置１は、被写体から発せられる光束を３方向以上に分散させ、分散させた光束を結像する。これにより、実施例１に係る撮像装置１は、図１３に示したＰＳＦが２方向に分散する撮像装置と比較して、デジタル処理時にＭＴＦが「０」に近い値となる領域が少ない。すなわち、実施例１に係る撮像装置１は、逆フィルタ「Ｈｉｎｖ」が大きい値になる領域が少ないので、ノイズの影響を受ける領域を少なくすることができ、その結果、被写体画像にゴーストが生じることを防止することができる。このようなことから、実施例１に係る撮像装置１は、被写体画像を高精度に生成することができる。
　次に、実施例２では、３方向に分散したＰＳＦを有する撮像装置の例について説明する。以下では、実施例２に係る撮像装置の構成例、実施例２に係る撮像装置の被写界深度特性、実施例２に係る撮像装置による撮像処理手順について順に説明する。
［実施例２に係る撮像装置の構成］
　まず、図２を用いて、実施例２に係る撮像装置について説明する。図２は、実施例２に係る撮像装置の構成例を示すブロック図である。図２に示した撮像装置１００は、例えば、デジタルカメラ、携帯電話機等の携帯情報端末に搭載されるカメラ、画像検査装置に搭載されるカメラ、自動制御用産業カメラ等である。
　図２に示すように、実施例２に係る撮像装置１００は、光学系１１０と、撮像素子１２０と、ＡＤＣ（Analog　To　Digital　Converter）１３０と、タイミング制御部１４０と、画像処理部１５０と、信号処理部１６０と、制御部１７０とを有する。
　光学系１１０は、撮影対象の被写体から発せられる光を撮像素子１２０に入射する。具体的には、光学系１１０は、レンズ１１１～１１３と、位相板１１４とを有する。レンズ１１１及び１１２は、撮影対象の被写体から発せられる光を屈折させる。
　位相板１１４は、例えば光波面変調素子であり、レンズ１１１及び１１２を介して照射される被写体の光束を３方向に分散させる。そして、位相板１１４によって分散された光束は、レンズ１１３を介して、撮像素子１２０に結像される。具体的には、位相板１１４は、撮像素子１２０の受光面のうち、任意の位置から３方向に分散した領域に対して、被写体の光束を結像させる。
　ここで、図３及び図４を用いて、位相板１１４の形状について説明する。図３及び図４は、実施例２における位相板１１４の形状例を示す図である。図３に示した位相板１１４は、位相板１１４のＸＹ面とレンズ１１２やレンズ１１３とが対向するように配置される。言い換えれば、位相板１１４は、Ｚ軸方向にレンズ１１２やレンズ１１３が配置されるように光学系１１０に挿入される。なお、図３に示した例では、図中の上方にレンズ１１１及び１１２が位置し、図中の下方にレンズ１１３や撮像素子１２０が位置するものとする。
　図３及び図４に示すように、位相板１１４の表面形状は、突起している凸部と窪んでいる凹部との組合せが３個形成される形状である。図３及び図４に示した例では、位相板１１４の表面形状は、ＸＹ面の周縁に、レンズ１１２が位置する方向に突起している凸部と、レンズ１１２が位置する方向に対して窪んでいる凹部との組合せが３個形成される形状である。言い換えれば、位相板１１４は、ＸＹ面の周縁に、レンズ１１２に近づく方向に突起している凸部と、レンズ１１２から離れる方向に突起している凸部とが交互に繰り返して３組形成される形状である。このような位相板１１４の形状は、例えば、以下の式（８）により表される。
Figure JPOXMLDOC01-appb-M000008
　上記式（８）に示した「Ａ」は、任意の係数である。上記式（８）で表される形状の位相板１１４は、ＸＹ平面上における任意の位置から３方向に分散した位相分布を有する。具体的には、位相板１１４の位相分布は、例えば、以下の式（９）により表される。
Figure JPOXMLDOC01-appb-M000009
　上記式（９）に示したα１、α２、α３、α４は、任意の係数である。例えば、α１は「０．０１９６」であり、α２は「－０．１３６３」であり、α３は「－０．０２８８」であり、α４は「０．０３７３」である。
　実施例２における位相板１１４は、図３及び図４に例示したような形状であり、上記式（８）に例示する位相分布を有するので、被写体から発せられる光束を３方向に分散させることができる。
　図２の説明に戻って、撮像素子１２０は、光学系１１０から入射される光束を結像する。具体的には、撮像素子１２０は、位相板１１４によって分散された光束をレンズ１１３を介して受光して結像する。かかる撮像素子１２０は、例えば、ＣＣＤやＣＭＯＳ等である。なお、撮像素子１２０によって結像されて得られる被写体像は、位相板１１４によって光束が分散されているので、ピントがずれた状態のボケた画像であり、中間画像となる。
　ＡＤＣ１３０は、撮像素子１２０から入力されるアナログ信号の中間画像をデジタル信号に変換し、デジタル信号に変換後の中間画像を画像処理部１５０に出力する。タイミング制御部１４０は、信号処理部１６０による指示に従って、撮像素子１２０やＡＤＣ１３０の駆動タイミングを制御する。
　画像処理部１５０は、ＡＤＣ１３０から入力されるデジタル信号の中間画像に対して、デジタル処理を施すことにより、被写体画像を生成する。具体的には、画像処理部１５０は、図２に示すように、バッファ１５１と、記憶部１５２と、畳み込み演算制御部１５３と、畳み込み演算部１５４とを有する。
　バッファ１５１は、ＡＤＣ１３０から入力されるデジタル信号の中間画像を記憶する。記憶部１５２は、光学系１１０のＰＳＦにより決定される畳み込み演算用のカーネルデータを記憶する。具体的には、記憶部１５２は、ＰＳＦ「ｇ」をフーリエ変換した結果であるＯＴＦ「Ｇ」の逆フィルタ「Ｈｉｎｖ」を逆フーリエ変換して得られるカーネルデータ「ｈｉｎｖ」を記憶する。例えば、記憶部１５２は、光学倍率に対応付けてカーネルデータ「ｈｉｎｖ」を記憶する。また、例えば、記憶部１５２は、撮像装置１００と被写体との距離情報に対応付けてカーネルデータ「ｈｉｎｖ」を記憶する。
　畳み込み演算制御部１５３は、制御部１７０による制御に従って、畳み込み演算に用いられるカーネルデータの入れ替え制御等を行う。具体的には、畳み込み演算制御部１５３は、後述する制御部１７０によって露出設定時に決定される露出情報等に基づいて、記憶部１５２に記憶されているカーネルデータのうち、畳み込み演算に用いるカーネルデータを選択する。
　畳み込み演算部１５４は、畳み込み演算制御部１５３によって選択されたカーネルデータに基づいて、バッファ１５１に記憶されているデジタル信号の中間画像に対して畳み込み演算を行うことにより、被写体画像「ｆ」を生成する。例えば、中間画像を「ｈ」とし、畳み込み演算制御部１５３によって選択されたカーネルデータを「ｈｉｎｖ」とした場合に、畳み込み演算部１５４は、上記式（７）に示した畳み込み演算を行うことにより、被写体画像「ｆ」を生成する。
　なお、図２では、畳み込み演算部１５４が、記憶部１５２に記憶されているカーネルデータに基づいて、中間画像のデジタル信号に対して畳み込み演算を行うことにより被写体画像を生成する例を示した。しかし、実施例２における画像処理部１５０は、上記例以外の処理を行うことにより、被写体画像を生成してもよい。
　例えば、記憶部１５２は、光学倍率等に対応付けて、上記式（６）に示した逆フィルタ「Ｈｉｎｖ」を記憶してもよい。そして、畳み込み演算制御部１５３は、制御部１７０によって決定される露出情報等に基づいて、記憶部１５２に記憶されている逆フィルタから演算用の逆フィルタを選択する。そして、畳み込み演算部１５４は、畳み込み演算制御部１５３によって選択された逆フィルタと、バッファ１５１に記憶されているデジタル信号の中間画像とを用いて、上記式（５）に示した乗算を行う。そして、畳み込み演算部１５４は、かかる乗算結果を逆フーリエ変換することにより、被写体画像「ｆ」を生成してもよい。
　信号処理部１６０は、画像処理部１５０によって生成された被写体画像に対して、カラー補間処理、ホワイトバランス、ＹＣｂＣｒ変換処理等を行う。また、信号処理部１６０は、カラー補間処理等を行った被写体画像を、図示しないメモリ等に格納したり、図示しない表示部に表示制御したりする。なお、信号処理部１６０は、例えば、ＤＳＰ（Digital　Signal　Processor）である。
　制御部１７０は、撮像装置１００を全体制御する。具体的には、制御部１７０は、撮像素子１２０に光を与える露出を制御したり、図示しない操作部等に入力された操作内容に応じて、ＡＤＣ１３０、画像処理部１５０、信号処理部１６０の動作を制御したりする。
　ここで、図５～図７を用いて、図２に示した画像処理部１５０によって生成される被写体画像について説明する。図５は、実施例２における光学系１１０が有するＰＳＦの一例を示す図である。図６は、実施例２における逆フィルタの一例を示す図である。図７は、実施例２に係る撮像装置１００により生成される被写体画像の一例を示す図である。
　図５に示した例のように、光学系１１０のＰＳＦは、３方向に分散している。このようなＰＳＦをフーリエ変換した結果であるＭＴＦは、直交する２方向に分散するＰＳＦをフーリエ変換したＭＴＦと比較して、対称性を有し、「０」に近い値になる領域が少ない。その結果、実施例２に係る撮像装置１００によって用いられる逆フィルタ「Ｈｉｎｖ」は、図６に示した例のように、対称性を有する。このため、実施例２に係る撮像装置１００によって用いられる逆フィルタ「Ｈｉｎｖ」は、図１４に示した例と比較して、ノイズの影響を受けやすい領域が少ない。
　このようなことから、畳み込み演算部１５４により生成される被写体画像にゴーストが含まれる可能性は低い。図７に、畳み込み演算部１５４により生成される被写体画像の一例を示す。図７に示すように、畳み込み演算部１５４により生成される被写体画像は、図１５に示した被写体画像と比較して、ゴーストが生じていない。以上のことから、実施例２に係る撮像装置１００は、被写体画像を高精度に生成することができる。
［被写界深度特性］
　次に、図８を用いて、実施例２に係る撮像装置１００における被写界深度特性について説明する。図８は、実施例２に係る撮像装置１００における被写界深度特性を示す図である。ここでは、実施例２に係る撮像装置１００と、ＰＳＦが２方向に分散する撮像装置とを比較して、被写界深度特性について説明する。
　図８に示した例では、撮像装置と被写体との距離を「ｚ１」と「ｚ２」に変動させて、ＯＴＦの差分の二乗和を評価関数としている。具体的には、かかる評価関数ＥＦ（Error　Function）は、以下の式（１０）により求められる。
Figure JPOXMLDOC01-appb-M000010
　図８に示した例のように、実施例２における光学系１１０のように３方向に分散するＰＳＦの方が、直交する２方向に分散するＰＳＦよりも被写体距離に応じたＭＴＦの差が小さい。すなわち、実施例２に係る撮像装置１００は、ＰＳＦが２方向に分散する撮像装置よりも、被写界深度特性を向上させることができる。
　次に、図９を用いて、実施例２に係る撮像装置１００による撮像処理の手順について説明する。図９は、実施例２に係る撮像装置１００による撮像処理手順を示すフローチャートである。
　図９に示すように、撮像装置１００は、利用者等によって撮影操作が行われた場合に（ステップＳ１０１肯定）、制御部１７０が撮像素子１２０に対して露出制御を行うとともに、ＡＤＣ１３０、画像処理部１５０及び信号処理部１６０の動作を制御する。
　そして、位相板１１４は、レンズ１１１及び１１２を介して照射される被写体の光束を３方向に分散させる（ステップＳ１０２）。そして、位相板１１４によって分散された光束は、レンズ１１３を介して、撮像素子１２０に結像される（ステップＳ１０３）。これにより、撮像装置１００は、撮影対象の被写体画像に対応する中間画像を得ることができる。続いて、画像処理部１５０は、カーネルデータに基づいて、デジタル信号の中間画像に対して畳み込み演算を行うことにより、被写体画像を生成する（ステップＳ１０４）。
［実施例２の効果］
　上述してきたように、実施例２に係る撮像装置１００は、ＰＳＦが３方向に分散する光学系１１０を有するので、デジタル処理時にＭＴＦが「０」に近い値となる領域が少ない。すなわち、実施例２に係る撮像装置１００は、逆フィルタが大きい値になる領域が少ないので、ノイズの影響を受ける領域を少なくすることができ、その結果、被写体画像にゴーストが生じることを防止することができる。このようなことから、実施例２に係る撮像装置１００は、被写体画像を高精度に生成することができる。
　また、実施例２に係る撮像装置１００の位相板１１４は、図３及び図４に例示した形状であるので、被写体から発せられる光束を３方向に分散させることができる。
　また、実施例２に係る撮像装置１００の位相板１１４は、上記式（９）によって表される位相分布を有するので、被写体から発せられる光束を３方向に分散させることができる。
　なお、上記実施例２では、被写体から発せられる光束を３方向に分散させる位相板１１４の例を示した。しかし、位相板１１４は、被写体から発せられる光束を４方向以上に分散させてもよい。このことは、例えば、位相板１１４の表面形状が、ＸＹ面の周縁に、レンズ１１２が位置する方向に突起している凸部と、レンズ１１２が位置する方向に対して窪んでいる凹部との組合せが４個以上形成されることで実現できる。
　また、上記実施例２では、位相板１１４を図３及び図４に例示した形状にすることで、被写体から発せられる光束を３方向に分散させる例を示した。しかし、位相板１１４は、波面を変形させるものであればいかなるものでもよい。例えば、位相板１１４は、屈折率が変化する屈折率分布型波面変調レンズのような光学素子であってもよい。
　また、上記実施例２では、光学系１１０が位相板１１４を有する例を示した。しかし、光学系１１０のレンズ１１１やレンズ１１２等が、位相板１１４と一体となることで、被写体から発せられる光束を３方向に分散させることを実現してもよい。例えば、レンズ表面が加工されたことで屈折率が変化する波面変調ハイブリッドレンズ等をレンズ１１２の代わりに用いることで、被写体から発せられる光束を３方向に分散させることを実現してもよい。
１　撮像装置
１０　光学系
１１、１２　レンズ
１３　光波面変調素子
２０　撮像素子
３０　生成部
９０　光学系
９１　レンズ
９４　位相板
９５　撮像素子
１００　撮像装置
１１０　光学系
１１１、１１２、１１３　レンズ
１１４　位相板
１２０　撮像素子
１３０　ＡＤＣ
１４０　タイミング制御部
１５０　画像処理部
１５１　バッファ
１５２　記憶部
１５３　畳み込み演算制御部
１５４　畳み込み演算部
１６０　信号処理部
１７０　制御部

Claims (6)

  1. 　被写体から発せられる光束を３方向以上に分散させる光波面変調素子と、
    　前記光波面変調素子により分散された光束を受光して結像する撮像素子と、
    　前記撮像素子により結像されて得られる被写体像に対して前記分散に対応する処理を施すことにより前記被写体の画像を生成する生成部と
    　を備えたことを特徴とする撮像装置。
  2. 　前記光波面変調素子の表面形状は、
    　前記被写体から発せられる光束を受光する受光面の周縁に、突起している凸部と窪んでいる凹部との組合せが３個以上形成される形状であることを特徴とする請求項１に記載の撮像装置。
  3. 　前記光波面変調素子により分散された光束を受光する前記撮像素子の受光面上において直交する２方向をｘ方向及びｙ方向とすると、
    　前記光波面変調素子は、
    　位相分布Ｐ（ｘ，ｙ）が、
    　Ｐ（ｘ，ｙ）＝ｅｘｐ（ｉ（α１ｘ３＋α２ｘ２ｙ＋α３ｘｙ２＋α４ｙ３））
    　ただし、α１、α２、α３、α４は任意の値
    　であることを特徴とする請求項１に記載の撮像装置。
  4. 　前記生成部は、
    　前記光波面変調素子を含む光学系の点像分布関数をフーリエ変換した光学伝達関数の逆フィルタに基づいて、前記撮像素子により結像されて得られる被写体像に対してデジタル処理を施すことにより前記被写体の画像を生成する
    　ことを特徴とする請求項１～３のいずれか一つに記載の撮像装置。
  5. 　前記生成部は、
    　前記光波面変調素子を含む光学系の点像分布関数をフーリエ変換した光学伝達関数の逆フィルタを逆フーリエ変換した結果である逆カーネルに基づいて、前記撮像素子により結像されて得られる被写体像に対して畳み込み演算を行うことにより前記被写体の画像を生成する
    　ことを特徴とする請求項１～３のいずれか一つに記載の撮像装置。
  6. 　被写体を撮像する撮像装置による撮像方法であって、
    　前記撮像装置が、
    　前記被写体から発せられる光束を３方向以上に分散させ、
    　分散された光束を結像して被写体像を取得し、
    　前記被写体像に対して前記分散に対応する処理を施すことにより前記被写体の画像を生成する
    　ことを特徴とする撮像方法。
PCT/JP2010/057103 2010-04-21 2010-04-21 撮像装置及び撮像方法 WO2011132280A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
PCT/JP2010/057103 WO2011132280A1 (ja) 2010-04-21 2010-04-21 撮像装置及び撮像方法
CN201080066279.3A CN102845052B (zh) 2010-04-21 2010-04-21 摄像装置以及摄像方法
JP2012511454A JP5477464B2 (ja) 2010-04-21 2010-04-21 撮像装置
US13/614,198 US8860845B2 (en) 2010-04-21 2012-09-13 Imaging apparatus and imaging method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2010/057103 WO2011132280A1 (ja) 2010-04-21 2010-04-21 撮像装置及び撮像方法

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US13/614,198 Continuation US8860845B2 (en) 2010-04-21 2012-09-13 Imaging apparatus and imaging method

Publications (1)

Publication Number Publication Date
WO2011132280A1 true WO2011132280A1 (ja) 2011-10-27

Family

ID=44833837

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2010/057103 WO2011132280A1 (ja) 2010-04-21 2010-04-21 撮像装置及び撮像方法

Country Status (4)

Country Link
US (1) US8860845B2 (ja)
JP (1) JP5477464B2 (ja)
CN (1) CN102845052B (ja)
WO (1) WO2011132280A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103916574A (zh) * 2012-12-28 2014-07-09 株式会社日立制作所 摄像装置

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104580879B (zh) * 2013-10-09 2018-01-12 佳能株式会社 图像处理设备、图像拾取设备以及图像处理方法
US20170296666A1 (en) * 2016-04-18 2017-10-19 Amneal Pharmaceuticals Company Gmbh Stable Pharmaceutical Composition Of Amorphous Ticagrelor
WO2018112433A1 (en) * 2016-12-15 2018-06-21 Ntt Docomo, Inc. Ghost image elimination of doe using fourier optics method
CN111641762B (zh) * 2020-05-28 2021-11-02 维沃移动通信有限公司 摄像模组及电子设备
CN114615427B (zh) * 2022-02-19 2023-11-28 复旦大学 一种基于小样本的波前编码场景数据集增强方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008245157A (ja) * 2007-03-28 2008-10-09 Kyocera Corp 撮像装置およびその方法
JP2010085487A (ja) * 2008-09-29 2010-04-15 Kyocera Corp レンズユニット、撮像装置、および電子機器

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020118457A1 (en) * 2000-12-22 2002-08-29 Dowski Edward Raymond Wavefront coded imaging systems
JP3958603B2 (ja) 2002-02-21 2007-08-15 オリンパス株式会社 電子内視鏡システム及び電子内視鏡システム用の信号処理装置
US8717456B2 (en) * 2002-02-27 2014-05-06 Omnivision Technologies, Inc. Optical imaging systems and methods utilizing nonlinear and/or spatially varying image processing
DE60317472T2 (de) * 2002-02-27 2008-09-04 CDM Optics, Inc., Boulder Optimierte bildverarbeitung für wellenfrontkodierte abbildungssysteme
EP1609112A4 (en) * 2003-03-31 2010-03-24 Cdm Optics Inc SYSTEMS AND METHOD FOR MINIMIZING ABERRATION EFFECTS IN PICTURE SYSTEMS
US20070268376A1 (en) * 2004-08-26 2007-11-22 Kyocera Corporation Imaging Apparatus and Imaging Method
GB0510470D0 (en) * 2005-05-23 2005-06-29 Qinetiq Ltd Coded aperture imaging system
JP4712631B2 (ja) * 2005-07-28 2011-06-29 京セラ株式会社 撮像装置
US7580620B2 (en) * 2006-05-08 2009-08-25 Mitsubishi Electric Research Laboratories, Inc. Method for deblurring images using optimized temporal coding patterns
JP4948967B2 (ja) 2006-10-27 2012-06-06 京セラ株式会社 撮像装置、並びにその製造装置および製造方法
US7792423B2 (en) * 2007-02-06 2010-09-07 Mitsubishi Electric Research Laboratories, Inc. 4D light field cameras
TWI399524B (zh) * 2009-02-20 2013-06-21 Ind Tech Res Inst 景物深度資訊之取得方法與裝置
JP5317891B2 (ja) * 2009-08-19 2013-10-16 キヤノン株式会社 画像処理装置、画像処理方法、及びコンピュータプログラム
US8436912B2 (en) * 2010-04-30 2013-05-07 Intellectual Ventures Fund 83 Llc Range measurement using multiple coded apertures
US8558873B2 (en) * 2010-06-16 2013-10-15 Microsoft Corporation Use of wavefront coding to create a depth image

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008245157A (ja) * 2007-03-28 2008-10-09 Kyocera Corp 撮像装置およびその方法
JP2010085487A (ja) * 2008-09-29 2010-04-15 Kyocera Corp レンズユニット、撮像装置、および電子機器

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
SHIN'ICHI KOMATSU: "Takinoka suru Imaging Gijutsu no Saishin Doko to Sono Oyo", THE JOURNAL OF THE INSTITUTE OF IMAGE INFORMATION AND TELEVISION ENGINEERS, vol. 63, no. 3, 1 March 2009 (2009-03-01), pages 279 - 283 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103916574A (zh) * 2012-12-28 2014-07-09 株式会社日立制作所 摄像装置
JP2014131099A (ja) * 2012-12-28 2014-07-10 Hitachi Ltd 撮像装置

Also Published As

Publication number Publication date
US20130002893A1 (en) 2013-01-03
CN102845052B (zh) 2015-06-24
US8860845B2 (en) 2014-10-14
JP5477464B2 (ja) 2014-04-23
JPWO2011132280A1 (ja) 2013-07-18
CN102845052A (zh) 2012-12-26

Similar Documents

Publication Publication Date Title
US8044331B2 (en) Image pickup apparatus and method for manufacturing the same
US8059955B2 (en) Image pickup apparatus and method and apparatus for manufacturing the same
JP4818957B2 (ja) 撮像装置およびその方法
JP4743553B2 (ja) レンズユニット、撮像装置、および電子機器
US8462213B2 (en) Optical system, image pickup apparatus and information code reading device
JP5477464B2 (ja) 撮像装置
JP5677366B2 (ja) 撮像装置
JP2008245157A (ja) 撮像装置およびその方法
JP6381422B2 (ja) 距離検出装置、撮像装置、および距離検出方法
JP2015004883A (ja) 結像光学系および撮像システムおよび撮像方法
JP2012256118A (ja) 画像復元装置およびその方法
WO2006106737A1 (ja) 撮像装置および撮像方法
JP5712031B2 (ja) 撮像装置、撮影レンズユニット、および撮像ユニット
JP2009086017A (ja) 撮像装置および撮像方法
WO2012132685A1 (ja) 焦点拡張光学系及び撮像システム
JP2006094468A (ja) 撮像装置および撮像方法
JP2006094470A (ja) 撮像装置および撮像方法
JP5487955B2 (ja) 撮像装置および撮像方法
JP2018033126A (ja) 画像処理装置、撮像装置、画像処理方法、プログラム、および、記憶媒体
JP4818956B2 (ja) 撮像装置およびその方法
JP2006094469A (ja) 撮像装置および撮像方法
JP2013162369A (ja) 撮像装置
JP5409588B2 (ja) 焦点調節方法、焦点調節プログラムおよび撮像装置
WO2013172030A1 (ja) 撮像装置、撮影レンズユニット、および撮像ユニット
JP5741671B2 (ja) 撮像装置及び撮像方法

Legal Events

Date Code Title Description
WWE Wipo information: entry into national phase

Ref document number: 201080066279.3

Country of ref document: CN

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 10850222

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 2012511454

Country of ref document: JP

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 10850222

Country of ref document: EP

Kind code of ref document: A1