WO2014010734A1 - 撮像装置 - Google Patents

撮像装置 Download PDF

Info

Publication number
WO2014010734A1
WO2014010734A1 PCT/JP2013/069193 JP2013069193W WO2014010734A1 WO 2014010734 A1 WO2014010734 A1 WO 2014010734A1 JP 2013069193 W JP2013069193 W JP 2013069193W WO 2014010734 A1 WO2014010734 A1 WO 2014010734A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
unit
imaging
fourier transform
microlens
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/JP2013/069193
Other languages
English (en)
French (fr)
Inventor
岩根　透
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nikon Corp
Original Assignee
Nikon Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nikon Corp filed Critical Nikon Corp
Priority to CN201380036923.6A priority Critical patent/CN104471924B/zh
Priority to US14/413,288 priority patent/US9838618B2/en
Priority to JP2014524899A priority patent/JP6344236B2/ja
Publication of WO2014010734A1 publication Critical patent/WO2014010734A1/ja
Anticipated expiration legal-status Critical
Priority to US15/807,103 priority patent/US10341580B2/en
Ceased legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/272—Means for inserting a foreground image in a background image, i.e. inlay, outlay
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H—ELECTRICITY
    • H10—SEMICONDUCTOR DEVICES; ELECTRIC SOLID-STATE DEVICES NOT OTHERWISE PROVIDED FOR
    • H10F—INORGANIC SEMICONDUCTOR DEVICES SENSITIVE TO INFRARED RADIATION, LIGHT, ELECTROMAGNETIC RADIATION OF SHORTER WAVELENGTH OR CORPUSCULAR RADIATION
    • H10F39/00—Integrated devices, or assemblies of multiple devices, comprising at least one element covered by group H10F30/00, e.g. radiation detectors comprising photodiode arrays
    • H10F39/80—Constructional details of image sensors
    • H10F39/806—Optical elements or arrangements associated with the image sensors
    • H10F39/8063—Microlenses

Definitions

  • the present invention relates to an imaging apparatus.
  • an imaging device that synthesizes an image focused on an arbitrary image plane from data obtained by one shooting is known.
  • the imaging apparatus described in Patent Document 1 synthesizes image data based on output values of pixels that receive light rays that pass through a photographing optical system and are incident on the centers of a plurality of microlenses.
  • the conventional technique has a problem that the contrast of the composite image data is lowered when the width of the virtual pixel is made smaller than the pitch of the microlens in order to increase the resolution of the composite image data.
  • an imaging device includes a plurality of microlenses arranged two-dimensionally, a plurality of light receiving elements arranged corresponding to the plurality of microlenses, and a plurality of light receiving elements.
  • An image synthesis unit that synthesizes an image on an arbitrary image plane of the imaging optical system based on the signal, and an image processing unit that removes signals of other pixels from the signals of the pixels constituting the image synthesized by the image synthesis unit; Is provided.
  • the signals from the plurality of light receiving elements corresponding to the pixels overlap with the signals from the plurality of light receiving elements corresponding to the other pixels.
  • the imaging device includes a plurality of microlenses that are two-dimensionally arranged so that a light beam that has passed through the photographing optical system is incident, and the microlens corresponding to each of the plurality of microlenses.
  • An image that synthesizes image data of an image on an arbitrary image plane of the imaging optical system based on outputs of a plurality of light receiving elements arranged on the rear side of the lens and a plurality of light receiving elements corresponding to each of the plurality of microlenses.
  • the calculation unit applies a Wiener filter based on the Fourier image of the point spread function to the result of the Fourier transform by the Fourier transform unit, thereby performing a Fourier transform.
  • the size of the point spread function is equal to the size of the region covered by one microlens.
  • the number of elements of the point spread function is preferably equal to the number of light receiving elements covered by one microlens.
  • the point spread function is determined from an array of a plurality of microlenses and an array of pixels to be combined by the image combining unit. It is preferable.
  • FIG. 2 is a perspective view of the imaging unit 100.
  • FIG. FIG. 2 is a cross-sectional view schematically showing a photographic lens L1 and an imaging unit 100.
  • 2 is a cross-sectional view schematically showing a light flux from a light spot on an image plane to be combined and an imaging unit 100.
  • FIG. It is the schematic diagram which showed the breadth of the light about the light spot P4 and the light spot P5 on a respectively different image surface.
  • FIG. It is a figure explaining the determination method of each incident area on an imaging surface in case the light beam from one light spot injects into many microlenses 120.
  • FIG. It is a figure which shows the light spot P7 of the position which shifted
  • PSF It is the top view which looked at the micro lens array 12 which concerns on 2nd Embodiment from the optical axis direction.
  • the digital camera according to the present embodiment has a focal position desired by the user by numerical processing by using the fact that an image signal acquired by photographing through a microlens array has wavefront information such as depth information. Generate image data.
  • the subject luminous flux incident through the photographing lens forms an image near the microlens array.
  • the position at which the light beam forms an image according to the position of the subject differs in the optical axis direction of the photographing lens. Further, if the subject is a three-dimensional object, the subject light beam does not form an image on the same plane.
  • the digital camera generates (synthesizes) image data that reproduces an image of a subject that is imaged at an imaging position in the optical axis direction desired by the user.
  • the generated image data is referred to as composite image data.
  • the composite image data appears as if the focal point of the imaging optical system is at the imaging position (not the actual imaging position but the position desired by the user). Therefore, in the following description, this imaging position is referred to as a focal position.
  • the digital camera of the present embodiment is configured to be able to generate composite image data having a resolution larger than the number of microlenses included in the microlens array.
  • the digital camera includes a large number of microlenses and a plurality of imaging pixels (light receiving elements) corresponding to the individual microlenses.
  • the digital camera applies not only to the image signal output from the imaging pixel corresponding to one microlens but also to the microlens arranged in the periphery so as to be the composite image data of the focal position selected by the user.
  • a composite image signal corresponding to an image formation region for one pixel of the composite image data is generated, and composite image data having a variable focal position is generated. Details will be described below.
  • FIG. 1 is a diagram showing a configuration of a digital camera according to the first embodiment.
  • the digital camera 1 is configured such that the interchangeable lens 2 having the photographing lens L1 can be attached and detached by, for example, a bayonet type lens mount mechanism.
  • the digital camera 1 includes an imaging unit 100, a control circuit 101, an A / D conversion circuit 102, a memory 103, an operation unit 112, a display 109, an LCD drive circuit 110, and a memory card interface 111.
  • the imaging unit 100 includes a microlens array 12 and an imaging element 13 in which a large number of microlenses 120 are arranged two-dimensionally.
  • the Z axis is set to be parallel to the optical axis of the photographic lens L1
  • the X axis and the Y axis are set to be orthogonal to each other in a plane orthogonal to the Z axis.
  • the photographing lens L1 is composed of a plurality of optical lens groups, and forms an image of a light beam from a subject near the focal plane.
  • the photographing lens L1 is provided with a diaphragm 11 for adjusting the amount of incident light.
  • the taking lens L1 is represented by a single lens for convenience of explanation.
  • a microlens array 12 and an image sensor 13 are arranged in this order in the vicinity of the planned imaging plane of the photographic lens L1.
  • the image sensor 13 is configured by a CCD or CMOS image sensor including a plurality of photoelectric conversion elements.
  • the image sensor 13 captures a subject image formed on the imaging surface, and outputs a photoelectric conversion signal (image signal) corresponding to the subject image to the A / D conversion circuit 102 under the control of the control circuit 101.
  • the details of the imaging unit 100 will be described later.
  • the A / D conversion circuit 102 is a circuit that performs analog processing on the image signal output from the image sensor 13 and then converts it to a digital image signal.
  • the control circuit 101 includes a CPU, a memory, and other peripheral circuits.
  • the control circuit 101 reads and executes a control program stored in advance in a ROM (not shown) or the like. With this control program, the control circuit 101 performs a predetermined calculation using signals input from each unit constituting the digital camera 1 and sends a control signal to each unit of the digital camera 1 to control the photographing operation. Further, as will be described later, the control circuit 101 determines the focus position of the composite image data based on the operation signal input from the operation unit 112 in accordance with the operation of the focus position input button 112a.
  • the control circuit 101 functionally includes an image composition unit 105, a Fourier transform unit 106, a division unit 107, and an inverse Fourier transform unit 108.
  • the image composition unit 105 synthesizes composite image data of an arbitrary focal plane different from the planned focal plane of the photographic lens L1.
  • the Fourier transform unit 106 performs Fourier transform on the synthesized image data synthesized by the image synthesis unit 105.
  • the division unit 107 effectively divides the result of the Fourier transform by a Fourier image of a point spread function described later.
  • the inverse Fourier transform unit 108 performs inverse Fourier transform on the result of division by the division unit 107 to create target image data. Details of the image composition unit 105, Fourier transform unit 106, division unit 107, and inverse Fourier transform unit 108 will be described later.
  • the memory 103 is used to temporarily store the image signal digitally converted by the A / D conversion circuit 102, and data during or after the image processing, image compression processing, and display image data creation processing. It is a volatile storage medium.
  • the memory card interface 111 is an interface that allows the memory card 111a to be attached and detached.
  • the memory card interface 111 is an interface circuit that writes image data to the memory card 111a and reads image data recorded on the memory card 111a in accordance with the control of the control circuit 101.
  • the memory card 111a is a semiconductor memory card such as a compact flash (registered trademark) or an SD card.
  • the LCD drive circuit 110 is a circuit that drives the display 109 based on a command from the control circuit 101.
  • the display device 109 is composed of a liquid crystal panel or the like, and displays display data created by the control circuit 101 based on image data recorded on the memory card 111a in the reproduction mode.
  • the display 109 displays a menu screen for setting various operations of the digital camera 1.
  • the operation unit 112 receives a user operation and outputs various operation signals corresponding to the operation content to the control circuit 101.
  • the operation unit 112 includes a focus position input button 112a, a power button, a release button, other setting menu display switching buttons, a setting menu determination button, and the like.
  • the focus position input button 112a is operated by the user when inputting the focus position y of the composite image data.
  • the operation unit 112 outputs an operation signal including the focus position y to the control circuit 101.
  • the imaging unit 100 includes a microlens array 12 and an imaging element 13.
  • the microlens array 12 includes a plurality of microlenses 120 that are two-dimensionally arranged squarely on the XY plane.
  • photoelectric conversion elements 130 (hereinafter referred to as imaging pixels 130) that receive light that has passed through each microlens 120 are two-dimensionally arranged in an arrangement pattern corresponding to the microlens 120.
  • the image sensor 13 is arranged at a position away from the microlens array 12 by the focal length f of the microlens 120. That is, for each microlens 120, a plurality of imaging pixels 130 corresponding to (covered with) the microlens 120 are provided at positions separated by the focal length f of the microlens 120.
  • FIG. 2 illustrates only a part of the plurality of microlenses 120 provided in the microlens array 12 and the plurality of imaging pixels 130 provided in the imaging element 13.
  • about one hundred of the imaging pixels 130 are covered by one microlens 120, and thus the microlens array 12 has about a hundredth of the number of microlenses 120 of the number of imaging pixels 130 included in the imaging element 13. have.
  • the focal length f of the microlens 120 is about several hundred micrometers (about one hundredth of the focal length of the photographing lens L1).
  • the so-called exit pupil position of the photographic lens L1 can be regarded as almost infinite for the microlens 120. That is, the position of the exit pupil of the photographic lens L1 and the imaging surface of the imaging element 13 can be optically conjugate.
  • FIG. 3 is a cross-sectional view schematically showing the photographing lens L1 and the imaging unit 100.
  • a microlens array 12 is provided in the vicinity of the planned imaging plane S1 of the photographic lens L1 shown on the left side of FIG. 3, and an imaging element 13 is provided in the vicinity of the focal position S2 of the microlens 120.
  • the subject image formed in the vicinity of the microlens array 12 by the photographing lens L1 is compressed by each microlens 120 included in the microlens array 12 and is folded into the image sensor 13.
  • the image magnification of the photographic lens L1 is 1/50, that is, when the photographic lens L1 forms the subject image on the planned imaging plane S1 with an actual size of 1/50
  • the subject image is viewed in the depth direction. Is imaged at a magnification of 1 / 2,500 which is its square. That is, the photographic lens L1 forms a three-dimensional image obtained by compressing the subject in the three-dimensional space in the depth direction on the planned imaging plane S1.
  • FIG. 4 is a cross-sectional view schematically showing the light flux from the light spot on the image plane to be synthesized and the imaging unit 100.
  • a light spot P1 provided on the image plane S3 to be synthesized is considered.
  • the spread angle ⁇ 1 of light traveling from the light spot P1 toward the imaging unit 100 is limited by the size of the pupil of the photographing lens L1 (that is, the F value of the photographing lens L1). If the F value of the microlens 120 is equal to or smaller than the F value of the photographic lens L1, the light beam emitted from the light spot P1 and incident on a certain microlens 120 is in a region covered by the microlens 120. Does not spread outside.
  • the light beams 30a to 30e incident on these microlenses 120a to 120e are incident on the imaging surface.
  • the total radiation amount limited to the pupil from the light spot P1 can be obtained.
  • the image composition unit 105 first identifies (1) a microlens 120 on which a light beam from the light point is incident with respect to a certain light spot on the image plane to be synthesized, and then (2) identifies For each microlens 120, it is specified to which imaging pixel the light beam from the light spot is incident.
  • the angle of light spreading from the light spot can be specified by the pupil of the taking lens L1.
  • the F value of the taking lens L1 is the same as the F value of the microlens 120.
  • FIG. 5A is a cross-sectional view schematically showing the spread of the light spot P4 and the light spot P5 on different image planes, and FIG. 5B shows this from the photographic lens L1 side.
  • FIG. The light beam from the light spot P4 existing on the image plane S4 at a position separated from the microlens 120 by the focal length f of the microlens 120 is spread to the size 31 of the microlens 120 for one microlens array. 12 is incident.
  • the luminous flux from the light spot P5 existing on the image plane S5 at a position that is twice the focal length f of the microlens 120, that is, 2f away from the microlens 120, is shown in FIGS. 5 (a) and 5 (b). As shown in each of the figures, it spreads to a size 32 that exceeds one microlens 120.
  • the microlens 120 on which the light beam from a certain light spot is incident is specified based on the distance from the light spot to the microlens 120 (that is, the distance from the image plane to be synthesized to the microlens 120). Can do. Actually, it is necessary to specify these microlenses 120 in consideration of the F value of the photographing lens L1. For example, when the F value of the photographing lens L1 is larger than the F value of the microlens 120 (the photographing lens L1 is darker than the microlens 120), the spread of the light beam from the light spot is small.
  • the image composition unit 105 identifies (2) which imaging pixel the light flux from the light spot enters for each identified microlens 120. For example, when the light spot is at a position separated from the microlens 120 by the focal length f of the microlens 120 as in the light spot P4 of FIG. 5, a circular opening is formed in the entire region covered by the microlens 120 immediately below the microlens 120. The light spreads out. Therefore, in this case, all the imaging pixels 130 covered by one microlens 120 may be selected.
  • the light spot when the light spot is located at a position closer than the focal length f from the microlens 120, the light spreads without converging at the microlens 120, but the spread is limited because the spread angle of the incident light beam is limited. It remains in the area covered with one microlens 120.
  • the light spot when the light spot is at a position farther than the focal length f, the light flux from the light spot is incident on the plurality of microlenses 120, and therefore, from a large number of imaging pixels 130 covered by the plurality of microlenses 120. It is necessary to select an imaging pixel 130 necessary for creating a composite pixel.
  • the case where the light spot is at a position farther than the focal distance f will be described by taking as an example the case where the light spot P5 in FIG. 5, that is, the light spot is at a position 2 f away from the microlens 120.
  • the light flux from the light spot is a microlens 120 immediately below the light spot and eight microlenses 120 adjacent thereto. And a total of nine microlenses 120.
  • FIG. 6 is a plan view of a part of the imaging surface of the imaging device 13 covered with the 25 microlenses 120 shown in FIG. 5B as seen from the optical axis direction.
  • the position of each microlens 120 in FIG. 5B is indicated by a broken line superimposed on the imaging surface of the imaging element 13.
  • the light beam from the light spot P5 shown in FIG. 5A is incident on the nine regions 33a to 33i shown in FIG. As is apparent from FIG. 6, these regions 33a to 33i have a shape in which the region covered by one microlens 120 is divided into nine.
  • the size of the area on the imaging surface (the size of the light cross section) on which the light beam from the light spot is incident is covered by one microlens 120. It always matches the size of the area to be read.
  • FIG. 7A is a plan view of a part of the microlens array 12 as viewed from the optical axis direction.
  • the control circuit 101 specifies a range in which the light beam from the light spot P6 illustrated in the center of FIG.
  • a region 34 extending over the nine microlenses 120a to 120i is a range where the light flux from the light spot P6 spreads.
  • the region 34 is divided by a grid having the size of each microlens 120.
  • squares 35a to 35i each having a diameter of each of the microlenses 120 arranged so as to correspond to each of the nine microlenses 120a to 120i shown in FIG.
  • a region 34 where the light beam from the light spot P6 spreads is divided by the grating.
  • the divided regions 34a to 34i are arranged in regions covered with the corresponding microlenses 120a to 120i, respectively.
  • the relative positions of the divided areas 34a to 34i in each covering area are the same as the relative positions of the nine squares 35a to 35i shown in FIG. 7B.
  • the divided area 34a corresponding to the square 35a in the upper left corner is arranged in the upper left corner of the corresponding covered area 36a.
  • the region where the light flux from the light spot spreads is d / (h / f).
  • (h / f) may be a negative value. In this case, it is assumed that there is a light spot on the image sensor 13 side from the microlens 120.
  • the method of creating a composite pixel has been described by giving an example in which a light spot is on the lens central axis of a specific microlens 120.
  • this method of creating a composite pixel can be used when a light spot exists at other positions. Can also be applied. If only the light spot on the lens central axis of the microlens 120 is synthesized, the number of pixels of the synthesized image data to be created is limited to the number of microlenses 120, and the synthesized image data having a low number of pixels. Can only be created. Therefore, the image composition unit 105 of the present embodiment sets a larger number of light spots on the image plane to be synthesized, and creates synthesized pixels for those light spots by the synthesis method described above, thereby increasing the number of pixels. Create composite image data.
  • FIG. 8 is a diagram showing a light spot P7 at a position shifted by p to the left from the position of the light spot P5 with respect to the image plane S5 shown in FIG.
  • the range 37 in which the light beam spreads is also shifted to the left by p. Therefore, by setting a divided region for the shifted range 37 in the same manner as in FIG. 7, a composite pixel corresponding to the light spot P7 can be created.
  • a composite pixel corresponding to the light spot P7 can be created.
  • the composite image data has 16 times the number of pixels as the number of microlenses 120.
  • the output of one imaging pixel 130 is used to create a plurality of synthesis pixels.
  • a large number of three-dimensional light spots are continuously present on the image plane to be synthesized, and light from these light spots is superimposed on the imaging plane of the image sensor 13. Therefore, when a light spot on the microlens 120 is provided, the light receiving output of the imaging pixel 130 into which the light beam from the light spot enters includes an output corresponding to the light beam from a light spot other than the light spot. Will be.
  • FIG. 9 is a schematic diagram showing a state in which the light beams from the respective light spots overlap.
  • FIG. 9A is a cross-sectional view of the image plane S4 to be synthesized, the microlens array 12, and the image pickup device 13 taken along the YZ plane.
  • 9B is a plan view of the imaging surface of the imaging element 13 as viewed from the optical axis direction.
  • five light spots P8 to P12 arranged in a line on the image plane S4 that is separated from the microlens 120 by the focal length f of the microlens 120.
  • These five light spots P8 to P12 are provided at half the width d of the microlens 120, that is, at positions separated by d / 2. Specifically, the light spots P8, P10, and P12 are set at positions on the central axis of different microlenses 120, and the light spots P9 and P11 are set between two adjacent microlenses 120. At this time, the light beams 40 to 44 from the light spots P8 to P12 enter the regions 45 to 49 on the image pickup surface of the image pickup device 13 so as to overlap each other.
  • the light beam 41 from the light spot P9 is incident on the region 46 shown in FIG. 9B.
  • This region 46 is a region 45 where the light beam 40 from the light point P8 is incident and the light beam 42 from the light point P10. Overlaps with the incident region 47. That is, the light reception output from the imaging pixel 130 corresponding to the region where the region 45 and the region 46 overlap each other includes an output corresponding to the light beam 40 from the light point P8 and an output corresponding to the light beam 41 from the light point P9. It is superimposed.
  • the output Pi of the composite pixel corresponding to the i-th light spot can be calculated by the following equation (1).
  • the control circuit 101 divides one microlens 120 into four parts vertically and horizontally and provides 16 light spots.
  • the output Pi of the combined pixel can be calculated using the following equation (2).
  • the output distribution of the synthesized pixel at this time is shown in FIG.
  • the vertical axis in FIG. 10 is the pixel output, and the horizontal axis is the pixel position.
  • the synthesized pixel is a pixel output subjected to triangular convolution integration. From such an output distribution, a point spread function (PSF) representing how the light beam spreads from the light spot by the microlens 120 can be obtained.
  • PSF point spread function
  • PSF is determined from the arrangement of a plurality of microlenses 120 and the arrangement of pixels synthesized by the image synthesis unit 105.
  • the size of the PSF is assumed to be equal to the size of the area covered by one microlens 120.
  • the number of PSF elements is equal to the number of the plurality of imaging pixels 130 covered by one microlens 120.
  • the output distribution of the synthesized pixel is illustrated one-dimensionally.
  • the PSF can be obtained by performing calculation in consideration of not only the superimposition of the light beams from the left and right light spots but also the superposition of the light beams from all the surrounding light spots.
  • FIG. 11A is a diagram showing the derived PSF value
  • FIG. 11B is a diagram in which the PSF is plotted in three-dimensional coordinates.
  • PSF values are shown for 81 points in one microlens 120.
  • the division unit 107 solves the pixel output superposition shown in FIG. 10 using the PSF derived as described above.
  • the superposition of pixel outputs can be expressed as the following equation (3). Here, for the sake of simplicity, it is expressed in one dimension.
  • psf (t) represents PSF
  • f (x) represents the true light intensity
  • i (x) represents the superimposed pixel output. Since psf (t) is known by the above-described method and the superimposed pixel output i (x) is also known, the true light intensity f (x) can be obtained.
  • i (x) is Fourier transformed
  • the above equation (3) is expressed by the product of the Fourier transform image PSF (u) of PSF and the Fourier transform image F (u) of true light intensity f (x). It will be. That is, the Fourier transform image I (u) of i (x) is expressed as the following equation (4).
  • the Fourier transform image F of the true light intensity f (x) from the above equation (5). (U) can be obtained. Thereafter, if the Fourier transform image F (u) is subjected to inverse Fourier transform, the true light intensity f (x) can be obtained.
  • the division unit 107 of the present embodiment suppresses this high frequency noise using a known Wiener filter.
  • the Wiener filter is applied to the above equation (5), the following equation (6) is obtained.
  • the division unit 107 obtains a Fourier transform image F (u) of the true light intensity f (x) by the following equation (6) instead of the above equation (5), thereby obtaining clear composite image data in which high-frequency noise is suppressed. create.
  • PSF * (u) means a complex conjugate of PSF (u).
  • the imaging signal output from the imaging element 13 is converted into a digital image signal by the A / D conversion circuit 102 and stored in the memory 103.
  • the control circuit 101 receives a focus position to be synthesized and an aperture value that determines the depth of field from the operation unit 112.
  • the image synthesis unit 105 synthesizes a two-dimensional image of the input focal position and aperture value.
  • the Fourier transform unit 106 determines a point spread function (PSF) for one light spot from the arrangement of the microlenses 120 in the microlens array 12 and the position of the synthesis pixel of the image synthesis unit 105, and this PSF and Fourier transform is performed on the composite image by the image composition unit 105.
  • the dividing unit 107 effectively divides the Fourier image of the combined image by the image combining unit 105 by the Fourier image of the PSF using the Wiener filter as shown in the above equation (6), and the true light intensity f (x) is obtained.
  • a Fourier image F (u) is obtained.
  • the inverse Fourier transform unit 108 performs inverse Fourier transform on the Fourier image F (u) to obtain improved target image data from the original synthesized image data.
  • This image is a high-contrast image in which the superposition of the incident light beam by the microlens 120 is solved.
  • the digital camera 1 corresponds to each of the microlens array 12 including a plurality of microlenses 120 arranged two-dimensionally so that a light beam transmitted through the photographing lens L1 is incident thereon, and each of the plurality of microlenses 120. And an imaging device 13 having a plurality of imaging pixels 130 arranged on the rear side of the microlens 120.
  • the control circuit 101 based on the output of the plurality of imaging pixels 130 corresponding to each of the plurality of microlenses 120, an image composition unit 105 that composes image data of an image on an arbitrary image plane of the photographing lens L 1, and image composition
  • the Fourier transform unit 106 that performs Fourier transform on the image data synthesized by the unit 105, and the Fourier transform result is effectively divided by the Fourier image of the point spread function that represents the optical spread of the light beam incident on the plurality of microlenses 120.
  • a division unit 107 that performs the inverse Fourier transform on the result of the division by the division unit 107 and generates target image data. Since this is done, it is possible to synthesize image data having both high contrast and high resolution.
  • the division unit 107 effectively divides the result of the Fourier transform by the Fourier transform unit 106 by applying a Wiener filter based on the Fourier image of the point spread function to the result of the Fourier transform by the Fourier transform unit 106. Since it did in this way, the clear image in which the high frequency noise was suppressed can be obtained.
  • FIG. 12 is a plan view of the microlens array 12 according to the second embodiment viewed from the optical axis direction. As shown in FIG. 12, in this embodiment, hexagonal microlenses 120 constituting a honeycomb structure are used. The present invention can also be applied to the microlens 120 having such a shape as in the first embodiment.
  • the PSF used in this embodiment is different from that of the first embodiment.
  • the derivation method itself is the same as that of the first embodiment. That is, the superimposition of the light beams from the surrounding light spots as shown in FIG. 10 may be calculated two-dimensionally.
  • Modification 1 Although an embodiment in which the present invention is applied to a digital camera with interchangeable lenses has been described above, the present invention is not limited to such an embodiment.
  • the present invention can be applied to a lens-integrated camera or the like.
  • the arrangement and shape of the microlenses 120 are not limited to those described in the first and second embodiments. The same applies to the arrangement and shape of each imaging pixel on the imaging surface of the imaging element 13.
  • the imaging pixel 130 covered with each microlens 120 may be separated for each microlens 120.
  • the true light intensity f (x) may be obtained without using the Wiener filter. That is, the dividing unit 107 may be configured to obtain F (u) using (4) instead of the above equation (5).
  • the high-pass filter is effective for the original image before composition, not for the composite image.
  • the image is an image near the focal position of the microlens, and the intensity change with respect to the one-dimensional position is defined as f (x).
  • the diameter of the microlens is S
  • the light output spreads from this position by S, and therefore the intensity at the image sensor is f (x) / S. Because the position x 0 on a certain image sensor surface is a superposition of such light It can be expressed.
  • FIG. 13 is a conceptual diagram for explaining the contents that complement the contrast that is lowered by adding a high-pass filter. If the spatial frequency is lower than the microlens density, there is no particular problem in the contrast of the composite image. However, if the spatial frequency is higher than the microlens density, the contrast of the composite image is lowered due to the influence of superposition. Therefore, high-pass filter processing is performed on the original image before synthesis to emphasize a portion having a high spatial frequency in advance. Thereby, even if the image composition of an arbitrary image plane as in the present application is performed, the reduction in contrast of the portion having a high spatial frequency is complemented.
  • FIG. 14 is a diagram showing a configuration of a control circuit 101A for carrying out this modification.
  • the control circuit 101A includes a high-pass filter unit 201 and an image composition unit 105.
  • the Fourier transform unit 106, the division unit 107, and the inverse Fourier transform unit 108 of the control circuit 101 in FIG. 1 are deleted, and a high-pass filter unit 201 is provided instead. Since the image composition unit 105 is the same as the image composition unit 105 of the above embodiment, the same reference numerals are given.
  • the original image data before image synthesis is input from the memory 103 to the control circuit 101A, it is first input to the high-pass filter unit 201 and subjected to high-pass filter processing. Thereafter, a two-dimensional image of the focus position and aperture value input to the image composition unit 105 and instructed by the operation unit 112 is synthesized as in the above embodiment. Thereafter, the synthesized image after synthesis is output.
  • the present invention is not limited to the above-described embodiments, and other forms conceivable within the scope of the technical idea of the present invention are also included in the scope of the present invention. .
  • SYMBOLS 1 Digital camera, 2 ... Interchangeable lens, 12 ... Micro lens array, 13 ... Imaging element, 101 ... Control circuit, 105 ... Image composition part, 106 ... Fourier transformation part, 107 ... Division part, 108 ... Inverse Fourier transformation part, 120 ... microlens, 130 ... imaging pixel, L1 ... photographing lens

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Studio Devices (AREA)
  • Image Processing (AREA)
  • Image Input (AREA)

Abstract

　撮像装置は、二次元状に配置された複数のマイクロレンズと、複数のマイクロレンズに対応して配置された複数の受光素子と、複数の受光素子からの信号に基づいて、撮影光学系の任意の像面における画像を合成する画像合成部と、画像合成部で合成された画像を構成する画素の信号から他の画素の信号を除去する画像処理部とを備える。

Description

撮像装置
　本発明は、撮像装置に関する。
　従来、１回の撮影で得られたデータから任意の像面にピントの合った画像を合成する撮像装置が知られている。例えば特許文献１に記載されている撮像装置は、撮影光学系を通過して複数のマイクロレンズの中心に入射する光線を受光する画素の出力値に基づいて画像データを合成する。
日本国特開２００７－４４７１号公報
　従来技術には、合成画像データの分解能を高めるために仮想画素の幅をマイクロレンズのピッチより狭くすると、合成画像データのコントラストが低下するという問題があった。
　本発明の第１の態様によると、撮像装置は、二次元状に配置された複数のマイクロレンズと、複数のマイクロレンズに対応して配置された複数の受光素子と、複数の受光素子からの信号に基づいて、撮影光学系の任意の像面における画像を合成する画像合成部と、画像合成部で合成された画像を構成する画素の信号から他の画素の信号を除去する画像処理部とを備える。
　本発明の第２の態様によると、第１の態様の撮像装置において、画素に対応する複数の受光素子からの信号と、他の画素に対応する複数の受光素子からの信号には重複している受光素子からの信号が含まれ、画像処理部は、画素に対応する複数の受光素子からの信号から重複している他の画素の信号を除去することが好ましい。
　本発明の第３の態様によると、撮像装置は、撮影光学系を透過した光束が入射するよう二次元状に配置された複数のマイクロレンズと、複数のマイクロレンズの各々に対応して当該マイクロレンズの後側に配置された複数の受光素子と、複数のマイクロレンズの各々に対応する複数の受光素子の出力に基づいて、撮影光学系の任意の像面における像の画像データを合成する画像合成部と、画像合成部により合成された画像データをフーリエ変換するフーリエ変換部と、複数のマイクロレンズに入射した光束の光学的な広がりを表すポイントスプレッドファンクションのフーリエ像でフーリエ変換部によるフーリエ変換の結果を実効的に除算する演算部と、演算部による除算の結果を逆フーリエ変換し、目的画像データを作成する逆フーリエ変換部とを備える。
　本発明の第４の態様によると、第３の態様の撮像装置において、演算部は、ポイントスプレッドファンクションのフーリエ像に基づくウィナーフィルタをフーリエ変換部によるフーリエ変換の結果に適用することにより、フーリエ変換部によるフーリエ変換の結果を実効的に除算することが好ましい。
　本発明の第４の態様によると、第３または４の態様の撮像装置において、ポイントスプレッドファンクションの大きさは１つのマイクロレンズが被覆する領域の大きさと等しいことが好ましい。
　本発明の第６の態様によると、第５の態様の撮像装置において、ポイントスプレッドファンクションの要素数は１つのマイクロレンズが被覆する複数の受光素子の数に等しいことが好ましい。
　本発明の第７の態様によると、第３～６のいずれか一態様の撮像装置において、ポイントスプレッドファンクションは、複数のマイクロレンズの配列と、画像合成部が合成する画素の配列とから決定されることが好ましい。
　本発明によれば、コントラストの高さと分解能の高さを両立した画像データを合成することができる。
第１の実施の形態に係るデジタルカメラの構成を示す図である。 撮像ユニット１００の斜視図である。 撮影レンズＬ１と撮像ユニット１００とを模式的に示した断面図である。 合成対象の像面上の光点からの光束と撮像ユニット１００とを模式的に示した断面図である。 それぞれ異なる像面上の光点Ｐ４と光点Ｐ５について、その光の広がりを示した模式図である。 撮像素子１３の撮像面のうち、図５（ｂ）に示す２５個のマイクロレンズ１２０に被覆された部分を光軸方向から見た平面図である。 １つの光点からの光束が多数のマイクロレンズ１２０に入射する場合の、撮像面上の各入射領域の決定方法を説明する図である。 図５に示した像面Ｓ５について、光点Ｐ５の位置から左にｐだけずれた位置の光点Ｐ７を示す図である。 各光点からの光束が重なり合う様子を示す模式図である。 合成画素の出力分布の一例を示す図である。 ＰＳＦの一例を示す図である。 第２の実施の形態に係るマイクロレンズアレイ１２を光軸方向から見た平面図である。 ハイパスフィルターを加えることにより低下するコントラストを補完する内容を説明する概念図である。 変形例４を実施するための制御回路１０１Ａの構成を示す図である。
（第１の実施の形態）
　本実施の形態のデジタルカメラは、マイクロレンズアレイを介して撮影することにより取得された画像信号が奥行き情報等の波面情報を有することを利用して、数値処理によってユーザが所望する焦点位置を有する画像データを生成する。撮影レンズを介して入射した被写体光束は、マイクロレンズアレイの近傍に結像する。このとき、被写体の位置に応じて光束が結像する位置は撮影レンズの光軸方向に異なるものとなり、さらに被写体が三次元物体であれば被写体光束は同一平面上には結像しない。本実施の形態のデジタルカメラは、ユーザが所望する光軸方向の結像位置に結像する被写体の像を再現した画像データを生成（合成）する。以下、この生成された画像データを合成画像データと称する。合成画像データは、結像光学系の焦点があたかも当該結像位置（実際の結像位置ではなくユーザが所望する位置）にあるように見える。そこで、以下の説明において、この結像位置のことを焦点位置と呼ぶこととする。
　さらに、本実施の形態のデジタルカメラは、マイクロレンズアレイに含まれるマイクロレンズの数よりも大きな解像度を有する合成画像データを生成可能に構成されている。デジタルカメラは多数のマイクロレンズを備えると共に、個々のマイクロレンズに対応して、複数個の撮像画素（受光素子）を備えている。そして、デジタルカメラは、ユーザが選択した焦点位置の合成画像データとなるように、１つのマイクロレンズに対応する撮像画素から出力された画像信号のみならず、その周辺に配置されているマイクロレンズに対応する撮像画素から出力された画像信号を用いて、合成画像データの１画素分の結像領域に相当する合成画像信号を生成し、焦点位置が可変な合成画像データを作成する。以下、詳細に説明する。
　図１は、第１の実施の形態に係るデジタルカメラの構成を示す図である。デジタルカメラ１は、例えばバヨネット式のレンズマウント機構等により、撮影レンズＬ１を有する交換レンズ２の着脱が可能に構成されている。デジタルカメラ１は、撮像ユニット１００、制御回路１０１、Ａ／Ｄ変換回路１０２、メモリ１０３、操作部１１２、表示器１０９、ＬＣＤ駆動回路１１０およびメモリカードインタフェース１１１を備える。撮像ユニット１００は、多数のマイクロレンズ１２０が二次元状に配列されたマイクロレンズアレイ１２および撮像素子１３を備える。なお、以下の説明においては、Ｚ軸が撮影レンズＬ１の光軸に平行となるように設定され、Ｚ軸と直交する平面内でＸ軸とＹ軸とが互いに直交する方向に設定されているものとする。
　撮影レンズＬ１は、複数の光学レンズ群から構成され、被写体からの光束をその焦点面近傍に結像する。撮影レンズＬ１には、入射光量を調節する絞り１１が設けられている。なお、図１では撮影レンズＬ１を説明の都合上１枚のレンズで代表して表している。撮影レンズＬ１の予定結像面近傍に、マイクロレンズアレイ１２と撮像素子１３とが順に配置される。撮像素子１３は、複数の光電変換素子を備えたＣＣＤやＣＭＯＳイメージセンサによって構成される。撮像素子１３は、撮像面上に結像されている被写体像を撮像し、制御回路１０１により制御されて被写体像に応じた光電変換信号（画像信号）をＡ／Ｄ変換回路１０２へ出力する。なお、撮像ユニット１００の詳細については説明を後述する。
　Ａ／Ｄ変換回路１０２は、撮像素子１３が出力する画像信号にアナログ的な処理をしてからデジタル画像信号に変換する回路である。制御回路１０１は、ＣＰＵやメモリその他の周辺回路によって構成される。制御回路１０１は、不図示のＲＯＭ等に予め格納されている制御プログラムを読み出して実行する。この制御プログラムにより、制御回路１０１は、デジタルカメラ１を構成する各部から入力される信号を用いて所定の演算を行い、デジタルカメラ１の各部に対する制御信号を送出して、撮影動作を制御する。また、制御回路１０１は、後述するように焦点位置入力ボタン１１２ａの操作に応じて操作部１１２から入力した操作信号に基づいて合成画像データの焦点位置を決定する。
　制御回路１０１は、画像合成部１０５、フーリエ変換部１０６、除算部１０７、および逆フーリエ変換部１０８を機能的に備える。画像合成部１０５は、撮影レンズＬ１の予定焦点面とは異なる任意の焦点面の合成画像データを合成する。フーリエ変換部１０６は、画像合成部１０５により合成された合成画像データをフーリエ変換する。除算部１０７は、フーリエ変換の結果を、後述するポイントスプレッドファンクションのフーリエ像で実効的に除算する。逆フーリエ変換部１０８は、除算部１０７による除算の結果を逆フーリエ変換し、目的画像データを作成する。なお、画像合成部１０５、フーリエ変換部１０６、除算部１０７、および逆フーリエ変換部１０８については詳細を後述する。
　メモリ１０３は、Ａ／Ｄ変換回路１０２によりデジタル変換された画像信号や、画像処理、画像圧縮処理および表示用画像データ作成処理の途中や処理後のデータを一時的に格納するために使用される揮発性の記憶媒体である。メモリカードインタフェース１１１は、メモリカード１１１ａの着脱が可能なインタフェースである。メモリカードインタフェース１１１は、制御回路１０１の制御に応じて、画像データをメモリカード１１１ａに書き込んだり、メモリカード１１１ａに記録されている画像データを読み出すインタフェース回路である。メモリカード１１１ａは、例えばコンパクトフラッシュ（登録商標）やＳＤカードなどの半導体メモリカードである。
　ＬＣＤ駆動回路１１０は、制御回路１０１の命令に基づいて表示器１０９を駆動する回路である。表示器１０９は液晶パネル等により構成され、再生モードにおいてメモリカード１１１ａに記録されている画像データに基づいて制御回路１０１で作成された表示データの表示を行う。また、表示器１０９には、デジタルカメラ１の各種動作を設定するためのメニュー画面が表示される。
　操作部１１２は、ユーザの操作を受け付けて、操作内容に応じた各種の操作信号を制御回路１０１へ出力する。操作部１１２は、焦点位置入力ボタン１１２ａ，電源ボタン，レリーズボタン，その他の設定メニューの表示切換ボタン、設定メニュー決定ボタン等を含む。焦点位置入力ボタン１１２ａは合成画像データの焦点位置ｙを入力する際にユーザにより操作される。ユーザにより焦点位置入力ボタン１１２ａが操作され焦点位置ｙが選択されると、操作部１１２はその焦点位置ｙを含む操作信号を制御回路１０１へ出力する。
　次に、撮像ユニット１００の構成について、図２に示した撮像ユニット１００の斜視図を用いて詳細に説明する。撮像ユニット１００はマイクロレンズアレイ１２と撮像素子１３とを有する。マイクロレンズアレイ１２は、ＸＹ平面上に二次元状に正方配列された複数のマイクロレンズ１２０を有する。撮像素子１３には、各マイクロレンズ１２０を通過した光を受光する光電変換素子１３０（以下、撮像画素１３０と呼ぶ）が、マイクロレンズ１２０に対応した配置パターンで二次元状に配列されている。撮像素子１３は、マイクロレンズアレイ１２から、マイクロレンズ１２０の焦点距離ｆだけ離れた位置に配置されている。つまり、各マイクロレンズ１２０について、当該マイクロレンズ１２０に対応する（被覆される）複数の撮像画素１３０が、当該マイクロレンズ１２０の焦点距離ｆだけ離れた位置に設けられている。
　なお図２には、マイクロレンズアレイ１２に設けられた複数のマイクロレンズ１２０と、撮像素子１３に設けられた複数の撮像画素１３０のうち、その一部のみを図示している。実際には、より多数のマイクロレンズ１２０および撮像画素１３０が存在している。例えば、１つのマイクロレンズ１２０によっておよそ１００程度の撮像画素１３０が被覆されており、従ってマイクロレンズアレイ１２は撮像素子１３が有する撮像画素１３０の数のおよそ１００分の１程度の数のマイクロレンズ１２０を有している。
　例えば撮影レンズＬ１の焦点距離が５０ミリメートルとすると、マイクロレンズ１２０の焦点距離ｆは数百マイクロメートル程度（撮影レンズＬ１の焦点距離の１００分の１程度）であるため、撮像素子１３から見ると、撮影レンズＬ１のいわゆる射出瞳の位置は、マイクロレンズ１２０にとってほぼ無限遠と見なすことができる。つまり、撮影レンズＬ１の射出瞳の位置と撮像素子１３の撮像面は、光学的に共役とすることができる。
　図３は、撮影レンズＬ１と撮像ユニット１００とを模式的に示した断面図である。図３の左側に示した撮影レンズＬ１の予定結像面Ｓ１の近傍にマイクロレンズアレイ１２が設けられ、マイクロレンズ１２０の焦点位置Ｓ２の近傍に撮像素子１３が設けられている。
　撮影レンズＬ１によりマイクロレンズアレイ１２の近傍に結像された被写体像は、マイクロレンズアレイ１２が備える各マイクロレンズ１２０により圧縮され撮像素子１３に畳み込まれる。例えば、撮影レンズＬ１の像倍率が５０分の１、すなわち撮影レンズＬ１が被写体像を実際の５０分の１の大きさで予定結像面Ｓ１に結像させる場合、奥行き方向で見ると被写体像はその二乗である２５００分の１の倍率で結像される。つまり、撮影レンズＬ１は、三次元空間にある被写体を奥行き方向に圧縮した立体像を予定結像面Ｓ１に結像させる。
　図４は、合成対象の像面上の光点からの光束と撮像ユニット１００とを模式的に示した断面図である。図４において、合成対象の像面Ｓ３上に設けた光点Ｐ１を考える。この光点Ｐ１から撮像ユニット１００に向かう光の広がり角θ１は、撮影レンズＬ１の瞳の大きさ（すなわち撮影レンズＬ１のＦ値）により制限を受ける。マイクロレンズ１２０のＦ値が撮影レンズＬ１のＦ値と同じかそれより小さければ、この光点Ｐ１から出射し、あるマイクロレンズ１２０に入射した光束は、そのマイクロレンズ１２０により被覆されている領域の外には広がらない。
　ここで、図４に示すように、光点Ｐ１からの光束が５つのマイクロレンズ１２０ａ～１２０ｅに入射するとすれば、これらのマイクロレンズ１２０ａ～１２０ｅに入射した光束３０ａ～３０ｅの撮像面上における入射光量（撮像画素群１３０ａ～１３０ｅの受光出力）を積算することにより、光点Ｐ１からの瞳に制限された全輻射量が得られることになる。
　以上をまとめると、合成画像データを構成する特定の合成画素を作成するためには、その合成画素の座標に対応する撮像面上の光断面の全光量を演算すればよい。画像合成部１０５はこの演算を行うために、まず（１）合成対象の像面上のある光点について、その光点からの光束が入射するマイクロレンズ１２０を特定し、その後、（２）特定した各マイクロレンズ１２０について、光点からの光束がどの撮像画素に入射するかを特定する。
　（１）合成対象の像面上のある光点について、その光点からの光束が入射するマイクロレンズ１２０を特定するには、その光点からの光束の広がり方がわかればよい。前述の通り、光点から広がる光の角度は撮影レンズＬ１の瞳により特定することができる。以下の説明では、撮影レンズＬ１のＦ値がマイクロレンズ１２０のＦ値と同じであると仮定する。
　図５（ａ）は、それぞれ異なる像面上の光点Ｐ４と光点Ｐ５について、その光の広がりを模式的に示した断面図であり、図５（ｂ）はこれを撮影レンズＬ１側から見た平面図である。マイクロレンズ１２０の焦点距離ｆだけマイクロレンズ１２０から離れた位置の像面Ｓ４の上に存在する光点Ｐ４からの光束は、ちょうど１つ分のマイクロレンズ１２０の大きさ３１に広がってマイクロレンズアレイ１２に入射する。
　他方、マイクロレンズ１２０の焦点距離ｆの２倍、すなわち２ｆだけマイクロレンズ１２０から離れた位置の像面Ｓ５の上に存在する光点Ｐ５からの光束は、図５（ａ）、（ｂ）の各々に示す通り、１つ分のマイクロレンズ１２０を超える大きさ３２に広がる。
　以上のように、ある光点からの光束が入射するマイクロレンズ１２０は、その光点からマイクロレンズ１２０までの距離（すなわち合成対象の像面からマイクロレンズ１２０までの距離）に基づいて特定することができる。なお、実際には撮影レンズＬ１のＦ値も考慮してこれらのマイクロレンズ１２０を特定する必要がある。例えば、撮影レンズＬ１のＦ値がマイクロレンズ１２０のＦ値より大きい（撮影レンズＬ１がマイクロレンズ１２０より暗い）場合には、光点からの光束の広がりは小さくなる。
　画像合成部１０５は次に、（２）特定した各マイクロレンズ１２０について、光点からの光束がどの撮像画素に入射するかを特定する。例えば図５の光点Ｐ４のように、光点がマイクロレンズ１２０からマイクロレンズ１２０の焦点距離ｆだけ離れた位置にある場合には、その直下のマイクロレンズ１２０に被覆された領域全体に円形開口の光が広がる。従って、この場合には、１つのマイクロレンズ１２０に被覆された全ての撮像画素１３０を選択すればよい。また、光点がマイクロレンズ１２０から焦点距離ｆより近い位置にある場合には、マイクロレンズ１２０で光が収束せずに広がるが、入射光束の広がり角の制限を受けているため、その広がりは１つのマイクロレンズ１２０に被覆された領域に留まる。
　他方、光点が焦点距離ｆよりも離れた位置にある場合、光点からの光束は複数のマイクロレンズ１２０に渡って入射するため、複数のマイクロレンズ１２０に被覆された多数の撮像画素１３０から合成画素を作成するために必要な撮像画素１３０を選択する必要がある。以下、光点が焦点距離ｆよりも離れた位置にある場合について、図５の光点Ｐ５、すなわち光点がマイクロレンズ１２０から２ｆだけ離れた位置にある場合を例に挙げて説明する。
　光点が２ｆだけ離れた位置にある場合、図５（ｂ）に示すように、その光点からの光束は、その光点の直下にあるマイクロレンズ１２０と、それに隣接する８つのマイクロレンズ１２０とを合わせた、計９個のマイクロレンズ１２０に入射する。
　図６は、撮像素子１３の撮像面のうち、図５（ｂ）に示す２５個のマイクロレンズ１２０に被覆された部分を光軸方向から見た平面図である。なお図６では、図５（ｂ）の各マイクロレンズ１２０の位置を、撮像素子１３の撮像面上に重畳して破線で図示している。
　図５（ａ）に示した光点Ｐ５からの光束は、図６に示した９つの領域３３ａ～３３ｉに入射する。図６から明らかな通り、これらの領域３３ａ～３３ｉは、１つのマイクロレンズ１２０に被覆される領域を９つに分割した形状を有している。このように、どのような位置の光点であっても、その光点からの光束が入射する撮像面上の領域の大きさ（光断面の大きさ）は、１つのマイクロレンズ１２０に被覆される領域の大きさと常に一致する。
　以下、図７を用いて、図６のように１つの光点からの光束が多数のマイクロレンズ１２０に入射する場合の、撮像面上の各入射領域の決定方法を説明する。図７（ａ）はマイクロレンズアレイ１２の一部を光軸方向から見た平面図である。制御回路１０１は、まず、図７（ａ）の中央に図示した光点Ｐ６からの光束が広がる範囲を特定する。ここでは９つのマイクロレンズ１２０ａ～１２０ｉに跨がる領域３４が、光点Ｐ６からの光束が広がる範囲である。
　次に、図７（ｂ）に示すように、その領域３４を各マイクロレンズ１２０の大きさの格子で分割する。図７（ｂ）では、図７（ａ）に示した９つのマイクロレンズ１２０ａ～１２０ｉの各々に対応するように配置された、各マイクロレンズ１２０の直径の大きさを持った正方形３５ａ～３５ｉの格子で、光点Ｐ６からの光束が広がる領域３４を分割している。
　最後に、図７（ｃ）に示すように、分割された各領域３４ａ～３４ｉを、それぞれ対応するマイクロレンズ１２０ａ～１２０ｉに被覆される領域に配置する。各被覆領域内における分割領域３４ａ～３４ｉの相対位置は、図７（ｂ）に示した９つの正方形３５ａ～３５ｉの相対位置と同一である。例えば、３行３列に配置された正方形３５ａ～３５ｉのうち、左上隅の正方形３５ａに対応する分割領域３４ａは、対応する被覆領域３６ａの左上隅に配置される。
　以上のように、光点の高さをｈ、マイクロレンズ１２０の焦点距離をｆ、マイクロレンズ１２０の径をｄとおいたとき、その光点からの光束が広がる領域をｄ／（ｈ／ｆ）の幅の格子で分割することにより、光点からの光束が入射する撮像画素を特定することができる。なお、（ｈ／ｆ）は負の値となることもあり、この場合はマイクロレンズ１２０より撮像素子１３側に光点があるものとする。
　以上、特定のマイクロレンズ１２０のレンズ中心軸上に光点がある例を挙げて、合成画素の作成方法を説明したが、この合成画素の作成方法はそれ以外の位置に光点がある場合にも適用することが可能である。マイクロレンズ１２０のレンズ中心軸上の光点のみを合成してしまうと、作成される合成画像データの画素数はマイクロレンズ１２０の数に制限されてしまうことになり、低画素数の合成画像データしか作成することができない。そこで、本実施形態の画像合成部１０５は、合成対象の像面上により多数の光点を設定し、それらの光点について前述した合成方法で合成画素を作成することで、より高画素数の合成画像データを作成する。
　図８は、図５に示した像面Ｓ５について、光点Ｐ５の位置から左にｐだけずれた位置の光点Ｐ７を示す図である。このとき、光束の広がる範囲３７も左にｐだけずれるので、このずれた範囲３７について図７と同様に分割領域を設定することで、光点Ｐ７に相当する合成画素を作成することができる。例えば、１つのマイクロレンズ１２０について、縦横それぞれについてｄ／４ずつずらした位置に光点を設定し、それぞれの光点について合成画素の作成を行えば、１つのマイクロレンズ１２０から１６個の合成画素を作成することができる。この場合、合成画像データはマイクロレンズ１２０の数の１６倍の画素数を有することになる。
　ところで、上述のように、１つのマイクロレンズ１２０上に複数の光点を設けて画像合成を行う場合、１つの撮像画素１３０の出力が複数の合成画素の作成に用いられることになる。実際には、合成対象の像面上には三次元的に多数の光点が連続的に存在し、それらの光点からの光が撮像素子１３の撮像面上に重畳されている。従って、マイクロレンズ１２０上にある光点を設けた場合の、その光点からの光束が入射する撮像画素１３０の受光出力には、当該光点以外の光点からの光束に対応する出力が含まれていることになる。
　図９は、各光点からの光束が重なり合う様子を示す模式図であり、図９（ａ）が合成対象の像面Ｓ４、マイクロレンズアレイ１２、および撮像素子１３のＹＺ平面による断面図、図９（ｂ）が撮像素子１３の撮像面を光軸方向から見た平面図である。ここでは、マイクロレンズ１２０からマイクロレンズ１２０の焦点距離ｆだけ離れた像面Ｓ４の上に、一列に並んだ５つの光点Ｐ８～Ｐ１２を考える。
　これら５つの光点Ｐ８～Ｐ１２は、それぞれマイクロレンズ１２０の幅ｄの半分、すなわちｄ／２ずつ離れた位置に設けられている。具体的には光点Ｐ８、Ｐ１０、Ｐ１２はそれぞれ異なるマイクロレンズ１２０の中心軸上の位置に設定されており、光点Ｐ９、Ｐ１１は隣り合う２つのマイクロレンズ１２０の間に設定されている。このとき、光点Ｐ８～Ｐ１２からの光束４０～４４は、それぞれ重なり合って撮像素子１３の撮像面の領域４５～４９に入射する。
　例えば光点Ｐ９からの光束４１は、図９（ｂ）に示した領域４６に入射するが、この領域４６は、光点Ｐ８からの光束４０が入射する領域４５および光点Ｐ１０からの光束４２が入射する領域４７と重なり合っている。つまり、領域４５と領域４６の重なり合った領域に相当する撮像画素１３０からの受光出力には、光点Ｐ８からの光束４０に相当する出力と、光点Ｐ９からの光束４１に相当する出力とが重畳されている。
　このとき、ｉ番目の光点の真の強度をａｉと置くと、ｉ番目の光点に対応する合成画素の出力Ｐｉは次式（１）により演算することができる。
Figure JPOXMLDOC01-appb-M000001
　制御回路１０１は、１つのマイクロレンズ１２０を縦横４分割し、１６個の光点を設ける。この場合には、横方向に並んだ４つの光点について同様に、次式（２）を用いて合成画素の出力Ｐｉを演算することができる。
　このときの合成画素の出力分布を図１０に示す。図１０の縦軸は画素出力であり、横軸は画素位置である。図１０から明らかな通り、合成画素は三角形のコンボリューション積分がなされた画素出力である。このような出力分布から、マイクロレンズ１２０による光点からの光束の広がり方を表すポイントスプレッドファンクション（ＰＳＦ）を求めることができる。
　ＰＳＦは、複数のマイクロレンズ１２０の配列と、画像合成部１０５が合成する画素の配列とから決定される。本実施形態では、ＰＳＦの大きさを、１つのマイクロレンズ１２０が被覆する領域の大きさと等しいものとする。また、ＰＳＦの要素数は、１つのマイクロレンズ１２０が被覆する複数の撮像画素１３０の数に等しいものとする。
　なお、図１０では合成画素の出力分布を一次元的に図示しているが、ＰＳＦを求める場合はこれを二次元的に演算する必要がある。すなわち、左右の光点からの光束の重畳のみならず、周囲の全光点からの光束の重畳を考慮して演算を行うことにより、ＰＳＦを求めることができる。
　図１１（ａ）は導出されたＰＳＦの値を示す図であり、図１１（ｂ）はＰＳＦを３次元座標にプロットした図である。図１１では、１つのマイクロレンズ１２０内の８１点についてＰＳＦの値を示している。
　除算部１０７は、以上のようにして導出したＰＳＦを用いて、図１０に示した画素出力の重畳を解く。画素出力の重畳は次式（３）のように表現できる。なお、ここでは簡単のため、一次元での表現としている。
　上式（３）において、ｐｓｆ（ｔ）はＰＳＦを、ｆ（ｘ）は真の光強度を、ｉ（ｘ）は重畳された画素出力を表している。ｐｓｆ（ｔ）は上述の方法により既知であり、重畳された画素出力ｉ（ｘ）も既知であるので、真の光強度ｆ（ｘ）を求めることが可能である。ここでｉ（ｘ）をフーリエ変換すれば、上式（３）はＰＳＦのフーリエ変換像ＰＳＦ（ｕ）と真の光強度ｆ（ｘ）のフーリエ変換像Ｆ（ｕ）の積で表されることになる。すなわち、ｉ（ｘ）のフーリエ変換像Ｉ（ｕ）は次式（４）のように表される。
Figure JPOXMLDOC01-appb-M000004
　上式（４）より、真の光強度ｆ（ｘ）のフーリエ変換像Ｆ（ｕ）は次式（５）のように表すことができる。
Figure JPOXMLDOC01-appb-M000005
　関数ｉ（ｘ）、ｐｓｆ（ｘ）ならびにそれらのフーリエ変換像Ｉ（ｕ）、ＰＳＦ（ｕ）は既知であるので、上式（５）より真の光強度ｆ（ｘ）のフーリエ変換像Ｆ（ｕ）を得ることができる。その後、このフーリエ変換像Ｆ（ｕ）をフーリエ逆変換すれば、真の光強度ｆ（ｘ）を求めることができる。
　ただし、実際にこの演算を行い真の光強度ｆ（ｘ）を求めると、演算誤差により発生する高周波ノイズが合成画像データ全体に現れ、明瞭な画像が得られない。そこで、本実施形態の除算部１０７は、周知のウィナーフィルタを用いてこの高周波ノイズを抑制する。上式（５）にウィナーフィルタを適用すると、次式（６）のようになる。除算部１０７は上式（５）ではなく次式（６）により真の光強度ｆ（ｘ）のフーリエ変換像Ｆ（ｕ）を求めることで、高周波ノイズが抑制された明瞭な合成画像データを作成する。なお、次式（６）において、ＰＳＦ＊（ｕ）はＰＳＦ（ｕ）の複素共役を意味する。
Figure JPOXMLDOC01-appb-M000006
　以上の流れを図１に示したブロック図で簡単に説明する。撮像素子１３から出力された撮像信号はＡ／Ｄ変換回路１０２によりデジタル画像信号に変換され、メモリ１０３に記憶される。制御回路１０１には、操作部１１２から合成対象の焦点位置と被写界深度を決める絞り値とが入力される。画像合成部１０５は、入力された焦点位置および絞り値の二次元画像を合成する。
　一方、フーリエ変換部１０６は、マイクロレンズアレイ１２におけるマイクロレンズ１２０の配列と、画像合成部１０５の合成画素の位置とから、１つの光点に対するポイントスプレッドファンクション（ＰＳＦ）を決定し、このＰＳＦと画像合成部１０５による合成画像とをフーリエ変換する。除算部１０７は、上式（６）のように、ウィナーフィルタを用いて画像合成部１０５による合成画像のフーリエ像をＰＳＦのフーリエ像で実効的に除算し、真の光強度ｆ（ｘ）のフーリエ像Ｆ（ｕ）を得る。最後に逆フーリエ変換部１０８が、このフーリエ像Ｆ（ｕ）を逆フーリエ変換し、元の合成画像データから改善された目的画像データを得る。この画像は、マイクロレンズ１２０による入射光束の重畳が解かれた、コントラストの高い画像である。
　上述した第１の実施の形態によるデジタルカメラによれば、次の作用効果が得られる。
（１）デジタルカメラ１は、撮影レンズＬ１を透過した光束が入射するよう二次元状に配置された複数のマイクロレンズ１２０から成るマイクロレンズアレイ１２と、複数のマイクロレンズ１２０の各々に対応して当該マイクロレンズ１２０の後側に配置された複数の撮像画素１３０を有する撮像素子１３とを備える。制御回路１０１は、複数のマイクロレンズ１２０の各々に対応する複数の撮像画素１３０の出力に基づいて、撮影レンズＬ１の任意の像面における像の画像データを合成する画像合成部１０５と、画像合成部１０５により合成された画像データをフーリエ変換するフーリエ変換部１０６と、複数のマイクロレンズ１２０に入射した光束の光学的な広がりを表すポイントスプレッドファンクションのフーリエ像でフーリエ変換の結果を実効的に除算する除算部１０７と、除算部１０７による除算の結果を逆フーリエ変換し、目的画像データを作成する逆フーリエ変換部１０８と、を備える。このようにしたので、コントラストの高さと分解能の高さを両立した画像データを合成することができる。
（２）除算部１０７は、ポイントスプレッドファンクションのフーリエ像に基づくウィナーフィルタをフーリエ変換部１０６によるフーリエ変換の結果に適用することにより、フーリエ変換部１０６によるフーリエ変換の結果を実効的に除算する。このようにしたので、高周波ノイズが抑制されたクリアな画像を得ることができる。
（第２の実施の形態）
　以下、図面を用いて、本発明の第２の実施の形態であるデジタルカメラについて説明する。なお、第１の実施の形態と同一の箇所には第１の実施の形態と同一の符号を付し、説明を省略する。
　図１２は、第２の実施の形態に係るマイクロレンズアレイ１２を光軸方向から見た平面図である。図１２に示すように、本実施形態ではハニカム構造を構成する六角形のマイクロレンズ１２０を用いている。このような形状のマイクロレンズ１２０についても、第１の実施の形態と同様に本発明を適用することができる。
　なお、第１の実施の形態とマイクロレンズ１２０の配列が異なっているため、本実施形態で利用されるＰＳＦは、第１の実施の形態とは異なるものとなる。その導出方法自体は第１の実施の形態と同様である。つまり、図１０のような周辺の光点からの光束の重畳を、二次元的に演算すればよい。
　次のような変形も本発明の範囲内であり、変形例の一つ、もしくは複数を上述の実施形態と組み合わせることも可能である。
（変形例１）
　レンズ交換可能なデジタルカメラに本発明を適用した実施形態について上述したが、本発明はこのような実施の形態に限定されない。例えばレンズ一体型のカメラ等についても本発明を適用することが可能である。
（変形例２）
　マイクロレンズ１２０の配列および形状は、第１および第２の実施の形態で述べたものに限定されない。また、撮像素子１３の撮像面における各撮像画素の配列および形状についても同様である。例えば、各マイクロレンズ１２０により被覆される撮像画素１３０が、マイクロレンズ１２０毎に分離していてもよい。
（変形例３）
　ウィナーフィルタを用いずに真の光強度ｆ（ｘ）を求めてもよい。すなわち、上式（５）ではなく（４）を用いてＦ（ｕ）を求めるように除算部１０７を構成してもよい。
（変形例４）
　上記実施の形態では、画像合成部１０５により合成された合成画像に対して、フーリエ変換部１０６、除算部１０７、逆フーリエ変換部１０８の処理により、マイクロレンズ１２０による入射光束の重畳を解き、コントラストの高い画像を求めるようにした。しかし、合成前の画像の空間周波数成分が高い部分にハイパスフィルターを加え、低下するコントラストをあらかじめ補完しておくようにしてもよい。
　以下、合成画像ではなく、合成前の元画像に対してハイパスフィルターが有効かどうかについて説明をする。
　説明を簡単にするため、画像をマイクロレンズの焦点位置付近にある像とし、その１次元的な位置に対する強度変化をf(x)とする。マイクロレンズの径をSとすると、この位置から光出力はSだけ広がるので、撮像素子での強度はf(x)/Sである。ある撮像素子面の位置x0はこうした光を重畳したものだから
Figure JPOXMLDOC01-appb-M000007
とあらわすことができる。
　隣接したピクセルとの差分は、これを微分したものに相当し
Figure JPOXMLDOC01-appb-M000008
と考えることができる。
　この式の右辺はf(x)に他ならないから、差分値を増大させるハイパスフィルターは元画像f(x)のゲインを増大させることに他ならない。したがって、撮像素子の元画像にハイパスフィルターを導入すると、表示画像のコントラスト低下が補完されることになる。
　図１３は、ハイパスフィルターを加えることにより低下するコントラストを補完する内容を説明する概念図である。マイクロレンズ密度より低い空間周波数であれば合成画像のコントラストには特に問題は生じない。しかし、マイクロレンズ密度より高い空間周波数であれば重畳の影響により合成画像のコントラストが低下する。そこで、合成前の元画像に対してハイパスフィルター処理を行うことにより、予め空間周波数が高い部分を強調しておく。これにより、本願のような任意の像面の画像合成を行っても、空間周波数が高い部分のコントラストの低下が補完される。
　図１４は、本変形例を実施するための制御回路１０１Ａの構成を示す図である。制御回路１０１Ａは、ハイパスフィルター部２０１と画像合成部１０５からなる。図１の制御回路１０１のフーリエ変換部１０６、除算部１０７、逆フーリエ変換部１０８は削除され、その代わりにハイパスフィルター部２０１が設けられている。画像合成部１０５は、上記実施の形態の画像合成部１０５と同様であるので同じ符号を付している。
　メモリ１０３から画像合成前の元画像データが制御回路１０１Ａに入力されると、最初にハイパスフィルター部２０１に入力され、ハイパスフィルター処理が施される。その後、画像合成部１０５に入力され、上記実施の形態と同様に、操作部１１２により指示された焦点位置および絞り値の二次元画像を合成する。その後、合成後の合成画像を出力する。
　以上のように、合成前の元画像にハイパスフィルター処理を行うような簡単な構成でも、コントラストの低下が補完された合成画像を生成することができる。
　本発明の特徴を損なわない限り、本発明は上記実施の形態に限定されるものではなく、本発明の技術的思想の範囲内で考えられるその他の形態についても、本発明の範囲内に含まれる。
　次の優先権基礎出願の開示内容は引用文としてここに組み込まれる。
　日本国特許出願２０１２年第１５６９４０号（２０１２年７月１２日出願）
１…デジタルカメラ、２…交換レンズ、１２…マイクロレンズアレイ、１３…撮像素子、１０１…制御回路、１０５…画像合成部、１０６…フーリエ変換部、１０７…除算部、１０８…逆フーリエ変換部、１２０…マイクロレンズ、１３０…撮像画素、Ｌ１…撮影レンズ

Claims (7)

  1. 　二次元状に配置された複数のマイクロレンズと、
    　前記複数のマイクロレンズに対応して配置された複数の受光素子と、
    　前記複数の受光素子からの信号に基づいて、撮影光学系の任意の像面における画像を合成する画像合成部と、
    　前記画像合成部で合成された画像を構成する画素の信号から他の画素の信号を除去する画像処理部とを備える撮像装置。
  2. 　請求項１に記載の撮像装置において、
    　前記画素に対応する複数の受光素子からの信号と、前記他の画素に対応する複数の受光素子からの信号には重複している受光素子からの信号が含まれ、
    　前記画像処理部は、前記画素に対応する複数の受光素子からの信号から前記重複している他の画素の信号を除去する撮像装置。
  3. 　撮影光学系を透過した光束が入射するよう二次元状に配置された複数のマイクロレンズと、
    　前記複数のマイクロレンズの各々に対応して当該マイクロレンズの後側に配置された複数の受光素子と、
    　前記複数のマイクロレンズの各々に対応する前記複数の受光素子の出力に基づいて、前記撮影光学系の任意の像面における像の画像データを合成する画像合成部と、
    　前記画像合成部により合成された前記画像データをフーリエ変換するフーリエ変換部と、
    　前記複数のマイクロレンズに入射した光束の光学的な広がりを表すポイントスプレッドファンクションのフーリエ像で前記フーリエ変換部によるフーリエ変換の結果を実効的に除算する演算部と、
    　前記演算部による前記除算の結果を逆フーリエ変換し、目的画像データを作成する逆フーリエ変換部とを備える撮像装置。
  4. 　請求項３に記載の撮像装置において、
    　前記演算部は、前記ポイントスプレッドファンクションのフーリエ像に基づくウィナーフィルタを前記フーリエ変換部によるフーリエ変換の結果に適用することにより、前記フーリエ変換部によるフーリエ変換の結果を実効的に除算する撮像装置。
  5. 　請求項３または４に記載の撮像装置において、
    　前記ポイントスプレッドファンクションの大きさは１つの前記マイクロレンズが被覆する領域の大きさと等しい撮像装置。
  6. 　請求項５に記載の撮像装置において、
    　前記ポイントスプレッドファンクションの要素数は１つの前記マイクロレンズが被覆する前記複数の受光素子の数に等しい撮像装置。
  7. 　請求項３～６のいずれか一項に記載の撮像装置において、
    　前記ポイントスプレッドファンクションは、前記複数のマイクロレンズの配列と、前記画像合成部が合成する画素の配列とから決定される撮像装置。
PCT/JP2013/069193 2012-07-12 2013-07-12 撮像装置 Ceased WO2014010734A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
CN201380036923.6A CN104471924B (zh) 2012-07-12 2013-07-12 拍摄装置
US14/413,288 US9838618B2 (en) 2012-07-12 2013-07-12 Image processing device configured to correct output data based upon a point spread function
JP2014524899A JP6344236B2 (ja) 2012-07-12 2013-07-12 画像処理装置および撮像装置
US15/807,103 US10341580B2 (en) 2012-07-12 2017-11-08 Image processing device configured to correct an image so as to decrease output data

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2012-156940 2012-07-12
JP2012156940 2012-07-12

Related Child Applications (2)

Application Number Title Priority Date Filing Date
US14/413,288 A-371-Of-International US9838618B2 (en) 2012-07-12 2013-07-12 Image processing device configured to correct output data based upon a point spread function
US15/807,103 Continuation US10341580B2 (en) 2012-07-12 2017-11-08 Image processing device configured to correct an image so as to decrease output data

Publications (1)

Publication Number Publication Date
WO2014010734A1 true WO2014010734A1 (ja) 2014-01-16

Family

ID=49916173

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2013/069193 Ceased WO2014010734A1 (ja) 2012-07-12 2013-07-12 撮像装置

Country Status (4)

Country Link
US (2) US9838618B2 (ja)
JP (2) JP6344236B2 (ja)
CN (2) CN108337419A (ja)
WO (1) WO2014010734A1 (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5671842B2 (ja) * 2010-06-03 2015-02-18 株式会社ニコン 画像処理装置および撮像装置
CN105812623B (zh) * 2014-12-30 2018-10-16 深圳超多维科技有限公司 微透镜阵列成像装置与成像方法
KR102554417B1 (ko) * 2018-06-18 2023-07-11 삼성전자주식회사 이미지 센서

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010258689A (ja) * 2009-04-23 2010-11-11 Canon Inc 画像復元装置
WO2012043211A1 (ja) * 2010-10-01 2012-04-05 富士フイルム株式会社 撮像装置

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1219395C (zh) * 2002-01-30 2005-09-14 株式会社理光 摄像装置和摄像方法
US7173663B2 (en) * 2002-10-31 2007-02-06 Freescale Semiconductor, Inc. Automatic exposure control system for a digital camera
US20050133879A1 (en) * 2003-04-07 2005-06-23 Takumi Yamaguti Solid-state imaging device, signal processing device, camera, and spectral device
US20070279618A1 (en) * 2004-10-15 2007-12-06 Matsushita Electric Industrial Co., Ltd. Imaging Apparatus And Image Improving Method
CA2609623C (en) * 2005-06-03 2015-12-29 Universitaet Zuerich Photoarray for detecting time-dependent image data
JP4826152B2 (ja) * 2005-06-23 2011-11-30 株式会社ニコン 画像合成方法及び撮像装置
JP4444936B2 (ja) * 2006-09-19 2010-03-31 富士フイルム株式会社 撮影装置および方法並びにプログラム
US7792423B2 (en) * 2007-02-06 2010-09-07 Mitsubishi Electric Research Laboratories, Inc. 4D light field cameras
US8229294B2 (en) * 2007-12-10 2012-07-24 Mitsubishi Electric Research Laboratories, Inc. Cameras with varying spatio-angular-temporal resolutions
JP5187145B2 (ja) * 2008-11-07 2013-04-24 株式会社ニコン 画像合成装置および方法
JP5463718B2 (ja) * 2009-04-16 2014-04-09 ソニー株式会社 撮像装置
JP5499778B2 (ja) * 2010-03-03 2014-05-21 株式会社ニコン 撮像装置
JP5671842B2 (ja) * 2010-06-03 2015-02-18 株式会社ニコン 画像処理装置および撮像装置
CN103155542A (zh) * 2010-09-24 2013-06-12 富士胶片株式会社 图像拾取装置和图像拾取设备
US20140176592A1 (en) * 2011-02-15 2014-06-26 Lytro, Inc. Configuring two-dimensional image processing based on light-field parameters
JP2012222742A (ja) * 2011-04-13 2012-11-12 Sony Corp 撮像素子および撮像装置
WO2012147245A1 (ja) * 2011-04-27 2012-11-01 パナソニック株式会社 撮像装置、撮像装置を備える撮像システム、及び撮像方法
CN105866917A (zh) * 2011-05-31 2016-08-17 株式会社尼康 镜头镜筒及相机机身
WO2014178607A1 (ko) * 2013-05-02 2014-11-06 주식회사 레이언스 이미지센서와 이의 구동방법

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010258689A (ja) * 2009-04-23 2010-11-11 Canon Inc 画像復元装置
WO2012043211A1 (ja) * 2010-10-01 2012-04-05 富士フイルム株式会社 撮像装置

Also Published As

Publication number Publication date
US20180070027A1 (en) 2018-03-08
US20150319351A1 (en) 2015-11-05
CN108337419A (zh) 2018-07-27
JP6344236B2 (ja) 2018-06-20
JP2018186508A (ja) 2018-11-22
US9838618B2 (en) 2017-12-05
US10341580B2 (en) 2019-07-02
JPWO2014010734A1 (ja) 2016-06-23
CN104471924A (zh) 2015-03-25
JP6516045B2 (ja) 2019-05-22
CN104471924B (zh) 2018-05-01

Similar Documents

Publication Publication Date Title
JP6149339B2 (ja) 表示装置
WO2011152531A1 (ja) 撮像装置
JP4941332B2 (ja) 撮像装置
JP4967873B2 (ja) 撮像装置
JP2010114758A (ja) 画像合成装置および方法
JP6397281B2 (ja) 撮像装置、その制御方法およびプログラム
JP6516045B2 (ja) 画像処理装置
JP7642022B2 (ja) 計測装置、撮像装置、制御方法及びプログラム
JP6036799B2 (ja) 画像処理装置
JP6376206B2 (ja) 画像処理装置および撮像装置
JP6102061B2 (ja) 画像処理装置
WO2021171980A1 (ja) 画像処理装置及びその制御方法並びにプログラム
WO2017126242A1 (ja) 撮像装置、及び、画像データ生成方法
JP2014155071A (ja) 画像処理装置、撮像装置、制御方法、及びプログラム
JP2016082325A (ja) 撮像装置、画像処理装置および画像処理プログラム
JP2016031446A (ja) 撮像装置及びその制御方法
KR20130106525A (ko) 영상 처리 장치 및 이의 영상 처리 방법
JP6593428B2 (ja) 表示装置
JP2018098738A (ja) 画像処理装置、撮像装置、画像処理方法および画像処理プログラム
JP6491539B2 (ja) 撮像装置及びその制御方法、システムならびにプログラム
JP2015220599A (ja) 情報処理装置、制御方法、プログラム及び記録媒体
JP6387149B2 (ja) 画像処理装置、撮像装置、制御方法、及びプログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 13816028

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2014524899

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

WWE Wipo information: entry into national phase

Ref document number: 14413288

Country of ref document: US

122 Ep: pct application non-entry in european phase

Ref document number: 13816028

Country of ref document: EP

Kind code of ref document: A1