WO2010053178A1 - 撮像装置および画像処理方法 - Google Patents

撮像装置および画像処理方法 Download PDF

Info

Publication number
WO2010053178A1
WO2010053178A1 PCT/JP2009/069053 JP2009069053W WO2010053178A1 WO 2010053178 A1 WO2010053178 A1 WO 2010053178A1 JP 2009069053 W JP2009069053 W JP 2009069053W WO 2010053178 A1 WO2010053178 A1 WO 2010053178A1
Authority
WO
WIPO (PCT)
Prior art keywords
photoelectric conversion
image
microlens
conversion element
imaging
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/JP2009/069053
Other languages
English (en)
French (fr)
Inventor
岩根　透
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nikon Corp
Original Assignee
Nikon Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nikon Corp filed Critical Nikon Corp
Priority to US13/127,163 priority Critical patent/US8749657B2/en
Publication of WO2010053178A1 publication Critical patent/WO2010053178A1/ja
Anticipated expiration legal-status Critical
Priority to US14/263,540 priority patent/US9794477B2/en
Priority to US15/704,717 priority patent/US10230894B2/en
Ceased legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/815—Camera processing pipelines; Components thereof for controlling the resolution by using a single image
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/58—Means for changing the camera field of view without moving the camera body, e.g. nutating or panning of optics or image sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/67—Focus control based on electronic image sensor signals
    • H04N23/672—Focus control based on electronic image sensor signals based on the phase difference signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95—Computational photography systems, e.g. light-field imaging systems
    • H04N23/951—Computational photography systems, e.g. light-field imaging systems by using two or more images to influence resolution, frame rate or aspect ratio

Definitions

  • the present invention relates to an imaging apparatus and an image processing method for performing image composition.
  • An imaging optical system a photoelectric conversion element array in which a plurality of photoelectric conversion elements are arranged behind each of the plurality of microlenses, and the plurality of microlenses arranged between the imaging optical system and the photoelectric conversion element array
  • An image synthesizing camera is known in which a focused image is synthesized at an arbitrary position in the optical axis direction of a photographing optical system by using a microlens array in which are arranged (see Patent Document 1).
  • the above-described conventional image synthesizing camera uses an image pickup device composed of a microlens array and a photoelectric conversion element array.
  • a subject optical image is formed on a substantially microlens apex surface of the microlens array by a photographing optical system.
  • Light from the lens is received on a photoelectric conversion element arranged almost at the focal position, and digital image data is generated.
  • the captured image has pixels of the size of the microlens, and the minimum resolution of the image becomes the size of the microlens.
  • the above-described conventional image composition camera has the position of the image composition plane in the depth direction of the captured image, that is, the position of the image composition plane perpendicular to the optical axis of the photographing optical system, to each microlens on the microlens array. Fine adjustment becomes possible as the number of corresponding photoelectric conversion elements increases. However, there is a limit to increasing the number of photoelectric conversion elements per microlens by reducing the size of the microlens and reducing the size of each photoelectric conversion element on the photoelectric conversion element array.
  • an imaging apparatus includes an imaging optical system, a photoelectric conversion element array in which a plurality of photoelectric conversion elements that receive a light beam transmitted through the imaging optical system and output a signal, and imaging optical A microlens array disposed between the system and the photoelectric conversion element array, wherein a plurality of microlenses are arranged, and a plurality of photoelectric conversion elements are arranged in the photoelectric conversion element array behind each of the plurality of microlenses.
  • a data creation unit for creating pixel data of a plurality of pixels on a predetermined imaging plane by a photographing optical system for each of the plurality of microlenses by applying filter matrix data to output signals of the plurality of photoelectric conversion elements;
  • An image synthesis unit that synthesizes an image on a predetermined imaging plane at an arbitrary position in the optical axis direction of the imaging optical system based on the pixel data created by the creation unit.
  • the filter matrix data is two-dimensional according to a predetermined intensity distribution centered on an element corresponding to the center position of the projected image of each of the plurality of pixels formed on the photoelectric conversion element array by each of the plurality of microlenses. Has a data array.
  • the center position depends on the position of the predetermined imaging plane in the optical axis direction, and the predetermined intensity distribution varies depending on the center position. Is preferred.
  • the photographing optical system has a focus adjustment function for changing a position in the optical axis direction of a predetermined imaging plane for focusing the subject image. It is preferable to have.
  • the predetermined intensity distribution is preferably a Gaussian distribution having a maximum intensity at the distribution center.
  • the photographing optical system is configured such that the distance between the position of the predetermined imaging plane in the optical axis direction and the microlens array is equal to each of the plurality of microlenses. It is preferable to change the position of the predetermined imaging plane in the optical axis direction by the focus adjustment function so that it is included in the range of about 1 to 3 times the focal length of.
  • the image composition unit includes the imaging position variable unit that changes the position of the predetermined imaging surface, and the data creation unit includes the predetermined unit.
  • the imaging position variable unit is configured such that the distance between the position of the predetermined imaging surface and the microlens array is the focal point of each of the plurality of microlenses. It is preferable to change the position of the predetermined image plane so that it falls within a range of about 1 to 3 times the distance.
  • an imaging optical system, a photoelectric conversion element array in which a plurality of photoelectric conversion elements that receive a light beam transmitted through the imaging optical system and output a signal, an imaging optical system, and a photoelectric conversion are arranged.
  • An image processing method for processing an image picked up by an image pickup apparatus that is arranged between an element array and has a microlens array in which a plurality of microlenses are arranged is formed on the photoelectric conversion element array by each of the plurality of microlenses.
  • Filter matrix data having a two-dimensional data array according to a predetermined intensity distribution with the element corresponding to the center position of the projected image of each of the plurality of pixels as distribution centers acting on the output signals of the plurality of photoelectric conversion elements
  • FIG. 1 is a diagram illustrating a configuration of a digital camera according to an embodiment.
  • FIG. 2 is a diagram in which the outer periphery of one microlens of the microlens array is projected onto the photoelectric conversion element array.
  • FIG. 3 is a cross-sectional view of a part of the microlens array and the photoelectric conversion element array taken along a plane including the optical axis of the photographing lens.
  • FIG. 4 is a diagram illustrating an example of a two-dimensional filter matrix.
  • FIG. 5 is a diagram illustrating an example of a two-dimensional filter matrix.
  • FIG. 6 is a diagram illustrating an example of a two-dimensional filter matrix.
  • FIG. 1 is a diagram illustrating a configuration of a digital camera according to an embodiment.
  • FIG. 2 is a diagram in which the outer periphery of one microlens of the microlens array is projected onto the photoelectric conversion element array.
  • FIG. 3 is a cross-sectional view of
  • FIG. 7 is a diagram illustrating a positional relationship between virtual pixels on the focal plane and a projection image projected onto the photoelectric conversion element array via the microlens.
  • FIG. 8 is a diagram for explaining the principle of three-point interpolation processing in focus detection calculation.
  • FIG. 9 is a diagram illustrating an example of a modified two-dimensional filter matrix.
  • FIG. 10 is a diagram illustrating a relationship between a microlens of a microlens array in a hexagonal close-packed array and a photoelectric conversion element corresponding to the microlens.
  • FIG. 11 is a diagram illustrating an example of a mask matrix for obtaining a photoelectric conversion element output matrix corresponding to a microlens when a hexagonal close-packed microlens array is used.
  • FIG. 12 is a diagram for explaining a virtual photoelectric conversion element.
  • FIG. 13 is a diagram illustrating the position of a virtual pixel on the focal plane and the center position of the blurred image of the virtual pixel
  • FIG. 1 is a diagram showing a configuration of a digital camera according to an embodiment. The configuration of the embodiment will be described with reference to FIG. FIG. 1 shows only devices and units that are directly related to the present invention.
  • a photographing lens 3 is attached to a camera body 2.
  • the camera body 2 includes an image sensor 4, a drive control device 5, a memory 6, and the like.
  • the imaging device 4 includes a microlens array 4a in which minute microlenses 40a are densely arranged on a plane, and a photoelectric conversion element array 4b in which minute photoelectric conversion elements are densely arranged on a plane.
  • the microlenses are densely arranged in a two-dimensional square lattice.
  • the arrangement of the microlenses is not limited to a square arrangement, and may be a staggered arrangement or a honeycomb arrangement (hexagonal close arrangement).
  • FIG. 2 is a diagram in which the outer periphery of one microlens 40a of the microlens array 4a is projected onto the photoelectric conversion element array 4b.
  • minute photoelectric conversion elements 40b are arranged in a square lattice pattern on the light receiving surface at the focal length of the microlens 40a.
  • each microlens 40a of the microlens array 4a includes a plurality of photoelectric conversion elements 40b constituting the photoelectric conversion element array 4b within its outer peripheral range. That is, the light beam that has passed through one microlens is received by the plurality of photoelectric conversion elements 40b.
  • the diameter of the microlens 40a is set to the length of 11 photoelectric conversion elements, and a photoelectric conversion element matrix arranged in a square lattice of 11 vertical and 11 horizontal for one microlens is supported. I am letting.
  • the number of photoelectric conversion elements 40b corresponding to one microlens 40a is not limited to 11 ⁇ 11 in this embodiment.
  • the “right pupil”, “left pupil”, and “microlens optical axis L” described in FIG. 2 will be described later.
  • a drive control device 5 includes peripheral components such as a microcomputer (not shown), a memory, an A / D converter, and a drive circuit, and various arithmetic controls, sequence control, lens drive control, and aperture drive control of the camera 1. , And mirror drive control.
  • the drive control device 5 includes a pupil data extraction unit 5a, a data string formation unit 5b, a focus calculation unit 5c, an image synthesis unit 5d, a lens drive control unit 5e, and the like that are functionally realized by microcomputer software. ing. Details of these units 5a to 5e will be described later.
  • the memory 6 stores various data and images.
  • the image memory 6 a stores an image captured by the image sensor 4.
  • the optical axis data memory 6b is a memory for storing position data of the optical axis L of each microlens 40a constituting the microlens array 4a.
  • the optical axis position data of the optical axis L of the microlens 40a represents the coordinates expressed by the position of the photoelectric conversion element 40b in the photoelectric conversion element array 4b in which the optical axis L of each microlens 40a is located in a decimal order. Is. That is, the position of the optical axis L is accurately represented by a value smaller than a unit in which one photoelectric conversion element 40b is set to 1, for example, 0.5 photoelectric conversion element 40b is 0.5. is there.
  • FIG. 2 showing an embodiment, the center of the photoelectric conversion element array 4b having 11 squares and 11 squares in a square lattice arrangement (the position to which X is given in FIG. 2), that is, the photoelectric conversion element array 4b.
  • An example is shown in which the center of the photoelectric conversion element 40b at the center is the position of the optical axis L of the microlens 40a.
  • the photoelectric conversion element 40b corresponding to each microlens 40a outputs. From the signal, the output of the virtual photoelectric conversion element 400b in which the optical axis L of the microlens 40a passes through the center is obtained by calculation. A matrix of eleven vertical and eleven horizontal squares of virtual photoelectric conversion elements having outputs from these virtual photoelectric conversion elements 400b is created and used for image composition in an embodiment described later. If the virtual photoelectric conversion element output matrix thus obtained is included in the photoelectric conversion element matrix in the following description, the optical axis L of the microlens 40a as shown in FIG. It can be understood in the same way as the centrally located example. Hereinafter, in order to simplify the description, it is assumed that the optical axis L of the microlens 40a is located at the center of the photoelectric conversion element 40b.
  • the filter memory 6c is a memory for storing a two-dimensional filter for acting on the photoelectric conversion element matrix when an image is synthesized on a plane perpendicular to the optical axis of the photographing lens 3. This two-dimensional filter will be described later.
  • the synthesized image has pixels of the size of the micro lens, and the minimum resolution of the image is the size of the micro lens.
  • the synthesized image has pixels smaller than the size of the microlens and having a minimum resolution smaller than that of the microlens.
  • FIG. 3 is a cross-sectional view of a part of the microlens array 4a and the photoelectric conversion element array 4b cut along a plane including the optical axis of the photographing lens 3.
  • the imaging plane of the photographic lens 3 that is, the focal plane S is at a position of a distance y from the plane to which the apex of the microlens 40a included in the microlens array 4a belongs (hereinafter referred to as “microlens apex plane”). Show the case. In this example, the case where the distance y is slightly longer than the focal length f of the microlens 40a included in the microlens array 4a (y> f) is shown.
  • the thickness of the microlens 40a is assumed to be almost zero and can be ignored.
  • the subject image formed by the taking lens 3 formed on the focal plane S is synthesized based on the output of the photoelectric conversion element array 4b. Note that the subject image formed on the focal plane S has a two-dimensional spread on the focal plane S, but in FIG. 3, a single plane including the optical axis of the photographic lens 3 (hereinafter referred to as “plane shown in FIG. 3”).
  • the image composition method of an embodiment will be conceptually described only above.
  • the focal length of the photographic lens 3 is approximately equal to the focal length of the microlens 40a.
  • each microlens 40a the light beam that passes through each point P1 and is guided to the photoelectric conversion element array 4b via each microlens 40a is the photoelectric conversion element array 4b.
  • a blurred image is formed for each microlens 40a.
  • the center position of this blurred image is the optical axis position P1 ′ of each micro lens 40a (the position where the optical axis L of the micro lens 40a intersects the light receiving surface of the photoelectric conversion element array 4b), and the photoelectric conversion at the position of the point P1 ′. It has a light quantity distribution centering on the element 40b.
  • the photoelectric conversion element array 4b outputs an image signal corresponding to the light amount distribution for each microlens 40a.
  • an image of each point P1 formed on the focal plane S is synthesized by an image signal for each microlens 40a.
  • a subject image having pixels in units of microlenses 40a around each point P1 on the focal plane S is synthesized.
  • a plurality of points on the focal plane S here two points P2 and P3 are arranged at equal intervals and on the optical axis L of each microlens 40a. Place them symmetrically.
  • the microlens array 4a and a part of the photoelectric conversion element array 4b are formed by a plane (not shown) obtained by rotating the plane shown in FIG. 3 by 90 degrees about the optical axis of the photographing lens 3.
  • a plurality of points, here two points P4 and P5 are arranged on the focal plane S at equal intervals and symmetrically with respect to the optical axis L of each microlens.
  • FIG. 13A shows the relationship among points P2, P3, P4, and P5 on the focal plane S.
  • FIG. 13A only a part of the focal plane S is shown.
  • the outer edge of the microlens 40a located behind the focal plane S is also illustrated.
  • a subject image having four pixels is synthesized for each microlens 40a.
  • an image having one point P1 as a pixel is synthesized for each microlens 40a, whereas in this embodiment, four points P2 and P3 are made for each microlens 40a. , P4, and P5 are combined as images. Therefore, according to this embodiment, the number of pixels is four times that of a conventional image composition camera, and an image with a resolution four times larger can be synthesized.
  • the image composition method in the plane shown in FIG. 3 will be described, but the image composition method in the plane obtained by rotating the plane shown in FIG. 3 about the optical axis of the photographing lens 3 by 90 degrees is also the same.
  • the light beam that has passed through the point P2 on the focal plane S and led to the photoelectric conversion element array 4b via each microlens 40a is directed to the position P2 ′ on the photoelectric conversion element array 4b for each microlens 40a. Tying a blurred image. Further, the light beam that has passed through the point P3 on the focal plane S and led to the photoelectric conversion element array 4b through each microlens 40a is blurred at each position of the microlens 40a at the position P3 ′ on the photoelectric conversion element array 4b. Tie.
  • These blurred images have a light quantity distribution G with the center positions P2 ′ and P3 ′ as the distribution center, and the photoelectric conversion element array 4b outputs an image signal corresponding to the light quantity distribution G for each microlens 40a. Output.
  • the light amount distribution of the blurred image of the points P2 and P3 projected on the photoelectric conversion element array 4b by each microlens 40a shows different point image distributions depending on the curved surface state of the microlens 40a. In order to make it easier to understand, it will be described as a blurred image having a Gaussian light quantity distribution.
  • the focal plane S When the focal plane S is between, for example, a position away from the microlens apex plane by the focal length f of the microlens (0 ⁇ y ⁇ f), the focal plane S is smaller than the example shown in FIG. It approaches the lens array 4a. As a result, the angle ⁇ formed by the centers of the light beams exiting the points P2 and P3 becomes gradually larger than the example shown in FIG. Therefore, the blurred images of the points P2 and P3 are diffused beyond the range of the photoelectric conversion element 40b covered by each microlens 40a shown in FIG. 2 to the photoelectric conversion element 40b covered by the adjacent microlens 40a. It becomes difficult to synthesize a blurred image of P3.
  • the focal plane S is located on the photographing lens 3 side from the microlens apex surface at a position away from the focal length f of the microlens 40a (y> f)
  • the amount of separation (y) increases.
  • the angle ⁇ formed by the centers of the light fluxes exiting the points P2 and P3 becomes gradually smaller than the example shown in FIG. Therefore, the blurred images of the points P2 and P3 are reduced and approach on the photoelectric conversion element array 4b, but are within the range of the photoelectric conversion elements 40b covered by the microlenses 40a shown in FIG. 2, and the points P2 and P3 It is possible to synthesize a blurred image.
  • the position of the focal plane S has an optimum range that can be combined. Details of this point will be described later.
  • the points P2 and P3 are alternately and equally spaced on the focal plane S shown in FIG. 3, so the distance is d / 2. . Therefore, the distance between point P2 or point P3 and point P1 (optical axis L) is both d / 4.
  • the center of the light amount distribution of the blurred image on the photoelectric conversion element array 4b at the point P2 or the point P3 The distance x from P2 ′ or the center P3 ′ to the optical axis position P1 ′ of the microlens 40a is both d / 4.
  • an image formed at the points P2 and P3 on the focal plane S by the photographing lens 3 is positioned at a position P2 at a distance x from the optical axis position P1 ′ of the microlens 40a on the photoelectric conversion element array 4b by each microlens 40a. It is projected as a blurred image of the light amount distribution G centered on ', P3'.
  • the position P2 at a distance x from the optical axis position P1 ′ of each microlens 40a is positioned at a position P2 at a distance x from the optical axis position P1 ′ of each microlens 40a.
  • the image data is imaged at points P2 and P3 on the focal plane S at a distance y from the apex surface of the microlens.
  • the image data corresponds to the image.
  • the distance y from the top surface of the microlens to the focal plane S that is, the possible range of the focal position
  • the distance y is smaller than the focal length f of the microlens 40a
  • the blurred images at the points P2 and P3 are diffused beyond the range of the photoelectric conversion element 40b covered by each microlens 40a. Becomes impossible.
  • the distance y is made larger than the focal length f
  • the blurred images at the points P2 and P3 become smaller and overlap on the photoelectric conversion element 40b near the optical axis of each microlens 40a, and the light amount distribution G of the blurred image.
  • the image composition method according to the embodiment is effective when the distance y is within a predetermined range from approximately f to 3f with the focal length f of the microlens 40a as a unit.
  • the predetermined range (f to 3f) is not necessarily determined uniquely, but is determined according to the specifications such as the diameter and curvature of the microlens 40a, the specifications of the photographing lens 3, and the like.
  • the microlens 40a is within the range of the photoelectric conversion element matrix corresponding to each microlens 40a.
  • the distance x from the optical axis position P1 ′ to the distribution centers P2 ′ and P3 ′ of the light amount distribution G of the blurred images at the points P2 and P3 is determined by the above equation (1).
  • the photographing lens 3 is driven so that the focal plane S falls within the predetermined range (y ⁇ f to 3f). There must be.
  • the method of detecting the focus adjustment state of the photographing lens 3 at an arbitrary position in the photographing screen based on the photoelectric conversion element output of the photoelectric conversion element array 4b will be described later in detail.
  • the photoelectric conversion element output matrix corresponding to one microlens 40a is subjected to two-dimensional filtering, and an output matrix corresponding to the light quantity distribution G as shown in FIG. 3 is extracted.
  • Filter matrix data (hereinafter simply referred to as a filter matrix) used for two-dimensional filter processing is a matrix in which the value of each element decreases along a Gaussian distribution from the center to the periphery as shown in FIG. Thus, a matrix normalized with 256 levels of element values from 0 to 255 is used.
  • the filter matrix represents a distribution of weighting factors, and each element of the filter matrix represents a weighting factor.
  • the photoelectric conversion element output matrix corresponding to each microlens 40a is composed of eleven vertical elements and eleven horizontal elements
  • the two-dimensional filter matrix also includes eleven vertical elements and eleven horizontal elements. Use what you have.
  • the matrix of the two-dimensional filter shown in FIG. 4 has the distribution center of the light quantity distribution of the blurred image at the optical axis position P1 ′ of the microlens 40a shown in FIG. 3, and this filter matrix is output to the photoelectric conversion element for each microlens 40a.
  • an image of the point P1 on the focal plane S can be synthesized. That is, it is possible to obtain a composite image by the above-described conventional image composition camera.
  • the two-dimensional shown in FIG. A filter matrix is used in order to generate a composite image in which the point P2 on the focal plane S shown in FIG. 3 (see FIG. 13A) is a virtual pixel. Further, in order to generate a composite image in which a point P3 (see FIG. 13A) on the focal plane S shown in FIG. 3 is a virtual pixel, a two-dimensional filter matrix shown in FIG. 5B is used. On the other hand, in a plane (not shown) obtained by rotating the plane shown in FIG. 3 by 90 degrees about the optical axis of the photographic lens 3, a point P4 (see FIG. 13A) on the focal plane S is a virtual pixel. A two-dimensional filter matrix shown in FIG.
  • 3 is a virtual image obtained by using a point P5 on the focal plane S (see FIG. 13A) as a virtual pixel on a plane obtained by rotating the plane shown in FIG. 3 by 90 degrees about the optical axis of the photographing lens 3.
  • FIG. 13B shows the relationship between points P1 ', P2', P3 ', P4', and P5 'on the photoelectric conversion element array 4b.
  • FIG. 13B only a part of the photoelectric conversion element array 4b is illustrated.
  • the outer edge of the microlens 40a included in the microlens array 4a covering the photoelectric conversion element array 4b is also illustrated.
  • the two-dimensional filters shown in FIGS. 5A and 5B correspond to positions P2 ′ and P3 ′ that are separated from the optical axis position P1 ′ of the microlens 40a on the photoelectric conversion element array 4b by a distance x in FIG.
  • the matrix shown in FIG. 5B is obtained by rotating the matrix shown in FIG. 5A by 180 degrees around the optical axis position P1 'of the micro lens 40a.
  • the two-dimensional filter shown in FIGS. 6A and 6B has a photoelectric conversion function in a plane (not shown) obtained by rotating the plane shown in FIG. 3 about 90 degrees around the optical axis of the photographing lens 3.
  • Elements corresponding to positions P4 ′ and P5 ′ (both not shown) separated from the optical axis position P1 ′ of the microlens 40a on the element array 4b by a distance x have a maximum value 255, and from the positions P4 ′ and P5 ′.
  • This is a matrix filter in which the value of each element decreases along a Gaussian distribution as it moves away from the periphery.
  • the matrix shown in FIG. 6B is obtained by rotating the matrix shown in FIG. 6A by 180 degrees around the optical axis position P1 'of the microlens 40a.
  • the two-dimensional filter matrix since four virtual pixels are uniformly arranged for each microlens 40a, four contrasting two-dimensional filter matrices are required. That is, in the two-dimensional filter matrix according to the embodiment, one matrix is converted into the optical axis position P1 of the microlens 40a in the order of FIGS. 5A, 6B, 5B, and 6A. It is rotated 90 degrees around '.
  • the position where the element of the matrix has the maximum value 255 that is, the position that becomes the distribution center of the blurred image distribution is obtained by the above formula (1) according to the position of the focal plane, that is, the distance y from the apex plane of the microlens to the focal plane. It is done.
  • the two-dimensional filter matrix differs depending on the arrangement and number of virtual pixels and the position of the focal plane, and the two-dimensional filter for each arrangement and number of virtual pixels and the position of the focal plane in advance.
  • the focus y is assumed to be within a predetermined range (y ⁇ f to 3f)
  • the pixel output corresponding to the focus position is obtained, and a high-definition, that is, high-resolution image at the focus position is obtained.
  • the image composition unit 5d of the drive control device 5 reads the image data picked up by the image pickup device 4 and stored in the image memory 6a, and creates an output matrix of photoelectric conversion elements corresponding to each microlens.
  • the pupil data extraction unit 5a, the data string formation unit 5b, and the focus calculation unit 5c of the drive control device 5 detect the focus adjustment state of the photographing lens 3 at the manually or automatically set focus detection position in the captured image. To do.
  • the focus detection position is manually adjusted by moving the cursor to an arbitrary subject position to be focused by operating the operation member while viewing the captured image projected on the monitor (not shown) on the back of the camera. It may be set with. Alternatively, the captured image may be processed to recognize the face portion of a person from the image, and the face portion may be automatically set as a position to be focused.
  • the image composition unit 5d Based on the focus detection result at the focus detection position in the image, the image composition unit 5d detects the position y of the focal plane, that is, the distance y from the apex surface of the microlens, and the distance y is a substantially predetermined range with respect to the focal length f of the microlens. It is determined whether or not it is within (y ⁇ f to 3f). If not within the predetermined range, the lens driving control unit 5e of the drive control device 5 adjusts the focus of the photographic lens 3 by controlling the motor of the photographic lens 3 or the like, and the focal plane at the focus detection position is the above-described focal plane. Make sure that it falls within the specified range.
  • a filter corresponding to the virtual pixel and the focal plane position is selected from the two-dimensional filters stored in the filter memory 6c. Search for. Then, a two-dimensional filter matrix is applied to the photoelectric conversion element output matrix corresponding to each microlens, the products for each element are integrated, and the integrated value is normalized to a level suitable for the pixel output.
  • the image composition unit 5d performs the above processing for each virtual pixel of each microlens, and obtains four virtual pixel outputs for each microlens. Finally, four virtual pixel outputs for each microlens are developed on a two-dimensional plane according to the arrangement of the microlens and the virtual pixel to generate a composite image.
  • P4, P4 ′, P5, and P5 ′ are planes obtained by rotating the plane shown in FIG. 3 by 90 degrees about the optical axis of the photographing lens 3, and the microlens array 4a and the photoelectric conversion element array. It is a point in a cross section obtained by cutting a part of 4b (see FIG. 13).
  • regions R1 and R2 each consisting of three photoelectric conversion elements 40b that are symmetric with respect to the optical axis position L of the microlens 40a are placed on the exit pupil of the photographing lens 3 by the corresponding microlens 40a. Projected to form a pair of projection areas on the exit pupil. A pair of luminous fluxes passing through the pair of projection areas on the exit pupil of the photographing lens 3 are respectively three photoelectric conversions at symmetrical positions around the optical axis position of the microlens through the photographing lens 3 and the microlens.
  • the light is guided to regions R1 and R2 including the element 40b, and images of a pair of pupils (right pupil and left pupil) are formed on the regions R1 and R2, respectively.
  • the phase difference between the pair of pupil images that is, the amount of image shift varies depending on the focus adjustment state of the taking lens 3. Therefore, if the image shift amount is calculated based on a pair of image data (a pair of pupil data) corresponding to a pair of pupil images output from each of the three photoelectric conversion elements 40a included in the regions R1 and R2,
  • the so-called pupil division phase difference detection method can detect the focus adjustment state of the photographic lens 3, that is, the amount of defocus from the planned focal plane.
  • the position and number of photoelectric conversion elements that extract a pair of left and right pupil data are not limited to the position and number of the embodiment shown in FIG. Further, in the above extraction example of a pair of pupil data, an example in which image data is extracted from photoelectric conversion elements at left and right symmetrical positions has been shown. However, depending on the focus detection direction, photoelectric conversion elements at vertical symmetry positions or photoelectric conversion elements at oblique symmetry positions. Image data can be extracted from a conversion element or the like.
  • the data string forming unit 5b of the drive control device 5 divides a pair of left and right pupil data corresponding to a predetermined number of microlenses arranged in the left-right direction into right pupil data and left pupil data and arranges them in the order of microlenses.
  • a right pupil data string and a left pupil data string are formed.
  • the focus calculation unit 5c of the drive control device 5 reads a pair of left and right pupil data strings from the image memory 6a, performs focus detection calculation (correlation calculation) by the above-described pupil division phase difference detection method, and adjusts the focus adjustment state of the photographing lens 3 Is detected.
  • the focus detection calculation based on a pair of data strings is well known, but the outline thereof will be described here.
  • N 1, 2,..., N
  • D (k) ⁇
  • the shift amount k that minimizes the difference D (k) is obtained from Equation (2). Since the pair of data strings A and B are discrete numbers, it is not possible to obtain a true shift amount k at which the difference D (k) becomes the minimum value with a resolution equal to or higher than the microlens interval.
  • the pair of data strings A and B can be regarded as a combination of sine waves.
  • the expression (2) is regarded as the following expression (3).
  • D ( ⁇ ) K ⁇
  • Equation (4) can also be applied to other spatial frequencies, all of which are independently multiplied by a term related to ⁇ , and it can be seen that the difference equation changes with the absolute value of the sine wave. Further, since the sine wave is linear when ⁇ is near 0, it can be considered that the bottom of the valley sandwiched between straight lines with the same inclination as shown in FIG. 8 is the minimum value.
  • a true shift amount k that minimizes the difference D is obtained by the following three-point interpolation calculation.
  • the larger difference D is, for example, D (j ⁇ 1).
  • the true minimum value Dmin of D (k) is set, and the shift amount k that gives the true minimum difference Dmin is set as the true shift amount kmin .
  • the true shift amount kmin is multiplied by a predetermined conversion coefficient m, and the defocus amount DEF from the planned focal plane (microlens apex surface) of the subject image plane by the photographing lens 3, that is, the defocus amount DEF is expressed by the equation (5).
  • Ask for. DEF m ⁇ k min (5)
  • the distance x to the center positions P2 ′ and P3 ′ and the position of the maximum value of the elements of the two-dimensional filter matrix change.
  • a virtual pixel (P2, P3, P4, P5) and a two-dimensional filter corresponding to the position of the focal plane S are stored in advance in the filter memory 6c (see FIG. 1).
  • the blur state of the blur image of the virtual pixel changes.
  • the focal plane S moves away from the microlens array 4a, that is, the distance y increases, the image of the points P2, P3, P4, and P5 projected onto the photoelectric conversion element array 4b by each microlens 40a becomes less blurred. It approaches the image formation state without any. Therefore, it is necessary to change the position of the maximum value of the element of the two-dimensional filter matrix so as to approach the optical axis position P1 ′ of the microlens, and to reduce the size of the element value set according to the Gaussian distribution. There is.
  • the size of the element value distribution according to the Gaussian distribution on the two-dimensional filter matrix is the position of the focal plane where the distance x from the microlens optical axis position P1 ′ to the distribution centers P2 ′ and P3 ′ is considered to be 0, In other words, the distance y from the apex surface of the microlens to the focal plane S is minimized at the position of the focal plane that is considered infinite.
  • the diameter D of the blurred image is determined by the diffraction limit, and assuming that the wavelength of light is 540 nm and the F number of the microlens is F / 2.8, the diameter D of the blurred image can be obtained by Expression (6).
  • D 2.44 ⁇ ⁇ ⁇ F (6)
  • the minimum diameter D is 3.7 ⁇ m, which is about the size of the photoelectric conversion element of the assumed photoelectric conversion element array 4b. It is assumed that there is no blur at the focal position where the distance x from the microlens optical axis position P1 ′ to the distribution centers P2 ′ and P3 ′ is assumed to be 0.
  • the matrix of the two-dimensional filter has an element with a value of 255 as the distribution. There is one in the center and all remaining elements can be zero.
  • the diameter D of the blurred image when the distance x from the microlens optical axis position P1 ′ to the distribution centers P2 ′ and P3 ′ is 0 is set to 0, and the diameter D of the blurred image is increased as the distance x increases.
  • a two-dimensional filter that obtains a more accurate virtual pixel output can be set, and the image quality of the composite image can be improved using such a two-dimensional filter.
  • the optically effective shape of the microlens 40a is circular, while the matrix is rectangular (square or rectangular). Therefore, when considering the photoelectric conversion element matrix corresponding to the microlens 40a, the shape between the two is the same. do not do.
  • the microlenses 40a are square, the microlens and the photoelectric conversion element matrix can be associated with each other.
  • the photoelectric conversion element matrix corresponding to a certain microlens 40a is adjacent.
  • the photoelectric conversion element matrix element corresponding to the microlens 40a may be included.
  • the range of the photoelectric conversion element 40b corresponding to each microlens 40a is set as a range inscribed in the frame of the hexagon 4c including the microlens 40a as shown in FIG.
  • a mask matrix as shown in FIG. 6 is applied to the photoelectric conversion element output matrix.
  • the region of the element having a value of 1 indicates the optically effective region of the microlens 40a.
  • the digital camera 1 can exhibit the following operational effects.
  • the digital camera 1 includes a photographing lens 3, an image sensor 4, and an image composition unit 5d.
  • the imaging element 4 includes a microlens array 4a in which a plurality of microlenses 40a are arranged on a plane, and a photoelectric conversion element array 4b in which a plurality of photoelectric conversion elements 40b are arranged on a plane.
  • the photoelectric conversion element array 4b receives the light beam from the subject that has passed through the photographing lens 3 through the micro lens array 4a, and outputs an image signal. Based on the image data picked up by the image pickup device 4 in this way, the image composition unit 5 d composes an image on an arbitrary focal plane S of the photographing lens 3.
  • a plurality of virtual pixels P2 to P4 are defined for each microlens 40a, and a two-dimensional filter for each of the plurality of virtual pixels P2 to P4 is stored in the filter memory 6c in advance.
  • a filter process using a two-dimensional filter is performed on the output matrix of the plurality of photoelectric conversion elements 40b corresponding to each microlens 40a, and the output of each virtual pixel P2 to P4 is calculated to synthesize the image on the focal plane S. I did it. Thereby, it is possible to synthesize a high-definition image with high resolution at an arbitrary focal plane S of the photographing lens 3 based on the data of one captured image.
  • the two-dimensional filter has a different matrix element distribution for each focal plane S, and focuses on the distance x between the distribution center position of the element distribution on the matrix and the optical axis position of the microlens 40a on the photoelectric conversion element array 4b. It was made to change according to the surface S. As a result, the projected image on the photoelectric conversion element array 4b of each virtual pixel P2 to P4 on an arbitrary focal plane S can be accurately obtained, and a high-definition image with high resolution can be accurately synthesized.
  • the pupil data extraction unit 5a, the data string formation unit 5b, and the focus calculation unit 5c are photographed based on the outputs of a pair of photoelectric conversion elements among the plurality of photoelectric conversion elements 40b corresponding to the respective microlenses 40a.
  • a displacement amount of the pair of images by the pair of light beams that have passed through the pupil of the lens 3 is detected.
  • the position of the focal plane S of the photographing lens 3 in the image captured by the image sensor 4 is detected.
  • the focal plane S can take an arbitrary position.
  • the image composition unit 5d composes an image corresponding to the position of the focal plane S thus detected. Therefore, an image corresponding to the focal plane S of the photographing lens 3 that can take an arbitrary position can be synthesized based on the data of one captured image.
  • the lens drive control unit 5e adjusts the focus of the photographing lens 3 based on the focus detection results by the pupil data extraction unit 5a, the data string formation unit 5b, and the focus calculation unit 5c.
  • a predetermined range for example, a range of f to 3f with respect to the focal length f of the microlens 40a
  • the focal plane S falls within the predetermined range. In this way, the focus of the photographic lens 3 is adjusted. Therefore, the image synthesis unit 5d can synthesize a high-resolution image corresponding to the focal plane S of the photographing lens 3 that can take an arbitrary position based on the data of one captured image.
  • the matrix of the two-dimensional filter is a matrix having a Gaussian distribution element value centered on the projection position on the photoelectric conversion element array 4b by the microlens 40a of each of the virtual pixels P2 to P4.
  • the image composition unit 5d sets the element corresponding to the photoelectric conversion element 40b in the optical effective area of each microlens 40a to 1 and sets the element corresponding to the photoelectric conversion element 40b outside the effective area to 0. It has a matrix mask filter. Prior to the filtering process using the two-dimensional filter, the filtering process using the mask filter is performed on the output matrix of the plurality of photoelectric conversion elements 40b corresponding to each microlens 40a. Therefore, irrespective of the outer diameter shape of the microlens 40a, the photoelectric conversion element 40b in the optically effective area of the microlens 40a can be accurately extracted to obtain a photoelectric conversion element output matrix. The projected image on the photoelectric conversion element array 4b of each of the virtual pixels P2 to P4 can be accurately obtained.
  • the filter memory 6c for storing the two-dimensional filter Since the filter memory 6c for storing the two-dimensional filter is provided, it is not necessary to obtain a two-dimensional filter by calculation for each of the focal plane S and the virtual pixels P2 to P4, and the image composition processing can be simplified. .

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • Studio Devices (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)
  • Image Input (AREA)
  • Automatic Focus Adjustment (AREA)

Abstract

　撮像装置は、撮影光学系と、撮影光学系を透過した光束を受光して信号を出力する複数の光電変換素子を配列した光電変換素子アレイと、撮影光学系と光電変換素子アレイとの間に配置され、かつ複数のマイクロレンズが配列され、複数のマイクロレンズの各々の背後に複数の光電変換素子が光電変換素子アレイに配列されているマイクロレンズアレイと、複数の光電変換素子の出力信号にフィルターマトリクスデータを作用させて、複数のマイクロレンズの各々について撮影光学系による所定の結像面における複数の画素の画素データを作成するデータ作成部と、データ作成部の作成した画素データに基づいて撮影光学系の光軸方向の任意の位置における所定の結像面上の画像を合成する画像合成部とを有し、フィルターマトリクスデータは、複数のマイクロレンズの各々によって光電変換素子アレイ上に形成される複数の画素の各々の投影像の中心位置に対応する要素を分布中心とする所定の強度分布に従った二次元データ配列を有する。

Description

撮像装置および画像処理方法
　本発明は画像合成を行う撮像装置および画像処理方法に関する。
　撮影光学系と、複数のマイクロレンズの各々の背後に複数の光電変換素子を配列した光電変換素子アレイと、その撮影光学系とその光電変換素子アレイとの間に配置され、その複数のマイクロレンズを配列したマイクロレンズアレイとを用いて撮影光学系の光軸方向の任意の位置に焦点の合った画像を合成するようにした画像合成カメラが知られている（特許文献１参照）。
日本国特開２００７－００４４７１号公報
　上述した従来の画像合成カメラでは、マイクロレンズアレイと光電変換素子アレイとからなる撮像素子を用いており、撮影光学系によりマイクロレンズアレイの略マイクロレンズ頂点面に被写体像を結像し、各マイクロレンズからの光をそのほぼ焦点位置に配列した光電変換素子上で受光し、デジタル画像データを生成する。その結果、上述した従来の画像合成カメラでは、撮像画像がマイクロレンズの大きさの画素を有することになり、画像の最小分解能はマイクロレンズの大きさになる。
　また、上述した従来の画像合成カメラは、撮像画像の奥行き方向の画像合成面の位置、つまり撮影光学系の光軸と垂直に交わる画像合成面の位置は、マイクロレンズアレイ上の各マイクロレンズに対応する光電変換素子の数が多いほど微調整が可能になる。しかし、マイクロレンズを小さくし、かつ光電変換素子アレイ上の各光電変換素子の大きさを縮小してマイクロレンズ１個当たりの光電変換素子数を多くするには限界がある。
　本発明の第１の態様によると、撮像装置は、撮影光学系と、撮影光学系を透過した光束を受光して信号を出力する複数の光電変換素子を配列した光電変換素子アレイと、撮影光学系と光電変換素子アレイとの間に配置され、かつ複数のマイクロレンズが配列され、複数のマイクロレンズの各々の背後に複数の光電変換素子が光電変換素子アレイに配列されているマイクロレンズアレイと、複数の光電変換素子の出力信号にフィルターマトリクスデータを作用させて、複数のマイクロレンズの各々について撮影光学系による所定の結像面における複数の画素の画素データを作成するデータ作成部と、データ作成部の作成した画素データに基づいて撮影光学系の光軸方向の任意の位置における所定の結像面上の画像を合成する画像合成部とを有し、フィルターマトリクスデータは、複数のマイクロレンズの各々によって光電変換素子アレイ上に形成される複数の画素の各々の投影像の中心位置に対応する要素を分布中心とする所定の強度分布に従った二次元データ配列を有する。
　本発明の第２の態様によると、第１の態様の撮像装置において、中心位置は、所定の結像面の光軸方向の位置に依存し、所定の強度分布は、中心位置に応じて異なるのが好ましい。
　本発明の第３の態様によると、第１または第２の態様による撮像装置において、撮影光学系は、被写体像を合焦させる所定の結像面の光軸方向の位置を変化させる焦点調節機能を有しているのが好ましい。
　本発明の第４の態様によると、第１または第２の態様による撮像装置において、所定の強度分布は、分布中心における強度が最大となるガウス分布であるのが好ましい。
　本発明の第５の態様によると、第３の態様による撮像装置において、撮影光学系は、所定の結像面の光軸方向の位置とマイクロレンズアレイとの距離が、複数のマイクロレンズの各々の焦点距離の略１～３倍の範囲に含まれるように、焦点調節機能により、所定の結像面の光軸方向の位置を変化させるのが好ましい。
　本発明の第６の態様によると、第１の態様による撮像装置において、画像合成部は、所定の結像面の位置を変化させる結像位置可変部を有し、データ作成部は、所定の結像面の位置に応じて変化する中心位置に合わせて所定の強度分布を異ならせるのが好ましい。
　本発明の第７の態様によると、第６の態様による撮像装置において、結像位置可変部は、所定の結像面の位置とマイクロレンズアレイとの距離が、複数のマイクロレンズの各々の焦点距離の略１～３倍の範囲に含まれるように、所定の結像面の位置を変化させるのが好ましい。
　本発明の第８の態様によると、撮影光学系と、撮影光学系を透過した光束を受光して信号を出力する複数の光電変換素子を配列した光電変換素子アレイと、撮影光学系と光電変換素子アレイとの間に配置され、複数のマイクロレンズを配列したマイクロレンズアレイとを有する撮像装置により撮像した画像を処理する画像処理方法は、複数のマイクロレンズの各々によって光電変換素子アレイ上に形成される複数の画素の各々の投影像の中心位置に対応する要素を分布中心とする所定の強度分布に従った二次元データ配列を有するフィルターマトリクスデータを、複数の光電変換素子の出力信号に作用させて、複数のマイクロレンズの各々について撮影光学系による所定の結像面における複数の画素の画素データを作成し、画素データに基づいて撮影光学系の光軸方向の任意の位置における所定の結像面上の画像を合成する。
図１は、一実施の形態のデジタルカメラの構成を示す図である。 図２は、マイクロレンズアレイの一つのマイクロレンズの外周を光電変換素子アレイ上に投影した図である。 図３は、マイクロレンズアレイと光電変換素子アレイの一部分を、撮影レンズの光軸を含む面で切った断面図である。 図４は、二次元フィルターマトリクスの一例を示す図である。 図５は、二次元フィルターマトリクスの一例を示す図である。 図６は、二次元フィルターマトリクスの一例を示す図である。 図７は、焦点面上の仮想画素とマイクロレンズを介して光電変換素子アレイ上に投影される投影像との位置関係を示す図である。 図８は、焦点検出演算における三点内挿処理の原理を説明する図である。 図９は、変形例の二次元フィルターマトリクスの一例を示す図である。 図１０は、六方稠密配列のマイクロレンズアレイのマイクロレンズと、マイクロレンズに対応する光電変換素子との関係を示す図である。 図１１は、六方稠密配列のマイクロレンズアレイを用いた場合の、マイクロレンズに対応する光電変換素子出力マトリクスを求めるマスクマトリクスの一例を示す図である。 図１２は、仮想的な光電変換素子を説明するための図である。 図１３は、焦点面における仮想的な画素の位置、および光電変換素子アレイ上におけるその仮想的な画素のボケ像の中心位置を示す図である。
　本発明の撮像装置をデジタルカメラに適用した一実施の形態を説明する。図１は一実施の形態のデジタルカメラの構成を示す図であり、この図により一実施の形態の構成を説明する。なお、図１では本発明に直接関係のある装置およびユニットのみを図示する。
　一実施の形態のデジタルカメラ１には、カメラボディ２に撮影レンズ３が装着されている。カメラボディ２は撮像素子４、駆動制御装置５、メモリ６などを備えている。撮像素子４は、微小なマイクロレンズ４０ａを平面上に稠密に配列したマイクロレンズアレイ４ａと、微小な光電変換素子を平面上に稠密に配列した光電変換素子アレイ４ｂとから構成される。
　一実施の形態のマイクロレンズアレイ４ａでは、マイクロレンズが二次元状に稠密に正方格子配列されている。なお、マイクロレンズの配列は正方配列に限定されず、千鳥状配列やハニカム状配列（六方稠密配列）としてもよい。
　図２は、マイクロレンズアレイ４ａの一つのマイクロレンズ４０ａの外周を光電変換素子アレイ４ｂ上に投影した図である。一実施の形態の光電変換素子アレイ４ｂでは、微小な光電変換素子４０ｂがマイクロレンズ４０ａの焦点距離の位置にある受光面に正方格子状に配列されている。マイクロレンズアレイ４ａの各マイクロレンズ４０ａは、図２に示すように光電変換素子アレイ４ｂを構成する複数の光電変換素子４０ｂをその外周範囲内に包含している。すなわち、一つのマイクロレンズを通った光束は複数の光電変換素子４０ｂで受光される。
　この一実施の形態では、マイクロレンズ４０ａの直径を光電変換素子１１個分の長さとし、マイクロレンズ１個に対し縦１１個、横１１個の正方格子状に配列された光電変換素子マトリクスを対応させている。なお、１個のマイクロレンズ４０ａに対応する光電変換素子４０ｂの個数はこの一実施の形態の１１×１１個に限定されない。また、図２の中に記載した“右瞳”、“左瞳”および“マイクロレンズ光軸Ｌ”については後述する。
　図１において、駆動制御装置５は、図示しないマイクロコンピューターとメモリ、Ａ／Ｄコンバーター、および駆動回路などの周辺部品を含み、カメラ１の種々の演算制御、シーケンス制御、レンズ駆動制御、絞り駆動制御、およびミラー駆動制御などを実行する。駆動制御装置５は、マイクロコンピューターのソフトウエアにより機能的に実現された瞳データ抽出部５ａ、データ列形成部５ｂ、焦点演算部５ｃ、画像合成部５ｄ、およびレンズ駆動制御部５ｅなどを有している。これらの各部５ａ～５ｅの詳細については後述する。
　メモリ６は種々のデータや画像を記憶する。画像メモリ６ａは撮像素子４により撮像された画像を記憶する。光軸データメモリ６ｂは、図２に示すように、マイクロレンズアレイ４ａを構成する各マイクロレンズ４０ａの光軸Ｌの位置データを記憶するメモリである。このマイクロレンズ４０ａの光軸Ｌの光軸位置データは、各マイクロレンズ４０ａの光軸Ｌが位置する光電変換素子アレイ４ｂにおける光電変換素子４０ｂの位置で表される座標を小数のオーダで表したものである。つまり、１個の光電変換素子４０ｂを１とした単位よりも小さい値、例えば０．５個の光電変換素子４０ｂを０．５というようにして、光軸Ｌの位置を正確に表したものである。
　なお、一実施の形態を示す図２では、縦１１個、横１１個の正方格子配列の光電変換素子アレイ４ｂの中心（図２において、×印を付与した位置）、すなわち光電変換素子アレイ４ｂの中央にある光電変換素子４０ｂの中心を、マイクロレンズ４０ａの光軸Ｌの位置とする例を示す。しかし、実際にはマイクロレンズ４０ａの光軸Ｌが光電変換素子４０ｂの中心に位置するようにマイクロレンズアレイ４ａと光電変換素子アレイ４ｂを製作することは難しい。
　そこで、図１２に示すように、光軸データメモリ６ｂに記憶されている各マイクロレンズ４０ａの光軸Ｌの光軸位置データに基づいて、各マイクロレンズ４０ａに対応する光電変換素子４０ｂの出力する信号から、マイクロレンズ４０ａの光軸Ｌが中心を通る仮想的な光電変換素子４００ｂの出力を演算により求める。これらの仮想的な光電変換素子４００ｂの出力を有する縦１１個、横１１個の正方格子配列の仮想的な光電変換素子出力のマトリクスを作成し、後述する一実施の形態の画像合成に用いる。なお、こうして求めた仮想的な光電変換素子出力のマトリクスを以下の説明における光電変換素子マトリクスに含まれるものとすれば、図２に示すようなマイクロレンズ４０ａの光軸Ｌが光電変換素子４０ｂの中心に位置する例と同様に理解することができる。以下においては、説明を簡単にするため、マイクロレンズ４０ａの光軸Ｌは光電変換素子４０ｂの中心に位置するものとする。
　フィルターメモリ６ｃは、撮影レンズ３の光軸に対して垂直な面において画像を合成する際に、光電変換素子マトリクスに作用させるための二次元フィルターを記憶するメモリである。この二次元フィルターについては後述する。
　次に、高分解能な画像を合成する原理について説明する。上述したように、従来の画像合成カメラでは、合成された画像がマイクロレンズの大きさの画素を有し、画像の最小分解能はマイクロレンズの大きさになっていた。この一実施の形態では、マイクロレンズの大きさよりも小さい画素を有し、最小分解能がマイクロレンズよりも小さい高精細な画像を合成する。
　図３は、マイクロレンズアレイ４ａと光電変換素子アレイ４ｂの一部分を、撮影レンズ３の光軸を含む平面で切った断面図である。図３において、撮影レンズ３の結像面、すなわち焦点面Ｓがマイクロレンズアレイ４ａに含まれるマイクロレンズ４０ａの頂点の属する平面（以下、「マイクロレンズ頂点面」という）から距離ｙの位置にある場合を示す。この例では、距離ｙがマイクロレンズアレイ４ａに含まれるマイクロレンズ４０ａの焦点距離ｆよりわずかに長い距離（ｙ＞ｆ）とした場合を示す。マイクロレンズ４０ａは極めて薄いため、以下の説明においては、マイクロレンズ４０ａの厚さはほぼ０として無視できるものとして説明する。この一実施の形態では、焦点面Ｓに結像された撮影レンズ３による被写体像を、光電変換素子アレイ４ｂの出力に基づいて合成する。なお、焦点面Ｓに結像された被写体像は、焦点面Ｓにおいて二次元的な広がりを有するが、図３では撮影レンズ３の光軸を含む一つの平面（以下、「図３に示す平面」という）上においてのみ、一実施の形態の画像合成法を概念的に説明する。撮影レンズ３の焦点距離は、マイクロレンズ４０ａの焦点距離と略等しいものとする。
　焦点面Ｓと各マイクロレンズの光軸Ｌとが交わる点をＰ１とすると、各点Ｐ１を通り、各マイクロレンズ４０ａを介して光電変換素子アレイ４ｂへ導かれた光束は、光電変換素子アレイ４ｂ上において各マイクロレンズ４０ａごとにボケ像を結像する。このボケ像の中心位置は各マイクロレンズ４０ａの光軸位置Ｐ１’（マイクロレンズ４０ａの光軸Ｌが光電変換素子アレイ４ｂの受光面と交わる位置）であり、点Ｐ１’の位置にある光電変換素子４０ｂを分布中心とした光量分布を有する。光電変換素子アレイ４ｂは各マイクロレンズ４０ａごとに光量分布に応じた画像信号を出力する。上述した従来の画像合成カメラでは、各マイクロレンズ４０ａごとの画像信号により焦点面Ｓ上に結像された各点Ｐ１の像を合成する。これにより、焦点面Ｓ上の各点Ｐ１を中心としたマイクロレンズ４０ａ単位の画素を有する被写体像が合成される。
　これに対しこの一実施の形態では、図３に示すように焦点面Ｓ上に複数の点、ここでは２個の点Ｐ２、Ｐ３を等間隔に、かつ、各マイクロレンズ４０ａの光軸Ｌに対して対称な位置に配置する。また、この一実施の形態では、図３に示す平面を撮影レンズ３の光軸を中心にして９０度回転させた平面(不図示)で、マイクロレンズアレイ４ａと光電変換素子アレイ４ｂの一部分を切った断面において、焦点面Ｓ上に複数の点、ここでは２個の点Ｐ４、Ｐ５を等間隔に、かつ、各マイクロレンズの光軸Ｌに対して対称な位置に配置する。図１３（ａ）に焦点面Ｓ上における点Ｐ２、Ｐ３、Ｐ４、Ｐ５の関係を示す。図１３（ａ）において、焦点面Ｓはその一部分のみを図示している。説明の便宜上、焦点面Ｓの背後に位置するマイクロレンズ４０ａの外縁をも図示している。これらの点Ｐ２、Ｐ３、Ｐ４、Ｐ５を仮想的な画素とし、マイクロレンズ４０ａごとに４個の画素を有する被写体像を合成する。
　上述した従来の画像合成カメラでは、マイクロレンズ４０ａごとに１個の点Ｐ１を画素とする画像を合成するのに対し、この一実施の形態では、マイクロレンズ４０ａごとに４個の点Ｐ２、Ｐ３、Ｐ４、Ｐ５を仮想的な画素とする画像を合成する。したがって、この一実施の形態によれば、従来の画像合成カメラに比べ画素数が４倍になり、４倍の分解能の画像を合成することができる。なお、以下では、図３に示す平面における画像合成法を説明するが、図３に示す平面を撮影レンズ３の光軸を中心にして９０度回転した平面における画像合成法も同様である。
　図３において、焦点面Ｓ上の点Ｐ２を通り、各マイクロレンズ４０ａを介して光電変換素子アレイ４ｂへ導かれた光束は、光電変換素子アレイ４ｂ上の位置Ｐ２’に各マイクロレンズ４０ａごとにボケ像を結ぶ。また、焦点面Ｓ上の点Ｐ３を通り、各マイクロレンズ４０ａを介して光電変換素子アレイ４ｂへ導かれた光束は、光電変換素子アレイ４ｂ上の位置Ｐ３’に各マイクロレンズ４０ａごとにボケ像を結ぶ。これらのボケ像は、それらの中心位置Ｐ２’、Ｐ３’を分布中心とした光量分布Ｇを有し、光電変換素子アレイ４ｂは各マイクロレンズ４０ａごとにこれらの光量分布Ｇに応じた画像信号を出力する。
　各マイクロレンズ４０ａにより光電変換素子アレイ４ｂ上に投影される点Ｐ２、Ｐ３のボケ像の光量分布は、マイクロレンズ４０ａの曲面の状態により異なる点像分布を示すが、この一実施の形態では説明を解りやすくするためにガウス分布の光量分布を有するボケ像とみなして説明する。
焦点面Ｓが、例えばマイクロレンズ頂点面からマイクロレンズの焦点距離ｆだけ離れた位置までの間にある場合には（０＜ｙ＜ｆ）、焦点面Ｓが図３に示した例よりもマイクロレンズアレイ４ａに近づいてくる。その結果、点Ｐ２、Ｐ３を出た光束の中心のなす角度αが図３に示した例よりも徐々に大きくなる。したがって、点Ｐ２、Ｐ３のボケ像は図２に示す各マイクロレンズ４０ａが覆う光電変換素子４０ｂの範囲を超えて、隣接するマイクロレンズ４０ａが覆う光電変換素子４０ｂにまで拡散するため、点Ｐ２、Ｐ３のボケ像を合成することが困難になる。
　一方、焦点面Ｓが、マイクロレンズ頂点面から撮影レンズ３側に、マイクロレンズ４０ａの焦点距離ｆよりも離れた位置にある場合には（ｙ＞ｆ）、離れる量（ｙ）が大きくなるにつれ、点Ｐ２、Ｐ３を出た光束の中心のなす角度αは図３に示した例よりも徐々に小さくなる。したがって、点Ｐ２、Ｐ３のボケ像は縮小し、光電変換素子アレイ４ｂ上で近づいてくるが、図２に示す各マイクロレンズ４０ａが覆う光電変換素子４０ｂの範囲に収まっていて、点Ｐ２、Ｐ３のボケ像を合成することが可能である。離れる量（ｙ）がさらに大きくなると、点Ｐ２、Ｐ３のボケ像は光電変換素子アレイ４ｂ上で近づきすぎ、両者を分離できなくなる。したがって、焦点面Ｓの位置には合成できる最適な範囲がある。この点については詳細を後述する。
　マイクロレンズ４０ａの配列ピッチをｄとすると、上述したように、点Ｐ２および点Ｐ３は、図３に示す焦点面Ｓ上において交互にかつ等間隔に位置するので、その間隔はｄ／２となる。したがって、点Ｐ２または点Ｐ３と点Ｐ１（光軸Ｌ）との距離は、ともにｄ／４である。マイクロレンズ頂点面から焦点面Ｓまでの距離ｙが、マイクロレンズ４０ａの焦点距離ｆと等しい（ｙ＝ｆ）場合、点Ｐ２または点Ｐ３の光電変換素子アレイ４ｂ上のボケ像の光量分布の中心Ｐ２’または中心Ｐ３’からマイクロレンズ４０ａの光軸位置Ｐ１’までの距離ｘは、ともにｄ／４となる。マイクロレンズ頂点面から焦点面Ｓまでの距離ｙが変化する場合、点Ｐ２、Ｐ３の光電変換素子アレイ４ｂ上のボケ像の光量分布の中心Ｐ２’またはＰ３’からマイクロレンズ４０ａの光軸位置Ｐ１’までの距離ｘは、上述したようにマイクロレンズ４０ａの厚さを０とみなすと、式（１）で表される。
　ｘ＝ｄ・ｆ／(４・ｙ)　　　　　　　　　　 (１)
　つまり、撮影レンズ３により焦点面Ｓ上の点Ｐ２、Ｐ３に結像された像は、各マイクロレンズ４０ａによって光電変換素子アレイ４ｂ上のマイクロレンズ４０ａの光軸位置Ｐ１’から距離ｘの位置Ｐ２’、Ｐ３’を中心とする光量分布Ｇのボケ像として投影される。換言すれば、撮像素子４により撮像された被写体像の画像データの内の、各マイクロレンズ４０ａに対応する光電変換素子出力マトリクスから、各マイクロレンズ４０ａの光軸位置Ｐ１’から距離ｘの位置Ｐ２’，Ｐ３’を分布中心とするガウス分布に相当する画像データを抽出すれば、その画像データはマイクロレンズ頂点面から距離ｙの位置にある焦点面Ｓ上の点Ｐ２、Ｐ３に結像された像に対応する画像データとなる。
　ここで、マイクロレンズ頂点面から焦点面Ｓまでの距離ｙ、すなわち焦点位置の取り得る範囲について考察する。上述したように、距離ｙがマイクロレンズ４０ａの焦点距離ｆより小さい場合には、点Ｐ２、Ｐ３のボケ像が各マイクロレンズ４０ａが覆う光電変換素子４０ｂの範囲を超えて拡散するため、画像合成が不可能になる。逆に、距離ｙを焦点距離ｆより大きくしていくと、点Ｐ２、Ｐ３のボケ像が小さくなって各マイクロレンズ４０ａの光軸付近の光電変換素子４０ｂ上に重なり、ボケ像の光量分布Ｇが光軸付近に集中して光電変換素子４０ｂ単位での分離と解析が困難になる。したがって、一実施の形態による画像合成法は、距離ｙがマイクロレンズ４０ａの焦点距離ｆを単位とする略ｆから３ｆまでの所定範囲内にある場合に有効である。
　なお、この所定範囲(ｆ～３ｆ)は必ずしも一義的に決定されるものではなく、マイクロレンズ４０ａの径や曲率などの仕様、撮影レンズ３の仕様などに応じて決定されるものである。
　マイクロレンズ頂点面から焦点面Ｓまでの距離ｙが略上記所定範囲（ｙ≒ｆ～３ｆ）内にある場合には、各マイクロレンズ４０ａに対応する光電変換素子マトリクスの範囲内において、マイクロレンズ４０ａの光軸位置Ｐ１’から点Ｐ２、Ｐ３のボケ像の光量分布Ｇの分布中心Ｐ２’、Ｐ３’までの距離ｘを上記式(１)により決定する。そして、各マイクロレンズ４０ａに対応する光電変換素子出力マトリクスから位置Ｐ２’，Ｐ３’を中心とするガウス分布に相当する画像データを抽出すれば、焦点面Ｓ上の点Ｐ２、Ｐ３の像を合成することができる。
　しかし、焦点面Ｓの位置が上記所定範囲（ｙ≒ｆ～３ｆ）を超える場合には、撮影レンズ３を駆動して焦点面Ｓが上記所定範囲（ｙ≒ｆ～３ｆ）内に入るようにしなければならない。なお、光電変換素子アレイ４ｂの光電変換素子出力に基づいて撮影画面内の任意の位置の撮影レンズ３の焦点調節状態を検出する方法については、詳細を後述する。
　次に、図１に示す画像合成部５ｄによる画像合成の具体的な方法について説明する。ここでは、ある一つのマイクロレンズ４０ａとそのマイクロレンズ４０ａに対応する光電変換素子マトリクスに対する画像合成処理を説明するが、他のマイクロレンズ４０ａと対応する光電変換素子マトリクスに対する処理も同様である。
　この一実施の形態では、一つのマイクロレンズ４０ａに対応する光電変換素子出力マトリクスに対して二次元フィルター処理を施し、図３に示すような光量分布Ｇに相当する出力マトリクスを抽出する。二次元フィルター処理に用いられるフィルターマトリクスデータ（以下、単にフィルターマトリクスという）は、例えば図４に示すように、中心から周辺に向かって各要素の値がガウス分布に沿って斬減するマトリクスであって、要素の値が０～２５５の２５６段階に正規化されたマトリクスを用いる。換言すると、フィルターマトリクスは重み係数の分布を表しており、フィルターマトリクスの各要素は重み係数を表している。上述したように、各マイクロレンズ４０ａに対応する光電変換素子出力マトリクスは縦１１個、横１１個の要素から構成されているので、二次元フィルターのマトリクスも縦１１個、横１１個の要素を有するものを用いる。
　このような二次元フィルターのマトリクスを、一つのマイクロレンズ４０ａに対応する光電変換素子出力マトリクスに作用させ、要素ごとに積算した後、画素の出力レベルに正規化すれば、焦点面Ｓ上の対応する点、すなわち仮想的な画素の像を合成することができる。
　例えば図４に示す二次元フィルターのマトリクスは、図３に示すマイクロレンズ４０ａの光軸位置Ｐ１’にボケ像の光量分布の分布中心があり、このフィルターマトリクスをマイクロレンズ４０ａごとの光電変換素子出力マトリクスに作用させると、焦点面Ｓ上の点Ｐ１の像を合成することができる。つまり、上述した従来の画像合成カメラによる合成画像を得ることができる。
　この一実施の形態では、図３に示す焦点面Ｓ上の点Ｐ２(図１３（ａ）参照)を仮想的な画素とする合成画像を生成するために、図５(ａ)に示す二次元フィルターマトリクスを用いる。また、図３に示す焦点面Ｓ上の点Ｐ３(図１３（ａ）参照)を仮想的な画素とする合成画像を生成するために、図５(ｂ)に示す二次元フィルターマトリクスを用いる。一方、図３に示す平面を撮影レンズ３の光軸を中心にして９０度回転した平面(不図示)において、焦点面Ｓ上の点Ｐ４(図１３（ａ）参照)を仮想的な画素とする合成画像を生成するために、図６(ａ)に示す二次元フィルターマトリクスを用いる。また、図３に示す平面を撮影レンズ３の光軸を中心にして９０度回転した平面において、焦点面Ｓ上の点Ｐ５(図１３（ａ）参照)を仮想的な画素とする合成画像を生成するために、図６(ｂ)に示す二次元フィルターマトリクスを用いる。
　図１３（ｂ）に光電変換素子アレイ４ｂ上における点Ｐ１’、Ｐ２’、Ｐ３’、Ｐ４’、Ｐ５’の関係を示す。図１３（ｂ）において、光電変換素子アレイ４ｂはその一部分のみを図示している。説明の便宜上、光電変換素子アレイ４ｂを覆うマイクロレンズアレイ４ａに含まれるマイクロレンズ４０ａの外縁をも図示している。図５(ａ)、(ｂ)に示す二次元フィルターは、図３において光電変換素子アレイ４ｂ上のマイクロレンズ４０ａの光軸位置Ｐ１’から距離ｘだけ離れた位置Ｐ２’、Ｐ３’に対応する要素が最大値２５５を有し、位置Ｐ２’、Ｐ３’から周辺に遠ざかるにしたがって各要素の値がガウス分布に沿って斬減するマトリクスのフィルターである（図１３（ｂ）参照）。図５(ｂ)に示すマトリクスは、マイクロレンズ４０ａの光軸位置Ｐ１’を中心に図５(ａ)に示すマトリクスを１８０度回転させたものである。
　同様に、図６(ａ)、(ｂ)に示す二次元フィルターは、図３に示す平面を撮影レンズ３の光軸を中心にして９０度回転させた平面(不図示)おいて、光電変換素子アレイ４ｂ上のマイクロレンズ４０ａの光軸位置Ｐ１’から距離ｘだけ離れた位置Ｐ４’、Ｐ５’(ともに不図示)に対応する要素が最大値２５５を有し、位置Ｐ４’、Ｐ５’から周辺に遠ざかるにしたがって各要素の値がガウス分布に沿って斬減するマトリクスのフィルターである。図６(ｂ)に示すマトリクスは、マイクロレンズ４０ａの光軸位置Ｐ１’を中心に図６(ａ)に示すマトリクスを１８０度回転させたものである。
　この一実施の形態では、各マイクロレンズ４０ａに対して４個の仮想的な画素を均等に配置しているので、互いに対照的な４個の二次元フィルターマトリクスが必要になる。つまり、一実施の形態の二次元フィルターマトリクスは、１つのマトリクスを図５(ａ)、図６(ｂ)、図５(ｂ)、図６(ａ)の順にマイクロレンズ４０ａの光軸位置Ｐ１’を中心にして９０度ずつ回転させたものである。マトリクスの要素が最大値２５５になる位置、つまりボケ像分布の分布中心になる位置は、焦点面の位置、すなわちマイクロレンズ頂点面から焦点面までの距離ｙに応じて上記式(１)により求められる。
　換言すれば、仮想的な画素の配置と個数、および焦点面の位置ごとに二次元フィルターマトリクスが異なることになり、予め仮想的な画素の配置と個数、および焦点面の位置ごとの二次元フィルターをフィルターメモリ６ｃ（図１参照）に記憶させておく必要がある。これにより、上述した距離ｙが略所定範囲（ｙ≒ｆ～３ｆ）内において、焦点の位置を想定するとそれに応じた画素出力が得られ、その焦点位置における高精細な、つまり高分解能な画像を合成することができる。
　なお、この一実施の形態では、各マイクロレンズ４０ａに対して任意の焦点面Ｓ上に４個の仮想的な画素を均等に配置する例を示すが、仮想画素の個数と配置はこの一実施の形態に限定されるものではない。
　図１において、駆動制御装置５の画像合成部５ｄは、撮像素子４により撮像され画像メモリ６ａに記憶された画像データを読み出し、各マイクロレンズごとに対応する光電変換素子の出力マトリクスを作成する。一方、駆動制御装置５の瞳データ抽出部５ａ、データ列形成部５ｂおよび焦点演算部５ｃは、撮像画像の中の手動または自動で設定された焦点検出位置における撮影レンズ３の焦点調節状態を検出する。
　なお、この焦点検出位置はカメラ背面のモニター(不図示)に写し出された上記撮像画像を見ながら、撮影者が操作部材を操作してピントを合わせたい任意の被写体位置にカーソルを移動して手動で設定してもよい。あるいは、撮像画像を処理して画像内から人物の顔の部分を認識し、顔の部分をピントを合わせたい位置として自動で設定するものであってもよい。
　画像合成部５ｄは、画像内の焦点検出位置における焦点検出結果に基づいて、焦点面の位置すなわちマイクロレンズ頂点面からの距離ｙを検出し、距離ｙがマイクロレンズの焦点距離ｆに関して略所定範囲（ｙ≒ｆ～３ｆ）内にあるか否かを判別する。当該所定範囲内にない場合には、駆動制御装置５のレンズ駆動制御部５ｅにより撮影レンズ３のモータを駆動させる等の制御により撮影レンズ３の焦点調節を行い、焦点検出位置の焦点面が上記所定範囲内に入るようにする。
　設定された焦点検出位置の焦点面の位置が上記所定範囲内にある場合には、フィルターメモリ６ｃに記憶されている二次元フィルターの中から、仮想的な画素と焦点面の位置に対応するフィルターを検索する。そして、各マイクロレンズごとに対応する光電変換素子出力マトリクスに対して二次元フィルターマトリクスを作用させ、要素ごとの積を積算した後、積算値を画素出力にふさわしいレベルに正規化する。
　画像合成部５ｄは、以上の処理を各マイクロレンズの仮想画素ごとに行い、マイクロレンズごとに４個の仮想画素出力を得る。最後に、これらのマイクロレンズごとの４個の仮想画素出力をマイクロレンズと仮想画素の配置にしたがって二次元平面上に展開し、合成画像を生成する。
　マイクロレンズごとの４個の仮想画素出力を平面上に展開して合成画像を生成する際には、次のような仮想画素出力の整列処理を行う。図３に示すように、焦点面Ｓ上の点Ｐ２、Ｐ３と、マイクロレンズアレイ４ｂ上の位置Ｐ２’、Ｐ３’に投影されるボケ像とは、マイクロレンズごとに位置関係が反転している。そのため、図７(ａ)に示す光電変換素子アレイ４ｂ上の位置Ｐ２’、Ｐ３’，Ｐ４’，Ｐ５’のボケ像の配列を、図７(ｂ)に示すように焦点面Ｓ上の点Ｐ２、Ｐ３、Ｐ４、Ｐ５の配列に合わせて整列させる。なお、図７において、Ｐ４、Ｐ４’、Ｐ５、Ｐ５’は、図３に示す平面を撮影レンズ３の光軸を中心にして９０度回転させた平面で、マイクロレンズアレイ４ａと光電変換素子アレイ４ｂの一部分を切った断面における点である（図１３参照）。
　次に、図１に示す瞳データ抽出部５ａ、データ列形成部５ｂおよび焦点演算部５ｃによる焦点検出方法を説明する。図２において、マイクロレンズ４０ａの光軸位置Ｌに対して左右対称位置にあるそれぞれ３個の光電変換素子４０ｂからなる領域Ｒ１、Ｒ２は、対応するマイクロレンズ４０ａにより撮影レンズ３の射出瞳上に投影され、射出瞳上に一対の投影領域を形成する。撮影レンズ３の射出瞳上のこの一対の投影領域を通過する一対の光束は、撮影レンズ３およびマイクロレンズを介してマイクロレンズ光軸位置を中心とする左右対称位置にあるそれぞれ３個の光電変換素子４０ｂからなる領域Ｒ１、Ｒ２へ導かれ、それぞれ領域Ｒ１、Ｒ２上に一対の瞳（右瞳および左瞳）の像が結像される。
　この一対の瞳の像の位相差、すなわち像ずれ量は撮影レンズ３の焦点調節状態に応じて変化する。そのため、領域Ｒ１、Ｒ２に含まれるそれぞれ３個の光電変換素子４０ａから出力される一対の瞳の像に対応する一対の画像データ（一対の瞳データ）に基づいて像ずれ量を演算すれば、いわゆる瞳分割位相差検出方式により撮影レンズ３の焦点調節状態、つまり予定焦点面からの焦点の外れ量を検出することができる。
　なお、左右一対の瞳データを抽出する光電変換素子の位置および個数は、図２に示す一実施の形態の位置および個数に限定されない。また、一対の瞳データの上記抽出例では左右対称位置の光電変換素子から画像データを抽出する例を示したが、焦点検出方向に応じて上下対称位置の光電変換素子、あるいは斜め対称位置の光電変換素子などから画像データを抽出することができる。
　駆動制御装置５のデータ列形成部５ｂは、左右方向に配列されている所定数のマイクロレンズに対応する左右一対の瞳データを、右瞳データと左瞳データに分けてマイクロレンズの順に並べ、右瞳データ列と左瞳データ列を構成する。
　駆動制御装置５の焦点演算部５ｃは、画像メモリ６ａから左右一対の瞳データ列を読み出し、上述した瞳分割位相差検出方式により焦点検出演算（相関演算）を行い、撮影レンズ３の焦点調節状態を検出する。
　一対のデータ列に基づく焦点検出演算については周知であるが、ここでその概要を説明する。上述した左右一対の瞳データ列をＡ{ａｉ}、Ｂ{ｂｉ}とし、データの個数をそれぞれＮ個（ｉ＝１,２，・・・,Ｎ）とする。一対のデータ列Ａ、Ｂのずらし量をｋとしたとき、データ列ＡとＢの差分Ｄ（ｋ）は式（２）で表される。
　Ｄ（ｋ）＝Σ｜ａｉ＋ｋ－ｂｉ｜　　　　　　　　　　（２）
　式(２)により差分Ｄ（ｋ）が最も小さくなるずらし量ｋを求める。一対のデータ列Ａ、Ｂは離散的な数列であるから、マイクロレンズの間隔以上の分解能で差分Ｄ（ｋ）が最小値となる真のずらし量ｋを得ることはできない。
　ここで、一対のデータ列Ａ、Ｂを正弦波の合成とみなすことができ、その内のある空間周波数ωを持つ正弦波信号に注目すると、式（２）は次式（３）とみなすことができる。
　Ｄ(θ)＝Ｋ∫｜sin(ωｘ＋θ)－sinωｘ｜ｄｘ　　　　　　　　（３）
　さらに式(３)を変形すると次式が得られる。
　Ｄ(θ)＝Ｋ’｜sin(θ／２)・sin(ωｘ＋φ)｜　　　　　　　　（４）
　式(４)は他の空間周波数にも適用でき、これらもすべてθに関する項が独立に乗ぜられていることから、差分式は正弦波の絶対値で変化することがわかる。また、θが０付近では正弦波は線形であるから、図８に示すように左右同じ傾きの直線に挟まれた、谷間の底が最小値であると見なせる。
　以下の三点内挿演算により差分Ｄが最小となる真のずらし量ｋを求める。まず、式(２)により差分Ｄ（ｋ）の最小値Ｄ（ｊ）とその時のずらし量ｋ＝ｊを求める。次に、最小値Ｄ（ｊ）を与えるずらし量ｋ＝ｊに隣接するずらし量ｋ＝(ｊ－１)とｋ＝(ｊ＋１）とに対する差分Ｄ（ｊ－１）、Ｄ（ｊ＋１）の内、差分Ｄが大きい方が、たとえばＤ（ｊ－１）であるとする。この場合において、二点(ｋ,Ｄ（ｋ）)＝（ｊ，Ｄ（ｊ）），(ｊ－１,Ｄ（ｊ－１））を結ぶ直線を引き、この直線の傾きをａとする。二番目に小さい差分Ｄ（ｊ＋１）を与えるずらし量ｋ＝（ｊ＋１）に対応する点(ｊ＋１,Ｄ（ｊ＋１））を通る傾き(－ａ）の直線を引き、２本の直線の交点を差分Ｄ（ｋ）の真の最小値Ｄｍｉｎとし、その真の最小差分Ｄｍｉｎを与えるずらし量ｋを真のずらし量ｋｍｉｎとする。
　この真のずらし量ｋｍｉｎに所定の変換係数ｍを乗じ、撮影レンズ３による被写体像面の予定焦点面（マイクロレンズ頂点面）からの焦点の外れ量、すなわちデフォーカス量ＤＥＦを式（５）により求める。
　ＤＥＦ＝ｍ・ｋｍｉｎ　　　　　　（５）
　以上の方法により、撮像画像の中の手動または自動で設定された焦点検出位置における撮影レンズ３の焦点調節状態を検出することができる。
　次に、仮想的な画素に対するボケ像について説明する。図３に示すように、焦点面Ｓの位置、すなわちマイクロレンズ頂点面から焦点面Ｓまでの距離ｙに応じて、光電変換素子アレイ４ｂ上のマイクロレンズ光軸位置Ｐ１’から仮想画素のボケ像の中心位置Ｐ２’、Ｐ３’までの距離ｘと、二次元フィルターマトリクスの要素の最大値の位置とが変化する。この一実施の形態では、仮想的な画素（Ｐ２、Ｐ３、Ｐ４、Ｐ５）と焦点面Ｓの位置に応じた二次元フィルターをフィルターメモリ６ｃ（図１参照）に予め記憶しておく例を示したが、仮想的な画素と焦点面の位置に応じてその都度演算により求めてもよい。
　ところで、焦点面Ｓの位置が移動すると、仮想画素のボケ像のボケ状態が変化する。焦点面Ｓがマイクロレンズアレイ４ａから遠ざかる、つまり距離ｙが大きくなるほど、各マイクロレンズ４０ａにより光電変換素子アレイ４ｂ上に投影される点Ｐ２、Ｐ３、Ｐ４、Ｐ５の像はボケが小さくなってボケの無い結像状態に近づいていく。したがって、二次元フィルターマトリクスの要素の最大値の位置をマイクロレンズの光軸位置Ｐ１’に近づくように変えると同時に、ガウス分布に応じて設定された要素の値の分布の大きさを小さくする必要がある。二次元フィルターマトリクス上のガウス分布に応じた要素の値の分布の大きさは、マイクロレンズ光軸位置Ｐ１’から分布中心Ｐ２’、Ｐ３’までの距離ｘが０とみなされる焦点面の位置、すなわちマイクロレンズ頂点面から焦点面Ｓまでの距離ｙが無限とみなされる焦点面の位置において最小になる。
　ボケ像の径Ｄは回折限界で決まると考え、光の波長を５４０ｎｍ、マイクロレンズのＦナンバーをＦ／２．８とすると、ボケ像の径Ｄは、式（６）により求められる。
　Ｄ＝２．４４・λ・Ｆ　 　　　　(６)
　式（６）によると、最小の径Ｄは３．７μｍとなり、想定している光電変換素子アレイ４ｂの光電変換素子程度の大きさになる。マイクロレンズ光軸位置Ｐ１’から分布中心Ｐ２’、Ｐ３’までの距離ｘが０とみなされる焦点位置においてボケがなくなるとし、このときの二次元フィルターのマトリクスは、値が２５５の要素が分布の中心に一つあって残りの要素はすべて０とすることができる。つまり、マイクロレンズ光軸位置Ｐ１’から分布中心Ｐ２’、Ｐ３’までの距離ｘが０のときのボケ像の径Ｄを０とし、距離ｘが大きくなるにしたがってボケ像の径Ｄを大きくすれば、より正確な仮想画素出力を得る二次元フィルターを設定することができ、このような二次元フィルターを用いて合成画像の画質を向上させることができる。
　なお、マイクロレンズ光軸位置Ｐ１’から分布中心Ｐ２’、Ｐ３’までの距離ｘが変化してもボケ像の径Ｄを変えずに一定とするか、あるいは、さらに簡略化してボケがないものとしても、ある程度の画質の合成画像を得ることができる。つまり、図３において点Ｐ２、Ｐ３がマイクロレンズ４０ａにより投射される位置Ｐ２’、Ｐ３’の光電変換素子出力のみを点Ｐ２、Ｐ３に対応する仮想画素出力としてもよい。この場合、図９(ａ)、(ｂ)に示すようなマトリクス、つまり点Ｐ２、Ｐ３がマイクロレンズ４０ａにより投射される位置Ｐ２’、Ｐ３’に対応する要素のみ０以外の値を持ち、他の要素の値をすべて０としたマトリクスの二次元フィルターとする。
　次に、マイクロレンズ４０ａの外径形状とマトリクスとの整合について説明する。マイクロレンズ４０ａの光学的に有効な形状は円形であり、一方、マトリクスは矩形（正方形または長方形）であるから、マイクロレンズ４０ａに対応する光電変換素子マトリクスを考える場合に両者の間の形状は一致しない。マイクロレンズ４０ａを正方配列とした場合には、マイクロレンズと光電変換素子マトリクスとを対応づけることができる。
　しかし、マイクロレンズ４０ａをハニカム状配列（六方稠密配列）とする場合には、マイクロレンズ４０ａと光電変換素子４０ｂとの対応関係によっては、あるマイクロレンズ４０ａに対応する光電変換素子マトリクスが、隣接するマイクロレンズ４０ａに対応する光電変換素子マトリクスの要素を含んでしまうことがある。このような不具合をなくすために、各マイクロレンズ４０ａに対応する光電変換素子４０ｂの範囲を、図１０に示すようなマイクロレンズ４０ａを包含する六角形４ｃの枠内に内接する範囲とし、図１１に示すようなマスクマトリクスを光電変換素子出力マトリクスに作用させる。図１１に示すマスクマトリクスでは、値が１の要素の領域がマイクロレンズ４０ａの光学的な有効領域を示す。
　なお、上述した実施の形態とそれらの変形例において、実施の形態と変形例とのあらゆる組み合わせが可能である。
　上述した実施の形態とその変形例によれば、デジタルカメラ１は以下のような作用効果を奏することができる。
（１）デジタルカメラ１は、撮影レンズ３と、撮像素子４と、画像合成部５ｄとを有する。撮像素子４は、複数のマイクロレンズ４０ａを平面上に配列したマイクロレンズアレイ４ａと、複数の光電変換素子４０ｂを平面上に配列した光電変換素子アレイ４ｂとを含む。光電変換素子アレイ４ｂは、撮影レンズ３を透過した被写体からの光束をマイクロレンズアレイ４ａを介して受光し、画像信号を出力することにより、。こうして撮像素子４により撮像した画像データに基づいて、画像合成部５ｄは撮影レンズ３の任意の焦点面Ｓにおける画像を合成する。焦点面Ｓにおいて、マイクロレンズ４０ａごとに複数の仮想画素Ｐ２～Ｐ４を規定し、複数の仮想画素Ｐ２～Ｐ４のそれぞれに対する二次元フィルターを予めフィルターメモリ６ｃに記憶させておく。それぞれのマイクロレンズ４０ａに対応する複数の光電変換素子４０ｂの出力マトリクスに対して二次元フィルターによるフィルター処理を施し、それぞれの仮想画素Ｐ２～Ｐ４の出力を算出して焦点面Ｓにおける画像を合成するようにした。これにより、一枚の撮像画像のデータに基づいて撮影レンズ３の任意の焦点面Ｓにおける分解能の高い高精細な画像を合成することができる。
（２）二次元フィルターは、焦点面Ｓごとにマトリクスの要素分布が異なり、マトリクス上の要素分布の分布中心位置と光電変換素子アレイ４ｂ上のマイクロレンズ４０ａの光軸位置との距離ｘを焦点面Ｓに応じて変えるようにした。これにより、任意の焦点面Ｓ上における各仮想画素Ｐ２～Ｐ４の光電変換素子アレイ４ｂ上の投影像を正確に求めることができ、分解能の高い高精細な画像を正確に合成することができる。
（３）瞳データ抽出部５ａ、データ列形成部５ｂおよび焦点演算部５ｃは、それぞれのマイクロレンズ４０ａに対応する複数の光電変換素子４０ｂの内の一対の光電変換素子の出力に基づいて、撮影レンズ３の瞳を通過した一対の光束による一対の像のズレ量を検出する。検出した一対の像のズレ量に基づき、撮像素子４により撮像された画像における撮影レンズ３の焦点面Ｓの位置を検出する。なお、焦点面Ｓは任意の位置を取り得る。画像合成部５ｄは、こうして検出された焦点面Ｓの位置に対応する画像を合成する。したがって、１枚の撮像画像のデータに基づいて、任意の位置を取り得る撮影レンズ３の焦点面Ｓに対応する画像を合成することができる。
（４）レンズ駆動制御部５ｅは、瞳データ抽出部５ａ、データ列形成部５ｂおよび焦点演算部５ｃによる焦点検出結果に基づいて撮影レンズ３の焦点調節を行う。上記焦点検出により検出された焦点面Ｓの位置が所定範囲(例えばマイクロレンズ４０ａの焦点距離ｆに対して、ｆ～３ｆの範囲)にない場合には、焦点面Ｓがその所定範囲内に入るように撮影レンズ３の焦点調節を行う。したがって、画像合成部５ｄは、１枚の撮像画像のデータに基づいて、任意の位置を取り得る撮影レンズ３の焦点面Ｓに対応する高分解能な画像を合成することができる。
（５）二次元フィルターのマトリクスは、それぞれの仮想画素Ｐ２～Ｐ４のマイクロレンズ４０ａによる光電変換素子アレイ４ｂ上の投影位置を分布中心とするガウス分布の要素値を有するマトリクスとした。これにより、任意の焦点面Ｓ上における各仮想画素Ｐ２～Ｐ４の光電変換素子アレイ４ｂ上における投影像を正確に求めることができ、分解能の高い高精細な画像を正確に合成することができる。
（６）二次元フィルターのマトリクスにおいては、それぞれの仮想画素Ｐ２～Ｐ４のマイクロレンズ４０ａによる光電変換素子アレイ４ｂ上の投影位置の要素のみが１以上の値を有し、他の要素の値は０であることとした。これにより、フィルター処理を簡略化して画像合成時間を短縮しながら、高分解能な画像を合成することができる。
（７）画像合成部５ｄは、それぞれのマイクロレンズ４０ａの光学的な有効領域内の光電変換素子４０ｂに対応する要素を１とし、有効領域外の光電変換素子４０ｂに対応する要素を０とするマトリクスのマスクフィルターを有する。二次元フィルターによるフィルター処理に先立ち、それぞれのマイクロレンズ４０ａに対応する複数の光電変換素子４０ｂの出力マトリクスに対してマスクフィルターによるフィルター処理を施すようにした。したがって、マイクロレンズ４０ａの外径形状に拘わらず、マイクロレンズ４０ａの光学的な有効領域内の光電変換素子４０ｂを正確に抽出して光電変換素子出力マトリクスを得ることができ、任意の焦点面Ｓ上における各仮想画素Ｐ２～Ｐ４の光電変換素子アレイ４ｂ上の投影像を正確に求めることができる。
（８）二次元フィルターを記憶するフィルターメモリ６ｃを設けたので、焦点面Ｓと仮想画素Ｐ２～Ｐ４ごとに二次元フィルターを演算により求める必要がなく、画像合成処理の簡略化を図ることができる。
　次の優先権基礎出願の開示内容は引用文としてここに組み込まれる。
　日本国特許出願２００８年第２８６８００号（２００８年１１月７日出願）
 

Claims (8)

  1. 　撮像装置であって、
    　撮影光学系と、
    　前記撮影光学系を透過した光束を受光して信号を出力する複数の光電変換素子を配列した光電変換素子アレイと、
    　前記撮影光学系と前記光電変換素子アレイとの間に配置され、かつ複数のマイクロレンズが配列され、前記複数のマイクロレンズの各々の背後に前記複数の光電変換素子が前記光電変換素子アレイに配列されているマイクロレンズアレイと、
    　前記複数の光電変換素子の出力信号にフィルターマトリクスデータを作用させて、前記複数のマイクロレンズの各々について前記撮影光学系による所定の結像面における複数の画素の画素データを作成するデータ作成部と、
    　前記データ作成部の作成した前記画素データに基づいて前記撮影光学系の光軸方向の任意の位置における前記所定の結像面上の画像を合成する画像合成部とを有し、
    　前記フィルターマトリクスデータは、前記複数のマイクロレンズの各々によって前記光電変換素子アレイ上に形成される前記複数の画素の各々の投影像の中心位置に対応する要素を分布中心とする所定の強度分布に従った二次元データ配列を有する撮像装置。
  2. 　請求項１に記載の撮像装置において、
    　前記中心位置は、前記所定の結像面の光軸方向の位置に依存し、
    　前記所定の強度分布は、前記中心位置に応じて異なる撮像装置。
  3. 　請求項１または請求項２に記載の撮像装置において、
    　前記撮影光学系は、被写体像を合焦させる前記所定の結像面の光軸方向の位置を変化させる焦点調節機能を有している撮像装置。
  4. 　請求項１または請求項２に記載の撮像装置において、
    　前記所定の強度分布は、前記分布中心における強度が最大となるガウス分布である撮像装置。
  5. 　請求項３に記載の撮像装置において、
    　前記撮影光学系は、前記所定の結像面の光軸方向の位置と前記マイクロレンズアレイとの距離が、前記複数のマイクロレンズの各々の焦点距離の略１～３倍の範囲に含まれるように、前記焦点調節機能により、前記所定の結像面の光軸方向の位置を変化させる撮像装置。
  6. 　請求項１に記載の撮像装置において、
    　前記画像合成部は、前記所定の結像面の位置を変化させる結像位置可変部を有し、
    　前記データ作成部は、前記所定の結像面の位置に応じて変化する前記中心位置に合わせて前記所定の強度分布を異ならせる撮像装置。
  7. 　請求項６に記載の撮像装置において、
    　前記結像位置可変部は、前記所定の結像面の位置と前記マイクロレンズアレイとの距離が、前記複数のマイクロレンズの各々の焦点距離の略１～３倍の範囲に含まれるように、前記所定の結像面の位置を変化させる撮像装置。
  8. 　撮影光学系と、前記撮影光学系を透過した光束を受光して信号を出力する複数の光電変換素子を配列した光電変換素子アレイと、前記撮影光学系と前記光電変換素子アレイとの間に配置され、複数のマイクロレンズを配列したマイクロレンズアレイとを有する撮像装置により撮像した画像を処理する画像処理方法であって、
    　前記複数のマイクロレンズの各々によって前記光電変換素子アレイ上に形成される前記複数の画素の各々の投影像の中心位置に対応する要素を分布中心とする所定の強度分布に従った二次元データ配列を有するフィルターマトリクスデータを、前記複数の光電変換素子の出力信号に作用させて、前記複数のマイクロレンズの各々について前記撮影光学系による所定の結像面における複数の画素の画素データを作成し、
    　前記画素データに基づいて前記撮影光学系の光軸方向の任意の位置における前記所定の結像面上の画像を合成する画像処理方法。

     
PCT/JP2009/069053 2008-11-07 2009-11-09 撮像装置および画像処理方法 Ceased WO2010053178A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
US13/127,163 US8749657B2 (en) 2008-11-07 2009-11-09 Image-capturing device and image processing method
US14/263,540 US9794477B2 (en) 2008-11-07 2014-04-28 Image-capturing device and image processing method
US15/704,717 US10230894B2 (en) 2008-11-07 2017-09-14 Image-capturing device and image processing method

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2008286800A JP5187145B2 (ja) 2008-11-07 2008-11-07 画像合成装置および方法
JP2008-286800 2008-11-07

Related Child Applications (2)

Application Number Title Priority Date Filing Date
US13/127,163 A-371-Of-International US8749657B2 (en) 2008-11-07 2009-11-09 Image-capturing device and image processing method
US14/263,540 Continuation US9794477B2 (en) 2008-11-07 2014-04-28 Image-capturing device and image processing method

Publications (1)

Publication Number Publication Date
WO2010053178A1 true WO2010053178A1 (ja) 2010-05-14

Family

ID=42152983

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2009/069053 Ceased WO2010053178A1 (ja) 2008-11-07 2009-11-09 撮像装置および画像処理方法

Country Status (3)

Country Link
US (3) US8749657B2 (ja)
JP (1) JP5187145B2 (ja)
WO (1) WO2010053178A1 (ja)

Families Citing this family (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5187145B2 (ja) 2008-11-07 2013-04-24 株式会社ニコン 画像合成装置および方法
JP5229060B2 (ja) * 2009-03-31 2013-07-03 ソニー株式会社 撮像装置および焦点検出方法
JP5273033B2 (ja) * 2009-12-25 2013-08-28 株式会社ニコン 撮像装置および画像再生装置
JP5671842B2 (ja) * 2010-06-03 2015-02-18 株式会社ニコン 画像処理装置および撮像装置
JP5506574B2 (ja) * 2010-07-02 2014-05-28 キヤノン株式会社 画像処理装置および方法、プログラム。
WO2012037343A1 (en) * 2010-09-15 2012-03-22 Ascentia Imaging, Inc. Imaging, fabrication, and measurement systems and methods
US10132925B2 (en) 2010-09-15 2018-11-20 Ascentia Imaging, Inc. Imaging, fabrication and measurement systems and methods
JP6232108B2 (ja) * 2011-03-24 2017-11-15 キヤノン株式会社 撮像素子および撮像装置
CN107861102B (zh) 2012-01-03 2021-08-20 阿森蒂亚影像有限公司 编码定位系统、方法和装置
US9739864B2 (en) 2012-01-03 2017-08-22 Ascentia Imaging, Inc. Optical guidance systems and methods using mutually distinct signal-modifying
JP6102061B2 (ja) * 2012-02-28 2017-03-29 株式会社ニコン 画像処理装置
US9838618B2 (en) * 2012-07-12 2017-12-05 Nikon Corporation Image processing device configured to correct output data based upon a point spread function
JP6220125B2 (ja) * 2012-12-28 2017-10-25 キヤノン株式会社 撮像装置およびその制御方法
JP6103969B2 (ja) * 2013-02-07 2017-03-29 キヤノン株式会社 撮像装置、その制御方法およびプログラム
GB2516486A (en) * 2013-07-24 2015-01-28 Nokia Corp Auto focus determination apparatus
JP6114228B2 (ja) * 2014-04-24 2017-04-12 日本電信電話株式会社 画像処理装置、画像処理方法及び画像処理プログラム
JP6351364B2 (ja) * 2014-05-12 2018-07-04 キヤノン株式会社 情報処理装置、情報処理方法およびプログラム
US10126114B2 (en) 2015-05-21 2018-11-13 Ascentia Imaging, Inc. Angular localization system, associated repositionable mechanical structure, and associated method
KR102557087B1 (ko) * 2016-10-20 2023-07-20 삼성전자주식회사 이미지 생성을 위한 전자 장치 및 저장 매체
CN106488148B (zh) * 2016-11-01 2019-09-17 首都师范大学 一种超分辨率图像传感器及其构造方法
JP6376206B2 (ja) * 2016-11-04 2018-08-22 株式会社ニコン 画像処理装置および撮像装置
US10677896B2 (en) * 2017-06-02 2020-06-09 Qualcomm Incorporated Resolution enhancement for scanning LIDAR/LADAR
KR102088631B1 (ko) * 2018-10-11 2020-03-16 (주)이미지스테크놀로지 가변렌즈 어레이를 이용한 광각 촬상장치
KR102130960B1 (ko) * 2019-05-07 2020-07-08 (주) 솔 가상의 그리드 선을 이용한 미세 입자 계수용 이미지 센서 패키지, 미세 입자 계수 시스템 및 방법

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2006137481A1 (ja) * 2005-06-23 2006-12-28 Nikon Corporation 画像入力装置、光検出装置、画像合成方法
JP2007074079A (ja) * 2005-09-05 2007-03-22 Ricoh Co Ltd 画像入力装置

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5076687A (en) * 1990-08-28 1991-12-31 Massachusetts Institute Of Technology Optical ranging apparatus
US7236304B2 (en) * 2003-11-04 2007-06-26 Matsushita Electric Industrial Co., Ltd. Imaging Device
WO2006039486A2 (en) * 2004-10-01 2006-04-13 The Board Of Trustees Of The Leland Stanford Junior University Imaging arrangements and methods therefor
EP1941314A4 (en) * 2005-10-07 2010-04-14 Univ Leland Stanford Junior ARRANGEMENTS AND APPROACHES FOR MICROSCOPY
WO2007092581A2 (en) * 2006-02-07 2007-08-16 The Board Of Trustees Of The Leland Stanford Junior University Correction of optical aberrations
JP4866147B2 (ja) 2006-05-22 2012-02-01 株式会社リコー 画像シフト検出方法および装置および画像入力装置
US7792423B2 (en) * 2007-02-06 2010-09-07 Mitsubishi Electric Research Laboratories, Inc. 4D light field cameras
JP4967873B2 (ja) * 2007-07-13 2012-07-04 ソニー株式会社 撮像装置
US20090122148A1 (en) * 2007-09-14 2009-05-14 Fife Keith G Disjoint light sensing arrangements and methods therefor
US7962033B2 (en) * 2008-01-23 2011-06-14 Adobe Systems Incorporated Methods and apparatus for full-resolution light-field capture and rendering
JP4483951B2 (ja) * 2008-01-28 2010-06-16 ソニー株式会社 撮像装置
JP5187145B2 (ja) * 2008-11-07 2013-04-24 株式会社ニコン 画像合成装置および方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2006137481A1 (ja) * 2005-06-23 2006-12-28 Nikon Corporation 画像入力装置、光検出装置、画像合成方法
JP2007074079A (ja) * 2005-09-05 2007-03-22 Ricoh Co Ltd 画像入力装置

Also Published As

Publication number Publication date
US20180007261A1 (en) 2018-01-04
US8749657B2 (en) 2014-06-10
US9794477B2 (en) 2017-10-17
US10230894B2 (en) 2019-03-12
US20140232897A1 (en) 2014-08-21
JP5187145B2 (ja) 2013-04-24
JP2010114758A (ja) 2010-05-20
US20110205388A1 (en) 2011-08-25

Similar Documents

Publication Publication Date Title
WO2010053178A1 (ja) 撮像装置および画像処理方法
JP5375010B2 (ja) 撮像装置
JP4961993B2 (ja) 撮像素子、焦点検出装置および撮像装置
JP6004235B2 (ja) 撮像装置および撮像システム
CN106461929B (zh) 内窥镜系统
JP5829365B2 (ja) 内視鏡用撮像装置
JP4112165B2 (ja) 光学系の調整方法及び調整装置
WO2011152531A1 (ja) 撮像装置
JP2009290157A (ja) 撮像素子および撮像装置
JP5569132B2 (ja) 測距装置および撮像装置
JP4983271B2 (ja) 撮像装置
CN105827922A (zh) 一种摄像装置及其拍摄方法
JP2008299184A (ja) 撮像装置および焦点検出装置
JP5448731B2 (ja) 焦点検出装置
JP6090607B2 (ja) 共焦点スキャナ、共焦点顕微鏡
JP2008176114A (ja) 焦点検出装置および撮像装置
US7847226B2 (en) Focus detection device and method with honeycomb lens array and imaging device
JP2017207695A (ja) 光学装置
JP2009198771A (ja) 焦点検出装置および撮像装置
JP2018186508A (ja) 画像処理装置
JP2010109921A (ja) 画像合成装置
JP2017034722A (ja) 画像処理装置および撮像装置
KR102275570B1 (ko) 결상 렌즈 배열체 및 이를 구비하는 광간섭 단층 영상 시스템
JP2007010951A (ja) 焦点検出装置及び撮像装置
JP6006633B2 (ja) 立体画像取得装置および立体画像取得方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 09824875

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 13127163

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 09824875

Country of ref document: EP

Kind code of ref document: A1