WO2013129337A1 - 画像処理装置 - Google Patents

画像処理装置 Download PDF

Info

Publication number
WO2013129337A1
WO2013129337A1 PCT/JP2013/054819 JP2013054819W WO2013129337A1 WO 2013129337 A1 WO2013129337 A1 WO 2013129337A1 JP 2013054819 W JP2013054819 W JP 2013054819W WO 2013129337 A1 WO2013129337 A1 WO 2013129337A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
microlenses
microlens
focal
processing apparatus
Prior art date
Application number
PCT/JP2013/054819
Other languages
English (en)
French (fr)
Inventor
岩根　透
Original Assignee
株式会社ニコン
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社ニコン filed Critical 株式会社ニコン
Priority to CN201380010817.0A priority Critical patent/CN104137532B/zh
Priority to US14/380,802 priority patent/US10587798B2/en
Priority to EP13755116.4A priority patent/EP2822266B1/en
Publication of WO2013129337A1 publication Critical patent/WO2013129337A1/ja
Priority to IN7183DEN2014 priority patent/IN2014DN07183A/en

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/815—Camera processing pipelines; Components thereof for controlling the resolution by using a single image
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B26/00—Optical devices or arrangements for the control of light using movable or deformable optical elements
    • G02B26/08—Optical devices or arrangements for the control of light using movable or deformable optical elements for controlling the direction of light
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B3/00—Simple or compound lenses
    • G02B3/0006—Arrays
    • G02B3/0037—Arrays characterized by the distribution or form of lenses
    • G02B3/0056—Arrays characterized by the distribution or form of lenses arranged along two different directions in a plane, e.g. honeycomb arrangement of lenses
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4015—Image demosaicing, e.g. colour filter arrays [CFA] or Bayer patterns
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/73—Deblurring; Sharpening
    • G06T5/75—Unsharp masking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/67—Focus control based on electronic image sensor signals
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10052—Images from lightfield camera
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H04N23/631—Graphical user interfaces [GUI] specially adapted for controlling image capture or setting capture parameters

Definitions

  • the present invention relates to an image processing apparatus.
  • the image processing apparatus corresponds to each of the plurality of microlenses arranged in a two-dimensional manner so that the subject light transmitted through the imaging optical system is incident thereon, and each of the plurality of microlenses.
  • a plurality of light receiving elements arranged near the focal position on the rear side of the microlens and receiving subject light transmitted through the microlens, and a predetermined focal plane of the imaging optical system based on outputs of the plurality of light receiving elements. Includes an image composition unit that synthesizes images of different focal planes, a target image that is an image in the vicinity of at least a plurality of microlenses, and an auxiliary image that is an image outside the vicinity of the plurality of microlenses.
  • the image processing apparatus corresponds to each of the plurality of microlenses arranged two-dimensionally so that the subject light transmitted through the imaging optical system is incident, and each of the plurality of microlenses. And a plurality of light receiving elements that are disposed in the vicinity of the focal position on the rear side of the microlens and receive subject light transmitted through the microlens, and a planned focus of the imaging optical system based on outputs of the plurality of light receiving elements.
  • An image composition unit that can synthesize an image of a focal plane different from the plane, a target image that is an image of a focal plane near the vertices of a plurality of microlenses, and an image of a focal plane other than those near the vertices of the plurality of microlenses
  • a control unit that controls the image composition unit to synthesize the auxiliary image and adds the high-frequency component of the auxiliary image to the target image and outputs the result.
  • the target image has a focal plane at a position that is not separated from the apexes of the plurality of microlenses by more than twice the focal length of the plurality of microlenses.
  • the image is.
  • the auxiliary image is located at a position that is at least twice the focal length of the plurality of microlenses from the apex of the plurality of microlenses.
  • a focal plane image is preferred.
  • the control unit causes the image synthesis unit to synthesize a plurality of auxiliary images corresponding to mutually different focal planes, and It is preferable that the high frequency components of the plurality of auxiliary images are added and output.
  • control unit is located at a position spaced apart from the apexes of the plurality of microlenses by two times the focal length of the plurality of microlenses. It is preferable to synthesize the auxiliary image of the focal plane in the image composition unit.
  • a high-resolution image can be synthesized even at a focal position near the apex of the microlens.
  • FIG. 2 is a perspective view of the imaging unit 100.
  • FIG. 2 is a cross-sectional view schematically showing a microlens array 12 and an image sensor 13.
  • FIG. It is the schematic diagram which looked at the micro lens array 12 from the incident direction of subject light.
  • the digital camera according to the present embodiment has a focal position desired by the user by numerical processing by using the fact that an image signal acquired by photographing through a microlens array has wavefront information such as depth information. Generate image data.
  • the subject luminous flux incident through the photographing lens forms an image near the microlens array.
  • the position at which the light beam forms an image according to the position of the subject differs in the optical axis direction of the photographing lens. Further, if the subject is a three-dimensional object, the subject light beam does not form an image on the same plane.
  • the digital camera generates (synthesizes) an image that reproduces an image of a subject that is imaged at an imaging position in the optical axis direction desired by the user.
  • this generated image is referred to as a target image.
  • the target image appears as if the focal point of the imaging optical system is at the imaging position (not the actual imaging position but the position desired by the user). Therefore, in the following description, this imaging position is referred to as a focal position.
  • the digital camera of the present embodiment is configured to generate a composite image having a resolution larger than the number of microlenses included in the microlens array as the image. That is, a plurality of imaging pixels (light receiving elements) that output image signals that are pixels of a composite image are provided corresponding to one microlens.
  • the digital camera not only captures not only the image signal output from the imaging pixel corresponding to one microlens but also the imaging pixels corresponding to the surrounding microlens so that a composite image of the focal position selected by the user is obtained.
  • a composite image signal corresponding to an imaging region for one pixel of the composite image is generated, and a composite image in which the focal position can be changed is created. Details will be described below.
  • FIG. 1 is a diagram showing a configuration of a digital camera according to the first embodiment.
  • the digital camera 1 is configured such that the interchangeable lens 2 having the photographing lens L1 can be attached and detached by, for example, a bayonet type lens mount mechanism.
  • the digital camera 1 includes an imaging unit 100, a control circuit 101, an A / D conversion circuit 102, a memory 103, an operation unit 108, a display 109, an LCD drive circuit 110, and a memory card interface 111.
  • the imaging unit 100 includes a microlens array 12 and an imaging element 13 in which a large number of microlenses 120 are arranged two-dimensionally.
  • the Z axis is set to be parallel to the optical axis of the photographic lens L1
  • the X axis and the Y axis are set to be orthogonal to each other in a plane orthogonal to the Z axis.
  • the photographing lens L1 is composed of a plurality of optical lens groups, and forms an image of a light beam from a subject near the focal plane.
  • the taking lens L1 is represented by a single lens for convenience of explanation.
  • the microlens array 12 and the image sensor 13 are arranged in order.
  • the image sensor 13 is configured by a CCD or CMOS image sensor including a plurality of photoelectric conversion elements.
  • the image sensor 13 captures a subject image formed on the imaging surface, and outputs a photoelectric conversion signal (image signal) corresponding to the subject image to the A / D conversion circuit 102 under the control of the control circuit 101.
  • the details of the imaging unit 100 will be described later.
  • the A / D conversion circuit 102 is a circuit that performs analog processing on the image signal output from the image sensor 13 and then converts it to a digital image signal.
  • the control circuit 101 includes a CPU, a memory, and other peripheral circuits.
  • the control circuit 101 reads and executes a control program stored in advance in a ROM (not shown) or the like. With this control program, the control circuit 101 performs a predetermined calculation using signals input from each unit constituting the digital camera 1 and sends a control signal to each unit of the digital camera 1 to control the photographing operation.
  • the control circuit 101 determines the focus position of the target image based on the operation signal input from the operation unit 108 in response to the operation of the focus position input button 108a as will be described later.
  • the control circuit 101 functionally includes an image composition unit 105, a composition determination unit 106, and a composition control unit 107.
  • the image synthesis unit 105 synthesizes an image with an arbitrary focal plane different from the planned focal plane of the photographic lens L1.
  • the composition determination unit 106 determines whether or not the focal position input from the operation unit 108 is within a predetermined range (described later) in which the resolution of the composite image is reduced.
  • the composition control unit 107 controls the image composition unit 105 based on the determination of the composition determination unit 106 to create a composite image, and outputs a final image. Details of the image composition unit 105, composition determination unit 106, and composition control unit 107 will be described later.
  • the memory 103 is used to temporarily store the image signal digitally converted by the A / D conversion circuit 102, and data during or after the image processing, image compression processing, and display image data creation processing. It is a volatile storage medium.
  • the memory card interface 111 is an interface that allows the memory card 111a to be attached and detached.
  • the memory card interface 111 is an interface circuit that writes image data to the memory card 111a and reads image data recorded on the memory card 111a in accordance with the control of the control circuit 101.
  • the memory card 111a is a semiconductor memory card such as a compact flash (registered trademark) or an SD card.
  • the LCD drive circuit 110 is a circuit that drives the display 109 based on a command from the control circuit 101.
  • the display device 109 is composed of a liquid crystal panel or the like, and displays display data created by the control circuit 101 based on image data recorded on the memory card 111a in the reproduction mode.
  • the display 109 displays a menu screen for setting various operations of the digital camera 1.
  • the operation unit 108 receives a user operation and outputs various operation signals corresponding to the operation content to the control circuit 101.
  • the operation unit 108 includes a focus position input button 108a, a power button, a release button, other setting menu display switching buttons, a setting menu determination button, and the like.
  • the focus position input button 108a is operated by the user when inputting the focus position y of the composite image.
  • the operation unit 108 outputs an operation signal including the focus position y to the control circuit 101.
  • the imaging unit 100 includes a microlens array 12 and an imaging element 13.
  • the microlens array 12 includes a plurality of microlenses 120 that are two-dimensionally arranged squarely on the XY plane.
  • photoelectric conversion elements 130 (hereinafter referred to as imaging pixels 130) that receive light that has passed through each microlens 120 are two-dimensionally arranged in an arrangement pattern corresponding to the microlens 120.
  • the image sensor 13 is arranged at a position away from the microlens array 12 by the focal length f of the microlens 120. That is, for each microlens 120, a plurality of imaging pixels 130 corresponding to the microlens 120 are provided at positions separated by the focal length f of the microlens 120.
  • FIG. 2 illustrates only a part of the plurality of microlenses 120 provided in the microlens array 12 and the plurality of imaging pixels 130 provided in the imaging element 13.
  • one microlens 120 is covered with about 100 image pickup pixels 130, and therefore the microlens array 12 is about 1 / 100th the number of microlenses of the image pickup pixels 130 included in the image pickup device 13. 120.
  • the focal length f of the microlens 120 is about several hundred micrometers (about one hundredth of the focal length of the photographing lens L1).
  • the so-called exit pupil position of the photographic lens L1 can be regarded as almost infinite for the microlens 120. That is, the position of the exit pupil of the photographic lens L1 and the imaging surface of the imaging element 13 can be optically conjugate.
  • the F value of the microlens 120 and the F value of the photographing lens L1 are the same.
  • the entire area of the imaging pixel 130 covered by the microlens 120 is a projection of the entire exit pupil of the photographing lens L1.
  • the light intensity distribution at the position of the exit pupil of the photographing lens L1 of the image divided by the microlens 120 is shown.
  • the control circuit 101 generates composite image data for an image at a position (+ 2f, ⁇ 2f) about twice the front and back of the focal length f of the microlens 120 and stores the two composite image data in the memory 103. To do.
  • the image composition may be performed in a Fourier space obtained by Fourier transforming the image signal output from the image sensor 13.
  • FIG. 3 is a cross-sectional view schematically showing the microlens array 12 and the image sensor 13.
  • the central microlens 120c and the composite pixel Px on the central axis CX of the microlens 120c among the composite pixels on the image plane S at a predetermined position will be considered.
  • FIG. 3A shows a case where the image plane S to be synthesized is located near the apex of the microlens 120c.
  • the image plane S to be synthesized when the image plane S to be synthesized is located at a position closer than the focal length f of the microlens 120c, the light beam constituting the synthesis pixel Px passes only through the microlens 120c, and the like.
  • the microlenses 120a, 120b, 120d, and 120e are not reached.
  • the light beam constituting the composite pixel Px is a plurality of microlenses. Is incident on.
  • the focal length of the microlenses 120a to 120e is f
  • the interval between the microlenses 120a to 120e is d
  • the distance from the image surface to be synthesized to the apex of the microlenses 120a to 120e is f
  • n is a dimensionless number that indicates how far the light beam is incident on the microlens 120 from the microlens 120c corresponding to the composite pixel Px
  • the synthesized pixel at a position on the central axis CX of the microlens 120c and away from the apex of the microlens 120c by the distance y is obtained by integrating the outputs of the imaging pixels 130 at the positions satisfying the above equation (1). That is, if the light intensity at the position of the distance x (output of the imaging pixel 130) is I (x), the pixel value P of the composite pixel Px can be calculated by the following equation (2).
  • x in the above equation (2) takes a value in a range corresponding to a plurality of microlenses, and to which microlens each value belongs is determined by the above equation (1).
  • FIG. 4 is a schematic view of the microlens array 12 as seen from the incident direction of the subject light.
  • the pitch g of the grating 122 is determined by the position of the image to be synthesized (focal position y). For example, if the focal position y is four times the focal length f of the microlens 120, the pitch g of the grating 122 is a quarter of the distance d between the microlenses 120 as shown in FIG.
  • the grid 122 represents which imaging pixel 130 is combined by integrating the output of one composite pixel Py corresponding to the center O of the micro lens 120j.
  • the lattice 122 is configured by a total of 25 rectangular sections. This indicates that the synthesized pixel Py is synthesized by integrating the outputs of the imaging pixels 130 corresponding to each of these 25 sections.
  • each section in the lattice 122 indicates which microlens 120 is covered by the microlens 120 around the microlens 120j.
  • FIG. 5A An enlarged view of the microlens 120j is shown on the left side of FIG. 5A, and a microlens around the microlens 120j is shown on the right side of FIG. 5A.
  • the section 140j corresponds to the imaging pixels 130j in a range corresponding to the section 140j in the lattice 122 among the imaging pixels 130 covered with the microlens 120j.
  • a section 140g adjacent to the upper side of the section 140j is a section in the grid 122 among the imaging pixels 130 covered by the microlens 120g adjacent to the upper side of the microlens 120j.
  • One composite pixel corresponding to the center O of the microlens 120j is obtained by integrating the outputs of the imaging pixels 130 in the 25 ranges thus specified. These 25 ranges are shown in FIG.
  • the focal position y is four times the focal length f of the microlens 120
  • one composite pixel corresponding to the center O of the microlens 120j is the microlens 120j and 24 surrounding microlenses 120.
  • the output of the imaging pixels 130 covered by the image is integrated by integration, and the position of the imaging pixel 130 is as shown in FIG.
  • N imaging pixels 130 covered by the microlens 120 there are N imaging pixels 130 covered by the microlens 120, and the coordinates of these imaging pixels 130 in the microlens 120 using i and j with reference to the center of the microlens 120.
  • the integration for synthesizing is expressed by the following equations (3) to (7).
  • the functions ⁇ x and ⁇ y in the equations (5) and (6) are determined by the division of the imaging surface of the imaging device 13 by the lattice 122 described above.
  • the pitch g of the grating 122 decreases as the focal position y moves away from the apex of the microlens 120.
  • the pitch g matches the distance d of the microlens 120.
  • the above is the principle of creating a composite image in which one pixel is combined for each microlens 120.
  • a synthesized pixel at a position corresponding to the center of the microlens 120 is synthesized.
  • the resolution of the synthesized image is the microlens 120. It becomes equal to the number of. For example, if the number of imaging pixels 130 covered by the microlens 120 is 100, the resolving power is 1/100 of the original resolving power of the image sensor 13. If the image sensor 13 is an image sensor with 10 million pixels, the composite image has 100,000 pixels, and sufficient resolution cannot be obtained.
  • a pixel of the composite image is set at a position other than the center of the microlens 120, and an integrated pattern of the imaging pixels 130 for combining the pixel is generated.
  • the image synthesis unit 105 synthesizes a plurality of pixels for one microlens 120 by integrating the outputs of the imaging pixels 130 according to the integration pattern.
  • the pitch g of the grating 122 represents (corresponds to) the focal position y. That is, the position of the composite pixel in the optical axis direction corresponds to the pitch g of the grating 122.
  • the position in the direction perpendicular to the optical axis corresponds to the phase of the grating 122, and by changing the reference position of the grating 122, it is possible to synthesize synthesized pixels at positions other than the center of the microlens 120. It becomes.
  • FIG. 7 is a diagram in which the lattice 122 is shifted to the right by a quarter of the pitch g.
  • FIGS. 8A to 8C are obtained by shifting the grid 122 in this way and obtaining the integrated pattern in the same manner as FIGS. 5A to 5C.
  • By integrating the outputs of the respective imaging pixels 130 shown in FIG. 8C it is possible to synthesize a synthesized pixel at a position shifted from the center O of the microlens 120 to the right by a quarter of the pitch g. .
  • 16 synthesized pixels in the microlens 120 can be synthesized. That is, in principle, a composite image having the number of pixels obtained by multiplying the number of microlenses 120 by 16 can be obtained.
  • the focal position y when a plurality of pixels are synthesized for each microlens 120 by the above-described method, sufficient resolving power may not be obtained depending on the focal position y.
  • the focal length of the microlens 120 is f
  • the resolving power is reduced in the range where the focal position y is + 2f to ⁇ 2f as compared with the case where the focal position y is placed outside this range. This is because when the focal position y is set at such a position, the above-described variation of the integrated pattern of the imaging pixels 130 is reduced, and some of them are the same.
  • the focal position y is set in the range of + 2f to ⁇ 2f, some of the synthesized pixels are It will be the same output.
  • the resolving power decreases as the focal position y is closer to the apex of the microlens 120.
  • the image of the focal plane other than the set focal position y (hereinafter, the target image)
  • the target image the image of the focal plane other than the set focal position y
  • it is referred to as an auxiliary image
  • the resolution of the target image is improved using this image.
  • FIG. 9 is a flowchart of the image composition process.
  • the control circuit 101 executes this image composition processing by executing a predetermined control program.
  • step S ⁇ b> 100 the composition control unit 107 receives the focal position y input from the operation unit 108.
  • step S110 the composition determination unit 106 determines whether or not the input focal position y is between ⁇ 2f and + 2f. If the input focal position y is outside this range, the process proceeds to step S170, the composition control unit 107 controls the image composition unit 105, and the image composition unit 105 performs normal image composition by the above-described method. (Image synthesis for synthesizing a plurality of pixels per microlens 120) is performed, and a target image is output.
  • the control circuit 101 stores the target image output from the synthesis control unit 107 in step S170, for example, in the memory card 111a or displays it on the display 109. On the other hand, if the composition determination unit 106 determines that the input focal position y is between ⁇ 2f and + 2f, the process proceeds to step S120.
  • step S120 the composition control unit 107 controls the image composition unit 105 to cause the image composition unit 105 to compose the image at the focal position of ⁇ 2f (first auxiliary image).
  • the auxiliary image corresponding to the position of ⁇ 2f synthesized here is referred to as P1.
  • step S130 the composition control unit 107 controls the image composition unit 105 to cause the image composition unit 105 to compose an image (second auxiliary image) at the focal position of + 2f.
  • the auxiliary image corresponding to the position of + 2f synthesized here is referred to as P2.
  • the auxiliary images P1 and P2 are stored in the memory 103, respectively.
  • this third auxiliary image is referred to as P0.
  • the auxiliary image P0 is an image having a low spatial frequency that does not have the resolving power more than the number of the micro lenses 120.
  • step S150 the composition control unit 107 controls the image composition unit 105, and causes the image composition unit 105 to perform normal image composition based on the focal position y input from the operation unit 108 in step S100.
  • the target image synthesized here is referred to as P3. Since the target image P3 is a composite image of the image plane (focal plane) located in the range of ⁇ 2f to + 2f, the resolution is lost to some extent as described above.
  • step S160 the composition control unit 107 performs the calculation shown in the following equation (8) for each pixel of the target image P3 synthesized in step S150, and creates and outputs the final target image P.
  • P0 (i, j) represents a composite pixel at the coordinates (i, j) of the auxiliary image P0.
  • P1 (i, j), P2 (i, j), and P3 (i, j) represent composite pixels of the coordinates (i, j) of the auxiliary image P1, the auxiliary image P2, and the target image P3, respectively.
  • the first term on the right side of the above equation (8) represents the high frequency component of the spatial frequency obtained from the auxiliary image at the position of ⁇ 2f and the auxiliary image at the position of + 2f, and the composition control unit 107 determines this component.
  • the final target image P is synthesized by adding to the target image P3 that has lost some resolution (the resolution of the target image P3 is increased).
  • the digital camera 1 corresponds to each of the plurality of microlenses 120 arranged in a two-dimensional manner so that the subject light transmitted through the photographing lens L1 enters, and the microlens 120 corresponding to each of the plurality of microlenses 120. And a plurality of imaging pixels 130 that are disposed in the vicinity of the rear focal position and receive subject light transmitted through the microlens 120.
  • the image synthesis unit 105 is configured to be able to synthesize an image having a focal plane different from the planned focal plane of the photographic lens L1 based on the outputs of the plurality of imaging pixels 130.
  • the compositing control unit 107 is an image so that a target image that is an image of a focal plane near the vertices of the plurality of microlenses 120 and an auxiliary image that is an image of a focal plane other than the vicinity of the vertices of the plurality of microlenses 120 are combined.
  • the synthesizer 105 is controlled to add the high frequency component of the auxiliary image to the target image and output it. Since it did in this way, a high resolution image can be synthesize
  • the composition control unit 107 When a position that is not separated from the apexes of the plurality of microlenses 120 by more than twice the focal length f of the plurality of microlenses 120 is input as a focal plane, the composition control unit 107 outputs a high frequency component to the target image P3. to add. Since it did in this way, a high-resolution image can be synthesize
  • auxiliary images P0 and P1 are images of focal planes at positions away from the apexes of the plurality of microlenses 120 by at least twice the focal length f of the plurality of microlenses 120. Since it did in this way, auxiliary image P0 and P1 become an image which contains a high frequency component reliably, and can add a high frequency component to the target image P3 reliably.
  • the composition control unit 107 corresponds to mutually different focal planes (focal planes at positions away from the apexes of the plurality of microlenses 120 by two times the focal length f of the plurality of microlenses 120, respectively).
  • the plurality of auxiliary images P1 and P2 are combined by the image combining unit 105, and the high frequency components of the plurality of auxiliary images P1 and P2 are added to the target image P3 and output. Since it did in this way, a high frequency component can be added more accurately.
  • Modification 2 When performing image synthesis in real time according to the input of the focal position y and displaying a synthesized image, etc., a sequence of discrete focal positions is determined in advance in all possible focal position ranges, and image synthesis is performed in advance for these. You may keep going. For example, when the range of the focal position y is ⁇ 6 millimeters and the focal length f of the microlens 120 is 300 micrometers, 41 points of ⁇ 20f, ⁇ 19f,..., ⁇ f, 0, f, 2f,. Image synthesis is performed in advance and stored in the memory 103. By doing in this way, the processing load of the control circuit 101 at the time of displaying a composite image can be reduced.
  • Mode 3 In the first embodiment, in order to increase the resolving power of the target image P3, high frequency components are extracted from the two auxiliary images P1 and P2 and added to the target image P3.
  • the present invention is not limited to such an embodiment.
  • the resolution of the target image P3 can be increased even when the high-frequency component is extracted only from the auxiliary image P1 and added to the target image P3.
  • the auxiliary image P0 including only the low-frequency component is used.
  • the high-frequency component from the auxiliary image P1 (and / or P2) is obtained by other methods. May be taken out.
  • the positions of the focal planes of the auxiliary images P1 and P2 may be positions other than ⁇ 2f and + 2f, respectively.
  • a high-frequency component to be added to the target image P3 can be extracted as long as it is at least twice the focal length f of the microlens 120 from the apex of the microlens 120.
  • the arrangement of the microlenses 120 in the microlens array 12 is a square arrangement, but the present invention is not limited to such an arrangement.
  • the microlenses 120 may be substantially hexagonal and arranged in a honeycomb shape.
  • the present invention can be applied to an image processing apparatus that outputs a target image with high resolving power when an output signal from the imaging unit 100 is input.
  • the image processing apparatus itself may not include the imaging unit 100.
  • the output signal from the image pickup unit 100 (the output signal from the image pickup device 13) may be input by being stored in a portable storage medium such as a memory card or input via an electric communication line or the like. May be.
  • the present invention is not limited to the above-described embodiments, and other forms conceivable within the scope of the technical idea of the present invention are also included in the scope of the present invention. .

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Optics & Photonics (AREA)
  • Studio Devices (AREA)
  • Image Processing (AREA)

Abstract

　画像処理装置は、結像光学系を透過した被写体光が入射するように二次元状に配列された複数のマイクロレンズと、複数のマイクロレンズの各々に対応してマイクロレンズの後側の焦点位置近傍に配置され、マイクロレンズを透過した被写体光を受光する複数の受光素子と、複数の受光素子の出力に基づいて、結像光学系の予定焦点面とは異なる焦点面の画像を合成する画像合成部と、画像合成部が合成した、少なくとも複数のマイクロレンズの近傍の画像である目的画像と、複数のマイクロレンズの近傍外の画像である補助画像とに基づいて、目的画像の解像度を高める処理を行う処理部と、を備える。

Description

画像処理装置
　本発明は、画像処理装置に関する。
　従来から、１つのマイクロレンズに対応して複数の撮像画素を備え、１回の撮影により取得された画像データを撮影後に合成して、任意の焦点位置の画像を生成する撮像装置が知られている（たとえば、特許文献１、２、および非特許文献１）。
日本国特開２００７－４４７１号公報 米国特許出願公開第２００７／０２５２０４７号明細書
Light Field Photography with a Handheld Plenoptic camera, Stanford tech report CTSR2005-02
　しかしながら、マイクロレンズの配列数よりも多くの画素数で構成される任意の焦点位置の画像を生成する場合、マイクロレンズの頂点近傍において、生成される画像の解像度が大幅に低下するという問題がある。
　本発明の第１の態様によると、画像処理装置は、結像光学系を透過した被写体光が入射するように二次元状に配列された複数のマイクロレンズと、複数のマイクロレンズの各々に対応してマイクロレンズの後側の焦点位置近傍に配置され、マイクロレンズを透過した被写体光を受光する複数の受光素子と、複数の受光素子の出力に基づいて、結像光学系の予定焦点面とは異なる焦点面の画像を合成する画像合成部と、画像合成部が合成した、少なくとも複数のマイクロレンズの近傍の画像である目的画像と、複数のマイクロレンズの近傍外の画像である補助画像とに基づいて、目的画像の解像度を高める処理を行う処理部と、を備える。
　本発明の第２の態様によると、画像処理装置は、結像光学系を透過した被写体光が入射するように二次元状に配列された複数のマイクロレンズと、複数のマイクロレンズの各々に対応して当該マイクロレンズの後側の焦点位置近傍に配置され、当該マイクロレンズを透過した被写体光を受光する複数の受光素子と、複数の受光素子の出力に基づいて、結像光学系の予定焦点面とは異なる焦点面の画像を合成可能な画像合成部と、複数のマイクロレンズの頂点近傍の焦点面の画像である目的画像と、複数のマイクロレンズの頂点近傍以外の焦点面の画像である補助画像とが合成されるよう画像合成部を制御し、目的画像に補助画像の高周波成分を加算して出力する制御部と、を備える。
　本発明の第３の態様によると、第２の態様の画像処理装置において、目的画像は、複数のマイクロレンズの頂点から、複数のマイクロレンズの焦点距離の２倍以上離れていない位置の焦点面の画像であることが好ましい。
　本発明の第４の態様によると、第２または３の態様の画像処理装置において、補助画像は、複数のマイクロレンズの頂点から、複数のマイクロレンズの焦点距離の２倍以上離れている位置の焦点面の画像であることが好ましい。
　本発明の第５の態様によると、第２～４のいずれか一態様の画像処理装置において、制御部は、互いに異なる焦点面に対応する複数の補助画像を画像合成部に合成させ、目的画像にそれら複数の補助画像の高周波成分を加算して出力することが好ましい。
　本発明の第６の態様によると、第５の態様の画像処理装置において、制御部は、複数のマイクロレンズの焦点距離の２倍だけ、複数のマイクロレンズの頂点からその前後にそれぞれ離れた位置の焦点面の補助画像を画像合成部に合成させることが好ましい。
　本発明によれば、マイクロレンズの頂点近傍の焦点位置でも、高解像度の画像を合成することができる。
第１の実施の形態に係るデジタルカメラの構成を示す図である。 撮像ユニット１００の斜視図である。 マイクロレンズアレイ１２および撮像素子１３を模式的に示した断面図である。 マイクロレンズアレイ１２を被写体光の入射方向から見た模式図である。 合成画素Ｐｙを合成するために出力が積算される撮像画素１３０を示す図である。 合成画素Ｐｙを合成するために出力が積算される撮像画素１３０を示す図である。 格子１２２を、ピッチｇの４分の１だけ右方向にずらした図である。 ピッチｇの４分の１だけ格子１２２を右方向にずらした場合における、撮像画素１３０の積算パターンを示す図である。 画像合成処理のフローチャートである。
（第１の実施の形態）
　本実施の形態のデジタルカメラは、マイクロレンズアレイを介して撮影することにより取得された画像信号が奥行き情報等の波面情報を有することを利用して、数値処理によってユーザが所望する焦点位置を有する画像データを生成する。撮影レンズを介して入射した被写体光束は、マイクロレンズアレイの近傍に結像する。このとき、被写体の位置に応じて光束が結像する位置は撮影レンズの光軸方向に異なるものとなり、さらに被写体が三次元物体であれば被写体光束は同一平面上には結像しない。本実施の形態のデジタルカメラは、ユーザが所望する光軸方向の結像位置に結像する被写体の像を再現した画像を生成（合成）する。以下、この生成された画像を目的画像と称する。目的画像は、結像光学系の焦点があたかも当該結像位置（実際の結像位置ではなくユーザが所望する位置）にあるように見える。そこで、以下の説明において、この結像位置のことを焦点位置と呼ぶこととする。
　さらに、本実施の形態のデジタルカメラは、上記の画像として、マイクロレンズアレイに含まれるマイクロレンズの数よりも大きな解像度を有する合成画像を生成可能に構成されている。すなわち、１つのマイクロレンズに対応して、合成画像の各画素となる画像信号を出力する撮像画素（受光素子）が複数個設けられている。そして、デジタルカメラは、ユーザが選択した焦点位置の合成画像となるように、１つのマイクロレンズに対応する撮像画素から出力された画像信号のみならず、その周辺のマイクロレンズに対応する撮像画素から出力された画像信号を用いて、合成画像の１画素分の結像領域に相当する合成画像信号を生成し、焦点位置を可変可能な合成画像を作成する。以下、詳細に説明する。
　図１は、第１の実施の形態に係るデジタルカメラの構成を示す図である。デジタルカメラ１は、例えばバヨネット式のレンズマウント機構等により、撮影レンズＬ１を有する交換レンズ２の着脱が可能に構成されている。デジタルカメラ１は、撮像ユニット１００、制御回路１０１、Ａ／Ｄ変換回路１０２、メモリ１０３、操作部１０８、表示器１０９、ＬＣＤ駆動回路１１０およびメモリカードインタフェース１１１を備える。撮像ユニット１００は、多数のマイクロレンズ１２０が二次元状に配列されたマイクロレンズアレイ１２および撮像素子１３を備える。なお、以下の説明においては、Ｚ軸が撮影レンズＬ１の光軸に平行となるように設定され、Ｚ軸と直交する平面内でＸ軸とＹ軸とが互いに直交する方向に設定されているものとする。
　撮影レンズＬ１は、複数の光学レンズ群から構成され、被写体からの光束をその焦点面近傍に結像する。なお、図１では撮影レンズＬ１を説明の都合上１枚のレンズで代表して表している。撮影レンズＬ１の焦点面近傍に、マイクロレンズアレイ１２と撮像素子１３とが順に配置される。撮像素子１３は、複数の光電変換素子を備えたＣＣＤやＣＭＯＳイメージセンサによって構成される。撮像素子１３は、撮像面上に結像されている被写体像を撮像し、制御回路１０１により制御されて被写体像に応じた光電変換信号（画像信号）をＡ／Ｄ変換回路１０２へ出力する。なお、撮像ユニット１００の詳細については説明を後述する。
　Ａ／Ｄ変換回路１０２は、撮像素子１３が出力する画像信号にアナログ的な処理をしてからデジタル画像信号に変換する回路である。制御回路１０１は、ＣＰＵやメモリその他の周辺回路によって構成される。制御回路１０１は、不図示のＲＯＭ等に予め格納されている制御プログラムを読み出して実行する。この制御プログラムにより、制御回路１０１は、デジタルカメラ１を構成する各部から入力される信号を用いて所定の演算を行い、デジタルカメラ１の各部に対する制御信号を送出して、撮影動作を制御する。また、制御回路１０１は、後述するように焦点位置入力ボタン１０８ａの操作に応じて操作部１０８から入力した操作信号に基づいて目的画像の焦点位置を決定する。
　制御回路１０１は、画像合成部１０５、合成判定部１０６、および合成制御部１０７を機能的に備える。画像合成部１０５は、撮影レンズＬ１の予定焦点面とは異なる任意の焦点面の画像を合成する。合成判定部１０６は、操作部１０８から入力された焦点位置が、合成画像の解像力が低下する所定範囲（後述）内か否かを判定する。合成制御部１０７は、合成判定部１０６の判定に基づき画像合成部１０５を制御して合成画像を作成させ、最終的な画像を出力する。なお、画像合成部１０５、合成判定部１０６、および合成制御部１０７については詳細を後述する。
　メモリ１０３は、Ａ／Ｄ変換回路１０２によりデジタル変換された画像信号や、画像処理、画像圧縮処理および表示用画像データ作成処理の途中や処理後のデータを一時的に格納するために使用される揮発性の記憶媒体である。メモリカードインタフェース１１１は、メモリカード１１１ａの着脱が可能なインタフェースである。メモリカードインタフェース１１１は、制御回路１０１の制御に応じて、画像データをメモリカード１１１ａに書き込んだり、メモリカード１１１ａに記録されている画像データを読み出すインタフェース回路である。メモリカード１１１ａは、例えばコンパクトフラッシュ（登録商標）やＳＤカードなどの半導体メモリカードである。
　ＬＣＤ駆動回路１１０は、制御回路１０１の命令に基づいて表示器１０９を駆動する回路である。表示器１０９は液晶パネル等により構成され、再生モードにおいてメモリカード１１１ａに記録されている画像データに基づいて制御回路１０１で作成された表示データの表示を行う。また、表示器１０９には、デジタルカメラ１の各種動作を設定するためのメニュー画面が表示される。
　操作部１０８は、ユーザの操作を受け付けて、操作内容に応じた各種の操作信号を制御回路１０１へ出力する。操作部１０８は、焦点位置入力ボタン１０８ａ，電源ボタン，レリーズボタン，その他の設定メニューの表示切換ボタン、設定メニュー決定ボタン等を含む。焦点位置入力ボタン１０８ａは合成画像の焦点位置ｙを入力する際にユーザにより操作される。ユーザにより焦点位置入力ボタン１０８ａが操作され焦点位置ｙが選択されると、操作部１０８はその焦点位置ｙを含む操作信号を制御回路１０１へ出力する。
　次に、撮像ユニット１００の構成について、図２に示した撮像ユニット１００の斜視図を用いて詳細に説明する。撮像ユニット１００はマイクロレンズアレイ１２と撮像素子１３とを有する。マイクロレンズアレイ１２は、ＸＹ平面上に二次元状に正方配列された複数のマイクロレンズ１２０を有する。撮像素子１３には、各マイクロレンズ１２０を通過した光を受光する光電変換素子１３０（以下、撮像画素１３０と呼ぶ）が、マイクロレンズ１２０に対応した配置パターンで二次元状に配列されている。撮像素子１３は、マイクロレンズアレイ１２から、マイクロレンズ１２０の焦点距離ｆだけ離れた位置に配置されている。つまり、各マイクロレンズ１２０について、当該マイクロレンズ１２０に対応する複数の撮像画素１３０が、当該マイクロレンズ１２０の焦点距離ｆだけ離れた位置に設けられている。
　なお図２には、マイクロレンズアレイ１２に設けられた複数のマイクロレンズ１２０と、撮像素子１３に設けられた複数の撮像画素１３０のうち、その一部のみを図示している。実際には、より多数のマイクロレンズ１２０および撮像画素１３０が存在している。例えば、１つのマイクロレンズ１２０にはおよそ１００程度の撮像画素１３０が被覆されており、従ってマイクロレンズアレイ１２は撮像素子１３が有する撮像画素１３０の数のおよそ１００分の１程度の数のマイクロレンズ１２０を有している。
　例えば撮影レンズＬ１の焦点距離が５０ミリメートルとすると、マイクロレンズ１２０の焦点距離ｆは数百マイクロメートル程度（撮影レンズＬ１の焦点距離の１００分の１程度）であるため、撮像素子１３から見ると、撮影レンズＬ１のいわゆる射出瞳の位置は、マイクロレンズ１２０にとってほぼ無限遠と見なすことができる。つまり、撮影レンズＬ１の射出瞳の位置と撮像素子１３の撮像面は、光学的に共役とすることができる。
　なお以下では、説明の簡単のため、マイクロレンズ１２０のＦ値と撮影レンズＬ１のＦ値は同一であるものとする。この場合、マイクロレンズ１２０により被覆される撮像画素１３０全体の領域が、撮影レンズＬ１の射出瞳全体を投影したものとなる。このように構成された撮像素子１３の撮像面には、マイクロレンズ１２０で区分される像の、撮影レンズＬ１の射出瞳の位置での光強度分布が示される。
　本実施形態の制御回路１０１は、マイクロレンズ１２０の焦点距離ｆの前後２倍程度の位置（＋２ｆ、－２ｆ）の像について合成画像データを生成し、それら２つの合成画像データをメモリ１０３に格納する。以下、実空間で行われる画像合成の原理について説明する。なお画像合成は、撮像素子１３から出力された画像信号をフーリエ変換したフーリエ空間で行ってもよい。
　まず、各々のマイクロレンズ１２０につき１つの画素を合成する合成画像の作成原理について説明する。図３は、マイクロレンズアレイ１２および撮像素子１３を模式的に示した断面図である。以下、図３に示したマイクロレンズ１２０ａ～１２０ｅのうち、中央のマイクロレンズ１２０ｃと、所定位置の像面Ｓにおける合成画素のうち、マイクロレンズ１２０ｃの中心軸ＣＸ上の合成画素Ｐｘとを考える。図３（ａ）には、合成対象の像面Ｓがマイクロレンズ１２０ｃの頂点近傍に位置する場合を示している。図３（ａ）から明らかなように、合成対象の像面Ｓがマイクロレンズ１２０ｃの焦点距離ｆよりも近い位置にある場合、合成画素Ｐｘを構成する光束はマイクロレンズ１２０ｃのみを通過し、他のマイクロレンズ１２０ａ、１２０ｂ、１２０ｄ、１２０ｅには到達しない。
　他方、図３（ｂ）に示すように、合成画像の像面Ｓがマイクロレンズ１２０ｃの頂点近傍から焦点距離ｆより離れた場所に位置する場合、合成画素Ｐｘを構成する光束は複数のマイクロレンズに入射する。ここで、図３（ｂ）に示すように、マイクロレンズ１２０ａ～１２０ｅの焦点距離をｆ、マイクロレンズ１２０ａ～１２０ｅ同士の間隔をｄ、合成対象の像面からマイクロレンズ１２０ａ～１２０ｅの頂点までの距離をｙ、特定のマイクロレンズを透過した光束が入射する撮像素子１３上の位置を当該マイクロレンズ中心からの距離で表したものをｘとすると、それらの値の間には次式（１）のような比例関係がある。
　　ｙ／（ｎｄ）　＝　ｆ／ｘ　　　・・・（１）
　ここでｎは、合成画素Ｐｘに対応するマイクロレンズ１２０ｃからいくつだけ離れたマイクロレンズに上記光束が入射するかを表す無次元数であり、ｎ＝１はそれがマイクロレンズ１２０ｃに隣接するマイクロレンズ１２０ｂ、１２０ｄであることを表す。上式（１）において、焦点距離ｆおよびマイクロレンズ１２０ｃの間隔ｄは定数なので、焦点位置ｙとマイクロレンズ中心からの距離ｘとを決めれば、合成画素Ｐｘからの光束がどのマイクロレンズに入射するのかが判明する。ここでｎは整数であり、離散的な値を採るので、ｎはｙｘ／（ｆｄ）の整数部分ということになる。マイクロレンズ１２０ｃの中心軸ＣＸ上にあって、マイクロレンズ１２０ｃの頂点から距離ｙだけ離れた位置の合成画素は、上式（１）を満たす位置の撮像画素１３０の出力を積算したものである。すなわち、距離ｘの位置の光の強度（撮像画素１３０の出力）をＩ（ｘ）とすれば、合成画素Ｐｘの画素値Ｐは、次式（２）により算出することが可能である。
Figure JPOXMLDOC01-appb-M000001
　なお、上式（２）のｘは複数のマイクロレンズに対応する範囲の値を採り、各値がどのマイクロレンズに属するのかは上式（１）により決まる。
　次に、以上の考え方を二次元に拡張する。図４は、マイクロレンズアレイ１２を被写体光の入射方向から見た模式図である。いま図４に示すように、マイクロレンズ１２０ｊを区分する格子１２２を考える。この格子１２２のピッチｇは、合成される像の位置（焦点位置ｙ）により決まる。例えば、焦点位置ｙがマイクロレンズ１２０の焦点距離ｆの４倍とすれば、格子１２２のピッチｇは図４に示すようにマイクロレンズ１２０同士の間隔ｄの４分の１となる。
　この格子１２２は、マイクロレンズ１２０ｊの中心Ｏに対応する１つの合成画素Ｐｙが、どの撮像画素１３０の出力を積算することにより合成されるのかを表している。以下、この点について図５を用いて説明する。格子１２２は、合計２５個の矩形の区画により構成されている。これは、合成画素Ｐｙが、これら２５個の区画の各々に対応する撮像画素１３０の出力を積算することにより合成されることを表している。
　格子１２２内における各区画の位置（中心Ｏからの相対位置）は、その区画が、マイクロレンズ１２０ｊを中心としてどのマイクロレンズ１２０に被覆されている撮像画素１３０に対応しているかを表している。以下、図５を用いてこの点を説明する。図５（ａ）の左側にはマイクロレンズ１２０ｊの拡大図が、図５（ａ）の右側にはマイクロレンズ１２０ｊを中心としてその周囲のマイクロレンズがそれぞれ示されている。ここで、区画１４０ｊは、マイクロレンズ１２０ｊに被覆されている撮像画素１３０のうち、格子１２２内の区画１４０ｊに相当する範囲の撮像画素１３０ｊに対応している。
　また、図５（ｂ）に示すように、区画１４０ｊの上辺に隣接する区画１４０ｇは、マイクロレンズ１２０ｊの上辺に隣接するマイクロレンズ１２０ｇに被覆されている撮像画素１３０のうち、格子１２２内の区画１４０ｇに相当する範囲の撮像画素１３０ｇに対応している。マイクロレンズ１２０ｊの中心Ｏに対応する１つの合成画素は、このようにして特定される２５個の範囲の撮像画素１３０の出力を積算したものである。これら２５個の範囲を、図５（ｃ）に示す。このように、焦点位置ｙがマイクロレンズ１２０の焦点距離ｆの４倍である場合、マイクロレンズ１２０ｊの中心Ｏに対応する１つの合成画素は、マイクロレンズ１２０ｊおよびその周辺の２４個のマイクロレンズ１２０により被覆される撮像画素１３０の出力を積算することにより合成され、その撮像画素１３０の位置は図５（ｃ）に示す通りである。
　まとめると、マイクロレンズ１２０に被覆されるＮ個の撮像画素１３０が存在し、これらの撮像画素１３０のマイクロレンズ１２０内での位置を当該マイクロレンズ１２０の中心を基準としてｉ，ｊを用いた座標で表し、座標ｉ，ｊの撮像画素１３０が近辺のどのマイクロレンズ１２０に所属するか（対応するか）をｐ，ｑを用いた座標で表すと、ｎ＝１～ＮのＮ個の合成画素を合成する積算は次式（３）～（７）により表される。
Figure JPOXMLDOC01-appb-M000002
　ここで、式（５）および（６）における関数ηｘ、ηｙを決定するのが、上述した格子１２２による撮像素子１３の撮像面の区分である。格子１２２のピッチｇは、焦点位置ｙがマイクロレンズ１２０の頂点から離れるほど小さくなり、マイクロレンズ１２０の焦点距離ｆと焦点位置ｙとが一致するとき、ピッチｇはマイクロレンズ１２０の間隔ｄと一致する。なお、焦点位置ｙ＝－４ｆの場合、撮像画素１３０の積算パターンは図６のようになる。
　以上が、各々のマイクロレンズ１２０につき１つの画素を合成した合成画像の作成原理である。上記処理によれば、マイクロレンズ１２０の中心に対応する位置の合成画素が合成されるが、これではマイクロレンズ１２０の数と同じだけの画素数しか合成されないため、合成画像の解像度はマイクロレンズ１２０の個数に等しくなってしまう。例えばマイクロレンズ１２０により被覆される撮像画素１３０の画素数を１００とすると、解像力は撮像素子１３の本来の解像力の１００分の１になってしまう。仮に撮像素子１３が１０００万画素の撮像素子であれば、合成画像は１０万画素となり、十分な解像力を得られない。
　そこで本実施形態では、マイクロレンズ１２０の中心以外の位置に合成画像の画素を設定し、当該画素を合成するための撮像画素１３０の積算パターンを生成する。画像合成部１０５は、この積算パターンに従って撮像画素１３０の出力を積算することにより、１つのマイクロレンズ１２０に対して複数の画素を合成する。以下、この合成方法について述べる。前述の通り、格子１２２のピッチｇ（マイクロレンズ１２０が被覆する領域を分割する格子の倍率）は、焦点位置ｙを表している（対応している）。つまり、合成画素の光軸方向の位置が、格子１２２のピッチｇと対応している。他方、光軸と垂直な方向の位置は、いわば格子１２２の位相と対応しており、格子１２２の基準位置を変更することによりマイクロレンズ１２０の中心以外の位置の合成画素を合成することが可能となる。
　以下では一例として、マイクロレンズ１２０を４×４の１６領域に分割し、各領域に対応する画素を合成する方法を説明する。つまり、マイクロレンズ１２０の中心Ｏに対応する合成画素を合成する代わりに、１６領域の各々について当該領域の中心に対応する合成画素を合成する方法を説明する。
　図７は、格子１２２を、ピッチｇの４分の１だけ右方向にずらした図である。このように格子１２２をずらし、図５（ａ）～（ｃ）と同様に積算パターンを求めたものが図８（ａ）～（ｃ）である。図８（ｃ）に示した各撮像画素１３０の出力を積算することにより、マイクロレンズ１２０の中心Ｏからピッチｇの４分の１だけ右方向にずれた位置の合成画素を合成することができる。同様に、格子１２２を上下方向および左右方向に４分の１ずつずらして積算パターンを導出することにより、マイクロレンズ１２０内の１６点の合成画素を合成することができる。即ち、原理的にはマイクロレンズ１２０の数を１６倍した画素数の合成画像を得ることができる。
　ところで、上述した方法により１つのマイクロレンズ１２０毎に複数の画素を合成する場合、焦点位置ｙによっては十分な解像力が得られない場合がある。具体的には、マイクロレンズ１２０の焦点距離をｆとしたとき、焦点位置ｙが＋２ｆ～－２ｆの範囲において、この範囲の外側に焦点位置ｙを置いた場合に比べて解像力が低下する。これは、そのような位置に焦点位置ｙを設定した場合、上述した撮像画素１３０の積算パターンのバリエーションが減少し、その幾つかが同一のものとなってしまうためである。
　つまり、例えば上述したように１つのマイクロレンズ１２０当たり１６個の合成画素を合成するとき、焦点位置ｙが＋２ｆ～－２ｆの範囲に設定された場合には、それらの合成画素のうちいくつかが同一の出力となってしまう。解像力は焦点位置ｙがマイクロレンズ１２０の頂点に近いほど低下し、特に焦点位置ｙがちょうどマイクロレンズ１２０の頂点に置かれた場合（焦点位置ｙ＝０の場合）には、目的画像の画素数（解像力）はマイクロレンズ１２０の数と等しくなる。すなわち、上述したように１つのマイクロレンズ１２０について１６個の合成画素を合成する場合、それら１６個の合成画素が全て同一になってしまう。
　そこで本実施形態のデジタルカメラは、ユーザにより設定された焦点位置ｙが－２ｆ～＋２ｆの範囲内であった場合、目的画像とは別に、設定された焦点位置ｙ以外の焦点面の画像（以下の説明において補助画像と称する）を合成し、この画像を用いて目的画像の解像力を向上させる。以下、本実施形態のデジタルカメラによる画像合成処理について説明する。
　図９は画像合成処理のフローチャートである。制御回路１０１は所定の制御プログラムを実行することにより、この画像合成処理を実行する。まずステップＳ１００では合成制御部１０７が、操作部１０８から入力される焦点位置ｙを受け付ける。ステップＳ１１０では合成判定部１０６が、入力された焦点位置ｙが－２ｆと＋２ｆの間か否かを判定する。入力された焦点位置ｙがこの範囲の外側であった場合、処理はステップＳ１７０に進み、合成制御部１０７が画像合成部１０５を制御し、画像合成部１０５に上述の手法による通常通りの画像合成（１つのマイクロレンズ１２０につき複数の画素を合成する画像合成）を行わせ、目的画像を出力する。制御回路１０１は、ステップＳ１７０において合成制御部１０７から出力された目的画像を、例えばメモリカード１１１ａに格納したり、表示器１０９に表示したりする。他方、合成判定部１０６により、入力された焦点位置ｙが－２ｆと＋２ｆの間であると判定された場合、ステップＳ１２０に進む。
　ステップＳ１２０では、合成制御部１０７が画像合成部１０５を制御し、画像合成部１０５に－２ｆの焦点位置の画像（１つ目の補助画像）を合成させる。以下、ここで合成された－２ｆの位置に相当する補助画像をＰ１と称する。続くステップＳ１３０では、ステップＳ１２０と同様に、合成制御部１０７が画像合成部１０５を制御し、画像合成部１０５に＋２ｆの焦点位置の画像（２つ目の補助画像）を合成させる。以下、ここで合成された＋２ｆの位置に相当する補助画像をＰ２と称する。補助画像Ｐ１、Ｐ２は、それぞれメモリ１０３に記憶される。
　ステップＳ１４０では、合成制御部１０７が画像合成部１０５を制御し、画像合成部１０５にマイクロレンズ１２０の頂点の位置の画像（つまり、焦点位置ｙ＝０の補助画像）を合成させてメモリ１０３に記憶させる。以下、この３つ目の補助画像をＰ０と称する。補助画像Ｐ０は、前述の通り、マイクロレンズ１２０の数以上の解像力を持たない、低い空間周波数から成る画像である。ステップＳ１５０では、合成制御部１０７が画像合成部１０５を制御し、ステップＳ１００において操作部１０８から入力された焦点位置ｙに基づいて、画像合成部１０５に通常の画像合成を行わせる。以下、ここで合成される目的画像をＰ３と称する。目的画像Ｐ３は、－２ｆ～＋２ｆの範囲に位置する像面（焦点面）の合成画像であるので、前述の通り解像力がある程度失われている。
　ステップＳ１６０では、合成制御部１０７が、ステップＳ１５０で合成された目的画像Ｐ３の各画素について、次式（８）に示した演算を行い、最終的な目的画像Ｐを作成して出力する。
Figure JPOXMLDOC01-appb-M000003
　上式（８）において、Ｐ０（ｉ，ｊ）は補助画像Ｐ０の座標（ｉ，ｊ）の合成画素を表す。Ｐ１（ｉ，ｊ）、Ｐ２（ｉ，ｊ）、Ｐ３（ｉ，ｊ）についても同様に、それぞれ補助画像Ｐ１、補助画像Ｐ２、目的画像Ｐ３の座標（ｉ，ｊ）の合成画素を表す。上式（８）の右辺の１つ目の項は、－２ｆの位置の補助画像および＋２ｆの位置の補助画像から得られる空間周波数の高周波成分を表しており、合成制御部１０７はこの成分をある程度解像力が失われている目的画像Ｐ３に加算することにより、最終的な目的画像Ｐを合成している（目的画像Ｐ３の解像力を高めている）。
　上述した第１の実施の形態によるデジタルカメラによれば、次の作用効果が得られる。
（１）デジタルカメラ１は、撮影レンズＬ１を透過した被写体光が入射するように二次元状に配列された複数のマイクロレンズ１２０と、複数のマイクロレンズ１２０の各々に対応して当該マイクロレンズ１２０の後側の焦点位置近傍に配置され、当該マイクロレンズ１２０を透過した被写体光を受光する複数の撮像画素１３０とを備える。画像合成部１０５は、それら複数の撮像画素１３０の出力に基づいて、撮影レンズＬ１の予定焦点面とは異なる焦点面の画像を合成可能に構成されている。合成制御部１０７は、複数のマイクロレンズ１２０の頂点近傍の焦点面の画像である目的画像と、複数のマイクロレンズ１２０の頂点近傍以外の焦点面の画像である補助画像とが合成されるよう画像合成部１０５を制御し、目的画像に補助画像の高周波成分を加算して出力する。このようにしたので、合成画像の解像力が低下する焦点位置であっても、高解像度の画像を合成することができる。
（２）複数のマイクロレンズ１２０の頂点から、複数のマイクロレンズ１２０の焦点距離ｆの２倍以上離れていない位置が焦点面として入力された場合、合成制御部１０７は目的画像Ｐ３に高周波成分を加算する。このようにしたので、任意の焦点位置で、高解像度の画像を合成することができる。
（３）補助画像Ｐ０およびＰ１を、複数のマイクロレンズ１２０の頂点から、複数のマイクロレンズ１２０の焦点距離ｆの２倍以上離れている位置の焦点面の画像とした。このようにしたので、補助画像Ｐ０およびＰ１は高周波成分を確実に含む画像となり、目的画像Ｐ３へ高周波成分を確実に加算することができる。
（４）合成制御部１０７は、互いに異なる焦点面（複数のマイクロレンズ１２０の焦点距離ｆの２倍だけ、複数のマイクロレンズ１２０の頂点からその前後にそれぞれ離れた位置の焦点面）に対応する複数の補助画像Ｐ１、およびＰ２を画像合成部１０５に合成させ、目的画像Ｐ３にそれら複数の補助画像Ｐ１、およびＰ２の高周波成分を加算して出力する。このようにしたので、高周波成分をより精度よく加算することができる。
　次のような変形も本発明の範囲内であり、変形例の一つ、もしくは複数を上述の実施形態と組み合わせることも可能である。
（変形例１）
　上述した式（８）による画像合成において、焦点位置ｙがちょうど－２ｆまたは＋２ｆの位置である合成画像は、その前後の位置の合成画像に比べて空間周波数に大きな差がある。従って、例えば一定の間隔を持って広い範囲に設定された多数の焦点位置ｙについて合成画像を合成し表示する場合に、上記の２つの位置において解像力が急激に変化し、閲覧者に違和感を覚えさせてしまう。このような解像力の変化を穏やかにするために、式（８）を変形し、次式（９）により画像合成を行ってもよい。
Figure JPOXMLDOC01-appb-M000004
　式（８）を上記のように変更することにより、例えば合成画像の表示中に当該画像の焦点位置ｙを＋２ｆから＋２ｆ－εに変更する場合であっても、画像の解像力が急激に変化することがなくなる。これにより、閲覧者に違和感を覚えさせることなく焦点位置ｙを変化させることが可能となる。
（変形例２）
　焦点位置ｙの入力に応じてリアルタイムに画像合成を行い、合成画像の表示等を行う場合、予め考えられる全焦点位置範囲で離散的な焦点位置の列を決めておき、これらについて事前に画像合成を行っておいてもよい。例えば焦点位置ｙの範囲を±６ミリメートル、マイクロレンズ１２０の焦点距離ｆを３００マイクロメートルとしたとき、－２０ｆ、－１９ｆ、…、－ｆ、０、ｆ、２ｆ、…、２０ｆの４１点について画像合成を予め行い、メモリ１０３に格納する。このようにすることで、合成画像の表示時における制御回路１０１の処理負荷を低減することができる。
（変形例３）
　第１の実施の形態では、目的画像Ｐ３の解像力を高めるため、２つの補助画像Ｐ１、Ｐ２から高周波成分を取り出して目的画像Ｐ３に加算していた。本発明はこのような実施形態に限定されない。例えば、補助画像Ｐ１からのみ高周波成分を取り出し、目的画像Ｐ３に加算する構成とした場合であっても、目的画像Ｐ３の解像力を高めることが可能である。また、２つの補助画像Ｐ１、Ｐ２から高周波成分を取り出すために、低周波成分のみからなる補助画像Ｐ０を利用していたが、これ以外の方法により補助画像Ｐ１（および／またはＰ２）から高周波成分を取り出してもよい。
（変形例４）
　補助画像Ｐ１、Ｐ２の焦点面の位置は、それぞれ－２ｆと＋２ｆ以外の位置であってもよい。マイクロレンズ１２０の頂点から、少なくともマイクロレンズ１２０の焦点距離ｆの２倍以上離れていれば、目的画像Ｐ３に加算する高周波成分を取り出すことができる。
（変形例５）
　上述した実施形態では、マイクロレンズアレイ１２における各マイクロレンズ１２０の配列を正方配列としたが、本発明はこのような配列に限定されない。例えば、各マイクロレンズ１２０を略六角形にし、ハニカム状に配列してもよい。
（変形例６）
　第１の実施の形態では、本発明をデジタルカメラに適用した例について説明したが、本発明はこのような実施形態に限定されるものではない。例えば、撮像ユニット１００からの出力信号が入力されると、解像力の高い目的画像を出力する画像処理装置に対して本発明を適用することも可能である。この場合、画像処理装置自体は撮像ユニット１００を備えていなくてもよい。また、撮像ユニット１００からの出力信号（撮像素子１３からの出力信号）は、例えばメモリーカード等の可搬性の記憶媒体に格納して入力してもよいし、電気通信回線等を介して入力してもよい。
　本発明の特徴を損なわない限り、本発明は上記実施の形態に限定されるものではなく、本発明の技術的思想の範囲内で考えられるその他の形態についても、本発明の範囲内に含まれる。
　次の優先権基礎出願の開示内容は引用文としてここに組み込まれる。
　日本国特許出願２０１２年第４１４３３号（２０１２年２月２８日出願）

Claims (6)

  1. 　結像光学系を透過した被写体光が入射するように二次元状に配列された複数のマイクロレンズと、
    　前記複数のマイクロレンズの各々に対応して前記マイクロレンズの後側の焦点位置近傍に配置され、前記マイクロレンズを透過した前記被写体光を受光する複数の受光素子と、
    　前記複数の受光素子の出力に基づいて、前記結像光学系の予定焦点面とは異なる焦点面の画像を合成する画像合成部と、
    　前記画像合成部が合成した、少なくとも前記複数のマイクロレンズの近傍の画像である目的画像と、前記複数のマイクロレンズの近傍外の画像である補助画像とに基づいて、前記目的画像の解像度を高める処理を行う処理部と、
    を備える画像処理装置。
  2. 　結像光学系を透過した被写体光が入射するように二次元状に配列された複数のマイクロレンズと、
    　前記複数のマイクロレンズの各々に対応して当該マイクロレンズの後側の焦点位置近傍に配置され、当該マイクロレンズを透過した前記被写体光を受光する複数の受光素子と、
    　前記複数の受光素子の出力に基づいて、前記結像光学系の予定焦点面とは異なる焦点面の画像を合成可能な画像合成部と、
    　前記複数のマイクロレンズの頂点近傍の焦点面の画像である目的画像と、前記複数のマイクロレンズの頂点近傍以外の焦点面の画像である補助画像とが合成されるよう前記画像合成部を制御し、前記目的画像に前記補助画像の高周波成分を加算して出力する制御部と、
    を備える画像処理装置。
  3. 　請求項２に記載の画像処理装置において、
    　前記目的画像は、前記複数のマイクロレンズの頂点から、前記複数のマイクロレンズの焦点距離の２倍以上離れていない位置の焦点面の画像である画像処理装置。
  4. 　請求項２または３に記載の画像処理装置において、
    　前記補助画像は、前記複数のマイクロレンズの頂点から、前記複数のマイクロレンズの焦点距離の２倍以上離れている位置の焦点面の画像である画像処理装置。
  5. 　請求項２～４のいずれか一項に記載の画像処理装置において、
    　前記制御部は、互いに異なる焦点面に対応する複数の前記補助画像を前記画像合成部に合成させ、前記目的画像にそれら複数の補助画像の高周波成分を加算して出力する画像処理装置。
  6. 　請求項５に記載の画像処理装置において、
    　前記制御部は、前記複数のマイクロレンズの焦点距離の２倍だけ、前記複数のマイクロレンズの頂点からその前後にそれぞれ離れた位置の焦点面の前記補助画像を前記画像合成部に合成させる画像処理装置。
PCT/JP2013/054819 2012-02-28 2013-02-25 画像処理装置 WO2013129337A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
CN201380010817.0A CN104137532B (zh) 2012-02-28 2013-02-25 图像处理装置
US14/380,802 US10587798B2 (en) 2012-02-28 2013-02-25 Image processing apparatus
EP13755116.4A EP2822266B1 (en) 2012-02-28 2013-02-25 Synthesis of an image at a plane in the vicinity of a microlens
IN7183DEN2014 IN2014DN07183A (ja) 2012-02-28 2014-08-26

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2012041433A JP6102061B2 (ja) 2012-02-28 2012-02-28 画像処理装置
JP2012-041433 2012-02-28

Publications (1)

Publication Number Publication Date
WO2013129337A1 true WO2013129337A1 (ja) 2013-09-06

Family

ID=49082534

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2013/054819 WO2013129337A1 (ja) 2012-02-28 2013-02-25 画像処理装置

Country Status (6)

Country Link
US (1) US10587798B2 (ja)
EP (1) EP2822266B1 (ja)
JP (1) JP6102061B2 (ja)
CN (2) CN104137532B (ja)
IN (1) IN2014DN07183A (ja)
WO (1) WO2013129337A1 (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6185819B2 (ja) * 2013-10-23 2017-08-23 キヤノン株式会社 画像処理装置、画像処理方法およびプログラム
CN105812624B (zh) * 2014-12-30 2019-01-11 深圳超多维科技有限公司 微透镜阵列成像装置
CN106791498B (zh) * 2016-11-18 2019-11-19 成都微晶景泰科技有限公司 图像定位方法、透镜阵列成像方法及装置

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007004471A (ja) 2005-06-23 2007-01-11 Nikon Corp 画像合成方法及び撮像装置
US20070252047A1 (en) 2006-04-28 2007-11-01 Anadish Kumar Pal Surface flow diverting and static charging ducted pores on wing or blade tip to reduce wake and BVI noise
JP2008294741A (ja) * 2007-05-24 2008-12-04 Olympus Corp 撮像システム
JP2010114758A (ja) * 2008-11-07 2010-05-20 Nikon Corp 画像合成装置および方法
JP2011253431A (ja) * 2010-06-03 2011-12-15 Nikon Corp 撮像装置

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US3017515A (en) 1959-10-26 1962-01-16 Fairchild Camera Instr Co Photoelectric unsharp-masking apparatus
JPS6053943B2 (ja) * 1978-11-30 1985-11-28 キヤノン株式会社 カメラの合焦検出装置
JPH04269750A (ja) * 1990-12-05 1992-09-25 American Teleph & Telegr Co <Att> 離隔特徴をフォトレジスト層に印刷する方法
JP4224996B2 (ja) * 2002-07-25 2009-02-18 パナソニック株式会社 撮像装置
CN101313594A (zh) * 2005-10-16 2008-11-26 米迪尔波得股份有限公司 用于增加数字图像捕获的质量的装置、系统和方法
WO2007067999A2 (en) * 2005-12-09 2007-06-14 Amnis Corporation Extended depth of field imaging for high speed object analysis
JP4157567B2 (ja) * 2006-04-11 2008-10-01 株式会社東芝 動画像の高解像度化方法及び装置
US8559705B2 (en) * 2006-12-01 2013-10-15 Lytro, Inc. Interactive refocusing of electronic images
CN100585453C (zh) 2007-02-09 2010-01-27 奥林巴斯映像株式会社 解码方法及解码装置
JP2008275890A (ja) * 2007-04-27 2008-11-13 Olympus Imaging Corp レンズ交換式デジタルカメラ
JP2009105717A (ja) 2007-10-24 2009-05-14 Sharp Corp 撮像装置
US7962033B2 (en) * 2008-01-23 2011-06-14 Adobe Systems Incorporated Methods and apparatus for full-resolution light-field capture and rendering
JP4483951B2 (ja) * 2008-01-28 2010-06-16 ソニー株式会社 撮像装置
US8824833B2 (en) 2008-02-01 2014-09-02 Omnivision Technologies, Inc. Image data fusion systems and methods
CN101889453B (zh) * 2008-06-18 2013-11-13 松下电器产业株式会社 图像处理装置、摄像装置、方法及程序
EP2403233B1 (en) * 2008-10-10 2022-12-28 Samsung Electronics Co., Ltd. Image processing apparatus and method
KR101563729B1 (ko) * 2008-10-10 2015-10-27 삼성전자주식회사 고해상도 영상을 생성하기 위한 영상 처리 장치 및 방법
JP6246740B2 (ja) * 2012-02-16 2017-12-13 ユニバーシティ オブ ワシントン スルー イッツ センター フォー コマーシャリゼーション 高分解能画像走査のための拡張された焦点深度

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007004471A (ja) 2005-06-23 2007-01-11 Nikon Corp 画像合成方法及び撮像装置
US20070252047A1 (en) 2006-04-28 2007-11-01 Anadish Kumar Pal Surface flow diverting and static charging ducted pores on wing or blade tip to reduce wake and BVI noise
JP2008294741A (ja) * 2007-05-24 2008-12-04 Olympus Corp 撮像システム
JP2010114758A (ja) * 2008-11-07 2010-05-20 Nikon Corp 画像合成装置および方法
JP2011253431A (ja) * 2010-06-03 2011-12-15 Nikon Corp 撮像装置

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
"Light Field Photography With a Handheld Plenoptic Camera", STANFORD TECH REPORT CTSR 2005-02
See also references of EP2822266A4

Also Published As

Publication number Publication date
CN104137532A (zh) 2014-11-05
CN104137532B (zh) 2018-01-26
US20150042838A1 (en) 2015-02-12
EP2822266A4 (en) 2015-09-02
JP2013179424A (ja) 2013-09-09
CN107888837B (zh) 2020-03-27
EP2822266A1 (en) 2015-01-07
IN2014DN07183A (ja) 2015-04-24
EP2822266B1 (en) 2017-08-02
CN107888837A (zh) 2018-04-06
US10587798B2 (en) 2020-03-10
JP6102061B2 (ja) 2017-03-29

Similar Documents

Publication Publication Date Title
JP6149339B2 (ja) 表示装置
JP5499778B2 (ja) 撮像装置
JP5671842B2 (ja) 画像処理装置および撮像装置
JP5854984B2 (ja) 画像処理装置、撮像装置、制御方法、及びプログラム
JP4969474B2 (ja) 復号方法、復号装置、及び復号プログラム
JP5968102B2 (ja) 画像記録装置および画像再生装置
WO2013129337A1 (ja) 画像処理装置
JP6516045B2 (ja) 画像処理装置
JP2024012318A (ja) 画像表示装置
JP6376206B2 (ja) 画像処理装置および撮像装置
JP6036799B2 (ja) 画像処理装置
JP6600217B2 (ja) 画像処理装置および画像処理方法、撮像装置およびその制御方法
JP6502640B2 (ja) 画像処理装置、画像処理方法、プログラム及び記録媒体
JP6470530B2 (ja) 画像処理装置、画像処理方法、プログラム及び記録媒体
JP6138222B2 (ja) 画像処理装置、撮像装置、制御方法、及びプログラム
JP2015207815A (ja) 撮像素子および撮像素子を備えた撮像装置
JP2014110442A (ja) 撮像装置
JP2016082325A (ja) 撮像装置、画像処理装置および画像処理プログラム
JP2019003665A (ja) 画像処理装置
JP2014204299A (ja) 撮像装置および撮像装置の制御方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 13755116

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 14380802

Country of ref document: US

REEP Request for entry into the european phase

Ref document number: 2013755116

Country of ref document: EP

WWE Wipo information: entry into national phase

Ref document number: 2013755116

Country of ref document: EP

NENP Non-entry into the national phase

Ref country code: DE