WO2006137481A1 - 画像入力装置、光検出装置、画像合成方法 - Google Patents

画像入力装置、光検出装置、画像合成方法 Download PDF

Info

Publication number
WO2006137481A1
WO2006137481A1 PCT/JP2006/312505 JP2006312505W WO2006137481A1 WO 2006137481 A1 WO2006137481 A1 WO 2006137481A1 JP 2006312505 W JP2006312505 W JP 2006312505W WO 2006137481 A1 WO2006137481 A1 WO 2006137481A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
light
light receiving
optical system
microlens
Prior art date
Application number
PCT/JP2006/312505
Other languages
English (en)
French (fr)
Inventor
Ken Utagawa
Original Assignee
Nikon Corporation
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nikon Corporation filed Critical Nikon Corporation
Priority to US11/993,758 priority Critical patent/US7732744B2/en
Publication of WO2006137481A1 publication Critical patent/WO2006137481A1/ja

Links

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B3/00—Simple or compound lenses
    • G02B3/0006—Arrays
    • G02B3/0037—Arrays characterized by the distribution or form of lenses
    • G02B3/0056—Arrays characterized by the distribution or form of lenses arranged along two different directions in a plane, e.g. honeycomb arrangement of lenses
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0075—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for altering, e.g. increasing, the depth of field or depth of focus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4015—Image demosaicing, e.g. colour filter arrays [CFA] or Bayer patterns
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
    • H04N23/843—Demosaicing, e.g. interpolating colour pixel values
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95—Computational photography systems, e.g. light-field imaging systems
    • H04N23/957—Light-field or plenoptic cameras or camera modules
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/134—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on three different wavelength filter elements
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B3/00—Simple or compound lenses
    • G02B3/0006—Arrays
    • G02B3/0037—Arrays characterized by the distribution or form of lenses
    • G02B3/0062—Stacked lens arrays, i.e. refractive surfaces arranged in at least two planes, without structurally separate optical elements in-between

Definitions

  • Image input device light detection device, and image composition method
  • the present invention relates to an image input device, a light detection device, and an image composition method for obtaining an image focused on an arbitrary distance in the same field.
  • FIG. 20 is a diagram showing an imaging apparatus in which a field lens FL is arranged.
  • FIG. 23 is a diagram showing a flowchart of processing of a program executed by a personal computer.
  • FIG. 1 is a configuration diagram of the imaging apparatus.
  • this imaging device has a photographic lens (corresponding to the imaging optical system) 11, a microlens array (corresponding to multiple positive lenses) 12, an image sensor 13, a drive circuit 14, and arithmetic processing.
  • Circuit corresponding to synthesis means 15 15, memory 16, control circuit 17, user interface 18, etc.
  • the taking lens 11 forms an image of the light flux from the object field in the vicinity of the focal plane.
  • the microlens array 12 and the image sensor 13 are sequentially arranged.
  • the gap between the microphone opening lens array 12 and the image pickup device 13 is drawn wide, but in reality it is narrow and close.
  • a partition member 22 as shown in FIG. 2 is provided between the microlens array 12 and the image sensor 13.
  • an aperture member 11A having a circular opening of an appropriate size may be arranged on the rear side of the photographing lens 11 as shown in FIG.
  • the light beam incident on the pixel c becomes a columnar light beam having a diameter of approximately P within the depth L.
  • each light beam incident on the pixels a, b, c, d, and e around the pixel c also becomes a columnar light beam having a diameter of approximately P within the depth L.
  • the imaging apparatus can synthesize image data of an image formed on an arbitrary surface within the depth L with a resolution P of at least. That is, the depth L is a range in which the imaging apparatus can synthesize image data with at least a resolution P. Therefore, in the following, the depth L is referred to as the “composite range”.
  • FIG. 5 is an enlarged view showing details of the light beam incident on the pixel c through the microlens ML.
  • the symbol D is the effective diameter of the microlens ML (a value slightly smaller than the arrangement pitch P of the microlens ML), and the symbol Pd is the pixel pitch of the pixel array 130.
  • the area E of the width P at the front end of the synthesis range L is the microlens.
  • the spread of the light beam indicated by the symbol Fd corresponds to the spread of the light beam transmitted through the partial region C on the pupil of the photographing lens 11. Therefore, the spread Fd of this luminous flux depends on the open F value (FO) of the taking lens 11 and the number of divisions in one direction of the pupil (the number of partial areas in one direction on the pupil). Is set to a value. For example,
  • Non-Patent Document 1 the configuration is such that the exit pupil of the photographic lens and the pixel of the imaging element are substantially conjugate with respect to the microlens, and the configuration of the present embodiment. The difference from the case of this is explained.
  • the position of the distance L on the front side of the microlens ML and the pixel of the image sensor 13 are configured to be substantially conjugate with respect to the microlens ML.
  • the cross-sectional diameter of the light beam is substantially equal to the pitch P of the microlens ML at the position of the distance L in the vicinity of the microlens ML that performs image synthesis.
  • the sharpness of the composite image is increased by making it thinner.
  • the microlens ML is a thin lens, and both ends of the microlens ML have a refractive index of 1.
  • the distance between the microlens ML and the pixel of the pixel array 130 of the image sensor 13 is g
  • the pitch of the pixel is Pd
  • the geometrical optics by the microlens ML on the surface at the distance L is shown.
  • the pixel image pitch is E
  • the following equation (i) holds.
  • the interval g is also the interval between the microlens array 12 and the image sensor 13. If the thickness of the microlens ML can be ignored for the sake of simplicity, the following equation is obtained.
  • the distance L can be expressed by this equation. Since the focal length f m of the microlens has the relationship of the following equation (iii), the focal length f m of the microlens is determined, that is, the power of the microlens is determined.
  • FIG. 6 is a diagram for explaining the spread due to diffraction of the light beam incident on the pixel c through the microlens ML. As shown by the curve in FIG. 6, the light generated by one point on the pixel c has a diffraction spread at the distance of. On the contrary, the region having the spread shown in the figure at the position of L means the blur spread due to diffraction.
  • the spread (blurring) of the light beam due to this diffraction A is the small effective diameter D of the microlens ML.
  • D the small effective diameter of the microlens ML.
  • micro lens ML 0 about the same as arrangement pitch P 15 ⁇ m
  • the conjugate plane of the pixel c is the conjugate plane of the pixel c set at the finite position (position of distance L) on the front side of the microlens ML.
  • the surface may be at infinity on the front side of the microlens ML as shown in Fig. 8 (b), or may be on the back side of the microlens ML as shown in Fig. 8 (c). ! / ⁇ .
  • the synthesis range L is a finite range on the front side of the microlens ML, but in the case of Fig. 8 (b), the synthesis range L is a finite value that spans both sides of the microlens ML. In the case of FIG. 8 (c), the synthesis range L is a finite range on the rear side of the microlens ML. In the following description, it is assumed that the synthesis range L is a finite range on the front side of the microlens ML (FIG. 8 (a)).
  • FIGS. 9 and 10 are diagrams for explaining the principle of image composition.
  • reference numerals la, lb, Ic, Id, and Ie indicate five pixels a, b, c, and 1 arranged in one direction in the pixel array 130 corresponding to each microlens. It is a concept of image data that is formed by bundling d and e separately.
  • the light of the part enters.
  • the image I appears at the same position among the image data la, lb, Ic, Id, and Ie.
  • an image ⁇ appears at a position shifted from each other among the image data la, lb, Ic, Id, and Ie.
  • the amount of deviation depends on the height ⁇ of the specified image plane. Therefore, if these image data la, lb, Ic, Id, and Ie are changed to the image size corresponding to the height Z and are shifted by the microlens pitch and superimposed, the image data of the designated image plane (Z ⁇ 0) Can be obtained.
  • the image size of 25 image data of 25 pixels is changed by an amount corresponding to the height Z of the designated image plane, and then the image is inverted vertically and horizontally. If these images related to adjacent microlenses are shifted by a predetermined amount and overlapped, and the pixel or pixel interpolation value coming to the same Cf position is weighted and added and combined, the entire image of the designated image plane Is obtained.
  • each light ray incident on the five pixels a, b, c, d, and e of the image sensor 13 is shown. showed that.
  • Each element in each figure is given a subscript (1, 2, 3,...;) to indicate the coordinates in the plane perpendicular to the optical axis.
  • the dotted line indicates the minimum unit (virtual pixel) of the combined image data, and the width of the virtual pixel is the same as the arrangement pitch P of the microlenses ML.
  • Emitted light beams (rays r 1, r 2, r 3, r 2, r 3) individually enter the pixels a 1, b 2, c 3, d 1 and e.
  • the pixel value L (5) of the virtual pixel in 5 5 5 5 5 is obtained (formula (1)).
  • the expression (1 ") is an expression adopted when the user-specified aperture value is open (maximum aperture size). Temporarily, the aperture value specified by the user is maximum (minimum aperture size). In this case, the light beam r, r, r, r force is limited to the light beam that is only the light beam r.
  • the emitted light beam (rays r 1, r 2, r 1, r 2, r 3) is incident on a plurality of pixels. Illustration
  • the sum of the weighting factors q 1 and q is a constant determined depending on the height Z of the designated image plane.
  • the length force of the bar associated with each pixel shows the value (relative value) of the weighting factor applied to the output value of each pixel.
  • the optimum value of the weight can be obtained experimentally.
  • the imaging apparatus may be configured such that the user can specify the resolution of the image data.
  • the resolution is specified through the user interface 18 in the same manner as the image plane and the aperture value.
  • the resolution of the image data is set by the arithmetic processing circuit 15 interpolating or thinning out the output value of the pixel array 130 (and the pixel value of the virtual pixel of Z or image data) as necessary. Is called.
  • the image size of the pixel array under each microlens is changed accordingly (the distance increases as the distance increases). It is efficient to create a whole image by inverting these image data relating to adjacent microlenses and then shifting them by a predetermined amount and adding and synthesizing them. In this case, the weight of addition synthesis is changed according to the specified aperture value (aperture condition).
  • the emitted light beam from the virtual pixel having the width ⁇ is incident on nine pixels with a light amount distribution as shown by a dotted line in FIG.
  • the distribution curve W of this light intensity distribution is based on the imaging relationship between the virtual pixel and the pixel array 130, the coordinates of the virtual pixel (X, ⁇ , ⁇ ), the width ⁇ of the virtual pixel, and the solid angle of the emitted light beam Depends on ⁇ . Therefore, by multiplying the above nine pixel values by the weighting factor corresponding to this distribution curve W (X, ⁇ , Z, ⁇ , ⁇ ) and taking the sum, the amount of light emitted from the virtual pixel is increased. The accuracy can be obtained.
  • the data that is the basis of the calculation is the same as that of the first embodiment (that is, the pixel outputs of all the pixels of the image sensor 13). Therefore, if the weighting coefficient matrix is determined based on this synthesis method, as in the first embodiment, the image data of the specified image plane can be obtained at once by simply multiplying the output value vector by the weighting coefficient matrix. It can be done.
  • FIG. 22 is a diagram showing a configuration when processing is performed by the personal computer 101.
  • a personal computer 101 is connected to the digital camera 102 that is the imaging device, and acquires image data captured by the digital camera 102. Further, the image data captured by the digital camera 102 can also be acquired via a recording medium 103 such as a CD-ROM, another computer 104, or the like.
  • the personal computer 101 is connected to the computer 104 via the Internet or other telecommunication line 105.
  • the personal computer 101 is composed of a CPU (not shown) and its peripheral circuits (not shown), and the CPU executes the installed program.
  • Program power When provided via the S Internet or other telecommunication lines, the program is transmitted after being converted into a signal on a carrier wave carrying a telecommunication line, that is, a transmission medium.
  • a carrier wave carrying a telecommunication line
  • the program can be recorded in various forms such as a recording medium and a carrier wave. Supplied as a computer readable computer program product.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Optics & Photonics (AREA)
  • Computing Systems (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Studio Devices (AREA)
  • Image Processing (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)
  • Image Input (AREA)
  • Color Television Image Signal Generators (AREA)
  • Solid State Image Pick-Up Elements (AREA)

Abstract

　画像入力装置は、結像光学系と、複数のマイクロレンズを、結像光学系の焦点面近傍に所定のピッチで二次元状に配置したマイクロレンズアレイと、マイクロレンズのそれぞれに対して複数の受光部を有し、該受光部ごとに結像光学系の異なる射出瞳領域を通過する光束を受光する受光部アレイとを備え、マイクロレンズアレイから所定距離の範囲において、受光部のマイクロレンズに関する像を形成する光束の断面の大きさがマイクロレンズのピッチと同等以下となるように、マイクロレンズのパワーおよびマイクロレンズアレイと受光部アレイとの間隔を決める。

Description

明 細 書
画像入力装置、光検出装置、画像合成方法
技術分野
[0001] 本発明は、同一被写界の任意の距離にピントの合った画像を得るための画像入力 装置、光検出装置、画像合成方法に関する。
背景技術
[0002] 一般のカメラ (特許文献 1)による撮影後に、同一被写界の任意の距離にピントの合 つた画像を得るためには、カメラの撮影レンズの焦点をずらしながら繰り返し撮影を行 い、撮影距離の異なる複数枚の画像データを取得しておく必要がある。一方、 1回の 撮影で得られたデータ力 撮影後に同一被写界の任意の距離にピントの合った画像 を合成することのできる技術が知られて 、る（非特許文献 1)。
[0003] 特許文献 1 :特開 2001— 211418号公報
非特許文献 1： Ren Ng他 5名、 "Light Field Photography with a Hand-held Plenoptic Camera", [online], Stanford Tech Report CTSR 2005—02、 [2006年 6月 14日検索]、ィ ング. ~~ ットく nttp://grapmcs. stanford.edu/papers/lfcamera/lfcamera— 150dpi. pdl 発明の開示
発明が解決しょうとする課題
[0004] しかし、 1回の撮影で得られたデータ力 撮影後に任意の距離にピントの合った画 像を合成する場合、より鮮明な画像が合成できることが求められる。
課題を解決するための手段
[0005] 本発明の第 1の態様によると、画像入力装置は、結像光学系と、複数のマイクロレン ズを、結像光学系の焦点面近傍に所定のピッチで二次元状に配置したマイクロレン ズアレイと、マイクロレンズのそれぞれに対して複数の受光部を有し、該受光部ごとに 結像光学系の異なる射出瞳領域を通過する光束を受光する受光部アレイとを備え、 マイクロレンズアレイから所定距離の範囲において、受光部のマイクロレンズに関す る像を形成する光束の断面の大きさがマイクロレンズのピッチと同等以下となるように 、マイクロレンズのパワーおよびマイクロレンズアレイと受光部アレイとの間隔を決める 本発明の第 2の態様によると、第 1の態様の画像入力装置において、所定距離は、 受光部をマイクロレンズによって結像光学系側へ投影した場合の受光部像のピッチ がマイクロレンズのピッチに等しくなる面とマイクロレンズアレイとの間隔であるのが好 ましい。
本発明の第 3の態様によると、第 1または 2の態様の画像入力装置において、複数 の受光部で得られる受光信号に基づいて、所定距離の範囲内の任意の位置を像面 とする画像を合成する画像合成部をさらに備えるのが好ましい。
本発明の第 4の態様によると、第 3の態様の画像入力装置において、受光部アレイ は、複数の受光部に対して複数色の色フィルターを備え、画像合成部は、色フィルタ 一の最も密度の高 、色に関する画像を合成するのが好まし 、。
本発明の第 5の態様によると、第 3または 4の態様の画像入力装置において、画像 合成部は、所定距離の範囲内の位置に応じて受光信号に対する重み付けを決定す ることにより、画像を合成するのが好ましい。
本発明の第 6の態様によると、第 1または 2の態様の画像入力装置において、複数 の受光部で得られる受光信号に基づいて、結像光学系の任意の F値に対応する画 像を合成する画像合成部をさらに備えるのが好ましい。
本発明の第 7の態様によると、第 6の態様の画像入力装置において、受光部アレイ は、複数の受光部に対して複数色の色フィルターを備え、画像合成部は、色フィルタ 一の最も密度の高 、色に関する画像を合成するのが好ま U、。
本発明の第 8の態様によると、第 6または 7の態様の画像入力装置において、画像 合成部は、 F値に応じて受光信号に対する重み付けを決定することにより、画像を合 成するのが好ましい。
本発明の第 9の態様によると、画像入力装置は、結像光学系と、複数のマイクロレン ズを、結像光学系の焦点面近傍に所定のピッチで二次元状に配置したマイクロレン ズアレイと、マイクロレンズのそれぞれに対して複数の受光部を有し、該受光部ごとに 結像光学系の異なる射出瞳領域を通過する光束を受光する受光部アレイと、複数の 受光部のそれぞれに対して異なる分光感度特性を与える色フィルターと、色フィルタ 一のうち最も密度の高い色に関して受光部で得られる受光信号に基づいて、マイクロ レンズから所定距離の範囲内の任意の位置を像面とする画像を合成する画像合成 部とを備える。
本発明の第 10の態様によると、光検出装置は、結像光学系と、複数のマイクロレン ズを、結像光学系の焦点面近傍に所定のピッチで二次元状に配置したマイクロレン ズアレイと、マイクロレンズのそれぞれに対して複数の受光部を有し、該受光部ごとに 結像光学系の異なる射出瞳領域を通過する光束を受光する受光部アレイと、結像光 学系の光路中に任意に設定された領域に入射する光束の光量を、入射する光束の 立体角度と該立体角度に応じた受光部の受光信号とに基づいて求める演算部とを 備える。
本発明の第 11の態様によると、光検出装置は、結像光学系と、複数のマイクロレン ズを、結像光学系の焦点面近傍に所定のピッチで二次元状に配置したマイクロレン ズアレイと、マイクロレンズのそれぞれに対して複数の受光部を有し、該受光部ごとに 結像光学系の異なる射出瞳領域を通過する光束を受光する受光部アレイと、複数の 受光部で得られる受光信号に基づ 、て、複数の受光部をマイクロレンズを介して結 像光学系側へ投影した像の中間的な位置における光量を補間して求める演算部と を備える。
本発明の第 12の態様によると、光検出装置は、結像光学系と、複数のマイクロレン ズを、結像光学系の焦点面近傍に所定のピッチで二次元状に配置した第 1のマイク 口レンズアレイと、第 1のマイクロレンズのそれぞれに対して複数の受光部を有し、該 受光部ごとに結像光学系の異なる射出瞳領域を通過する光束を受光する受光部ァ レイと、複数の受光部のそれぞれに対応して設けられた複数のマイクロレンズを配列 した第 2のマイクロレンズアレイとを備え、第 2のマイクロレンズアレイの各マイクロレン ズと複数の受光部のそれぞれとは、第 1のマイクロレンズアレイの各マイクロレンズと 第 2のマイクロレンズアレイの各マイクロレンズとの位置関係に応じて偏倚している。 本発明の第 13の態様によると、画像合成方法は、第 1の態様の画像入力装置の複 数の受光部で得られる受光信号に基づいて、所定範囲内の任意の位置に応じて異 なる合成方法によって、任意の位置を像面とする画像を合成する。 本発明の第 14の態様によると、第 13の態様の画像合成方法において、所定範囲 内の位置に応じて受光信号に対する重み付けを決定することにより、画像を合成す るのが好ましい。
本発明の第 15の態様によると、光検出方法は、結像光学系の異なる射出瞳領域を 通過する光束を、結像光学系の焦点面近傍に所定ピッチで配列した複数のマイクロ レンズを介して複数の受光部で受光し、結像光学系の光路中に任意に設定された領 域に入射する光束の光量を、領域に入社する光束の立体角度と、該立体角度に応 じた受光部で得られた受光信号とに基づいて求める。
本発明の第 16の態様によると、画像取得方法は、複数のマイクロレンズを、結像光 学系の焦点面近傍に所定のピッチで二次元状に配置したマイクロレンズアレイを設 け、マイクロレンズのそれぞれに対して複数の受光部を有し、該受光部ごとに結像光 学系の異なる射出瞳領域を通過する光束を受光する受光部アレイを設け、マイクロレ ンズアレイカゝら所定距離の範囲において、受光部のマイクロレンズに関する像を形成 する光束の断面の大きさがマイクロレンズのピッチと同等以下となるように、マイクロレ ンズのパワーおよびマイクロレンズアレイと受光部アレイとの間隔を決め、受光部ァレ ィからの出力に基づき画像を取得する。
発明の効果
[0006] 本発明によれば、 1回の撮影で得られたデータカゝら撮影後に任意の距離にピントの 合った鮮明な画像を合成することができる。
図面の簡単な説明
[0007] [図 1]本撮像装置の構成図である。
[図 2]クロストーク防止用の仕切部材を示す図である。
[図 3]絞り部材 11Aを示す図である。
[図 4]本撮像装置の光学系部分を光軸を含む面で切断してできる断面図である。
[図 5]画素 cに入射する光束の詳細を拡大して示す図である。
[図 6]画素 cに入射する光束の回折による広がりを説明する図である。
[図 7]画素 cに投影される領域 Eの縁のぼけの様子を示す概念図である。
0
[図 8]マイクロレンズ MLによる画素 cの共役面の位置のバリエーションを示す図である [図 9]画像合成の原理を説明する図である (Z = 0の例)。
[図 10]画像合成の原理を説明する図である (Z半 0の例)。
[図 11]指定像面が合成範囲内の特定の面 (Z = 0)であるときの合成方法を説明する 図である。
[図 12]指定像面が合成範囲内の特定の面 (Z=h )であるときの合成方法を説明する
1
図である。
[図 13]指定像面が合成範囲内の一般の面 (Z=h )であるときの合成方法を説明する
2
図である。
[図 14]指定像面が合成範囲内の特定の面 (Z = 0)であるときの重み係数の例を示す 図である。
[図 15]指定像面が合成範囲内の別の特定の面 (Z=h )であるときの重み係数の例を
1
示す図である。
[図 16]指定像面が合成範囲内の一般の面 (Z=h )であるときの重み係数の例を示す
2
図である。
[図 17]第 2実施形態の画像合成方法を説明する図である。
[図 18]第 3実施形態の撮像装置及び画像合成方法を説明する図である。
[図 19]マイクロレンズ ML 'を設けた画素配列 130を示す図である。
[図 20]フィールドレンズ FLを配置した撮像装置を示す図である。
[図 21]撮影レンズの射出瞳と撮像素子とがマイクロレンズに関して略共役となるように 構成する場合を説明する図である。
[図 22]パーソナルコンピュータで処理をする場合の構成を示す図である。
[図 23]パーソナルコンピュータが実行するプログラムの処理のフローチャートを示す 図である。
発明を実施するための最良の形態
[第 1実施形態]
以下、第 1実施形態を説明する。本実施形態は、デジタルカメラ (電子カメラ)である 撮像装置及びそれを用いた画像合成方法の実施形態である。本撮像装置は、画像 入力装置、画像取得装置、あるいは光検出装置とも言う。
[0009] 先ず、本撮像装置の構成を説明する。図 1は、本撮像装置の構成図である。図 1〖こ 示すように、本撮像装置には、撮影レンズ (結像光学系に対応） 11、マイクロレンズァ レイ (複数の正レンズに対応） 12、撮像素子 13、駆動回路 14、演算処理回路 (合成 手段に対応） 15、メモリ 16、制御回路 17、ユーザインタフェース 18などが備えられる
[0010] 撮影レンズ 11は、被写界からの光束をその焦点面近傍に結像する。その焦点面近 傍に、マイクロレンズアレイ 12と撮像素子 13とが順に配置される。なお、図 1では、マ イク口レンズアレイ 12と撮像素子 13との間隔が広く描かれているが、実際は狭く近接 している。
[0011] 撮影レンズ 11の焦点面近傍に入射した結像光束は、撮像素子 13において電気信 号に変換される。この撮像素子 13は駆動回路 14によって駆動され、撮像素子 13か らの出力信号は、この駆動回路 14を介して演算処理回路 15に取り込まれる。演算処 理回路 15は、その出力信号に基づき被写界の画像データを合成する。合成された 画像データは、メモリ 16に格納される。
[0012] また、以上の駆動回路 14、演算処理回路 15、メモリ 16は、制御回路 17によって制 御される。制御回路 17は、ユーザインタフェース 18を介してユーザ力も入力された指 示に従ってその制御を行う。ユーザは、ユーザインタフェース 18を介して本撮像装置 に対し撮影のタイミングを指定することができる。
[0013] 本実施形態では、どの被写体位置 (距離）にピントの合った画像を合成するのか、 また、どの絞り値 (F値）に対応した画像を合成するのかを、撮影後にユーザが指定 することができる (勿論、撮影前や撮影中に指定してもよい)。以下、指定された被写 体位置を「指定像面」と称し、指定された絞り値を「指定絞り値 (F値)」と称す。
[0014] 次に、本撮像装置の光学系部分を簡単に説明する。マイクロレンズアレイ 12は、正 のパワーを有した複数のマイクロレンズ MLを二次元状に並べてなる。図 1では、マイ クロレンズ MLの縦方向の数及び横方向の数 (配置密度）は、図示の便宜上それぞ れ 5個となっている力 これらの数は、本撮像装置の画像データに必要な分解能に応 じて適宜設定される。本実施の形態では、 586 X 440とする。 [0015] 撮像素子 13は、各マイクロレンズ MLを通過した光を受光する画素配列 130を、マ イク口レンズ MLに対応した配置パターンで配置してなる。
ここで、画素配列 130は、光電変換素子受光部の開口がそのまま「画素」を形成す る場合は勿論、各光電変換素子上に集光用マイクロレンズを設け、このマイクロレン ズの開口が「画素」を形成する場合がある。これ以降は、光電変換素子を「画素」と表 現し、マイクロレンズ MLを通過した光を受光する複数の光電変換素子を「画素配列」 と呼ぶことにする。
[0016] 個々の画素配列 130の縦方向の画素数及び横方向の画素数はそれぞれ 3個以上 である。図 1では、画素配列 130の縦方向の画素数及び横方向の画素数 (画素密度 )は、それぞれ 5個となっているが、これらの数は、本撮像装置のユーザが指定可能 な像面 (撮影距離)の必要数に応じて適宜設定される（例えば、 7 X 7=49個でもよ い)。
[0017] ここで、これらの画素配列 130は、個々のマイクロレンズ MLを個別に透過した部分 光束を個別に受ける必要がある。つまり、互いに隣接する画素配列 130の間のクロス トークは抑えられる必要がある。
[0018] そこで、マイクロレンズアレイ 12と撮像素子 13との間には、図 2に示すような仕切部 材 22が設けられることが望ましい。或いは、仕切部材 22の代わりに、撮影レンズ 11 の後側に、図 3に示すように、適当な大きさの円形開口を有した絞り部材 11Aが配置 されてちょい。
[0019] 本撮像装置においては、この絞り部材 11Aの開口のサイズは、可変である必要は 無い。なぜなら、本撮像装置の撮影レンズ 11の絞り値の変更は、演算処理回路 15 における演算によって行われるからである。
なお、以下の説明では、これら仕切部材 22や絞り部材 11Aについては言及せず、図 示も省略する。
[0020] 次に、本撮像装置の光学系部分を詳細に説明する。図 4は、本撮像装置の光学系 部分を光軸 (撮影レンズ 11の光軸）を含む面で切断してできる断面図である。図 4に おいて斜線で示す光束は、光軸近傍に配置された画素配列 130の中央の画素じに 入射する光束である。 [0021] 図 4に示すように、画素 cに入射する光束は、撮影レンズ 11の瞳上の中心近傍の部 分領域 Cを透過した光束である。この画素 cの隣接画素 bに入射する光束は、撮影レ ンズ 11の瞳上の部分領域 Cの隣接領域 Bを透過した光束である。このように、同一画 素配列 130内の画素 a, b, c, d, eに入射する各光束は、撮影レンズ 11の瞳上の互 いに異なる部分領域 A, B, C, D, Eを個別に透過した各光束である。ここで言う瞳は 撮影レンズ 11の射出瞳であり、部分領域はその部分瞳と言う。
[0022] なお、図 4では、マイクロレンズ MLの前側の距離 Lの位置において、マイクロレンズ MLの配置ピッチ Pと同等の幅を持つ領域 Eを通過した光力 マイクロレンズ MLの
0
後側の画素 c上に導かれることを示した。このとき、画素 cに入射する光束は、深度 L 内で径が略 Pの柱状の光束となる。
[0023] これは、画素 cに入射する光束が、マイクロレンズ MLの前側の距離 Lの位置におい て、マイクロレンズ MLの配置ピッチ Pと同等の幅を持つように、マイクロレンズ MLの パワーやマイクロレンズ MLと撮像素子 13間の距離などが決められている。同様に、 画素 cの周囲の画素 a, b, c, d, eに入射する各光束も、深度 L内で径が略 Pの柱状 の光束となる。
[0024] このとき、本撮像装置は、深度 L内の任意の面に形成された像の画像データを、少 なくとも分解能 Pで合成することができる。つまり、深度 Lは、本撮像装置が少なくとも 分解能 Pで画像データを合成可能な範囲である。よって、以下では深度 Lを、「合成 範囲」という。
[0025] 次に、個々のマイクロレンズ MLの設計例を説明する。
[0026] 図 5は、マイクロレンズ MLを介して画素 cに入射する光束の詳細を拡大して示す図 である。図 5において、符号 Dは、マイクロレンズ MLの有効径（マイクロレンズ MLの 配置ピッチ Pより若干小さい値)であり、符号 Pdは、画素配列 130の画素ピッチである 。図 5に明らかなように、合成範囲 Lの前端における幅 Pの領域 Eは、マイクロレンズ
0
MLのパワーによって、マイクロレンズ MLの後側の画素 cに投影される。
[0027] 図 5において、符号 Fdで示す光束の広がりは、撮影レンズ 11の瞳上の部分領域 C を透過した光束の広がりに対応する。よって、この光束の広がり Fdは、撮影レンズ 11 の開放 F値 (FO)と瞳の 1方向の分割数 (瞳上の 1方向の部分領域の数)とに応じた 値に設定されている。例えば、
'撮影レンズ 11の開放 F値 FO= 4,
'画素配列 130の 1方向の画素数 n= 5,
であるときには、
'瞳の 1方向の分割数 =n= 5,
であるので、
'光束の広がり Fd=F0 X n=4 X 5 = 20,
に設定される（なお、光束の広がりの単位は F値)。
[0028] 次に、非特許文献 1のように、撮影レンズの射出瞳と撮像素子の画素とがマイクロレ ンズに関して略共役となるように構成する場合と、上記本実施の形態のように構成す る場合との違いについて説明する。本実施の形態では、マイクロレンズ MLの前側の 距離 Lの位置と撮像素子 13の画素とがマイクロレンズ MLに関して略共役となるよう に構成している。
[0029] 図 21は、撮影レンズ 22の射出瞳と撮像素子 23とがマイクロレンズ 21に関して略共 役となるように構成する場合を説明する図である。この場合、撮影レンズ 22の射出瞳 の部分瞳 S1を透過した光束が、幾何光学的意味でちょうど撮像素子 23の 1画素に 入射するように構成されて 、る。
[0030] 実際の大きさで考えると、マイクロレンズのピッチは 200ミクロン程度以下 (例えば、 本実施の形態のマイクロレンズ MLのピッチは 15ミクロン）、それに対して撮影レンズ 22の射出瞳上の部分瞳 S1の幅は lmm程度あるいはそれ以上である。このような場 合、光束の広がり方は、図 21に示すように、撮影レンズ 22の射出瞳側で太くマイクロ レンズ 21側で細くなる。すなわち、撮影レンズ 22とマイクロレンズ 21の間では、光束 断面径がどの断面でもマイクロレンズ 21の径より大きい。
[0031] 合成画像の 1画素の情報を担うのはこの光束なので、鮮明な画像を合成するため には画像を合成する領域ではこの光束が細い方が望ましい。従って、本実施の形態 では、前述した図 4、図 5に示すように、像合成を行うマイクロレンズ ML近傍の距離 L の位置で、上記光束の断面径がマイクロレンズ MLのピッチ Pとほぼ同等もしくはさら に細くなるようにして、合成画像の先鋭度をあげるようにしている。なお、本実施の形 態では、部分瞳は少しボケて相互に重なり合って並ぶことになる。
[0032] 次に、本実施の形態のマイクロレンズ MLのパワーの決め方について説明する。簡 単のためマイクロレンズ MLは薄板レンズで、マイクロレンズ MLの両端は屈折率 1で あるとする。図 5に示すように、マイクロレンズ MLと撮像素子 13の画素配列 130の画 素との間隔を g、その画素のピッチを Pd、距離 Lの位置の面上でのマイクロレンズ ML による幾何光学的画素像のピッチを Eとすると、次の式 (i)が成り立つ。間隔 gは、マイ クロレンズアレイ 12と撮像素子 13との間隔でもある。簡単ィ匕のためマイクロレンズ ML の厚みが無視できる場合は、次式となる。
Figure imgf000012_0001
[0033] マイクロレンズ MLのピッチ力 のとき、マイクロレンズ ML近傍で光束最外周の太さ を所定範囲でほぼ一定にすることは E = Pとすることなので、次の式 (ii)が成り立つ。
L=g * PZPd · ' · (ϋ)
[0034] ここで gについては、撮像素子 13の画素配列 130の画素いくつ分を撮影レンズ 11 の射出瞳上に並べるかで決まるので、距離 Lはこの式できまることになる。なお、マイ クロレンズの焦点距離 fmに関しては、次の式 (iii)の関係があるので、これによりマイ クロレンズの焦点距離 fmが決まる、すなわちマイクロレンズのパワーが決まる。
Figure imgf000012_0002
[0035] 以上の説明では、光束の幾何学的な広がりしか考慮しな力つたが、実際には、回折 による広がりも持っている。以下では、回折による広がりを考慮する。
[0036] 図 6は、マイクロレンズ MLを介して画素 cに入射する光束の回折による広がりを説 明する図である。図 6中に曲線で示すように、仮に画素 c上の 1点力 発した光は の 距離位置で図示の回折による広がりを持つ。逆に、 Lの位置で図示の広がりを持つ 領域が、回折によるボケの広がりを意味することになる。
[0037] このため、画素 cに投影される領域 Eの縁部は、図 7に示すように、明確にはならず
0
にぼける。同様に、撮影レンズ 11の瞳上の部分領域 A, B, C, D, E, · ·の境界も、 ぼける。この境界を或る程度明確にするためには、回折による光束の広がりを或る程 度抑える必要がある。以下、具体的に示す。
[0038] 先ず、この回折による光束の広がり（ぼけ) Aは、マイクロレンズ MLの有効径 Dが小 さいほど顕著になり、例えば、光の波長を約 0. 5 mとすると、式（1)で表される。 A=L/D ··· (1)
[0039] 一方、回折による光束の広がり Aを F値の単位で表したものを Faとおくと、それは式
(2)で表される。
Fa = L/A = D ··· (2)
式（1), (2)より、回折による光束の広がり Faは、式（3)のとおり、殆どマイクロレンズ MLの有効径 Dのみによって表されることがわ力る。
Fa = D ··· (3)
[0040] そして、上述した境界を明確にするためには、この回折による光束の広がり Faは、 撮影レンズ 11の開放 F値 FO (例えば F0=4)と比較して十分に小さぐ例えば 2Z5 以下、つまり式 (4)を満たすことが望ましい。
Fa>10--- (4)
[0041] したがって、マイクロレンズ MLの有効径 Dは、式（5)を満たすことが望まし!/、。
Figure imgf000013_0001
[0042] なお、上述した境界をさらに明確にするためには、マイクロレンズ MLの有効径 Dは 、式 (6)を満たすことが望ましい。
Ό>20μηι ··· (6)
[0043] 以上の条件 (マイクロレンズ MLに対する条件）を考慮した本撮像装置の仕様の例 を、以下に示す。
'撮影レンズ 11の焦点距離 f = 9mm,
'撮影レンズ 11の開放 F値 FO= 4,
'画素配列 130の 1方向の画素数 n=5,
'マイクロレンズ MLの配置ピッチ P = 15 μ m,
'マイクロレンズ MLの有効径0 =配置ピッチ Pと略同じ 15 μ m,
'マイクロレンズアレイ 12のサイズ =8. 8X6. 6mm,
•マイクロレンズ MLの配置数 = 586 X 440,
'合成範囲 =!1 =300 111,
'撮影距離に換算した合成範囲 =無限遠方〜 270mm [0044] なお、以上の説明では、図 8 (a)に示すように、画素 cの共役面がマイクロレンズ ML の前側の有限位置 (距離 Lの位置）に設定されていた力 画素 cの共役面は、図 8 (b) に示すように、マイクロレンズ MLの前側の無限遠方であってもよいし、図 8 (c)に示 すように、マイクロレンズ MLの後側であってもよ!/ヽ。
[0045] 図 8 (a)の場合、合成範囲 Lは、マイクロレンズ MLの前側の有限範囲となったが、 図 8 (b)の場合、合成範囲 Lは、マイクロレンズ MLの両側にまたがる有限範囲となり、 図 8 (c)の場合、合成範囲 Lは、マイクロレンズ MLの後側の有限範囲となる。以下、 合成範囲 Lがマイクロレンズ MLの前側の有限範囲である（図 8 (a) )として説明する。
[0046] 次に、画像合成方法を説明する。この合成に必要な各処理は、演算処理回路 15 ( 図 1参照）によって行われる。図 9、図 10は、画像合成の原理を説明する図である。こ れらの図 9,図 10において、符号 la, lb, Ic, Id, Ieで示すのは、各マイクロレンズに 対応する画素配列 130内に 1方向に並ぶ 5つの画素 a, b, c, d, eそれぞれを束ねて 個別に形成する画像データの概念である。
[0047] 先ず、図 9に示すように、指定像面の高さ（マイクロレンズアレイ 12からの距離) Zが 0である場合を考える。 Z = 0の面にピントの合った像が形成されている場合は、像 I
0 において、あるマイクロレンズの直上部分力 射出した光束は、直ぐにマイクロレンズ アレイ 12に入射して、同一画素配列 130内の画素 a, b, c, d, eには、像 I上の同一
0
箇所の光が入射する。
[0048] このとき、画像データ la, lb, Ic, Id, Ieの間では、互いに同じ位置に像 Iが現れる。
0
よって、これらの画像データ la, lb, Ic, Id, Ieを重ね合わせれば、指定像面 (Z = 0) の画像データを得ることができる。
[0049] なお、ここでは、或る 1方向に並ぶ 5つの画素 a, b, c, d, eのみに着目し、それら 5 つの画素による 5つの画像データ la, lb, Ic, Id, Ieを重ね合わせるとした力 実際は 、各方向に並ぶ 25個の画素による 25個の画像データを重ね合わせる必要がある。
[0050] 次に、図 10に示すように、指定像面の高さ Zが 0ではない場合を考える。この面に 形成される像 Γの各位置カゝら射出した光束は、発散した後にマイクロレンズアレイ 12 に入射するので、像 Γ上の同一箇所力も射出した各角度の光線は、角度により互い に異なるマイクロレンズ MLに入射する。よって、同一のマイクロレンズ MLに対応す る画素配列 130内の画素 a, b, c, d, eは、像 Γ上の少しずつ異なった箇所の光を受 ける。
[0051] このとき、画像データ la, lb, Ic, Id, Ieの間では、互いにずれた位置に像 Γが現れ る。このずれ量は、指定像面の高さ Ζに依存する。よって、これらの画像データ la, lb , Ic, Id, Ieを、高さ Zに応じた画像サイズに変更してマイクロレンズピッチずつずらし て重ね合わせれば、指定像面 (Z≠0)の画像データを得ることができる。
[0052] なお、ここでは、或る 1方向に並ぶ 5つの画素 a, b, c, d, eのみに着目し、それら 5 つの画素による 5つの画像データ la, lb, Ic, Id, Ieを重ね合わせるとした力 実際は 、各方向に並ぶ 25個の画素による 25個の画像データを重ね合わせる必要がある。
[0053] 以上のことから、本撮像装置では、 25個の画素による 25個の画像データを、指定 像面の高さ Zに応じた量だけ画像のサイズを変更してから、画像を縦横反転し、隣接 するマイクロレンズに関するこれらの画像を所定量ずつずらして重ね合わせ、同 Cf立 置に来た画素又は画素補間値を、重みを付けて加算合成すれば、その指定像面の 全体の画像が得られる。
[0054] 次に、画像合成の方法を詳しく説明する。図 11は、指定像面が合成範囲内の特定 の面 (Z = 0)であるときの合成方法を説明する図であり、図 12は、指定像面が合成範 囲内の特定の面 (Z=h )であるときの合成方法を説明する図であり、図 13は、指定
1
像面が合成範囲内の上記以外の或る面 (z=h 2 )であるときの合成方法を説明する図 である。
[0055] これらの図 11、図 12、図 13には、撮像素子 13の 5つの画素 a, b, c, d, eに入射す る各光線（マイクロレンズ MLの中心を通る主光線のみ）を示した。また、各図中の各 要素には、光軸と垂直な面内における座標を示すための添え字（1, 2, 3, …；)を付 した。図 11、図 12、図 13において点線で示すのは、合成後の画像データの最小単 位 (仮想画素）であり、仮想画素の幅は、マイクロレンズ MLの配置ピッチ Pと同じであ る。
[0056] 先ず、図 11に示すように、指定像面が合成範囲内の特定の面 (Z=0)である場合 について説明する。この面の座標 X (マイクロレンズ MLに対向する幅 Pの領域）から
5 5
の射出光束 (光線 r , r , r , r , r )は、画素 a , b , c , d , eに個別に入射する。よつ て、画素 aの出力値 Out (a )、画素 bの出力値 Out (b )、画素 cの出力値 Out (c )
5 5 5 5 5 5
、画素 dの出力値 Out (d )、画素 eの出力値 Out (e )の和をとれば、その座標 xに
5 5 5 5 5 おける仮想画素の画素値 L (5)が求まる (式（ 1) )。
L(5) =Out(a ) +Out(b ) +Out(c ) +Out(d ) +Out(e ) ··· (1)
5 5 5 5 5
[0057] 同様に、座標 xに隣接する座標 xにおける仮想画素の画素値 L (6)は、式（1')に
5 6
より求めることができる。
L(6) =Out(a ) +Out(b ) +Out(c ) +Out(d ) +Out(e ) · · · (1，)
6 6 6 6 6
[0058] したがって、各座標 x , x , x , ···における各仮想画素の画素値 L (1) , L (2) , L (
1 2 3
3), · · ·は、式（1")によりそれぞれ求めることができる。
L(i) =Out(a) +Out(b) +Out(c) +Out(d) +Out(e) ··· (1")
[0059] この式（1")は、図 9に示した画像データ la, lb, Ic, Id, Ieをそのまま重ね合わせる ことを示している。この式（1")よって、指定像面 (Z = 0)の画像データが合成される。
[0060] なお、式（1")は、ユーザによる指定絞り値が開放（開口サイズ最大)であったときに 採用される式である。仮に、ユーザによる指定絞り値が最大（開口サイズ最小)であつ たときには、光線 r , r , r , r , r力 なる光束を、光線 rのみ力 なる光束に制限す
1 2 3 4 5 3
ればよいので、式（1")に代えて式（2)を採用すればよい。
L(i)=Out(c)---(2)
[0061] また、ユーザによる指定絞り値が中間値（開口サイズ中間）であったときには、光線 r
, r , r, r, r力 なる光束を、光線 r , r , rのみ力 なる光束に制限すればよいの
1 2 3 4 5 2 3 4
で、式（1")に代えて式（3)を採用すればよい。
L(i) =Out(b ) +Out(c ) +Out(d ) …（3)
[0062] なお、ここでは、或る 1方向に並ぶ 5つの画素 a, b, c, d, eのみに着目し、それら 5 つの画素の出力値の和をとつたが、実際は、 2方向に並ぶ 25個の画素の出力値の 和をとる必要がある（但し、和に加えるべき画素の数は、指定絞り値に応じて増減す る。）。
[0063] 次に、図 12に示すように、指定像面が、合成範囲内の上記以外の或る面 (Z=h )
1 である場合について説明する。この面の座標 X (マイクロレンズ MLに対向する領域)
5 5
からの射出光束 (光線 r , r , r , r , r )は、画素 a , b, c, d, eに個別に入射する。 よって、画素 aの出力値 Out (a )、画素 bの出力値 Out (b )、画素 cの出力値 Out (
3 3 4 4 5
c )、画素 dの出力値 Out (d )、画素 eの出力値 Out (e )の和（より正確には入射角
5 6 6 7 7
に依存した重み付け和）をとれば、その座標 Xにおける仮想画素の画素値 L (5)が求
5
まる (式 (4))。
L(5) =Out(a ) +Out(b )+Out(c ) +Out(d ) +Out(e ) （4)
3 4 5 6 7…
[0064] 同様に、座標 xに隣接する座標 xにおける仮想画素の画素値 L (6)は、式 (4')に
5 6
より求めることができる。
L(6) =Out(a ) +Out(b ) +Out(c ) +Out(d ) +Out(e ) ··· (4')
4 5 6 7 8
[0065] したがって、各座標 x , x , x , ···における各仮想画素の画素値 L (1) , L (2) , L (
1 2 3
3), · · ·は、式 (4")によりそれぞれ求めることができる。
L(i)=Out(a )+Out(b ) +Out(c) +Out(d )+Out(e ) · · · (4，，）
i-2 i-1 i i+1 i+2
[0066] この式（4")は、図 10に示した画像データ la, lb, Ic, Id, Ieを指定像面の高さ Zに 応じた量 (ここでは仮想画素 1つ分)だけずらして重ね合わせることを示している。これ によって、指定像面 (Z = h )の画像データが合成される。
1
[0067] なお、この式 (4")は、ユーザによる指定絞り値が開放（開口サイズ最大)であったと きに採用される式である。仮に、ユーザによる指定絞り値が最大（開口サイズ最小)で あったときには、光線 r , r, r , r, r力もなる光束を、光線 rのみ力 なる光束に制限
1 2 3 4 5 3
すればよいので、式 (4")に代えて式（5)を採用すればよい。
L(i)=Out(c)---(5)
[0068] また、ユーザによる指定絞り値が中間値（開口サイズ中間）であったときには、光線 r
, r , r, r, r力 なる光束を、光線 r , r , rのみ力 なる光束に制限すればよいの
1 2 3 4 5 2 3 4
で、式 (4")に代えて式 (6)を採用すればよい。
L(i)=Out(b )+Out(c)+Out(d )
i i+1 …（6)
i-l
[0069] なお、ここでは、或る 1方向に並ぶ 5つの画素 a, b, c, d, eのみに着目し、それら 5 つの画素の出力値の和をとつたが、実際は、 2方向に並ぶ 25個の画素の出力値の 和をとる必要がある（但し、和に加えるべき画素の数は、指定絞り値に応じて増減す る。）。
[0070] 次に、図 13に示すように、指定像面が、合成範囲内の上記以外の或る面 (Z=h ) である場合について説明する。この面の座標 X (マイクロレンズ MLに対向する領域)
5 5
からの射出光束 (光線 r , r , r , r , r )は、複数の画素にまたがって入射する。例え
1 2 3 4 5
ば、光線 に着目すると、画素 a , bにまたがって入射する。このとき、光線 rの光量
1 3 3 1 は、画素 aの出力値 Out (a )と画素 bの出力値 Out (b )との重み付け和によって求
3 3 3 3
まる (式 (7) )。
Out (a ) X q +Out (b ) X q
3 1 3 2 …（7)
[0071] ここで、重み係数 q , qの和は、指定像面の高さ Zに依存して決まる定数である。し
1 2
たがって、各座標 X , X , X , …における各仮想画素の画素値 L (l) , L (2) , L (3) ,
1 2 3
• · ·は、複数の出力値の重み付け和、し力も、指定像面の高さ zに依存して決まる重 み係数による重み付け和によって求める必要がある（但し、和にカ卩えるべき画素の数 は、指定絞り値に応じて増減する)。
[0072] 以上のことから、本撮像装置では、指定像面の画像データを合成するに当たり、指 定像面が特定の限られた面でなくとも、複数の出力値の重み付け和をとることで、画 像の合成ができる。因みに、指定像面が図 11、図 12に示した特定の面 (Z=0, Z= h )である場合にも、主光線以外の光線まで考慮し、それに関係する全ての出力値
1
の重み付け和をとれば、より高い精度で合成を行うことができる。
[0073] 次に、重み係数の具体例を説明する。図 14、図 15、図 16には、座標 xに位置する
5 仮想画素の画素値 L (5)を求めるときの重み係数の例を示した。ここでは、ユーザに よる指定絞り値が開放である場合の例を説明する。また、簡単のため、 1方向に並ぶ 5つの画素 a, b, c, dのみに着目する。
[0074] 図 14は、指定像面が合成範囲内の特定の面 (Z = 0)であるときの例であり、図 15 は、指定像面が合成範囲内の別の特定の面 (Z=h )であるときの例であり、図 16は
1
、指定像面が合成範囲内の一般の面 (Z=h )であるときの例である。図 14、図 15
2 、 図 16において、各画素に対応付けられたバーの長さ力 各画素の出力値にかかる 重み係数の値 (相対値)を示している。重みの最適な値は、実験的に求めることがで きる。
[0075] 因みに、図 14の例に倣って指定像面の画像データを一括で求めるときには、以下 の演算式を採用すればょ 、。 [数 1]
【数 1】
Figure imgf000019_0001
また、図 15の例に倣って指定像面の画像データを一括で求めるときには、以下の 演算式を採用すればよい。
[数 2]
【数 2】
0w2 0 0 0 0 0w3 0 0 0 0 0w4 0 0 0 0 0w5
w1 0 0 0 0 0w2 0 0 0 0 0w3 0 0 0 0 0w4 0
0 0 0 0 0 w1 0 0 0 0 0w2 0 0 0 0 0w3 0 0
0 0 0 0 0 0 0 0 0 0 wl 0 0 0 0 0w2 0 0 0
0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 wl 0 0 0 0
Figure imgf000020_0002
Figure imgf000020_0001
[0077] 因みに、これらの演算式において、重み係数 wl , w2, w3, w4, w5の値は、図 14 、図 15の各バーの長さに相当する。但し、図 14、図 15に示した例は、ユーザによる 指定絞り値を開放（開口サイズ最大）としたときの例であるので、仮に、ユーザによる 設定絞り値が中間値（開口サイズ中間）であるときには、重み係数 wl, w2, w3, w4 , w5のうち係数 wl, w5の値は、極めて小さい値に設定される。また、ユーザによる 指定絞り値が最大（開口サイズ最小）であるときには、重み係数 wl, w2, w3, w4, w 5のうち係数 wl, w2, w4, w5の値は、極めて小さい値に設定される。
[0078] 以上のことから、本撮像装置では、撮像素子 13の全画素の出力値力もなる出力値 ベクトルに対し、重み係数マトリクスを乗算することにより、指定像面の画像データを 合成する。この出力値ベクトルの縦方向のサイズは、撮像素子 13の全画素数に一致 する。また、重み係数マトリクスの横方向のサイズは、出力値ベクトルの縦方向のサイ ズに一致する。また、重み係数マトリクスの縦方向のサイズは、合成すべき画像デー タの仮想画素の画素数に一致する。
[0079] そして、この重み係数マトリクスの内容は、ユーザによる指定像面の高さ Zと、ユーザ による指定絞り値とに応じて決定される。この決定は、演算処理回路 15によって適宜 行われる。
[0080] なお、この決定に力かる処理を簡単にするために、予め複数種類の重み係数マトリ タス力 Sメモリ 16 (図 1参照）に格納されてもよい。その場合、演算処理回路 15は、それ ら重み係数マトリクスのうち 1つを、ユーザによる指定像面及び指定絞り値に応じて選 択使用すればよい。
[0081] また、本撮像装置においては、画像データの分解能をユーザが指定できるように構 成されていてもよい。分解能の指定は、像面の指定や、絞り値の指定と同様、ユーザ インタフェース 18を介して行われる。また、画像データの分解能の設定は、画素配列 130の出力値 (及び Z又は画像データの仮想画素の画素値)を、演算処理回路 15 が必要に応じて補間処理又は間引き処理をすることによって行われる。
[0082] 実際的には、指定像面の位置 (マイクロレンズアレイ面力もの距離)が決まると、そ れに応じて各マイクロレンズ下の画素配列の画像サイズを変更 (距離が離れる程拡 大）し、隣接するマイクロレンズに関するこれらの画像データを反転した後に相互に 所定量ずつずらして加算合成して全体画像を作成するのが効率的である。この場合 、指定絞り値 (絞り条件）に応じて加算合成の重みを変更する。
[0083] [第 2実施形態]
以下、第 2実施形態を説明する。本実施形態は、画像データの分解能を高めるとき の画像合成方法の一例である。但し、本合成方法が適用できるのは、指定像面が合 成範囲 Lの前端近傍であるとき のとき）のみである。
[0084] 本合成方法では、図 17に示すとおり、仮想画素の幅を、マイクロレンズ MLの配置 ピッチ Pよりも狭い幅 ω (例えば ω =Ρ/2)に設定する。この幅 ωの仮想画素の画素 値を求めるために、先ず、画素配列 130内の画素補間が行われる。マイクロレンズ Μ Lから距離 Lの位置で幅 ωの仮想画素の画素値を求めることは、画素配列 130の画 素をマイクロレンズ MLを介して撮影レンズ 11 (結像光学系）側へ投影した像の中間 的な位置における光量を求めることである。すなわち、図 17 (b)に示すように、補間 により画素値の包絡線関数 (実線)を求め、前記 ωに対応する窓関数 (x、y、 ζ、 ω、 Ω ) (破線)を用いて、両者 (包絡線関数と窓関数)の積和として前記仮想画素の画素 値が求まる。
[0085] 図 17 (a)の右方に示した棒状のグラフは、画素配列 130内に並ぶ 5つの画素の出 力値の分布を示している。これら 5つの画素の出力値に補間処理を施すと、曲線で 示すような滑らかな分布が得られる。よって、例えば、図 17 (b)に実線で示すように、 画素配列 130内に 5つ以上（以下、 9つとする）の画素が並べられたときと同等の 9個 の画素値が得られる。
[0086] 一方、幅 ωの仮想画素からの射出光束は、図 17 (b)に点線で示すような光量分布 で 9つの画素上に入射する。この光量分布の分布曲線 Wは、仮想画素と画素配列 1 30との間の結像関係から、仮想画素の座標 (X, Υ, Ζ)と、仮想画素の幅 ωと、射出 光束の立体角度 Ωとに依存する。したがって、この分布曲線 W(X, Υ, Z, ω , Ω )に 応じた重み係数を、前述の 9つの画素値に乗算して和をとれば、仮想画素からの射 出光束の光量を高精度に求めることができる。
[0087] そして、このような重み付け和を、仮想画素力も各角度で射出する各光束について それぞれ行い、さらにそれらの和（又は重み付け和）をとれば、仮想画素の画素値が 求まる。さらに、この演算を指定像面の全ての仮想画素についてそれぞれ行えば、 分解能 ωで指定像面の画像データを合成することができる。
[0088] ここで、以上の本合成方法においても、演算の基礎となるデータは第 1実施形態の それと同じ (つまり撮像素子 13の全画素の画素出力）である。したがって、本合成方 法に基づき重み係数マトリクスを決定しておけば、第 1実施形態と同様に、出力値べ タトルに重み係数マトリクスを乗算するだけで、指定像面の画像データを一括で求め ることがでさる。
[0089] 但し、本合成方法では、分解能を高めた分だけ (仮想画素の数が増えた分だけ)、 重み係数マトリクスの縦方向のサイズも増大する。
[0090] [第 3実施形態]
以下、第 3実施形態を説明する。本実施形態は、第 1実施形態の撮像装置及び画 像合成方法を 1部変更したものである。ここでは、変更点のみ説明する。 [0091] 本撮像装置の撮像素子 13の個々の画素配列 130には、図 18 (a)に示すようなカラ 一フィルタアレイが設けられている。カラーフィルタアレイは、画素配列 130の画素に 入射する可視光を赤色成分のみに制限するフィルタ R、緑色成分のみに制限するフ ィルタ G、青色成分のみに制限するフィルタ Bをべィャ配列してなる。本実施の形態 のカラーフィルタアレイは、各画素に対して 3色の異なる分光感度特性を与える。べィ ャ配列は、画素配列 130上に巿松状に並ぶ各画素にフィルタ Gを設け、その間隙の 各画素に、フィルタ R, Bを交互に設ける配列である。
[0092] 以下、フィルタ Gの設けられた画素を「G画素」、フィルタ Rの設けられた画素を「R画 素」、フィルタ Bの設けられた画素を「B画素」という。本合成方法では、このべィャ配 列に応じて、図 18 (b) , (c)に示すように、公知の補間方法で画素補間を行う。
[0093] すなわち、 12個の G画素の画素出力を補間して画素配列 130の全体の 25個の G 画素の画素値を得る。また、 6個の R画素の画素出力を補間して画素配列 130の全 体の 25個の R画素の画素値を得る。また、 6個の B画素の画素出力を補間して画素 配列 130の全体の 25個の B画素の画素値を得る。この各面に、前の実施形態で説 明した処理を行えば、カラー画像が得られる。
[0094] なお、本合成方法の手順では、画素補間を色成分毎に独立して行ったので、配置 密度の低い R画素の補間誤差と、 B画素の補間誤差とが、配置密度の高い G画素の 補間誤差よりも大きくなる傾向にある。それを改善し、更に画質を向上させるには、先 ず、密度の高い緑色 (G色）に関して、指定像面に関する全画像データの合成を行つ ておき、ついで赤色 (R面)のデータは補間せずに前記指定像面へ投影し、投影され た位置にある Gの値 (若しくは Gの補間値）との差分 Cr=R— Gを作成し、しかる後に 、 Crとして補間を行うことが好ましい。こうして Crの全画像データが得られたら、 R=C r+Gにより、赤色 (R色）の全画像データが得られる。青色の画像データ（B面)も同 様にして形成される。
[0095] なお、本撮像装置のカラーフィルタアレイには、べィャ配列を適用した力 他の配 列、例えば、ストライプ状にフィルタ Gを配置すると共にフィルタ Cの列の間の列にフィ ルタ R, Bを交互に配置するものなどが適用されてもよい。
[0096] [その他] なお、画素配列 130の各画素を構成する光電変換素子受光部の間隙には、転送 部などが配置されることが多いので、その間隙はあまり小さくならない。よって、そのま までは、間隙に入射する光線がロスになってしまう。そこで、本撮像装置においては、 図 19 (a)に示すように、各画素への集光率を高めるために、画素ピッチと同等の径を 持つマイクロレンズ ML'を光電変換素子受光部上に設けてもよい。
[0097] なお、画素配列 130の縁部の画素への集光率は、他の画素への集光率よりも低く なりがちなので、図 19 (b)に矢印で示すように、画素配列 130の縁部では、画素を構 成するこの 2層目のマイクロレンズの光軸を光電変換素子受光部中心力 若干内側 にずらしておくと (偏倚させる）、その画素への集光率を、中心の画素への集光率に 近づけることができるので好ましい。 2層目のマイクロレンズアレイの各マイクロレンズ とそれぞれの光電変換素子とは、マイクロレンズアレイ 12の各マイクロレンズと 2層目 のマイクロレンズアレイの各マイクロレンズとの位置関係に応じて偏倚させる。すなわ ち、マイクロレンズ MLの光軸力 マイクロレンズ ML'の位置が離れるほど偏倚量が 大きくなる。
[0098] また、本撮像装置においては、図 20に示すように、マイクロレンズアレイ 12の直前 にフィールドレンズ FLを配置してもよい。フィールドレンズ FLを配置すれば、像高の 高い位置に配置されたマイクロレンズ MLに入射する光束の角度が抑えられるので 好ましい。
[0099] また、本撮像装置においては、複数の区分的な画素配列 130を二次元状に配置し た撮像素子 13が用いられたが（図 1参照）が、全体に一様に画素を配列した通常の 撮像素子を用意し、その必要な部分を選択的に使うようにしてもよい。
[0100] また、本撮像装置には、モニタなどの表示部が備えられてもよい。その場合、合成し た画像データや、その画像データに付随する情報などを表示部に表示させてもょ ヽ
[0101] また、本撮像装置は、像面及び絞り値をユーザに指定させるタイミングは、撮影後、 意図によって自由に変更できることが大きな利点であつたが、勿論、撮影前の指定を 反映するようにしてもよ ヽ。
[0102] また、上記説明では、指定像面が 1つの場合であつたが、複数であってもよい。撮 影後、任意のピント面を多数自在に再現できる点が、本発明の特徴である。因みに、 複数の指定像面の画像データは、三次元の画像を表すので、本発明は、三次元撮 像装置として使うことができる。
[0103] また、本撮像装置は、像面の代わりに撮影ポイントを指定させてもよ!ヽ。その場合、 本撮像装置は、撮影ポイント（指定点）の輝度データのみを合成すればょ 、。
[0104] その他、ユーザが指定可能な項目に、「撮影範囲」が加えられてもよ!、。その場合、 本撮像装置は、指定された撮像範囲内の画像データのみを合成すればょ 、。
[0105] また、本撮像装置では、画像合成に関わる全ての処理を演算処理回路 15が実行 しているが、その処理の一部又は全部を、撮像装置の外部のコンピュータが実行して もよい。その場合、コンピュータには、予め、画像合成のためのプログラムがインスト ールされる。
[0106] また、上記のように構成された撮像装置で画像を撮像し、撮像した画像をパーソナ ルコンピュータに転送し、パーソナルコンピュータですべての処理を実行するようにし てもよい。
[0107] 図 22は、パーソナルコンピュータ 101で処理をする場合の構成を示す図である。パ 一ソナルコンピュータ 101は、上記撮像装置であるデジタルカメラ 102と接続し、デジ タルカメラ 102で撮像した画像データを取得する。また、デジタルカメラ 102で撮像さ れた画像データは、 CD— ROMなどの記録媒体 103、他のコンピュータ 104などを 介しても取得することができる。パーソナルコンピュータ 101は、コンピュータ 104とィ ンターネットやその他の電気通信回線 105を経由して接続される。
[0108] パーソナルコンピュータ 101が実行するプログラムは、図 21の構成と同様に、 CD
ROMなどの記録媒体や、インターネットやその他の電気通信回線を経由した他の コンピュータから提供され、パーソナルコンピュータ 101内にインストールされる。パー ソナルコンピュータ 101は、 CPU (不図示）およびその周辺回路（不図示）から構成さ れ、インストールされたプログラムを CPUが実行する。
[0109] プログラム力 Sインターネットやその他の電気通信回線を経由して提供される場合は 、プログラムは、電気通信回線、すなわち、伝送媒体を搬送する搬送波上の信号に 変換して送信される。このように、プログラムは、記録媒体や搬送波などの種々の形 態のコンピュータ読み込み可能なコンピュータプログラム製品として供給される。
[0110] 図 23は、パーソナルコンピュータ 101が実行するプログラムの処理のフローチヤ一 トを示す図である。ステップ S1では、デジタルカメラ 102から画像データを取得する。 デジタルカメラ 102から取得する画像データは、上記撮像素子 13の全画素の出力か らなる画像データである。ステップ S2では、ユーザがパーソナルコンピュータ 101の モニタおよびキーボードなどの入力装置を使用して指定する指定像面を取得する。 ステップ S3では、同様に、指定絞り値を取得する。
[0111] ステップ S4では、ステップ S1で取得した画像データと指定された指定像面および 指定絞り値に基づき、合成処理を行う。合成処理は、上記実施の形態で説明した演 算処理回路 15が行う合成処理を、パーソナルコンピュータ 101がソフトウェアにより行 う。ステップ S5では、合成された画像データをノヽードディスク (不図示)などに格納す る。以上のようにして、 1回の撮影で得られたデータから、撮影後にパーソナルコンビ ユータ上でも任意の距離にピントの合った画像を得ることができる。
[0112] 上記では、種々の実施の形態および変形例を説明したが、本発明はこれらの内容 に限定されるものではない。本発明の技術的思想の範囲内で考えられるその他の態 様も本発明の範囲内に含まれる。
[0113] 次の優先権基礎出願の開示内容は引用文としてここに組み込まれる。
日本国特許出願 2005年第 183729号（2005年 6月 23日出願）

Claims

請求の範囲
[1] 画像入力装置であって、
結像光学系と、
複数のマイクロレンズを、前記結像光学系の焦点面近傍に所定のピッチで二次元 状に配置したマイクロレンズアレイと、
前記マイクロレンズのそれぞれに対して複数の受光部を有し、該受光部ごとに前記 結像光学系の異なる射出瞳領域を通過する光束を受光する受光部アレイとを備え、 前記マイクロレンズアレイ力も所定距離の範囲において、前記受光部の前記マイク 口レンズに関する像を形成する光束の断面の大きさが前記マイクロレンズのピッチと 同等以下となるように、前記マイクロレンズのパワーおよび前記マイクロレンズアレイと 受光部アレイとの間隔を決める。
[2] 請求項 1に記載の画像入力装置において、
前記所定距離は、前記受光部を前記マイクロレンズによって前記結像光学系側へ 投影した場合の受光部像のピッチが前記マイクロレンズのピッチに等しくなる面と前 記マイクロレンズアレイとの間隔である。
[3] 請求項 1または 2に記載の画像入力装置において、
前記複数の受光部で得られる受光信号に基づいて、前記所定距離の範囲内の任 意の位置を像面とする画像を合成する画像合成部をさらに備える。
[4] 請求項 3に記載の画像入力装置において、
前記受光部アレイは、前記複数の受光部に対して複数色の色フィルターを備え、 前記画像合成部は、前記色フィルターの最も密度の高い色に関する前記画像を合 成する。
[5] 請求項 3または 4に記載の画像入力装置において、
前記画像合成部は、前記所定距離の範囲内の位置に応じて前記受光信号に対す る重み付けを決定することにより、前記画像を合成する。
[6] 請求項 1または 2に記載の画像入力装置において、
前記複数の受光部で得られる受光信号に基づいて、前記結像光学系の任意の F 値に対応する画像を合成する画像合成部をさらに備える。
[7] 請求項 6に記載の画像入力装置において、
前記受光部アレイは、前記複数の受光部に対して複数色の色フィルターを備え、 前記画像合成部は、前記色フィルターの最も密度の高い色に関する前記画像を合 成する。
[8] 請求項 6または 7に記載の画像入力装置において、
前記画像合成部は、前記 F値に応じて前記受光信号に対する重み付けを決定する ことにより、前記画像を合成する。
[9] 画像入力装置であって、
結像光学系と、
複数のマイクロレンズを、前記結像光学系の焦点面近傍に所定のピッチで二次元 状に配置したマイクロレンズアレイと、
前記マイクロレンズのそれぞれに対して複数の受光部を有し、該受光部ごとに前記 結像光学系の異なる射出瞳領域を通過する光束を受光する受光部アレイと、 前記複数の受光部のそれぞれに対して異なる分光感度特性を与える色フィルター と、
前記色フィルターのうち最も密度の高い色に関して前記受光部で得られる受光信 号に基づいて、前記マイクロレンズから所定距離の範囲内の任意の位置を像面とす る画像を合成する画像合成部とを備える。
[10] 光検出装置であって、
結像光学系と、
複数のマイクロレンズを、前記結像光学系の焦点面近傍に所定のピッチで二次元 状に配置したマイクロレンズアレイと、
前記マイクロレンズのそれぞれに対して複数の受光部を有し、該受光部ごとに前記 結像光学系の異なる射出瞳領域を通過する光束を受光する受光部アレイと、 前記結像光学系の光路中に任意に設定された領域に入射する光束の光量を、前 記入射する光束の立体角度と該立体角度に応じた前記受光部の受光信号とに基づ V、て求める演算部とを備える。
[11] 光検出装置であって、 結像光学系と、
複数のマイクロレンズを、前記結像光学系の焦点面近傍に所定のピッチで二次元 状に配置したマイクロレンズアレイと、
前記マイクロレンズのそれぞれに対して複数の受光部を有し、該受光部ごとに前記 結像光学系の異なる射出瞳領域を通過する光束を受光する受光部アレイと、 前記複数の受光部で得られる受光信号に基づ 、て、前記複数の受光部を前記マ イク口レンズを介して前記結像光学系側へ投影した像の中間的な位置における光量 を補間して求める演算部とを備える。
[12] 光検出装置であって、
結像光学系と、
複数のマイクロレンズを、前記結像光学系の焦点面近傍に所定のピッチで二次元 状に配置した第 1のマイクロレンズアレイと、
前記第 1のマイクロレンズのそれぞれに対して複数の受光部を有し、該受光部ごと に前記結像光学系の異なる射出瞳領域を通過する光束を受光する受光部アレイと、 前記複数の受光部のそれぞれに対応して設けられた複数のマイクロレンズを配列 した第 2のマイクロレンズアレイとを備え、
前記第 2のマイクロレンズアレイの各マイクロレンズと前記複数の受光部のそれぞれ とは、前記第 1のマイクロレンズアレイの各マイクロレンズと前記第 2のマイクロレンズ アレイの各マイクロレンズとの位置関係に応じて偏倚している。
[13] 画像合成方法であって、
請求項 1に記載の画像入力装置の複数の受光部で得られる受光信号に基づ 、て 、前記所定範囲内の任意の位置に応じて異なる合成方法によって、前記任意の位 置を像面とする画像を合成する。
[14] 請求項 13に記載の画像合成方法において、
前記所定範囲内の位置に応じて前記受光信号に対する重み付けを決定することに より、前記画像を合成する。
[15] 光検出方法であって、
結像光学系の異なる射出瞳領域を通過する光束を、前記結像光学系の焦点面近 傍に所定ピッチで配列した複数のマイクロレンズを介して複数の受光部で受光し、 前記結像光学系の光路中に任意に設定された領域に入射する光束の光量を、前 記領域に入射する光束の立体角度と、該立体角度に応じた前記受光部で得られた 受光信号とに基づ!、て求める。
画像取得方法であって、
複数のマイクロレンズを、結像光学系の焦点面近傍に所定のピッチで二次元状に 配置したマイクロレンズアレイを設け、
前記マイクロレンズのそれぞれに対して複数の受光部を有し、該受光部ごとに前記 結像光学系の異なる射出瞳領域を通過する光束を受光する受光部アレイを設け、 前記マイクロレンズアレイ力も所定距離の範囲において、前記受光部の前記マイク 口レンズに関する像を形成する光束の断面の大きさが前記マイクロレンズのピッチと 同等以下となるように、前記マイクロレンズのパワーおよび前記マイクロレンズアレイと 受光部アレイとの間隔を決め、
前記受光部アレイ力 の出力に基づき画像を取得する。
PCT/JP2006/312505 2005-06-23 2006-06-22 画像入力装置、光検出装置、画像合成方法 WO2006137481A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US11/993,758 US7732744B2 (en) 2005-06-23 2006-06-22 Image input apparatus, photodetection apparatus, and image synthesis method

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2005183729A JP4826152B2 (ja) 2005-06-23 2005-06-23 画像合成方法及び撮像装置
JP2005-183729 2005-06-23

Publications (1)

Publication Number Publication Date
WO2006137481A1 true WO2006137481A1 (ja) 2006-12-28

Family

ID=37570508

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2006/312505 WO2006137481A1 (ja) 2005-06-23 2006-06-22 画像入力装置、光検出装置、画像合成方法

Country Status (3)

Country Link
US (1) US7732744B2 (ja)
JP (1) JP4826152B2 (ja)
WO (1) WO2006137481A1 (ja)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2010053178A1 (ja) * 2008-11-07 2010-05-14 株式会社ニコン 撮像装置および画像処理方法
EP2083446A3 (en) * 2008-01-28 2011-03-02 Sony Corporation Image pickup apparatus
EP2804370A3 (en) * 2008-08-29 2015-01-21 Sony Corporation Image pickup apparatus and image processing apparatus
WO2017150512A1 (ja) * 2016-03-01 2017-09-08 三菱電機株式会社 画像読取装置
KR20170126872A (ko) * 2015-01-29 2017-11-20 헵타곤 마이크로 옵틱스 피티이. 리미티드 패턴 조명을 생성하기 위한 장치
CN108139566A (zh) * 2015-08-19 2018-06-08 弗劳恩霍夫应用研究促进协会 多孔径成像设备、便携式设备以及制造多孔径成像设备的方法
CN112887637A (zh) * 2015-12-15 2021-06-01 交互数字Ce专利控股公司 校正光场照相机捕获的图像上引起的渐晕效应的方法和设备

Families Citing this family (273)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4645358B2 (ja) * 2004-08-20 2011-03-09 ソニー株式会社 撮像装置および撮像方法
US7880794B2 (en) * 2005-03-24 2011-02-01 Panasonic Corporation Imaging device including a plurality of lens elements and a imaging sensor
JP4826152B2 (ja) * 2005-06-23 2011-11-30 株式会社ニコン 画像合成方法及び撮像装置
US7620309B2 (en) * 2006-04-04 2009-11-17 Adobe Systems, Incorporated Plenoptic camera
US20100265385A1 (en) * 2009-04-18 2010-10-21 Knight Timothy J Light Field Camera Image, File and Configuration Data, and Methods of Using, Storing and Communicating Same
US10298834B2 (en) 2006-12-01 2019-05-21 Google Llc Video refocusing
US8559705B2 (en) * 2006-12-01 2013-10-15 Lytro, Inc. Interactive refocusing of electronic images
JP4803676B2 (ja) * 2007-03-09 2011-10-26 株式会社リコー 画像入力装置及び個人認証装置
JP5380782B2 (ja) * 2007-03-26 2014-01-08 株式会社ニコン 撮像装置
JP5179784B2 (ja) * 2007-06-07 2013-04-10 株式会社ユニバーサルエンターテインメント 三次元座標測定装置及び三次元座標測定装置において実行されるプログラム
US8290358B1 (en) * 2007-06-25 2012-10-16 Adobe Systems Incorporated Methods and apparatus for light-field imaging
DE102007031230B3 (de) * 2007-07-04 2008-10-30 Bundesdruckerei Gmbh Dokumentenerfassungssystem und Dokumentenerfassungsverfahren
JP4968527B2 (ja) * 2007-07-10 2012-07-04 ソニー株式会社 撮像装置
JP5115068B2 (ja) * 2007-07-13 2013-01-09 ソニー株式会社 撮像装置
JP4967873B2 (ja) * 2007-07-13 2012-07-04 ソニー株式会社 撮像装置
US8019215B2 (en) 2007-08-06 2011-09-13 Adobe Systems Incorporated Method and apparatus for radiance capture by multiplexing in the frequency domain
US20090122148A1 (en) * 2007-09-14 2009-05-14 Fife Keith G Disjoint light sensing arrangements and methods therefor
US8680451B2 (en) 2007-10-02 2014-03-25 Nikon Corporation Light receiving device, focus detection device and imaging device
US7956924B2 (en) * 2007-10-18 2011-06-07 Adobe Systems Incorporated Fast computational camera based on two arrays of lenses
JP4905326B2 (ja) * 2007-11-12 2012-03-28 ソニー株式会社 撮像装置
JP5224124B2 (ja) * 2007-12-12 2013-07-03 ソニー株式会社 撮像装置
JP5067154B2 (ja) * 2007-12-27 2012-11-07 ソニー株式会社 撮像装置
US8189065B2 (en) * 2008-01-23 2012-05-29 Adobe Systems Incorporated Methods and apparatus for full-resolution light-field capture and rendering
US7962033B2 (en) * 2008-01-23 2011-06-14 Adobe Systems Incorporated Methods and apparatus for full-resolution light-field capture and rendering
JP5130178B2 (ja) * 2008-03-17 2013-01-30 株式会社リコー 焦点距離検出装置及び撮像装置及び撮像方法及びカメラ
US8155456B2 (en) * 2008-04-29 2012-04-10 Adobe Systems Incorporated Method and apparatus for block-based compression of light-field images
EP4336447A1 (en) 2008-05-20 2024-03-13 FotoNation Limited Capturing and processing of images using monolithic camera array with heterogeneous imagers
US11792538B2 (en) 2008-05-20 2023-10-17 Adeia Imaging Llc Capturing and processing of images including occlusions focused on an image sensor by a lens stack array
US8866920B2 (en) 2008-05-20 2014-10-21 Pelican Imaging Corporation Capturing and processing of images using monolithic camera array with heterogeneous imagers
JP5229541B2 (ja) * 2008-05-29 2013-07-03 株式会社ニコン 距離測定装置、距離測定方法、及び、プログラム
US8244058B1 (en) 2008-05-30 2012-08-14 Adobe Systems Incorporated Method and apparatus for managing artifacts in frequency domain processing of light-field images
KR101483714B1 (ko) * 2008-06-18 2015-01-16 삼성전자 주식회사 디지털 촬상 장치 및 방법
JP4538766B2 (ja) * 2008-08-21 2010-09-08 ソニー株式会社 撮像装置、表示装置および画像処理装置
JP5256933B2 (ja) * 2008-08-25 2013-08-07 株式会社ニコン 焦点情報検出装置
JP5369563B2 (ja) * 2008-09-11 2013-12-18 株式会社ニコン 形状測定装置
JP5369564B2 (ja) * 2008-09-11 2013-12-18 株式会社ニコン 形状測定装置
KR101441586B1 (ko) * 2008-10-06 2014-09-23 삼성전자 주식회사 촬상 장치 및 촬상 방법
JP5245716B2 (ja) * 2008-10-27 2013-07-24 株式会社ニコン カメラレンズアダプタ及びカメラシステム
JP2010109921A (ja) * 2008-10-31 2010-05-13 Nikon Corp 画像合成装置
JP5472584B2 (ja) * 2008-11-21 2014-04-16 ソニー株式会社 撮像装置
WO2010065344A1 (en) 2008-11-25 2010-06-10 Refocus Imaging, Inc. System of and method for video refocusing
WO2010077625A1 (en) 2008-12-08 2010-07-08 Refocus Imaging, Inc. Light field data acquisition devices, and methods of using and manufacturing same
US7949252B1 (en) 2008-12-11 2011-05-24 Adobe Systems Incorporated Plenoptic camera with large depth of field
US9635253B2 (en) 2009-01-05 2017-04-25 Duke University Multiscale telescopic imaging system
US8259212B2 (en) * 2009-01-05 2012-09-04 Applied Quantum Technologies, Inc. Multiscale optical system
US9494771B2 (en) 2009-01-05 2016-11-15 Duke University Quasi-monocentric-lens-based multi-scale optical system
US9395617B2 (en) 2009-01-05 2016-07-19 Applied Quantum Technologies, Inc. Panoramic multi-scale imager and method therefor
US10725280B2 (en) 2009-01-05 2020-07-28 Duke University Multiscale telescopic imaging system
US9432591B2 (en) 2009-01-05 2016-08-30 Duke University Multiscale optical system having dynamic camera settings
US8189089B1 (en) 2009-01-20 2012-05-29 Adobe Systems Incorporated Methods and apparatus for reducing plenoptic camera artifacts
US8315476B1 (en) 2009-01-20 2012-11-20 Adobe Systems Incorporated Super-resolution with the focused plenoptic camera
JP4692654B2 (ja) * 2009-02-20 2011-06-01 株式会社ニコン 撮像装置および画像処理プログラム
US8570427B2 (en) 2009-01-28 2013-10-29 Nikon Corporation Image-capturing device having focus adjustment function, image creation method including focus adjustment function, and program product for image-capturing device having focus adjustment function
JP4710983B2 (ja) * 2009-01-28 2011-06-29 株式会社ニコン 画像合成装置、撮像装置、画像合成方法
JP5446311B2 (ja) * 2009-02-20 2014-03-19 株式会社ニコン 撮像装置
JP5195506B2 (ja) 2009-02-24 2013-05-08 株式会社ニコン 撮像装置および画像合成方法
JP4766133B2 (ja) 2009-03-11 2011-09-07 株式会社ニコン 撮像装置
DE102009013112A1 (de) * 2009-03-13 2010-09-16 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Verfahren zur Herstellung einer Vielzahl von mikrooptoelektronischen Bauelementen und mikrooptoelektronisches Bauelement
US8908058B2 (en) * 2009-04-18 2014-12-09 Lytro, Inc. Storage and transmission of pictures including multiple frames
JP5394814B2 (ja) * 2009-05-01 2014-01-22 三星電子株式会社 光検出素子及び撮像装置
JP5515396B2 (ja) * 2009-05-08 2014-06-11 ソニー株式会社 撮像装置
US8345144B1 (en) 2009-07-15 2013-01-01 Adobe Systems Incorporated Methods and apparatus for rich image capture with focused plenoptic cameras
US8228417B1 (en) 2009-07-15 2012-07-24 Adobe Systems Incorporated Focused plenoptic camera employing different apertures or filtering at different microlenses
US7949241B2 (en) * 2009-09-29 2011-05-24 Raytheon Company Anamorphic focal array
JP4952768B2 (ja) 2009-10-27 2012-06-13 株式会社ニコン 撮像装置および画像解析コンピュータプログラム
JP5434503B2 (ja) * 2009-11-16 2014-03-05 株式会社ニコン 画像合成装置および撮像装置
WO2011063347A2 (en) 2009-11-20 2011-05-26 Pelican Imaging Corporation Capturing and processing of images using monolithic camera array with heterogeneous imagers
JP5526733B2 (ja) * 2009-11-25 2014-06-18 株式会社ニコン 画像合成装置、画像再生装置、および撮像装置
US8400555B1 (en) 2009-12-01 2013-03-19 Adobe Systems Incorporated Focused plenoptic camera employing microlenses with different focal lengths
JP5490514B2 (ja) * 2009-12-22 2014-05-14 三星電子株式会社 撮像装置及び撮像方法
JP5273033B2 (ja) * 2009-12-25 2013-08-28 株式会社ニコン 撮像装置および画像再生装置
WO2011081187A1 (ja) * 2009-12-28 2011-07-07 株式会社ニコン 撮像素子、および、撮像装置
US8749620B1 (en) 2010-02-20 2014-06-10 Lytro, Inc. 3D light field cameras, images and files, and methods of using, operating, processing and viewing same
JP5499778B2 (ja) 2010-03-03 2014-05-21 株式会社ニコン 撮像装置
US8817015B2 (en) 2010-03-03 2014-08-26 Adobe Systems Incorporated Methods, apparatus, and computer-readable storage media for depth-based rendering of focused plenoptic camera data
WO2011139780A1 (en) 2010-04-27 2011-11-10 Duke University Monocentric lens-based multi-scale optical systems and methods of use
JP5848754B2 (ja) 2010-05-12 2016-01-27 ペリカン イメージング コーポレイション 撮像装置アレイおよびアレイカメラのためのアーキテクチャ
US8358366B1 (en) 2010-05-28 2013-01-22 Adobe Systems Incorporate Methods and apparatus for high-speed digital imaging
JP5671842B2 (ja) * 2010-06-03 2015-02-18 株式会社ニコン 画像処理装置および撮像装置
JP5488221B2 (ja) * 2010-06-09 2014-05-14 株式会社ニコン 撮像装置
JP6149339B2 (ja) 2010-06-16 2017-06-21 株式会社ニコン 表示装置
JP2016001326A (ja) * 2010-06-16 2016-01-07 株式会社ニコン 画像表示装置
SE535491C2 (sv) * 2010-06-21 2012-08-28 Rolling Optics Ab Metod och anordning för att läsa optiska anordningar
JP5423893B2 (ja) * 2010-06-28 2014-02-19 株式会社ニコン 撮像装置、画像処理装置、画像処理プログラム記録媒体
DE102010031535A1 (de) 2010-07-19 2012-01-19 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Bildaufnahmevorrichtung und Verfahren zum Aufnehmen eines Bildes
US8749694B2 (en) 2010-08-27 2014-06-10 Adobe Systems Incorporated Methods and apparatus for rendering focused plenoptic camera data using super-resolved demosaicing
US8665341B2 (en) 2010-08-27 2014-03-04 Adobe Systems Incorporated Methods and apparatus for rendering output images with simulated artistic effects from focused plenoptic camera data
US8803918B2 (en) 2010-08-27 2014-08-12 Adobe Systems Incorporated Methods and apparatus for calibrating focused plenoptic camera data
US8724000B2 (en) 2010-08-27 2014-05-13 Adobe Systems Incorporated Methods and apparatus for super-resolution in integral photography
US20140192238A1 (en) 2010-10-24 2014-07-10 Linx Computational Imaging Ltd. System and Method for Imaging and Image Processing
JP5549545B2 (ja) * 2010-11-02 2014-07-16 株式会社ニコン プロジェクタ
JP5418932B2 (ja) * 2010-11-16 2014-02-19 株式会社ニコン マルチバンドカメラ及びマルチバンド画像撮像方法
US8878950B2 (en) 2010-12-14 2014-11-04 Pelican Imaging Corporation Systems and methods for synthesizing high resolution images using super-resolution processes
US20120147247A1 (en) * 2010-12-14 2012-06-14 Samsung Electronics Co., Ltd. Optical system and imaging apparatus including the same
JP2012129713A (ja) * 2010-12-14 2012-07-05 Samsung Electronics Co Ltd 光学システム及びこれを備える撮像装置
JP5906062B2 (ja) * 2010-12-17 2016-04-20 キヤノン株式会社 撮像装置およびその制御方法
JP5699609B2 (ja) 2011-01-06 2015-04-15 ソニー株式会社 画像処理装置および画像処理方法
WO2012096153A1 (ja) * 2011-01-12 2012-07-19 株式会社ニコン 顕微鏡システム
US8797432B2 (en) * 2011-01-20 2014-08-05 Aptina Imaging Corporation Imaging system with an array of image sensors
US8803990B2 (en) 2011-01-25 2014-08-12 Aptina Imaging Corporation Imaging system with multiple sensors for producing high-dynamic-range images
JP5263310B2 (ja) * 2011-01-31 2013-08-14 株式会社ニコン 画像生成装置、撮像装置、画像生成方法
US8768102B1 (en) 2011-02-09 2014-07-01 Lytro, Inc. Downsampling light field images
JP2012191351A (ja) * 2011-03-09 2012-10-04 Sony Corp 撮像装置および画像処理方法
JP5716465B2 (ja) 2011-03-09 2015-05-13 ソニー株式会社 撮像装置
JP5623313B2 (ja) * 2011-03-10 2014-11-12 キヤノン株式会社 撮像装置および撮像光学系
US9197798B2 (en) 2011-03-25 2015-11-24 Adobe Systems Incorporated Thin plenoptic cameras using microspheres
JP5170276B2 (ja) 2011-03-31 2013-03-27 カシオ計算機株式会社 画像再構成装置、画像再構成方法、及び画像再構成プログラム
EP2708019B1 (en) 2011-05-11 2019-10-16 FotoNation Limited Systems and methods for transmitting and receiving array camera image data
US8531581B2 (en) * 2011-05-23 2013-09-10 Ricoh Co., Ltd. Focusing and focus metrics for a plenoptic imaging system
JP5984493B2 (ja) * 2011-06-24 2016-09-06 キヤノン株式会社 画像処理装置、画像処理方法、撮像装置およびプログラム
US20130265459A1 (en) 2011-06-28 2013-10-10 Pelican Imaging Corporation Optical arrangements for use with an array camera
JP5743769B2 (ja) * 2011-07-15 2015-07-01 キヤノン株式会社 画像処理装置および画像処理方法
JP6021306B2 (ja) 2011-07-25 2016-11-09 キヤノン株式会社 撮像装置およびその制御方法
JP6000520B2 (ja) 2011-07-25 2016-09-28 キヤノン株式会社 撮像装置およびその制御方法およびプログラム
US9184199B2 (en) 2011-08-01 2015-11-10 Lytro, Inc. Optical assembly including plenoptic microlens array
JP5618943B2 (ja) * 2011-08-19 2014-11-05 キヤノン株式会社 画像処理方法、撮像装置、画像処理装置、および、画像処理プログラム
JP2013064996A (ja) * 2011-08-26 2013-04-11 Nikon Corp 三次元画像表示装置
JP5623356B2 (ja) 2011-08-29 2014-11-12 キヤノン株式会社 撮像装置
JP5791437B2 (ja) * 2011-09-12 2015-10-07 キヤノン株式会社 画像処理方法、画像処理装置、撮像装置および画像処理プログラム
US20130070060A1 (en) 2011-09-19 2013-03-21 Pelican Imaging Corporation Systems and methods for determining depth from multiple views of a scene that include aliasing using hypothesized fusion
IN2014CN02708A (ja) 2011-09-28 2015-08-07 Pelican Imaging Corp
JP2013081087A (ja) * 2011-10-04 2013-05-02 Sony Corp 撮像装置
JP5705096B2 (ja) * 2011-12-02 2015-04-22 キヤノン株式会社 画像処理装置及び画像処理方法
US8854724B2 (en) 2012-03-27 2014-10-07 Ostendo Technologies, Inc. Spatio-temporal directional light modulator
US8928969B2 (en) 2011-12-06 2015-01-06 Ostendo Technologies, Inc. Spatio-optical directional light modulator
JP5943596B2 (ja) 2011-12-19 2016-07-05 キヤノン株式会社 撮像装置
JP5360190B2 (ja) * 2011-12-27 2013-12-04 カシオ計算機株式会社 画像処理装置、画像処理方法およびプログラム
JP5354005B2 (ja) * 2011-12-27 2013-11-27 カシオ計算機株式会社 画像処理装置、画像処理方法およびプログラム
US8941750B2 (en) * 2011-12-27 2015-01-27 Casio Computer Co., Ltd. Image processing device for generating reconstruction image, image generating method, and storage medium
JP5942428B2 (ja) * 2011-12-28 2016-06-29 カシオ計算機株式会社 再構成画像生成装置、再構成画像生成方法、及びプログラム
JP5818697B2 (ja) 2012-01-13 2015-11-18 キヤノン株式会社 画像生成方法、撮像装置および表示装置、プログラム、記憶媒体
US9137441B2 (en) 2012-02-16 2015-09-15 Ricoh Co., Ltd. Spatial reconstruction of plenoptic images
EP2817955B1 (en) 2012-02-21 2018-04-11 FotoNation Cayman Limited Systems and methods for the manipulation of captured light field image data
US9554115B2 (en) * 2012-02-27 2017-01-24 Semiconductor Components Industries, Llc Imaging pixels with depth sensing capabilities
US8811769B1 (en) 2012-02-28 2014-08-19 Lytro, Inc. Extended depth of field and variable center of perspective in light-field processing
US8831377B2 (en) 2012-02-28 2014-09-09 Lytro, Inc. Compensating for variation in microlens position during light-field image processing
US9420276B2 (en) 2012-02-28 2016-08-16 Lytro, Inc. Calibration of light-field camera geometry via robust fitting
US8995785B2 (en) 2012-02-28 2015-03-31 Lytro, Inc. Light-field processing and analysis, camera control, and user interfaces and interaction on light-field capture devices
US8948545B2 (en) 2012-02-28 2015-02-03 Lytro, Inc. Compensating for sensor saturation and microlens modulation during light-field image processing
JP6102061B2 (ja) 2012-02-28 2017-03-29 株式会社ニコン 画像処理装置
JP5882789B2 (ja) * 2012-03-01 2016-03-09 キヤノン株式会社 画像処理装置、画像処理方法、及びプログラム
JP6131545B2 (ja) * 2012-03-16 2017-05-24 株式会社ニコン 画像処理装置、撮像装置および画像処理プログラム
JP5459337B2 (ja) 2012-03-21 2014-04-02 カシオ計算機株式会社 撮像装置、画像処理方法及びプログラム
JP2013214254A (ja) * 2012-04-04 2013-10-17 Nikon Corp 情報検出装置
JP5947602B2 (ja) 2012-04-11 2016-07-06 キヤノン株式会社 撮像装置
JP6089440B2 (ja) * 2012-04-26 2017-03-08 株式会社ニコン 撮像素子および撮像装置
US9210392B2 (en) 2012-05-01 2015-12-08 Pelican Imaging Coporation Camera modules patterned with pi filter groups
JP5677366B2 (ja) 2012-05-21 2015-02-25 キヤノン株式会社 撮像装置
US9179126B2 (en) 2012-06-01 2015-11-03 Ostendo Technologies, Inc. Spatio-temporal light field cameras
JP6046922B2 (ja) * 2012-06-07 2016-12-21 キヤノン株式会社 焦点検出装置、撮像装置、制御方法、プログラム及び記録媒体
JP5914192B2 (ja) * 2012-06-11 2016-05-11 キヤノン株式会社 撮像装置及びその制御方法
JP5553862B2 (ja) * 2012-06-11 2014-07-16 キヤノン株式会社 撮像装置および撮像装置の制御方法
JP5553863B2 (ja) * 2012-06-11 2014-07-16 キヤノン株式会社 画像処理方法、撮像装置、画像処理装置、および、画像処理プログラム
JP6004768B2 (ja) * 2012-06-14 2016-10-12 キヤノン株式会社 焦点検出のための信号処理装置、信号処理方法およびプログラム、ならびに焦点検出装置を有する撮像装置
JP5968102B2 (ja) * 2012-06-15 2016-08-10 キヤノン株式会社 画像記録装置および画像再生装置
US9607424B2 (en) 2012-06-26 2017-03-28 Lytro, Inc. Depth-assigned content for depth-enhanced pictures
US10129524B2 (en) 2012-06-26 2018-11-13 Google Llc Depth-assigned content for depth-enhanced virtual reality images
US9858649B2 (en) 2015-09-30 2018-01-02 Lytro, Inc. Depth-based image blurring
JP2015534734A (ja) 2012-06-28 2015-12-03 ペリカン イメージング コーポレイション 欠陥のあるカメラアレイ、光学アレイ、およびセンサを検出するためのシステムおよび方法
US20140002674A1 (en) 2012-06-30 2014-01-02 Pelican Imaging Corporation Systems and Methods for Manufacturing Camera Modules Using Active Alignment of Lens Stack Arrays and Sensors
JP5631935B2 (ja) 2012-07-11 2014-11-26 株式会社東芝 画像処理装置、画像処理方法およびプログラム、ならびに、撮像装置
US9838618B2 (en) 2012-07-12 2017-12-05 Nikon Corporation Image processing device configured to correct output data based upon a point spread function
JP6188290B2 (ja) * 2012-08-03 2017-08-30 キヤノン株式会社 測距装置、撮像装置、ピント評価方法、プログラム及び記憶媒体
JP6029380B2 (ja) * 2012-08-14 2016-11-24 キヤノン株式会社 画像処理装置、画像処理装置を具備する撮像装置、画像処理方法、及びプログラム
SG11201500910RA (en) 2012-08-21 2015-03-30 Pelican Imaging Corp Systems and methods for parallax detection and correction in images captured using array cameras
WO2014032020A2 (en) 2012-08-23 2014-02-27 Pelican Imaging Corporation Feature based high resolution motion estimation from low resolution images captured using an array source
JP5988790B2 (ja) * 2012-09-12 2016-09-07 キヤノン株式会社 画像処理装置、撮像装置、画像処理方法、および、画像処理プログラム
WO2014043641A1 (en) 2012-09-14 2014-03-20 Pelican Imaging Corporation Systems and methods for correcting user identified artifacts in light field images
CN103681728B (zh) * 2012-09-20 2018-04-24 索尼公司 固体摄像装置及其方法以及电子设备
JP5756572B2 (ja) * 2012-09-25 2015-07-29 富士フイルム株式会社 画像処理装置及び方法並びに撮像装置
US20140092281A1 (en) 2012-09-28 2014-04-03 Pelican Imaging Corporation Generating Images from Light Fields Utilizing Virtual Viewpoints
JP6082223B2 (ja) * 2012-10-15 2017-02-15 キヤノン株式会社 撮像装置、その制御方法およびプログラム
US8997021B2 (en) 2012-11-06 2015-03-31 Lytro, Inc. Parallax and/or three-dimensional effects for thumbnail image displays
US9143711B2 (en) 2012-11-13 2015-09-22 Pelican Imaging Corporation Systems and methods for array camera focal plane control
US9667846B2 (en) * 2012-11-27 2017-05-30 Nokia Technologies Oy Plenoptic camera apparatus, a method and a computer program
US9001226B1 (en) 2012-12-04 2015-04-07 Lytro, Inc. Capturing and relighting images using multiple devices
TW201426018A (zh) * 2012-12-19 2014-07-01 Ind Tech Res Inst 影像處理裝置及影像再對焦方法
JP6198395B2 (ja) * 2013-01-08 2017-09-20 キヤノン株式会社 撮像装置及びその制御方法
US10327627B2 (en) 2013-01-18 2019-06-25 Ricoh Company, Ltd. Use of plenoptic otoscope data for aiding medical diagnosis
US9565996B2 (en) 2013-01-18 2017-02-14 Ricoh Company, Ltd. Plenoptic otoscope
KR20140094395A (ko) * 2013-01-22 2014-07-30 삼성전자주식회사 복수 개의 마이크로렌즈를 사용하여 촬영하는 촬영 장치 및 그 촬영 방법
JP6055332B2 (ja) * 2013-02-12 2016-12-27 キヤノン株式会社 画像処理装置、撮像装置、制御方法、及びプログラム
US9462164B2 (en) 2013-02-21 2016-10-04 Pelican Imaging Corporation Systems and methods for generating compressed light field representation data using captured light fields, array geometry, and parallax information
US9253380B2 (en) * 2013-02-24 2016-02-02 Pelican Imaging Corporation Thin form factor computational array cameras and modular array cameras
WO2014138695A1 (en) 2013-03-08 2014-09-12 Pelican Imaging Corporation Systems and methods for measuring scene information while capturing images using array cameras
US8866912B2 (en) 2013-03-10 2014-10-21 Pelican Imaging Corporation System and methods for calibration of an array camera using a single captured image
US9888194B2 (en) 2013-03-13 2018-02-06 Fotonation Cayman Limited Array camera architecture implementing quantum film image sensors
WO2014164550A2 (en) 2013-03-13 2014-10-09 Pelican Imaging Corporation System and methods for calibration of an array camera
US9106784B2 (en) 2013-03-13 2015-08-11 Pelican Imaging Corporation Systems and methods for controlling aliasing in images captured by an array camera for use in super-resolution processing
US9519972B2 (en) 2013-03-13 2016-12-13 Kip Peli P1 Lp Systems and methods for synthesizing images from image data captured by an array camera using restricted depth of field depth maps in which depth estimation precision varies
US9578259B2 (en) 2013-03-14 2017-02-21 Fotonation Cayman Limited Systems and methods for reducing motion blur in images or video in ultra low light with array cameras
US9100586B2 (en) 2013-03-14 2015-08-04 Pelican Imaging Corporation Systems and methods for photometric normalization in array cameras
US10122993B2 (en) 2013-03-15 2018-11-06 Fotonation Limited Autofocus system for a conventional camera that uses depth information from an array camera
US9497429B2 (en) 2013-03-15 2016-11-15 Pelican Imaging Corporation Extended color processing on pelican array cameras
EP2973476A4 (en) 2013-03-15 2017-01-18 Pelican Imaging Corporation Systems and methods for stereo imaging with camera arrays
US9497370B2 (en) 2013-03-15 2016-11-15 Pelican Imaging Corporation Array camera architecture implementing quantum dot color filters
US9445003B1 (en) 2013-03-15 2016-09-13 Pelican Imaging Corporation Systems and methods for synthesizing high resolution images using image deconvolution based on motion and depth information
US10334151B2 (en) 2013-04-22 2019-06-25 Google Llc Phase detection autofocus using subaperture images
JP6221327B2 (ja) * 2013-04-26 2017-11-01 株式会社ニコン 撮像素子およびカメラ
JP6239862B2 (ja) * 2013-05-20 2017-11-29 キヤノン株式会社 焦点調節装置、焦点調節方法およびプログラム、並びに撮像装置
KR102103983B1 (ko) * 2013-07-31 2020-04-23 삼성전자주식회사 시프트된 마이크로 렌즈 어레이를 구비하는 라이트 필드 영상 획득 장치
US9124828B1 (en) * 2013-09-19 2015-09-01 The United States Of America As Represented By The Secretary Of The Navy Apparatus and methods using a fly's eye lens system for the production of high dynamic range images
US9898856B2 (en) 2013-09-27 2018-02-20 Fotonation Cayman Limited Systems and methods for depth-assisted perspective distortion correction
US9185276B2 (en) 2013-11-07 2015-11-10 Pelican Imaging Corporation Methods of manufacturing array camera modules incorporating independently aligned lens stacks
WO2015074078A1 (en) 2013-11-18 2015-05-21 Pelican Imaging Corporation Estimating depth from projected texture using camera arrays
WO2015081279A1 (en) 2013-11-26 2015-06-04 Pelican Imaging Corporation Array camera configurations incorporating multiple constituent array cameras
US9538075B2 (en) 2013-12-30 2017-01-03 Indiana University Research And Technology Corporation Frequency domain processing techniques for plenoptic images
JP6476547B2 (ja) * 2014-01-28 2019-03-06 株式会社ニコン 焦点検出装置および撮像装置
JP6278728B2 (ja) * 2014-02-13 2018-02-14 キヤノン株式会社 画像処理装置、画像生成装置、制御方法およびプログラム
US10089740B2 (en) 2014-03-07 2018-10-02 Fotonation Limited System and methods for depth regularization and semiautomatic interactive matting using RGB-D images
JP6581333B2 (ja) 2014-03-14 2019-09-25 キヤノン株式会社 画像処理装置、撮像装置およびプログラム
JP2015185998A (ja) 2014-03-24 2015-10-22 株式会社東芝 画像処理方法および撮像装置
US9305375B2 (en) 2014-03-25 2016-04-05 Lytro, Inc. High-quality post-rendering depth blur
JP6360338B2 (ja) 2014-03-31 2018-07-18 キヤノン株式会社 画像処理装置、画像処理方法およびプログラム、並びに撮像装置
JP6506506B2 (ja) 2014-04-02 2019-04-24 キヤノン株式会社 画像処理装置、撮像装置、制御方法およびプログラム
JP2015198391A (ja) 2014-04-02 2015-11-09 キヤノン株式会社 撮像装置、撮像装置の制御方法、およびプログラム
US9521319B2 (en) 2014-06-18 2016-12-13 Pelican Imaging Corporation Array cameras and array camera modules including spectral filters disposed outside of a constituent image sensor
JP5721891B2 (ja) * 2014-08-01 2015-05-20 キヤノン株式会社 撮像装置
US9438778B2 (en) 2014-08-08 2016-09-06 Industrial Technology Research Institute Image pickup device and light field image pickup lens
JP2017526507A (ja) 2014-08-31 2017-09-14 ベレシュトカ，ジョン 目を解析するためのシステム及び方法
US9635332B2 (en) 2014-09-08 2017-04-25 Lytro, Inc. Saturated pixel recovery in light-field images
EP3467776A1 (en) 2014-09-29 2019-04-10 Fotonation Cayman Limited Systems and methods for dynamic calibration of array cameras
JP6585890B2 (ja) * 2014-09-30 2019-10-02 キヤノン株式会社 画像処理装置、画像処理方法およびプログラム、並びに撮像装置
JP6036799B2 (ja) * 2014-12-25 2016-11-30 株式会社ニコン 画像処理装置
US10469873B2 (en) 2015-04-15 2019-11-05 Google Llc Encoding and decoding virtual reality video
US10275898B1 (en) 2015-04-15 2019-04-30 Google Llc Wedge-based light-field video capture
US10444931B2 (en) 2017-05-09 2019-10-15 Google Llc Vantage generation and interactive playback
US11328446B2 (en) 2015-04-15 2022-05-10 Google Llc Combining light-field data with active depth data for depth map generation
US10440407B2 (en) 2017-05-09 2019-10-08 Google Llc Adaptive control for immersive experience delivery
US10412373B2 (en) 2015-04-15 2019-09-10 Google Llc Image capture for virtual reality displays
US10565734B2 (en) 2015-04-15 2020-02-18 Google Llc Video capture, processing, calibration, computational fiber artifact removal, and light-field pipeline
US10419737B2 (en) 2015-04-15 2019-09-17 Google Llc Data structures and delivery methods for expediting virtual reality playback
US10341632B2 (en) 2015-04-15 2019-07-02 Google Llc. Spatial random access enabled video system with a three-dimensional viewing volume
US10567464B2 (en) 2015-04-15 2020-02-18 Google Llc Video compression with adaptive view-dependent lighting removal
US10540818B2 (en) 2015-04-15 2020-01-21 Google Llc Stereo image generation and interactive playback
US10546424B2 (en) 2015-04-15 2020-01-28 Google Llc Layered content delivery for virtual and augmented reality experiences
US9942474B2 (en) 2015-04-17 2018-04-10 Fotonation Cayman Limited Systems and methods for performing high speed video capture and depth estimation using array cameras
EP3110130A1 (en) * 2015-06-25 2016-12-28 Thomson Licensing Plenoptic camera and method of controlling the same
US9979909B2 (en) 2015-07-24 2018-05-22 Lytro, Inc. Automatic lens flare detection and correction for light-field images
EP3144888A1 (en) * 2015-09-17 2017-03-22 Thomson Licensing An apparatus and a method for generating data representing a pixel beam
JP6600217B2 (ja) * 2015-09-30 2019-10-30 キヤノン株式会社 画像処理装置および画像処理方法、撮像装置およびその制御方法
CN106610521B (zh) * 2015-10-22 2019-11-19 中强光电股份有限公司 取像装置以及影像拍摄方法
US10098529B2 (en) 2015-10-28 2018-10-16 Ricoh Company, Ltd. Optical design of a light field otoscope
JP6028082B2 (ja) * 2015-11-02 2016-11-16 オリンパス株式会社 撮像装置
US10275892B2 (en) 2016-06-09 2019-04-30 Google Llc Multi-view scene segmentation and propagation
EP3288253A1 (en) * 2016-08-25 2018-02-28 Thomson Licensing Method and apparatus for generating data representative of a bokeh associated to light-field data
JP6376206B2 (ja) * 2016-11-04 2018-08-22 株式会社ニコン 画像処理装置および撮像装置
US10679361B2 (en) 2016-12-05 2020-06-09 Google Llc Multi-view rotoscope contour propagation
US10296780B2 (en) 2017-03-07 2019-05-21 Ricoh Company, Ltd. Automatic eardrum registration from light field data
US10594945B2 (en) 2017-04-03 2020-03-17 Google Llc Generating dolly zoom effect using light field image data
US10474227B2 (en) 2017-05-09 2019-11-12 Google Llc Generation of virtual reality with 6 degrees of freedom from limited viewer data
US10354399B2 (en) 2017-05-25 2019-07-16 Google Llc Multi-view back-projection to a light-field
US10482618B2 (en) 2017-08-21 2019-11-19 Fotonation Limited Systems and methods for hybrid depth regularization
US10545215B2 (en) 2017-09-13 2020-01-28 Google Llc 4D camera tracking and optical stabilization
US11143865B1 (en) * 2017-12-05 2021-10-12 Apple Inc. Lens array for shifting perspective of an imaging system
US11692813B2 (en) * 2017-12-27 2023-07-04 Ams Sensors Singapore Pte. Ltd. Optoelectronic modules and methods for operating the same
US10965862B2 (en) 2018-01-18 2021-03-30 Google Llc Multi-camera navigation interface
JP6508385B2 (ja) * 2018-03-30 2019-05-08 株式会社ニコン 撮像素子および撮像装置
CN111694183A (zh) * 2019-03-11 2020-09-22 京东方科技集团股份有限公司 显示装置及其显示方法
MX2022003020A (es) 2019-09-17 2022-06-14 Boston Polarimetrics Inc Sistemas y metodos para modelado de superficie usando se?ales de polarizacion.
CA3157197A1 (en) 2019-10-07 2021-04-15 Boston Polarimetrics, Inc. Systems and methods for surface normals sensing with polarization
KR102558903B1 (ko) 2019-11-30 2023-07-24 보스턴 폴라리메트릭스, 인크. 편광 신호를 이용한 투명 물체 분할을 위한 시스템 및 방법
KR20210081767A (ko) * 2019-12-24 2021-07-02 삼성전자주식회사 이미지 장치 및 이미지 센싱 방법
JP7462769B2 (ja) 2020-01-29 2024-04-05 イントリンジック イノベーション エルエルシー 物体の姿勢の検出および測定システムを特徴付けるためのシステムおよび方法
WO2021154459A1 (en) 2020-01-30 2021-08-05 Boston Polarimetrics, Inc. Systems and methods for synthesizing data for training statistical models on different imaging modalities including polarized images
US11953700B2 (en) 2020-05-27 2024-04-09 Intrinsic Innovation Llc Multi-aperture polarization optical systems using beam splitters
US12020455B2 (en) 2021-03-10 2024-06-25 Intrinsic Innovation Llc Systems and methods for high dynamic range image reconstruction
US11290658B1 (en) 2021-04-15 2022-03-29 Boston Polarimetrics, Inc. Systems and methods for camera exposure control
US11954886B2 (en) 2021-04-15 2024-04-09 Intrinsic Innovation Llc Systems and methods for six-degree of freedom pose estimation of deformable objects
CN113484939A (zh) * 2021-06-08 2021-10-08 南京大学 基于平面透镜的宽视角成像方法
US11689813B2 (en) 2021-07-01 2023-06-27 Intrinsic Innovation Llc Systems and methods for high dynamic range imaging using crossed polarizers
WO2023247054A1 (en) * 2022-06-24 2023-12-28 Dream Chip Technologies Gmbh Method and image processor unit for processing data provided by an image sensor
WO2024135218A1 (ja) * 2022-12-19 2024-06-27 国立大学法人広島大学 画像処理装置、画像処理方法およびプログラム

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003084259A (ja) * 2001-09-10 2003-03-19 Citizen Electronics Co Ltd 密着イメージセンサー用複合液晶マイクロレンズ
JP2003141529A (ja) * 2001-11-02 2003-05-16 Japan Science & Technology Corp 画像再構成法及び画像再構成装置
JP2004096358A (ja) * 2002-08-30 2004-03-25 Olympus Corp 撮像素子
JP2004191893A (ja) * 2002-12-13 2004-07-08 Canon Inc 撮像装置
WO2005055592A1 (ja) * 2003-12-01 2005-06-16 Japan Science And Technology Agency 画像構成装置及び画像構成方法

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5076687A (en) 1990-08-28 1991-12-31 Massachusetts Institute Of Technology Optical ranging apparatus
JPH1062609A (ja) * 1996-08-22 1998-03-06 Nikon Corp マイクロレンズ及び該レンズを用いた撮像装置
JP4352554B2 (ja) 2000-01-26 2009-10-28 株式会社ニコン 電子カメラ
JP4752031B2 (ja) * 2004-10-01 2011-08-17 ボード オブ トラスティーズ オブ ザ レランド スタンフォード ジュニア ユニバーシティ 撮像の装置と方法
JP4826152B2 (ja) * 2005-06-23 2011-11-30 株式会社ニコン 画像合成方法及び撮像装置
US7723662B2 (en) * 2005-10-07 2010-05-25 The Board Of Trustees Of The Leland Stanford Junior University Microscopy arrangements and approaches
US8248515B2 (en) * 2006-02-07 2012-08-21 The Board Of Trustees Of The Leland Stanford Junior University Variable imaging arrangements and methods therefor
US7620309B2 (en) * 2006-04-04 2009-11-17 Adobe Systems, Incorporated Plenoptic camera
JP4264569B2 (ja) * 2007-01-09 2009-05-20 ソニー株式会社 撮像装置
US7792423B2 (en) * 2007-02-06 2010-09-07 Mitsubishi Electric Research Laboratories, Inc. 4D light field cameras
JP4967873B2 (ja) * 2007-07-13 2012-07-04 ソニー株式会社 撮像装置
US7956924B2 (en) * 2007-10-18 2011-06-07 Adobe Systems Incorporated Fast computational camera based on two arrays of lenses
US7962033B2 (en) * 2008-01-23 2011-06-14 Adobe Systems Incorporated Methods and apparatus for full-resolution light-field capture and rendering
JP4941332B2 (ja) * 2008-01-28 2012-05-30 ソニー株式会社 撮像装置
JP4483951B2 (ja) * 2008-01-28 2010-06-16 ソニー株式会社 撮像装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003084259A (ja) * 2001-09-10 2003-03-19 Citizen Electronics Co Ltd 密着イメージセンサー用複合液晶マイクロレンズ
JP2003141529A (ja) * 2001-11-02 2003-05-16 Japan Science & Technology Corp 画像再構成法及び画像再構成装置
JP2004096358A (ja) * 2002-08-30 2004-03-25 Olympus Corp 撮像素子
JP2004191893A (ja) * 2002-12-13 2004-07-08 Canon Inc 撮像装置
WO2005055592A1 (ja) * 2003-12-01 2005-06-16 Japan Science And Technology Agency 画像構成装置及び画像構成方法

Cited By (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2083446A3 (en) * 2008-01-28 2011-03-02 Sony Corporation Image pickup apparatus
US8102459B2 (en) 2008-01-28 2012-01-24 Sony Corporation Image pickup apparatus
EP2804370A3 (en) * 2008-08-29 2015-01-21 Sony Corporation Image pickup apparatus and image processing apparatus
WO2010053178A1 (ja) * 2008-11-07 2010-05-14 株式会社ニコン 撮像装置および画像処理方法
JP2010114758A (ja) * 2008-11-07 2010-05-20 Nikon Corp 画像合成装置および方法
US8749657B2 (en) 2008-11-07 2014-06-10 Nikon Corporation Image-capturing device and image processing method
US10230894B2 (en) 2008-11-07 2019-03-12 Nikon Corporation Image-capturing device and image processing method
US9794477B2 (en) 2008-11-07 2017-10-17 Nikon Corporation Image-capturing device and image processing method
KR20170126872A (ko) * 2015-01-29 2017-11-20 헵타곤 마이크로 옵틱스 피티이. 리미티드 패턴 조명을 생성하기 위한 장치
KR102544297B1 (ko) 2015-01-29 2023-06-15 에이엠에스-오스람 아시아 퍼시픽 피티이. 리미티드 패턴 조명을 생성하기 위한 장치
CN108139566A (zh) * 2015-08-19 2018-06-08 弗劳恩霍夫应用研究促进协会 多孔径成像设备、便携式设备以及制造多孔径成像设备的方法
CN108139566B (zh) * 2015-08-19 2021-02-19 弗劳恩霍夫应用研究促进协会 多孔径成像设备、便携式设备以及制造方法
CN112887637A (zh) * 2015-12-15 2021-06-01 交互数字Ce专利控股公司 校正光场照相机捕获的图像上引起的渐晕效应的方法和设备
JPWO2017150512A1 (ja) * 2016-03-01 2018-06-28 三菱電機株式会社 画像読取装置
WO2017150512A1 (ja) * 2016-03-01 2017-09-08 三菱電機株式会社 画像読取装置
US10270944B2 (en) 2016-03-01 2019-04-23 Mitsubishi Electric Corporation Image capturing device

Also Published As

Publication number Publication date
US7732744B2 (en) 2010-06-08
JP4826152B2 (ja) 2011-11-30
JP2007004471A (ja) 2007-01-11
US20090140131A1 (en) 2009-06-04

Similar Documents

Publication Publication Date Title
WO2006137481A1 (ja) 画像入力装置、光検出装置、画像合成方法
JP5218611B2 (ja) 画像合成方法及び撮像装置
JP5066851B2 (ja) 撮像装置
US9204067B2 (en) Image sensor and image capturing apparatus
JP4699995B2 (ja) 複眼撮像装置及び撮像方法
JP5649091B2 (ja) 画像キャプチャ装置および画像キャプチャ方法
CN103688536B (zh) 图像处理装置、图像处理方法
JP6838994B2 (ja) 撮像装置、撮像装置の制御方法およびプログラム
JP5591851B2 (ja) 固体撮像装置および携帯情報端末
EP2630789A1 (en) System and method for imaging and image processing
JP5704975B2 (ja) 画像処理装置、画像処理方法、およびプログラム
JP2011081271A (ja) 撮像装置
CN107431755B (zh) 图像处理设备、摄像设备、图像处理方法和存储介质
JP5348258B2 (ja) 撮像装置
JP2010026011A (ja) 撮像装置
WO2017126242A1 (ja) 撮像装置、及び、画像データ生成方法
JP2009047734A (ja) 撮像装置及び画像処理プログラム
JP7150785B2 (ja) 画像処理装置、撮像装置、画像処理方法、および、記憶媒体
JP6600217B2 (ja) 画像処理装置および画像処理方法、撮像装置およびその制御方法
JP6802633B2 (ja) 撮像素子、撮像装置、画像生成方法、及びプログラム
JP7501696B2 (ja) 撮像装置
JPH10164413A (ja) 撮像装置
JP6476630B2 (ja) 撮像装置
JP5691440B2 (ja) 撮像装置
JP5978570B2 (ja) 撮像装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application
WWE Wipo information: entry into national phase

Ref document number: 11993758

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 06767163

Country of ref document: EP

Kind code of ref document: A1