JP4950916B2 - 撮像素子の製造方法 - Google Patents

撮像素子の製造方法 Download PDF

Info

Publication number
JP4950916B2
JP4950916B2 JP2008041677A JP2008041677A JP4950916B2 JP 4950916 B2 JP4950916 B2 JP 4950916B2 JP 2008041677 A JP2008041677 A JP 2008041677A JP 2008041677 A JP2008041677 A JP 2008041677A JP 4950916 B2 JP4950916 B2 JP 4950916B2
Authority
JP
Japan
Prior art keywords
image
imaging
parallax
light
pixel
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2008041677A
Other languages
English (en)
Other versions
JP2008153691A (ja
Inventor
道芳 永島
勝巳 今田
青児 西脇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Corp
Panasonic Holdings Corp
Original Assignee
Panasonic Corp
Matsushita Electric Industrial Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Corp, Matsushita Electric Industrial Co Ltd filed Critical Panasonic Corp
Priority to JP2008041677A priority Critical patent/JP4950916B2/ja
Publication of JP2008153691A publication Critical patent/JP2008153691A/ja
Application granted granted Critical
Publication of JP4950916B2 publication Critical patent/JP4950916B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B13/00Optical objectives specially designed for the purposes specified below
    • G02B13/001Miniaturised objectives for electronic devices, e.g. portable telephones, webcams, PDAs, small digital cameras
    • G02B13/0055Miniaturised objectives for electronic devices, e.g. portable telephones, webcams, PDAs, small digital cameras employing a special optical element
    • HELECTRICITY
    • H01ELECTRIC ELEMENTS
    • H01LSEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144Devices controlled by radiation
    • H01L27/146Imager structures
    • H01L27/14601Structural or functional details thereof
    • H01L27/14625Optical elements or arrangements associated with the device
    • HELECTRICITY
    • H01ELECTRIC ELEMENTS
    • H01LSEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144Devices controlled by radiation
    • H01L27/146Imager structures
    • H01L27/14601Structural or functional details thereof
    • H01L27/14625Optical elements or arrangements associated with the device
    • H01L27/14627Microlenses
    • HELECTRICITY
    • H01ELECTRIC ELEMENTS
    • H01LSEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144Devices controlled by radiation
    • H01L27/146Imager structures
    • H01L27/14683Processes or apparatus peculiar to the manufacture or treatment of these devices or parts thereof
    • H01L27/14685Process for coatings or optical elements
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H04N23/13Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths with multiple sensors
    • H04N23/15Image signal generation with circuitry for avoiding or correcting image misregistration
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50Constructional details
    • H04N23/54Mounting of pick-up tubes, electronic image sensors, deviation or focusing coils
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50Constructional details
    • H04N23/55Optical parts specially adapted for electronic image sensors; Mounting thereof
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/67Focus control based on electronic image sensor signals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/68Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/68Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/682Vibration or motion blur correction
    • H04N23/684Vibration or motion blur correction performed by controlling the image sensor readout, e.g. by controlling the integration time
    • H04N23/6845Vibration or motion blur correction performed by controlling the image sensor readout, e.g. by controlling the integration time by combination of a plurality of images sequentially taken
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/68Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/682Vibration or motion blur correction
    • H04N23/685Vibration or motion blur correction performed by mechanical compensation
    • H04N23/687Vibration or motion blur correction performed by mechanical compensation by shifting the lens or sensor position
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/134Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on three different wavelength filter elements
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/40Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
    • H04N25/41Extracting pixel data from a plurality of image sensors simultaneously picking up an image, e.g. for increasing the field of view by combining the outputs of a plurality of sensors
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2209/00Details of colour television systems
    • H04N2209/04Picture signal generators
    • H04N2209/041Picture signal generators using solid-state devices
    • H04N2209/048Picture signal generators using solid-state devices having several pick-up sensors

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Power Engineering (AREA)
  • General Physics & Mathematics (AREA)
  • Microelectronics & Electronic Packaging (AREA)
  • Electromagnetism (AREA)
  • Condensed Matter Physics & Semiconductors (AREA)
  • Computer Hardware Design (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Optics & Photonics (AREA)
  • Studio Devices (AREA)
  • Color Television Image Signal Generators (AREA)
  • Solid State Image Pick-Up Elements (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Cameras In General (AREA)

Description

本発明は、撮像素子の製造方法に関する。
カメラが搭載された携帯電話などの携帯機器が普及し、その携帯機器のより小型化、薄型化、高機能化に伴い、小型、薄型、高機能の撮像装置が要求されている。
従来、組み合わせレンズと撮像素子とを用い、組み合わせレンズの一部を機械的に移動させることにより拡大写真(ズーム)を撮像する撮像装置が知られている(例えば、特許文献1参照)。
図33は、従来の撮像装置の断面図である。
図33において、2001は凹レンズ、2002は凸レンズ、2003はフィルター、2004は撮像素子、2005はデジタル信号プロセッサー(DSP)などの演算装置を含む基板である。レンズ系の光軸2006が撮像素子2004のほぼ中心を通過するように、凹レンズ2001、凸レンズ2002、フィルター2003、撮像素子2004、および基板2005が筐体2007に配置される。筐体の開口2007aを通過して筐体2007内に入ってきた被写体からの光は、凹レンズ2001および凸レンズ2002によって、撮像素子2004上に絞られる。フィルター2003により赤外光などの不要な光が撮像素子2004に入射するのが防止される。このとき、被写体からの光に含まれる赤色波長帯域の光、青色波長帯域の光および緑色波長帯域の光が、同じ撮像位置に且つ同じ像倍率で絞られるように、凹レンズ2001および凸レンズ2002を適切に組み合わせることにより、色収差による撮像画像の劣化を防止できる。撮像素子2004上に絞られた光は、撮像素子2004で電気信号に変換され、基板2005中に含まれる演算装置によって処理される。この図33には、アクチュエーターを示していないが、一般にレンズ系全体、または、レンズ系の一部を移動させ、被写体とレンズ系との間隔に応じて焦点制御することにより、鮮明な画像を得ることができる。また、凸レンズ2002を移動させて光学系の倍率を変えることにより、拡大写真(ズーム)を撮像することができる。この様なレンズの移動は、永久磁石、電磁石、バネ材などで構成され、電磁的に駆動するアクチュエーターを用いて行われる。
特開2003−255225号公報
しかしながら、前記従来の撮像装置では、組み合わせレンズを用いるために薄くすることができず、カメラを搭載する携帯機器が厚くなると云う課題を有していた。
本発明は、広角度で斜入射の光を効率よく受光する撮像素子を効率よく製造できる方法を提供することにある。
本発明の撮像素子の製造方法は、複数の画素のそれぞれの受光部の上に第1の光学材料からなる第1層を形成する工程と、前記第1層の前記受光部の上の位置に第1穴を形成する工程と、前記第1穴に前記第1の光学材料よりも屈折率の高い第2の光学材料を埋め込む工程と、前記第1穴に埋め込まれた前記第2の光学材料及び前記第1層の上に、前記第1の光学材料からなる第2層を形成する工程と、前記第2層の前記受光部が対向する位置に第2穴を形成する工程と、前記第2穴に前記第2の光学材料を埋め込む工程と、前記第2穴に埋め込まれた前記第2の光学材料の上にフォトレジスト層を形成する工程と、前記フォトレジスト層を熱処理して前記フォトレジスト層の上面を丸く変形させる工程と、前記丸く変形されたフォトレジスト層の上部からエッチング処理することにより、前記第2穴に埋め込まれた前記第2の光学材料の上面をレンズ形状に加工する工程とを備えることを特徴とする。
本発明の第1の撮像装置は、複数の光学系と、前記複数の光学系と一対一に対応する複数の撮像領域とを備え、前記撮像領域のそれぞれが複数の画素を有し、前記光学系のそれぞれの光軸上に前記撮像領域が1つずつ配置された撮像装置であって、更に、前記撮像領域のそれぞれの原点を検出する原点検出手段と、前記原点を基準として前記撮像領域に含まれる前記複数の画素の位置を特定する画素位置特定手段と、前記撮像領域のそれぞれが撮像した複数の画像を合成する合成手段とを備えることを特徴とする。
これにより、撮像装置の実装後にそれぞれの撮像領域の原点を検出し、それぞれの撮像領域に含まれる複数の画素の位置を特定することができるので、実装時点では、光学系のそれぞれの光軸と撮像領域の原点との位置関係を高精度に合わせる必要が無く、撮像装置の実装が容易になる。また、一対一に対応する複数の光学系と複数の撮像領域とを備えることにより、各光学系の色収差を緩和して光学系を薄くし、薄型の撮像装置を提供できる。
本発明の上記の第1の撮像装置において、前記原点検出手段は、前記複数の光学系と前記複数の撮像領域とを用いて撮像された被写体の複数の画像を用いて、前記撮像領域のそれぞれの前記原点を検出することが好ましい。これにより、前記原点検出が容易になる。
この場合において、前記被写体が実質的に無限遠に設置された略白色の略点光源であることが好ましい。これにより、前記原点検出の精度が向上する。
この場合において、前記原点検出手段は、前記撮像領域に含まれる前記複数の画素のうち、受光光量が最大となる画素の位置を前記原点として検出することが好ましい。これにより、前記原点検出の精度がより向上する。
あるいは、前記原点検出手段は、前記撮像領域に含まれる前記複数の画素がそれぞれ受光した光量に基づいて隣り合う画素間の光量を内挿し、受光光量が最大となる位置を前記原点として検出することが好ましい。これにより、前記原点検出の精度が更に向上する。
本発明の上記の第1の撮像装置において、前記光学系及び前記撮像領域の数がいずれも4個であり、前記合成手段は前記4個の撮像領域が撮像した4つの画像を合成することが好ましい。これにより、効率的な画像合成を実現できる。
この場合において、前記4個の撮像領域は碁盤状に配置されており、前記4個の撮像領域のうち、対角線上に配置された2個は緑色画像を撮像し、他の1個は赤色画像を撮像し、残りの1個は青色画像を撮像することが好ましい。これにより、前記被写体からの光を緑色、赤色、あるいは青色の波長帯域に分割して撮像するので、それぞれの波長帯域に対応する光学系に要求される色収差が緩和され、それぞれの光学系を薄くでき、撮像装置を薄くできる。
この場合、前記緑色画像を撮像する前記2個の撮像領域とこれらに対応する2個の前記光学系との間にそれぞれ配置された緑色のカラーフィルターと、前記赤色画像を撮像する前記1個の撮像領域とこれに対応する1個の前記光学系との間に配置された赤色のカラーフィルターと、前記青色画像を撮像する前記1個の撮像領域とこれに対応する1個の前記光学系との間に配置された青色のカラーフィルターと、それぞれの前記カラーフィルターの境界に設けられた遮光板とを更に備えることが好ましい。これにより、一つの波長帯域の光が、他の波長帯域を撮像する撮像領域に混入する事を防ぎ、鮮明なカラー画像を得ることができる。
また、2つの前記緑色画像のうち、一方を緑色基準画像とし、他方を緑色副画像とし、前記2つの緑色画像を比較して前記緑色副画像の視差を検出し、前記緑色副画像の前記視差を用いて前記赤色画像の視差及び前記青色画像の視差を求め、前記緑色副画像、前記赤色画像、及び前記青色画像のそれぞれの前記視差が減少し又は無くなるように前記緑色副画像、前記赤色画像、及び前記青色画像を補正する補正手段を更に備え、前記合成手段は、前記緑色基準画像と、補正された前記緑色副画像と、補正された前記赤色画像と、補正された前記青色画像とを合成してカラー画像を得ることが好ましい。これにより、前記複数の光学系を用いて撮像するために生じる視差を補正し、鮮明なカラー画像を得ることができる。
あるいは、2つの前記緑色画像のうち、一方を緑色基準画像とし、他方を緑色副画像とし、前記2つの緑色画像を比較して前記緑色副画像の視差を検出し、前記緑色副画像の前記視差を用いて前記赤色画像の視差及び前記青色画像の視差を求め、前記赤色画像、及び前記青色画像のそれぞれの前記視差が減少し又は無くなるように前記赤色画像及び前記青色画像を補正する補正手段を更に備え、前記合成手段は、前記緑色基準画像と、補正された前記赤色画像と、補正された前記青色画像とを合成してカラー画像を得ることが好ましい。これにより、前記複数の光学系を用いて撮像するために生じる視差を補正し、鮮明なカラー画像を得ることができる。しかも、前記緑色副画像の視差を補正する必要がなく、且つ、画像合成に補正後の緑色副画像が必要ではないので、画像合成が簡単である。
前記補正手段は、前記緑色基準画像を撮像する前記撮像領域の前記原点と前記緑色副画像を撮像する前記撮像領域の前記原点とを結ぶ方向をG方向とし、前記緑色基準画像を撮像する前記撮像領域の前記原点と前記赤色画像を撮像する前記撮像領域の前記原点とを結ぶ方向をR方向とし、前記緑色基準画像を撮像する前記撮像領域の前記原点と前記青色画像を撮像する前記撮像領域の前記原点とを結ぶ方向をB方向とし、前記緑色基準画像を基準にして、前記緑色副画像の視差を前記G方向のベクトルで定量化し、前記ベクトルで定量化された前記視差を基に、前記赤色画像の前記R方向の視差が減少し又は無くなるように前記赤色画像のデータを補正し、前記ベクトルで定量化された前記視差を基に、前記青色画像の前記B方向の視差が減少し又は無くなるように前記青色画像のデータを補正することが好ましい。これにより、前記視差を補正する精度が向上する。
また、前記補正手段は、前記緑色基準画像を構成する画素群の中から光量分布を求めるための基準となる複数の基準画素を選抜し、前記緑色副画像を構成する画素群の中から前記複数の基準画素に対応する、視差を調査するための複数の調査用画素を選抜し、前記複数の基準画素のそれぞれの光量を検出し、その光量の分布を第1光量分布として求め、前記複数の調査用画素のそれぞれの光量を検出し、その光量の分布を第2光量分布として求め、前記第1光量分布と前記第2光量分布とを比較し、それぞれの光量分布に含まれる共通する特徴的部分を認識し、前記第1光量分布に含まれる前記特徴的部分と前記第2光量分布に含まれる前記特徴的部分との間の変位を算出し、前記変位をもとに前記緑色副画像の視差の大きさを定量化することが好ましい。これにより、前記視差を補正する精度がより向上する。
この場合において、前記補正手段は、前記複数の基準画素間に仮想の画素を内挿して前記第1光量分布を求め、前記複数の調査用画素間に仮想の画素を内挿して前記第2光量分布を求めることが好ましい。これにより、視差を補正する精度が更に向上する。
本発明の上記の第1の撮像装置において、異なる時刻に複数回の撮像を行い、各撮像回ごとに前記複数の撮像領域がそれぞれ撮像した複数の画像を合成して前記複数回の撮像に一対一に対応する複数の第1合成画像を作り、前記複数の第1合成画像を比較し、前記複数の第1合成画像のうち一致する部分が重なるように前記複数の第1合成画像を移動して更に合成して第2合成画像を作ることが好ましい。これにより、手振れが補正された画像を得ることができる。
この場合において、前記複数の撮像領域がそれぞれ撮像した前記複数の画像のそれぞれは、緑色画像、赤色画像、又は青色画像であり、前記複数の第1合成画像はカラー画像であることが好ましい。これにより、手振れが補正され、且つ、前記視差が補正された鮮明なカラー画像を得ることができる。
あるいは、本発明の上記の第1の撮像装置において、異なる時刻に複数回の撮像を行い、同じ前記撮像領域が異なる時刻に撮像した複数の画像を比較し、前記複数の画像のうち一致する部分が重なるように前記複数の画像を移動して合成して、前記複数の撮像領域に一対一に対応する複数の第1合成画像を作り、前記複数の第1合成画像を更に合成して第2合成画像を作ることが好ましい。これにより、手振れが補正された画像を得ることができる。
この場合において、前記複数回の撮像を行った複数の時刻のうちの1つの時刻を前記複数の撮像領域に共通する基準時とし、前記基準時に撮像された画像の座標を維持しながら、前記基準時に撮像された画像に対して前記基準時以外の時刻に撮像された画像を移動して合成して前記複数の第1合成画像を作ることが好ましい。これにより、前記視差を補正する精度が向上する。
また、前記複数の第1合成画像のぞれぞれは緑色画像、赤色画像、又は青色画像であり、前記第2合成画像はカラー画像であることが好ましい。これにより、手振れが補正され、且つ、前記視差が補正された鮮明なカラー画像を得ることができる。
本発明の携帯機器は、上記の本発明の第1の撮像装置と、前記撮像装置に近接して設置された角速度センサーとを備え、前記角速度センサーにより検出した前記撮像装置の移動量を用いて手振れ補正を行う。これにより、高速に手振れを補正できる携帯機器を実現できる。
本発明の上記の第1の撮像装置において、前記複数の光学系及び前記複数の撮像領域のうちの一方を他方に対して一体的に移動して、前記複数の光学系と前記複数の撮像領域との相対的位置を、前記複数の光学系のそれぞれの光軸に対して平行な方向又は垂直な方向に変化させる駆動手段を更に備えることが好ましい。これにより、焦点制御機能や拡大写真機能を実現できる。
この場合において、前記駆動手段は、前記複数の光学系と前記複数の撮像領域との相対的位置を、前記複数の光学系のそれぞれの光軸に垂直で、且つ、互いに直交する2方向に変化させることが好ましい。これにより、前記拡大写真の品質を向上できる。
また、前記駆動手段は、前記複数の光学系と前記複数の撮像領域との相対的位置を、前記複数の撮像領域にそれぞれ含まれる前記複数の画素の配列方向に対して略平行な方向に変化させることが好ましい。これにより、前記拡大写真の品質をより向上できる。
前記駆動手段は、弾性体と、前記弾性体の少なくとも一方の面に貼り合わされた圧電素子とを備えた振動子、及び前記振動子に接続された弾性バネ部からなる少なくとも1つのアクチュエーターを含み、前記アクチュエーターの前記振動子側端は固定され、前記弾性バネ部側端は前記複数の光学系又は前記複数の撮像領域を支持していることが好ましい。これにより、前記複数の光学系と前記複数の撮像領域との相対的位置を、前記複数の光学系のそれぞれの光軸に対して平行な方向及び/又は垂直な方向に変化させることを可能にする具体的な駆動手段を提供でき、その結果、焦点制御機能や拡大写真機能を実現できる。
この場合において、前記圧電素子が前記弾性体の両面に貼り合わされており、両面の前記圧電素子は互いに独立した信号で駆動されることが好ましい。これにより、前記複数の光学系と前記複数の撮像領域との相対的位置を、前記複数の光学系のそれぞれの光軸に対して平行な方向及び/又は垂直な方向に、独立に変化させることができる。
前記駆動手段は2つの前記アクチュエーターを含み、前記2つのアクチュエーターは、前記複数の光学系又は前記複数の撮像領域を挟んで対向して配置されていることが好ましい。これにより、前記複数の光学系と前記複数の撮像領域との相対的位置を、前記複数の光学系のそれぞれの光軸に対して平行な方向及び/又は垂直な方向に、安定に変化させることができる。
あるいは、前記駆動手段は4つの前記アクチュエーターを含み、前記4つのアクチュエーターは、略同一平面内で、前記複数の光学系又は前記複数の撮像領域を中心として90度間隔で配置されていることが好ましい。これにより、前記複数の光学系と前記複数の撮像領域との相対的位置を、前記複数の光学系のそれぞれの光軸に対して平行な方向及び/又は垂直で且つ互いに直交する2方向に、安定に変化させることができる。
前記複数の光学系と前記複数の撮像領域との相対的位置を、前記複数の光学系のそれぞれの光軸に対して垂直な方向に、隣り合う前記画素の中心間隔の半分だけ変化させて、異なる時刻に複数回の撮像を行い、各撮像回ごとに前記複数の撮像領域がそれぞれ撮像した複数の画像を合成して複数回の撮像に一対一に対応する複数の第1合成画像を作り、前記複数の第1合成画像を更に合成して第2合成画像を作ることが好ましい。これにより、拡大写真の撮像が可能になる。
この場合において、前記複数の撮像領域がそれぞれ撮像した前記複数の画像のそれぞれは、緑色画像、赤色画像、又は青色画像であり、前記複数の第1合成画像はカラー画像であることが好ましい。これにより、前記視差を補正した鮮明なカラー拡大写真の撮像が可能になる。
あるいは、前記複数の光学系と前記複数の撮像領域との相対的位置を、前記複数の光学系のそれぞれの光軸に対して垂直な方向に、隣り合う前記画素の中心間隔の半分だけ変化させて、異なる時刻に複数回の撮像を行い、同じ前記撮像領域が異なる時刻に撮像した複数の画像を合成して前記複数の撮像領域に一対一に対応する複数の第1合成画像を作り、前記複数の第1合成画像を更に合成して第2合成画像を作ることが好ましい。これにより、拡大写真の撮像が可能になる。
この場合において、前記複数の第1合成画像のそれぞれは緑色画像、赤色画像、又は青色画像であり、前記第2合成画像はカラー画像であることが好ましい。これにより、前記視差を補正した鮮明なカラー拡大写真の撮像が可能になる。
本発明の上記の第1の撮像装置において、前記複数の光学系のそれぞれが単レンズからなることが好ましい。これにより、前記光学系を薄くして撮像装置を薄くできる。
この場合において、前記単レンズの少なくとも1面に回折格子が設けられていることが好ましい。これにより、撮像画像の品質を向上できる。
本発明の上記の第1の撮像装置において、前記複数の撮像領域のそれぞれが互いに別個の撮像素子からなることが好ましい。これにより、高速な信号処理が可能になる。
あるいは、本発明の上記の第1の撮像装置において、前記複数の撮像領域のうちの少なくとも2つは、共通する1つの撮像素子を分け合っていることが好ましい。これにより、撮像装置の実装がより簡略になる。
次に、本発明の第1の撮像装置の製造方法は、複数の光学系のそれぞれの光軸上に、それぞれが複数の画素を有する複数の撮像領域を1つずつ配置し、前記撮像領域のそれぞれの原点を検出し、前記原点を基準として前記撮像領域のそれぞれに含まれる前記複数の画素の位置を特定することを特徴とする。
これにより、撮像装置の実装後にそれぞれの撮像領域の原点を検出し、それぞれの撮像領域に含まれる複数の画素の位置を特定することができるので、実装時点では、光学系のそれぞれの光軸と撮像領域の原点との位置関係を高精度に合わせる必要が無く、撮像装置の実装が容易になる。
本発明の上記の第1の撮像装置の製造方法において、前記複数の光学系と前記複数の撮像領域とを用いて撮像された被写体の複数の画像を用いて、前記撮像領域のそれぞれの前記原点を検出することが好ましい。これにより、前記原点検出が容易になる。
この場合において、前記被写体が実質的に無限遠に設置された略白色の略点光源であることが好ましい。これにより、前記原点検出の精度が向上する。
この場合において、前記撮像領域に含まれる前記複数の画素のうち、受光光量が最大となる画素の位置を前記原点として検出することが好ましい。これにより、前記原点検出の精度がより向上する。
あるいは、前記撮像領域に含まれる前記複数の画素がそれぞれ受光した光量に基づいて隣り合う画素間の光量を内挿し、受光光量が最大となる位置を前記原点として検出することが好ましい。これにより、前記原点検出の精度が更に向上する。
本発明の撮像素子は、複数の画素と、前記複数の画素のそれぞれの受光部の、光が入射する部分に設けられた屈折率の高い光学材料と、前記屈折率の高い光学材料の周囲に設けられた屈折率の低い光学材料とを備えることを特徴とする。
これにより、広角度で斜入射の光を効率よく受光できるので、焦点距離を短くでき、撮像素子を薄くすることができる。
上記の本発明の撮像素子において、前記屈折率の高い光学材料の屈折率は1.8以上であり、前記屈折率の低い光学材料の屈折率は1.8以下であることが好ましい。これにより、広角度で斜入射の光を受光する効率がより向上する。
また、上記の本発明の撮像素子において、前記屈折率の高い光学材料の、前記受光部に近い側の径は、前記屈折率の高い光学材料の、光が入射する側の径より小さいことが好ましい。これにより、広角度で斜入射の光を受光する効率が更に向上する。
本発明の第2の撮像装置は、上記の本発明の撮像素子と、少なくとも1つの光学系とを備える。これにより、薄型の撮像装置を実現できる。
本発明の撮像素子の製造方法は、複数の画素のそれぞれの受光部の上に屈折率の低い光学材料からなる第1層を形成する工程と、前記第1層の前記受光部の上の位置に第1穴を形成する工程と、前記第1穴に屈折率の高い光学材料を埋め込む工程と、前記第1穴に埋め込まれた前記屈折率の高い光学材料及び前記第1層の上に、屈折率の低い光学材料からなる第2層を形成する工程と、前記第2層の前記受光部が対向する位置に第2穴を形成する工程と、前記第2穴に屈折率の高い光学材料を埋め込む工程と備えることを特徴とする。
これにより、広角度で斜入射の光を効率よく受光する、撮像素子を効率よく製造できる。
上記の本発明の撮像素子の製造方法において、前記屈折率の高い光学材料の屈折率は1.8以上であり、前記屈折率の低い光学材料の屈折率は1.8以下であることが好ましい。これにより、広角度で斜入射の光を受光する効率がより向上した撮像素子が得られる。
また、本発明の撮像素子の製造方法において、前記第1穴の開口径は、前記第2穴の開口径より小さいことが好ましい。これにより、広角度で斜入射の光を受光する効率が更に向上した撮像素子が得られる。
次に、本発明の第3の撮像装置は、少なくとも1つの光学系と、撮像素子と、前記少なくとも1つの光学系と前記撮像素子との相対的位置を、前記少なくとも1つの光学系の光軸に対して平行な方向又は垂直な方向に変化させる駆動手段とを備える撮像装置であって、前記駆動手段は、弾性体と、前記弾性体の少なくとも一方の面に貼り合わされた圧電素子とを備えた振動子、及び前記振動子に接続された弾性バネ部からなる少なくとも1つのアクチュエーターを含み、前記アクチュエーターの前記振動子側端は固定され、前記弾性バネ部側端は前記少なくとも1つの光学系又は前記撮像素子を支持していることを特徴とする。
これにより、前記少なくとも1つの光学系と前記撮像素子との相対的位置を、前記少なくとも1つの光学系の光軸に対して平行な方向又は垂直な方向に変化させることを可能にする具体的な駆動手段を提供でき、その結果、焦点制御機能、拡大写真機能、接写写真機能を実現できる。
上記の本発明の第3の撮像装置において、前記圧電素子が前記弾性体の両面に貼り合わされており、両面の前記圧電素子は互いに独立した信号で駆動されることが好ましい。これにより、前記少なくとも1つの光学系と前記撮像素子との相対的位置を、前記少なくとも1つの光学系の光軸に対して平行な方向及び/又は垂直な方向に、独立に変化させることができる。
前記駆動手段は2つの前記アクチュエーターを含み、前記2つのアクチュエーターは、前記少なくとも1つの光学系又は前記撮像素子を挟んで対向して配置されていることが好ましい。これにより、前記少なくとも1つの光学系と前記撮像素子との相対的位置を、前記少なくとも1つの光学系の光軸に対して平行な方向及び/又は垂直な方向に、安定に変化させることができる。
あるいは、前記駆動手段は4つの前記アクチュエーターを含み、前記4つのアクチュエーターは、略同一平面内で、前記少なくとも1つの光学系又は前記撮像素子を中心として90度間隔で配置されていることが好ましい。これにより、前記少なくとも1つの光学系と前記撮像素子との相対的位置を、前記光学系の光軸に対して平行な方向及び/又は垂直で且つ互いに直交する2方向に、安定に変化させることができる。
以下、本発明を、好ましい実施形態を示しながら詳細に説明する。
(実施形態1)
本発明の実施形態1における撮像装置を説明する。
図1は、本発明の実施形態1における撮像装置の概略構成図である。図2は、本発明の実施形態1における撮像装置の断面図である。図3は、本発明の実施形態1における撮像装置のレンズ側から見た平面図である。
図1において、実施形態1の撮像装置は4個の単レンズ101、102、103、104と、これらと一対一に対応する4個の撮像素子105、106、107、108とを有する。図1に示す様に、単レンズ101、102、103、104の光軸109、110、111、112の方向をZ軸、Z軸と直交する一方向をX軸、X軸及びZ軸と直交する方向をY軸とする。X軸、Y軸、Z軸の正の方向はそれぞれ図1の矢印の方向とする。4個の単レンズ101、102、103、104はほぼ同一平面(XY平面と平行な面)上に碁盤状に設置され、また、4個の撮像素子105、106、107、108もほぼ同一平面(XY平面と平行な面)上に碁盤状に設置されている。単レンズ101、102、103、104の各々の光軸109、110、111、112が各々の撮像素子105、106、107、108の中心付近を通過する様に、4個の単レンズ101、102、103、104及び4個の撮像素子105、106、107、108が配置されている。
図2において、4個の単レンズ101、102、103、104は、それぞれ少なくとも片面に非球面を備えた非球面レンズであって、これらは一体化されている。例えば、ガラスまたはプラスチックを用いて一体に成形する事ができる。対応する単レンズと撮像素子との間にそれぞれカラーフィルターが設置され、201は単レンズ101と撮像素子105との間に設置されたカラーフィルター、202は単レンズ102と撮像素子106との間に設置されたカラーフィルター、203は単レンズ103と撮像素子107との間に設置されたカラーフィルター、204は単レンズ104と撮像素子108との間に設置されたカラーフィルターである。各々のカラーフィルターは赤色波長帯域、緑色波長帯域、または青色波長帯域の光を透過させる。205は遮光板であり、各々の撮像素子が一つの波長帯域の光だけを受光し、また、カラーフィルターで反射された波長帯域の光が散乱して他のカラーフィルターに混入する事を防ぐ。206はデジタル信号プロセッサー(DSP)などの演算装置を含む基板であり、その上に4個の撮像素子105、106、107、108が設置される。207は撮像装置の筐体であり、4個の単レンズの光軸がそれぞれ対応する撮像素子のほぼ中心を通過する様に、4個の単レンズ101、102、103、104、4個のカラーフィルター201,102,203,204、4個の撮像素子105、106、107、108、基板206を保持する。
図2では、撮像素子105、106、107、108および基板206は空中に浮いているように示されているが、実際にはアクチュエーター(後述)を介して筐体207に支持されている。4個の単レンズ101、102、103、104と4個の撮像素子105、106、107、108との相対位置は、各々の単レンズの光軸に垂直な方向及び/又は平行な方向に、このアクチュエーターを用いて変化させる事ができる。
図3において、101、102、103、104はそれぞれ単レンズ、201、202、203、204はそれぞれカラーフィルター、205は遮光板、207は筐体である。「R」、「G」、「B」は、各単レンズ101、102、103、104に対応して配置されたカラーフィルター201、202、203、204が透過させる光の波長帯域を示しており、順に、赤色波長帯域、緑色波長帯域、および青色波長帯域を示している。従って、図3の実施形態1の撮像装置は、一つの赤色波長帯域透過フィルター201、二つの緑色波長帯域透過フィルター202,203、および一つの青色波長帯域透過フィルター204を有し、二つの緑色波長帯域透過フィルター202,203は対角線上に配置されている。
図1、図2、図3で示した本発明の実施形態1では、単レンズ101に入射した被写体からの光のうち赤色波長帯域の光はカラーフィルター201を透過して撮像素子105に入射する。また、単レンズ102および103に入射した被写体からの光のうち緑色波長帯域の光はそれぞれカラーフィルター202および203を透過して撮像素子106および107に入射する。そして、単レンズ104に入射した被写体からの光のうち青色波長帯域の光はカラーフィルター204を透過して撮像素子108に入射する。このように、被写体からの光は赤色波長帯域光、緑色波長帯域光、および青色波長帯域光に分離されて、撮像素子105、106、107、および108で撮像されるので、各々のレンズ系に要求される色収差を緩和する事ができ、単レンズを用いても、赤色、青色、緑色のそれぞれの波長帯域では色収差の小さい画像が得られる。各々の波長領域光に対して複数枚の組み合わせレンズを用いる必要がなく光学系を薄くでき、従って撮像装置を薄くできる。本発明の実施形態1では1枚の非球面レンズを用いている。
[原点検出及び画素位置特定]
本発明の実施形態1においては、4個の撮像素子105、106、107、108で撮像された4個の画像を合成してカラー画像を得る。この画像合成はDSPなどの演算装置を含む基板206が司る。各撮像素子は多数の画素で構成されているので、複数個の撮像素子の画像を合成するには、各々の撮像素子に含まれる各画素に、その位置に対応した座標を指定する必要があり、この各画素の座標指定を行うにあたっては、その基準となる原点が必要である。
次に、実施形態1の撮像装置について、各撮像素子の原点および複数画素の座標指定について説明する。
図4は、本発明の実施形態1における撮像装置の4個の単レンズと4個の撮像素子の高精度な位置関係を示す図である。図5は、本発明の実施形態1における撮像装置の4個の単レンズと4個の撮像素子の一般的な位置関係を示す図である。図4および図5において、図1〜図3と同じ構成要素については同じ符号を用い、それらの説明を省略する。
図4において、105、106、107、108は撮像素子であり、各撮像素子において格子枠で区分された正方形の一つ一つは画素を表す。図では、簡単のために9行13列だけの画素を示しているが、実際にはより多くの画素で構成されている。単レンズ101、102、103、104の各々の光軸が、撮像素子105、106、107、108と交わる位置の画素に斜線を施している。図4の配置では単レンズ101、102、103、104の各々の光軸は対応する撮像素子105、106、107、108の中心を通過しており、このような場合では、各々の撮像素子の中心に位置する画素を原点とする事ができる。これらの原点を基準に、各々の撮像素子の各画素に座標を割り当てる。例えば、撮像素子105について、単レンズ101の光軸が通過する中心画素を座標(0、0)として、撮像素子105の各画素はX方向には(−6)〜(+6)までの座標値を持ち、また、Y方向には(−4)〜(+4)までの座標値を持ち、合計117個の画素の各々の位置を座標で特定できる。同様に、撮像素子106、107、108についても、単レンズ102、103、104の光軸が通過する各撮像素子の中心画素を各々の撮像素子の座標(0、0)として、各画素に座標を割り当てることができる。
図4の様な、4個の単レンズの光軸が4個の撮像素子の中心を通過するような配置を実現するには、非常に高精度な実装を必要とする。従来にも、4個のレンズと4個の撮像素子とを用い、4個の画像を合成して一つのカラー画像を作る技術は提案されている。例えば、特開2001−078213号公報、特開2002−204462号公報、特開2002−209226号公報には、レンズ光軸と撮像素子中心との高精度な位置関係を前提とする撮像装置が記載されている。
しかし、各画素の1辺は2〜3μm程度であり、常に図4の様な高精度配置を確保する事は困難である。一般には、4個の単レンズ、4個の撮像素子、その他のカラーフィルターなどの部品を組み立てた場合には、4個の単レンズの光軸が4個の撮像素子の各々の中心画素を通過するとは限らない。
図5において、4個の撮像素子105、106、107、108の配置は図4に比べて僅かにずれており、且つ、4個の単レンズ101、102、103、104の配置は図4に比べて僅かに回転している。一般的な実装精度では、各レンズ系の光軸が対応する撮像素子の中心を通過するとは限らない。本発明の実施形態1では、例として図5の状態を用いて説明する。各撮像素子105、106、107、108において格子枠で区分された正方形の一つ一つは画素を表す。図では、簡単のために9行13列だけの画素を示しているが、実際にはより多くの画素で構成されている。単レンズ101、102、103、104の各々の光軸が、撮像素子105、106、107、108と交わる位置の画素に斜線を施している。これらの各光軸上の画素を各撮像素子の原点とし、これらの原点を基準に各撮像素子の各画素に座標を割り当てる。例えば、撮像素子105について、単レンズ101の光軸が通過する画素を座標(0、0)とすれば、撮像素子105の各画素はX方向に(−7)〜(+5)の座標値を持ち、Y方向には(−4)〜(+4)の座標値を持つ。また、撮像素子106については、単レンズ102の光軸が通過する画素を座標(0、0)とすれば、撮像素子106の各画素はX方向に(−6)〜(+6)の座標値を持ち、Y方向には(−3)〜(+5)の座標値を持つ。同様に、撮像素子107は座標(0、0)を基準にX方向に(−6)〜(+6)、Y方向に(−4)〜(+4)の座標値を持ち、撮像素子108は座標(0、0)を基準にX方向に(−5)〜(+7)、Y方向に(−3)〜(+5)の座標値を持つ。
実施形態1の撮像装置では、実装時点では、各単レンズの光軸と各撮像素子との位置関係を特別に指定しない。4個の単レンズ、4個の撮像素子、その他のカラーフィルターなどの部品を筐体に組み付けた後に、各撮像素子の原点(各レンズ光軸上の画素)を検出し、原点上の画素の座標を(0,0)と指定し、この原点を基準に他の多くの画素の座標を指定する。各撮像素子の原点は、実装後に、何らかの被写体を撮像し、各々の撮像素子が撮像した画像を用いて検出する事ができる。例えば、遠景の被写体を撮像し、その中の特徴的な点像を撮像する画素を原点とする方法が考えられる。
次に、実施形態1の撮像装置について、原点を検出する方法を説明する。
図6Aは、本発明の実施形態1における撮像装置の各撮像素子の原点検出方法を示す図である。図6Bは、本発明の実施形態1における撮像装置の各撮像素子の原点付近の光量分布を示す図である。
図6Aにおいて、601は実装後の撮像装置、602は略白色の略点光源である。実質的に無限遠(例えば10m離した距離)に置かれた略白色光源(例えば豆電球)602を各撮像素子で撮像する。略白色光源からは緑色、赤色、青色の光が放射されるので、4個の撮像素子の全てが光源像を撮像する。
略無限遠の略点光源でも、一つだけの画素がその像を撮像するわけではない。その略無限遠の略白色光源からの光の各々の撮像素子の受光面での光量分布は例えば図6Bのようになる。この場合には、光源からの光を受光する画素611,612,613のうち、受光光量が最大となる画素612を、この撮像素子の原点とする。このようにして、各撮像素子の原点を検出できる。例えば、これらの原点が、図5における斜線を施した画素、すなわち、各々の単レンズの光軸が撮像素子と交わる位置にある画素である。
画素間に仮想の画素を内挿(補間)するのが好ましい。内挿は、画素間を例えば2分割、3分割、または4分割(あるいはこれ以上)して行う。画素間に仮想の画素を内挿し、この仮想の画素を挟む実在する画素の光量から、仮想の画素の光量を見積もる。これにより、略無限遠の略白色光源からの光の光量分布をより正確に検出することができるので、より正確な原点位置を検出する事ができる。
このように、撮像素子の原点を、実装後に検出する事により、非常に高精度の実装が不要となり、撮像装置の製作が容易となる。
ここで、実施形態1の撮像装置の製造方法を工程順に示すと以下の通りである。
(1)一体となった4個の単レンズ101、102、103、104、4個の撮像素子105、106、107、108、演算装置などを含む基板206、カラーフィルター201、202、203、204などの部品、および筐体207を準備する。
(2)筐体中に、一体となった4個の単レンズ、4個の撮像素子、演算装置などを含む基板、およびカラーフィルターなどの部品を組み付ける。この時、同一平面に4個の撮像素子を碁盤状に配置し、その平面に対してできるだけ平行に一体となった4個の単レンズを配置する。しかし、各単レンズの光軸に対する各撮像素子の相対的位置に関して高い組立精度は必要としない。
(3)組み立て後の撮像装置を用いて、遠方に配置した略白色光源を撮像する。各撮像素子において、受光光量が最大となる画素(或いは画素間の光量を内挿し、受光光量が最大となる位置)を、その撮像素子の原点として検出する。この白色光源として豆電球などの点光源と見なしうる光源を用いる。
(4)各撮像素子のそれぞれの原点を基準として、各撮像素子の他の多数の画素の各位置を座標で特定する。
[視差及びこの検出]
次に、実施形態1の撮像装置について、各撮像素子上の画像位置について説明する。
図7は、本発明の実施形態1における撮像装置の結像位置を示す図である。図8は、本発明の実施形態1における撮像装置の視差の方向を示す図である。図7および図8において、図1〜図6と同じ構成要素については同じ符号を用い、それらの説明を省略する。
図7において、実施形態1の撮像装置を用いて被写体700を撮像する。被写体700の像は、単レンズ101を通じて撮像素子105上に光学像701として結ばれる。これと同時に、被写体700の像は、単レンズ101に隣接する単レンズ102を通じて撮像素子106上に光学像702として結ばれる。この時、単レンズ101と単レンズ102とで、異なる位置から同一被写体700を観察することになるので、光学像701と光学像702との間には視差が生じる。例えば、光学像701が単レンズ101の光軸上に結像されたとしても、光学像702は単レンズ102の光軸に対して視差Δだけ変位した位置に結像される。視差Δは、Δ=D・f/(A−f)≒D・f/Aで与えられる。ここで、Dは単レンズ101の光軸と単レンズ102の光軸との間隔、fは単レンズ101および102の焦点距離、Aは被写体700と単レンズ101および102との距離である。
図8において、各撮像素子105、106、107、108の原点は斜線を施した画素で表されている。図8の配置は図5と同じである。図7の説明から、視差が生じる方向は、各レンズの光軸が対応する撮像素子と交わる位置(原点)間を結ぶ方向に平行である事が分かる。2つの緑色画像を撮像する撮像素子107および106の両原点を結ぶ方向をG方向と定義する。また、緑色画像を撮像する撮像素子107の原点と青色画像を撮像する撮像素子108の原点とを結ぶ方向をB方向と定義し、緑色画像を撮像する撮像素子107の原点と赤色画像を撮像する撮像素子105の原点とを結ぶ方向をR方向と定義する。各撮像素子の画像の視差は、これらのG、B、R方向に平行に生じる。
被写体700が単レンズ101、102、103、104から無限遠の位置にある場合(A=∞)は、実質的に視差は無い(Δ=0)。この場合、図8において、被写体の特定点の像は各撮像素子の同じ座標値を持つ画素に作られ、例としてこの画素を「K」で示す。
被写体700が単レンズ101、102、103、104に近づく(Aが小さくなる)にしたがって、視差Δは大きくなり、各撮像素子上の被写体の像は互いに遠ざかる。即ち、図8において、撮像素子107(緑色)上の被写体像を基準とした場合は、他の撮像素子105(赤色)、106(緑色)、108(青色)上の被写体像は、R方向、G方向、およびB方向に平行にそれぞれ移動する。このような視差が生じている状態で4つの撮像素子がそれぞれ撮像した4つの被写体像の画像を、同一座標値を有する画素同士が重なるようにして合成すると、画像が劣化する。鮮明なカラー画像を得るためには、4つの被写体像の画像を合成する前に、これらの画像に含まれる視差が減少し又は無くなるように画像を補正する必要がある。
実施形態1の撮像装置では、図3の様に、緑色波長帯域の光を透過するカラーフィルター202,203が対角の象限に配置されている。これら二つのカラーフィルター202,203に対応する2つの撮像素子106,107が撮像した2つの緑色波長帯域の画像うち、撮像素子107による画像を緑色基準画像、撮像素子106による画像を緑色副画像とする。これら2つの緑色波長帯域の画像には、同じ画像が視差を含んで写っているので、これら2つの緑色画像を比較すれば、緑色副画像の視差を導き出す事ができる。緑色副画像の変位の量をG方向の視差ベクトルで表すと、赤色画像の変位はその視差ベクトルのR方向の成分量、青色画像の変位はその視差ベクトルのB方向の成分量である。
これらの視差を補正した後に、緑色波長帯域の基準画像、視差を補正した緑色波長帯域の副画像、視差を補正した赤色波長帯域の画像、および視差を補正した青色波長帯域の画像を合成すればカラー画像を得られる。
隣り合う画素の中心間隔は2〜3μmである。レンズ、撮像素子、その他部品を一般的な実装方法を用いて組み立てても、その組立誤差がこの画素中心間隔の何倍にも達することはない。従って、実質的にはR方向は図1のY方向と殆ど同じであり、B方向は図1のX方向と殆ど同じである。また、G方向も緑色基準画像を撮像する撮像素子107の中心と緑色副画像を撮像する撮像素子106の中心とを結ぶ方向と殆ど同じである。
次に、実施形態1の撮像装置の視差検出について説明する。
図9は、本発明の実施形態1における撮像装置の視差定量化プログラムを示すフローチャートである。図10は、本発明の実施形態1における撮像装置の視差定量化過程に用いる画素群を示す図である。図11は、本発明の実施形態1における撮像装置の視差定量化過程に用いる光量分布を示す図である。図12は、本発明の実施形態1における撮像装置の視差定量化過程に用いる画素群の別の例を示す図である。
図9に示すように、この視差定量化プログラムが開始されると、ステップS11において、緑色基準画像を構成する画素群の中から、光量分布を求めるための基準となる複数の基準画素を選抜する。
ステップS12において、緑色副画像を構成する画素群の中から上記複数の基準画素に対応する、視差を調査するための複数の調査用画素を選抜する。視差により、緑色副画像は緑色基準画像に対してG方向に変位するので、上記の複数の基準画素および複数の調査用画素は、図10のように、緑色基準画像および緑色副画像の各々においてG方向に平行に並んだ画素群を選ぶ事が適切である。図10では、原点(斜線を施した画素)を中心に斜めに一列に並んだ「1」〜「7」の符号を付した7つの画素を選抜している。
次にステップS13において、上記複数の基準画素のそれぞれの光量を検出し、その光量分布を第1光量分布として求める。
ステップS14において、上記複数の調査用画素のそれぞれの光量を検出し、その光量分布を第2光量分布として求める。
ステップS15において、図11を参照して、それぞれの光量分布に含まれる特徴的部分を認識し、第1光量分布に含まれる特徴的部分と第2光量分布に含まれる特徴的部分との間の変位を算出する。この変位が視差の大きさを表す。以上により、緑色基準画像を基準にした緑色副画像の視差がG方向の視差ベクトルとして定量化される。
図11の例では、第1光量分布の特徴的部分と第2光量分布の特徴的部分とは、一画素分だけずれている。即ち、緑色副画像の緑色基準画像に対する視差は、G方向に一画素分の大きさを持つG方向ベクトルで表される。従って、青色画像の緑色基準画像に対する視差はB方向に一画素分の大きさを持つB方向ベクトルで表され、赤色画像の緑色基準画像に対する視差はR方向に一画素分の大きさを持つR方向ベクトルで表される。
緑色基準画像の複数の基準画素と緑色副画像の複数の調査用画素として、緑色基準画像の原点と緑色副画像の原点とを結ぶG方向に平行に並んだ画素を選択する事が望ましい。しかし、一般に、G方向に整然と並んだ画素群を選別できるとは限らない。図10においても、7つの画素「1」〜「7」の配列方向は、G方向に対して僅かにずれている。このずれの程度によっては、図12において灰色画素で示す様に、G方向に平行な領域内に2次元配列された複数の画素を選別する事が望ましい。基準画素及び調査用画素として、このような2次元配列された2つの画素群を選抜し、両画素群の光量分布を比較すると、より正確な視差を求める事ができる。
また、隣り合う基準画素間および隣り合う調査用画素間に、仮想の画素を内挿(補間)するのが好ましい。内挿は、画素間を例えば2分割、3分割、または4分割(あるいはこれ以上)して行う。画素間に仮想の画素を内挿し、この仮想の画素を挟む実在する画素の光量から、仮想の画素の光量を見積もる。これにより、第1光量分布および第2光量分布をより正確に求めることができる。従って、視差をより正確に定量化できる。
[画像合成]
次に、実施形態1の撮像装置の画像合成について説明する。
図13は、本発明の実施形態1における撮像装置の画像処理プログラムを示すフローチャートである。
図13に示すように、この画像処理プログラムが開始されると、ステップS21において、図9の視差定量化プログラムにより、緑色基準画像を基準にして、緑色副画像の視差による変位をG方向の視差ベクトルで定量化する(視差定量化工程)。ステップS22において、緑色副画像のR方向およびB方向の視差を補正する。ステップS23において、青色画像のB方向の視差を補正する。ステップS24で、赤色画像のR方向の視差を補正する。
図11の様に視差が1画素の場合を用いてステップS22〜S24を具体的に説明する。前述した様に、G方向は対角線方向と殆ど同じ、B方向はX方向と殆ど同じ、また、R方向はY方向と殆ど同じである。従って、視差が1画素の様に小さい場合は、G方向の視差補正は対角線方向の補正と殆ど同じであり、B方向の視差補正はX方向の視差補正と殆ど同じであり、また、R方向の視差補正はY方向の視差補正と殆ど同じである。緑色副画像をB方向と反対方向(−X方向)に1画素移動し、且つ、R方向と反対方向(−Y方向)に1画素移動して、緑色副画像の視差を補正する。即ち、緑色副画像の撮像素子106の座標(m、n)の画素データを、座標(m―1、n−1)の画素データとする事を意味する。また、青色画像をB方向と反対方向(−X方向)に1画素移動して青色画像の視差を補正する。即ち、青色画像の撮像素子108の座標(m、n)の画素データを、座標(m―1、n)の画素データとする事を意味する。更に、赤色画像をR方向と反対方向(−Y方向)に1画素移動して赤色画像の視差を補正する。即ち、赤色画像の撮像素子105の座標(m、n)の画素データを、座標(m、n−1)の画素データとする事を意味する。
しかし、被写体が撮像装置に近づいて視差が大きい場合は、B方向とX方向の僅かな違い、R方向とY方向の僅かな違い、およびG方向と対角線方向の僅かな違いを考慮する必要がある。例えば、B方向がX方向に対して5度傾斜していれば、X方向に11ないし12画素の補正と同時に、Y方向にも1画素分の補正を施す必要がある。
これにより、緑色副画像、赤色画像および青色画像の視差は無くなる、あるいは、非常に小さくなる。ステップS25で、緑色基準画像、補正後の緑色副画像、青色画像および赤色画像を合成する。赤色画像、青色画像および緑色副画像のそれぞれにおいて視差を少なくする、あるいは、無くする様にそれぞれの画像の画素データを補正しているので、鮮明なカラー合成画像が得られる。
あるいは、緑色基準画像と緑色副画像とは実質的に同じ画像であるので、補正後の緑色副画像を用いずに、緑色基準画像、補正後の青色画像および補正後の赤色画像を合成しても実質的に同じ鮮明なカラー合成画像が得られる。
[駆動手段]
携帯電話などに搭載される撮像装置には、焦点制御、手振れ補正、拡大写真(ズーム)、接写写真(マクロ)などの機能も要求される。これらの機能を実現するには、レンズ系と撮像素子との相対位置を、レンズ系の光軸に垂直な方向または平行な方向に変化させる必要がある。実施形態1の撮像装置は、撮像素子を図1に示すZ方向、X方向、およびY方向に、独立に微動できる3次元駆動手段を搭載する。図14〜図19を用いて、この3次元駆動手段の構造と機能を説明する。
図14は、本発明の実施形態1における撮像装置の3次元駆動手段の斜視図である。図15は、本発明の実施形態1における撮像装置の3次元駆動手段を構成するアクチュエーターの断面図である。図16および図17は、本発明の実施形態1における撮像装置のアクチュエーター駆動方法を説明する図である。図18および図19は、本発明の実施形態1における撮像装置のアクチュエーター動作を示す図である。図20は、本発明の実施形態1における撮像装置の別のアクチュエーターの断面図である。図14から図20において、図1から図13と同じ構成要素には同じ符号を用い、それらの説明を省略する。
図14において、206は演算装置を含む基板で、その上に撮像素子105、106、107、108が配置されている。310,320は、X方向に基板206を挟んで配置された第1アクチュエーター、第2アクチュエーターである。330,340は、Y方向に基板206を挟んで配置された第3アクチュエーター、第4アクチュエーターである。第1〜第4アクチュエーター310,320,330,340は、XY面と平行な面内において、基板206の中心を中心として90度間隔で配置されている。
第1〜第4アクチュエーター310,320,330,340は同じ構成を有している。第1,第2,第3,第4アクチュエーター310,320,330,340は、相互に接続された振動子311,321,331,341と弾性バネ部312,322,332,342とからなる。第1,第2,第3,第4アクチュエーター310,320,330,340の振動子311,321,331,341側端は支持部300に固定され、弾性バネ部312,322,332,342側端は基板206に接続されている。支持部300は図2あるいは図3に示した筐体207の一部でもよい。
図15において、振動子311は、導電性を有する弾性体よりなる弾性シム材314の両面に圧電素子313a,313bが貼り合わされてなる。弾性シム材314は、支持部300と基板206との間に延びており、その振動子311より基板206側の一部に弾性バネ部312が形成されている。同様に、振動子321は、導電性を有する弾性体よりなる弾性シム材324の両面に圧電素子323a,323bが貼り合わされてなる。弾性シム材324は、支持部300と基板206との間に延びており、その振動子321より基板206側の一部に弾性バネ部322が形成されている。
圧電素子313a、313b、323a、323bは、厚み方向(Z方向)に分極処理され、その表裏面に電極(図示せず)が形成されたのち、弾性シム材314、324に接着剤等で貼り合わされている。分極の方向は印加する電気信号との関係を考慮して決めれば良いが、本実施形態では、中性面として存在する弾性シム材314、324に向かう方向と分極の方向とを一致させている。従って、弾性シム材314、324の表裏面に貼り合わされている一対の圧電素子の分極方向は互いに逆方向となる。
弾性バネ部312,322は、弾性シム材314,324を波板状に曲げ加工することにより形成されている。ここでは、弾性バネ部312,322は波板形状としたが、コイルバネ形状でも同様の効果が得られる。また、エッチング等の工法を用いて弾性シム材314,324の一部を加工して、幅の狭いところや厚みの薄いところを作成して、バネ性を付与しても同様の効果が期待できる。
第1,第2アクチュエーター310,320の振動子311,321側端は、圧電素子が支持部300に挟み込まれずに、弾性シム材314,324のみが支持部300に挟持されるように、支持部300に固定されている。これは、圧電素子が支持部300に直接保持されていると、振動子311,321に振動を励振した際に、支持部300の振動子311,321側のエッジ部で挟持された圧電素子内に著しく大きな応力が発生し、容易に圧電素子の破壊限界を越える可能性があるからである。弾性シム材314,324の圧電素子が貼り合わされていない部分を支持部300で保持することにより、振動時の圧電素子の破損を防止して、装置の信頼性を著しく向上する事が出来る。
次に動作について説明する。第1アクチュエーター310の振動子311の表裏に貼り合わされた圧電素子313a、313bの外面側の電極と弾性シム材314との間に図16(a)に示す信号を印加すると(圧電素子313a、313bの弾性シム材314側の電極は、弾性シム材314に貼り合わされることにより弾性シム材314と導通している)、圧電素子313a、313bはこの信号電位によりいずれも伸びる変位をするように分極処理が施されているため、図18に示すように、振動子311は長さを伸ばすように変形する。一方、第2アクチュエーター320の振動子321の表裏に貼り合わされた圧電素子323a、323bの外面側の電極と弾性シム材324との間に図16(b)に示す信号を印加すると、圧電素子323a、323bはこの信号電位によりいずれも縮む変位をするように分極処理が施されているため、図18に示すように、振動子321は長さを縮めるように変形する。以上の、振動子311,321の変形によって、両振動子311,321にX軸方向に挟まれ保持されている基板206およびその上の撮像素子105,106,107,108は図18の矢印351の方向(X軸の正の方向)に、図16(c)に示される変位挙動で移動させられる。図16(c)にあるリンギング現象は、振動子311,321の共振によるものであり、圧電素子に印加する電圧の立ち上がりスピードを遅くすることにより、改善することが可能である。また、上記とは逆極性の駆動信号を圧電素子に印加すると図18に示した矢印351の方向と逆方向に基板206と撮像素子を移動させることが出来る。
更に、第1アクチュエーター310の振動子311の一方の圧電素子313aの外面側の電極と弾性シム材314との間に図17(a)に示す信号を印加し、他方の圧電素子313bの外面側の電極と弾性シム材314との間に図17(b)に示す信号を印加すると、一方の圧電素子313aは伸び、他方の圧電素子313bは縮むため、図19に示したように振動子311は屈曲変形する。また、第2アクチュエーター320の振動子321の一方の圧電素子323aの外面側の電極と弾性シム材324との間に図17(a)に示す信号を印加し、他方の圧電素子323bの外面側の電極と弾性シム材324との間に図17(b)に示す信号を印加すると、一方の圧電素子323aは伸び、他方の圧電素子323bは縮むため、図19に示したように振動子321は振動子311と同一方向に屈曲変形する。振動子311,321の間に挟まれ保持されている基板206およびその上の撮像素子105,106,107,108は、弾性バネ部312,322の効果により水平状態を維持したまま、図19の矢印352の方向(Z軸の正の方向)に図17(c)に示した変位挙動で移動させられる。図17(c)にあるリンギング現象も、振動子311,321の共振によるものであり、圧電素子に印加する電圧の立ち上がりスピードを遅くすることにより、改善することが可能である。また、上記とは逆極性の駆動信号を圧電素子に印加すると図19に示した矢印352の方向と逆方向に基板206と撮像素子を移動させることが出来る。
以上のことより、X方向に基板206を挟む第1及び第2アクチュエーター310,320により、レンズ系の光軸に垂直な一方向(X方向)と、レンズ系の光軸に平行な方向(Z方向)とに、撮像素子105,106,107,108を移動させることが可能になる。
従って、図14に示すように、基板206を中心としてXY平面内において90度間隔で配置された第1〜第4アクチュエーター310,320,330,340で基板206を保持することにより、レンズ系の光軸に平行な方向(Z方向)と、レンズ系の光軸に垂直な、互いに垂直な二方向(X方向及びY方向)とに、撮像素子105,106,107,108を移動させることが可能になる。これにより、撮像装置に各種機能を付与することができる様になる。
振動の大きさや周波数によっては、圧電素子を支持部300に挟み込んでも良い場合もある。図20にその例を示す。
上記において、第1,第2アクチュエーター310,320及び第3,第4アクチュエーター330,340のいずれか一方を省略して、レンズ系の光軸に平行な方向(Z方向)と、レンズ系の光軸に垂直な一方向(X方向又はY方向)とに、撮像素子105,106,107,108を移動させる構成とすることもできる。
また、上記のアクチュエータで単レンズ101、102、103、104を保持し、筐体207に対して、撮像素子105,106,107,108ではなく、単レンズ101、102、103、104を移動させてもよい。
[焦点制御機能]
実施形態1の撮像装置が備える各種機能のうち、先ず、焦点制御機能を説明する。
被写体が撮像装置から遠方にある場合には、各単レンズの焦点位置に設置された撮像素子を用いて、焦点の合った画像を撮像できる。被写体が撮像装置に近づくにつれて、撮像素子を各単レンズの焦点位置から移動する必要がある。図14および図15(あるいは図20)に示した第1〜第4アクチュエーター310,320,330,340からなる3次元駆動手段を、図19に示した様に撮像素子をZ方向に移動させて、焦点の合った画像を撮像する事ができる。
[手振れ補正機能]
次に、実施形態1の撮像装置の手振れ補正機能を説明する。
図21は、本発明の実施形態1における撮像装置の手振れ補正方法を説明する図である。
実施形態1の撮像装置では、手振れ補正には図14から図20で示した3次元駆動手段を用いる必要はなく、電子式手振れ補正方法を用いる。1秒間に30フレームの撮像ができる場合を考える。1枚の画像の撮像に要する時間は約0.033秒になり、明るい環境ではこの撮影時間内に十分に鮮明な画像を撮像できる。しかし、暗い環境では約0.033秒の撮像時間では十分ではなく、これより長い撮像時間を要する。このような場合、この撮像時間内に手振れが生じる可能性が高く、鮮明な画像を撮れない可能性がある。そこで、以下の様な撮像方法を採用する。暗い環境では約0.033秒毎に複数回撮像し、それぞれの時刻で撮像素子105、106、107、および108がそれぞれ撮像した4つの画像を合成して、各回の撮像に一対一に対応した複数のカラー画像を得る。この複数時刻ごとの各々のカラー画像は、図8から図13を用いて説明した画像合成を経て得る事ができる。次に、この複数時刻の複数のカラー画像を比較し、各画像中の一致する部分が互いに重なるようにして、複数時刻の複数のカラー画像を重ね合わせて合成する。この結果、鮮明で手振れのないカラー画像を得る。
図21を用いて説明する。第1番目の撮像時(t=0秒)に撮像素子105、106、107、および108が撮像した4つの画像を合成して第1番目の合成カラー画像(A)を作る。約0.033秒経過した第2番目の撮像時(t=0.033秒)に撮像素子105、106、107、および108が撮像した4つの画像を合成して第2番目の合成カラー画像(B)を作る。更に約0.033秒経過した第3番目の撮像時(t=0.066秒)に撮像素子105、106、107、および108が撮像した4つの画像を合成して第3番目の合成カラー画像(C)を作る。更に約0.033秒経過した第4番目の撮像時(t=0.099秒)に撮像素子105、106、107、および108が撮像した4つの画像を合成して第4番目の合成カラー画像(D)を作る。第1〜第4番目の合成カラー画像(A)〜(D)内の被写体の位置は、手振れのために互いに異なっている。これら第1〜第4番目の合成カラー画像(A)〜(D)を比較し、各画像中の一致する部分が互いに重なるように各々の合成カラー画像を移動させて更に合成する。これにより、被写体が第1番目の撮像から第4番目の撮像までの約0.132秒間に動いていても、(F)に示すように鮮明なカラー画像を得られる。これらの信号処理はデジタル信号プロセッサー(DSP)などの演算装置を含む基板206が司る。比較のために、手振れ補正しないで単純に4つの時刻で撮像された画像を重ね合わせた画像(E)も示す。画像(E)は手振れの為に被写体は鮮明ではない。
あるいは、以下の様な撮像方法も可能である。約0.033秒毎に複数回撮像する。撮像素子105、106、107、および108の各々について、同じ撮像素子が撮像した複数時刻の複数の画像を比較し、各画像中の一致する部分が互いに重なるように各々の画像を移動させて更に合成して、4つの撮像素子に一対一に対応する手振れ補正が施された4つの単色画像を得る。次いで、この4つの単色画像を用いて、図8から図13を用いて説明した画像合成を行い、手振れ補正が施されたカラー画像を得る。この場合、同じ撮像素子が異なる時刻に撮像した複数の画像を重ね合わせて手振れ補正された単色画像を得る際に、各撮像素子間で座標の関係を一致させなければならない。そのためには、例えば第1番目の撮像時刻を4つの撮像素子に共通する基準時とし、第1番目に撮像された画像の座標を維持しながら、第2番目以降の撮像時に撮像された各画像をこの第1番目の画像に合わせるように移動して、この第1番目の画像に順次重ね合わせる。このようにすることにより、4つの撮像素子間の座標関係を第1番目の時刻での座標に維持しながら、視差検出、視差補正、及び視差補正された画像の合成を行うことができる。言うまでもなく、基準時は第1番目の撮影時刻に限定されず、他の撮影時刻であってもよい。この手振れ補正方法を図21を用いて示すとすれば、画像(A)〜(D)は4つの撮像素子のいずれかに対する、第1〜第4番目の撮像時刻における撮像画像であり、画像(F)は第1番目の撮像画像(A)の座標を維持しながら、画像(A)〜(D)中の一致する部分を重なる様に合成して手振れ補正された単色の画像である。
上記の説明では互いに異なる時刻に4回撮像した画像を用いて手振れ補正する例を示したが、撮像回数は4回に限定されず、2回、3回、又は5回以上など、異なる時刻に複数回撮像して得た画像を用いて手振れ補正をしても良いことは言うまでもない。
[拡大写真機能]
次に、拡大写真(ズーム)機能について説明する。実施形態1の撮像装置では、光学的な倍率を大きくする事なしに電子的に鮮明な拡大画像を得る。そのためには、図14から図20に説明した3次元駆動手段を用いて、各撮像素子を各単レンズの光軸と垂直な方向に移動させる必要がある。
図22A及び図22Bは、本発明の実施形態1における撮像装置の電子ズーム方法を説明する図である。図22A及び図22Bにおいて、図1から図20と同じ構成要素については同じ符号を用い、それらの説明を省略する。
図22A及び図22Bにおいて、格子状の実線で仕切られた各正方形は1つの画素である。図22Aは撮像素子105、106、107、あるいは108の一部であり、その撮像素子に含まれる特定の一つの画素(この画素を「着目画素」という)の中心をこの撮像素子に対応するレンズ系から見た位置を「1」で表している。例えば、各画素の中心間隔を2μmとする。各々の撮像素子105、106、107、および108を対応する単レンズの焦点位置に設置して非常に遠方を撮像できる状態にする。そして、撮像素子105〜108をX方向およびY方向に画素の中心間隔の半分(この例では1μm)だけ移動させながら複数回撮像する。1秒間に30フレームの撮像ができる場合を考える。1回の撮像には約0.03秒を要する。第1番目の画像の撮像を行う。このとき、レンズ系から見た上記の着目画素の中心は図22Aの「1」の位置にある。この時点で各々の撮像素子105、106、107、および108で撮像された4つの画像を合成して第1番目のカラー画像を作る。その後、高速に(例えば0.003秒以内に)撮像素子105〜108をX方向に1μm移動させる。このとき、レンズ系から見た上記の着目画素の中心は図22Aの「2」の位置に移動する。この状態で第2番目の画像を撮像する。この時点で各々の撮像素子105、106、107、および108で撮像された4つの画像を合成して第2番目のカラー画像を作る。その後、高速に撮像素子105〜108を−Y方向に1μm移動させる。このとき、レンズ系から見た上記の着目画素の中心は図22Aの「3」の位置に移動する。この状態で第3番目の画像を撮像する。この時点で各々の撮像素子105、106、107、および108で撮像された4つの画像を合成して第3番目のカラー画像を作る。更に、高速に撮像素子105〜108を−X方向に1μm移動させる。このとき、レンズ系から見た上記の着目画素の中心は図22Aの「4」の位置に移動する。この状態で第4番目の画像を撮像する。この時点で各々の撮像素子105、106、107、および108で撮像された4つの画像を合成して第4番目のカラー画像を作る。図22Bは第1、第2、第3、および第4番目の画像撮像時における、全ての画素の中心をレンズ系から見た移動軌跡を重ねて示している。上下方向及び左右方向に隣り合う画素と画素との中間に画素が配置されているかの様に、擬似的に画素数が4倍になっている事が分かる。上記で得た第1、第2、第3、および第4番目のカラー撮像画像を更に合成すれば、撮像素子105〜108の解像度の4倍の解像度を有するカラー画像を得る事ができる。
即ち、非常に遠方の被写体を撮像する場合、撮像素子105〜108を結像位置においてX方向およびY方向に、隣り合う受光部の中心間隔の半分(隣り合う画素の中心間隔の半分)だけ移動させて4回撮像し、各撮像回ごとに単色の撮像画像をそれぞれ合成して4つのカラー画像を作成する。これらの画像合成には図9から図13を用いて説明した方法を用いる。この4つのカラー画像を更に合成して4倍の解像度を有する合成カラー画像を得る。この合成カラー画像から例えば任意に4分の1の領域を取り出すと、撮像素子105〜108の解像度と同じ解像度を有する(即ち、解像度が劣化することなく)4倍の拡大カラー画像(ズーム)を作る事ができる。これらの信号処理はデジタル信号プロセッサー(DSP)などの演算装置を含む基板206(図2参照)が司る。
あるいは、以下のようにして拡大画像を作成することも可能である。この場合も1秒間に30フレームの撮像ができる場合を考える。1回の撮像には約0.03秒を要する。第1番目の画像の撮像を行い、各々の撮像素子105、106、107、および108がそれぞれ撮像した4つの画像を得る。このとき、レンズ系から見た上記の着目画素の中心は図22Aの「1」の位置にある。その後、高速に(例えば0.003秒以内に)撮像素子105〜108をX方向に1μm移動させる。このとき、レンズ系から見た上記の着目画素の中心は図22Aの「2」の位置に移動する。この状態で第2番目の画像の撮像を行い、各々の撮像素子105、106、107、および108がそれぞれ撮像した4つの画像を得る。その後、高速に撮像素子105〜108を−Y方向に1μm移動させる。このとき、レンズ系から見た上記の着目画素の中心は図22Aの「3」の位置に移動する。この状態で第3番目の画像の撮像を行い、各々の撮像素子105、106、107、および108がそれぞれ撮像した4つの画像を得る。更に、高速に撮像素子105〜108を−X方向に1μm移動させる。このとき、レンズ系から見た上記の着目画素の中心は図22Aの「4」の位置に移動する。この状態で第4番目の画像の撮像を行い、各々の撮像素子105、106、107、および108がそれぞれ撮像した4つの画像を得る。次いで、各撮像素子105〜108ごとに、第1〜第4番目の画像を合成して、波長帯域が互いに異なる単色の4つの合成画像を作る。この4つの合成画像は、いずれも各撮像素子105〜108が各回で撮像した画像の4倍の解像度を有している。これらの4つの単色の高解像度合成画像を更に合成して、撮像素子105〜108の解像度の4倍の解像度を有するカラー画像を得る。この画像合成には図9から図13を用いて説明した方法を用いる。この合成されたカラー画像から、例えば任意に4分の1の領域を取り出すと、撮像素子105〜108の解像度と同じ解像度を有する(即ち、解像度が劣化することなく)4倍の拡大カラー画像(ズーム)を作る事ができる。これらの信号処理はデジタル信号プロセッサー(DSP)などの演算装置を含む基板206(図2参照)が司る。
上記では、着目画素が「1」,「2」,「3」,「4」と移動する様に、光学系と撮像素子の相対位置が4回移動する場合を説明したが、着目画素が「1」,「2」と2回移動する場合も考えられ、この場合はX方向に2倍の解像度を有する画像を作成できる。あるいは、着目画素が「1」,「4」と2回移動する場合も考えられ、この場合はY方向に2倍の解像度を有する画像を作成できる。また、「1」,「3」と2回移動する場合も考えられ、この場合はX方向およびY方向にそれぞれ擬似的に2倍の解像度を有する画像を作成できる。
[実施例]
ここで、実施形態1の撮像装置の具体的な形状、大きさの例を示す。
図23Aは、本発明の実施形態1における撮像装置の一実施例に係る撮像素子とレンズ系の平面図である。図23Bは、本発明の実施形態1における撮像装置の一実施例の断面図である。図23Aおよび図23Bにおいて、図1から図22と同じ構成要素については同じ符号を用い、それらの説明を省略する。
図23Aおよび図23Bにおいて、101、102、103、104の各々は非球面の単レンズであり、一体に成形されている。207は撮像装置の筐体であり、一体に成形されたレンズ系、カラーフィルター201、202、203、204を固定している。また、隣り合うカラーフィルターの境界には遮光板205が設置されて異なる波長帯域の光が混入する事を防いでいる。更に、筐体207は、振動子及び弾性バネ部から成る第1〜第4アクチュエーター310,320,330,340(図23Bでは第1、第2アクチュエーター310,320のみ図示)をその一端で保持し、この第1〜第4アクチュエーター310,320,330,340の他端は演算装置を含む基板206を支持している。基板206上には撮像素子105、106、107、108が設置されている。各撮像素子は830行1200列の画素を持つ、約100万画素の撮像素子である。各画素は1辺が2μmの正方形であり、従って、各撮像素子はX方向寸法が2.4mm、Y方向寸法が1.66mmの長方形であり、各撮像素子の対角線長さは2.9mmである。本実施例の撮像装置では、隣り合う単レンズの光軸間隔D、および、各単レンズの焦点距離fはいずれも2.9mmとする。
被写体が無限遠にある場合は、各撮像素子を各単レンズの焦点位置に設置して撮像する。被写体が撮像装置に近づけば、各撮像素子を各単レンズの光軸に平行に、レンズから遠ざける方向に移動させて撮像する。この撮像素子の移動は、図19の様に第1〜第4アクチュエーターの振動子311,321,331,341を湾曲させることにより実現する。例えば、撮像装置から被写体までの距離Aが20cmの場合は、各単レンズの焦点距離fが2.9mmであるから、各撮像素子を焦点位置から約43μm移動させればよい。
4個の撮像素子で撮像された画像に対して、図9から図13を用いて説明した画像合成(視差検出、視差補正、および視差補正された画像の合成)を行うことにより鮮明なカラー画像を得る。具体的に視差の量を見積もってみる。視差ΔはΔ=D×(f/A)で計算され、被写体が撮像装置から2.9m以上離れた場合(A>2.9m)は、視差Δは3μm以下、即ち1.5画素分以下であり、視差補正の必要はなく、単純に撮像素子105、106、107、108の画像を合成すればよい。被写体が撮像装置から1.7mから2.9mの間にある場合は、視差Δは3〜5μm、即ち視差は1.5画素から2.5画素であり、1画素分の視差補正を施した後に各画像を合成する。一般的な人物写真は1画素分の視差補正により鮮明なカラー画像を得る事ができ、遠景は視差補正の必要は無い。
振動子311,321,331,341のうち基板206を挟んで対向する一対の振動子を図18の様に伸縮させ、各撮像素子を一体に、各単レンズの光軸に垂直な方向に図22A及び図22Bの様に移動させる。その移動量は画素間隔の半分である1μmである。図22A及び図22Bに示した様に、各撮像素子の画素数が擬似的に400万画素となり、解像度を劣化させずに4倍の拡大画像を得る事ができる。
上記の実施形態1における撮像装置では、緑色基準画像及び緑色副画像を撮像する一対の撮像素子を対角線上に配置して視差を検出する場合を示したが、本発明はこれに限られるものでなく、赤色基準画像及び赤色副画像を撮像する一対の撮像素子を対角線上に配置して視差を検出しても良いし、青色基準画像及び青色副画像を撮像する一対の撮像素子を対角線上に配置して視差を検出しても良い。
また、上記の実施形態1における撮像装置では、1つの光学系と1つの撮像素子とからなる撮像ユニットを4組備えているが、この撮像ユニットの数が4以外の場合も考えられる。しかし、撮像ユニットの数が2の場合、被写体からの光を3原色である赤色、緑色、青色の波長帯域に分割して撮像する事ができず、鮮明なカラー画像が得られない。また、撮像ユニットの数が3の場合、被写体からの光を赤色、緑色、青色の各波長帯域に分割する事はできるが、赤色、緑色、青色の各波長帯域の画像はいずれも1つのみしか得られないので、2つの同じ波長帯域の画像を比較して視差を検出するという上記の実施形態の方法を行うことが困難であり、やはり鮮明なカラー画像を得る事は困難である。更に、撮像ユニットの数が5以上の場合、それらを配置する面積が大きくなり、また構成が冗長となり効率的ではない。
また、上記の実施形態1における撮像装置では、4個の別個の撮像素子を用いた。撮像素子は被写体からの光を受光して光電効果により信号を蓄積し、その蓄積信号は演算装置などに転送され、画像合成などの信号処理が行われる。一般に、蓄積信号が転送される速度は画素数が大きくなれば遅くなる。別個の撮像素子を用いる事で、個々の撮像素子の蓄積信号を独立に転送でき、高速な信号処理を実現できる。
(実施形態2)
レンズ表面に回折格子を形成した回折格子レンズについて考察する。回折格子の効率を向上させるにはブレーズ化する方法が望ましい。しかし、ある波長帯域(例えば緑色)に最適化されたブレーズ回折格子は、その波長帯域に対しては回折効率が高いが、他の波長帯域(例えば赤色または青色)に対しては効率が劣化して余分な光を生じる。撮像系では赤色、緑色、青色の全ての波長帯域に対して効率を高くする必要があり、そのために回折格子を撮像系に利用するには限界があった。
しかし、実施形態2の撮像装置では、実施形態1と同様に、複数のレンズ系と、レンズ系と同数の撮像素子を有し、各々のレンズ系の光軸上に撮像素子が一つずつ配置されている。レンズ系の各々は赤色、緑色、または青色の波長帯域のみに対応するので、各々の波長帯域に最適化されたブレーズ化された回折格子を用いる事ができる。
図24は、本発明の実施形態2における撮像装置の断面図である。図1〜図23と同じ構成要素については同じ符号を用い、それらの説明を省略する。
図24において、801、802、803、804は単レンズの表面に回折格子を形成した回折格子レンズである。その他の構成部品は、図23Bに示す実施形態1と同じであり、機能も同じである。
一般に、回折格子レンズは、非球面の単レンズよりも像面湾曲を改善できる。即ち、撮像素子の周辺でも高い解像度で撮像でき、鮮明な画像を得る事ができる。また、回折格子レンズの方が、非球面レンズよりも薄くする事ができ、撮像装置を薄くでき、従って、撮像装置を搭載する携帯電話などの携帯機器を薄くできる。
(実施形態3)
実施形態1では4個の撮像素子を用いたが、単一撮像素子を用い、それを4つの撮像領域に分割して用いる事もできる。
本発明の実施形態3における撮像装置の構成を説明する。
図25は、本発明の実施形態3における撮像装置の概略構成図である。図26は、本発明の実施形態3における撮像装置のレンズ系と撮像素子を示す平面図である。図27は、本発明の実施形態3における撮像装置の断面図である。図25から図27において、図1〜図24と同じ構成要素については同じ符号を用い、それらの説明を省略する。
図25において、撮像装置は4個の単レンズ101、102、103、104と、単一の撮像素子900を有する。図1と同様に、単レンズ101、102、103、104の光軸109、110、111、112の方向をZ軸、Z軸と直交する一方向をX軸、X軸及びZ軸と直交する方向をY軸とする。4個の単レンズ101、102、103、104は一体に構成され、例えば、ガラスまたはプラスチックを用いて一体に成形する事ができる。実施形態3では、実施形態1と同様に、非球面レンズを用いる場合を示すが、実施形態2で説明した回折格子レンズ801、802、803、804を用いる事もできる。
図26において、単一撮像素子900は4つの撮像領域901、902、903、904に分割されている。図26では、各々の撮像領域は9行13列の画素のみを示したが、実際はより多くの画素から構成される。一般に、各撮像領域の間にも画素が存在するが、実施形態3では用いず、図示しない。単レンズ101、102、103、104の各々の光軸109、110、111、112が各々の撮像領域901、902、903、904の中心付近を通過する様に、4個の単レンズ101、102、103、104及び撮像素子900を配置する。各撮像領域において、単レンズ101、102、103、104の光軸が通過する画素に斜線を施している。実施形態1と同様に、これらの光軸上の画素を原点として、各撮像領域の画素の座標を指定する。これらの原点は図6A及び図6Bで示した方法を用いて検出できる。実施形態3の撮像装置においても、実施形態1における図3に示す様に、1つの赤色波長帯域透過フィルター、2つの緑色波長帯域透過フィルター、および1つの青色波長帯域透過フィルターを有する。
図27において、各単レンズと各撮像領域との間にカラーフィルターが設置される。201は単レンズ101と撮像領域901との間に設置された赤色波長帯域透過フィルターであり、202は単レンズ102と撮像領域902との間に設置された緑色波長帯域透過フィルター、203は単レンズ103と撮像領域903との間に設置された緑色波長帯域透過フィルター、204は単レンズ104と撮像領域904との間に設置された青色波長帯域透過フィルターである。205は遮光板であり、各々の撮像領域が一つの波長帯域の光だけを受光し、また、カラーフィルターで反射された波長帯域の光が散乱して他のカラーフィルターに混入する事を防ぐ。206はデジタル信号プロセッサー(DSP)などの演算装置を含む基板であり、その上に撮像素子900が設置される。207は撮像装置の筐体である。
図27では、基板206および撮像素子900は空中に浮いているように示されているが、実際には、図14から図20を用いて説明した3次元駆動手段により支持されている。4個の単レンズ101、102、103、104と撮像素子900との相対位置は、各々の単レンズの光軸に垂直及び/又は平行な方向に、この3次元駆動手段を用いて変化させることができる。
実施形態3の撮像装置において、4個の撮像領域901、902、903、および904で撮像された4個の画像を合成してカラー画像を得る。視差検出、視差補正、視差補正した画像の合成は、図9から図13で示した方法で実現でき、また、焦点制御、手振れ補正、拡大写真(ズーム)撮影なども実施形態1で示した方法と同様に実現できる。その場合、実施形態1における撮像素子105、106、107、108の役割を、それぞれ撮像領域901、902、903、904が担い、これらの画像合成はDSPなどの演算装置を含む基板206が司る。
実施形態3の様に、単一撮像素子を複数の撮像領域に分割して用いる事で、複数の撮像素子の位置合わせなどが不必要で、実装が容易になり、低コスト化できる。
上記の実施形態3では、単一撮像素子を4個の撮像領域に分割する。しかし、2個の撮像素子を用いて、それぞれの撮像素子を2個の撮像領域に分割し、合計4個の撮像領域とする事もできる。
(実施形態4)
実施形態1から3では、複数のレンズ系を持ち、各レンズ系を緑または赤または青の波長領域のみに対応させる事で、色収差への要求を緩和して、各レンズ系の焦点距離を短くできる。また、実施形態2では、レンズの表面に回折格子を形成して、像面湾曲を小さくして、更に焦点距離を短くできる。
図28A及び図28Bは、レンズ系の焦点距離と撮像素子への光の入射角度の関係を示す図である。
図28Aは、比較的に焦点距離の長いレンズ911が撮像素子920の周辺部に光を絞る状態を示す。また、図28Bは、比較的に焦点距離の短いレンズ912が撮像素子920の周辺部に光を絞る状態を示す。両図から明らかなように、レンズの焦点距離が短いほど、撮像素子920に入射する光の入射角は大きくなる。即ち、撮像装置を薄くするには、レンズ系を改善して焦点距離を短くすることが有効であるが、同時に、大きな入射角の光も受光できる様に、撮像素子を改善しなければならない。
次に、入射角の大きな光を受光できる撮像素子の構造を説明する。
図29は、本発明の実施形態4における撮像装置に用いる撮像素子の断面図である。
図29において、1001はマイクロレンズ、1002は屈折率の高い光学材料(以下、「高屈折率材料」という)、1003は屈折率の低い光学材料(以下、「低屈折率材料」という)、1004は遮光部、1005は受光部、1006はシリコン基板、1007は配線部分である。一つの画素に、1つのマイクロレンズ1001、1つの高屈折率材料1002、1つの受光部1005が設けられている。図29は各画素の断面を示す。光は屈折率の高い部分に閉じ込められる傾向があり、マイクロレンズ1001に入射する被写体からの光は高屈折率材料1002内を通過して、受光部1005に達する。図29では、マイクロレンズ1001も高屈折率材料1002と同じ屈折率の高い光学材料で構成されている。光路1008が示す様に、この様な井戸型導波路構造により、入射角の大きな光も受光部1005に導く事ができる。一般に、高屈折率材料1002の屈折率は1.8以上が好ましく、また、低屈折率材料1003の屈折率は1.8以下が好ましい。
図29の様な井戸型導波路構造の撮像素子は、実施形態1から4の複数のレンズ系と複数の撮像領域を有する撮像装置だけではなく、図33の従来の撮像装置に用いても有効である。
図29の様な構造を持つ撮像素子の製造プロセスについて説明する。
図30A〜図30Lは、本発明の実施形態4における撮像素子の製造プロセスを順に示した断面図である。図30A〜図30Lにおいて、図29と同じ構成要素には同じ番号を付し、それらの説明を省略する。
図30Aに示すように、先ず、一般の撮像素子を製造するプロセスと同様に、シリコン基板1006に受光部1005、配線部1007、および遮光部1004を形成し、その上に低屈折率材料1003の層(第1層)を形成する。低屈折率材料1003として、例えば屈折率が約1.5である酸化シリコンを用いることができる。
次に、図30Bに示すように、低屈折率材料1003上にニッケルなどを用いてエッチングパターン1009を形成する。このエッチングパターン1009は円形或いは四角形の開口1010を除いて低屈折率材料1003の上面を覆っている。開口1010は受光部1005に相当する位置に形成される。
次に、図30Cに示すように、エッチングパターン1009を残して、開口1010内の低屈折率材料1003を受光部1005に達するまでエッチング除去する。
次に、図30Dに示すように、残されたエッチングパターン1009を除去し、円形或いは四角形の第1穴1011を形成する。
次に、図30Eに示すように、第1穴1011内に高屈折率材料1002を埋め込む。高屈折率材料として例えば屈折率が約2.0の窒化シリコンを用いることができ、埋め込みプロセスとして例えばCVD法を用いることができる。
次に、図30Fに示すように、上面を平坦化する。この平坦化プロセスとして例えばエッチング或いは研磨を用いることができる。
次に、図30Gに示すように、表面に低屈折率材料1003の層(第2層)を形成する。
次に、図30Bと同様にエッチングパターンを形成し、図30Cと同様に低屈折率材料1003に第2穴1012を形成し、図30Dと同様にエッチングパターンを除去して、図30Hに示すように、低屈折率材料1003に円形或いは四角形の第2穴1012を形成する。この第2穴1012は、第1穴1011と同様に受光部1005に相当する位置に形成されるが、第1穴1011より開口径が少し大きい。
次に、図30Iに示すように、図30Eと同様に第2穴1012に高屈折率材料1002を埋め込み、図30Fと同様に上面を平坦化する。
次に、図30Jに示すように、高屈折率材料1002上にフォトレジスト層1013を形成する。
次に、図30Kに示すように、フォトレジスト層1013を熱処理して上面を丸く変形させる。
次に、図30Lに示すように、フォトレジスト層1013、高屈折率材料1002、および低屈折率材料1003を同時に上部からエッチングする。それらのエッチングレートを適切に選択して、高屈折率材料1002からなるマイクロレンズ1001を形成する。
かくして、図29に示した構造を有する撮像素子を作る事ができる。
図29に示したような、低屈折率材料1003に形成した穴に高屈折率材料1002を埋め込んで井戸型導波路構造を形成する場合、この穴のアスペクト比(穴深さ/穴径)が大きいと、高屈折率材料1002を穴内に隙間無く埋め込むことが困難になる。本実施形態に示した上記の製造方法によれば、図30Eおよび図30Iに示したように、高屈折率材料1002を2回に分けて埋め込むので、一度に埋め込まれる穴のアスペクト比を小さくする事ができ、高屈折率材料1002を隅々まで十分に埋め込む事ができる。
また、このように高屈折率材料1002を埋め込む工程を2回に分けることにより、各回でそれぞれ埋め込まれる穴、即ち上記の実施形態では第1穴1011及び第2穴1012の径を互いに異ならせることができる。従って、上記の実施形態のように、受光部1005に近い第1穴1011の径より、これより遠い第2穴1012の径を大きくすることができる。この構造により、受光部1005の受光面積に比べて外光が入射する面積を大きくすることができ、マイクロレンズ1001に斜入射した光を図29の光路1008のように高屈折率材料1002内に閉じ込めながら受光部1005に効率よく導くことができる。
(実施形態5)
本発明の撮像装置を備えた携帯機器の一例として携帯電話を説明する。
図31Aは、本発明の撮像装置を備えた携帯電話の一実施形態の正面図、図31Bはその側面図である。
図31A及び図31Bにおいて、1100は携帯電話、1101は本発明の実施形態1から4のいずれかに示した撮像装置である。本発明の実施形態1から4に示した撮像装置は薄いため、これを搭載した携帯電話1100の薄型化が可能である。また、本発明の撮像装置は、焦点制御機能を備えて遠景写真から接写写真まで撮像でき、レンズ系を変化させずに電子的に手振れ補正を施す事ができ、更に、解像度を劣化させずに電子的に拡大写真も撮像できる。従って、高機能な撮像装置1101を搭載した薄型の携帯電話1100を提供する事ができる。
手振れ補正では、図21で説明した様に、画像を複数回撮像し、これにより得た複数の画像のうち一致する部分が重なる様に複数の画像を合成することにより、鮮明な被写体画像を得る。この電子的手振れ補正機能を実現するためには、複数の画像内の一致する部分を認識するなどの高速な画像処理を行う必要がある。
図31Aにおいて、1102Aおよび1102Bは角速度センサーであり、撮像装置1101に近接して設置される。これらの角速度センサーは、レンズ系の一部を機械的に移動させて行う一般的な手振れ補正機能を備えた光学系に用いるものと同じである。角速度センサーにより、手振れによる撮像装置の微妙な移動を検知し、撮像した画像中での被写体の移動量を演算し、この演算結果に基づいて複数の画像を移動し合成する際の画像の移動量を決定する。あるいは、この演算結果を、複数の画像を移動し合成する際の画像の移動量を計算する際の補助として用いる。これにより、撮像画像のみを用いて手振れ補正を行う場合に比べて、より高速な手振れ補正機能を実現できる。
(実施形態6)
図14から図20を用いて説明した3次元駆動手段は、実施形態1から3の様な、複数のレンズ系と複数の撮像領域を持つ撮像装置だけではなく、従来と同様に単一光軸上に組み合わせレンズ系を備えた撮像装置にも適用できる。
図32は、本発明の実施形態6における撮像装置の断面図である。図32において、図1から図31および図33と同じ構成要素については同じ符号を用い、それらの説明を省略する。
図32において、2001、2002はそれぞれ単レンズであり、2003はフィルター、2004は撮像素子、2005はデジタル信号プロセッサー(DSP)などの演算装置を含む基板である。レンズ系の光軸2006が撮像素子2004のほぼ中心を通過する様に、単レンズ2001、2002、フィルター2003、撮像素子2004、及び基板2005が筐体2007に配置される。筐体2007の開口2007aを通過して筐体2007内に入ってきた被写体からの光は、レンズ2001、2002によって、撮像素子2004上に絞られる。このとき、被写体からの光に含まれる赤色波長帯域の光、青色波長帯域の光および緑色波長帯域の光が、同じ撮像位置に同じ像倍率で絞られるように、単レンズ2001、2002を適切に組み合わせることにより、色収差による撮像画像の劣化が防止される。撮像素子2004上に絞られた光は、撮像素子2004で電気信号に変換され、基板2005中に含まれる演算装置によって処理される。
遠景写真から接写写真までを撮像するには、レンズ系と撮像素子の相対位置を、レンズ系の光軸2006に平行な方向に移動させる焦点制御が必要である。また、図33の様な従来の撮像装置にも、図22A及び図22Bで示した様に、レンズ系と撮像素子との相対位置をレンズ系の光軸2006に垂直な方向に移動できれば、解像度を劣化させずに電子的に拡大写真(ズーム)を撮像できる。図32においては、レンズ系と撮像素子の相対位置を変化させる方法として、撮像素子を光軸2006に平行な方向および垂直な方向に移動させる、実施形態1で説明した駆動手段(図14から図20を参照)を用いている。振動子と弾性バネ部とからなるアクチュエーターを、撮像素子2004を挟んで対向して2つ、又は、撮像素子2004を中心として90度間隔で4つ配置する。そして、これらのアクチュエーターを図18および図19に示した様に動作させる。この駆動手段を用いる事で、従来の組み合わせレンズを有する撮像装置に焦点制御機能、電子的拡大写真機能を付与することができる。
撮像素子2004ではなく、レンズ系を構成する単レンズ2001、2002の全部又は一部を実施形態1で説明した駆動手段(図14から図20を参照)を用いて光軸2006に平行な方向および垂直な方向に移動させてもよい。
以上に開示した実施形態1〜6はいずれも本発明の一例を示したに過ぎず、本発明はこれらの実施形態により制限的に解釈されない。本発明の範囲は上記の実施形態ではなく特許請求の範囲によって示され、特許請求の範囲と均等の意味および範囲内でのすべての変更が含まれることが意図される。
本発明の撮像装置の利用分野は特に限定はないが、薄型で、焦点制御機能、手振れ補正機能、拡大写真機能を備える事ができるので、携帯電話などの携帯機器に搭載する撮像装置などに有用である。また、監視カメラ、車載カメラなどの用途にも応用できる。
図1は、本発明の実施形態1における撮像装置の概略構成図である。 図2は、本発明の実施形態1における撮像装置の断面図である。 図3は、本発明の実施形態1における撮像装置のレンズ側から見た平面図である。 図4は、本発明の実施形態1における撮像装置の4個の単レンズと4個の撮像素子の高精度な位置関係を示す図である。 図5は、本発明の実施形態1における撮像装置の4個の単レンズと4個の撮像素子の一般的な位置関係を示す図である。 図6Aは、本発明の実施形態1における撮像装置の各撮像素子の原点検出方法を示す図である。 図6Bは、本発明の実施形態1における撮像装置の各撮像素子の原点付近の光量分布を示す図である。 図7は、本発明の実施形態1における撮像装置の結像位置を示す図である。 図8は、本発明の実施形態1における撮像装置の視差の方向を示す図である。 図9は、本発明の実施形態1における撮像装置の視差定量化プログラムを示すフローチャートである。 図10は、本発明の実施形態1における撮像装置の視差定量化過程に用いる画素群を示す図である。 図11は、本発明の実施形態1における撮像装置の視差定量化過程に用いる光量分布を示す図である。 図12は、本発明の実施形態1における撮像装置の視差定量化過程に用いる画素群の別の例を示す図である。 図13は、本発明の実施形態1における撮像装置の画像処理プログラムを示すフローチャートである。 図14は、本発明の実施形態1における撮像装置の3次元駆動手段の斜視図である。 図15は、本発明の実施形態1における撮像装置の3次元駆動手段を構成するアクチュエーターの断面図である。 図16は、本発明の実施形態1における撮像装置のアクチュエーターの一駆動方法を説明する図である。 図17は、本発明の実施形態1における撮像装置のアクチュエーターの別の駆動方法を説明する図である。 図18は、本発明の実施形態1における撮像装置のアクチュエーターの一動作を示す図である。 図19は、本発明の実施形態1における撮像装置のアクチュエーターの別の動作を示す図である。 図20は、本発明の実施形態1における撮像装置の別のアクチュエーターの断面図である。 図21は、本発明の実施形態1における撮像装置の手振れ補正方法を説明する図である。 図22Aは、本発明の実施形態1における撮像装置の電子ズーム方法を説明する図である。 図22Bは、本発明の実施形態1における撮像装置の電子ズーム方法を説明する図である。 図23Aは、本発明の実施形態1における撮像装置の一実施例に係る撮像素子とレンズ系の平面図である。 図23Bは、本発明の実施形態1における撮像装置の一実施例の断面図である。 図24は、本発明の実施形態2における撮像装置の断面図である。 図25は、本発明の実施形態3における撮像装置の概略構成図である。 図26は、本発明の実施形態3における撮像装置のレンズ系と撮像素子を示す平面図である。 図27は、本発明の実施形態3における撮像装置の断面図である。 図28Aは、レンズ系の焦点距離と撮像素子への光の入射角度の関係を示す図である。 図28Bは、レンズ系の焦点距離と撮像素子への光の入射角度の関係を示す図である。 図29は、本発明の実施形態4における撮像装置に用いる撮像素子の断面図である。 本発明の実施形態4における撮像素子の製造プロセスを示した断面図である。 本発明の実施形態4における撮像素子の製造プロセスを示した断面図である。 本発明の実施形態4における撮像素子の製造プロセスを示した断面図である。 本発明の実施形態4における撮像素子の製造プロセスを示した断面図である。 本発明の実施形態4における撮像素子の製造プロセスを示した断面図である。 本発明の実施形態4における撮像素子の製造プロセスを示した断面図である。 本発明の実施形態4における撮像素子の製造プロセスを示した断面図である。 本発明の実施形態4における撮像素子の製造プロセスを示した断面図である。 本発明の実施形態4における撮像素子の製造プロセスを示した断面図である。 本発明の実施形態4における撮像素子の製造プロセスを示した断面図である。 本発明の実施形態4における撮像素子の製造プロセスを示した断面図である。 本発明の実施形態4における撮像素子の製造プロセスを示した断面図である。 図31Aは、本発明の撮像装置を備えた携帯電話の一実施形態の正面図である。 図31Bは、本発明の撮像装置を備えた携帯電話の一実施形態の側面図である。 図32は、本発明の実施形態6における撮像装置の断面図である。 図33は、従来の撮像装置の断面図である。

Claims (3)

  1. 複数の画素のそれぞれの受光部の上に第1の光学材料からなる第1層を形成する工程と、
    前記第1層の前記受光部の上の位置に第1穴を形成する工程と、
    前記第1穴に前記第1の光学材料よりも屈折率の高い第2の光学材料を埋め込む工程と、
    前記第1穴に埋め込まれた前記第2の光学材料及び前記第1層の上に、前記第1の光学材料からなる第2層を形成する工程と、
    前記第2層の前記受光部が対向する位置に第2穴を形成する工程と、
    前記第2穴に前記第2の光学材料を埋め込む工程と
    前記第2穴に埋め込まれた前記第2の光学材料の上にフォトレジスト層を形成する工程と、
    前記フォトレジスト層を熱処理して前記フォトレジスト層の上面を丸く変形させる工程と、
    前記丸く変形されたフォトレジスト層の上部からエッチング処理することにより、前記第2穴に埋め込まれた前記第2の光学材料の上面をレンズ形状に加工する工程と
    を備えることを特徴とする撮像素子の製造方法。
  2. 前記第2の光学材料の屈折率は1.8以上であり、前記第1の光学材料の屈折率は1.8以下である請求項1に記載の撮像素子の製造方法。
  3. 前記第1穴の開口径は、前記第2穴の開口径より小さい請求項1に記載の撮像素子の製造方法。
JP2008041677A 2003-10-22 2008-02-22 撮像素子の製造方法 Expired - Fee Related JP4950916B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2008041677A JP4950916B2 (ja) 2003-10-22 2008-02-22 撮像素子の製造方法

Applications Claiming Priority (7)

Application Number Priority Date Filing Date Title
JP2003362579 2003-10-22
JP2003362579 2003-10-22
JP2004000070 2004-01-05
JP2004000070 2004-01-05
JP2004100064 2004-03-30
JP2004100064 2004-03-30
JP2008041677A JP4950916B2 (ja) 2003-10-22 2008-02-22 撮像素子の製造方法

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2007302918A Division JP4275717B2 (ja) 2003-10-22 2007-11-22 撮像装置

Publications (2)

Publication Number Publication Date
JP2008153691A JP2008153691A (ja) 2008-07-03
JP4950916B2 true JP4950916B2 (ja) 2012-06-13

Family

ID=34527586

Family Applications (3)

Application Number Title Priority Date Filing Date
JP2005514924A Expired - Lifetime JP4071793B2 (ja) 2003-10-22 2004-09-30 撮像装置とその製造方法、及び携帯機器
JP2007302918A Expired - Fee Related JP4275717B2 (ja) 2003-10-22 2007-11-22 撮像装置
JP2008041677A Expired - Fee Related JP4950916B2 (ja) 2003-10-22 2008-02-22 撮像素子の製造方法

Family Applications Before (2)

Application Number Title Priority Date Filing Date
JP2005514924A Expired - Lifetime JP4071793B2 (ja) 2003-10-22 2004-09-30 撮像装置とその製造方法、及び携帯機器
JP2007302918A Expired - Fee Related JP4275717B2 (ja) 2003-10-22 2007-11-22 撮像装置

Country Status (4)

Country Link
US (2) US7924327B2 (ja)
EP (2) EP1677518A4 (ja)
JP (3) JP4071793B2 (ja)
WO (1) WO2005041562A1 (ja)

Families Citing this family (107)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1384046B1 (en) * 2001-05-04 2018-10-03 Vexcel Imaging GmbH Digital camera for and method of obtaining overlapping images
JP2003143459A (ja) * 2001-11-02 2003-05-16 Canon Inc 複眼撮像系およびこれを備えた装置
JP2006122338A (ja) * 2004-10-28 2006-05-18 Aruze Corp 遊技機及びプログラム
JP4763469B2 (ja) * 2005-03-07 2011-08-31 富士フイルム株式会社 固体撮像装置および画像入力装置、ならびにその画像補正方法
US7924483B2 (en) * 2006-03-06 2011-04-12 Smith Scott T Fused multi-array color image sensor
EP2001222A4 (en) * 2006-03-22 2013-03-06 Panasonic Corp IMAGING DEVICE
US20070263114A1 (en) * 2006-05-01 2007-11-15 Microalign Technologies, Inc. Ultra-thin digital imaging device of high resolution for mobile electronic devices and method of imaging
US7782364B2 (en) * 2007-08-21 2010-08-24 Aptina Imaging Corporation Multi-array sensor with integrated sub-array for parallax detection and photometer functionality
CN101420526B (zh) * 2007-10-26 2011-06-08 鸿富锦精密工业(深圳)有限公司 影像感测器承载装置及相机模组
JP5173536B2 (ja) * 2008-04-02 2013-04-03 シャープ株式会社 撮像装置及び光軸制御方法
US8866920B2 (en) 2008-05-20 2014-10-21 Pelican Imaging Corporation Capturing and processing of images using monolithic camera array with heterogeneous imagers
KR101733443B1 (ko) 2008-05-20 2017-05-10 펠리칸 이매징 코포레이션 이종 이미저를 구비한 모놀리식 카메라 어레이를 이용한 이미지의 캡처링 및 처리
US11792538B2 (en) 2008-05-20 2023-10-17 Adeia Imaging Llc Capturing and processing of images including occlusions focused on an image sensor by a lens stack array
JP5505761B2 (ja) * 2008-06-18 2014-05-28 株式会社リコー 撮像装置
JP5610254B2 (ja) * 2008-06-18 2014-10-22 株式会社リコー 撮像装置及び路面状態判別方法
JP2010118818A (ja) * 2008-11-12 2010-05-27 Sharp Corp 撮像装置
KR101009129B1 (ko) * 2008-12-19 2011-01-18 삼성전기주식회사 카메라모듈
FR2940720B1 (fr) * 2008-12-31 2011-03-18 St Microelectronics Sa Dispositif de saisie d'images comprenant des moyens de correction de mise au point
US8300108B2 (en) 2009-02-02 2012-10-30 L-3 Communications Cincinnati Electronics Corporation Multi-channel imaging devices comprising unit cells
CN102124749B (zh) * 2009-06-01 2013-05-29 松下电器产业株式会社 立体图像显示装置
JP5471117B2 (ja) 2009-07-24 2014-04-16 ソニー株式会社 固体撮像装置とその製造方法並びにカメラ
JP4796666B2 (ja) * 2009-10-27 2011-10-19 パナソニック株式会社 撮像装置およびそれを用いた測距装置
JP2011109200A (ja) * 2009-11-13 2011-06-02 Sanyo Electric Co Ltd 監視カメラ
EP2502115A4 (en) 2009-11-20 2013-11-06 Pelican Imaging Corp RECORDING AND PROCESSING IMAGES THROUGH A MONOLITHIC CAMERA ARRAY WITH HETEROGENIC IMAGE CONVERTER
JP5446797B2 (ja) * 2009-12-04 2014-03-19 株式会社リコー 撮像装置
US20120012748A1 (en) 2010-05-12 2012-01-19 Pelican Imaging Corporation Architectures for imager arrays and array cameras
SG186210A1 (en) * 2010-06-14 2013-01-30 Heptagon Micro Optics Pte Ltd Camera, and method of manufacturing a plurality of cameras
US8744367B2 (en) 2010-08-31 2014-06-03 At&T Intellectual Property I, L.P. Tail optimization protocol for cellular radio resource allocation
CN102404953A (zh) * 2010-09-17 2012-04-04 瀚斯宝丽股份有限公司 电子设备的外壳装置
US20140192238A1 (en) 2010-10-24 2014-07-10 Linx Computational Imaging Ltd. System and Method for Imaging and Image Processing
US8878950B2 (en) 2010-12-14 2014-11-04 Pelican Imaging Corporation Systems and methods for synthesizing high resolution images using super-resolution processes
US9030550B2 (en) * 2011-03-25 2015-05-12 Adobe Systems Incorporated Thin plenoptic cameras using solid immersion lenses
KR101793739B1 (ko) * 2011-04-06 2017-11-03 엘지전자 주식회사 3차원 촬영과 재생이 가능한 이동단말
US20120274811A1 (en) * 2011-04-28 2012-11-01 Dmitry Bakin Imaging devices having arrays of image sensors and precision offset lenses
KR101973822B1 (ko) 2011-05-11 2019-04-29 포토네이션 케이맨 리미티드 어레이 카메라 이미지 데이터를 송신 및 수신하기 위한 시스템들 및 방법들
US9220066B2 (en) * 2011-06-20 2015-12-22 At&T Intellectual Property I, L.P. Bundling data transfers and employing tail optimization protocol to manage cellular radio resource utilization
CN103503432B (zh) * 2011-07-06 2016-11-02 株式会社摩如富 图像处理装置、图像处理方法
US9300946B2 (en) * 2011-07-08 2016-03-29 Personify, Inc. System and method for generating a depth map and fusing images from a camera array
US9213227B2 (en) * 2011-08-18 2015-12-15 Nikon Corporation Custom color or polarization sensitive CCD for separating multiple signals in autofocus projection system
US20130070060A1 (en) 2011-09-19 2013-03-21 Pelican Imaging Corporation Systems and methods for determining depth from multiple views of a scene that include aliasing using hypothesized fusion
EP2761534B1 (en) 2011-09-28 2020-11-18 FotoNation Limited Systems for encoding light field image files
JP5917125B2 (ja) * 2011-12-16 2016-05-11 キヤノン株式会社 画像処理装置、画像処理方法、撮像装置および表示装置
EP2817955B1 (en) 2012-02-21 2018-04-11 FotoNation Cayman Limited Systems and methods for the manipulation of captured light field image data
EP2637400A3 (de) * 2012-03-09 2014-06-18 Sick Ag Bildsensor und Verfahren zur Aufnahme eines Bildes
US9210392B2 (en) 2012-05-01 2015-12-08 Pelican Imaging Coporation Camera modules patterned with pi filter groups
JP2015534734A (ja) 2012-06-28 2015-12-03 ペリカン イメージング コーポレイション 欠陥のあるカメラアレイ、光学アレイ、およびセンサを検出するためのシステムおよび方法
US20140002674A1 (en) 2012-06-30 2014-01-02 Pelican Imaging Corporation Systems and Methods for Manufacturing Camera Modules Using Active Alignment of Lens Stack Arrays and Sensors
US8817167B2 (en) * 2012-07-13 2014-08-26 Google Inc. Imaging device with a plurality of depths of field
EP3869797B1 (en) 2012-08-21 2023-07-19 Adeia Imaging LLC Method for depth detection in images captured using array cameras
US20140055632A1 (en) 2012-08-23 2014-02-27 Pelican Imaging Corporation Feature based high resolution motion estimation from low resolution images captured using an array source
EP2901671A4 (en) 2012-09-28 2016-08-24 Pelican Imaging Corp CREATING IMAGES FROM LIGHT FIELDS USING VIRTUAL POINTS OF VIEW
US9143711B2 (en) 2012-11-13 2015-09-22 Pelican Imaging Corporation Systems and methods for array camera focal plane control
FR2999729B1 (fr) * 2012-12-14 2015-01-16 Astrium Sas Mise au point optique d'un instrument de saisie d'image
WO2014124743A1 (en) * 2013-02-18 2014-08-21 Sony Corporation Electronic device, method for generating an image and filter arrangement
US9462164B2 (en) 2013-02-21 2016-10-04 Pelican Imaging Corporation Systems and methods for generating compressed light field representation data using captured light fields, array geometry, and parallax information
US9374512B2 (en) 2013-02-24 2016-06-21 Pelican Imaging Corporation Thin form factor computational array cameras and modular array cameras
US9774789B2 (en) 2013-03-08 2017-09-26 Fotonation Cayman Limited Systems and methods for high dynamic range imaging using array cameras
US8866912B2 (en) 2013-03-10 2014-10-21 Pelican Imaging Corporation System and methods for calibration of an array camera using a single captured image
WO2014164550A2 (en) 2013-03-13 2014-10-09 Pelican Imaging Corporation System and methods for calibration of an array camera
US9519972B2 (en) 2013-03-13 2016-12-13 Kip Peli P1 Lp Systems and methods for synthesizing images from image data captured by an array camera using restricted depth of field depth maps in which depth estimation precision varies
US9106784B2 (en) 2013-03-13 2015-08-11 Pelican Imaging Corporation Systems and methods for controlling aliasing in images captured by an array camera for use in super-resolution processing
US9888194B2 (en) 2013-03-13 2018-02-06 Fotonation Cayman Limited Array camera architecture implementing quantum film image sensors
WO2014153098A1 (en) 2013-03-14 2014-09-25 Pelican Imaging Corporation Photmetric normalization in array cameras
WO2014159779A1 (en) 2013-03-14 2014-10-02 Pelican Imaging Corporation Systems and methods for reducing motion blur in images or video in ultra low light with array cameras
US10122993B2 (en) 2013-03-15 2018-11-06 Fotonation Limited Autofocus system for a conventional camera that uses depth information from an array camera
US9497429B2 (en) 2013-03-15 2016-11-15 Pelican Imaging Corporation Extended color processing on pelican array cameras
US9438888B2 (en) 2013-03-15 2016-09-06 Pelican Imaging Corporation Systems and methods for stereo imaging with camera arrays
US9445003B1 (en) 2013-03-15 2016-09-13 Pelican Imaging Corporation Systems and methods for synthesizing high resolution images using image deconvolution based on motion and depth information
US9135893B2 (en) * 2013-05-28 2015-09-15 Infineon Technologies Ag Display device
US9762875B2 (en) * 2013-06-14 2017-09-12 Sony Corporation Methods and devices for parallax elimination
WO2015048694A2 (en) 2013-09-27 2015-04-02 Pelican Imaging Corporation Systems and methods for depth-assisted perspective distortion correction
US9386203B2 (en) * 2013-10-28 2016-07-05 Omnivision Technologies, Inc. Compact spacer in multi-lens array module
US9185276B2 (en) 2013-11-07 2015-11-10 Pelican Imaging Corporation Methods of manufacturing array camera modules incorporating independently aligned lens stacks
US10119808B2 (en) 2013-11-18 2018-11-06 Fotonation Limited Systems and methods for estimating depth from projected texture using camera arrays
WO2015081279A1 (en) 2013-11-26 2015-06-04 Pelican Imaging Corporation Array camera configurations incorporating multiple constituent array cameras
WO2015134996A1 (en) 2014-03-07 2015-09-11 Pelican Imaging Corporation System and methods for depth regularization and semiautomatic interactive matting using rgb-d images
EP3123226B1 (en) * 2014-03-27 2019-02-20 Intel Corporation Apparatus and method for capturing multiple sub-images to generate an image
US10217438B2 (en) * 2014-05-30 2019-02-26 Apple Inc. User interface and method for directly setting display white point
JP6555264B2 (ja) * 2014-07-16 2019-08-07 ソニー株式会社 複眼撮像装置
EP3201877B1 (en) 2014-09-29 2018-12-19 Fotonation Cayman Limited Systems and methods for dynamic calibration of array cameras
US9681052B1 (en) * 2015-01-16 2017-06-13 Google Inc. Multi-aperture camera with optical image stabilization function
US9942474B2 (en) 2015-04-17 2018-04-10 Fotonation Cayman Limited Systems and methods for performing high speed video capture and depth estimation using array cameras
JP2017034656A (ja) * 2015-08-04 2017-02-09 ソニー・オリンパスメディカルソリューションズ株式会社 医療用撮像装置、医療用画像取得システム及び内視鏡装置
JP2017099616A (ja) * 2015-12-01 2017-06-08 ソニー株式会社 手術用制御装置、手術用制御方法、およびプログラム、並びに手術システム
DE102016204148A1 (de) 2016-03-14 2017-09-14 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Multiaperturabbildungsvorrichtung, Abbildungssystem und Verfahren zum Erfassen eines Objektbereichs
DE102017204035B3 (de) * 2017-03-10 2018-09-13 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Multiaperturabbildungsvorrichtung, Abbildungssystem und Verfahren zum Bereitstellen einer Multiaperturabbildungsvorrichtung
US11398060B2 (en) * 2017-04-05 2022-07-26 Sony Group Corporation Information processing device, information processing method, and program
CN110770627A (zh) * 2017-04-26 2020-02-07 纽波特公司 与高激光功率密度扫描系统一起使用的透镜系统
JP6946045B2 (ja) * 2017-04-28 2021-10-06 キヤノン株式会社 焦点検出装置及び撮像システム
CN109389935A (zh) * 2017-08-04 2019-02-26 上海珏芯光电科技有限公司 点光源阵列显示装置
US10482618B2 (en) 2017-08-21 2019-11-19 Fotonation Limited Systems and methods for hybrid depth regularization
JP7157314B2 (ja) * 2018-08-22 2022-10-20 ミツミ電機株式会社 カメラモジュール、及びカメラ搭載装置
FR3096510B1 (fr) * 2019-05-24 2021-05-28 Aledia Dispositif optoélectronique ayant des systèmes optiques déplaçables entre différents pixels et procédé de contrôle
EP3980830A4 (en) 2019-06-06 2023-06-07 Applied Materials, Inc. IMAGING SYSTEM AND METHOD FOR CREATING COMPOSITE IMAGES
MX2022003020A (es) 2019-09-17 2022-06-14 Boston Polarimetrics Inc Sistemas y metodos para modelado de superficie usando se?ales de polarizacion.
KR20230004423A (ko) 2019-10-07 2023-01-06 보스턴 폴라리메트릭스, 인크. 편광을 사용한 표면 법선 감지 시스템 및 방법
WO2021108002A1 (en) 2019-11-30 2021-06-03 Boston Polarimetrics, Inc. Systems and methods for transparent object segmentation using polarization cues
US11195303B2 (en) 2020-01-29 2021-12-07 Boston Polarimetrics, Inc. Systems and methods for characterizing object pose detection and measurement systems
KR20220133973A (ko) 2020-01-30 2022-10-05 인트린식 이노베이션 엘엘씨 편광된 이미지들을 포함하는 상이한 이미징 양식들에 대해 통계적 모델들을 훈련하기 위해 데이터를 합성하기 위한 시스템들 및 방법들
WO2021243088A1 (en) 2020-05-27 2021-12-02 Boston Polarimetrics, Inc. Multi-aperture polarization optical systems using beam splitters
US12020455B2 (en) 2021-03-10 2024-06-25 Intrinsic Innovation Llc Systems and methods for high dynamic range image reconstruction
US12069227B2 (en) 2021-03-10 2024-08-20 Intrinsic Innovation Llc Multi-modal and multi-spectral stereo camera arrays
US11954886B2 (en) 2021-04-15 2024-04-09 Intrinsic Innovation Llc Systems and methods for six-degree of freedom pose estimation of deformable objects
US11290658B1 (en) 2021-04-15 2022-03-29 Boston Polarimetrics, Inc. Systems and methods for camera exposure control
US12067746B2 (en) 2021-05-07 2024-08-20 Intrinsic Innovation Llc Systems and methods for using computer vision to pick up small objects
US11689813B2 (en) 2021-07-01 2023-06-27 Intrinsic Innovation Llc Systems and methods for high dynamic range imaging using crossed polarizers
US12038609B2 (en) * 2021-09-03 2024-07-16 Raytheon Company Diffraction grating return mirror for wide field of view line of sight jitter sensing

Family Cites Families (32)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB8709916D0 (en) * 1987-04-27 1987-10-21 Gec Avionics Imaging systems
JPH056988A (ja) * 1991-06-26 1993-01-14 Olympus Optical Co Ltd 固体撮像装置の製造方法
EP0720125B1 (fr) 1994-12-29 2002-05-08 Koninklijke Philips Electronics N.V. Dispositif de formation d'image et procédé pour effectuer des corrections de distorsions optiques géométriques dans une image
JPH08336165A (ja) * 1995-06-09 1996-12-17 Canon Inc 複眼撮像装置
JP3851384B2 (ja) * 1996-09-18 2006-11-29 シャープ株式会社 画像合成装置および方法
JP2000194026A (ja) 1998-12-28 2000-07-14 Canon Inc 揺れ補正装置、揺れ補正機能付き装置及び撮影装置
US6611289B1 (en) * 1999-01-15 2003-08-26 Yanbin Yu Digital cameras using multiple sensors with multiple lenses
JP3397755B2 (ja) 1999-06-30 2003-04-21 キヤノン株式会社 撮像装置
JP2002084412A (ja) 2000-09-07 2002-03-22 Minolta Co Ltd 画像処理装置及び画像処理方法
JP3703385B2 (ja) 2000-10-19 2005-10-05 キヤノン株式会社 撮像装置
US6952228B2 (en) 2000-10-13 2005-10-04 Canon Kabushiki Kaisha Image pickup apparatus
JP3703424B2 (ja) 2000-10-25 2005-10-05 キヤノン株式会社 撮像装置及びその制御方法及び制御プログラム及び記憶媒体
US7262799B2 (en) * 2000-10-25 2007-08-28 Canon Kabushiki Kaisha Image sensing apparatus and its control method, control program, and storage medium
JP2002209226A (ja) * 2000-12-28 2002-07-26 Canon Inc 撮像装置
JP2002214662A (ja) * 2001-01-23 2002-07-31 Olympus Optical Co Ltd 光学装置の振れ補正装置
JP2002330332A (ja) * 2001-04-27 2002-11-15 Canon Inc 画像処理装置、撮像装置、その制御方法、及び記録媒体
JP2003032537A (ja) 2001-07-13 2003-01-31 Miwa Engineering:Kk 撮像素子移動装置及び電子カメラ
DE60141901D1 (de) * 2001-08-31 2010-06-02 St Microelectronics Srl Störschutzfilter für Bayermusterbilddaten
JP4642294B2 (ja) * 2001-09-20 2011-03-02 オリンパス株式会社 微動機構
US7286168B2 (en) * 2001-10-12 2007-10-23 Canon Kabushiki Kaisha Image processing apparatus and method for adding blur to an image
US20030076408A1 (en) * 2001-10-18 2003-04-24 Nokia Corporation Method and handheld device for obtaining an image of an object by combining a plurality of images
US20030137585A1 (en) * 2001-12-12 2003-07-24 James Mahon Machine vision system
JP4165077B2 (ja) * 2002-01-28 2008-10-15 ソニー株式会社 半導体撮像装置
JP2003255225A (ja) 2002-03-04 2003-09-10 Nidec Copal Corp ズームレンズ
JP2003259194A (ja) * 2002-03-06 2003-09-12 Tamron Co Ltd 画像安定化装置
JP2003289474A (ja) * 2002-03-27 2003-10-10 Canon Inc 画像処理装置、撮像装置、画像処理方法、プログラム、及びコンピュータ読み取り可能な記憶媒体
JP3975892B2 (ja) * 2002-05-02 2007-09-12 富士ゼロックス株式会社 位置計測システム
JP2004032172A (ja) * 2002-06-24 2004-01-29 Canon Inc 複眼撮像装置およびこれを備えた機器
JP4137572B2 (ja) * 2002-09-27 2008-08-20 オリンパス株式会社 撮像装置
JP2004128201A (ja) * 2002-10-02 2004-04-22 Canon Inc 固体撮像装置及び撮像システム
JP4427949B2 (ja) * 2002-12-13 2010-03-10 ソニー株式会社 固体撮像素子及びその製造方法
JP3973591B2 (ja) * 2003-04-03 2007-09-12 オリンパス株式会社 電磁駆動型アクチュエータ

Also Published As

Publication number Publication date
EP1677518A1 (en) 2006-07-05
US7924327B2 (en) 2011-04-12
EP2466871A3 (en) 2017-05-03
EP2466871A2 (en) 2012-06-20
US20050134699A1 (en) 2005-06-23
US20110141309A1 (en) 2011-06-16
JPWO2005041562A1 (ja) 2007-04-26
JP2008067412A (ja) 2008-03-21
JP4275717B2 (ja) 2009-06-10
WO2005041562A1 (ja) 2005-05-06
EP1677518A4 (en) 2009-12-02
JP2008153691A (ja) 2008-07-03
US8218032B2 (en) 2012-07-10
JP4071793B2 (ja) 2008-04-02

Similar Documents

Publication Publication Date Title
JP4950916B2 (ja) 撮像素子の製造方法
JP4903705B2 (ja) 複眼方式の撮像装置及びその製造方法
EP1858252B1 (en) Method and apparatus for image capturing capable of effectively reproducing quality image and electronic apparatus using the same
US8203644B2 (en) Imaging system with improved image quality and associated methods
US8456552B2 (en) Image pick up unit using a lens array including a plurality of lens sections corresponding to m×n pixels of image pickup device
US9300885B2 (en) Imaging device, portable information terminal, and imaging system
EP1720340A1 (en) Camera module
KR102303135B1 (ko) 다중-개구 이미징 디바이스, 이미징 시스템 및 다중-개구 이미징 디바이스를 제공하기 위한 방법
JP2004191893A (ja) 撮像装置
CN104185808A (zh) 包括自适应光学元件的透镜堆叠阵列
JP2011176525A (ja) 偏光イメージング装置、その製造方法及び撮像装置
CN100534140C (zh) 成像传感器的制造方法
JP2005176040A (ja) 撮像装置
JP5248971B2 (ja) 撮像ユニットの製造方法、および撮像ユニット
JP5621615B2 (ja) 撮像装置
KR100593896B1 (ko) 렌즈 분할형 카메라 모듈
JP2007065335A (ja) 撮像装置
JP4314476B2 (ja) 撮像装置
JP2012042857A (ja) 撮像装置
JP2003330133A (ja) 複眼式光学系

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20111006

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20111013

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20111104

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20120216

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20120309

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20150316

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

LAPS Cancellation because of no payment of annual fees