JP7378935B2 - 画像処理装置 - Google Patents

画像処理装置 Download PDF

Info

Publication number
JP7378935B2
JP7378935B2 JP2019020052A JP2019020052A JP7378935B2 JP 7378935 B2 JP7378935 B2 JP 7378935B2 JP 2019020052 A JP2019020052 A JP 2019020052A JP 2019020052 A JP2019020052 A JP 2019020052A JP 7378935 B2 JP7378935 B2 JP 7378935B2
Authority
JP
Japan
Prior art keywords
image
region
signal
signals
photoelectric conversion
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2019020052A
Other languages
English (en)
Other versions
JP2020127179A (ja
Inventor
友美 高尾
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2019020052A priority Critical patent/JP7378935B2/ja
Priority to US16/781,478 priority patent/US11122196B2/en
Publication of JP2020127179A publication Critical patent/JP2020127179A/ja
Application granted granted Critical
Publication of JP7378935B2 publication Critical patent/JP7378935B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/67—Focus control based on electronic image sensor signals
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14601—Structural or functional details thereof
    • H01L27/14603—Special geometry or disposition of pixel-elements, address-lines or gate-electrodes
    • H01L27/14607—Geometry of the photosensitive area
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14601—Structural or functional details thereof
    • H01L27/14625—Optical elements or arrangements associated with the device
    • H01L27/14627—Microlenses
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14665—Imagers using a photoconductor layer
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/54—Mounting of pick-up tubes, electronic image sensors, deviation or focusing coils
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/67—Focus control based on electronic image sensor signals
    • H04N23/672—Focus control based on electronic image sensor signals based on the phase difference signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/703—SSIS architectures incorporating pixels for producing signals other than image signals
    • H04N25/704—Pixels specially adapted for focusing, e.g. phase difference pixel sets
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B3/00—Simple or compound lenses
    • G02B3/0006—Arrays
    • G02B3/0037—Arrays characterized by the distribution or form of lenses
    • G02B3/0056—Arrays characterized by the distribution or form of lenses arranged along two different directions in a plane, e.g. honeycomb arrangement of lenses
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B5/00—Optical elements other than lenses
    • G02B5/20—Filters
    • G02B5/201—Filters in the form of arrays
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
    • H04N25/77—Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components
    • H04N25/772—Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components comprising A/D, V/T, V/F, I/T or I/F converters

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Power Engineering (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • General Physics & Mathematics (AREA)
  • Condensed Matter Physics & Semiconductors (AREA)
  • Electromagnetism (AREA)
  • Computer Hardware Design (AREA)
  • Microelectronics & Electronic Packaging (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)
  • Automatic Focus Adjustment (AREA)
  • Studio Devices (AREA)
  • Light Receiving Elements (AREA)
  • Solid State Image Pick-Up Elements (AREA)

Description

本発明は、異なるＦ値の画像を取得するのに適した画像処理装置に関する。
近年、画像記録用又は表示用の画像を取得するとともに、撮像面で位相差式の焦点検出を行う撮像素子、いわゆる撮像面位相差ＡＦ機能を有する撮像素子を備えた撮像装置の発明が提案されている。さらに、複数の光線空間情報を取得可能なカメラの提案がなされている。このようなカメラはライトフィールドカメラ等と呼ばれている。ライトフィールドカメラでは、異なる瞳領域を通過した光束を取得し、画像を再構成することで、撮影後のフォーカス位置変化やＦ値（開口値）の異なる画像の取得などの機能を提供することが可能である。
また、デジタルスチルカメラやデジタルビデオカメラなどの撮像装置には、ＣＣＤ又はＣＭＯＳ型撮像素子等が用いられることが多い。撮像素子は、半導体基板上に形成された画素毎のフォトダイオードに入射した光を光電変換して、画素毎の信号量を読み出す。近年では、受光感度の向上を目的として、下部電極と上部電極の間に形成された有機光電変換膜と、カラーフィルタを積層させた、積層型撮像素子が開示されている。有機光電変換膜を有する撮像素子においては、従来のＣＣＤ又はＣＭＯＳ型撮像素子に比べて異なる瞳領域を受光するために必要だった撮像素子の受光領域設定が比較的容易になる。即ち、金属材料による下部電極のパターンで形成できるため、撮像素子の瞳領域のパターン形成の自由度が高いという特徴がある。
特許文献１の撮像装置では、複数のマイクロレンズアレイを有し、各マイクロレンズ下に複数の撮像素子を設けることで、上述したライトフィールドカメラの構成をとった構成が開示されている。更に、撮像素子の読み出しを変化させることで、撮像素子のＦ値に応じた画像を取得する方法が開示されている。
また、特許文献２の撮像装置では、有機光電変換膜を有する撮像装置において、下部電極の構造により、撮像面位相差ＡＦ機能を有する撮像素子が開示されている。
特許０５９１７１５８号明細書 特開２０１３－１４５２９２号公報
しかしながら、特許文献１や特許文献２の撮像装置においては、異なるＦ値の画像を取得する際に下記のような課題があった。
特許文献１、２に記載の撮像装置では、撮像素子の分割形状が矩形のため、撮像素子の読み出しによって形成された画像（たとえば、絞ったＦ値に対応する画像）を形成する際には、ボケの形状が撮像素子の形に対応した矩形形状になってしまう。通常のレンズのメカ絞りはＦ値に対応して、円形に近い形状で絞られるものであり、矩形のボケ形状は品位が良くない。
そこで本発明は、異なるＦ値に対応した複数の画像を簡単に取得でき、かつボケ形状を適切化できる画像処理装置を提供することを目的とする。
上記目的を達成するために、本発明の画像処理装置は、
撮像面に沿って配置された複数の画素を有する撮像素子であって、
前記画素は、外部からの光を画素の内部に集光するためのマイクロレンズと、
前記マイクロレンズの下方に設けられ、光電変換信号を生成するための光電変換領域を有し、
前記光電変換領域は、光電変換膜を挟む上部電極と下部電極を含み、前記上部電極または前記下部電極は複数に分割されており、分割された複数の上部電極または複数の下部電極によって前記撮像面に平行な面内に分割して配置された少なくとも第１領域、第２領域、第３領域を形成するとともに、前記第１領域は円形を構成するための形状を有し、前記第２領域と、前記第３領域が前記第１の領域の外側に配置され、さらに前記第１領域の外側であって前記第２領域、前記第３領域の内側に設けられた環状の領域を有していることを特徴とする前記撮像素子と、
一回の撮像により得られた光電変換信号を前記第１、第２、第３領域、前記環状の領域からそれぞれ第１、第２、第３、第４の信号として読出す読出し手段と、
前記読出し手段によって読出された前記第１、第２、第３、第４の信号をそれぞれ記憶する記憶手段と、
前記記憶手段に保存された前記第１、第２、第３、第４の信号を加算して第１の画像信号を形成する第１のモードと、前記第２、第３、第４の信号を用いずに、前記第１の信号を用いて第２の画像信号を形成する第２のモードと、前記第２、第３の信号を用いずに、前記第１の信号と前記第４の信号を用いて第３の画像信号を形成する第３のモードと、を選択することにより一回の撮像で複数のＦ値に対応する撮影画像を形成可能な画像信号処理手段と、
少なくとも前記第１のモードにおいて、前記第１、第２、第３、第４の信号を加算して前記第１の画像信号を形成すると共に、前記加算をする前の少なくとも前記第２、第３の信号を用いて相関演算をすることにより焦点検出信号を生成する焦点検出手段と、
を有することを特徴とする。
本発明によれば、異なるＦ値に対応した複数の画像を簡単に取得でき、かつボケ形状を適切化できる画像処理装置を得ることができる。
実施例１の画像処理装置の構成図である。 実施例１の撮像素子の画素配置例を示す図である。 実施例１における撮像素子の画素の断面図である。 実施例１における撮像素子と瞳分割との対応関係を示した概略図である。 実施例１における撮像光学系の瞳領域の例を示す図である。 実施例１おける像ずれ量とデフォーカス量の概略関係図である。 実施例１における瞳領域とＦ値との関係を示した図である。 実施例１における画素配列例を示す図である。 図８の画素配列における画素断面図である。 瞳領域のパターンの他の例を示す図である。 実施例２における、瞳領域の分割数が多い例を示す図である。 実施例２の画素配列における画素断面図である。 実施例２における瞳分割の変形例を示した図である。
以下、本発明の実施形態について、実施例に基づき図面を参照しながら詳細に説明する。
図１は、本発明を実施した画像処理装置の一例としての、レンズ交換式デジタルカメラなどのカメラ本体１００および撮影レンズユニット５００の構成図である。
撮影レンズユニット５００はカメラ本体１００に対して着脱可能に構成され、撮影レンズユニット５００内の各レンズ群を透過した光束は、被写体像を受光するための撮像素子１０１へと導かれる。撮像素子１０１は、被写体像を電気信号に光電変換する画素がマトリクス状に複数配置されている。
電気信号に変換された画素情報は画像信号や焦点検出信号を得るための各種補正処理や、得られた画像信号をライブビュー画像や画像記録用またはＥＶＦ等に表示するための表示用の画像に変換するための信号処理等が行われる。それらの処理はカメラＣＰＵ１０４で行われる。カメラＣＰＵ１０４は不図示のメモリに記憶されたコンピュータプログラムに基づき各種信号処理を行うとともに画像処理装置全体の各種動作を実行する。なお、本実施例においてはこれらの処理等をカメラＣＰＵ１０４で行っているが、これらの処理の一部を専用の回路によって行うようにしても良い。
１０５は操作部材で、カメラの撮影モードや撮影条件（Ｆ値、ＩＳＯ、露光時間など）を設定するための各種部材である。１０６は記憶媒体で、フラッシュメモリ等で構成され、撮影した静止画や動画を記録するための記憶手段として機能する。記憶媒体１０６は撮像素子１０１から読み出された複数の瞳領域の信号をそれぞれ個別に、あるいは一部加算してから記憶する機能も有する。１０７はファインダ内表示器で、有機ＥＬディスプレイや液晶ディスプレイ等の小型で高精細な表示手段としてのディスプレイ１０９と、接眼レンズ１０８等により構成される。外部表示器１１０は、裸眼視に適した画面サイズの有機ＥＬディスプレイや液晶ディスプレイが用いられる。カメラ本体１００の設定状態、ライブビュー画像、撮影済み画像等の各種情報は、ファインダ内表示器１０７や外部表示器１１０に表示される。
フォーカルプレンシャッタ１１１は撮像素子１０１の前面に配置されている。シャッタ駆動部１１２は例えばモーターを含み、シャッタ羽根を駆動制御することで、静止画を撮像する際の撮像素子１０１の露光時間を制御する。カメラ側通信端子１１３は、撮影レンズユニットを装着するためのカメラマウント部に設けられている。カメラ側通信端子１１３はレンズマウント部に設けられたレンズ側通信端子５０８とともにカメラＣＰＵ１０４と後述のレンズＣＰＵ５０７の間で各種情報を送受信する。
撮影レンズユニット５００はカメラ本体１００に対して着脱可能であり、本実施例では焦点距離が可変なズームレンズを有する。レンズの種類は問わない。被写体からの光束は第１レンズ群５０１、第２レンズ群５０２、第３レンズ群５０３を透過し、カメラ本体１００内の撮像素子１０１の撮像面に被写体像を形成する。第２レンズ群５０２は光軸方向に進退して変倍を行なうバリエータとして機能する。第３レンズ群５０３は光軸方向に進退して焦点調節を行なうためのフォーカスレンズとして機能する。
第３レンズ群５０３は、ステッピングモーターなどを含むフォーカス駆動部５０４によって駆動される。絞り５０５は撮影レンズユニットを介して撮像素子１０１に入射する光量を調節するためのもので、複数の絞り羽根で構成されている。絞り駆動部５０６は絞り羽根を所定のＦ値になるまで絞り込み駆動する。レンズＣＰＵ５０７は、レンズ側通信端子５０８及びカメラ側通信端子１１３を介してカメラＣＰＵ１０４と通信し、各種情報を送受信するとともに、カメラＣＰＵ１０４からの指令に基づいてフォーカス駆動部５０４や絞り駆動部５０６を駆動制御する。
撮影レンズユニット５００のズームレンジや開放Ｆ値は撮影意図に応じて設計されるが、本実施例においては、開放Ｆ値はズーム状態やフォーカス状態によらず、一定値となるように構成されている。一方で、射出瞳と撮像面間の距離、いわゆる射出瞳距離はズーム状態及びフォーカス状態に応じて変化する。
図２は撮像素子１０１の撮像面の中央近傍（撮影レンズの光軸近傍、像高０近傍）における一部の複数の画素２００を撮影レンズユニット側から見た平面図である。
図２においては、撮像素子１０１が有する複数の画素２００はそれぞれ撮像面上の水平方向（ｘ）、垂直方向（ｙ）共にたとえば、４μｍの大きさを有した正方形の画素であり、これらの画素の構造は実質的にすべて同じものとする。これらの画素はたとえば、水平方向に６０００画素、垂直方向に４０００画素マトリクス配列されている。撮像領域の大きさは画素の大きさ、すなわち画素ピッチに画素数を乗じれば求めることができ、この場合は水平方向に２４ｍｍ、垂直方向に１６ｍｍとなる。各画素にはＲ、Ｇ、Ｂのカラーフィルタがそれぞれ配置され、全体としていわゆるベイヤー配列となっている。
図３は上記画素群のうちの一つの画素の中心を通るｘ方向の断面図である。画素２００は、マイクロレンズ２０１、カラーフィルタ２０２、上部電極２０３、有機光電変換膜２０４、透明な下部電極２０５Ａ～２０５Ｄを有する。マイクロレンズ２０１は、撮影レンズユニット５００を通過して撮像素子１０１に結像された光を画素２００の内部に集光している。カラーフィルタ２０２は、マイクロレンズ２０１の下方に設けられ、画素２００毎に、例えばＲ（赤系）、Ｂ（青系）、Ｇ（緑系）の特定の波長の光のみを透過させるように構成されている。
上部電極２０３（第１の電極）は、カラーフィルタ２０２の下かつ有機光電変換膜２０４の上に設けられている。有機光電変換膜２０４は、上部電極２０３の下に設けられ、光を光電変換して光電変換信号としての電荷を生成する。下部電極２０５Ａ～２０５Ｄは、ｘ方向に分離して配列された第２の電極であり、有機光電変換膜２０４の下に設けられ、上部電極２０３と対向して設けられている。下部電極は撮像面に平行な面内に分割して配置されている。カラーフィルタ２０２は、マイクロレンズ２０１と上部電極２０３との間に設けられている。上部電極２０３は、カラーフィルタ２０２と有機光電変換膜２０４との間に設けられている。有機光電変換膜２０４は、上部電極２０３と下部電極２０５Ａ～２０５Ｄとの間に設けられている。
各画素２００では、マイクロレンズ２０１により集光されて、カラーフィルタ２０２を透過した特定の波長（Ｒ、Ｇ、Ｂのいずれか）の光のみが、有機光電変換膜２０４により光電変換されて信号電荷が発生する。そして、上部電極２０３及び下部電極２０５Ａ～２０５Ｄ間にバイアス電圧を印加し、有機光電変換膜２０４中に電界をかけることで、下部電極２０５に移動した信号電荷を外部に読み出すことができる。つまり、有機光電変換膜で発生した光電変換信号は、下部電極２０５Ａ～２０５Ｄの形状に対応した領域毎に読みだされる。即ち、下部電極の形状に応じた光電変換領域が形成されていることになる。本実施例においては、光電変換領域とは、分割された下部電極が上部電極と有機光電変換膜とともに形成する領域を意味する。なお、上部電極が複数に分割されていても良い。そして分割された複数の上部電極によって光電変換領域が複数に分割されていても良い。
上部電極２０３は透明であり、マイクロレンズ２０１から有機光電変換膜２０４に光を入射させる。透明な上部電極２０３の材料としては、透明導電性酸化物、例えばＩＴＯ（酸化インジウムスズ）が好ましい。また、上部電極２０３は、画素２００毎に分割されていてもよいし、すべての画素２００で共通化されていてもよい。
下部電極２０５Ａ～２０５Ｄは、光を反射する機能を有する金属電極である。下部電極２０５Ａ～２０５Ｄの材料は、例えばＡｌやＴｉが挙げられる。下部電極２０５Ａ～２０５Ｄは、有機光電変換膜２０４から入射した光を有機光電変換膜２０４に反射する。有機光電変換膜２０４は、光を吸収して、吸収した光量に応じた電荷を発生する光電変換材料で構成される。有機光電変換膜２０４は、単層構造でも多層構造でも良い。下部電極２０５Ａ～２０５Ｄの下には、絶縁膜２０６及び金属配線２０７が設けられている。金属配線２０７は、信号電荷の読み取りやスイッチングを行うための電気配線部であり、下部電極２０５Ａ～２０５Ｄは、それぞれＳｉ基板上の信号読み取り部２０９Ａ～２０９Ｄへと接続されている。なお、有機光電変換膜２０４中で発生し、下部電極２０５に移動した信号電荷は金属配線２０７を介して対応する信号読み取り部２０９Ａ～２０９Ｄに蓄積される。つまり、所定の露光期間の間に信号読み取り部２０９Ａ～２０９Ｄに蓄積された信号電荷に基づいて得られる信号によって静止画や動画が生成される。
絶縁膜２０６は、複数の金属配線２０７の間、及び複数の下部電極２０５Ａ～２０５Ｄの間に形成される。これにより、絶縁膜２０６は、複数の金属配線２０７の間、及び複数の下部電極２０５Ａ～２０５Ｄの間を電気的に絶縁する。半導体基板２０８には、複数の画素２００に対応する不純物領域が形成され、有機光電変換膜２０４で生成された信号電荷を、保持する。さらに、半導体基板２０８には、不図示の信号電荷を読み出すための回路が形成されている。
次に、本実施例の撮像素子と瞳分割との対応関係を図４に示す。線６０４は、被写体の位置を示し、位置６０５にある撮像光学系を通して被写体像を撮像素子の撮像面６０６に形成する。なお、ここで撮像光学系は撮影レンズユニットに含まれるレンズ群を１つのレンズとして表現したものである。撮像素子の画素毎に、ｘ方向に４分割された下部電極２０５Ａ～２０５Ｄにそれぞれ対応する光電変換膜部分は、それぞれ、点線で示した瞳領域６０７Ａ～６０７Ｄを通過した光束を受光する。
本実施例においては、画素毎の、下部電極２０５Ａ～２０５Ｄに対応する光電変換膜部分の中から特定の光電変換部分の信号を選択的に選び出すことで、結像光学系の瞳領域６０７Ａ～６０７Ｄの中の特定の瞳領域に対応した視差画像を得ることができる。例えば、画素毎に、下部電極２０５Ａに対応する光電変換膜部分の信号を選び出すことで、結像光学系の瞳領域６０７Ａに対応した有効画素数の解像度の視差画像を得ることができる。
また、画素毎に、下部電極２０５Ａ～２０５Ｄに対応する光電変換膜部分に相当する光電変換部分の信号を全てまたは一部加算することで、有効画素数の解像度の比較的感度の高い撮像画像を生成することもできる。
図５（Ａ）は、撮像光学系の瞳領域６０７Ａ～６０７Ｄをｘｙ平面上で図示した模式図である。点線で示した瞳領域６０７３は、図４と同様の瞳領域６０７Ａ～６０７Ｄからなる瞳領域全体の内、絞りにより決まる（制限された）円形の瞳領域である。各瞳領域６０７Ａ～６０７Ｄは下部電極の形状２０５Ａ～２０５Ｄにより決まる瞳領域を示す。即ち、図３で示した画素２００の下部電極２０５Ａ～２０５Ｄの形状に応じて、図５に分解して図示した瞳領域形状（瞳パターン）が決まる。
なお、瞳領域６０７Ａ、６０７Ｄの内、円形の瞳領域６０７の外側の部分は光が絞り等によってけられている。本実施例では、図５（Ｂ）で示すように、ほぼ半円形の瞳領域６０７Ｂ、６０７Ｃ（斜線部）と、６０７Ａ、６０７Ｄ（ドット部）とからなる４分割された瞳パターンが図示されている。６０７Ａ、６０７Ｄは長方形６０７１、６０７２から６０７Ｂ、６０７Ｃをそれぞれ引いた形状となる。
また、下部電極２０５Ａ～２０５Ｄの形状はそれぞれ対応する瞳領域形状と類似した形状になっており、前述のように、上部電極と有機光電変換膜２０４とともにそれぞれが分割された光電変換領域を形成している。即ち、図５（Ａ）に示されている分割された瞳領域の形状は分割された下部電極２０５Ａ～２０５Ｄの形状（分割された光電変換領域の形状）とほぼ相似形と考えてよい。また、以降の説明においても、例えば図７、図１０、図１１、図１３で説明する分割された瞳領域はすべて分割された下部電極の形状（分割された光電変換領域の形状）と相似形と考えてよい。
このように、金属材料である下部電極によって瞳パターンを決められることから、従来のＣＣＤ、ＣＭＯＳ型撮像素子などに比べて、光電変換膜を用いた本実施例の撮像素子では、瞳パターン形状を設計する際の自由度が高い。また、円弧等の複雑な形状でも瞳パターンの形成が容易であるという特徴がある。
上記のように本実施例では半円形の瞳領域６０７Ｂ、６０７Ｃを構成するための瞳領域６０７Ｂ、６０７Ｃとそれぞれ相似形の半円形の下部電極２０５Ｂ、２０５Ｃが設けられている。そして下部電極２０５Ｂ、２０５Ｃの外側に瞳領域６０７Ａ、６０７Ｄとそれぞれ相似形の下部電極２０５Ａ、２０５Ｄが設けられている。上記半円形の下部電極２０５Ｂ、２０５Ｃによって形成される光電変換領域（第１の領域）は両者の組み合わせによって円形を構成するための形状となっている。なお、図５（Ａ）の例では下部電極２０５Ｂ、２０５Ｃは分割されているが、後述の図１０（Ｄ）や図１３（Ｃ）のように円形を構成するための光電変換領域（第１の領域）は分割されていなくても良い。あるいは後述の図１１（Ａ）のように更に細かく分割されていても良い。なお、上記において円形は完全な円形でなくても例えば多少楕円形などになっていても良い。
また、上記のような円形を構成するための光電変換領域（第１の領域）の外側には分割された光電変換領域（第２領域、第３領域）を形成するための下部電極２０５Ａ、２０５Ｄがそれぞれ配置されている。
なお、上記の分割された光電変換領域（第２領域、第３領域）を形成するための下部電極２０５Ａ、２０５Ｄは図５（Ａ）の例ではそれぞれ１つずつ設けられているが、後述の図１１（Ａ）や図１３のように更に細かく分割されていても良い。
また、本実施例では、図４に示すように撮像素子の中央から遠い画素ほどマイクロレンズの位置を画素に対して光学系の光軸側へずらしている。これは、撮像素子の中央から遠い部分では結像光学系からの主光線の方向がより傾くため、この傾きに対応するためである。
次に、図６に各画素における視差画像間の像ずれ量とデフォーカス量の概略関係を示す。撮像面６０６に本実施例の撮像素子１０１の各マイクロレンズ２０１が配置され、図４と同様に、結像光学系の瞳領域６０７Ａ～瞳領域６０７Ｄからの光が入射する。
デフォーカス量ｄについて、被写体の結像位置から撮像面までの距離を大きさ｜ｄ｜とする。そして、被写体の結像位置が撮像面より被写体側にある前ピン状態を負符号（ｄ＜０）、被写体の結像位置が撮像面より被写体の反対側にある後ピン状態を正符号（ｄ＞０）と定義する。被写体の結像位置が撮像面上にある合焦状態はｄ＝０となる。図６で、被写体７０１は合焦状態（ｄ＝０）となる位置の例を示しており、被写体７０２は前ピン状態（ｄ＜０）の位置の例を示している。前ピン状態（ｄ＜０）と後ピン状態（ｄ＞０）を、デフォーカス状態（｜ｄ｜＞０）とする。
前ピン状態（ｄ＜０）では、被写体７０２からの光束のうち、瞳領域６０７Ａ～６０７Ｄをそれぞれ通過した各光束は、一度、集光した後、各光束の重心位置Ｇ＿Ａ～Ｇ＿Ｄを中心として幅Γに広がり、撮像面６０６でボケた像（ボケ像）となる。各光束のボケ像Γ＿Ａ～Γ＿Ｄは、下部電極２０５に対応する光電変換膜部分により受光され、視差画像が生成される。
被写体像のボケ像Γ＿Ａ～Γ＿Ｄは、デフォーカス量ｄの大きさ｜ｄ｜が増加するのに伴い、概ね、比例して撮像面６０６に平行な方向について幅がひろがっていく。同様に、視差画像間の被写体像の像ずれ量ｐ＿ＡＤ（＝Ｇ＿Ｄ－Ｇ＿Ａ）の大きさ｜ｐ｜も、デフォーカス量ｄの大きさ｜ｄ｜が増加するのに伴い、概ね、比例して増加していく。後ピン状態（ｄ＞０）でも、視差画像間の被写体像の像ずれ方向が前ピン状態と反対となるが、同様である。合焦状態（ｄ＝０）では、視差画像間の被写体像の重心位置が一致（ｐ＝０）し、像ずれは生じない。
この時、像ずれ量ｐは、Ｇ＿Ｄ－Ｇ＿Ａとして計算してもよいし、Ｇ＿Ｃ―Ｇ＿Ｂとして計算してもよい。また、（Ｇ＿Ｃ＋Ｇ＿Ｄ）－（Ｇ＿Ｂ＋Ｇ＿Ａ）として像ずれ量を計算してもよい。デフォーカス量（｜ｄ｜の大きさ）によって上記の３つの計算方法を選択的に切り替えたり、上記３つの計算結果の重み付けを変えて加算するようにしてもよい。焦点検出においては、視差画像間の像ずれ量ｐに既知の変換係数Ｋを乗算することで、デフォーカス量ｄを算出する。そして、デフォーカス量とフォーカスレンズとしての第３レンズ群５０３との関係から、レンズ駆動量を求め、フォーカス駆動部５０４を動作させることで撮像面位相差方式の焦点調整を行う。上記の動作は、本実施例中では、焦点検出手段によって実行される。
このように、下部電極２０５に対応する光電変換膜部分を用いて得られる二つ以上（複数）の視差画像の像ずれ量は、デフォーカス量の大きさが増加するのに伴い増加する。本実施例では、撮像素子の光電変換部からの信号を用いて視差画像間の像ずれ量を相関演算により算出する。それによって、撮像面位相差検出方式の焦点検出信号を用いた焦点検出を行うことができる。このように、視差のついた瞳パターンを形成することで、位相差焦点検出が可能になる。
次に、図７を使って、本実施例で取得可能な複数Ｆ値の撮像画像と、焦点検出用の視差画像の関係について説明する。図７は図５（Ａ）で示した瞳領域のパターンに、点線でＦ値との関係を示した図である。瞳領域６０７３は、撮影レンズユニット５００の開放絞りによって決定される瞳領域である。
たとえば、撮影レンズユニットの開放Ｆ値がＦ２．０であったとすると、一段絞りのＦ２．８、二段絞りのＦ４．０の瞳領域は図７中のそれぞれ点線で示した領域になる。開放絞り状態で、瞳領域６０７Ａ＋瞳領域６０７Ｂ＋瞳領域６０７Ｃ＋瞳領域６０７Ｄの加算出力を得ると、開放Ｆ２．０の画像記録用または画像表示用の撮影画像を取得できる。
なお、このような加算出力を得るためには、撮像素子を用いて一回撮像（撮影）動作を行うことによって撮像素子内で光電変換信号を形成する。その後、前記の各瞳領域に対応した光電変換領域（第１領域～第３領域）からの光電変換信号（それぞれ第１～第３の信号）を読み出す。この読出しはカメラＣＰＵ１０４の制御によって行われる。その際カメラＣＰＵ１０４は読出し手段として機能する。
読み出された信号は不図示のＡＤ変換器によってＡＤ変換され、更に適宜信号処理した後、一旦前記記憶媒体１０６に記憶される。そして一旦記憶された各瞳領域に対応した信号を後で任意の組み合わせで加算処理する。なお、記憶媒体１０６に記憶する前に撮像素子内であるいは撮像素子外で各瞳領域に対応した信号の一部を予め加算しても良い。あるいは各瞳領域に対応した信号をすべて別々に記憶媒体１０６に記憶しても良い。
図８のように画素２００、３００、４００が並んで配置されている時の画素中心を通るｘ方向の断面構造を図９で示す。また、画素２００の信号読み取り部２０９Ａ～２０９Ｄからの信号をそれぞれ２０９ＡＳ～２０９ＤＳとする。また、画素３００の信号読み取り部３０９Ａ～３０９Ｄからの信号をそれぞれ３０９ＡＳ～３０９ＤＳとする。また画素４００の信号読み取り部４０９Ａ～４０９Ｄからの信号をそれぞれ４０９ＡＳ～４０９ＤＳとする。
そして例えば第１のモードでは、画素２００から、２０９ＡＳ＋２０９ＢＳ＋２０９ＣＳ＋２０９ＤＳを、画素３００から、信号３０９ＡＳ＋３０９ＢＳ＋３０９ＣＳ＋３０９ＤＳを読み出し、画素４００から、信号４０９ＡＳ＋４０９ＢＳ＋４０９ＣＳ＋４０９ＤＳを読み出し、・・・とつづけ、すべての画素（本実施例中では例えば４０００×６０００の画素が配列されているものとする。）に対して同じ処理を適用することで、開放Ｆ値（Ｆ２．０）に対応した画像記録用あるいは画像表示用の撮影画像を得ることができる。即ち、第１のモードでは前記第１～第３領域に対応した第１～第３信号を加算することによって比較的感度の高い画像信号を形成することができる。
一方、例えば第２のモードでは画素２００から、２０９ＢＳ＋２０９ＣＳを、画素３００から、信号３０９ＢＳ＋３０９ＣＳを、画素４００から、信号４０９ＢＳ＋４０９ＣＳを読み出し、・・・とつづけ、すべての画素（本実施例中では例えば４０００×６０００の画素が配列されているものとする。）に対して同じ処理を適用することで、開放Ｆ値（Ｆ４．０）に対応した画像記録用あるいは画像表示用の撮影画像を得ることができる。即ち、第２のモードでは前記第１～第３領域に対応した第１～第３信号の内の前記第２、第３の信号を用いずに、前記第１領域に対応した第１信号を用いて第２の画像信号を形成することによって比較的感度の低い画像信号を形成する。
なお、このような画像信号の形成における前記第１、第２のモードの選択動作は、例えば被写体の明るさ情報（測光情報）に基づき行われる。即ち、測光情報に基づき例えば被写体が比較的暗いと判断される場合には、前記第１のモードが選択され、逆に被写体が比較的明るいと判断される場合には前記第２のモードが選択される。なお、上記第１、第２のモードの選択は、本実施例ではカメラＣＰＵ１０４によって実行され、この時カメラＣＰＵ１０４は画像処理手段として機能する。
なお、上記第１、第２のモードによる画像信号の形成動作は、前記第１～第３の信号を撮像素子から読み出してＡＤ変換したのち前記記憶媒体に記憶してから、前記記憶媒体から前記第１～第３の信号を適宜組み合わせて実行しても良い。
しかも本実施例では、瞳形状も絞り５０５を絞った形状と同様にほぼ円形形状となるように、下部電極２０５Ｂ、２０５Ｃなどをそれぞれほぼ半円形状にすることで、ボケ形状もほぼ円形となり、品位の良いボケ状態の撮影画像を取得可能である。本実施例によれば、下部電極２０５Ｂ、２０５Ｃを図５（Ａ）や図７（Ａ）の瞳領域６０７Ｂ、６０７Ｃに対応したほぼ円形の形状とすることによって、ボケ味を最適化することができる。
なお、従来、Ｆ値の異なる画像を取得する際は、撮影レンズユニット５００中の絞り駆動部５０６をその都度動作させて複数回撮影する必要があった。しかし、本実施例では絞り駆動部５０６により絞りを変化させつつ複数回撮影しなくても、上記のように信号読出し部からの加算信号の組み合わせを変更するだけで、一度の撮影でＦ値の異なる画像を取得することが可能となる。あるいは一旦信号読出し部から読出した信号を一旦記憶部に記憶し、その後で加算信号の組み合わせを変更することによって、一度の撮影でＦ値の異なる画像を取得するようにしても良い。
また焦点検出をする際には、例えば以下のように制御する。即ち、画素２００から、２０９ＡＳと、２０９ＤＳとをそれぞれ例えば右画素信号、左画素信号として読み出す。また画素３００から、信号３０９ＡＳと、３０９ＤＳとを例えば右画素信号、左画素信号として読み出す。そして、画素４００から、４０９ＡＳと、４０９ＤＳとを例えば右画素信号、左画素信号として読み出す。このような動作をつづけ、例えば１行分の画素から右画像信号と左画像信号とを得る。そして右画像信号と左画像信号の位相差を検出することによって焦点検出用の信号を生成し、被写体距離を算出する。他の行についても同様である。
本実施例では、このように光電変換領域の内、第３領域からの第３の信号と、第４領域からの第４の信号に基づき焦点検出用の信号を生成する。このような焦点検出用の信号の生成はカメラＣＰＵ１０４によって制御される。このときカメラＣＰＵ１０４は焦点検出手段として機能することになる。
更にまた、図１０（Ａ）のように、図７に対して瞳パターンが９０度回転した形状となるように、下部電極のパターン形状を構成することもできる。また、図１０（Ｂ）、図１０（Ｃ）のように図７に対して瞳パターンが＋４５度または－４５度回転した形状となるように下部電極のパターン形状を構成することもできる。図７、図１０（Ａ）、図１０（Ｂ）、図１０（Ｃ）ではそれぞれ、視差の方向が異なり、被写体の角度方向における検知能力が異なる。従って、撮像素子１０１の面内に図７、図１０（Ａ）、図１０（Ｂ）、図１０（Ｃ）のような下部電極のパターンの画素を図８に示す撮像素子のＸＹ面内で例えば周期的に混在させて配置すれば焦点検出能力を向上させることができる。
また、図１０（Ｄ）のように、中心部の瞳領域６０７Ｂが分割されていない形状でも良い。この場合は、位相差焦点検出は、瞳領域６０７Ａと６０７Ｄとで行えばよい。
このように、瞳パターンに対応した下部電極を有する画素において、画素信号の読み出し領域を変更したり、各下部電極から読み出された信号の加算方法を変更している。従って、一度の撮影で複数のＦ値の画像を同時に取得でき、その中から所望のＦ値の画像を取得することができる。異なるＦ値の画像の同時取得は、撮影に際してユーザーによって設定され、カメラ（撮像装置）内で処理されるものでもよい。あるいは、撮影後に、カメラ（撮像装置）外のパソコンや電子端末などの外部装置で後処置され、所望のＦ値の画像を選択的に形成するものであってもよい。
即ち、撮像素子と撮像素子から信号を読み出すための読出し手段はカメラ（撮像装置）に内蔵される。一方、読み出された信号を加算処理して画像記録用または表示用の画像信号を形成する画像信号処理手段は、カメラ（撮像装置）に内蔵してもカメラ（撮像装置）外の外部装置に内蔵しても良い。
なお、後処理で異なるＦ値の画像を取得するためには、撮影時には、２０９ＡＳ～２０９ＤＳ、３０９ＡＳ～３０９ＤＳ、４０９ＡＳ～４０９ＤＳ、・・・と、それぞれの下部電極に対応した信号を独立して読み出して一旦記録しておく。そして、後処理でそれらの信号を所定の組み合わせで加減算することにより異なるＦ値の画像を取得できる。
このように、撮影絞りに対応する瞳領域と、焦点検出用の視差のついた瞳領域を有する瞳パターンを複数形成することで、位相差焦点検出と同時に、一度の撮影で複数のＦ値に対応する撮影画像を取得することが可能になる。しかも瞳領域の形状を例えばほぼ円形にすることができるので、自然なぼけ形状を得ることができる。
次に実施例２として、実施例１よりも瞳領域の分割数が多い例について図１１（Ａ）～（Ｄ）を用いて説明する。図１１（Ａ）は実施例２の下部電極のパターンを示す図であり、図１１（Ｂ）は分割された１２個の瞳領域を模式的に示す図である。前述のように、金属材料である下部電極パターンによって任意の瞳パターンを形成できる。従って、光電変換膜を有する本実施例の撮像素子では、瞳パターン形状の自由度が高い。そして、実施例２中の図１１（Ａ）のような複雑な瞳パターン形状であっても従来のＣＣＤ、ＣＭＯＳ型撮像素子に比べて容易に作成できる。
図１１（Ａ）、図１１（Ｂ）の例では、瞳領域は７０７Ａ～７０７Ｌまで１２分割されており、図１１（Ｂ）に示すように、瞳領域７０７Ｃ、７０７Ｆ、７０７Ｉ、７０７Ｌはそれぞれ４分円の形状をしており、７０７Ｂ、７０７Ｅ、７０７Ｈ、７０７Ｋはそれぞれ４分割されたほぼ環状の形状をしている。また、瞳領域７０７Ａ～７０７Ｌは図１１（Ｂ）に示された形状の領域である。前述したように、これらの瞳形状は、各画素の下部電極の形状と相似となっている。
即ち、瞳領域７０７Ｃ、７０７Ｆ、７０７Ｉ、７０７Ｌに対応する第１領域としての光電変換領域を有する。更にまた、第１領域の外側に設けられた環状の光電変換領域としての、瞳領域７０７Ｂ、７０７Ｅ、７０７Ｈ、７０７Ｋに対応する光電変換領域とを有する点に特徴を有する。なお、上記の、第１領域の外側に設けられた環状の光電変換領域から得られる信号を第４の信号とする。
また瞳領域６０７３は、前述のように、撮影レンズユニット５００の開放絞りによって決定される瞳領域である。
図１２は図１１（Ａ）に対応した画素の中心を通るｘ方向の断面構成例を示す図であり、図８に示すように配置された３つの画素２００～４００についてのものである。各画素の下部電極は１２に分割された下部電極からなり、それぞれの下部電極の形状は図１１（Ａ）に示す瞳領域パターンにそれぞれ対応する相似形状を有する。また、各下部電極に接続されたそれぞれ１２個の信号読み取り部２０９Ａ～２０９Ｋ、３０９Ａ～３０９Ｋ、４０９Ａ～４０９Ｋ、・・・を有する。なお、１２個の信号読み取り部からの信号読出しは個別に読み出すように構成しても良いし、撮像素子内で加算して読みだしても良い。
図１１（Ａ）のような複数の瞳領域に対応した相似形状の下部電極を有する撮像素子を用いれば、一回の撮像（撮影）で、同時に３種類のＦ値の画像記録用または表示用の画像を取得することができる。たとえば、撮影レンズユニットの開放Ｆ値がＦ２．０であったとすると、ここでは、一段絞りのＦ２．８、二段絞りのＦ４．０の画像を一度で取得することが可能である。その際の瞳領域からの信号の読出し方法を以下説明する。
なお、瞳領域７０７Ａ～７０７Ｌに対応する下部電極からの信号を７０７ＡＳ～７０７ＬＳとする。そしてＦ２．０の場合は７０７ＡＳ＋７０７ＢＳ＋７０７ＣＳ＋７０７ＤＳ＋７０７ＥＳ＋７０７ＦＳ＋７０７ＧＳ＋７０７ＨＳ＋７０７ＩＳ＋７０７ＪＳ＋７０７ＫＳ＋７０７ＬＳのように加算する。即ち、前記第１～第４の信号を用いて第１の画像信号を形成する。また、Ｆ２．８の場合は７０７ＢＳ＋７０７ＣＳ＋７０７ＥＳ＋７０７ＦＳ＋７０７ＨＳ＋７０７ＩＳ＋７０７ＫＳ＋７０７ＬＳのように加算する。即ち、前記第２、第３の信号を用いずに、前記第１の信号と前記第４の信号を用いて第３の画像信号を形成する。このような第３の画像信号を形成するモードを第３のモードと呼ぶ。本実施例では、前記画像処理手段は、前記第１、第２のモードの他に上記の第３のモードも選択可能である。
また前記画像処理手段は、Ｆ４．０の場合は７０７ＣＳ＋７０７ＦＳ＋７０７ＩＳ＋７０７ＬＳのように加算することによって前記第２の画像信号を形成する。
図１２中の各画素からの信号の読み出しは、画像生成手段により、上述のような加算信号を生成すれば、撮像素子１０１上におけるＦ２．０、Ｆ２．８、Ｆ４．０のＦ値画像をそれぞれ取得することができる。
また、焦点検出の際には、図６で述べたように、焦点検出手段により、各瞳領域に対応して、重心位置Ｇ＿Ａ～Ｇ＿Ｌの視差画像が生成される。この時、視差画像間の被写体像の像ずれ量ｐの求め方は、種々の方法が考えられる。たとえば、図１１中の左半分の瞳領域は７０７ＬＥＦＴ＝７０７ＡＳ＋７０７ＢＳ＋７０７ＣＳ＋７０７ＪＳ＋７０７ＫＳ＋７０７ＬＳと計算することによって取得する。その場合の重心位置はＧ＿ＬＥＦＴ＝（Ｇ＿Ａ＋Ｇ＿Ｂ＋Ｇ＿Ｃ＋Ｇ＿Ｊ＋Ｇ＿Ｋ＋Ｇ＿Ｌ）／６となる。更に、右半分の瞳領域は７０７ＲＩＧＨＴ＝７０７ＤＳ＋７０７ＥＳ＋７０７ＦＳ＋７０７ＧＳ＋７０７ＨＳ＋７０７ＩＳと計算することによって取得する。その場合の重心位置はＧ＿ＬＥＦＴ＝（Ｇ＿Ｄ＋Ｇ＿Ｅ＋Ｇ＿Ｆ＋Ｇ＿Ｈ＋Ｇ＿Ｉ＋Ｇ＿Ｊ）／６となる。これらの、Ｇ＿ＬＥＦＴと、Ｇ＿ＲＩＧＨＴから像ずれ量ｐを計算し、デフォーカス量ｄを求めることで焦点検出を行う。
同様に、上下の視差を利用して、Ｇ＿ＵＰ＝（７０７ＡＳ＋７０７ＢＳ＋７０７ＣＳ＋７０７ＤＳ＋７０７ＥＳ＋７０７ＦＳ）／６を求める。またＧ＿ＤＯＷＮ＝（７０７ＧＳ＋７０７ＨＳ＋７０７ＩＳ＋７０７ＪＳ＋７０７ＫＳ＋７０７ＬＳ）／６を求める。これらの差分から像ずれ量ｐを計算し、デフォーカス量ｄを求めることで上下方向の焦点検出を行っても良い。
その他にも、各１つずつの瞳領域からの信号を用いて、例えば視差同士（Ｇ＿ＡとＧ＿Ｄなど）だけでも焦点検出は可能であるし、それ以外の組み合わせであっても良い。実施例２に記載の撮像素子では、図１１（Ａ）に示すように、縦横方向の瞳分割が混在しているため、焦点検出時に使用する視差画像の組み合わせを様々に変更することができる。また、例えば撮像面上の２次元的な画素位置や被写体の角度方向、撮影時のＦ値、装着されるレンズ種別等によって、焦点検出を行うための瞳領域の組み合わせを変えても良い。
次に、図１１（Ａ）における瞳領域７０７Ａ～７０７Ｌと信号読出し方法の関係について説明する。図１１（Ａ）に示すように、瞳分割数を増やし、カメラ内で各瞳領域に対応する撮像素子信号をそれぞれ独立して読み出して記憶しておけば、後処理（パソコン等）で異なるＦ値画像を生成する際には都合が良い。しかし、それに伴って図１２の信号読み取り部からの読出しチャンネル数も増大する。単純に、信号読み取りをおこなえば、図１１（Ａ）に示すように瞳分割数が１２である場合には、信号読み取りは１２チャンネル必要になる。
一方、カメラ内で処理を行う場合などに、読み出しチャンネル数や記憶媒体１０６に記憶される情報量を低減するために、以下のような工夫をしても良い。図１１（Ｃ）、図１１（Ｄ）は７種の瞳領域ＦＡ～瞳領域ＦＣ、瞳領域ＳＡ～瞳領域ＳＤを説明する図であり、図１１（Ｃ）、図１１（Ｄ）のように７種類の瞳領域を設定し、これらに対応する撮像素子信号の読みだしを行うようにしても良い。その際、撮像素子の半導体基板２０８の回路中で電荷を加算して読みだしても良い。
即ち図１１（Ｃ）の中央の円形の瞳領域ＦＡに対しては７０７ＣＳ＋７０７ＦＳ＋７０７ＬＳ＋７０７ＩＳを計算する。
図１１（Ｃ）の環状の瞳領域ＦＢに対しては７０７ＢＳ＋７０７ＥＳ＋７０７ＨＳ＋７０７ＫＳ＋ＦＡＳを計算する。
図１１（Ｃ）のドット領域である瞳領域ＦＣに対しては７０７ＡＳ＋７０７ＤＳ＋７０７ＧＳ＋７０７ＪＳ＋ＦＢＳを計算する。
図１１（Ｄ）の左上の矩形の瞳領域ＳＡに対しては７０７ＡＳ＋７０７ＢＳ＋７０７ＣＳを計算する。
図１１（Ｄ）の右上の矩形の瞳領域ＳＢに対しては７０７ＤＳ＋７０７ＥＳ＋７０７ＦＳを計算する。
図１１（Ｄ）の右下の矩形の瞳領域ＳＣに対しては７０７ＧＳ＋７０７ＨＳ＋７０７ＩＳを計算する。
図１１（Ｄ）の左下の矩形の瞳領域ＳＤに対しては７０７ＪＳ＋７０７ＫＳ＋７０７ＬＳを計算する。
上記において、瞳領域ＦＡは、たとえば、Ｆ４．０の撮影画像に対応する瞳領域である。また、瞳領域ＦＡ＋ＦＢはＦ２．８の撮影画像に対応する瞳領域であり、瞳領域ＦＡ＋ＦＢ＋ＦＣは瞳領域全体を示すので、Ｆ２．０（開放）の撮影画像に対応する瞳領域である。つまり、複数の異なるＦ値の撮影画像を取得するために、瞳領域ＦＡ、ＦＢ、ＦＣに対応する画素信号（複数の加算信号）を読みだす。
次に、瞳領域ＳＡ～瞳領域ＳＤは焦点検出用の瞳領域として用いる。位相差焦点検出時は、例えば、瞳領域ＳＡ＋ＳＢと、瞳領域ＳＣ＋ＳＤの視差画像を使って焦点検出を行うことで、縦方向に視差が生まれ、実施例１で前述した位相差焦点検出が可能である。
同様に、瞳領域ＳＡ＋ＳＤと、瞳領域ＳＢ＋ＳＣの視差画像を使って焦点検出を行うことで、横方向に視差が生まれ、実施例１で前述したような位相差焦点検出が可能である。それぞれ瞳領域ＳＡ、ＳＢ、ＳＣ、ＳＤに対応する画素信号（複数の加算信号）を読みだすことで位相差焦点検出を行うことが可能である。
このように、複数の加算信号を用いることで、瞳領域の分割数（下部電極の分割数）よりも少ないチャンネル数で撮像素子から信号を読出すことができ、撮像画像の生成や位相差焦点検出が可能となる。
上記のような複数種類の焦点検出用の読み出し方法を、図８に示す撮像素子のＸＹ面内に配列された画素毎にあるいは複数画素単位で変更し混在させることによって縦方向と横方向の焦点検出能力を同時に得るようにしてもよい。また、図１３（Ａ）に示すように、図１１（Ａ）では瞳領域をＸ軸とＹ軸に沿って分離していたが、Ｘ軸とＹ軸を斜め方向に４５°回転した軸に沿って瞳領域を分離しても良い。また、図１３（Ｂ）、図１３（Ｃ）に示すように、一部の瞳領域の分割数が少ない形状でも良い。瞳分割数を減らすことで、下部電極パターン数を減らすことができ、撮像素子からの読み出しチャンネル数を低減することができる。従って処理スピードや処理負荷等を低減することができる。
なお、以上の実施例においては、分割された下部電極と、有機光電変換膜２０４と上部電極との組み合わせによって複数の分割された光電変換領域を形成する例を説明したが、本発明はこのような構成に限定されない。例えば上部電極を複数に分割し、分割された複数の上部電極によって複数の光電変換領域を形成するようにしても良い。その場合、分割された複数の上部電極の形状によって複数に分割された光電変換領域の形状が決まることになる。また、例えば無機材料を光電変換部に使用した撮像素子において、各画素内のマイクロレンズの下に複数のフォトダイオードを配置し、それぞれのフォトダイオードの受光面の形状を本実施例と同様の形状にすることによって複数の光電変換領域を形成しても良い。
また、本発明は上記実施例に限定されるものではなく、本発明の主旨に基づき種々の変形が可能であり、それらを本発明の範囲から除外するものではない。
更にまた、本実施例における制御の一部または全部を上述した実施例の機能を実現するコンピュータプログラムをネットワーク又は各種記憶媒体を介して画像処理装置や撮像制御装置に供給するようにしてもよい。そしてその画像処理装置や撮像制御装置におけるコンピュータ（又はＣＰＵやＭＰＵ等）がプログラムを読み出して実行するようにしてもよい。その場合、そのプログラム、及び該プログラムを記憶した記憶媒体は本発明を構成することとなる。
１００ カメラ本体
５００ 撮影レンズユニット
１０１ 撮像素子
２０４ 有機光電変換膜
２０５Ａ～２０５Ｄ 下部電極
２０９Ａ～２０９Ｄ 信号読み取り部
６０７Ａ～６０７Ｄ 瞳領域

Claims (12)

  1. 撮像面に沿って配置された複数の画素を有する撮像素子であって、
    前記画素は、外部からの光を画素の内部に集光するためのマイクロレンズと、
    前記マイクロレンズの下方に設けられ、光電変換信号を生成するための光電変換領域を有し、
    前記光電変換領域は、光電変換膜を挟む上部電極と下部電極を含み、前記上部電極または前記下部電極は複数に分割されており、分割された複数の上部電極または複数の下部電極によって前記撮像面に平行な面内に分割して配置された少なくとも第１領域、第２領域、第３領域を形成するとともに、前記第１領域は円形を構成するための形状を有し、前記第２領域と、前記第３領域が前記第１領域の外側に配置され、さらに前記第１領域の外側であって前記第２領域、前記第３領域の内側に設けられた環状の領域を有していることを特徴とする前記撮像素子と、
    一回の撮像により得られた光電変換信号を前記第１、第２、第３領域、前記環状の領域からそれぞれ第１、第２、第３、第４の信号として読出す読出し手段と、
    前記読出し手段によって読出された前記第１、第２、第３、第４の信号をそれぞれ記憶する記憶手段と、
    前記記憶手段に保存された前記第１、第２、第３、第４の信号を加算して第１の画像信号を形成する第１のモードと、前記第２、第３、第４の信号を用いずに、前記第１の信号を用いて第２の画像信号を形成する第２のモードと、前記第２、第３の信号を用いずに、前記第１の信号と前記第４の信号を用いて第３の画像信号を形成する第３のモードと、を選択することにより一回の撮像で異なるＦ値に対応した複数の画像を形成可能な画像信号処理手段と、
    少なくとも前記第１のモードにおいて、前記第１、第２、第３、第４の信号を加算して前記第１の画像信号を形成すると共に、前記加算をする前の少なくとも前記第２、第３の信号を用いて相関演算をすることにより焦点検出信号を生成する焦点検出手段と、
    を有することを特徴とする画像処理装置。
  2. 前記第１領域は更に複数の領域に分割されていることを特徴とする請求項１に記載の画像処理装置。
  3. 前記環状の領域は複数の領域に分割されていることを特徴とする請求項１又は２に記載の画像処理装置。
  4. 前記光電変換膜は有機光電変換膜を含むことを特徴とする請求項１～３のいずれか一項に記載の画像処理装置。
  5. 前記撮像素子と前記読出し手段は撮像装置に内蔵され、前記画像信号処理手段は前記撮像装置とは別の外部装置に内蔵されていることを特徴とする請求項１～４のいずれか一項に記載の画像処理装置。
  6. 前記第１、第２、第３領域の少なくとも１つは、夫々少なくとも２つの分割領域を含み、前記焦点検出手段は、前記分割領域からの信号の組み合わせを変更可能であることを特徴とする請求項１～５のいずれか一項に記載の画像処理装置。
  7. 前記焦点検出手段は、前記分割領域からの信号の組み合わせを変更することにより上下方向の焦点検出と、左右方向の焦点検出を選択可能であることを特徴とする請求項６に記載の画像処理装置。
  8. 前記焦点検出手段は、前記撮像素子の面内に配列された画素毎にあるいは複数画素単位で前記分割領域からの信号の組み合わせを変更可能であることを特徴とする請求項６に記載の画像処理装置。
  9. 前記第２、第３領域が前記第１領域の左右の外側に配置されると共に、前記第２、第３領域は夫々上下に分割されていることを特徴とする請求項１～８のいずれか一項に記載の画像処理装置。
  10. 前記撮像素子は、異なる分割パターンの画素を２次元的に混在させて配置したものであることを特徴とする請求項１～９のいずれか一項に記載の画像処理装置。
  11. 請求項１～１０のうちいずれか一項に記載の画像処理装置の各手段としてコンピュータを機能させるためのコンピュータプログラム。
  12. 請求項１１に記載のコンピュータプログラムを記憶したコンピュータで読み取り可能な記憶媒体。
JP2019020052A 2019-02-06 2019-02-06 画像処理装置 Active JP7378935B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2019020052A JP7378935B2 (ja) 2019-02-06 2019-02-06 画像処理装置
US16/781,478 US11122196B2 (en) 2019-02-06 2020-02-04 Image processing apparatus

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2019020052A JP7378935B2 (ja) 2019-02-06 2019-02-06 画像処理装置

Publications (2)

Publication Number Publication Date
JP2020127179A JP2020127179A (ja) 2020-08-20
JP7378935B2 true JP7378935B2 (ja) 2023-11-14

Family

ID=72085049

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019020052A Active JP7378935B2 (ja) 2019-02-06 2019-02-06 画像処理装置

Country Status (2)

Country Link
US (1) US11122196B2 (ja)
JP (1) JP7378935B2 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7566574B2 (ja) 2020-10-20 2024-10-15 キヤノン株式会社 光電変換装置、撮像システム、移動体、半導体基板

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140146211A1 (en) 2011-08-08 2014-05-29 Panasonic Corporation Solid-state imaging device and driving method of solid-state imaging device
WO2015046045A1 (ja) 2013-09-27 2015-04-02 富士フイルム株式会社 撮像装置及び撮像方法
WO2017119477A1 (ja) 2016-01-08 2017-07-13 株式会社ニコン 撮像素子および撮像装置
JP2017158159A (ja) 2016-03-04 2017-09-07 キヤノン株式会社 撮像装置
JP2018160779A (ja) 2017-03-22 2018-10-11 キヤノン株式会社 撮像素子及びその制御方法、撮像装置、焦点検出装置及び方法

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5556823B2 (ja) 2012-01-13 2014-07-23 株式会社ニコン 固体撮像装置および電子カメラ
JP5917158B2 (ja) 2012-01-13 2016-05-11 キヤノン株式会社 撮像装置、その制御方法及び撮像システム
JP6702669B2 (ja) * 2015-07-29 2020-06-03 キヤノン株式会社 撮像装置及びその制御方法
US10014333B2 (en) * 2015-08-26 2018-07-03 Semiconductor Components Industries, Llc Back-side illuminated pixels with interconnect layers
KR102437162B1 (ko) * 2015-10-12 2022-08-29 삼성전자주식회사 이미지 센서
JP6721698B2 (ja) * 2016-09-26 2020-07-15 株式会社日立製作所 撮像装置
JP7446061B2 (ja) * 2018-04-06 2024-03-08 キヤノン株式会社 撮像装置及び撮像システム

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140146211A1 (en) 2011-08-08 2014-05-29 Panasonic Corporation Solid-state imaging device and driving method of solid-state imaging device
WO2015046045A1 (ja) 2013-09-27 2015-04-02 富士フイルム株式会社 撮像装置及び撮像方法
WO2017119477A1 (ja) 2016-01-08 2017-07-13 株式会社ニコン 撮像素子および撮像装置
JP2017158159A (ja) 2016-03-04 2017-09-07 キヤノン株式会社 撮像装置
JP2018160779A (ja) 2017-03-22 2018-10-11 キヤノン株式会社 撮像素子及びその制御方法、撮像装置、焦点検出装置及び方法

Also Published As

Publication number Publication date
US11122196B2 (en) 2021-09-14
JP2020127179A (ja) 2020-08-20
US20200374451A1 (en) 2020-11-26

Similar Documents

Publication Publication Date Title
JP6848941B2 (ja) 撮像素子および撮像装置
CN104205808B (zh) 摄像装置以及摄像元件
JP5276374B2 (ja) 焦点検出装置
RU2490715C1 (ru) Устройство захвата изображения
US9826139B2 (en) Image processing apparatus, image processing method, program, and image pickup apparatus having the image processing apparatus
JP5739653B2 (ja) 撮像装置
JP4983271B2 (ja) 撮像装置
KR101950689B1 (ko) 화상처리장치, 촬상 장치, 화상처리방법, 프로그램, 및 기억 매체
JP4858179B2 (ja) 焦点検出装置および撮像装置
JP2014165778A (ja) 固体撮像素子、撮像装置及び焦点検出装置
JP6207293B2 (ja) 撮像装置、撮像システム、撮像装置の制御方法、プログラム、および、記憶媒体
JP7378935B2 (ja) 画像処理装置
JP2007140176A (ja) 電子カメラ
JP7150785B2 (ja) 画像処理装置、撮像装置、画像処理方法、および、記憶媒体
JP7422466B2 (ja) 像振れ補正制御装置、撮像装置およびその制御方法
JP6671868B2 (ja) 制御装置、撮像装置、制御方法、プログラム、および、記憶媒体
JP2018046563A (ja) 撮像素子
JP7419975B2 (ja) 撮像素子、及び、撮像装置
JP6601465B2 (ja) 撮像装置
JP2018019348A (ja) 撮像装置、画像処理方法、画像処理システム、及び画像処理プログラム
JP6254780B2 (ja) 焦点検出装置及び方法、及び撮像装置
JP6221327B2 (ja) 撮像素子およびカメラ
JP2019092215A (ja) 画像処理装置、撮像装置、画像処理方法、プログラム、および、記憶媒体
JP2018046336A (ja) 撮像素子及び撮像装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220202

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20230111

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230214

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230414

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230523

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230720

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20231003

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20231101

R151 Written notification of patent or utility model registration

Ref document number: 7378935

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151