JP6536642B2 - 撮像素子 - Google Patents

撮像素子 Download PDF

Info

Publication number
JP6536642B2
JP6536642B2 JP2017171144A JP2017171144A JP6536642B2 JP 6536642 B2 JP6536642 B2 JP 6536642B2 JP 2017171144 A JP2017171144 A JP 2017171144A JP 2017171144 A JP2017171144 A JP 2017171144A JP 6536642 B2 JP6536642 B2 JP 6536642B2
Authority
JP
Japan
Prior art keywords
pixel
pixels
control unit
signal
image signal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2017171144A
Other languages
English (en)
Other versions
JP2018029342A (ja
JP2018029342A5 (ja
Inventor
寛信 村田
寛信 村田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nikon Corp
Original Assignee
Nikon Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nikon Corp filed Critical Nikon Corp
Publication of JP2018029342A publication Critical patent/JP2018029342A/ja
Publication of JP2018029342A5 publication Critical patent/JP2018029342A5/ja
Application granted granted Critical
Publication of JP6536642B2 publication Critical patent/JP6536642B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H01ELECTRIC ELEMENTS
    • H01LSEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144Devices controlled by radiation
    • H01L27/146Imager structures
    • H01L27/14601Structural or functional details thereof
    • H01L27/14603Special geometry or disposition of pixel-elements, address-lines or gate-electrodes
    • H01L27/14607Geometry of the photosensitive area
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B7/00Mountings, adjusting means, or light-tight connections, for optical elements
    • G02B7/28Systems for automatic generation of focusing signals
    • G02B7/34Systems for automatic generation of focusing signals using different areas in a pupil plane
    • HELECTRICITY
    • H01ELECTRIC ELEMENTS
    • H01LSEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144Devices controlled by radiation
    • H01L27/146Imager structures
    • H01L27/14601Structural or functional details thereof
    • H01L27/1462Coatings
    • H01L27/14621Colour filter arrangements
    • HELECTRICITY
    • H01ELECTRIC ELEMENTS
    • H01LSEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144Devices controlled by radiation
    • H01L27/146Imager structures
    • H01L27/14601Structural or functional details thereof
    • H01L27/14625Optical elements or arrangements associated with the device
    • H01L27/14627Microlenses
    • HELECTRICITY
    • H01ELECTRIC ELEMENTS
    • H01LSEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144Devices controlled by radiation
    • H01L27/146Imager structures
    • H01L27/14643Photodiode arrays; MOS imagers
    • H01L27/14645Colour imagers
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/67Focus control based on electronic image sensor signals
    • H04N23/672Focus control based on electronic image sensor signals based on the phase difference signals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80Camera processing pipelines; Components thereof
    • H04N23/84Camera processing pipelines; Components thereof for processing colour signals
    • H04N23/843Demosaicing, e.g. interpolating colour pixel values
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/134Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on three different wavelength filter elements
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70SSIS architectures; Circuits associated therewith
    • H04N25/702SSIS architectures characterised by non-identical, non-equidistant or non-planar pixel layout
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70SSIS architectures; Circuits associated therewith
    • H04N25/71Charge-coupled device [CCD] sensors; Charge-transfer registers specially adapted for CCD sensors
    • H04N25/75Circuitry for providing, modifying or processing image signals from the pixel array
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths

Description

本発明は、撮像素子に関する。
撮像素子の一部に配置された複数の焦点検出専用の画素からの出力信号に基づいて、瞳分割型位相差方式による焦点検出を行う撮像装置が知られている(特許文献1参照)。
日本国特開2007−282109号公報
従来技術で焦点検出を行うには、焦点検出専用の画素が配置された位置に限られる。しかしながら、焦点検出専用の画素を増やすと、焦点検出専用の画素が配置された位置では画像信号が得られないために画質が低下してしまう。このように、従来技術では、撮像素子の出力信号に基づいて画像信号の生成に加え位相差方式による焦点検出を可能とする一方で、撮像素子の一部に焦点検出専用の画素を設けたことによる弊害が生じていた。
発明の一態様による撮像素子は、第1波長の光を受光する第1画素及び第2画素と、前記第1波長と異なる第2波長の光を受光する第3画素及び第4画素とを有し、第1方向に前記第1画素と前記第3画素と前記第4画素と前記第2画素とが順に配置される第1撮像部と、前記第1画素を透過した光を受光する第5画素と、前記第2画素を透過した光を受光する第6画素と、前記第3画素を透過した光を受光する第7画素と、前記第4画素を透過した光を受光する第8画素とを有し、前記第1方向に前記第5画素と前記第7画素と前記第8画素と前記第6画素とが順に配置される第2撮像部と、を備え、前記第7画素と前記第8画素とから出力され加算された信号は、前記第5画素と前記第6画素とから出力される信号の補正に用いられる
本発明によれば、撮像素子に焦点検出専用の画素を設けることなく、撮像素子からの出力信号に基づいて画像信号の生成および位相差方式による焦点検出を行うことができる。
本発明の実施の形態によるデジタルカメラシステムの構成を例示する図である。 上部光電変換層における画素の配置を例示する平面図である。 下部光電変換層における画素の配置を例示する平面図である。 撮像素子の断面を例示する図である。 撮像素子における1画素当たりの回路構成を例示する図である。 交換レンズの射出瞳を例示する図である。 デフォーカス量を求める画素列を説明する図である。 射出瞳を通る光束を説明する図である。 デフォーカス量を求める画素列を説明する図である。 射出瞳を通る光束を説明する図である。 デフォーカス量を求める画素列を説明する図である。 射出瞳を通る光束を説明する図である。 第1の画像信号生成処理を説明する図である。 第2の画像信号生成処理を説明する図である。 第3の画像信号生成処理を説明する図である。 第3の画像信号生成処理を説明する図である。 第3の画像信号生成処理を説明する図である。 撮影処理の流れを説明するフローチャートである。
以下、図面を参照して本発明を実施するための形態について説明する。図1は、本発明の一実施の形態によるデジタルカメラシステムの構成を例示する図である。デジタルカメラシステム1は、交換レンズ2とカメラボディ3から構成される。交換レンズ2は、マウント部4を介してカメラボディ3に装着される。
交換レンズ2は、レンズ制御部5、主レンズ9、ズームレンズ8、フォーカシングレンズ7、および絞り6を含む。レンズ制御部5は、マイクロコンピュータとメモリなどで構成され、フォーカシングレンズ7と絞り6の駆動制御、絞り6の開口状態の検出、ズームレンズ8およびフォーカシングレンズ7の位置検出、後述するカメラボディ3側のボディ制御部14に対するレンズ情報の送信、ボディ制御部14からのカメラ情報の受信などを行う。
カメラボディ3は、撮像素子12、撮像素子駆動制御部19、ボディ制御部14、液晶表示素子駆動回路15、液晶表示素子16、接眼レンズ17、および操作部材18などを含み、着脱可能なメモリカード20が装着されている。撮像素子12は、交換レンズ2の予定結像面に配置されて交換レンズ2により結像される被写体像を撮像する。
ボディ制御部14は、マイクロコンピュータとメモリなどで構成される。ボディ制御部14は、デジタルカメラシステム全体の動作制御を行う。ボディ制御部14とレンズ制御部5は、マウント部4の電気接点部13を介して通信を行うように構成される。
撮像素子駆動制御部19は、ボディ制御部14からの指示に応じて撮像素子12で必要な制御信号を生成する。液晶表示素子駆動回路15は、ボディ制御部14からの指示に応じて液晶ビューファインダー(EVF:電気的ビューファインダー)を構成する液晶表示素子16を駆動する。撮影者は、接眼レンズ17を介して液晶表示素子16に表示された像を観察する。メモリカード20は、画像信号などを格納記憶する記憶媒体である。
交換レンズ2によって撮像素子12上に結像された被写体像は、撮像素子12によって光電変換される。撮像素子12は、撮像素子駆動制御部19からの制御信号によって光電変換信号の蓄積および信号読出しのタイミング(フレームレート)が制御される。撮像素子12から読出された画像信号は、不図示のA/D変換部でデジタルデータに変換され、ボディ制御部14へ送られる。
ボディ制御部14は、撮像素子12からの所定の焦点検出エリアに対応する画像信号に基づいてデフォーカス量を算出し、このデフォーカス量をレンズ制御部5へ送る。レンズ制御部5は、ボディ制御部14から受信したデフォーカス量に基づいてフォーカシングレンズ駆動量を算出し、このレンズ駆動量に基づいてフォーカシングレンズ7を不図示のモーター等で駆動して合焦位置へ移動させる。
また、ボディ制御部14は、撮影指示後に撮像素子12から出力された信号に基づいて記録用の画像データを生成する。ボディ制御部14は、生成した画像データをメモリカード20に格納するとともに液晶表示素子駆動回路15へ送り、液晶表示素子16に再生表示させる。
なお、カメラボディ3にはシャッターボタン、焦点検出エリアの設定部材などを含む操作部材18が設けられている。ボディ制御部14は、これらの操作部材18からの操作信号を検出し、検出結果に応じた動作(撮影処理、焦点検出エリアの設定など)の制御を行う。
<撮像素子の説明>
本実施形態は、撮像素子12に特徴を有するので、以降は撮像素子12を中心に説明する。撮像素子12は積層構造を有し、上部の光電変換層41(図4)と、下部の光電変換層43(図4)とが積層されている。上部の光電変換層41は、後述する波長成分の光を吸収(光電変換)する光導電膜で構成され、上部の光電変換層41で吸収(光電変換)されなかった波長成分の光が下部の光電変換層43へ透過し、該光電変換層43で光電変換される。
(上部光電変換層)
図2(a)および(b)は、撮像素子12の上部光電変換層41における画素の配置を例示する平面図である。ここでは、代表して10×10画素分を抜き出して図示している。各画素は略正方形にレイアウトされ、2次元状に配列されている。画素としては、シアン(Cy)成分の光を光電変換する画素(Cy画素)、マジェンタ(Mg)成分の光を光電変換する画素(Mg画素)、イエロー(Ye)成分の光を光電変換する画素(Ye画素)の3種類が設けられている。
Cy画素は、シアン成分の光を吸収(光電変換)する光電変換部から構成される。Mg画素は、マジェンタ成分の光を吸収(光電変換)する光電変換部から構成される。Ye画素は、イエロー成分の光を吸収(光電変換)する光電変換部から構成される。
また、撮像素子12には、交換レンズ2からの光束を効率的に4つの画素の組へ導くためのマイクロレンズ40が複数形成されている。図2において5×5=25の円がマイクロレンズ40に対応する。マイクロレンズ40は、たとえば、その中心と光軸とが略一致する軸対称型の球面レンズあるいは非球面レンズで構成され、光入射側を凸形状として2次元状に配列されている。
各マイクロレンズ40の背後には、一つのCy画素、二つのMg画素、一つのYe画素が2行2列に配置される。本説明では、図2(a)に示すように、マイクロレンズ40の背後に位置する4つの画素の組を、その配置の違いによって4通り(P1〜P4)に分類する。
マイクロレンズ40の背後において、第1の組P1では、左上にCy画素、右上にMg画素、左下にMg画素、右下にYe画素が配置される。第2の組P2では、左上にMg画素、右上にCy画素、左下にYe画素、右下にMg画素が配置される。第3の組P3では、左上にMg画素、右上にYe画素、左下にCy画素、右下にMg画素が配置される。第4の組P4では、左上にYe画素、右上にMg画素、左下にMg画素、右下にCy画素が配置される。
第1の組P1および第2の組P2は、水平方向(X方向)に隣接し、且つ水平方向に交互に繰り返し配列される。第1の組P1および第2の組P2から形成される列を、第1列L1と呼ぶ。第3の組P3および第4の組P4は、水平方向に隣接し、且つ水平方向に交互に繰り返し配列される。第3の組P3および第4の組P4から形成される列を、第2列L2と呼ぶ。
上記第1列L1および第2列L2は、鉛直方向(Y方向)に隣接し、且つ鉛直方向に交互に繰り返し配列される。これにより、各第1の組P1および第3の組P3は鉛直方向に隣接し、各第2の組P2および第4の組P4は鉛直方向に隣接する。
このような配置により、マイクロレンズ40とCy画素、Mg画素、Ye画素との位置関係は、以下のようになる。
まず、Cy画素は、縦横に隣接する4つのマイクロレンズ40の背後において、それぞれ左上、右上、左下、右下に配置される。Mg画素は、縦横に隣接する4つのマイクロレンズ40の背後において、それぞれ右上および左下、左上および右下、左上および右下、右上および左下に配置される。Ye画素は、縦横に隣接する4つのマイクロレンズ40の背後において、それぞれ右下、左下、右上、左上に配置される。このように、Cy画素、Mg画素、Ye画素は、それぞれマイクロレンズ40の背後で特定の位置に偏らないように均等配置される。
図2(b)は、図2(a)と同様の箇所を抜き出した図である。図2(a)に示した4つの画素の組分け(P1〜P4)を縦横に1画素分ずらして見る場合、図2(b)に示すように、Cy画素、Mg画素、Ye画素は、それぞれ隣接する2行2列の4画素が同色の画素となるように配置されている。
また同色の2行2列の4画素は、それぞれ異なるマイクロレンズ40の背後に配置され、マイクロレンズ40に対する位置がそれぞれ異なる。換言すれば、異なる4つのマイクロレンズ40の背後にそれぞれ配置されたCy画素、Mg画素、Ye画素は、それぞれの色ごとに2行2列に隣接するように配置される。
(下部光電変換層)
図3(a)および(b)は、撮像素子12の下部光電変換層43(図4)における画素の配置を例示する平面図である。図2に例示した画素位置に対応する10×10画素分を図示している。各画素は略正方形にレイアウトされ、2次元状に配列されている。画素としては、赤(R)成分の光を光電変換する画素(R画素)、緑(G)成分の光を光電変換する画素(G画素)、青(B)成分の光を光電変換する画素(B画素)の3種類が設けられている。
R画素は、上部のCy画素で吸収(光電変換)されなかった赤(Cyの補色)成分の光を光電変換する光電変換部から構成される。G画素は、上部のMg画素で吸収(光電変換)されなかった緑(Mgの補色)成分の光を光電変換する光電変換部から構成される。B画素は、上部のYe画素で吸収(光電変換)されなかった青(Yeの補色)成分の光を光電変換する光電変換部から構成される。すなわち、上部光電変換層41のCy画素、Mg画素、Ye画素をカラーフィルタとしてR、G、Bの受光部を構成する。
これにより、上述した第1の組P1の下層に位置する組(Q1と呼ぶ)では、左上にR画素、右上にG画素、左下にG画素、右下にB画素が配置される。第2の組P2の下層に位置する組(Q2と呼ぶ)では、左上にG画素、右上にR画素、左下にB画素、右下にG画素が配置される。第3の組P3の下層に位置する組(Q3と呼ぶ)では、左上にG画素、右上にB画素、左下にR画素、右下にG画素が配置される。第4の組P4の下層に位置する組(Q4と呼ぶ)では、左上にB画素、右上にG画素、左下にG画素、右下にR画素が配置される。
このような配置により、上記マイクロレンズ40とR画素、G画素、B画素との位置関係は、以下のようになる。
まず、R画素は、縦横に隣接する4つのマイクロレンズ40の背後において、それぞれ左上、右上、左下、右下に配置される。G画素は、縦横に隣接する4つのマイクロレンズ40の背後において、それぞれ右上および左下、左上および右下、左上および右下、右上および左下に配置される。B画素は、縦横に隣接する4つのマイクロレンズ40の背後において、それぞれ右下、左下、右上、左上に配置される。このように、R画素、G画素、B画素は、それぞれマイクロレンズ40の背後で特定の位置に偏らないように均等配置される。
図3(b)は、図3(a)と同様の箇所を抜き出した図である。図3(a)に示した4つの画素の組分け(Q1〜Q4)を縦横に1画素分ずらして見る場合、図3(b)に示すように、R画素、G画素、B画素は、それぞれ隣接する2行2列の4画素が同色の画素となるように配置されている。
また同色の2行2列の4画素は、それぞれ異なるマイクロレンズ40の背後に配置され、マイクロレンズ40に対する位置がそれぞれ異なる。換言すれば、異なる4つのマイクロレンズ40の背後にそれぞれ配置されたR画素、G画素、B画素は、それぞれの色ごとに2行2列に隣接するように配置される。
上記同色2行2列の4つのR画素から構成される組50r、4つのG画素から構成される組50g、4つのB画素から構成される組50bは、4画素を1組として見る場合はベイヤー配列を形成する。
図4は、撮像素子12の断面を例示する図である。図4において、撮像素子12は、シリコン基板上に形成された下部光電変換層43と、有機膜を用いた上部光電変換層41とが配線層42を介して積層される。上部光電変換層41の上方には、マイクロレンズ40が形成されている。
上部光電変換層41は、電極間に光導電膜を挟んで上記Cy画素、Mg画素、Ye画素を構成する。たとえば、上側電極aと下側電極k−Cyとの間に光導電膜P1−Cyを挟んで第1の組P1におけるCy画素を構成する。また、たとえば、上側電極aと下側電極k−Mgとの間に光導電膜P2−Mgを挟んで第2の組P2におけるMg画素を構成する。
下部光電変換層43は、シリコン基板上のR画素、G画素、B画素で構成され、各画素において入射される光を光電変換する。図4において、第1の組Q1におけるR画素は、上部光電変換層41の第1の組P1におけるCy画素を透過した補色光(R)を受光する。また、第2の組Q2におけるG画素は、上部光電変換層41の第2の組P2におけるMg画素を透過した補色光(G)を受光する。
図5は、撮像素子12における1画素当たりの回路構成を例示する図である。図5において、基準電源端子t32aおよびt32bに基準電源Vrefが供給される。また、電源端子t31aおよびt31bには電源Vccが供給される。さらに、端子t33からPC(フォトコンダクタ)20へ電源Vpcが供給される。
上部光電変換層41の信号検出部の構成は以下の通りである。PC20は、該上部光電変換層41の1画素分の光電変換部を構成する。PC20において、入射光を光電変換して電荷が蓄積される。ソースフォロワアンプMOSトランジスタTr6は、上記蓄積電荷に基づく電圧信号を増幅する。転送スイッチMOSトランジスタTr5は、読出し対象画素を選択するためのスイッチを構成する。端子t11に転送スイッチMOSトランジスタTr5をオン/オフする制御パルス信号φSEL#1が供給されると、増幅後の信号が転送スイッチMOSトランジスタTr5を介して端子t11から読出される。リセット用MOSトランジスタTr7は、端子t13に供給されるリセットパルス信号φR#1に応じて不要電荷を排出させる(すなわち所定電位にリセットする)。
下部光電変換層43の信号検出部の構成は以下の通りである。フォトダイオードPDは、下部光電変換層43の1画素分の光電変換部を構成する。フォトダイオードPDは、PC20を透過した光を光電変換して電荷を生成する。フォトダイオードPDとフローティングディフュージョン(FD)部は、転送MOSトランジスタTr4を介して接続される。端子t24に転送MOSトランジスタTr4をオン/オフする制御パルス信号φTx#2が供給されると、転送MOSトランジスタTr4を介してフローティングディフュージョン部に電荷が転送される。
ソースフォロワアンプMOSトランジスタTr2は、上記蓄積電荷に基づく電圧信号を増幅する。転送スイッチMOSトランジスタTr1は、読出し対象画素を選択するためのスイッチを構成する。端子t22に転送スイッチMOSトランジスタTr1をオン/オフする制御パルス信号φSEL#2が供給されると、増幅後の信号が転送スイッチMOSトランジスタTr1を介して端子t21から読出される。リセット用MOSトランジスタTr3は、端子t23に供給されるリセットパルス信号φR#2に応じてフローティングディフュージョン部の不要電荷を排出させる(すなわち所定電位にリセットする)。
<焦点検出処理>
次に、上述した構成の撮像素子12から焦点検出用の信号を取得する例を、図6〜図12を用いて説明する。本実施形態では、上部光電変換層41からの出力信号に基づいて、以下のようにデフォーカス量演算が行われる。図6は、絞り6が開放された状態の交換レンズ2の射出瞳80を例示する図である。射出瞳80の4つの領域81〜84を通過した光束は、それぞれ図2のマイクロレンズ40の左上、右上、左下、および右下に位置する画素に入射する。各マイクロレンズ40において左上、右上、左下、および右下に位置する画素に入射する光束と、上記第1領域81、第2領域82、第3領域83、および第4領域84との対応関係は、交換レンズ2の光軸Axを対称軸として上下左右を反転したものとして考えればよい。
まず、図7に例示するように、撮像素子12のうちMg画素が水平方向(X軸方向)に並ぶ画素列90に基づいてデフォーカス量を求める場合を説明する。画素列90は、第2の組P2に含まれ、マイクロレンズ40の左上に位置するMg画素(Mg−a)と、第1の組P1に含まれ、マイクロレンズ40の右上に位置するMg画素(Mg−b)とから構成される。画素列90を構成する画素には、図8に例示するように、射出瞳80上の第1領域81を介する光束Aと第2領域82を介する光束Bとが入射される。光束Aは、マイクロレンズ40の左上に位置するMg画素(Mg−a)に入射される。光束Bは、マイクロレンズ40の右上に位置するMg画素(Mg−b)に入射される。
合焦時は撮像素子12に鮮鋭像が結ばれる状態であるため、上述したように異なる瞳位置に瞳分割された光束による一対の像は撮像素子12上で一致する。つまり、画素列90において、光束Aを受光するMg画素(Mg−a)から得られる信号波形(信号列a1、a2、a3、a4…)と、光束Bを受光するMg画素(Mg−b)から得られる信号波形(信号列b1、b2、b3、b4…)とは、その形状が重なる。
一方、非合焦時は撮像素子12の手前で鮮鋭像を結ぶ状態、あるいは撮像素子12の後ろ側に鮮鋭像を結ぶ状態であるため、上記瞳分割された光束による一対の像は撮像素子12上では一致しない。この場合の光束Aによる信号波形(信号列a1、a2、a3、a4…)および光束Bによる信号波形(信号列b1、b2、b3、b4…)は、合焦状態からのずれ(デフォーカス量)に応じて、互いの位置関係(ずれ方向およびずれ量)が異なる。
ボディ制御部14は、光束Aによる信号波形(信号列a1、a2、a3、a4…)および光束Bによる信号波形(信号列b1、b2、b3、b4…)の位置関係に基づいて交換レンズ2による焦点位置の調節状態(デフォーカス量)を算出し、算出結果をカメラ情報としてレンズ制御部5へ送信する。レンズ制御部5がカメラ情報に基づいてフォーカシングレンズ7を光軸方向へ進退移動させると、撮像素子12上に鮮鋭像を結ぶようにフォーカスが調節される。
次に、図9に例示するように、撮像素子12のうちMg画素が鉛直方向(Y軸方向)に並ぶ画素列120に基づいてデフォーカス量を求める場合を説明する。画素列120は、第2の組P2に含まれ、マイクロレンズ40の左上に位置するMg画素(Mg−a)と、第4の組P4に含まれ、マイクロレンズ40の左下に位置するMg画素(Mg−c)とから構成される。画素列120を構成する画素には、図10に例示するように、射出瞳80上の第1領域81を介する光束Aと、第3領域83を介する光束Cとが入射される。光束Aはマイクロレンズ40の左上に位置するMg画素(Mg−a)に入射される。光束Cはマイクロレンズ40の左下に位置するMg画素(Mg−c)に入射される。
合焦時は撮像素子12に鮮鋭像が結ばれる状態であるため、上述したように画素列120において、光束Aを受光するMg画素(Mg−a)から得られる信号波形(信号列a1、a2、a3、a4…)と、光束Cを受光するMg画素(Mg−c)から得られる信号波形(信号列c1、c2、c3、c4…)とは、その形状が重なる。
一方、非合焦時の場合の光束Aによる信号波形(信号列a1、a2、a3、a4…)および光束Cによる信号波形(信号列c1、c2、c3、c4…)とは、合焦状態からのずれ(デフォーカス量)に応じて、互いの位置関係(ずれ方向およびずれ量)が異なる。
ボディ制御部14は、光束Aによる信号波形(信号列a1、a2、a3、a4…)および光束Cによる信号波形(信号列c1、c2、c3、c4…)の位置関係に基づいて交換レンズ2による焦点位置の調節状態(デフォーカス量)を算出し、算出結果をカメラ情報としてレンズ制御部5へ送信する。レンズ制御部5がカメラ情報に基づいてフォーカシングレンズ7を光軸方向へ進退移動させると、撮像素子12上に鮮鋭像を結ぶようにフォーカスが調節される。
さらに、図11に例示するように、撮像素子12のうちMg画素が斜め方向に並ぶ画素列150に基づいてデフォーカス量を求める場合を説明する。画素列150は、第2の組P2に含まれ、マイクロレンズ40の左上に位置するMg画素(Mg−a)および右下に位置するMg画素(Mg−d)と、第3の組P3に含まれ、マイクロレンズ40の左上に位置するMg画素(Mg−a)および右下に位置するMg画素(Mg−d)とから構成される。画素列150を構成する画素には、図12に例示するように、射出瞳80上の第1領域81を介する光束Aと、第4領域84を介する光束Dとが入射される。光束Aはマイクロレンズ40の左上に位置するMg画素(Mg−a)に入射される。光束Dはマイクロレンズ40の右下に位置するMg画素(Mg−d)に入射される。
合焦時は撮像素子12に鮮鋭像が結ばれる状態であるため、上述したように画素列150において、光束Aを受光するMg画素(Mg−a)から得られる信号波形(信号列a1、a2、a3、a4…)と、光束Dを受光するMg画素(Mg−d)から得られる信号波形(信号列d1、d2、d3、d4…)とは、その形状が重なる。
一方、非合焦時の場合の光束Aによる信号波形(信号列a1、a2、a3、a4…)および光束Dによる信号波形(信号列d1、d2、d3、d4…)は、合焦状態からのずれ(デフォーカス量)に応じて、互いの位置関係(ずれ方向およびずれ量)が異なる。
ボディ制御部14は、光束Aによる信号波形(信号列a1、a2、a3、a4…)および光束Dによる信号波形(信号列d1、d2、d3、d4…)の位置関係に基づいて交換レンズ2による焦点位置の調節状態(デフォーカス量)を算出し、算出結果をカメラ情報としてレンズ制御部5へ送信する。レンズ制御部5がカメラ情報に基づいてフォーカシングレンズ7を光軸方向へ進退移動させると、撮像素子12上に鮮鋭像を結ぶようにフォーカスが調節される。
<画像信号生成処理>
次に、上記撮像素子12から画像信号を取得する例を、図13〜図17を用いて説明する。本実施形態では、下部光電変換層43からの出力信号に基づいてカラーの画像信号を生成する画像信号生成処理として、以下の3方法のいずれかが用いられる。ボディ制御部14は、あらかじめ初期設定によって指示されている方法による画像信号生成処理を行う。
(第1の画像信号生成処理)
図13は、第1の画像信号生成処理を説明する図である。第1の画像信号生成処理を行うボディ制御部14は、図13(a)に示すように、同じマイクロレンズ40を介して光束を受光する4画素を1つの組200として扱う。各組200にはそれぞれ、G画素が2つ、B画素およびR画素が1つ含まれる。
ボディ制御部14は、各組200において、R画素からの出力信号をその組200のR画像信号とし、B画素からの出力信号をその組200のB画像信号とし、2つのG画素からの出力信号の平均値をその組200のG画像信号とする。これにより、ボディ制御部14は、図13(b)に示すように、撮像素子12の下部光電変換層43に含まれる画素数の1/4画素数であるカラー画像信号(RGB)を得ることができる。ボディ制御部14は、このようにして得られたカラー画像信号を用いて記録用画像のファイルを生成する。
このように第1の画像信号生成処理では、色信号を補間する色補間処理を行わずに、カラーの画像信号を取得することができる。
(第2の画像信号生成処理)
図14は、第2の画像信号生成処理を説明する図である。第2の画像信号生成処理を行うボディ制御部14は、図14(a)に示すように、隣接する同色の2行2列の4画素を1つの組210として扱う。
ボディ制御部14は、各組210に含まれる4画素からの出力信号を加算した信号を、その組210の画像信号とする。具体的には、ボディ制御部14は、R画素の組210の場合、4つのR画素からの出力信号を加算した信号を、その組210のR画像信号とする。ボディ制御部14は、G画素の組210の場合、4つのG画素からの出力信号を加算した信号を、その組210のG画像信号とする。ボディ制御部14は、B画素の組210の場合、4つのB画素からの出力信号を加算した信号を、その組210のB画像信号とする。これにより、ボディ制御部14は、図14(b)に示すように、撮像素子12の下部光電変換層43に含まれる画素数の1/4画素数であるベイヤー配列の画像信号を得ることができる。
ところで、マイクロレンズ40へ入射する光束の入射角によっては、マイクロレンズ40の背後に配置された4つの画素の受光量が均等にならない場合がある。たとえば、ある入射角θ1のときには、マイクロレンズ40の左上に位置する画素の受光量が大きくマイクロレンズ40の右下に位置する画素の受光量が小さくなったり、別の入射角θ2のときには、マイクロレンズ40の左上に位置する画素の受光量が小さくマイクロレンズ40の右下に位置する画素の受光量が大きくなったりする。
第2の画像信号生成処理では、マイクロレンズ40の異なる位置(左上、右上、左下、右下)に配置された4画素(すなわち各組210に含まれる4画素)からの出力信号を加算した信号を画像信号とするようにしたので、マイクロレンズ40への光の入射角によらず適切な画像信号を生成することができる。
ボディ制御部14はさらに、ベイヤー配列の画像信号において、隣接する組210からの信号を用いて不足する色成分を補間処理によって生成する。たとえば、G画素の組210の場合、R画像信号およびB画像信号が存在しないので、周辺の組210の信号を用いて色補間処理を行う。このようなベイヤー配列における色補間処理は公知であるので、詳細な説明は省略する。ボディ制御部14は、この色補間処理により得られたカラー画像信号(RGB)を用いて記録用画像のファイルを生成する。
(第3の画像信号生成処理)
第3の画像信号生成処理を行うボディ制御部14は、まず、各画素において不足する色成分を補間する色補間処理を行う。
図15は、G画像信号を補間する処理を説明する図である。ボディ制御部14は、各R画素およびB画素の位置において、その画素の近傍に位置する4つのG画素からの出力信号を用いてG画像信号を補間処理によって生成する。たとえば、図15(a)の太枠で示すR画素の位置においてG画像信号を補間する場合、このR画素の近傍に位置する4つのG画素(G1〜G4)からの出力信号を用いる。ボディ制御部14は、(αG1+βG2+γG3+δG4)/4を、該R画素のG画像信号とする。なお、α〜δは、該R画素からの距離に応じた係数であり、補間対象画素からの距離が近いほど係数を大きくする。この場合、G画素G1およびG2の方が、G画素G3およびG4よりも該R画素に近いので、α=β>γ=δとする。
このようにしてボディ制御部14は、R画素およびB画素の位置においてG画像信号を補間する処理を行うことで、図15(b)に示すように、各画素30の位置においてG画像信号を得ることができる。
図16は、R画像信号を補間する処理を説明する図である。ボディ制御部14は、図16(a)に示すように、隣接する同色の2行2列の4画素を1つの組220として扱う。ボディ制御部14は、R画素の組220において、4つのR画素からの出力信号を加算した信号をその組220のR画像信号とする。ボディ制御部14は、G画素の組220およびB画素の組220におけるR画像信号を、周辺のR画素の組220のR画像信号を用いて補間する。なお各組220は、図16(b)に示すようにベイヤー配列を形成しているため、ボディ制御部14は、この補間処理を公知のベイヤー配列における色補間処理を用いて行うことができる。
ボディ制御部14は、G画素の組220において補間されたR画像信号を4で除算した信号(R/4)を、G画素の組220を構成する4つのG画素におけるR画像信号とする。同様に、ボディ制御部14は、B画素の組220において補間されたR画像信号を4で除算した信号(R/4)を、B画素の組220を構成する4つのB画素におけるR画像信号とする。このようにしてボディ制御部14は、G画素およびB画素の位置においてR画像信号を補間する処理を行うことで、図16(c)に示すように、各画素30の位置においてR画像信号を得ることができる。
なお、B画像信号を補間する処理は、R画像信号を補間する処理と同様のため、説明を省略する。ボディ制御部14は、R画素およびG画素の位置において、B画像信号を補間する処理を行うことにより、各画素30の位置においてB画像信号を得ることができる。
ボディ制御部14は、上述のような色補間処理を行うことにより、図17(a)に示すように、各画素30の位置においてRGBの画像信号を得る。そしてボディ制御部14は、各画素の位置におけるRGBの画像信号を用いて、各画素30の位置における輝度信号Yを得る。たとえば、ボディ制御部14は、0.299R+0.587G+0.114Bを、輝度信号Yとする。
またボディ制御部14は、各画素30の位置において、R画像信号から輝度信号Yを引算した信号(R−Y)を色差信号Crとする。ボディ制御部14は、各画素30の位置において、B画像信号から輝度信号Yを引算した信号(B−Y)を色差信号Cbとする。
この結果、ボディ制御部14は、図17(b)に示すように、各画素30の位置において、輝度信号Yおよび色差信号Cr、Cbを得ることができる。ボディ制御部14は、このようにして得られたカラー画像信号(YCrCb)を用いて、第1の画像信号生成処理および第2の画像信号生成処理に比べて高解像度の記録用画像のファイルを生成する。
<撮影処理>
図18は、ボディ制御部14が実行する撮影処理の流れを説明するフローチャートである。ボディ制御部14は、操作部材18を構成する不図示のメインスイッチがオン操作された場合に、図18に例示した処理を実行するプログラムを起動する。
図18のステップS11において、ボディ制御部14は、撮像素子12に所定のフレームレートで光電変換を開始させる。ボディ制御部14は、下部光電変換層43からの画像信号に基づくスルー画像を液晶表示素子16に逐次再生表示させながら、撮影指示が行われたか否かを判定する。スルー画像は、撮影指示前に取得するモニタ用の画像である。ボディ制御部14は、操作部材18を構成するレリーズボタンが押下操作されると、ステップS11を肯定判定してステップS12へ進む。ボディ制御部14は、レリーズボタンが押下操作されない場合には、ステップS11を否定判定してステップS18へ進む。
ステップS18において、ボディ制御部14は、タイムアップか否かを判定する。ボディ制御部14は、所定時間(たとえば、5秒)を計時した場合にステップS18を肯定判定して図15による処理を終了する。ボディ制御部14は、計時時間が所定時間に満たない場合には、ステップS18を否定判定してステップS11へ戻る。
ステップS12において、ボディ制御部14は、AE処理およびAF処理を行う。AE処理では、上記スルー画像用の画像信号のレベルに基づいて露出演算を行い、適正露出が得られるように絞り値AVとシャッター速度TVを決定する。AF処理は、上部光電変換層41のうち、設定されている焦点検出エリアに含まれる画素列からの出力信号列に基づいて、上述した焦点検出処理を行ってフォーカス調節をする。ボディ制御部14は、以上のAE、AF処理を行うとステップS13へ進む。
ステップS13において、ボディ制御部14は撮影処理を行ってステップS14へ進む。具体的には、上記AVに基づいて絞り6を制御し、上記TVに基づく蓄積時間で撮像素子12に記録用の光電変換を行わせる。ステップS14において、ボディ制御部14は、下部光電変換層43からの出力信号を用いて上述した画像信号生成処理を行い、得られた画像信号に対して所定の画像処理(階調変換処理、輪郭強調処理、ホワイトバランス調整処理など)を行う。ボディ制御部14は、画像処理を行うとステップS15へ進む。
ステップS15において、ボディ制御部14は、液晶表示素子16に撮影画像を表示させて、ステップS16へ進む。ステップS16において、ボディ制御部14は記録用の画像ファイルを生成し、ステップS17へ進む。ステップS17において、ボディ制御部14は、画像ファイルをメモリカード20に記録して図18による処理を終了する。
以上説明した実施形態によれば、次の作用効果が得られる。
(1)デジタルカメラシステム1は、交換レンズ2を通過した被写体光束による被写体像を撮像する撮像素子12と、撮像素子12からの出力信号に基づき、画像信号を生成するボディ制御部14と、撮像素子12からの出力信号に基づき、交換レンズ2の焦点調節状態を位相差検出方式により検出するボディ制御部14と、を備え、撮像素子12は、上部光電変換層41の画素群と、上部光電変換層41の各画素を通過した被写体光束を受光する下部光電変換層43の画素群と、上部光電変換層41の画素群に被写体光束を導くように配置されたマイクロレンズ群とを有し、上部光電変換層41の画素群は、互いに異なる第1、第2および第3の分光感度をそれぞれ有するCy画素、Ye画素およびMg画素が2次元状に配列され、マイクロレンズ群の各マイクロレンズ40の背後には、一つのCy画素と一つのYe画素と二つのMg画素とが2行2列に配置され、これら4つの画素は、交換レンズ2の射出瞳の4つの瞳領域81〜84をそれぞれ通過する4つの光束A〜Dをそれぞれ受光し、下部光電変換層43の画素群は、上部光電変換層41の画素群の第1、第2および第3の分光感度とそれぞれ補色関係の第4、第5および第6の分光感度をそれぞれ有するR画素、B画素およびG画素が2次元状に配列され、上部光電変換層41のCy画素、Ye画素およびMg画素の位置と、下部光電変換層43のR画素、B画素およびG画素の位置とは、該R画素、B画素およびG画素がCy画素、Ye画素およびMg画素をそれぞれ通過した光束をそれぞれ受光するように定められ、ボディ制御部14は、上部光電変換層41の画素群および下部光電変換層43の画素群のうち一方の画素群からの出力信号に基づいて画像信号を生成し、ボディ制御部14は、上部光電変換層41の画素群および下部光電変換層43の画素群の他方の画素群からの出力信号に基づいて焦点調節状態を検出するように構成したので、撮像素子12に焦点検出専用の画素を設けることなく、撮像素子12の出力信号に基づいて画像信号の生成および位相差方式による焦点検出を行うことができる。
(2)上記(1)のデジタルカメラシステム1において、上部光電変換層41の画素群はさらに、Cy画素、Ye画素およびMg画素は、それぞれ略同一の分光感度を有する画素(すなわち同色の画素)同士で2行2列に隣接して配置され、該2行2列に隣接する4画素は、異なる4つのマイクロレンズ40の背後にそれぞれ配置され、且つマイクロレンズ40に対する位置がそれぞれ異なるように配置されるように構成したので、マイクロレンズ40への光の入射角によらず、入射光束を適切に光電変換できる。
(3)上記(2)のデジタルカメラシステム1において、上部光電変換層41の画素群は、第1の画素がCy、第2の画素がYe、第3の画素がMgに関する出力信号をそれぞれ出力し、下部光電変換層43の画素群は、第4の画素がCyの補色、第5の画素がYeの補色、第6の画素がMgの補色に関する出力信号をそれぞれ出力するように構成したので、撮像素子12の出力信号から、赤緑青のカラー画像信号を取得することができる。
(4)上記(3)のデジタルカメラシステム1において、上部光電変換層41および下部光電変換層43の画素群は、一つのマイクロレンズ40の背後に配置される2行2列の4画素の組が2次元状に配列されて形成され、該組は、画素の配置がそれぞれ異なる第1〜第4の組P1〜P4を有し、上部光電変換層41の画素群は、第1の組P1では、水平方向に隣接してCy画素およびMg画素が配置されると共に、鉛直方向に該Cy画素および該Mg画素にそれぞれ隣接してMg画素およびYe画素が配置され、第2の組P2では、水平方向に隣接してMg画素およびCy画素が配置されると共に、鉛直方向に該Mg画素および該Cy画素にそれぞれ隣接してYe画素およびMg画素が配置され、第3の組P3では、水平方向に隣接してMg画素およびYe画素が配置されると共に、鉛直方向に該Mg画素および該Ye画素にそれぞれ隣接してCy画素およびMg画素が配置され、第4の組P4では、水平方向に隣接してYe画素およびMg画素が配置されると共に、鉛直方向に該Ye画素および該Mg画素にそれぞれ隣接してMg画素およびCy画素が配置され、第1の組P1および第2の組P2は、水平方向に隣接し、且つ水平方向に交互に繰り返し配列され、第3の組P3および第4の組P4は水平方向に隣接し、且つ水平方向に交互に繰り返し配列され、第1の組P1および第2の組P2で形成される第1の列L1と第3の組および第4の組で形成される第2の列L2とは鉛直方向に隣接し、且つ鉛直方向に交互に繰り返し配列されるように構成したので、撮像素子12の出力信号に基づいて位相差方式による焦点検出を行うことができると共に、上記第1〜第3の画像信号処理のいずれも行うことができる。
(5)上記(2)〜(4)のデジタルカメラシステム1において、ボディ制御部14は、2行2列で互いに隣接する4つのR画素からの出力信号を加算し、2行2列の形で隣接する4つのB画素からの出力信号を加算し、2行2列で互いに隣接する4つのG画素からの出力信号を加算することにより、ベイヤー配列の画像信号を生成する(すなわち上記第2の画像信号生成処理を行う)ように構成したので、マイクロレンズ40への光の入射角によらず適切な画像信号を生成することができる。さらに、色補間処理において、ベイヤー配列における色補間処理を行う既存の画像処理エンジンを用いることができる。
(6)上記(1)〜(4)のデジタルカメラシステム1において、ボディ制御部14は、各マイクロレンズの背後に位置するR画素、B画素およびG画素からの出力信号に基づいて、各マイクロレンズ40位置における3つの色信号を取得する(すなわち上記第1の画像信号生成処理を行う)ように構成したので、色補間処理を行うことなく、カラーの画像信号を取得することができる。
(7)上記(1)〜(4)のデジタルカメラシステム1において、ボディ制御部14は、R画素、B画素、G画素の各画素位置において、他の2つの分光成分の信号を生成する色補間処理を行うことにより3つの色信号を取得し、3つの色信号に基づいて輝度信号および色差信号を生成する(すなわち上記第3の画像信号生成処理を行う)ように構成したので、高解像度の画像信号を取得することができる。
(8)上記(1)〜(7)のデジタルカメラシステム1において、ボディ制御部14は、上部光電変換層41の画素群のうち、略同一の分光感度を有し、且つマイクロレンズ40に対する位置が異なる一対の画素からの出力信号に基づいて、交換レンズ2の焦点調節状態を検出するように構成したので、撮像素子12からの出力信号に基づいて、適切に位相差方式により焦点調節状態を検出することができる。
(9)上記(4)のデジタルカメラシステム1において、ボディ制御部14は、上部光電変換層41の画素群のうち、第1の組P1と第2の組P2にそれぞれ含まれるMg画素からの出力信号に基づいて、水平方向において交換レンズ2の焦点調節状態を検出するように構成したので、適切に位相差方式により焦点調節状態を検出することができる。
(10)上記(4)のデジタルカメラシステム1において、ボディ制御部14は、上部光電変換層41の画素群のうち、第2の組P2と第4の組P4にそれぞれ含まれるMg画素からの出力信号に基づいて、鉛直方向において撮影光学系の焦点調節状態を検出するように構成したので、適切に位相差方式により焦点調節状態を検出することができる。
(11)上記(4)のデジタルカメラシステム1において、ボディ制御部14は、上部光電変換層41の画素群のうち、第2の組P2と第3の組P3にそれぞれ含まれるMg画素からの出力信号に基づいて、水平方向に対して斜めの方向において交換レンズ2の焦点調節状態を検出するように構成したので、適切に位相差方式により焦点調節状態を検出することができる。
(変形例1)
上述した実施の形態では、上部光電変換層41のMg画素からの出力信号を用いて焦点検出処理を行うようにしたが、Cy画素やYe画素からの出力信号を用いて焦点検出処理を行うようにしてもよい。
変形例1のボディ制御部14は、上部光電変換層41からの出力信号を用いて評価値を求めるように構成されている。この評価値は、たとえば、Mg画素、Cy画素、Ye画素ごとの出力信号の積算値である。Mg画素における該積算値が低い場合、Mg画素からの出力信号では適切にデフォーカス量を算出できない可能性がある。そこで、変形例1のボディ制御部14は、Mg画素における該積算値が所定閾値以下の場合に、Cy画素およびYe画素のうち該積算値がより大きい方を用いて上述した焦点検出処理を行う。これにより、Mg成分が少ない被写体を撮影する場合であっても、適切に焦点検出処理を行うことができる。
(変形例2)
上述した実施形態では、第1〜第3の画像信号生成処理のうち、あらかじめ初期設定によって指示されている処理を用いて記録用の画像信号を生成するようにしたが、これに限らなくてよい。
たとえば、変形例2のボディ制御部14は、スルー画像を表示させる場合には、色補間処理を行わずに画像信号を生成できる第1の画像信号生成処理を選択し、選択した第1の画像信号生成処理を用いて画像信号を生成する。一方、記録用の画像については、高解像度の画像信号を生成できる第3の画像信号生成処理を選択し、選択した第3の画像信号生成処理を用いて画像信号を生成する。このように変形例2のボディ制御部14は、画像信号を生成する際に、第1、第2および第3の画像信号生成処理のいずれかを選択することにより、たとえば、リアルタイムに画像を表示したい場面で色補間処理がいらない第1の画像信号生成処理を選択し、高画質に画像を記録したい場面で第3の画像信号処理を選択するなど、生成する画像の用途に適した画像信号生成処理を選ぶことができる。
また、ボディ制御部14は、動画像については、第1または第2の画像信号生成処理によって画像信号を生成し、静止画像については、第3の画像信号生成処理によって画像信号を生成するようにしてもよい。
また、ボディ制御部14は、たとえば、第1および第2の画像信号生成処理を両方用いて画像信号を生成するようにしてもよい。この場合のボディ制御部14は、たとえば、第1の画像信号生成処理によって生成した画像、および第2の画像信号生成処理によって生成した画像の双方を背面表示装置(不図示)に表示させる。ボディ制御部14は、表示させた2つの画像のうち、ユーザが操作部材18を介して選択した画像を、メモリカード20に記録する。
(変形例3)
上述した実施の形態では、上部光電変換層41のうち、第1の組P1に含まれるMg画素(Mg−b)と第2の組P2に含まれるMg画素(Mg−a)とから構成される画素列90からの出力信号列に基づいて、水平方向におけるデフォーカス量を求めるようにしたが、これに限らなくてよい。第3の組P3に含まれるMg画素(Mg−d)と第4の組P4に含まれるMg画素(Mg−c)とから構成される画素列に基づいて水平方向におけるデフォーカス量を求めるようにしてもよいし、該画素列と画素列90の双方に基づいて水平方向におけるデフォーカス量を求めるようにしてもよい。
また上述した実施の形態では、第2の組P2に含まれるMg画素(Mg−a)と第4の組P4に含まれるMg画素(Mg−c)とから構成される画素列120からの出力信号列に基づいて、鉛直方向におけるデフォーカス量を求めるようにしたが、これに限らなくてよい。第1の組P1に含まれるMg画素(Mg−b)と第3の組P3に含まれるMg画素(Mg−d)とから構成される画素列に基づいて鉛直方向におけるデフォーカス量を求めるようにしてもよいし、該画素列と画素列120の双方に基づいて鉛直方向におけるデフォーカス量を求めるようにしてもよい。
また上述した実施の形態では、第2の組P2に含まれるMg画素(Mg−a)および(Mg−d)と第3の組P3に含まれるMg画素(Mg−a)および(Mg−d)とから構成される画素列150からの出力信号列に基づいて、斜め方向におけるデフォーカス量を求めるようにしたが、これに限らなくてよい。第1の組P1に含まれるMg画素(Mg−b)および(Mg−c)と第4の組P4に含まれるMg画素(Mg−b)および(Mg−c)とから構成される画素列に基づいて斜め方向におけるデフォーカス量を求めるようにしてもよいし、該画素列と画素列150の双方に基づいて斜め方向におけるデフォーカス量を求めるようにしてもよい。
(変形例4)
上述した実施の形態では、上部光電変換層41においてMg画素、Cy画素およびYe画素を設け、下部光電変換層43においてG画素、R画素およびB画素を設けるようにした。この代わりに、上部光電変換層においてG画素、R画素およびB画素を設け、下部光電変換層においてMg画素、Cy画素およびYe画素を設ける構成にしてもよい。
(変形例5)
上述した実施の形態では、カメラボディ3に交換レンズ2が装着される構成のデジタルカメラシステム1に本発明を適用するようにしたが、これに限らなくてもよい。たとえば、レンズ一体型のデジタルカメラにも本発明を適用することができる。
以上の説明はあくまで一例であり、上記の実施形態の構成に何ら限定されるものではない。また、上記実施形態に各変形例の構成を適宜組み合わせてもかまわない。
上記では、種々の実施の形態および変形例を説明したが、本発明はこれらの内容に限定されるものではない。本発明の技術的思想の範囲内で考えられるその他の態様も本発明の範囲内に含まれる。
次の優先権基礎出願の開示内容は引用文としてここに組み込まれる。
日本国特許出願2012年第081165号(2012年3月30日出願)

Claims (8)

  1. 第1波長の光を受光する第1画素及び第2画素と、前記第1波長と異なる第2波長の光を受光する第3画素及び第4画素とを有し、第1方向に前記第1画素と前記第3画素と前記第4画素と前記第2画素とが順に配置される第1撮像部と、
    前記第1画素を透過した光を受光する第5画素と、前記第2画素を透過した光を受光する第6画素と、前記第3画素を透過した光を受光する第7画素と、前記第4画素を透過した光を受光する第8画素とを有し、前記第1方向に前記第5画素と前記第7画素と前記第8画素と前記第6画素とが順に配置される第2撮像部と、を備え
    前記第7画素と前記第8画素とから出力され加算された信号は、前記第5画素と前記第6画素とから出力される信号の補正に用いられる撮像素子。
  2. 請求項1に記載の撮像素子において、
    前記第1波長の光の色成分は、前記第1画素または前記第2画素を透過した光の色成分の補色である撮像素子。
  3. 請求項1または2に記載の撮像素子において、
    前記第2波長の光の色成分は、前記第3画素または第4画素を透過した光の色成分の補色である撮像素子。
  4. 請求項1から3のいずれか一項に記載の撮像素子において、
    第1マイクロレンズと第2マイクロレンズとを有し、
    前記第1画素と前記第3画素とは前記第1マイクロレンズを透過した光を受光し、前記第2画素と前記第4画素とは前記第2マイクロレンズを透過した光を受光する撮像素子。
  5. 請求項4に記載の撮像素子において、
    前記第1画素と前記第2画素とから出力される信号、及び前記第3画素と前記第4画素とから出力される信号、及び前記第5画素と前記第6画素とから出力される信号、及び前記第7画素と前記第8画素とから出力される信号の少なくとも1つは焦点検出に用いられる撮像素子。
  6. 請求項1から5のいずれか一項に記載の撮像素子において、
    前記第3画素と前記第4画素とから出力される信号、及び前記第7画素と前記第8画素とから出力される信号の少なくとも1つは加算して出力される撮像素子。
  7. 請求項1から6のいずれか一項に記載の撮像素子において、
    前記第3画素と前記第4画素とから出力され加算された信号は、前記第1画素と前記第2画素とから出力される信号の補正に用いられる撮像素子。
  8. 請求項1から7のいずれか一項に記載の撮像素子において、
    前記補正は、色補間処理である撮像素子。
JP2017171144A 2012-03-30 2017-09-06 撮像素子 Active JP6536642B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2012081165 2012-03-30
JP2012081165 2012-03-30

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2014508109A Division JP6264284B2 (ja) 2012-03-30 2013-03-29 撮像装置

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2019106431A Division JP7001080B2 (ja) 2012-03-30 2019-06-06 撮像装置

Publications (3)

Publication Number Publication Date
JP2018029342A JP2018029342A (ja) 2018-02-22
JP2018029342A5 JP2018029342A5 (ja) 2018-04-05
JP6536642B2 true JP6536642B2 (ja) 2019-07-03

Family

ID=49260439

Family Applications (3)

Application Number Title Priority Date Filing Date
JP2014508109A Active JP6264284B2 (ja) 2012-03-30 2013-03-29 撮像装置
JP2017171144A Active JP6536642B2 (ja) 2012-03-30 2017-09-06 撮像素子
JP2019106431A Active JP7001080B2 (ja) 2012-03-30 2019-06-06 撮像装置

Family Applications Before (1)

Application Number Title Priority Date Filing Date
JP2014508109A Active JP6264284B2 (ja) 2012-03-30 2013-03-29 撮像装置

Family Applications After (1)

Application Number Title Priority Date Filing Date
JP2019106431A Active JP7001080B2 (ja) 2012-03-30 2019-06-06 撮像装置

Country Status (5)

Country Link
US (4) US9826183B2 (ja)
EP (1) EP2835965B1 (ja)
JP (3) JP6264284B2 (ja)
CN (2) CN111711746A (ja)
WO (1) WO2013147198A1 (ja)

Families Citing this family (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2833623B1 (en) * 2012-03-30 2019-09-18 Nikon Corporation Image sensor, imaging method, and imaging device
WO2013147198A1 (ja) * 2012-03-30 2013-10-03 株式会社ニコン 撮像装置および撮像素子
WO2014087808A1 (ja) * 2012-12-07 2014-06-12 富士フイルム株式会社 画像処理装置、画像処理方法及びプログラム、並びに記録媒体
TWI620445B (zh) * 2013-03-25 2018-04-01 Sony Corp 攝像元件及電子機器
JP6368993B2 (ja) * 2013-07-24 2018-08-08 株式会社ニコン 撮像装置
JP6397281B2 (ja) * 2013-10-23 2018-09-26 キヤノン株式会社 撮像装置、その制御方法およびプログラム
JP6458343B2 (ja) * 2014-02-27 2019-01-30 株式会社ニコン 撮像装置
JP6408372B2 (ja) * 2014-03-31 2018-10-17 ソニーセミコンダクタソリューションズ株式会社 固体撮像装置及びその駆動制御方法、並びに、電子機器
JP2016058559A (ja) * 2014-09-10 2016-04-21 ソニー株式会社 固体撮像装置およびその駆動方法、並びに電子機器
US9967501B2 (en) 2014-10-08 2018-05-08 Panasonic Intellectual Property Management Co., Ltd. Imaging device
US10249657B2 (en) 2015-03-13 2019-04-02 Sony Semiconductor Solutions Corporation Solid-state image sensing device, drive method, and electronic apparatus
JP6541503B2 (ja) * 2015-08-11 2019-07-10 キヤノン株式会社 撮像装置、画像処理装置、画像処理方法およびプログラム
WO2017119477A1 (ja) * 2016-01-08 2017-07-13 株式会社ニコン 撮像素子および撮像装置
JP6782431B2 (ja) * 2016-01-22 2020-11-11 パナソニックIpマネジメント株式会社 撮像装置
CN112788225B (zh) 2016-01-29 2023-01-20 松下知识产权经营株式会社 摄像装置
CN109788891A (zh) * 2016-10-21 2019-05-21 奥林巴斯株式会社 内窥镜镜体、内窥镜处理器和内窥镜用适配器
US10714520B1 (en) * 2017-08-04 2020-07-14 Facebook Technologies, Llc Manufacturing an on-chip microlens array
US11120082B2 (en) 2018-04-18 2021-09-14 Oracle International Corporation Efficient, in-memory, relational representation for heterogeneous graphs
JP6766095B2 (ja) * 2018-06-08 2020-10-07 キヤノン株式会社 撮像装置、撮像システム、移動体、および積層用の半導体基板
WO2020017642A1 (ja) * 2018-07-20 2020-01-23 株式会社ニコン 焦点検出装置、撮像装置、及び、交換レンズ
CN109905681B (zh) * 2019-02-01 2021-07-16 华为技术有限公司 图像传感器、从其获取图像数据的方法及摄像设备
WO2021174529A1 (zh) * 2020-03-06 2021-09-10 Oppo广东移动通信有限公司 图像传感器、成像装置、电子设备、图像处理系统及信号处理方法
CN111464733B (zh) * 2020-05-22 2021-10-01 Oppo广东移动通信有限公司 控制方法、摄像头组件和移动终端

Family Cites Families (51)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS59108457A (ja) * 1982-12-14 1984-06-22 Olympus Optical Co Ltd 固体撮像素子
JP5090587B2 (ja) 1998-08-19 2012-12-05 ザ、トラスティーズ オブ プリンストン ユニバーシティ 有機感光性光電子装置
JP2001021792A (ja) 1999-07-09 2001-01-26 Olympus Optical Co Ltd 焦点検出システム
US7742088B2 (en) 2002-11-19 2010-06-22 Fujifilm Corporation Image sensor and digital camera
JP4264248B2 (ja) 2002-11-19 2009-05-13 富士フイルム株式会社 カラー固体撮像装置
JP2004200902A (ja) 2002-12-17 2004-07-15 Nikon Corp 画像処理装置、電子カメラ、及び画像処理プログラム
US6958862B1 (en) * 2003-04-21 2005-10-25 Foveon, Inc. Use of a lenslet array with a vertically stacked pixel array
US20040223071A1 (en) * 2003-05-08 2004-11-11 David Wells Multiple microlens system for image sensors or display units
JP4500706B2 (ja) 2005-02-23 2010-07-14 富士フイルム株式会社 光電変換膜積層型固体撮像素子
KR100665177B1 (ko) 2005-05-25 2007-01-09 삼성전기주식회사 반도체 감광 디바이스용 이미지 센서 및 이를 이용한이미지 처리 장치
JP2007011070A (ja) 2005-06-30 2007-01-18 Olympus Imaging Corp デジタル一眼レフカメラ
JP2007067075A (ja) 2005-08-30 2007-03-15 Nippon Hoso Kyokai <Nhk> カラー撮像素子
US7419844B2 (en) 2006-03-17 2008-09-02 Sharp Laboratories Of America, Inc. Real-time CMOS imager having stacked photodiodes fabricated on SOI wafer
JP4935162B2 (ja) 2006-04-11 2012-05-23 株式会社ニコン 撮像装置、カメラおよび画像処理方法
US7711261B2 (en) 2006-04-11 2010-05-04 Nikon Corporation Imaging device, camera and image processing method
JP4952060B2 (ja) * 2006-05-26 2012-06-13 株式会社ニコン 撮像装置
JP2007324405A (ja) * 2006-06-01 2007-12-13 Fujifilm Corp 固体撮像素子
JP4867552B2 (ja) 2006-09-28 2012-02-01 株式会社ニコン 撮像装置
JP4321579B2 (ja) 2006-11-28 2009-08-26 ソニー株式会社 撮像装置
US7859588B2 (en) 2007-03-09 2010-12-28 Eastman Kodak Company Method and apparatus for operating a dual lens camera to augment an image
US7676146B2 (en) 2007-03-09 2010-03-09 Eastman Kodak Company Camera using multiple lenses and image sensors to provide improved focusing capability
JP2008258474A (ja) 2007-04-06 2008-10-23 Sony Corp 固体撮像装置および撮像装置
JP5040458B2 (ja) * 2007-06-16 2012-10-03 株式会社ニコン 固体撮像素子及びこれを用いた撮像装置
CN101345248B (zh) 2007-07-09 2010-07-14 博立码杰通讯(深圳)有限公司 多光谱感光器件及其制作方法
CN101821657B (zh) 2007-08-06 2013-08-07 佳能株式会社 摄像设备
JP5171178B2 (ja) 2007-09-13 2013-03-27 富士フイルム株式会社 イメージセンサ及びその製造方法
JP2009099867A (ja) 2007-10-18 2009-05-07 Fujifilm Corp 光電変換素子及び撮像素子
JP5032954B2 (ja) 2007-11-27 2012-09-26 日本放送協会 カラー撮像装置
US8106426B2 (en) 2008-02-04 2012-01-31 Sharp Laboratories Of America, Inc. Full color CMOS imager filter
JP5298638B2 (ja) 2008-02-14 2013-09-25 株式会社ニコン 画像処理装置、撮像装置、補正係数算出方法及び画像処理プログラム
JP4902892B2 (ja) 2008-02-22 2012-03-21 パナソニック株式会社 撮像装置
JP5058128B2 (ja) * 2008-10-31 2012-10-24 シャープ株式会社 撮像装置及び携帯機器
TWI422020B (zh) * 2008-12-08 2014-01-01 Sony Corp 固態成像裝置
JP5359465B2 (ja) * 2009-03-31 2013-12-04 ソニー株式会社 固体撮像装置、固体撮像装置の信号処理方法および撮像装置
JP5246424B2 (ja) 2009-05-11 2013-07-24 ソニー株式会社 撮像装置
JP5428509B2 (ja) * 2009-05-11 2014-02-26 ソニー株式会社 2次元固体撮像装置、及び、2次元固体撮像装置における偏光光データ処理方法
JP5671789B2 (ja) 2009-08-10 2015-02-18 ソニー株式会社 固体撮像装置とその製造方法および撮像装置
JP5537905B2 (ja) * 2009-11-10 2014-07-02 富士フイルム株式会社 撮像素子及び撮像装置
KR101709941B1 (ko) 2009-12-02 2017-02-27 삼성전자주식회사 이미지 센서, 이를 포함하는 이미지 처리 장치, 및 이미지 센서 제조 방법
KR101643610B1 (ko) 2010-01-18 2016-07-29 삼성전자주식회사 디지털 촬영장치 및 방법
KR101688523B1 (ko) 2010-02-24 2016-12-21 삼성전자주식회사 적층형 이미지 센서
JP5552858B2 (ja) 2010-03-26 2014-07-16 ソニー株式会社 固体撮像装置、固体撮像装置の駆動方法、及び、電子機器
US20110317048A1 (en) * 2010-06-29 2011-12-29 Aptina Imaging Corporation Image sensor with dual layer photodiode structure
JP5521854B2 (ja) * 2010-07-26 2014-06-18 コニカミノルタ株式会社 撮像装置及び画像入力装置
JP5676988B2 (ja) 2010-09-14 2015-02-25 キヤノン株式会社 焦点調節装置
US8742309B2 (en) * 2011-01-28 2014-06-03 Aptina Imaging Corporation Imagers with depth sensing capabilities
JP2012195921A (ja) * 2011-02-28 2012-10-11 Sony Corp 固体撮像素子およびカメラシステム
US20130113967A1 (en) * 2011-11-04 2013-05-09 Honeywell International Inc. Doing Business As (D.B.A.) Honeywell Scanning & Mobility Apparatus comprising image sensor array having global shutter shared by a plurality of pixels
JP5556823B2 (ja) 2012-01-13 2014-07-23 株式会社ニコン 固体撮像装置および電子カメラ
US8569700B2 (en) 2012-03-06 2013-10-29 Omnivision Technologies, Inc. Image sensor for two-dimensional and three-dimensional image capture
WO2013147198A1 (ja) * 2012-03-30 2013-10-03 株式会社ニコン 撮像装置および撮像素子

Also Published As

Publication number Publication date
US10389959B2 (en) 2019-08-20
CN104205808B (zh) 2020-06-05
EP2835965B1 (en) 2017-05-03
US20180048837A1 (en) 2018-02-15
JP2018029342A (ja) 2018-02-22
US20190260951A1 (en) 2019-08-22
EP2835965A1 (en) 2015-02-11
US9826183B2 (en) 2017-11-21
WO2013147198A1 (ja) 2013-10-03
US20150222833A1 (en) 2015-08-06
CN111711746A (zh) 2020-09-25
CN104205808A (zh) 2014-12-10
JP6264284B2 (ja) 2018-01-24
EP2835965A4 (en) 2015-12-09
JP7001080B2 (ja) 2022-01-19
JP2019193280A (ja) 2019-10-31
US20210358981A1 (en) 2021-11-18
JPWO2013147198A1 (ja) 2015-12-14

Similar Documents

Publication Publication Date Title
JP6536642B2 (ja) 撮像素子
JP7298635B2 (ja) 撮像素子、及び撮像装置
JP5092685B2 (ja) 撮像素子および撮像装置
JP5045350B2 (ja) 撮像素子および撮像装置
JP5256711B2 (ja) 撮像素子および撮像装置
JP2008103885A (ja) 撮像素子、焦点検出装置および撮像装置
JP5186895B2 (ja) 撮像装置
JP5998583B2 (ja) 撮像装置
JP2018046563A (ja) 撮像素子
JP6221327B2 (ja) 撮像素子およびカメラ

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180124

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20181031

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20181127

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190128

RD03 Notification of appointment of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7423

Effective date: 20190128

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20190507

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20190520

R150 Certificate of patent or registration of utility model

Ref document number: 6536642

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250