JPWO2013136820A1 - 撮像素子および撮像装置 - Google Patents

撮像素子および撮像装置 Download PDF

Info

Publication number
JPWO2013136820A1
JPWO2013136820A1 JP2014504720A JP2014504720A JPWO2013136820A1 JP WO2013136820 A1 JPWO2013136820 A1 JP WO2013136820A1 JP 2014504720 A JP2014504720 A JP 2014504720A JP 2014504720 A JP2014504720 A JP 2014504720A JP WO2013136820 A1 JPWO2013136820 A1 JP WO2013136820A1
Authority
JP
Japan
Prior art keywords
film
photoelectric conversion
parallax
reflectance
pixel
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2014504720A
Other languages
English (en)
Inventor
鈴木　智
智 鈴木
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nikon Corp
Original Assignee
Nikon Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nikon Corp filed Critical Nikon Corp
Priority to JP2014504720A priority Critical patent/JPWO2013136820A1/ja
Publication of JPWO2013136820A1 publication Critical patent/JPWO2013136820A1/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14601—Structural or functional details thereof
    • H01L27/1463—Pixel isolation structures
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B7/00—Mountings, adjusting means, or light-tight connections, for optical elements
    • G02B7/28—Systems for automatic generation of focusing signals
    • G02B7/34—Systems for automatic generation of focusing signals using different areas in a pupil plane
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14601—Structural or functional details thereof
    • H01L27/1462—Coatings
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14601—Structural or functional details thereof
    • H01L27/1462—Coatings
    • H01L27/14623—Optical shielding
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14683—Processes or apparatus peculiar to the manufacture or treatment of these devices or parts thereof
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14683—Processes or apparatus peculiar to the manufacture or treatment of these devices or parts thereof
    • H01L27/14685—Process for coatings or optical elements
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L31/00—Semiconductor devices sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation; Processes or apparatus specially adapted for the manufacture or treatment thereof or of parts thereof; Details thereof
    • H01L31/02—Details
    • H01L31/0216—Coatings
    • H01L31/02161—Coatings for devices characterised by at least one potential jump barrier or surface barrier
    • H01L31/02162—Coatings for devices characterised by at least one potential jump barrier or surface barrier for filtering or shielding light, e.g. multicolour filters for photodetectors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/207—Image signal generators using stereoscopic image cameras using a single 2D image sensor
    • H04N13/218—Image signal generators using stereoscopic image cameras using a single 2D image sensor using spatial multiplexing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/257—Colour aspects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/282—Image signal generators for generating image signals corresponding to three or more geometrical viewpoints, e.g. multi-view systems
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14601—Structural or functional details thereof
    • H01L27/1462—Coatings
    • H01L27/14621—Colour filter arrangements

Abstract

従来の撮像装置において、視差画像を生成するための、入射する光束を規制する遮光部が、各画素に対して設けられている。しかしながら、遮光部は、光電変換素子から離れて設けられているので、遮光部と開口部分との境で発生した回折光等の不要な光が光電変換素子へ到達してしまうことがあった。そこで、入射光を電気信号に光電変換する、二次元的に配列された光電変換素子と、光電変換素子のうち少なくとも一部のそれぞれの受光面に形成された、第１反射率を有する第１部分および第１反射率と異なる第２反射率を有する第２部分を少なくとも含む反射率調整膜とを備える撮像素子を提供する。

Description

本発明は、撮像素子および撮像装置に関する。
単一の撮影光学系を用いて、視差を有する２つの視差画像を一度の撮影で生成する撮像装置が知られている。
［先行技術文献］
［特許文献］
［特許文献１］特開２００３−７９９４号公報
上述の撮像装置において、視差画像を生成するための、入射光束を遮断する遮光部材が、各画素に対して設けられている。しかしながら、遮光部材は、光電変換素子から離れて設けられているので、遮光部材と開口部分との境で発生した回折光等の不要な光が光電変換素子へ到達してしまうことがあった。
本発明の第１の実施形態における撮像素子は、入射光を電気信号に光電変換する、二次元的に配列された光電変換素子と、光電変換素子のうち少なくとも一部のそれぞれの受光面に形成された、第１反射率を有する第１部分および第１反射率と異なる第２反射率を有する第２部分を少なくとも含む反射率調整膜とを備える。
本発明の第２の実施形態における撮像装置は、上述の撮像素子と、撮像素子の出力から、互いに視差を有する複数の視差画像データと視差のない２Ｄ画像データとを生成する画像処理部とを備える。
本発明の第３の実施形態における反射率調整膜の製造方法は、入射光を電気信号に光電変換する、二次元的に配列された光電変換素子の受光面上に形成される反射率調整膜の製造方法であって、光電変換素子が形成された基板上に第１膜を成膜する第１膜成膜工程と、それぞれの光電変換素子の受光面において領域分割された第１部分と第２部分とが互いに異なる膜厚となるように第１膜の膜厚を調整する第１膜厚調整工程と、第１膜上に、第１膜とは異なる第２膜を成膜する第２膜成膜工程と、第１部分と第２部分とが互いに異なる膜厚となるように第２膜の膜厚を調整する第１膜厚調整工程とを含む。
本発明の第４の実施形態における反射率調整膜の製造方法は、入射光を電気信号に光電変換する、二次元的に配列された光電変換素子の受光面上に形成される反射率調整膜の製造方法であって、光電変換素子が形成された基板上に第１膜を成膜する第１膜成膜工程と、それぞれの光電変換素子の受光面において領域分割された第１部分と第２部分において第１部分をマスキングする第１マスキング工程と、第１膜をエッチングする第１エッチング工程と、第１膜上に、第１膜とは異なる第２膜を成膜する第２膜成膜工程と、第１部分と第２部分のいずれかをマスキングする第２マスキング工程と、前記第２膜をエッチングする第２エッチング工程とを含む。
なお、上記の発明の概要は、本発明の必要な特徴の全てを列挙したものではない。また、これらの特徴群のサブコンビネーションもまた、発明となりうる。
本実施形態に係るデジタルカメラの構成を説明する図である。 本実施形態に係る撮像素子の断面を表す概略図である。 本実施形態に係る反射率調整膜の構成を説明する図である。 撮像素子の一部を拡大した様子を表す概略図である。 視差画素と被写体の関係を説明する概念図である。 視差画像を生成する処理を説明する概念図である。 ベイヤー配列を説明する図である。 第１実施例における繰り返しパターン１１０の配列を説明する図である。 第２実施例における繰り返しパターン１１０の配列を説明する図である。 ２Ｄ画像データとしてのＲＧＢプレーンデータの生成処理の例を説明する図である。 視差画像データとしての２つのＧプレーンデータの生成処理の例を説明する図である。 視差画像データとしての２つのＢプレーンデータの生成処理の例を説明する図である。 視差画像データとしての２つのＲプレーンデータの生成処理の例を説明する図である。 各プレーンの解像度の関係を示す概念図である。 第１部分１０６の形状を説明する図である。 第１変形例に係る撮像素子の断面を表す概略図である。 第２変形例に係る撮像素子の断面を表す概略図である。 入射光特性に合わせた反射率調整膜の構成を説明する図である。 別のバリエーションに係る反射率調整膜の構成を説明する図である。 第１の製造工程に係る処理フローを示す。 第２の製造工程に係る処理フローを示す。 各膜組成における入射波長に対する反射率のシミュレーション結果を示す図である。
以下、発明の実施の形態を通じて本発明を説明するが、以下の実施形態は請求の範囲にかかる発明を限定するものではない。また、実施形態の中で説明されている特徴の組み合わせの全てが発明の解決手段に必須であるとは限らない。
画像処理装置および撮像装置の一形態である本実施形態に係るデジタルカメラは、１つのシーンについて複数の視点数の画像を一度の撮影により生成できるように構成されている。互いに視点の異なるそれぞれの画像を視差画像と呼ぶ。
図１は、本実施形態に係るデジタルカメラ１０の構成を説明する図である。デジタルカメラ１０は、撮影光学系としての撮影レンズ２０を備え、光軸２１に沿って入射する被写体光束を撮像素子１００へ導く。撮影レンズ２０は、デジタルカメラ１０に対して着脱できる交換式レンズであっても構わない。デジタルカメラ１０は、撮像素子１００、制御部２０１、Ａ／Ｄ変換回路２０２、メモリ２０３、駆動部２０４、画像処理部２０５、メモリカードＩＦ２０７、操作部２０８、表示部２０９、ＬＣＤ駆動回路２１０およびＡＦセンサ２１１を備える。
なお、図示するように、撮像素子１００へ向かう光軸２１に平行な方向をｚ軸プラス方向と定め、ｚ軸と直交する平面において紙面手前へ向かう方向をｘ軸プラス方向、紙面上方向をｙ軸プラス方向と定める。以降のいくつかの図においては、図１の座標軸を基準として、それぞれの図の向きがわかるように座標軸を表示する。
撮影レンズ２０は、複数の光学レンズ群から構成され、シーンからの被写体光束をその焦点面近傍に結像させる。なお、図１では撮影レンズ２０を説明の都合上、瞳近傍に配置された仮想的な１枚のレンズで代表して表している。撮像素子１００は、撮影レンズ２０の焦点面近傍に配置されている。撮像素子１００は、二次元的に複数の光電変換素子が配列された、例えばＣＣＤ、ＣＭＯＳセンサ等のイメージセンサである。撮像素子１００は、駆動部２０４によりタイミング制御されて、受光面上に結像された被写体像を画像信号に変換してＡ／Ｄ変換回路２０２へ出力する。
Ａ／Ｄ変換回路２０２は、撮像素子１００が出力する画像信号をデジタル画像信号に変換してメモリ２０３へ出力する。画像処理部２０５は、メモリ２０３をワークスペースとして種々の画像処理を施し、画像データを生成する。
画像処理部２０５は、他にも選択された画像フォーマットに従って画像データを調整するなどの画像処理一般の機能も担う。生成された画像データは、ＬＣＤ駆動回路２１０により表示信号に変換され、表示部２０９に表示される。また、メモリカードＩＦ２０７に装着されているメモリカード２２０に記録される。
ＡＦセンサ２１１は、被写体空間に対して複数の測距点が設定された位相差センサであり、それぞれの測距点において被写体像のデフォーカス量を検出する。一連の撮影シーケンスは、操作部２０８がユーザの操作を受け付けて、制御部２０１へ操作信号を出力することにより開始される。撮影シーケンスに付随するＡＦ，ＡＥ等の各種動作は、制御部２０１に制御されて実行される。例えば、制御部２０１は、ＡＦセンサ２１１の検出信号を解析して、撮影レンズ２０の一部を構成するフォーカスレンズを移動させる合焦制御を実行する。
次に、撮像素子１００の構成について詳細に説明する。図２は、本実施形態に係る撮像素子１００の断面を表す概略図である。
撮像素子１００は、被写体側から順に、マイクロレンズ１０１、カラーフィルタ１０２、配線層１０３、反射率調整膜１０５および光電変換素子１０８が配列されて構成されている。光電変換素子１０８は、入射する光を電気信号に変換するフォトダイオードにより構成される。光電変換素子１０８は、基板１０９の表面に二次元的に複数配列されている。
光電変換素子１０８により変換された画像信号、光電変換素子１０８を制御する制御信号等は、配線層１０３に設けられた配線１０４を介して送受信される。光電変換素子１０８の受光面を含む基板１０９の表面上には、反射率調整膜１０５が形成されている。反射率調整膜１０５は、各光電変換素子１０８の受光面上の少なくとも一部に形成される第１部分１０６と、第１部分１０６以外の箇所に形成される第２部分１０７とで構成される。
第１部分１０６は、各光電変換素子１０８に一対一に対応して設けられ、入射光を反射せずに通過するように反射率が調整されている。そして、第１部分１０６は、後述するように、対応する光電変換素子１０８ごとにシフトされて、相対的な位置が厳密に定められている。第２部分１０７は、入射光をほぼ全て反射するように反射率が調整されている。このように、反射率調整膜１０５において、第１部分１０６の反射率は、第２部分１０７の反射率より小さく調整されている。
詳しくは後述するが、第１部分１０６と第２部分１０７とで構成された反射率調整膜１０５の作用により、光電変換素子１０８が受光する被写体光束に視差が生じる。一方、視差を生じさせない光電変換素子１０８上には、入射光束の全体を通過させるように、第１部分１０６のみが形成され、第２部分１０７が存在しない。
カラーフィルタ１０２は、配線層１０３上に設けられている。カラーフィルタ１０２は、各光電変換素子１０８に対して特定の波長帯域を透過させるように着色された、光電変換素子１０８のそれぞれに一対一に対応して設けられるフィルタである。カラー画像を出力するには、互いに異なる少なくとも２種類のカラーフィルタが配列されれば良いが、より高画質のカラー画像を取得するには３種類以上のカラーフィルタを配列すると良い。例えば赤色波長帯を透過させる赤フィルタ（Ｒフィルタ）、緑色波長帯を透過させる緑フィルタ（Ｇフィルタ）、および青色波長帯を透過させる青フィルタ（Ｂフィルタ）を格子状に配列すると良い。具体的な配列については後述する。
マイクロレンズ１０１は、カラーフィルタ１０２上に設けられている。マイクロレンズ１０１は、入射する被写体光束のより多くを光電変換素子１０８へ導くための集光レンズである。マイクロレンズ１０１は、光電変換素子１０８のそれぞれに一対一に対応して設けられている。マイクロレンズ１０１は、撮影レンズ２０の瞳中心と光電変換素子１０８の相対的な位置関係を考慮して、より多くの被写体光束が光電変換素子１０８に導かれるようにその光軸がシフトされていることが好ましい。さらには、反射率調整膜１０５の第１部分１０６の位置と共に、後述の特定の被写体光束がより多く入射するように配置位置が調整されても良い。なお、集光効率、光電変換効率が良いイメージセンサの場合は、マイクロレンズ１０１を設けなくても良い。
このように、各々の光電変換素子１０８に対応して一対一に設けられる反射率調整膜１０５、カラーフィルタ１０２およびマイクロレンズ１０１の一単位を画素と呼ぶ。特に、視差を生じさせる第１部分１０６が設けられた画素を視差画素、視差を生じさせない第１部分１０６が設けられている画素を視差なし画素と呼ぶ。例えば、撮像素子１００の有効画素領域が２４ｍｍ×１６ｍｍ程度の場合、画素数は１２００万程度に及ぶ。
図３は、本実施形態に係る反射率調整膜１０５の構成を説明する説明図である。図３（ａ）は、１画素分の反射率調整膜１０５の平面図である。第１部分１０６は、入射光束のうちの特定の光束を通過させて、当該特定の光束を、対応する光電変換素子１０８の受光面における予め定められた特定領域へ導く。一方、第２部分１０７は、特定領域以外の光電変換素子１０８の受光面の領域へ光束が入射するのを防ぐ。この構成により、光電変換素子１０８が受光する被写体光束に視差が生じる。
図３（ｂ）は、反射率調整膜１０５の第１部分１０６周辺の断面図である。図示のとおり、反射率調整膜１０５は、ＳｉＯ２膜とＳｉＮ膜が順次積層された多層膜である。第１部分１０６における各膜の膜厚と、第２部分１０７における各膜の膜厚とを異ならせることにより、第１部分１０６の反射率および第２部分１０７の反射率が調整される。例えば、第１部分１０６の反射率が１０％未満、すなわち透過率が９０％以上になるように、第１部分１０６における各膜の膜厚が規定される。また、例えば、第２部分１０７の反射率が９９％以上、すなわち透過率が１％未満となるように、第２部分１０７における各膜の膜厚が規定される。
反射率調整膜１０５の形成方法について説明する。まず、光電変換素子１０８の受光面が露出された基板１０９の表面上にＳｉＯ２膜を形成する。そして、第１部分１０６におけるＳｉＯ２膜の膜厚が予め規定された膜厚となり、かつ第２部分１０７におけるＳｉＯ２膜の膜厚が予め規定された膜厚となるように、フォトリソグラフィ工程およびエッチング工程を行う。例えば、第１部分１０６におけるＳｉＯ２膜の膜厚が第２部分１０７におけるＳｉＯ２膜の膜厚より小さく規定されている場合、第２部分１０７の膜厚でＳｉＯ２膜を基板１０９の表面上に形成し、フォトリソグラフィ工程およびエッチング工程により第１部分１０６の箇所を部分的に除去する。
次に、形成したＳｉＯ２膜上にＳｉＮ膜を形成する。そして、第１部分１０６におけるＳｉＮ膜の膜厚が予め規定された膜厚となり、かつ第２部分１０７におけるＳｉＮ膜の膜厚が予め規定された膜厚となるように、フォトリソグラフィ工程およびエッチング工程を行う。このようなＳｉＯ２膜の形成およびＳｉＮ膜の形成を順次繰り返すことにより、ＳｉＯ２膜とＳｉＮ膜が順次積層された反射率調整膜１０５が形成される。
このように、反射率調整膜１０５の第１部分１０６および第２部分１０７を光電変換素子１０８の受光面上に形成することによって、光電変換素子１０８が視差を生じさせるための光束以外の不要な光束を受光するのを効率良く防ぐことができる。また、第１部分１０６の反射率を極力低減させることにより、光電変換素子１０８で受光される特定の光束の光量を反射率調整膜１０５が形成されていない場合よりも大きくすることができる。
なお、上述の実施形態では、第１部分１０６全体の厚さが第２部分１０７全体の厚さより小さいが、これに限らない。第１部分１０６の反射率および第２部分１０７の反射率が規定値を満たせば、第１部分１０６全体の厚さが第２部分１０７全体の厚さと同じであっても大きくても良い。
また、上述の実施形態では、反射率調整膜１０５を構成する膜としてＳｉＯ２膜およびＳｉＮ膜が用いられたが、これに限らず、ＳｉＯＮ膜等の他の素材の膜を用いてもよい。また、第１部分１０６を構成する膜の素材と第２部分１０７を構成する膜の素材とを異ならせても良い。
また、上述の実施形態では、反射率調整膜１０５は、屈折率の異なる２つの部分で構成されたが、これに限らず、互いに屈折率の異なる３つ以上の部分で構成されても良い。また、反射率調整膜１０５は、第１部分１０６と第２部分１０７とを接続し、かつ屈折率が第１部分１０６の屈折率から第２部分１０７の屈折率まで連続的に変化する接続部分を含んでも良い。
また、上述の実施形態では、図３（ａ）に示すように、第１部分１０６の長手方向すなわちｙ軸方向の幅を光電変換素子１０８の幅と一致させたが、第１部分１０６の長手方向の幅を光電変換素子１０８の幅より大きくしても良い。第１部分１０６の長手方向の幅を光電変換素子１０８の幅より大きくすることにより、光電変換素子１０８が想定しない回り込み光を受光することを防ぐことができる。
上述の実施形態において、反射率調整膜１０５の構造をカラーフィルタ１０２の種類によらず一定にしても良い。また、反射率調整膜１０５の特性をカラーフィルタ１０２の種類ごとに異ならせても良い。具体的には、カラーフィルタ１０２の種類ごとに予め規定された反射率を有するように、第１部分１０６および第２部分１０７を構成する各膜の膜厚がカラーフィルタの種類ごとに調整される。例えば、Ｇフィルタに対応する反射率調整膜１０５の第１部分１０６において、緑色波長帯の光の透過性が良好となるように各膜の膜厚が調整される。また、Ｇフィルタに対応する反射率調整膜１０５の第２部分１０７において、緑色波長帯の光の反射性が良好となるように各膜の膜厚に調整される。
次に、反射率調整膜１０５の第１部分１０６と、生じる視差の関係について説明する。図４は、撮像素子１００の一部を拡大した様子を表す概略図である。ここでは、説明を簡単にすべく、カラーフィルタ１０２の配色については後に言及を再開するまで考慮しない。カラーフィルタ１０２の配色に言及しない以下の説明においては、同色のカラーフィルタ１０２を有する視差画素のみを寄せ集めたイメージセンサであると捉えることができる。したがって、以下に説明する繰り返しパターンは、同色のカラーフィルタ１０２における隣接画素として考えても良い。
図３に示すように、反射率調整膜１０５の第１部分１０６は、それぞれの画素に対して相対的にシフトして設けられている。そして、隣接する画素同士においても、それぞれの第１部分１０６は互いに変位した位置に設けられている。
図の例においては、互いに左右方向にシフトした第１部分１０６および第１部分１０６以外の箇所に第２部分１０７が形成された、６種類の画素単位の反射率調整膜１０５が用意されている。そして、撮像素子１００の全体は、第１部分１０６が紙面左側から右側へ徐々にシフトする反射率調整膜１０５をそれぞれ有する６つの視差画素を一組とする光電変換素子群が、二次元的かつ周期的に配列されている。なお、本実施形態において、光電変換素子群の配列パターンを繰り返しパターン１１０と称する。
図５は、視差画素と被写体の関係を説明する概念図である。特に図５（ａ）は撮像素子１００のうち撮影光軸２１と直交する中心に配列されている繰り返しパターン１１０ｔの光電変換素子群を示し、図５（ｂ）は周辺部分に配列されている繰り返しパターン１１０ｕの光電変換素子群を模式的に示している。図５（ａ）、（ｂ）における被写体３０は、撮影レンズ２０に対して合焦位置に存在する。図５（ｃ）は、図５（ａ）に対応して、撮影レンズ２０に対して非合焦位置に存在する被写体３１を捉えた場合の関係を模式的に示している。
まず、撮影レンズ２０が合焦状態に存在する被写体３０を捉えている場合の、視差画素と被写体の関係を説明する。被写体光束は、撮影レンズ２０の瞳を通過して撮像素子１００へ導かれるが、被写体光束が通過する全体の断面領域に対して、６つの部分領域Ｐａ〜Ｐｆが規定されている。そして、例えば繰り返しパターン１１０ｔ、１１０ｕを構成する光電変換素子群の紙面左端の画素は、拡大図からもわかるように、部分領域Ｐｆから射出された被写体光束のみが光電変換素子１０８へ到達するように、反射率調整膜１０５の第１部分１０６ｆの位置が定められている。同様に、右端の画素に向かって、部分領域Ｐｅに対応して第１部分１０６ｅの位置が、部分領域Ｐｄに対応して第１部分１０６ｄの位置が、部分領域Ｐｃに対応して第１部分１０６ｃの位置が、部分領域Ｐｂに対応して第１部分１０６ｂの位置が、部分領域Ｐａに対応して第１部分１０６ａの位置がそれぞれ定められている。
別言すれば、例えば部分領域Ｐｆと左端画素の相対的な位置関係によって定義される、部分領域Ｐｆから射出される被写体光束（部分光束）の主光線Ｒｆの傾きにより、第１部分１０６ｆの位置が定められていると言っても良い。そして、合焦位置に存在する被写体３０からの被写体光束を、第１部分１０６ｆを介して光電変換素子１０８が受光する場合、その被写体光束は、点線で図示するように、光電変換素子１０８上で結像する。同様に、右端の画素に向かって、主光線Ｒｅの傾きにより第１部分１０６ｅの位置が、主光線Ｒｄの傾きにより第１部分１０６ｄの位置が、主光線Ｒｃの傾きにより第１部分１０６ｃの位置が、主光線Ｒｂの傾きにより第１部分１０６ｂの位置が、主光線Ｒａの傾きにより第１部分１０６ａの位置がそれぞれ定められていると言える。
図５（ａ）で示すように、合焦位置に存在する被写体３０のうち、光軸２１と交差する被写体３０上の微小領域Ｏｔから放射される光束は、撮影レンズ２０の瞳を通過して、繰り返しパターン１１０ｔを構成する光電変換素子群の各画素に到達する。すなわち、繰り返しパターン１１０ｔを構成する光電変換素子群の各画素は、それぞれ６つの部分領域Ｐａ〜Ｐｆを介して、一つの微小領域Ｏｔから放射される光束を受光している。微小領域Ｏｔは、繰り返しパターン１１０ｔを構成する光電変換素子群の各画素の位置ずれに対応する分だけの広がりを有するが、実質的には、ほぼ同一の物点と近似することができる。同様に、図５（ｂ）で示すように、合焦位置に存在する被写体３０のうち、光軸２１から離間した被写体３０上の微小領域Ｏｕから放射される光束は、撮影レンズ２０の瞳を通過して、繰り返しパターン１１０ｕを構成する光電変換素子群の各画素に到達する。すなわち、繰り返しパターン１１０ｕを構成する光電変換素子群の各画素は、それぞれ６つの部分領域Ｐａ〜Ｐｆを介して、一つの微小領域Ｏｕから放射される光束を受光している。微小領域Ｏｕも、微小領域Ｏｔと同様に、繰り返しパターン１１０ｕを構成する光電変換素子群の各画素の位置ずれに対応する分だけの広がりを有するが、実質的には、ほぼ同一の物点と近似することができる。
つまり、被写体３０が合焦位置に存在する限りは、撮像素子１００上における繰り返しパターン１１０の位置に応じて、光電変換素子群が捉える微小領域が異なり、かつ、光電変換素子群を構成する各画素は互いに異なる部分領域を介して同一の微小領域を捉えている。そして、それぞれの繰り返しパターン１１０において、対応する画素同士は同じ部分領域からの被写体光束を受光している。つまり、図においては、例えば繰り返しパターン１１０ｔ、１１０ｕのそれぞれの左端の画素は、同じ部分領域Ｐｆからの部分光束を受光している。
撮影光軸２１と直交する中心に配列されている繰り返しパターン１１０ｔにおいて左端画素が部分領域Ｐｆからの被写体光束を受光する第１部分１０６ｆの位置と、周辺部分に配列されている繰り返しパターン１１０ｕにおいて左端画素が部分領域Ｐｆからの被写体光束を受光する第１部分１０６ｆの位置は厳密には異なる。しかしながら、機能的な観点からは、部分領域Ｐｆからの被写体光束を受光するための反射率調整膜という点で、これらを同一種類の反射率調整膜として扱うことができる。したがって、図５の例では、撮像素子１００上に配列される視差画素のそれぞれは、６種類の反射率調整膜の一つを備えると言える。
次に、撮影レンズ２０が非合焦状態に存在する被写体３１を捉えている場合の、視差画素と被写体の関係を説明する。この場合も、非合焦位置に存在する被写体３１からの被写体光束は、撮影レンズ２０の瞳の６つの部分領域Ｐａ〜Ｐｆを通過して、撮像素子１００へ到達する。ただし、非合焦位置に存在する被写体３１からの被写体光束は、光電変換素子１０８上ではなく他の位置で結像する。例えば、図５（ｃ）に示すように、被写体３１が被写体３０よりも撮像素子１００に対して遠い位置に存在すると、被写体光束は、光電変換素子１０８よりも被写体３１側で結像する。逆に、被写体３１が被写体３０よりも撮像素子１００に対して近い位置に存在すると、被写体光束は、光電変換素子１０８よりも被写体３１とは反対側で結像する。
したがって、非合焦位置に存在する被写体３１のうち、微小領域Ｏｔ'から放射される被写体光束は、６つの部分領域Ｐａ〜Ｐｆのいずれを通過するかにより、異なる組の繰り返しパターン１１０における対応画素に到達する。例えば、部分領域Ｐｄを通過した被写体光束は、図５（ｃ）の拡大図に示すように、主光線Ｒｄ'として、繰り返しパターン１１０ｔ'に含まれる、第１部分１０６ｄを有する光電変換素子１０８へ入射する。そして、微小領域Ｏｔ'から放射された被写体光束であっても、他の部分領域を通過した被写体光束は、繰り返しパターン１１０ｔ'に含まれる光電変換素子１０８へは入射せず、他の繰り返しパターンにおける対応する第１部分１０６を有する光電変換素子１０８へ入射する。換言すると、繰り返しパターン１１０ｔ'を構成する各光電変換素子１０８へ到達する被写体光束は、被写体３１の互いに異なる微小領域から放射された被写体光束である。すなわち、第１部分１０６ｄに対応する１０８へは主光線をＲｄ'とする被写体光束が入射し、他の第１部分１０６に対応する光電変換素子１０８へは主光線をＲａ＋、Ｒｂ＋、Ｒｃ＋、Ｒｅ＋、Ｒｆ＋とする被写体光束が入射するが、これらの被写体光束は、被写体３１の互いに異なる微小領域から放射された被写体光束である。このような関係は、図５（ｂ）における周辺部分に配列されている繰り返しパターン１１０ｕにおいても同様である。
すると、撮像素子１００の全体で見た場合、例えば、第１部分１０６ａに対応する光電変換素子１０８で捉えた被写体像Ａと、第１部分１０６ｄに対応する光電変換素子１０８で捉えた被写体像Ｄは、合焦位置に存在する被写体に対する像であれば互いにずれが無く、非合焦位置に存在する被写体に対する像であればずれが生じることになる。そして、そのずれは、非合焦位置に存在する被写体が合焦位置に対してどちら側にどれだけずれているかにより、また、部分領域Ｐａと部分領域Ｐｄの距離により、方向と量が定まる。つまり、被写体像Ａと被写体像Ｄは、互いに視差像となる。この関係は、他の第１部分１０６に対しても同様であるので、第１部分１０６ａから第１部分１０６ｆに対応して、６つの視差像が形成されることになる。
したがって、このように構成されたそれぞれの繰り返しパターン１１０において、互いに対応する画素の出力を寄せ集めると、視差画像が得られる。つまり、６つの部分領域Ｐａ〜Ｐｆうちの特定の部分領域から射出された被写体光束を受光した画素の出力は、視差画像を形成する。
図６は、視差画像を生成する処理を説明する概念図である。図は、左列から順に、第１部分１０６ｆに対応する視差画素の出力を集めて生成される視差画像データＩｍ＿ｆの生成の様子、第１部分１０６ｅの出力による視差画像データＩｍ＿ｅの生成の様子、第１部分１０６ｄの出力による視差画像データＩｍ＿ｄの生成の様子、第１部分１０６ｃの出力による視差画像データＩｍ＿ｃの生成の様子、第１部分１０６ｂの出力による視差画像データＩｍ＿ｂの生成の様子、第１部分１０６ａの出力による視差画像データＩｍ＿ａの生成の様子を表す。まず第１部分１０６ｆの出力による視差画像データＩｍ＿ｆの生成の様子について説明する。
６つの視差画素を一組とする光電変換素子群から成る繰り返しパターン１１０は、横一列に配列されている。したがって、第１部分１０６ｆを有する視差画素は、視差なし画素を除いた仮想的な撮像素子１００上において、左右方向に６画素おき、かつ、上下方向に連続して存在する。これら各画素は、上述のようにそれぞれ異なる微小領域からの被写体光束を受光している。したがって、これらの視差画素の出力を寄せ集めて配列すると、視差画像が得られる。
しかし、本実施形態における撮像素子１００の各画素は正方画素であるので、単に寄せ集めただけでは、横方向の画素数が１／６に間引かれた結果となり、縦長の画像データが生成されてしまう。そこで、補間処理を施して横方向に６倍の画素数とすることにより、本来のアスペクト比の画像として視差画像データＩｍ＿ｆを生成する。ただし、そもそも補間処理前の視差画像データが横方向に１／６に間引かれた画像であるので、横方向の解像度は、縦方向の解像度よりも低下している。つまり、生成される視差画像データの数と、解像度の向上は相反関係にあると言える。なお、本実施形態に適用する具体的な補間処理については後述する。
同様にして、視差画像データＩｍ＿ｅ〜視差画像データＩｍ＿ａが得られる。すなわち、デジタルカメラ１０は、横方向に視差を有する６視点の視差画像を生成することができる。
次に、カラーフィルタ１０２と視差画像について説明する。図７は、ベイヤー配列を説明する図である。図示するように、ベイヤー配列は、Ｇフィルタが左上（Ｇｂ）と右下（Ｇｒ）の２画素に、Ｒフィルタが左下の１画素に、Ｂフィルタが右上の１画素に割り当てられる配列である。
このようなカラーフィルタ１０２の配列に対して、視差画素と視差なし画素を、何色の画素にどのような周期で割り振っていくかにより、膨大な数の繰り返しパターン１１０が設定され得る。視差なし画素の出力を集めれば、通常の撮影画像と同じく視差のない撮影画像データを生成することができる。したがって、相対的に視差なし画素の割合を増やせば、解像度の高い２Ｄ画像を出力させることができる。この場合、視差画素は相対的に少ない割合となるので、複数の視差画像からなる３Ｄ画像としては画質が低下する。逆に、視差画素の割合を増やせば、３Ｄ画像としては画質が向上するが、視差なし画素は相対的に減少するので、解像度の低い２Ｄ画像が出力される。ＲＧＢのいずれの画素に対しても視差画素を割り振れば、３Ｄ画像でありながら、色再現性の良い高品質のカラー画像データとなる。
理想的には、２Ｄ画像であっても３Ｄ画像であっても、高解像度、高品質のカラー画像データが出力されることが望ましい。ところで、３Ｄ画像において観察者が視差を感じる画像領域は、図５を用いて説明した視差の発生原理からも理解されるように、同一の被写体像が互いにずれる非合焦領域である。したがって、観察者が視差を感じる画像領域は、ピントの合っている主要被写体に対して高周波成分が少ないと言える。すると、３Ｄ画像を生成するに当たっては、視差が生じている領域において、それほど高解像でない画像データが存在すれば足りることになる。
ピントの合っている画像領域については２Ｄ画像データから切り出し、ピントの合っていない画像領域については３Ｄ画像データを切り出して、それぞれの視差画像データを合成により生成することができる。あるいは、高解像データである２Ｄ画像データを基礎とし、３Ｄ画像データの各画素における相対的な比を掛け合わせて、高解像なそれぞれの視差画像データを生成することができる。このような画像処理を採用することを前提とすれば、撮像素子１００においては、視差画素の数は、視差なし画素の数よりも少なくて良い。換言すれば、視差画素が相対的に少なくても、比較的解像度の高い３Ｄ画像を生成することができると言える。
この場合、３Ｄ画像をカラー画像として生成するには、互いに異なる少なくとも２種類のカラーフィルタが配列されれば良いが、本実施形態においては、図７を用いて説明したベイヤー配列のように、更なる高画質化のためにＲＧＢの３種類のカラーフィルタを採用する。特に、視差画素の数が相対的に少ない本実施形態においては、視差画素は、それぞれの種類の第１部分１０６に対して、ＲＧＢの３種類のカラーフィルタのいずれかが設けられたすべての組み合わせを含む。例えば、第１部分１０６が中心よりも左側に偏心した視差Ｌｔ画素と、同じく右側に偏心した視差Ｒｔ画素を想定すると、視差Ｌｔ画素は、Ｒフィルタを備えた画素、Ｇフィルタを備えた画素、Ｂフィルタを備えた画素を含み、視差Ｒｔ画素は、Ｒフィルタを備えた画素、Ｇフィルタを備えた画素、Ｂフィルタを備えた画素を含む。すなわち撮像素子１００は、６種類の視差画素を有する。このような撮像素子１００から出力される画像データは、いわゆる立体視を実現する鮮やかなカラー視差画像データの基礎となる。なお、２種類の第１部分１０６に対して２種類のカラーフィルタを組み合わせる場合には、撮像素子１００は、４種類の視差画素を有する。
以下に画素配列のバリエーションについて説明する。図８は、第１実施例における繰り返しパターン１１０の配列を説明する図である。第１実施例における繰り返しパターン１１０は、４画素から成るベイヤー配列を、Ｙ軸方向である縦方向に４つ、Ｘ軸方向である横方向に４つ含み、６４画素から構成される。この繰り返しパターン１１０は、６４画素から成る画素群を一組として、撮像素子１００の有効画素領域を上下左右に周期的に配列されている。すなわち、撮像素子１００は、図の太線で示す繰り返しパターン１１０を基本格子とする。なお、繰り返しパターン１１０内の画素をＰＩＪで表す。例えば、左上画素はＰ１１であり、右上画素はＰ８１である。
第１実施例における視差画素は、第１部分１０６が中心よりも左側に偏心した視差Ｌｔ画素と、同じく右側に偏心した視差Ｒｔ画素の２種類の反射率調整膜１０５のいずれかを有する。図に示すように、視差画素は以下のように配列されている。
Ｐ１１…視差Ｌｔ画素＋Ｇフィルタ（＝Ｇ（Ｌｔ））
Ｐ５１…視差Ｒｔ画素＋Ｇフィルタ（＝Ｇ（Ｒｔ））
Ｐ３２…視差Ｌｔ画素＋Ｂフィルタ（＝Ｂ（Ｌｔ））
Ｐ６３…視差Ｒｔ画素＋Ｒフィルタ（＝Ｒ（Ｒｔ））
Ｐ１５…視差Ｒｔ画素＋Ｇフィルタ（＝Ｇ（Ｒｔ））
Ｐ５５…視差Ｌｔ画素＋Ｇフィルタ（＝Ｇ（Ｌｔ））
Ｐ７６…視差Ｒｔ画素＋Ｂフィルタ（＝Ｂ（Ｒｔ））
Ｐ２７…視差Ｌｔ画素＋Ｒフィルタ（＝Ｒ（Ｌｔ））
他の画素は視差なし画素であり、視差なし画素＋Ｒフィルタ（＝Ｒ（Ｎ））、視差なし画素＋Ｇフィルタ（＝Ｇ（Ｎ））、視差なし画素＋Ｂフィルタ（＝Ｂ（Ｎ））のいずれかである。
このように、基本格子の中に第１部分１０６とカラーフィルタのすべての組み合わせによる視差画素を含み、かつ視差画素よりも多い視差なし画素にランダム性を有して配置されている配列が好ましい。特に、各カラーフィルタ別にカウントした場合でも、視差なし画素の方が視差なし画素よりも多いことが好ましい。第１実施例の場合、Ｇ（Ｎ）＝２８個に対して、Ｇ（Ｌｔ）＋Ｇ（Ｒｔ）＝２＋２＝４個であり、Ｒ（Ｎ）＝１４個に対して、Ｒ（Ｌｔ）＋Ｒ（Ｒｔ）＝２個、Ｂ（Ｎ）＝１４個に対して、Ｂ（Ｌｔ）＋Ｂ（Ｒｔ）＝２個である。また、上記の通り、人間の視感特性を考慮して、Ｇフィルタを有する視差画素および視差なし画素は、他のカラーフィルタを有するそれぞれよりも多く配列されている。
図９は、第２実施例における繰り返しパターン１１０の配列を説明する図である。第２実施例における繰り返しパターン１１０は、第１実施例と同様に、４画素から成るベイヤー配列を、Ｙ軸方向である縦方向に４つ、Ｘ軸方向である横方向に４つ含み、６４画素から構成される。この繰り返しパターン１１０は、６４画素から成る画素群を一組として、撮像素子１００の有効画素領域を上下左右に周期的に配列されている。すなわち、撮像素子１００は、図の太線で示す繰り返しパターン１１０を基本格子とする。
第２実施例における視差画素は、第１部分１０６が中心よりも左側に偏心した視差Ｌｔ画素と、同じく右側に偏心した視差Ｒｔ画素の２種類の反射率調整膜１０５のいずれかを有する。図に示すように、視差画素は以下のように配列されている。
Ｐ１１…視差Ｌｔ画素＋Ｇフィルタ（＝Ｇ（Ｌｔ））
Ｐ５１…視差Ｒｔ画素＋Ｇフィルタ（＝Ｇ（Ｒｔ））
Ｐ３２…視差Ｌｔ画素＋Ｂフィルタ（＝Ｂ（Ｌｔ））
Ｐ７２…視差Ｒｔ画素＋Ｂフィルタ（＝Ｂ（Ｒｔ））
Ｐ２３…視差Ｒｔ画素＋Ｒフィルタ（＝Ｒ（Ｒｔ））
Ｐ６３…視差Ｌｔ画素＋Ｒフィルタ（＝Ｒ（Ｌｔ））
Ｐ１５…視差Ｒｔ画素＋Ｇフィルタ（＝Ｇ（Ｒｔ））
Ｐ５５…視差Ｌｔ画素＋Ｇフィルタ（＝Ｇ（Ｌｔ））
Ｐ３６…視差Ｒｔ画素＋Ｂフィルタ（＝Ｂ（Ｒｔ））
Ｐ７６…視差Ｌｔ画素＋Ｂフィルタ（＝Ｂ（Ｌｔ））
Ｐ２７…視差Ｌｔ画素＋Ｒフィルタ（＝Ｒ（Ｌｔ））
Ｐ６７…視差Ｒｔ画素＋Ｒフィルタ（＝Ｒ（Ｒｔ））
他の画素は視差なし画素であり、視差なし画素＋Ｒフィルタ（＝Ｒ（Ｎ））、視差なし画素＋Ｇフィルタ（＝Ｇ（Ｎ））、視差なし画素＋Ｂフィルタ（＝Ｂ（Ｎ））のいずれかである。
このように、基本格子の中に第１部分１０６とカラーフィルタのすべての組み合わせによる視差画素を含み、かつ視差画素よりも多い視差なし画素にランダム性を有して配置されている配列が好ましい。特に、各カラーフィルタ別にカウントした場合でも、視差なし画素の方が視差なし画素よりも多いことが好ましい。第２実施例の場合、Ｇ（Ｎ）＝２８個に対して、Ｇ（Ｌｔ）＋Ｇ（Ｒｔ）＝２＋２＝４個であり、Ｒ（Ｎ）＝１２個に対して、Ｒ（Ｌｔ）＋Ｒ（Ｒｔ）＝４個、Ｂ（Ｎ）＝１２個に対して、Ｂ（Ｌｔ）＋Ｂ（Ｒｔ）＝４個である。
次に、２Ｄ画像データと複数の視差画像データを生成する画像処理の概念について説明する。繰り返しパターン１１０における視差画素および視差なし画素の配列からもわかるように、撮像素子１００の出力をその画素配列に一致させてそのまま羅列しても、特定の像を表す画像データにはならない。撮像素子１００の画素出力を、同一に特徴付けられた画素グループごとに分離して寄せ集めてはじめて、その特徴に即した一つの像を表す画像データが形成される。例えば、既に図６を用いて説明したように、視差画素の出力をその第１部分１０６の種類ごとに寄せ集めると、互いに視差を有する複数の視差画像データが得られる。このように、同一に特徴付けられた画素グループごとに分離して寄せ集められたそれぞれの画像データを、プレーンデータと呼ぶ。
画像処理部２０５は、撮像素子１００の画素配列順にその出力値が羅列されたＲＡＷ元画像データを受け取り、複数のプレーンデータに分離するプレーン分離処理を実行する。以下に各プレーンデータの生成処理について、図８を用いて説明した第１実施例の撮像素子１００からの出力を例に説明する。
図１０は、２Ｄ画像データとしての２Ｄ−ＲＧＢプレーンデータの生成処理の例を説明する図である。上段の図は、撮像素子１００における一つの繰り返しパターン１１０およびその周囲の出力を、その画素配列に一致させてそのまま羅列した様子を示す。図においては、図８の例に則して画素の種類が理解されるように記載するが、実際には各画素に対応した出力値が並ぶ。
２Ｄ−ＲＧＢプレーンデータを生成するにあたり、画像処理部２０５は、まず視差画素の画素値を除去して、空格子とする。そして、空格子となった画素値を、同種のカラーフィルタを有する周辺画素の画素値を用いて補間処理により算出する。例えば、空格子Ｐ１１の画素値は、斜め方向に隣接するＧフィルタ画素の画素値である、Ｐ−１−１、Ｐ２−１、Ｐ−１２、Ｐ２２の画素値を平均化演算して算出する。また、例えば空格子Ｐ６３の画素値は、上下左右に１画素飛ばして隣接するＲフィルタの画素値である、Ｐ４３、Ｐ４３、Ｐ８３、Ｐ６５の画素値を平均化演算して算出する。同様に、例えば空格子Ｐ７６の画素値は、上下左右に１画素飛ばして隣接するＢフィルタの画素値である、Ｐ７４、Ｐ５６、Ｐ９６、Ｐ７８の画素値を平均化演算して算出する。
このように補間された２Ｄ−ＲＧＢプレーンデータは、ベイヤー配列を有する通常の撮像素子の出力と同様であるので、その後は２Ｄ画像データとして各種処理を行うことができる。画像処理部２０５は、静止画データを生成する場合にはＪＰＥＧ等、動画データを生成する場合にはＭＰＥＧ等の、予め定められたフォーマットに従って画像処理を行う。
図１１は、視差画像データとしての２つのＧプレーンデータの生成処理の例を説明する図である。すなわち、左視差画像データとしてのＧＬｔプレーンデータと右視差画像データとしてのＧＲｔプレーンデータである。
ＧＬｔプレーンデータを生成するにあたり、画像処理部２０５は、撮像素子１００の全出力値からＧ（Ｌｔ）画素の画素値以外の画素値を除去して空格子とする。すると、繰り返しパターン１１０には、Ｐ１１とＰ５５の２つの画素値が残る。そこで、繰り返しパターン１１０を縦横に４等分し、左上の１６画素分をＰ１１の出力値で代表させ、右下の１６画素分をＰ５５の出力値で代表させる。そして、右上の１６画素分および左下の１６画素分は、上下左右に隣接する周辺の代表値を平均化演算して補間する。すなわち、ＧＬｔプレーンデータは、１６画素単位で一つの値を有する。
同様に、ＧＲｔプレーンデータを生成するにあたり、画像処理部２０５は、撮像素子１００の全出力値からＧ（Ｒｔ）画素の画素値以外の画素値を除去して空格子とする。すると、繰り返しパターン１１０には、Ｐ５１とＰ１５の２つの画素値が残る。そこで、繰り返しパターン１１０を縦横に４等分し、右上の１６画素分をＰ５１の出力値で代表させ、左下の１６画素分をＰ１５の出力値で代表させる。そして、左上の１６画素分および右下の１６画素分は、上下左右に隣接する周辺の代表値を平均化演算して補間する。すなわち、ＧＲｔプレーンデータは、１６画素単位で一つの値を有する。
このようにして、２Ｄ−ＲＧＢプレーンデータよりは解像度の低いＧＬｔプレーンデータとＧＲｔプレーンデータを生成することができる。
図１２は、視差画像データとしての２つのＢプレーンデータの生成処理の例を説明する図である。すなわち、左視差画像データとしてのＢＬｔプレーンデータと右視差画像データとしてのＢＲｔプレーンデータである。
ＢＬｔプレーンデータを生成するにあたり、画像処理部２０５は、撮像素子１００の全出力値からＢ（Ｌｔ）画素の画素値以外の画素値を除去して空格子とする。すると、繰り返しパターン１１０には、Ｐ３２の画素値が残る。この画素値を繰り返しパターン１１０の６４画素分の代表値とする。
同様に、ＧＲｔプレーンデータを生成するにあたり、画像処理部２０５は、撮像素子１００の全出力値からＢ（Ｒｔ）画素の画素値以外の画素値を除去して空格子とする。すると、繰り返しパターン１１０には、Ｐ７６の画素値が残る。この画素値を繰り返しパターン１１０の６４画素分の代表値とする。
このようにして、２Ｄ−ＲＧＢプレーンデータよりは解像度の低いＢＬｔプレーンデータとＢＲｔプレーンデータを生成することができる。この場合、ＢＬｔプレーンデータとＢＲｔプレーンデータの解像度は、ＧＬｔプレーンデータとＧＲｔプレーンデータの解像度よりも低い。
図１３は、視差画像データとしての２つのＲプレーンデータの生成処理の例を説明する図である。すなわち、左視差画像データとしてのＲＬｔプレーンデータと右視差画像データとしてのＲＲｔプレーンデータである。
ＲＬｔプレーンデータを生成するにあたり、画像処理部２０５は、撮像素子１００の全出力値からＲ（Ｌｔ）画素の画素値以外の画素値を除去して空格子とする。すると、繰り返しパターン１１０には、Ｐ２７の画素値が残る。この画素値を繰り返しパターン１１０の６４画素分の代表値とする。
同様に、ＲＲｔプレーンデータを生成するにあたり、画像処理部２０５は、撮像素子１００の全出力値からＲ（Ｒｔ）画素の画素値以外の画素値を除去して空格子とする。すると、繰り返しパターン１１０には、Ｐ６３の画素値が残る。この画素値を繰り返しパターン１１０の６４画素分の代表値とする。
このようにして、２Ｄ−ＲＧＢプレーンデータよりは解像度の低いＲＬｔプレーンデータとＲＲｔプレーンデータを生成することができる。この場合、ＲＬｔプレーンデータとＲＲｔプレーンデータの解像度は、ＧＬｔプレーンデータとＧＲｔプレーンデータの解像度よりも低く、ＢＬｔプレーンデータとＢＲｔプレーンデータの解像度と同等である。
図１４は、各プレーンの解像度の関係を示す概念図である。２Ｄ−ＲＧＢプレーンデータは、補間処理が施されることにより、実質的に撮像素子１００の有効画素と同じ画素数分の出力値を有する。ＧＬｔプレーンデータおよびＧＲｔプレーンデータは、補間処理が施されることにより、２Ｄ−ＲＧＢプレーンデータの画素数に対して１／１６（＝１／４×１／４）の画素数分の出力値を有する。ＢＬｔプレーンデータ、ＢＲｔプレーンデータ、ＲＬｔプレーンデータおよびＲＲｔプレーンデータは、２Ｄ−ＲＧＢプレーンデータの画素数に対して１／６４（＝１／８×１／８）の画素数分の出力値を有する。
このような各プレーンデータ間における解像度のバランスによれば、まず、解像度の高い２Ｄ画像を出力させることができる。そして、上述のように、合焦領域については２Ｄ−ＲＧＢプレーンデータの情報を利用しつつ、非合焦領域についてはＧＬｔプレーンデータ等の視差画像データを用いて合成処理等を施せば、３Ｄ画像についても解像感のある画像として出力させることができる。
なお、図８を用いて説明した第１実施例においては、Ｇ（Ｎ）：Ｒ（Ｎ）：Ｂ（Ｎ）＝２：１：１であり、Ｇ（Ｌｔ）：Ｒ（Ｌｔ）：Ｂ（Ｌｔ）＝１：１：１であり、Ｇ（Ｒｔ）：Ｒ（Ｒｔ）：Ｂ（Ｒｔ）＝１：１：１である。また、図９を用いて説明した第２実施例においては、Ｇ（Ｎ）：Ｒ（Ｎ）：Ｂ（Ｎ）＝７：３：３であり、Ｇ（Ｌｔ）：Ｒ（Ｌｔ）：Ｂ（Ｌｔ）＝１：１：１であり、Ｇ（Ｒｔ）：Ｒ（Ｒｔ）：Ｂ（Ｒｔ）＝１：１：１である。このようなカラーフィルタに対する視差なし画素の配分比率、視差Ｌｔ画素の配分比率、および視差Ｒｔ画素の配分比率は任意に設定できる。第１実施例および第２実施例における配分比率以外にも、特に、視差なし画素の配分比率、視差Ｌｔ画素の配分比率、および視差Ｒｔ画素の配分比率を同一に設定することも有効である。例えば、それぞれの配分比率をすべて１：１：１に設定しても良いし、Ｇを多くして２：１：１に設定しても良い。このように配分比率を調整することにより、視差なし画像データと視差画像データ間の対応が容易になる。
なお、第１実施例および第２実施例のように視差画素の種類を２つにすれば２視点の視差画像が得られるが、もちろん視差画素の種類は、出力させたい視差画像数に合わせて様々な数を採用し得る。視点数が増えていっても、仕様、目的等に応じた、さまざまな繰り返しパターン１１０を形成することができる。この場合、２Ｄ画像の出力と３Ｄ画像の出力に対して共に解像感を持たせるためには、撮像素子１００の基本格子の中に第１部分１０６とカラーフィルタのすべての組み合わせによる視差画素を含みつつ、視差画素よりも視差なし画素を多くすることが肝要である。
上述の例では、カラーフィルタ配列としてベイヤー配列を採用した場合について説明したが、もちろん他のカラーフィルタ配列であっても差し支えない。また、上述の例では、カラーフィルタを構成する原色として、赤色、緑色および青色の３つを用いた。しかし、翠色などを加えた４つ以上を原色としても良い。また、赤色、緑色および青色に代えて、イエロー、マゼンタ、シアンの組み合わせによる３原色を採用することもできる。
また、上述の例において、視差なし画素の第１部分１０６の面積が視差Ｌｔ画素の第１部分１０６の面積と視差Ｒｔ画素の第１部分１０６の面積の和になるように、第１部分１０６を形成しても良い。図１５は、第１部分１０６の形状を説明する図である。視差なし画素の第１部分１０６ｎは、光電変換素子１０８と同じ大きさで形成される。視差Ｌｔ画素の第１部分１０６ｌは、光電変換素子１０８の左側半分と同じ大きさで形成される。視差Ｒｔ画素の第１部分１０６ｒは、光電変換素子１０８の右側半分と同じ大きさで形成される。
したがって、視差Ｌｔ画素の第１部分１０６ｌの形状と、視差Ｒｔ画素の第１部分１０６ｒの形状とが、視差なし画素の第１部分１０６ｎの形状を中心線１２０で分割したそれぞれの形状と同一である。このように各画素の第１部分１０６を形成することにより、視差なし画素の第１部分１０６ｎの面積は、視差Ｌｔ画素の第１部分１０６ｌの面積と視差Ｒｔ画素の第１部分１０６ｒの面積の和になる。
ここで、視差なし画素の第１部分１０６ｎ、視差Ｌｔ画素の第１部分１０６ｌ、視差Ｒｔ画素の第１部分１０６ｒのそれぞれは、開口絞りの機能を有する。したがって、第１部分１０６ｌ（第１部分１０６ｒ）の倍の面積を持つ第１部分１０６ｎを有する視差なし画素のボケ量は、視差Ｌｔ画素と視差Ｒｔ画素のボケ量を足し合わせたボケ量と同程度となる。視差画素と視差なし画素との間のボケ量の関係がこのように規定されることにより、視差画素の画素値を用いた視差なし画素の補間処理および視差なし画素の画素値を用いた視差画素の画素値の補間処理が容易となる。
上述の実施形態では、合焦領域の判定については、ＡＦセンサ２１１の出力を利用したが、視差画像データの出力値を比較することによっても行うことができる。例えば、制御部２０１は、ＧＬｔプレーンデータとＧＲｔプレーンデータの対応する画素の画素値が互いに同じであれば合焦状態であると判断し、そのような画素を包含する領域を合焦領域と判定する。
また、撮像素子１００の有効画素領域に対して設定された複数の焦点検出領域内に上述の視差画素を位相差検出画素として配列してもよい。具体的には、視差Ｒｔ画素が、左右方向の位相差検出画素として、焦点検出領域において左右方向に一次元的に配列される。視差Ｒｔ画素の上または下には、視差Ｌｔ画素が、左右方向の位相差検出画素として、焦点検出領域において左右方向に一次元的に配列される。制御部２０１は、焦点検出領域における視差Ｒｔ画素の出力と視差Ｌｔ画素の出力とを用いて相関演算を実行し、合焦判定を行う。撮像素子１００に有効領域における位相差検出画素以外の箇所には、上述したように視差画素と視差なし画素とを混在して配列させても良く、また視差のない２Ｄ画像データを生成するための視差なし画素のみを配列させてもよい。
なお、視差Ｒｔ画素および視差Ｌｔ画素が、焦点検出領域において左右方向に一次元的に交互に配列されていてもよい。また、左右方向の位相差検出画素と一緒に若しくは代わりに、第１部分１０６が中心よりも上側に偏心した上視差画素および第１部分１０６が中心よりも下側に偏心した下視差画素が、上下方向の位相差検出画素として用いられても良い。
なお、精度の高い位相差信号を出力すべく、位相差検出画素には、カラーフィルタ１０２が設けられていなくても良い。また、焦点検出領域のすべてが位相差検出画素でなくても良く、当該焦点検出領域において合焦判定を良好に実行できるだけの位相差検出画素が配列されていれば良い。
上述の実施形態では、図２で示す構造を有する撮像素子１００が用いられたが、撮像素子の構造はこれに限らない。図１６は、第１変形例に係る撮像素子３００の断面を表す概略図である。撮像素子３００は、上述した撮像素子１００に対して、開口マスク３０１が設けられている。なお、撮像素子３００の部材のうち撮像素子１００と同一の部材については、同一の番号を付して機能の説明を省略する。
開口マスク３０１は、配線層１０３に接して設けられている。開口マスク３０１上には、カラーフィルタ１０２が設けられている。開口マスク３０１の開口部３０２は、各光電変換素子１０８に一対一に対応して設けられている。開口部３０２は、対応する光電変換素子１０８ごとにシフトされて、相対的な位置が厳密に定められている。また、開口部３０２は、各第１部分１０６に一対一に対応して設けられている。開口部３０２は、入射光束のうちの特定の光束を通過させて、当該特定の光束を、対応する第１部分１０６へ導く。このように、第１変形例において、第１部分１０６および開口部３０２の作用により、光電変換素子１０８が受光する被写体光束に視差が生じる。一方、視差を生じさせない光電変換素子１０８上には、開口マスク３０１が存在しない。別言すれば、対応する光電変換素子１０８に対して入射する被写体光束を制限しない、つまり入射光束の全体を通過させる開口部３０２を有する開口マスク３０１が設けられているとも言える。
第１変形例では、反射率調整膜１０５および開口マスク３０１の２つの部材を遮光部材として用いるので、不要光束の遮光効率を高めることができる。なお、開口マスク３０１で不要光束をある程度防ぐことができるので、第１変形例における反射率調整膜１０５の第２部分１０７の反射率は、開口マスク３０１がない上述の実施形態の場合より小さくても良い。例えば、第２部分１０７の反射率は、５０％ぐらいに規定される。
第１変形例において、開口マスク３０１は、各光電変換素子１０８に対応して別個独立に配列しても良いし、カラーフィルタ１０２の製造プロセスと同様に複数の光電変換素子１０８に対して一括して形成されても良い。また、開口マスク３０１の開口部３０２に色成分を持たせれば、カラーフィルタ１０２と開口マスク３０１を一体的に形成することもできる。
また、第１変形例において、開口マスク３０１と配線１０４を別体として設けているが、視差画素における開口マスク３０１の機能を配線１０４が担っても良い。すなわち、規定される開口形状を配線１０４により形成し、当該開口形状により入射光束を制限して特定の部分光束のみを第１部分１０６へ導く。この場合、開口形状を形成する配線１０４は、配線層１０３のうち最も光電変換素子１０８側であることが好ましい。
図１７は、第２変形例に係る撮像素子４００の断面を表す概略図である。撮像素子４００は、基板１０９において配線層１０３が光電変換素子１０８と反対側に設けられた裏面照射型イメージセンサである。なお、撮像素子４００の部材は、撮像素子１００と同一の部材であるので、機能の説明を省略する。
図１６に示すように、カラーフィルタ１０２は、反射率調整膜１０５上に設けられている。また、光電変換素子１０８の受光面が露出された基板１０９の表面と対向する表面上に、配線層１０３が設けられている。このように、裏面照射型イメージセンサに対しても、上述した本実施形態に係る反射率調整膜を適用することができる。
次に、図３を用いて説明した反射率調整膜の構成についてのバリエーションについて説明する。図１８は、入射光特性に合わせた反射率調整膜１０５の構成を説明する図である。
図１８（ａ）は、横軸が光電変換素子１０８のｘ軸方向（紙面左右方向）に対する開口位置を表し、縦軸が理想的な入射光特性としての光強度分布を表す。なお、視差Ｌｔ画素の光強度分布を実線で示し、視差Ｒｔ画素の光強度分布を一点鎖線で示す。このような光強度分布の実現を補助するために、光電変換素子１０８の領域を複数に分割して、それぞれの透過率に差をつける。
図１８（ｂ）は、第３の変形例における反射率調整膜１０５の構成を説明する説明図である。図３（ａ）と同様に、１画素分の反射率調整膜１０５の平面図である。第１部分５０１は、光電変換素子１０８の左半分のうちの左３／４を占める領域であり、透過率が１００％に調整されている。第２部分５０２は、光電変換素子１０８の左半分のうちの右１／４を占める領域であり、透過率が５０％に調整されている。第３部分５０３は、光電変換素子１０８の右半分のうちの左１／４を占める領域であり、透過率が１０％に調整されている。第４部分５０４はその他の領域であり、透過率が０％、すなわち入射光を遮断するように調整されている。このように、１画素内において領域を分割し、入射光の透過率に差をつけることにより、より理想に近い入射光特性を得ることができる。
図１９は、さらに別のバリエーションに係る反射率調整膜１０５の構成を説明する図である。１画素内における分割領域は、光電変換素子１０８のｘ軸方向（紙面左右方向）に分割されて形成されるばかりでなく、ｙ軸方向（紙面上下方向）を含めた２次元方向にも分割されて形成され得る。
図１９（ａ）は、第４の変形例における反射率調整膜１０５の構成を説明する説明図である。図３（ａ）と同様に、１画素分の反射率調整膜１０５の平面図である。第１部分５１１は、光電変換素子１０８の左５／８の領域に内包される楕円領域であり、透過率が１００％に調整されている。楕円は、光電変換素子１０８のｙ軸方向の幅を長軸とする。また、楕円領域の一部は、画素中心軸を跨いで右半分の領域に進入している。第２部分５１２は、光電変換素子１０８の左５／８の領域のうち、第１領域を除いた領域であり、透過率が１５％に調整されている。第３部分５１４はその他の領域であり、透過率が０％、すなわち入射光を遮断するように調整されている。このように分割した場合、ｙ軸方向に対しても、より理想に近い入射光特性を得ることができる。
図１９（ｂ）は、第５の変形例における反射率調整膜１０５の構成を説明する説明図である。図３（ａ）と同様に、１画素分の反射率調整膜１０５の平面図である。第１部分５２１は、光電変換素子１０８の左上１／４を占める領域であり、透過率が１００％に調整されている。第２部分５２２は、第１部分５２１のうち光電変換素子１０８の中心方向の２辺に接して縁取る領域であり、透過率が３０％に調整されている。第３部分５２４はその他の領域であり、透過率が０％、すなわち入射光を遮断するように調整されている。このように分割した場合、ｙ軸方向にも視差を与える視差画素に適用し得る。
図３（ｂ）においては、反射率調整膜１０５は、ＳｉＯ２膜とＳｉＮ膜が順次積層された多層膜であると説明した。膜組成については、この他にもさまざまなバリエーションを採用し得る。ＳｉＯ２膜の代わりにＳｉＯＮ膜、ＳｉＮ膜の代わりに Ｔａ２Ｏ５ 膜、ＭｇＦ膜、ＳｉＯＮ膜を使用し得る。また、ＳｉＯ２膜、ＳｉＮ膜の間に ＳｉＯＮ膜を追加して３種類の膜組成による多層膜とすることもできる。
ここで、ＳｉＯ２膜、ＳｉＮ膜、ＳｉＯ２膜の３層の成膜組成を有する膜構造の製造工程について説明する。図２０は、第１の製造工程に係る処理フローを示す。フローは、光電変換素子が形成された基板が固定された状態から開始する。
ステップＳ１０１では、基板にＳｉＯ２膜を成膜する。ステップＳ１０２へ進み、成膜したＳｉＯ２膜のうち、透過領域として定められる第１部分と遮光領域として定められる第２部分の膜厚を調整する。
続いて、ステップＳ１０３では、膜厚を調整したＳｉＯ２膜の上に、ＳｉＮ膜を成膜する。ステップＳ１０４へ進み、成膜したＳｉＮ膜のうち、第１部分と第２部分の膜厚を調整する。さらに、ステップＳ１０５では、膜厚を調整したＳｉＮ膜の上に、ＳｉＯ２膜を成膜する。ステップＳ１０６へ進み、成膜したＳｉＯ２膜のうち、第１部分と第２部分の膜厚を調整して一連の処理を終了する。さらに多層に重ねる場合は、ＳｉＮ膜、ＳｉＯ２膜の成膜と膜厚調整を繰り返せば良い。
図２１は、ＳｉＯ２膜、ＳｉＮ膜、ＳｉＯ２膜の３層の成膜組成を有する膜構造の製造工程について、第２の製造工程に係る処理フローを示す。フローは、光電変換素子が形成された基板が固定された状態から開始する。
ステップＳ２０１では、基板にＳｉＯ２膜を成膜する。ステップＳ２０２へ進み、成膜したＳｉＯ２膜に対し、透過領域として定められる第１部分と遮光領域として定められる第２部分とが分割されるようにマスキングを施す。ステップＳ２０３へ進み、ＳｉＯ２膜に対してエッチングを行う。マスキングが施されていない領域はエッチングされて膜厚が調整される。
続いて、ステップＳ２０４では、膜厚を調整したＳｉＯ２膜の上に、ＳｉＮ膜を成膜する。ステップＳ２０５へ進み、成膜したＳｉＮ膜に対し、第１部分と第２部分とが分割されるようにマスキングを施す。ステップＳ２０６へ進み、ＳｉＮ膜に対してエッチングを行う。マスキングが施されていない領域はエッチングされて膜厚が調整される。
続いて、ステップＳ２０７では、膜厚を調整したＳｉＮ膜の上に、ＳｉＯ２膜を成膜する。ステップＳ２０８へ進み、成膜したＳｉＯ２膜に対し、第１部分と第２部分とが分割されるようにマスキングを施す。ステップＳ２０９へ進み、ＳｉＯ２膜に対してエッチングを行う。マスキングが施されていない領域はエッチングされて膜厚が調整され、一連の処理を終了する。さらに多層に重ねる場合は、ＳｉＮ膜、ＳｉＯ２膜の成膜、マスキングおよびエッチングを繰り返せば良い。なお、ＳｉＯ２膜に対してマスキングする領域とＳｉＮ膜に対してマスキングを施した領域とは、互いに同じ領域としても良いし、入れ替えても良い。入れ替える場合は、例えば、ＳｉＯ２膜においては第１部分にマスキングを施し、ＳｉＮ膜においては第２部分にマスキングを施す。
また、光電変換素子１０８以外の領域にはどのように膜が残っていても良い。この領域において、例えばエッチングせずに膜を残すようにすれば、クロストーク防止の効果が得られる場合がある。
次に、具体的な膜組成における、入射波長に対する反射率のシミュレーション結果について説明する。図２２は、各膜組成における可視光域の入射波長に対する反射率のシミュレーション結果を示す図である。図は、横軸が可視光域に相当する入射光の波長（ｎｍ）を表し、縦軸が反射率（％）を表す。
曲線８０１は、反射率増大条件で成膜した膜Ａの構成の反射率特性を表す。反射率増大条件の一例としては、Ｓｉ基板上に、ｔ１ｎｍの膜厚のＳｉＯ２膜、ｔ２ｎｍの膜厚のＳｉＮ膜、ｔ３ｎｍの膜厚のＳｉＯ２膜、ｔ４ｎｍの膜厚のＳｉＮ膜の４層が積層されている。この積層膜の反射率は、短波長側から徐々に上がり、Ｗ１ｎｍ付近を頂点として長波長側へ向かって徐々に下がる傾向を示す。
曲線８０２は、反射率低減条件で成膜した膜Ｂの構成の反射率特性を表す。反射率低減条件の一例としては、Ｓｉ基板上に、膜Ａとは異なる膜厚の組み合わせからなるｔ５ｎｍの膜厚のＳｉＯ２膜、ｔ６ｎｍの膜厚のＳｉＮ膜、ｔ７ｎｍの膜厚のＳｉＯ２膜、ｔ８ｎｍの膜厚のＳｉＮ膜の４層が積層されている。この積層膜の反射率は、短波長側から徐々に下がり、Ｗ１ｎｍ付近で反射率が０となって長波長側へ向かって徐々に上がる傾向を示す。
このように、同じ成膜組成によっても相互に膜厚を変更することにより膜Ａの反射特性と膜Ｂの反射特性のようにまったく逆の特性を得られることが明らかとなった。さらに積層数、膜厚を変更すれば、反射率をさらに多様に変更できることは言うまでもない。
以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されない。上記実施の形態に、多様な変更または改良を加えることが可能であることが当業者に明らかである。その様な変更または改良を加えた形態も本発明の技術的範囲に含まれ得ることが、請求の範囲の記載から明らかである。
１０ デジタルカメラ、２０ 撮影レンズ、２１ 光軸、３０、３１ 被写体、１００ 撮像素子、１０１ マイクロレンズ、１０２ カラーフィルタ、１０３ 配線層、１０４ 配線、１０５ 反射率調整膜、１０６、５０１、５１１、５２１ 第１部分、１０７、５０２、５１２、５２２ 第２部分、５０３、５１４、５２４ 第３部分、５０４ 第４部分、１０８ 光電変換素子、１０９ 基板、１１０ 繰り返しパターン、１２０ 中心線、２０１ 制御部、２０２ Ａ／Ｄ変換回路、２０３ メモリ、２０４ 駆動部、２０５ 画像処理部、２０７ メモリカードＩＦ、２０８ 操作部、２０９ 表示部、２１０ ＬＣＤ駆動回路、２１１ ＡＦセンサ、２２０ メモリカード、３００ 撮像素子、３０１ 開口マスク、３０２ 開口部、４００ 撮像素子、８０１、８０２ 曲線

Claims (11)

  1. 入射光を電気信号に光電変換する、二次元的に配列された光電変換素子と、
    前記光電変換素子のうち少なくとも一部のそれぞれの受光面に形成された、第１反射率を有する第１部分および前記第１反射率と異なる第２反射率を有する第２部分を少なくとも含む反射率調整膜と
    を備える撮像素子。
  2. 前記第１反射率は、前記第２反射率より小さく、
    隣接するｎ個（ｎは２以上の整数）の前記光電変換素子のうち少なくとも２つの光電変換素子のそれぞれの前記受光面に形成された前記反射率調整膜の前記第１部分が、前記入射光の断面領域内の互いに異なる部分領域からの光束をそれぞれ通過させるように位置づけられた請求項１に記載の撮像素子。
  3. 前記ｎ個の前記光電変換素子を一組とする光電変換素子群は、連続的に配列された請求項２に記載の撮像素子。
  4. 前記反射率調整膜より被写体側に位置し、かつ前記光電変換素子のそれぞれに一対一に対応して設けられたカラーフィルタを備える請求項１から３のいずれか１項に記載の撮像素子。
  5. 前記反射率調整膜の特性は、前記カラーフィルタの種類ごとに異なる請求項４に記載の撮像素子。
  6. 前記反射率調整膜より被写体側に位置し、かつ前記光電変換素子のそれぞれに一対一に対応して設けられた開口マスクを備える請求項１から５のいずれか１項に記載の撮像素子。
  7. 対向する２つの表面のうち一方の表面に、前記光電変換素子が配列された基板と、
    前記基板における前記２つの表面の他方の表面上に形成された配線層と
    を備える請求項１から６のいずれか１項に記載の撮像素子。
  8. 請求項１から７のいずれか１項に記載の撮像素子と、
    前記撮像素子の出力から、互いに視差を有する複数の視差画像データと視差のない２Ｄ画像データとを生成する画像処理部と
    を備える撮像装置。
  9. 入射光を電気信号に光電変換する、二次元的に配列された光電変換素子の受光面上に形成される反射率調整膜の製造方法であって、
    前記光電変換素子が形成された基板上に第１膜を成膜する第１膜成膜工程と、
    それぞれの前記光電変換素子の受光面において領域分割された第１部分と第２部分とが互いに異なる膜厚となるように前記第１膜の膜厚を調整する第１膜厚調整工程と、
    前記第１膜上に、前記第１膜とは異なる第２膜を成膜する第２膜成膜工程と、
    前記第１部分と前記第２部分とが互いに異なる膜厚となるように前記第２膜の膜厚を調整する第１膜厚調整工程と
    を含む反射率調整膜の製造方法。
  10. 入射光を電気信号に光電変換する、二次元的に配列された光電変換素子の受光面上に形成される反射率調整膜の製造方法であって、
    前記光電変換素子が形成された基板上に第１膜を成膜する第１膜成膜工程と、
    それぞれの前記光電変換素子の受光面において領域分割された第１部分と第２部分において前記第１部分をマスキングする第１マスキング工程と、
    前記第１膜をエッチングする第１エッチング工程と、
    前記第１膜上に、前記第１膜とは異なる第２膜を成膜する第２膜成膜工程と、
    前記第１部分と前記第２部分のいずれかをマスキングする第２マスキング工程と、
    前記第２膜をエッチングする第２エッチング工程と
    を含む反射率調整膜の製造方法。
  11. 前記第１膜はＳｉＯ２、ＳｉＯＮから選択される組成を有し、前記第２膜は、ＳｉＮ，Ｔａ２Ｏ５、ＭｇＦ、ＳｉＯＮから選択される組成を有する請求項９または１０に記載の反射率調整膜の製造方法。
JP2014504720A 2012-03-16 2013-03-15 撮像素子および撮像装置 Pending JPWO2013136820A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2014504720A JPWO2013136820A1 (ja) 2012-03-16 2013-03-15 撮像素子および撮像装置

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2012060753 2012-03-16
JP2012060753 2012-03-16
JP2014504720A JPWO2013136820A1 (ja) 2012-03-16 2013-03-15 撮像素子および撮像装置

Publications (1)

Publication Number Publication Date
JPWO2013136820A1 true JPWO2013136820A1 (ja) 2015-08-03

Family

ID=49160742

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2014504720A Pending JPWO2013136820A1 (ja) 2012-03-16 2013-03-15 撮像素子および撮像装置

Country Status (4)

Country Link
US (1) US20150077524A1 (ja)
JP (1) JPWO2013136820A1 (ja)
CN (1) CN104303302A (ja)
WO (1) WO2013136820A1 (ja)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102242472B1 (ko) * 2014-12-18 2021-04-20 엘지이노텍 주식회사 이미지 센서, 이를 포함하는 영상 획득 장치 및 그 장치를 포함하는 휴대용 단말기
US11302734B2 (en) * 2018-06-29 2022-04-12 Taiwan Semiconductor Manufacturing Company, Ltd. Deep trench isolation structures resistant to cracking
CN112335049B (zh) * 2018-08-24 2024-03-22 宁波舜宇光电信息有限公司 成像组件、触摸屏、摄像模组、智能终端、相机和距离测量方法
CN112119444B9 (zh) * 2019-04-03 2022-11-11 京东方科技集团股份有限公司 显示面板和显示装置

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH04152674A (ja) * 1990-10-17 1992-05-26 Sony Corp 固体撮像素子
JP2000196051A (ja) * 1998-12-25 2000-07-14 Matsushita Electric Ind Co Ltd 固体撮像素子およびその製造方法
JP2005142510A (ja) * 2003-11-10 2005-06-02 Matsushita Electric Ind Co Ltd 固体撮像装置およびその製造方法
JP2007279312A (ja) * 2006-04-05 2007-10-25 Nikon Corp 撮像素子、イメージセンサーおよび撮像装置
JP2009099817A (ja) * 2007-10-18 2009-05-07 Nikon Corp 固体撮像素子
JP2010213253A (ja) * 2009-02-13 2010-09-24 Nikon Corp 撮像素子、撮像装置及び撮像素子の製造方法
JP2011029932A (ja) * 2009-07-24 2011-02-10 Canon Inc 撮像素子及び撮像装置
JP2012003009A (ja) * 2010-06-16 2012-01-05 Fujifilm Corp 固体撮像素子及びその製造方法並びに撮影装置
JP2012038938A (ja) * 2010-08-06 2012-02-23 Canon Inc 固体撮像素子およびカメラ

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0669523A (ja) * 1992-08-18 1994-03-11 Fujitsu Ltd 赤外線検知素子およびその製造方法
JP2821421B2 (ja) * 1996-05-21 1998-11-05 日本電気株式会社 固体撮像装置
JP3436139B2 (ja) * 1998-07-06 2003-08-11 三菱電機株式会社 ライン光源および画像入力装置
CN100449764C (zh) * 2003-11-18 2009-01-07 松下电器产业株式会社 光电探测器
US20080259191A1 (en) * 2004-09-17 2008-10-23 Kunihiro Imamura Image Input Apparatus that Resolves Color Difference
US7924483B2 (en) * 2006-03-06 2011-04-12 Smith Scott T Fused multi-array color image sensor
JP5086877B2 (ja) * 2008-04-11 2012-11-28 シャープ株式会社 固体撮像素子およびその製造方法、電子情報機器
WO2010090142A1 (ja) * 2009-02-03 2010-08-12 株式会社カネカ 透明導電膜付き基板および薄膜光電変換装置
JP2012004264A (ja) * 2010-06-16 2012-01-05 Fujifilm Corp 固体撮像素子および撮影装置

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH04152674A (ja) * 1990-10-17 1992-05-26 Sony Corp 固体撮像素子
JP2000196051A (ja) * 1998-12-25 2000-07-14 Matsushita Electric Ind Co Ltd 固体撮像素子およびその製造方法
JP2005142510A (ja) * 2003-11-10 2005-06-02 Matsushita Electric Ind Co Ltd 固体撮像装置およびその製造方法
JP2007279312A (ja) * 2006-04-05 2007-10-25 Nikon Corp 撮像素子、イメージセンサーおよび撮像装置
JP2009099817A (ja) * 2007-10-18 2009-05-07 Nikon Corp 固体撮像素子
JP2010213253A (ja) * 2009-02-13 2010-09-24 Nikon Corp 撮像素子、撮像装置及び撮像素子の製造方法
JP2011029932A (ja) * 2009-07-24 2011-02-10 Canon Inc 撮像素子及び撮像装置
JP2012003009A (ja) * 2010-06-16 2012-01-05 Fujifilm Corp 固体撮像素子及びその製造方法並びに撮影装置
JP2012038938A (ja) * 2010-08-06 2012-02-23 Canon Inc 固体撮像素子およびカメラ

Also Published As

Publication number Publication date
CN104303302A (zh) 2015-01-21
WO2013136820A1 (ja) 2013-09-19
US20150077524A1 (en) 2015-03-19

Similar Documents

Publication Publication Date Title
JP5915537B2 (ja) 撮像素子、及び、撮像装置
US10412358B2 (en) Image sensor, image-capturing apparatus and image-capturing system
WO2012042963A1 (ja) 固体撮像素子及び撮像装置
US9727985B2 (en) Image processing apparatus, image-capturing apparatus, and storage medium having image processing program stored thereon
JP6354838B2 (ja) 撮像素子、撮像装置および画像処理装置
US9838665B2 (en) Image processing device, imaging device, and image processing program
WO2013136820A1 (ja) 撮像素子および撮像装置
JP6288088B2 (ja) 撮像装置
JP5942984B2 (ja) 画像処理装置、撮像装置および画像処理プログラム
JP6197316B2 (ja) 撮像素子および撮像装置
WO2013057859A1 (ja) 撮像素子
WO2013038598A1 (ja) 撮像素子、撮像装置および画像処理装置
JP5979137B2 (ja) 撮像装置および撮像装置の制御プログラム
JP6205770B2 (ja) 撮像素子および撮像システム
JP2013219180A (ja) 撮像素子および撮像装置
JP6051568B2 (ja) 撮像素子および撮像装置
JP6476630B2 (ja) 撮像装置
JP5978737B2 (ja) 画像処理装置、撮像装置および画像処理プログラム
JP5978735B2 (ja) 画像処理装置、撮像装置および画像処理プログラム

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20150527

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20160308

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20170207