JP5554139B2 - 複合型撮像素子およびそれを備えた撮像装置 - Google Patents

複合型撮像素子およびそれを備えた撮像装置 Download PDF

Info

Publication number
JP5554139B2
JP5554139B2 JP2010109023A JP2010109023A JP5554139B2 JP 5554139 B2 JP5554139 B2 JP 5554139B2 JP 2010109023 A JP2010109023 A JP 2010109023A JP 2010109023 A JP2010109023 A JP 2010109023A JP 5554139 B2 JP5554139 B2 JP 5554139B2
Authority
JP
Japan
Prior art keywords
photoelectric conversion
light
unit
conversion unit
image sensor
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2010109023A
Other languages
English (en)
Other versions
JP2011238773A (ja
Inventor
大 新谷
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Corp
Panasonic Holdings Corp
Original Assignee
Panasonic Corp
Matsushita Electric Industrial Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Corp, Matsushita Electric Industrial Co Ltd filed Critical Panasonic Corp
Priority to JP2010109023A priority Critical patent/JP5554139B2/ja
Priority to US13/098,485 priority patent/US8654224B2/en
Publication of JP2011238773A publication Critical patent/JP2011238773A/ja
Application granted granted Critical
Publication of JP5554139B2 publication Critical patent/JP5554139B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H01ELECTRIC ELEMENTS
    • H01LSEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144Devices controlled by radiation
    • H01L27/146Imager structures
    • H01L27/14601Structural or functional details thereof
    • H01L27/1462Coatings
    • H01L27/14621Colour filter arrangements
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/61Control of cameras or camera modules based on recognised objects
    • H04N23/611Control of cameras or camera modules based on recognised objects where the recognised objects include parts of the human body
    • HELECTRICITY
    • H01ELECTRIC ELEMENTS
    • H01LSEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144Devices controlled by radiation
    • H01L27/146Imager structures
    • H01L27/14601Structural or functional details thereof
    • H01L27/14625Optical elements or arrangements associated with the device
    • H01L27/14627Microlenses
    • HELECTRICITY
    • H01ELECTRIC ELEMENTS
    • H01LSEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144Devices controlled by radiation
    • H01L27/146Imager structures
    • H01L27/14601Structural or functional details thereof
    • H01L27/14632Wafer-level processed structures
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/45Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from two or more image sensors being of different type or operating in different modes, e.g. with a CMOS sensor for moving images in combination with a charge-coupled device [CCD] for still images
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/67Focus control based on electronic image sensor signals
    • H04N23/673Focus control based on electronic image sensor signals based on contrast or high frequency components of image signals, e.g. hill climbing method
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/134Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on three different wavelength filter elements

Description

本発明は、高感度な複合型撮像素子およびそれを備えた撮像装置に関する。
撮像装置の分野では、CCD(Charge Coupled Device)型のイメージセンサやCMOS(Complimentary Metal Oxide Semiconductor)型のイメージセンサのように、受光面に入射した光を光電変換によって電気信号に変換する撮像素子が知られている。これらの撮像素子は、被写体のカラー画像を得るために、デジタルカメラやデジタルビデオカメラなどの撮像装置に用いられている。
このような撮像素子は、一般的に、Si基板上に半導体プロセスによって形成された多層構造を有している。Si基板上には、光電変換により光を電気信号に変換する光電変換部が形成される。光電変換部は、フォトダイオードなどの受光素子である。光電変換部が形成されたSi基板上には絶縁層が形成され、電気信号を伝送する回路と、回路への光の入射を遮断するマスクと、がこの絶縁層内に形成される。さらに、絶縁層上には、カラーフィルタと、マイクロレンズと、がこの順番に形成される。このようなプロセスで形成された撮像素子は、いわゆる表面照射型の撮像素子であり、絶縁層を透過した光が光電変換部に入射することになる。
撮像素子に形成される回路は、光電変換部の境界に沿って設けられ、受光素子の受光面積をなるべく広く確保できるように細く形成されている。しかしながら、マスクによって光の一部が遮られるため、現実的には、光電変換部が受光面の総面積に占める実質的な割合(開口率)は、6割強程度に留まっている。
一方で、撮像装置の分野では画質の向上が求められており、撮像素子の画素数は増える傾向にある。撮像素子の大きさを変えずに画素数を増加させると、光電変換部1つあたりの面積が小さくなるので、画素数が少ない場合に比べて撮像素子の感度が低下してしまう。
上記のような表面照射型の撮像素子とは別に、いわゆる裏面照射型の撮像素子が提案されている(例えば、特許文献1を参照)。裏面照射型の撮像素子の製造プロセスでは、Si基板上に光電変換部および絶縁層が順に形成される。さらに、Si基板を除去することにより受光面が形成される。裏面照射型の撮像素子では、入射した光が回路により遮られることなく光電変換部に到達できるので、光電変換部による光電変換の効率が向上する。このように、裏面照射型の撮像素子を用いることにより、撮像素子の感度をある程度向上させることができる。特許文献1に示された裏面照射型の撮像素子では、カラー画像を得るためにカラーフィルタが受光面側に配置されている。そして、カラーフィルタと光電変換部との間には、光電変換部を保護する保護膜としての二酸化シリコン層が形成されている。
また、光を効率よく光電変換するために、複数の撮像素子を重ねて配置する技術が提案されている(例えば、特許文献2または特許文献3を参照)。光を複数の撮像素子に入射させ、それぞれの撮像素子が光電変換を行なうことにより、光の利用効率を向上させることができる。特許文献2に開示された固体撮像装置は、第1の撮像素子と、カラーフィルタが設けられた第2の撮像素子と、を有している。この固体撮像装置では、第2の撮像素子のカラーフィルタ側に、第1の撮像素子が貼り合わされている。また、特許文献3に開示された複合型固体撮像素子は、カラーフィルタが設けられた第1の撮像素子と、第2の撮像素子と、を有している。この複合型撮像素子では、第1の撮像素子のカラーフィルタとは反対側に、第2の撮像素子がスペーサを介して重ね合わされている。
特開2005−353996号公報 特開2005−252411号公報 特開2008−227250号公報
しかしながら、特許文献2に開示された固体撮像装置のように複数の撮像素子が位置をずらして貼り合わされた場合には、第1の撮像素子に設けられた回路により光が遮られ、第2の撮像素子が十分な量の光を受光できない可能性がある。このように、複数の撮像素子が重ね合わされている複合型撮像素子では、撮像素子の配置によっては、高感度が得られないおそれがある。
また、特許文献3の開示された複合型固体撮像素子では、光が第1の撮像素子に設けられたカラーフィルタを透過する際に減衰されるので、複数の撮像素子を用いた場合であっても、感度が十分でないおそれがある。
ここに開示される第1の特徴に係る複合型撮像素子は、第1撮像素子と、第2撮像素子と、を備えている。第1撮像素子は、複数の第1光電変換部と、第1受光面と、第1回路部と、を有している。第1光電変換部は、第1基本色および第1基本色と異なる第2基本色を含む光を受光可能に設けられ受光した光を第1電気信号に変換する。第1受光面は、複数の第1光電変換部により形成されている。第1回路部は、第1電気信号が伝送される。また、第2撮像素子は、複数の第2光電変換部と、第2回路部と、を有している。第2光電変換部は、第1光電変換部から出射する光を受光し第2電気信号に変換する。第2回路部は、第1受光面に概ね垂直な第1方向から見た場合に第1回路部と重なる位置に配置され第2電気信号が伝送される。
第1の特徴に係る複合型撮像素子では、第1光電変換部が第1基本色および第2基本色を含む光を受光可能であるので、第1光電変換部に単一の基本色のみを含んだ光が入射する場合に比べて、第1光電変換部で得られる第1電気信号の強度が増し、第1撮像素子の感度が向上する。このとき、第1方向から見た場合に、第2回路部は第1回路部と重なっているので、第1光電変換に対応する位置に第2光電変換部を配置することができる。その結果、第1光電変換部を透過した入射光を第2光電変換部に入射させやすくなるので、入射光が効率よく光電変換され、第2撮像素子の感度が向上する。このように、複合型撮像素子の感度が向上する。
ここで、基本色とは、色を表現するための基本となる色成分を意味している。幾つかの基本色を特定の比率で混合することにより、色が表現される。例えば、基本色とは、光の三原色における赤色、緑色、青色、のうちのいずれか1つをいう。
第2の特徴に係る撮像装置は、被写体からの光を集光し被写体の光学像を形成する光学系と、第1の特徴に係る複合型撮像素子と、を備えている。
第2の特徴に係る撮像装置は、第1の特徴に係る高感度な複合型撮像素子を備えているので、この撮像装置を用いれば精度の高い画像を取得することができる。
以上のように、複合型撮像素子の感度を向上させ、精度の高い画像を取得することができる。
撮像装置1の概略構成図 複合型撮像素子100の部分縦断面図 図1のIII−III部分断面図 図1のIV−IV部分断面図 カラーフィルタ130の平面図 識別処理のフローチャート
〔実施形態〕
<1.1:撮像装置の構成>
図1は、本実施形態に係る撮像装置1の概略構成図である。撮像装置1は、被写体を撮像し画像を取得するための装置である。以下では、撮像により得られた画像を撮像画像と呼ぶ。
図1に示すように、撮像装置1は主に、光学系Lと、複合型撮像素子100と、画像処理部10と、撮像画像データ生成部20と、識別部40と、コントラスト検出部50と、フォーカスレンズ駆動量算出部60と、フォーカスレンズ駆動部70と、を備えている。
<1.1.1:光学系>
光学系Lは、被写体からの光を集光し、被写体の光学像を形成する。光学系Lは主に、焦点距離を調節するためのズームレンズ(図示せず)と、フォーカスレンズL1と、有している。フォーカスレンズL1の位置が調節されることにより、被写体の光学像は、後述する第1受光面112aに焦点の合った状態(以下、合焦状態という)で形成される。
光学系Lは光軸AZを有している。光学系Lは集光した光を光軸AZに平行な方向(以下、光軸AZ方向という)に沿って出射する。光軸AZ方向は、第1撮像素子110の第1受光面112aと概ね直交している。
フォーカスレンズL1はフォーカスレンズ駆動部70(後述)により駆動され、光学系Lが合焦状態になるように、フォーカスレンズL1の光軸AZ方向での位置が調節される。
<1.1.2:複合型撮像素子>
複合型撮像素子100について、図を用いて説明する。図2は本実施形態に係る複合型撮像素子100の部分断面図である。図3および図4は、図2に示した複合型撮像素子100の部分断面図である。図5は、カラーフィルタ130の部分平面図である。図2〜図5では、光軸AZ方向がZ軸方向と一致するように三次元直交座標系Oが導入されている。また、図1では、三次元直交座標系Oは、光学系Lおよび複合型撮像素子100に対して導入されており、光学系Lから複合型撮像素子100に向かう方向は、Z軸負方向と一致している。
複合型撮像素子100は、光学系Lが集光した光を受光し電気信号に変換する。複合型撮像素子100は、第1撮像素子110と、第1撮像素子110と接着剤層140を介して光軸AZ方向に重ね合わされた第2撮像素子120と、を備えている。
《第1撮像素子》
図2に示すように、第1撮像素子110は、補強ガラス111と、第1半導体層112と、第1絶縁層115と、第1回路部116と、第1マスク117と、を有している。第1撮像素子110は多層構造を有しており、補強ガラス111と、第1半導体層112と、第1絶縁層115とは、光学系Lから見てこの順番に光軸AZ方向に形成されている。本実施形態では、第1撮像素子110はCMOS型のイメージセンサである。
補強ガラス111は、ガラス基板であり、複合型撮像素子100の光学系L側の表面を形成している。補強ガラス111は、第1撮像素子110の強度を確保しており、第1半導体層112の第1受光面112a側に、例えば接着により固定されている。
補強ガラス111は、少なくとも可視光の波長域の光に対して透明な部材であり、補強ガラス111に入射する可視光を第1受光面112aまで導く。ここで、可視光に対して透明であるとは、可視光に含まれる特定の波長域の光を遮断するような性質を持たないことを言い、例えば、三原色のうち全ての色の光を透過可能である性質を言う。言い換えれば、第1撮像素子110では、光の三原色が赤色(第1基本色の一例、第2基本色の一例)、緑色(第1基本色の一例、第2基本色の一例)、青色(第1基本色の一例、第2基本色の一例)、である場合に、いずれの色に相当する光であっても、第1受光面112aに入射できる。
このように、第1撮像素子110では、カラーフィルタが設けられておらず、光学系L側の表面から第1光電変換部113の間には、少なくとも可視光に対して透明な表層部(つまり、補強ガラス111)が設けられている。したがって、2つ以上の異なる基本色を含む光が第1光電変換部113に入射できる。
第1半導体層112は、補強ガラス111と第1絶縁層115の間に配置された薄膜であり、第1光電変換部113と、第1分離領域114と、を有している。第1半導体層112には、半導体プロセスによりn型半導体やp型半導体などが形成されている。
第1光電変換部113は、第1撮像素子110の画素であり、受光した光を電気信号に変換する。第1光電変換部113としては、例えばフォトダイオードが用いられる。一般にフォトダイオードは、n型半導体で形成された領域(図示せず)の上に、p型半導体の膜(図示せず)が形成された構造を有している。この場合は、第1光電変換部113が第1撮像素子110に占める領域は、フォトダイオードとしてのn型半導体およびp型半導体が形成された領域である。
図3に示すように、互いに大きさの等しい複数の第1光電変換部113は、平面状に配列されており、第1受光面112aを形成している。第1受光面112aは第1半導体層112の補強ガラス111側の境界面である。第1受光面112aは、第1撮像素子110に入射した光を受光することができる。前述の通り、光軸AZ方向(第1方向の一例)と第1受光面112aとが概ね垂直になるように、光学系Lと複合型撮像素子100との位置関係が決定されている。
第1光電変換部113は、第1受光面112aに沿って、規則的に配列されている。図3に示すように、第1光電変換部113は、X軸方向に第1横間隔W1(第1ピッチの一例)で等間隔に配列され、Y軸方向に第1縦間隔H1(第1ピッチの一例)で等間隔に配列されている。ここで、第1横間隔W1はX軸方向に隣接する第1光電変換部113の中心間距離であり、第1縦間隔H1はY軸方向に隣接する第1光電変換部113の中心間距離である。このように、第1光電変換部113は、X軸方向およびY軸方向においてそれぞれ一定の第1ピッチ(つまり、第1横間隔W1および第1縦間隔H1)で配列されている。
第1分離領域114は、第1光電変換部113の間に設けられており、隣接する第1光電変換部113の境界を形成している。図3に示すように、第1分離領域114は、第1受光面112aに平行な方向に沿って、格子状に設けられている。
第1分離領域114の形成方法としては、第1光電変換部113と同様に半導体プロセスを用いることができる。第1分離領域114に形成される半導体層の構造は、第1光電変換部113に形成された半導体層の構造と異なっているので、第1光電変換部113で発生した電気信号は、隣接する第1光電変換部113に伝達されない。このように、第1分離領域114は、第1光電変換部113を分離している。
第1絶縁層115は、第1半導体層112の補強ガラス111とは反対側に形成されている。第1絶縁層115には、第1回路部116と、第1マスク117と、が形成されている。第1絶縁層115は、例えば二酸化シリコンで形成され、第1回路部116や第1マスク117を覆っている。
第1回路部116は、第1光電変換部113で発生した電気信号を伝送するための信号線やトランジスタなどの回路を有しており、第1絶縁層115の内部に形成されている。第1回路部116は、周辺回路(図示せず)に接続されている。第1光電変換部113で生成された電気信号は、第1回路部116および周辺回路を介して、画像処理部10(後述)へ読み出される。
図3に示すように、第1回路部116は、第1絶縁層115の内部に格子状に形成されている。図3では、第1半導体層112が一部省略されており、第1回路部116が網掛けにより示されている。第1回路部116は、光軸AZ方向から見た場合に第1分離領域114と重なる位置に配置されている。言い換えれば、光軸AZ方向から見た場合に、第1光電変換部113間の境界の位置は、第1回路部116の位置と重なっている。
第1マスク117は、例えばタングステンなどの金属で形成された薄膜であり、第1回路部116の第1半導体層112とは反対側を覆うようにして形成されている。第1マスク117は、少なくとも可視光を遮断する。
第1マスク117は、第1光電変換部113に対応する位置に形成された第1開口117aを有している。具体的には、第1開口117aは、第1光電変換部113と光軸AZ方向に対向している。また、図3に示すように、第1開口117aは、光軸AZ方向から見た場合に第1光電変換部113と重なっている。第1開口117aは、第1絶縁層115に入射する光の一部を通過させ、第2撮像素子120へ出射する。
以上のように、第1撮像素子110では、第1回路部116の形成された第1絶縁層115は、第1光電変換部113の第1受光面112aとは反対側に設けられている。すなわち、第1撮像素子110はいわゆる裏面照射型の撮像素子である。このように、第1撮像素子110では、第1撮像素子110に入射した光が第1絶縁層115を透過することなく第1光電変換部113に直接入射できる。その結果、第1光電変換部113に入射する光の量が増し、第1撮像素子110の感度が向上する。
《第2撮像素子》
図2に示すように、第2撮像素子120は、マイクロレンズ121と、カラーフィルタ層122と、第2絶縁層123と、第2マスク124と、第2回路部125と、第2半導体層126と、Si基板129と、を有している。第2撮像素子120は多層構造を有しており、Si基板129と、第2半導体層126と、第2絶縁層123と、カラーフィルタ層122と、マイクロレンズ121とは、光学系Lと反対側から見てこの順番に光軸AZ方向に形成されている。本実施形態では、第2撮像素子120はCCD型のイメージセンサである。
Si基板129は、第2撮像素子120を形成する半導体プロセスにおける基板であり、Si基板129上には、第2半導体層126が形成されている。また、Si基板129は、第2撮像素子120の強度を確保している。
第2半導体層126は、Si基板129上に形成された薄膜であり、第2光電変換部127と、第2分離領域128と、を有している。第2半導体層126には、半導体プロセスによりn型半導体やp型半導体などが形成されている。
第2光電変換部127は、第2撮像素子120の画素であり、受光した光を電気信号に変換する。第2光電変換部127としては、例えばフォトダイオードが用いられる。一般にフォトダイオードは、n型半導体で形成された領域(図示せず)の上に、p型半導体の膜(図示せず)が形成された構造を有している。この場合は、第2光電変換部127が第2撮像素子120に占める領域は、フォトダイオードとしてのn型半導体およびp型半導体が形成された領域である。

図3に示すように、複数の第2光電変換部127は、平面状に配置されており、第1受光面112aに平行な第2受光面126aを形成している。第2受光面126aは、第2半導体層126のSi基板129とは反対側に形成されており、第2撮像素子120に入射する光を受光することができる。
第2光電変換部127は、第2受光面126aに沿って、規則的に配列されている。図4に示すように、第2光電変換部127は、X軸方向に第2横間隔W2(第2ピッチの一例)で等間隔に配列され、Y軸方向に第2縦間隔H2(第2ピッチの一例)で等間隔に配列されている。第2横間隔W2はX軸方向に隣接する第2光電変換部127の中心間距離であり、第2縦間隔H2はY軸方向に隣接する第2光電変換部127の中心間距離である。このように、第2光電変換部127は、X軸方向およびY方向においてそれぞれ一定の第2ピッチ(つまり、第2横間隔W2および第2縦間隔H2)で配列されている。
第2ピッチは、第1光電変換部113の配列される第1ピッチよりも大きい。具体的には、第2ピッチは、第1ピッチの2倍である。より詳細には、第2横間隔W2は第1横間隔W1の2倍であり、第2縦間隔H2は第1縦間隔H1の2倍である。
第2光電変換部127は、光軸AZ方向から見た場合に、4つの第1光電変換部113と重なっている。具体的には、図3および図4に示すように、光軸AZ方向から見た場合に、点Q1〜点Q4を結んで得られる四角形の領域は、点P1〜点P4を結んで得られる四角形の領域と重なっている。つまり、光軸AZ方向から見た場合に、点Q1〜点Q4は、それぞれ、点P1〜点P4と概ね重なっている。ここで、点Q1〜点Q4を結んで得られる四角形は、光軸AZ方向から見た場合に、1つの第2光電変換部127の外周と一致している。また、点P1〜点P4を結んで得られる4角形の内側には、4つの第1光電変換部113が、X軸方向およびY軸方向にそれぞれ2列ずつ並んで配置されている。
以上のように、1つの第2光電変換部127は、それぞれ、対応する4つの第1光電変換部113と重なる位置に配置されている。また、光軸AZ方向から見た場合に、隣接する2つの第2光電変換部127のいずれかに重なる第1光電変換部113のうち、一方の第2光電変換部127に重なる第1光電変換部113は、他方の第2光電変換部127と重なっていない。
第2分離領域128は、第2光電変換部127の間に設けられており、隣接する第2光電変換部127の境界を形成している。図4に示すように、第2分離領域128は、第2受光面126aに平行な方向に沿って、格子状に設けられている。
第2分離領域128の形成方法としては、第2光電変換部127と同様に半導体プロセスを用いることができる。第2分離領域128に形成される半導体層の構造は、第2光電変換部127に形成された半導体層の構造と異なっているので、第2光電変換部127で発生した電気信号は、隣接する第2光電変換部127に伝達されない。このように、第2分離領域128は、第2光電変換部127を分離している。
第2分離領域128は、第1撮像素子110の第1分離領域114と対応する位置に配置されている。つまり、図2において光軸AZ方向に平行に引いた二点鎖線TCLで示すように、光軸AZ方向から見た場合に、第2分離領域128の中心位置は、第1分離領域114の中心位置と概ね一致している。
第2絶縁層123は、第2半導体層126のSi基板129とは反対側に形成されている。第2絶縁層123には、第2回路部125と、第2マスク124と、が形成されている。第2絶縁層123は、例えば二酸化シリコンで形成され、第2回路部125や第2マスク124を覆っている。
第2回路部125は、第2光電変換部127で発生した電気信号を伝送するための垂直レジスタや電荷の転送路などの回路を有しており、第2絶縁層123の内部に形成されている。第2回路部125は、周辺回路(図示せず)に接続されている。第2光電変換部127で発生した電気信号は、第2回路部125および周辺回路を介して、画像処理部10へ読み出される。
図4に示すように、第2回路部125は、第2絶縁層123の内部に格子状に形成されている。図4では、マイクロレンズ121およびカラーフィルタ層122の一部が省略されており、第2回路部125が網掛けにより表されている。第2回路部125は、光軸AZ方向から見た場合に第2分離領域128と重なる位置に配置されている。言い換えれば、光軸AZ方向から見た場合に、第2光電変換部127間の境界の位置は、第2回路部125の位置と重なっている。
また、図2において光軸AZ方向に平行に引いた二点鎖線TCLで示すように、第2回路部125は、光軸AZ方向から見た場合に、第1回路部116と重なる位置に配置されている。言い換えれば、第1回路部116および第2回路部125は、第1光電変換部113から第2光電変換部127へ向かう光の通る光路を避けるように配置されている。その結果、第2撮像素子120はより多くの光を受光できるので、第2撮像素子120の感度が向上する。
第2マスク124は、例えばタングステンなどの金属で形成された薄膜であり、第2回路部125の第2半導体層126とは反対側を覆うようにして形成されている。第2マスク124は、少なくとも可視光を遮断する。第1撮像素子110を透過して第2絶縁層123に入射する光は、第2マスク124により遮られるので、第2回路部125に直接に入射することができない。特に、第2撮像素子120がCCD型である場合には、第2回路部125に光が当たるとスミアなどの原因となる不要な電気信号が発生するおそれがあるが、第2マスク124はこのような不要な電気信号の発生を低減している。
第2マスク124は、第2光電変換部127と対応する位置に形成された第2開口124aを有している。具体的には、第2開口124aは、第2光電変換部127と光軸AZ方向に対向している。また、図4に示すように、第2開口124aは、光軸AZ方向から見た場合に第2光電変換部127と重なっている。第2開口124aは、第2絶縁層123に入射した光を通過させ、第2光電変換部127へ出射する。
カラーフィルタ層122は、カラーフィルタ130が形成された薄膜であり、第2絶縁層123の第2半導体層126とは反対側に形成されている。カラーフィルタ層122は、第1光電変換部113と第2光電変換部127の間に配置されているとも言える。カラーフィルタ130は、カラーフィルタ層122に形成され、光を透過させることにより波長域を変化させる光学素子である。
図5に示すように、カラーフィルタ130に含まれる各フィルタの形状は、光軸AZ方向から見た場合に、四角形である。例えば、点U1〜点U4を結んで得られる四角形は、光軸AZ方向から見た場合に、カラーフィルタ130に含まれるフィルタ(より詳細には、1つの第1フィルタ130a)の外縁と一致している。
カラーフィルタ130は、複数の第1フィルタ130aと、複数の第2フィルタ130bと、複数の第3フィルタ130cと、を含んでいる。第1フィルタ130aは、赤色以外の色の可視光波長域よりも赤色の可視光波長域(第1波長域の一例)の方が透過率が高いフィルタである。第2フィルタ130bは、緑色以外の色の可視光波長域よりも緑色の可視光波長域(第2波長域の一例)の方が透過率が高いフィルタである。第3フィルタ130cは、青色以外の色の可視光波長域よりも青色の可視光波長域(第3波長域の一例)の方が透過率が高いフィルタである。
なお、図4および図5では、各カラーフィルタ130の色を指し示すために、アルファベットのR(赤)、G(緑)、B(青)、が書き込まれている。R、G、Bは、RGBカラーモデルにおける記号であり、それぞれ、赤色、緑色、青色、を表している。
カラーフィルタ130は、光軸AZ方向に垂直な方向(つまり、第1受光面112aに平行な方向に沿って)規則的に配列されている。本実施形態では、1つのフィルタが1つの第2光電変換部127に対応する位置に配置されている。具体的には、カラーフィルタ130を構成するフィルタは、第2光電変換部127と同様に、X軸方向およびY軸方向においてそれぞれ第2ピッチ(つまり、第2横間隔W2および第2縦間隔H2)で配列されている。さらに、光軸AZ軸方向から見た場合に、カラーフィルタ130を構成する1つのフィルタは、1つの第2光電変換部127と重なる位置に配置されている。例えば、図4および図5に示すように、Z軸方向から見た場合に、点Q1〜点Q4を結んで得られる四角形を外縁とする1つの第2光電変換部127は、点U1〜点U4を結んで得られる四角形を外縁とする第1フィルタ130aの内側に含まれている。
カラーフィルタ130は、繰り返しパターンを形成するように配列されている。パターン要素131は、カラーフィルタ130の繰り返しパターンの基本単位である。Z軸方向から見た場合に、パターン要素131は、X軸方向およびY軸方向に整列している。
パターン要素131は、1つの第1フィルタ130aと、1つの第2フィルタ130bと、2つの第3フィルタ130cと、を含んでいる。また、パターン要素131では、フィルタがX軸方向およびY軸方向にそれぞれ2列ずつ並んでいる。具体的には、Y軸方向負側の列では、X軸負側に青色(図5におけるB)の第3フィルタ130cが配置され、X軸方向正側に緑色(図5におけるG)の第2フィルタ130bが配置されている。また、Y軸方向正側の列では、X軸負側に赤色(図5におけるR)の第1フィルタ130aが配置され、X軸方向正側に青色の第3フィルタ130cが配置されている。このように、第1フィルタ130aの個数と第2フィルタ130bの個数と第3フィルタ130cの個数との比が1:1:2となるように、カラーフィルタ130が配列されている。
以上のように、カラーフィルタ130の配列は、いわゆるRGGB型のベイヤー配列において緑(G)と青(R)とを入れ替えて得られるRGBB型の配列である。
マイクロレンズ121(集光部の一例)は、カラーフィルタ130の第2絶縁層123とは反対側に配置された光学素子であり、第1撮像素子110が出射した光を第2光電変換部127へ集光する。マイクロレンズ121は各第1フィルタ130a、各第2フィルタ130bおよび各第3フィルタ130cに対応する複数のレンズ部121aを有している。図2および図4に示すように、各レンズ部121aは、光軸AZ方向から見た場合に第2光電変換部127と重なる位置に設けられ、各々の第2光電変換部127に1つずつ形成されている。マイクロレンズ121の第1撮像素子110側(つまり、カラーフィルタ130と反対側)には、凸面が形成されている。マイクロレンズ121の凸面側は、接着剤層140により第1撮像素子110の第1絶縁層115に接着されている。したがって、マイクロレンズ121は、第1光電変換部113と第2光電変換部127との間に配置されているとも言える。
<1.1.3:信号処理に関する構成>
画像処理部10(輝度信号取得部の一例、色成分信号取得部の一例)は、複合型撮像素子100で生成された電気信号に所定の処理を施し、第1画像データおよび第2画像データを生成する。また、画像処理部10は、第1画像データおよび第2画像データよりLab色空間のL成分信号およびab成分信号を生成する機能を有する。
画像処理部10は、第1光電変換部113で生成された第1電気信号を第1回路部116および周辺回路を介して読み出す。画像処理部10は、第1光電変換部113から読み出した第1電気信号に対して、ゲイン調整処理やノイズ除去処理、A/D変換などの各種の処理を施し、第1画像データを生成する。さらに、画像処理部10は、第1画像データに対してLab変換を実行し、輝度信号としてのL成分信号を生成する。L成分信号は、第1撮像素子110の各画素に対して生成されるので、L成分信号は画像データでもある。つまり、L成分信号は、輝度信号で構成された輝度成分画像を表わしている。
画像処理部10は、第1画像データから生成したL成分信号を、後述する撮像画像データ生成部20へ出力する。また、画像処理部10は、第1画像データを後述するコントラスト検出部50へ出力する。
画像処理部10は、第2撮像素子120で生成された第2電気信号に所定の処理を施し、第2画像データを生成する。また、画像処理部10は、第2画像データからLab色空間のab成分信号、つまり、a成分信号およびb成分信号を生成する。
具体的には、画像処理部10は、第2光電変換部127で生成された第2電気信号を第2回路部125および周辺回路を介して読み出す。画像処理部10は、第2光電変換部127から読み出した第2電気信号に対して、ゲイン調整処理やノイズ除去処理、A/D変換などの各種の処理を施し、第2画像データを生成する。さらに、画像処理部10は、第2電気画像データに対してLab変換を実行し、色成分信号としてのab成分信号(つまり、a成分信号およびb成分信号)を生成する。
画像処理部10は、各第2光電変換部127について、a成分信号およびb成分信号を生成する。また、画像処理部10は、カラーフィルタ130の色に対応して、赤色、青色、緑色のいずれかの色を表す第2電気信号から第2画像データを生成し、第2画像データから輝度成分を排除することでab成分信号を生成する。つまり、ab成分信号は画像データでもあり、色成分信号で構成された色成分画像を表している。
画像処理部10は、a成分信号およびb成分信号を、後述する撮像画像データ生成部20へ出力する。また、画像処理部10は、第2画像データを後述する識別部40へ出力する。
撮像画像データ生成部20は、画像処理部10からL成分信号およびab成分信号を取得し、L成分信号およびab成分信号を合成(Lab合成)して撮像画像を表す撮像画像データを生成する。そして、撮像装置1は、撮像画像データ生成部20により生成された撮像画像データを撮像装置1の記憶部(図示せず)に記憶する。また、撮像装置1は、撮像画像データ生成部20により生成された撮像画像データを撮像装置1の表示部(図示せず)に表示する。
識別部40は、画像処理部10が生成した第2画像データおよび顔領域を特徴付ける特徴量(基本情報の一例)を入力として、顔領域の検出を行なう。顔領域を特徴付ける特徴量は、撮像装置1に設けられたROM等の記憶装置(図示せず)に予め記憶されていることが望ましい。
識別部40は、画像処理部10が生成した第2画像データから、識別情報(基本情報の一例)と照合することにより特定の顔領域を識別する。ここでの識別とは、画像内から被写体の特定の領域を検出することを言い、例えば、特定の顔領域を画像から検出することを言う。また、識別情報とは、画像内で識別の対象となる特定の領域を特徴付ける情報であり、例えば、特定の人物の顔領域に特徴的な色情報である。本実施形態では、識別部40は、識別情報としての色情報に基づいて特定の顔領域(特定特徴領域の一例であり、以下、特定顔領域という)を検出する。
識別部40は、第2画像データに基づいて、検出顔領域を特徴付ける色情報(以下、検出色情報という)を抽出する。さらに、識別部40は、検出色情報を識別情報と比較し、検出顔領域が特定顔領域と一致しているかどうかを判定する。なお、特定顔領域を特徴付ける識別情報は、撮像装置1に設けられたROM等の記憶装置(図示せず)に予め記憶されていることが望ましい。
さらに、識別部40は、第2画像データの表す画像内での特定顔領域の位置および大きさを表す情報(以下、領域指定情報という)を検出する。後述するフォーカス制御が特定顔領域に対して実行される場合には、領域指定情報はコントラスト検出部50により適宜読み出され、領域指定情報に基づいてフォーカス制御が実行される。
コントラスト検出部50(評価値検出部の一例)は、画像処理部10から第1画像データを取得し、取得した第1画像データに基づいてコントラスト値(評価値の一例)を検出する。コントラスト検出部50は、検出したコントラスト値をフォーカスレンズ駆動量算出部60へ出力する。コントラスト検出部50は、識別部40から特定顔領域の領域指定情報を取得し、特定顔領域に存在する画素に対応する第1画像データからコントラスト値を検出することができる。
フォーカスレンズ駆動量算出部60は、コントラスト検出部50が算出したコントラスト値およびフォーカスレンズL1の位置を示すレンズ位置情報(後述)に基づいて、フォーカスレンズL1を移動(駆動)させる方向および駆動量を算出する。フォーカスレンズ駆動量算出部60は、算出したフォーカスレンズL1を駆動させる方向および駆動量についての情報をフォーカスレンズ駆動部70へ出力する。
フォーカスレンズ駆動部70は、アクチュエータを有しており、フォーカスレンズL1を駆動する。具体的には、フォーカスレンズ駆動部70は、フォーカスレンズ駆動量算出部60が算出した方向に、フォーカスレンズ駆動量算出部60が算出した駆動量だけ、フォーカスレンズL1を移動させる。
フォーカスレンズ駆動部70は、フォーカスレンズL1の位置を検出するための位置センサ(図示せず)を有している。フォーカスレンズ駆動部70は、位置センサにより検出したフォーカスレンズL1の位置を表す情報(以下、レンズ位置情報という)をフォーカスレンズ駆動量算出部60に出力する。
<1.2:動作>
<1.2.1:複合型撮像素子での光電変換>
複合型撮像素子100に入射する光について、図を用いて説明する。図2では、第1光電変換部113へ光軸AZ方向に並行に入射する光の光路の一例が一点鎖線で示されている。また、図2に示された破線は、第2受光面126aに集光にされる光の光路の一例である。
光学系Lから複合型撮像素子100に入射する光は、第1撮像素子110に設けられた補強ガラス111に入射する。補強ガラス111を透過した光は、第1半導体層112(より詳細には、第1受光面112a)に到達する。
ここで、第1撮像素子110では、マイクロレンズが設置されていない。カラーフィルタの配置された撮像素子では、カラーフィルタを透過した光が隣接する光電変換部に入射して、混色が生じる可能性がある。そこで、混色を防ぐために、カラーフィルタの設けられた撮像素子では、集光のためのマイクロレンズが配置されている。
しかしながら、マイクロレンズが設けられた撮像素子では、光電変換部が形成された半導体層とマイクロレンズの間には、しばしば透明な保護膜(例えば、二酸化シリコン膜)が形成される。このような撮像素子では、マイクロレンズを透過した光が保護膜に進入すると、光が保護膜を伝って隣接する光電変換部に入射し、混色が発生する可能性がある。また、マイクロレンズが設けられている場合、マイクロレンズにより光を集光させるためには、マイクロレンズに対する入射光の入射角度が適正な範囲にあることが必要となる。
他方、本実施形態に係る第1撮像素子110では、カラーフィルタが省略されているので、混色が発生しない。そのため、マイクロレンズが省略されており、第1撮像素子110に入射する光は、マイクロレンズを介さずに第1光電変換部113に入射できる。したがって、光学系Lから第1撮像素子110に入射する光に関して、第1光電変換部113(より詳細には、第1受光面112a)に対する入射角の許容範囲は、マイクロレンズが設置されている場合に比べて大幅に拡がっている。その結果、撮像装置1では、第1撮像素子110にマイクロレンズが設けられている場合に比べて、光学系Lの設計の自由度が大きい。光学設計の自由度が増すと、光学系Lの小型化およびコストダウンを図ることができる。
第1受光面112aに到達した光は、さらに第1光電変換部113へ入射する。第1光電変換部113に入射した光のうち一部は、第1光電変換部113で光電効果を発生さる。その結果、入射した光の強度に応じて、各第1光電変換部113で第1電気信号が生成される。このとき、第1撮像素子110にはカラーフィルタが設置されていないため、三原色のうち二色以上を含んだ光が第1光電変換部113に入射できる。したがって、三原色のそれぞれに対応する波長域の光が第1光電変換部113で光電効果を発生させるので、カラーフィルタが配置されている場合に比べて、第1光電変換部113が生成する第1電気信号の強度はより大きくなる。
第1光電変換部113に入射した光のうち、一部は第1光電変換部113を透過して第1絶縁層115に入射する。第1光電変換部113を透過した光のうち、さらに一部は第1マスク117に反射されて再び第1絶縁層115側から第1光電変換部113に入射する。このように、第1マスク117が設けられているので、第1光電変換部113における光の利用効率が向上する。
第1光電変換部113から第1絶縁層115に入射した光のうち、一部は第1マスク117に設けられた第1開口117aを通過し、第1撮像素子110から出射する。
第1光電変換部113から出射した光の一部は、接着剤層140を透過し、第2撮像素子120に入射する。第2撮像素子120に入射した光は、マイクロレンズ121(より詳細には、レンズ部121a)の凸面に入射し、マイクロレンズ121により集光される。マイクロレンズ121の屈折率は接着剤層140の屈折率よりも大きいので、マイクロレンズ121による集光効果が得られる。
ここで、図2に破線で示すように、光学系Lにより集光された光は、第1光電変換部113により形成された第1受光面112aに焦点を結ぶ。したがって、第1光電変換部113を透過した光は、第2撮像素子120側に向かうにしたがって、再び発散することになる。第1光電変換部113を透過した光がそのまま発散を続けると、第2撮像素子120の所望の第2光電変換部127に光を入射させることが難しくなる。また、発散した光は、第2マスク124によりケラレやすくなる(つまり、遮断されやすくなる)。第2マスク124で光が遮断されると、第2光電変換部127入射する光量が減少し、第2撮像素子120の感度が低下してしまう。
これに対して、第2撮像素子120にはマイクロレンズ121が設けられているので、第1光電変換部113から発散する光がマイクロレンズ121により再び第2光電変換部127に集光される。その結果、第1光電変換部113を透過した光は、第2開口124aを通過して、対応する位置に配置された第2光電変換部127へ入射することができる。具体的には、1つの第1光電変換部113を透過した光は、概ね、光軸AZ方向から見た場合にその第1光電変換部113と重なる位置に配置された第2光電変換部127に集光される。
さらに、第2撮像素子120は表面照射型の撮像素子であるので、マイクロレンズ121と第2光電変換部127との間にはカラーフィルタ層122および第2絶縁層123が配置されている。したがって、マイクロレンズ121と第2光電変換部127の間には、マイクロレンズ121により第2光電変換部127へ光を集光させるために必要な距離が確保される。
また、第2回路部125および第2マスク124が第2絶縁層123に形成されているので、隣接する第2光電変換部127へ光の漏れ出しが抑制される。このように、複合型撮像素子100では、第2撮像素子120として表面照射型の撮像素子を用いることにより、混色が抑制されている。
マイクロレンズ121により集光された光は、カラーフィルタ130に達する。カラーフィルタ130では、光は波長域の変換を受ける。つまり、カラーフィルタ130が第1フィルタ130a〜第3フィルタ130cのいずれであるかに応じて、カラーフィルタ130を透過した光は、赤色、青色、緑色のいずれかの色に対応する波長域の光に変換される。
カラーフィルタ130を透過した光は、第2絶縁層123に入射する。第2絶縁層123に入射した光は、第2回路部125の間を通過し、さらに、第2マスク124に設けられた第2開口124aを通過して第2半導体層126(より詳細には、第2受光面126a)に到達する。
第2半導体層126に到達した光は、第2光電変換部127に入射する。第2光電変換部127に入射した光は、光電効果を発生させる。その結果、入射した光の強度に応じて各第2光電変換部127で第2電気信号が生成される。
第2光電変換部127の大きさは第1光電変換部113の大きさよりも大きいので、第2光電変換部127の感度が向上している。つまり、第2光電変換部127の大きさが第1光電変換部113の概ね4つ分の大きさであるため、第2光電変換部127の大きさが第1光電変換部113の大きさと同程度である場合に比べて、第2光電変換部127はより多くの光を受けることができる。なお、大きさとは、光軸AZ方向から見た場合の面積を意味している。
ここで、可視光が透明な媒質を透過する場合に、一般に短波長の光は減衰を受けやすい。例えば、青色に対応する波長域の光が第1撮像素子110を透過する際に受ける減衰効果は、赤色および緑色に対応する波長域の光が受ける減衰効果よりも大きい。したがって、カラーフィルタ130がいわゆるRGGB型のベイヤー配列を有する場合には、青色の光に対する第2撮像素子120の感度を十分に確保できない可能性がある。青色の光を精度良く光電変換できない場合は、撮像画像において青色の色再現性が低下するおそれがある。
これに対して、第2撮像素子120に設けられたカラーフィルタ130は、RGBB型になるように配列されているので、第2撮像素子120では、第1撮像素子110を透過する際に減衰しやすい青色の光が、他の色の光よりも効率よく受光される。その結果、第2光電変換部127は青色の光を効率よく光電変換することができるので、RGGB型のベイヤー配列を有するカラーフィルタを用いた場合に比べて、撮像画像での色再現性が向上する。
以上のように、第2光電変換部127は第1光電変換部113よりも大きく設けられている。また、第2撮像素子120では、第2光電変換部127に光を集光するマイクロレンズ121およびRGBB型の配列を有するカラーフィルタ130が設けられている。そのため、第1撮像素子110を透過する際に青色の光が減衰している場合であっても、第2撮像素子120では青色成分の情報を多く取り込むことが可能である。
<1.2.2:画像取得動作>
前述のように、光学系Lで集光された光は、第1光電変換部113に入射し、第1電気信号に変換される。さらに、第1撮像素子110を透過して第2光電変換部127に入射した光は、第2光電変換部127により第2電気信号に変換される。
第1光電変換部113で生成された第1電気信号は、第1回路部116および周辺回路を介して画像処理部10に読み出される。また、第2光電変換部127で生成された第2電気信号は、第2回路部125および周辺回路を介して画像処理部10へ読み出される。
《Lab変換》
画像処理部10により、第1撮像素子110から入力された第1電気信号に基づいて第1画像データが生成され、さらに、第1画像データからLab色空間のL成分信号が生成される。撮像装置1では、後述するオートフォーカス機能を実現する場合、第1撮像素子110の第1受光面112aに焦点が合うようにフォーカス制御が行なわれる。したがって、第1撮像素子110により取得される第1電気信号は、焦点の合った精度の高い輝度信号である。
さらに、第1撮像素子110にはカラーフィルタが設けられていないので、第1撮像素子110から得られる第1電気信号は、L成分信号を生成するのに適している。つまり、第1撮像素子110にはカラーフィルタが設けられていないため、複数の基本色の光が第1光電変換部113に入射できる。その結果、カラーフィルタが設けられている場合に比べて、第1光電変換部113に入射する光の量が増加し、より精度の高い輝度信号が得られる。このように、画像処理部10により第1電気信号から生成されたL成分信号は、高精度の信号(つまり、コントラストが高く、高S/N比の信号)となる。なお、L成分信号は、第1画像データをLab変換することにより生成されるとしたが、第1画像データをそのままL成分信号としてもよい。
また、画像処理部10により、第2撮像素子120から入力された第2電気信号に基づいて第2画像データが生成され、さらに、第2画像データに基づいてLab空間のab成分信号(つまり、a成分信号およびb成分信号)が生成される。
前述の通り、第1撮像素子110の画素数は第2撮像素子120の画素数の4倍である。したがって、第1撮像素子110で取得された第1電気信号から生成される輝度成分画像の画素数は、第2撮像素子120で取得された第2電気信号から生成される色成分画像の画素数の4倍である。このように、色成分画像の解像度は、輝度成分画像の解像度よりも低い。
また、撮像装置1では、第1撮像素子110の第1受光面112aに焦点が合うようにフォーカス制御が行なわれるため、第2撮像素子120の第2受光面126aは、合焦位置とは異なる位置に存在する。このように、第2撮像素子120では、合焦していない状態で第2電気信号が取得され、この第2電気信号からab成分信号が生成される。
ここで、ab成分信号は、色成分情報のみを有する信号であるため、視覚特性上高い精度を要求されない。人間が色成分情報を認識する能力は、輝度情報を認識する能力に比べてかなり低い。したがって、若干精度の劣る色成分信号を用いた場合であっても、高精細な輝度信号と合成することにより、問題ないレベルのカラー画像を生成することができる。問題ないレベルのカラー画像とは、人間により解像度の高いカラー画像だと認識される画像である。
《撮像画像データの生成》
画像処理部10で生成されたL成分信号およびab成分信号は、撮像画像データ生成部20に入力される。撮像画像データ生成部20では、L成分信号とab成分信号とが合成されることにより、撮像画像データが生成される。撮像画像データは、高精細なL成分画像と、若干精度の低いab成分信号との合成により生成されるので、合成画像のデータとしては十分に精度が高い。
以上のように、撮像装置1では、第1撮像素子110および第2撮像素子120の感度を低下させることなく、第1撮像素子110の画素数を増やすことができるので、カラー画像でありかつ画質のよい撮像画像を取得することができる。
<1.2.3:識別処理>
撮像装置1は、特定顔領域の識別機能を有している。特定顔領域を識別する処理は、例えば、ユーザーがモード切替スイッチ(図示せず)を操作して識別機能を有効な状態に切り替えることにより、開始される。
図6は、識別処理の手順を示したフローチャートである。以下、図6を用いて識別処理について説明する。
識別機能が有効になると、ステップS1に進む。ステップS1では、識別部40は、画像処理部10から第2画像データを取得する。
ステップS2では、識別部40は、第2画像データの表す画像から顔領域を検出する。ここで、識別部40は、第2画像データと人の顔領域を特徴付ける特徴量とを比較し、第2画像データの表す画像において特徴量との類似度が高い領域を、人の顔領域として検出する。人の顔領域を特徴付ける特徴量としては、例えば、人の顔に特有の明暗を示した情報や肌色の色成分を示す情報を用いることができる。なお、第2画像データから検出される顔領域(検出顔領域)は、複数であってもよい。
ステップS3では、識別部40は、第2画像データに基づいて、各検出顔領域を特徴付ける検出色情報を抽出する。識別部40は、複数の顔領域が検出された場合には、各検出顔領域を表す第2画像データから、各検出顔領域を特徴付ける色情報(検出色情報)を抽出する。
ステップS4では、識別部40は、識別情報を取得する。本実施形態では、識別情報とは、特定の人物の顔領域(特定顔領域)を特徴付ける色情報である。
ステップS5では、識別部40は、抽出された検出色情報と識別情報とを比較する。具体的には、識別部40は、抽出された検出色情報と識別情報との類似度を算出し、類似度に基づいて検出色情報と識別情報とを比較する。
ステップS6では、識別部40は、検出色情報と識別情報とが一致しているかどうかを判定する。具体的には、算出された類似度が所定の閾値よりも大きい場合には、識別部40により、検出色情報と識別情報が一致していると判断される。一致している場合は、その時点で識別部40により選択されている検出顔領域が識別対象としての特定顔領域だと判断され、ステップS7に進む。他方で、検出色情報と識別情報とが一致していない場合は、ステップS8に進む。
ステップ7では、識別部40は、第2画像データの表す画像内での特定顔領域の位置および大きさを表す領域指定情報を取得する。識別部40は、領域指定情報を取得した後、識別処理を終了させる。
ステップS8では、識別部40は、検出された全ての検出顔領域が識別情報と比較されたかどうかを判定する。全ての検出顔領域が識別情報と比較されていた場合は、特定顔領域は画像内に存在しないと判断され、識別処理が終了する。まだ識別情報と比較されていない検出顔領域がある場合は、ステップS5へ進む。処理がステップS7からステップS5へと進んだ場合には、まだ識別情報と比較されていない検出顔領域が識別部40により選択され、再びステップS5〜ステップS7もしくはステップS5〜ステップS8の処理が実行される。
以上のように、特定の人物の顔領域(特定顔領域)を識別する処理が実行される。
<1.2.4:オートフォーカス>
撮像装置1は、オートフォーカス機能を有している。撮像装置1で実行されるフォーカス制御は、いわゆるコントラスト検出方式である。オートフォーカス機能は、例えば、レリーズボタン(図示せず)を半押しすることにより、有効な状態となる。オートフォーカス機能が有効になると、撮像装置1においてフォーカス制御が開始される。
撮像素子1のフォーカス制御においては、コントラスト検出部50は、画像処理部10から入力された第1画像データに基づいてコントラスト値を検出する。ここで、コントラスト値は、焦点がどの程度合っているかを評価するための評価値の一例である。なお、コントラスト検出部50には、第1画像データの代わりに、画像処理部10により第1画像データから生成されたL成分信号が入力されてもよい。この場合は、コントラスト検出部50は、L成分信号に基づいてコントラスト値を検出する。
フォーカスレンズ駆動量算出部60は、コントラスト検出部50が検出したコントラスト値を入力として、光学系Lにより形成された光学像が第1受光面112aに合焦するように、フォーカスレンズL1を移動させる駆動量およびフォーカスレンズL1を駆動させる方向を決定する。
フォーカスレンズ駆動部70は、フォーカスレンズ駆動量算出部60が決定した方向に、フォーカスレンズ駆動量算出部60が算出した駆動量だけフォーカスレンズL1を移動させる。さらに、フォーカスレンズ駆動部70は、フォーカスレンズL1の位置を検出し、フォーカスレンズL1の位置を表すレンズ位置情報をフォーカスレンズ駆動量算出部60に出力する。
フォーカスレンズ駆動量算出部60は、コントラスト検出部50から入力されたコントラスト値に基づいて、合焦状態が得られたかどうかを判定する。合焦状態が得られている場合は、フォーカスレンズ駆動量算出部60は、フォーカス制御を終了させる。合焦状態が得られていない場合は、フォーカスレンズ駆動量算出部60は、フォーカス制御を続行する。具体的には、フォーカスレンズ駆動量算出部60は、フォーカスレンズ駆動部70から入力されたレンズ位置情報およびコントラスト検出部50から入力されたコントラスト値に基づいて、フォーカスレンズL1を移動させる駆動量およびフォーカスレンズL1を駆動させる方向を新たに決定する。
フォーカス制御は、例えば、いわゆるウォブリング方式により実現される。ウォブリング方式では、フォーカスレンズを微小な振動(ウォブリング)により動かすことで、コントラスト値の変化が時系列で検出される。このとき、フォーカスレンズはコントラスト値の高くなる方向に駆動される。
フォーカス制御は、ビデオAF(Automatic Focusing)により実現されてもよい。ビデオAF方式では、フォーカスレンズを駆動させながらコントラスト値を検出することにより、コントラスト値のピーク値が検出される。つまり、合焦位置を一度通り越すようにフォーカスレンズを駆動することにより、コントラスト値のピーク値が検出される。コントラスト値はフォーカスレンズが合焦位置にあるときにピーク値をとるので、フォーカスレンズをピーク値の位置まで戻すことにより、合焦状態が実現される。
ここで、コントラスト検出部50は、第1画像データの一部のみを用いてコントラスト値を算出してもよい。例えば、第1画像データの表す画像内の一定数の画素(一定領域に存在する画素)から取得される信号値の積分値を評価値として用いることができる。具体的には、コントラスト検出部50は、識別部40により取得された特定顔領域の位置および大きさを表す領域指定情報を識別部40から読み出し、特定指定情報および第1画像データに基づいて、特定顔領域に対応する第1画像データを特定する。このように、コントラスト検出部50は、識別部40により識別された特定顔領域に対応する第1画像データから、コントラスト値を検出することができる。
なお、前述のように、第1光電変換部113と第2光電変換部127とは互いに対応付けられた状態で配列されているので、コントラスト検出部50は、第1画像データの表す画像内の領域と第2画像データの表す画像内の領域とを対応させることができる。
コントラスト検出部50が特定顔領域に対応する第1画像データに基づいてコントラスト値を検出する場合は、前述のフォーカス制御が実行されることにより、特定顔領域に焦点が合った状態が維持される。言い換えれば、識別部40により撮像画像内での特定顔領域の位置が追尾され、追尾対象としての特定顔領域にフォーカス制御が実行される。
以上のように、撮像装置1では、第1撮像素子110で取得された第1電気信号から第1画像データが生成され、第1画像データに基づいてフォーカス制御が実行される。一方で、撮像装置1では、第2撮像素子120で取得された第2電気信号から第2画像データが生成され、第2画像データに基づいて特定顔領域の追尾が実行される。
このように、フォーカス制御と追尾を並行して実行することにより、識別対象(つまり、追尾対象)に対するフォーカス制御の精度を向上させることができる。例えば、識別対象が高い精度で検出された場合に限り、識別部40により取得された領域指定情報に基づいてフォーカス制御が実行されるようにすれば、識別対象へのフォーカス制御をより確実に実行することができる。
<1.2.5:撮影処理>
以下では、撮像装置1による撮影処理について説明する。ここでは、フォーカス制御は識別部40により検出された特定顔領域に対して実行されるものとして説明する。また、撮像装置1により静止画像が撮影される場合を例に用いて説明する。
ユーザーは、撮像装置1に設けられたレリーズボタンを操作することにより、撮像装置1に対して撮影の実行を指示することができる。撮像装置1に設けられた電源スイッチ(図示せず)がユーザーの操作によりONの状態になると、撮像装置1は、レリーズボタンの操作を受け付け可能な待機状態となる。
待機状態にあるとき、撮像装置1は、識別機能がモード切替スイッチにより有効な状態に設定されているかどうかを判定する。識別機能が有効な状態に設定されている場合は、撮像装置1は、第1画像データおよび第2画像データを取得する。さらに、取得された第2電気画像データに基づいて、識別部40により、特定顔領域が識別される。識別機能が有効である場合は、撮像装置1は第1画像データおよび第2画像データの取得と識別処理とを繰り返し実行する。
また、待機状態にあるとき、撮像装置1は、レリーズボタンが半押されているかどうかを判定する。レリーズボタンが半押されている場合は、オートフォーカス機能が有効であるので、前述のフォーカス制御が実行される。つまり、コントラスト検出部50は、識別部40から特定顔領域の領域指定情報を取得し、取得した領域指定情報および画像処理部10から入力される第1画像データに基づいてコントラスト値を検出する。さらに、検出されたコントラスト値に基づいて、特定顔領域に合焦した状態が得られるように、フォーカスレンズL1が駆動される。
ここで、識別処理とフォーカス制御とは、交互に実行されてもよいし、並行して実行されてもよい。識別処理とフォーカス制御とが並行して実行される場合には、識別部40が検出した領域指定情報がコントラスト検出部50により適宜読み出される。コントラスト検出部50は、読み出された領域指定情報に基づいて、特定顔領域のコントラスト値を算出する。
フォーカス制御は特定顔領域に対して繰り返し実行され、1回のフォーカス制御が終了すると、レリーズボタンが全押されたかどうかが判定される。レリーズボタンが全押されている場合には、光学系Lと複合型撮像素子100の間に配置されたシャッター(図示せず)が制御されることにより、複合型撮像素子100の露光が実行される。つまり、シャッターが開くことにより、光学系Lで集光された光がシャッターを通過し、複合型撮像素子100へ入射する。光学系Lで集光された光は、複合型撮像素子100で第1電気信号および第2電気信号に変換される。
複合型撮像素子100の露光により得られた第1電気信号および第2電気信号は、画像処理部10によりL成分信号およびab成分信号に変換される。撮像画像データ生成部20は、画像処理部10から入力されたL成分信号およびab成分信号から撮像画像データを生成する。そして、撮像装置1は、撮像画像データ生成部20により生成された撮像画像データを撮像装置1の記憶部(図示せず)に記憶する。また、撮像装置1は、撮像画像データ生成部20により生成された撮像画像データを撮像装置1の表示部(図示せず)に表示する。
以上のように、撮影動作が実行される。
<1.3:効果>
以下に、本実施形態に係る複合型撮像素子100および撮像装置1の効果についてまとめる。
(1)
この複合型撮像素子100では、第1光電変換部113は第1基本色および第2基本色を含む光を受光可能であるので、第1光電変換部113に単一の基本色の光のみが入射する場合に比べて、第1光電変換部113で得られる電気信号の強度が増し、第1撮像素子110の感度が向上する。
このとき、光軸AZ方向から見た場合に、第2回路部125は第1回路部116と重なっているので、第1光電変換113に対応する位置に第2光電変換部127を配置することができる。その結果、第1光電変換部113を透過した入射光を第2光電変換部127に入射させやすくなるので、入射光が効率よく光電変換され、第2撮像素子120の感度が向上する。
このように、第1撮像素子110および第2撮像素子120の感度が向上するので、複合型撮像素子100の感度が向上する。
(2)
この複合型撮像素子100では、カラーフィルタ130が第1光電変換部113と第2光電変換部127との間に配置されているので、第2光電変換部127で生成された第2電気信号から色成分信号を取得できる。つまり、第1光電変換部113により色成分信号を取得することなくカラー画像を生成できるので、第1撮像素子110においてはカラーフィルタを省略することができる。その結果、第1光電変換部113に入射する光の量が増加するので、第1撮像素子110の感度が向上し、複合型撮像素子100の感度が向上する。
(3)
この複合型撮像素子100では、第1撮像素子110が裏面照射型の撮像素子であるので、第1撮像素子110が表面照射型の撮像素子である場合に比べて、第1撮像素子110の感度を向上させることができる。
また、第2撮像素子120が表面照射型の撮像素子であるので、第2撮像素子120に入射した光を第2光電変換部127に集光させやすくなる。したがって、隣接する第2光電変換部127への光の漏れ出しを抑制できる。特に、第2撮像素子120にカラーフィルタ130が設けられている場合であっても、混色を防止することができる。
このように、複合型撮像素子100を用いれば、高感度が得られるとともに、混色が防止される。
(4)
この複合型撮像素子100では、第1光電変換部113と第2光電変換部127との間にマイクロレンズ121が設けられているので、第2撮像素子120に入射した光は、マイクロレンズ121により第2光電変換部127に集光される。このように、隣接する第2光電変換部127への光の漏れ出しが抑制されるので、第2撮像素子120にカラーフィルタ130が設けられている場合であっても、混色を防止することができる。
(5)
この複合型撮像素子100では、短波長側にある青色の光を透過させる第3フィルタ130cの個数が、赤色の光を透過させる第1フィルタ130aの個数および緑色の光を透過させる第2フィルタ130bの個数よりも大きい。したがって、第3フィルタ130cの個数が第1フィルタ130aの個数または第2フィルタ130bの個数と等しい場合、あるいは、第3フィルタ130cの個数が第1フィルタ130aの個数または第2フィルタ130bの個数よりも小さい場合に比べて、カラーフィルタ130は青色の光をより多く透過することができる。
その結果、短波長側にある青色の光が第1撮像素子110を透過する際に減衰した場合であっても、第2光電変換部127に入射する青色の光の量を維持することができる。このように、複合型撮像素子100では、短波長側の光に対する第2撮像素子120の感度が高いので、色再現性が向上する。
(6)
この撮像装置1では、画像処理部10により第1電気信号に基づいて生成されたL成分信号と、画像処理部10により第2電気信号に基づいて生成されたab成分信号と、に基づいて、撮像画像データ生成部20により撮像画像データが生成される。したがって、L成分信号とab成分信号とが互いに補完され、カラー画像であってかつ精度の高い撮像画像データを生成することができる。
(7)
この撮像装置1では、識別部40は、第2画像データおよび所定の基本情報(つまり、特徴量および識別情報)に基づいて、基本情報により特徴付けられる特定顔領域を識別する。また、コントラスト検出部50は、フォーカス制御に用いるためのコントラスト値を特定顔領域に対応する第1画像データに基づいて検出する。
したがって、特定顔領域の識別処理とフォーカス制御とを並行して実行することができ、特定顔領域の識別に成功したかに応じてフォーカス制御を実行するかどうかを決定できるので、特定顔領域へのフォーカス制御を確実に実行することができる。
(8)
この複合型撮像素子100では、第2光電変換部127は第1光電変換部113の配列される第1ピッチよりも大きい第2ピッチで配列されているので、第2光電変換部127の大きさを第1光電変換部113の大きさよりも大きくすることができる。
第2光電変換部127の大きさを拡大することにより、第2光電変換部127での光電変換の効率を高めることができるので、第2撮像素子120の感度が向上し、複合型撮像素子100の感度が向上する。
特に、第2撮像素子120はカラーフィルタ130を透過した光を効率よく受光し高い感度で色成分信号を取得することができるので、色再現性が向上する。
(9)
この複合型撮像素子100では、第2撮像素子120が表面照射型の撮像素子であるので、隣接する第2光電変換部127の間での光の漏れが抑制される。その結果、この複合型撮像素子100を撮像に用いることにより、混色の少ない撮像画像を取得できる。
〔その他の実施形態〕
ここに開示される複合型撮像素子および撮像装置の具体的な構成は、前述の実施形態に限られず、発明の趣旨を逸脱しない範囲で種々の変更および修正が可能である。
(A)
前述の実施形態では、第1撮像素子110はCMOS型のイメージセンサであるとしたが、第1撮像素子110は、その他のイメージセンサ、例えば、CCD型のイメージセンサであってもよい。
また、前述の実施形態では第2撮像素子120はCCD型のイメージセンサであるとしたが、第2撮像素子120は、その他のイメージセンサ、例えば、CMOS型のイメージセンサであってもよい。
なお、第1撮像素子110としてCCD型のイメージセンサが用いられる場合には、第1回路部116には、垂直レジスタや電荷の転送路などの回路が設けられることになる。第2撮像素子120としてCMOS型のイメージセンサが用いられる場合には、第2回路部125には、信号線やトランジスタなどの回路が設けられることになる。
(B)
前述の実施形態では、第1光電変換部113に入射できる光は光の三原色(つまり、赤色、緑色、青色)のうち複数の基本色の光を含む光であるとしたが、光の色を表現する基本色として光の三原色以外が用いられてもよい。基本色は、可視光に含まれる波長域を表現できる色の組み合わせであればよいので、例えば、補色により表現される三原色(つまり、シアン、マゼンダ、イエロー)であっても構わない。
同様に、前述の実施形態では、カラーフィルタ130として光の三原色を用いた原色フィルタが採用されていたが、カラーフィルタ130に用いられる色は光の三原色以外であっても構わない。例えば、カラーフィルタ130として補色フィルタが用いられてもよい。カラーフィルタ130が補色フィルタである場合であっても、少なくとも、第2撮像素子120により生成された第2電気信号から色成分信号を取得することができる。
ただし、短波長側の光を第2光電変換部127に効率よく入射させるためには、短波長領域の光が十分に透過されるように、カラーフィルタが青色のフィルタを多く含んでいることが望ましい。したがって、色再現性の高い撮像画像を取得するためには、カラーフィルタ130として原色フィルタを用いることが望ましい。
(C)
前述の実施形態では、第1光電変換部113および第2光電変換部127の形状は、光軸AZ方向から見た場合に四角形であるとしたが、第1光電変換部113および第2光電変換部127の形状は、それ以外の形状(例えば、4角形以外の多角形や円形)であってもよい。
また、前述の実施形態では、第1光電変換部113および第2光電変換部127は、互いに直交するX軸方向およびY軸方向に配列されているが、配列される方向は必ずしも平面上で互いに直交していなくてよい。
さらに、前述の実施形態では、第2ピッチは第1ピッチの2倍であったが、第2ピッチは第1ピッチの任意の整数倍であっても構わない。第2ピッチが第1ピッチの任意の整数倍である場合であっても、第2光電変換部127の大きさを第1光電変換部113の大きさよりも大きくすることができるので、第2撮像素子120の感度を高めることができる。
(D)
前述の実施形態では、第1マスク117が設けられていたが、第1マスク117に光を反射させなくても第1撮像素子110で十分な感度が得られる場合は、第1マスク117は省略されても構わない。第1マスク117を省略した場合であっても、第2光電変換部127へ入射する光の量が確保されるので、少なくとも第2撮像素子120の感度を高めることができる。
また、前述の実施形態では第2マスク124が設けられていたが、光の利用効率のみを考慮する場合は、第2マスク124は省略されても構わない。ただし、混色の発生を抑制するためには、第2マスク124が設けられていることが望ましい。
(E)
前述の実施形態では、第1撮像素子110は補強ガラス111を有していたが、第1半導体層112の第1受光面112a側に配置される部材としては、補強ガラス以外の部材が設けられていてもよい。2つ以上の基本色を含んだ光が第1光電変換部113に入射できるようにするためには、第1半導体層112の第1受光面112a側に配置される部材が可視光に対して透明であればよい。したがって、補強ガラス111以外の部材が用いられた場合であっても、第1撮像素子110の感度を高めることができる。例えば、第1半導体層112の第1受光面112a側に二酸化シリコンの保護膜を形成し、複合型撮像素子100全体をパッケージで保護することにより、補強ガラス111が省略されても構わない。
(F)
前述の実施形態では、マイクロレンズ121と第1撮像素子110と間に充填された媒質として接着剤が用いられていたが、媒質の屈折率がマイクロレンズ121の屈折率よりも小さい場合には、接着剤以外の媒質が用いられても構わない。例えば、接着剤層140の代わりに空気層が設けられていてもよい。ただし、第1撮像素子110と第2撮像素子120とを位置が合わさった状態で互いに固定する必要があるので、接着剤層140が設けられていることが望ましい。
また、前述の実施形態では第2光電変換部127に光を集光する集光部としてマイクロレンズ121が設けられていたが、集光部にはこれ以外の部材が用いられてもよい。つまり、第2光電変換部127に光が集光されればよいので、例えば、第1絶縁層115とカラーフィルタ層122との間に光を導く媒質を配置し、その媒質の屈折率を連続的に変化させることにより第2光電変換部127に光を集光させてもよい。
(G)
前述の実施形態では、画像処理部10が輝度信号としてのL成分信号を生成し、その一方で、色成分信号としてのab成分信号を生成していたが、輝度信号を生成する輝度信号生成部と色成分信号を生成する色成分信号生成部とが別個に設けられていてもよい。同様に、第1画像データを生成する機能部と第2画像データを生成する機能部とが別々に設けられていてもよい。
また、前述の実施形態で説明した撮像装置において、各ブロックの処理をそれぞれ個別のハードウェアにより実現してもよいし、ハードウェアに幾つかの異なるブロックの処理を実行させるようにしてもよい。例えば、マイクロコンピュータに各種のプログラムを読み込ませることにより、マイクロコンピュータに撮像装置の各ブロックの処理を行なわせてもよい。
(H)
前述の実施形態では、検出される特徴領域は顔領域であったが、輝度信号を用いて検出できる画像領域であれば、特徴領域は顔領域以外であってもよい。
(I)
前述の実施形態では、撮像装置1が静止画像を取得する場合について説明したが、撮像装置1は動画像を取得する機能を有していてもよい。つまり、撮像装置1は撮像素子により撮像画像を取得できればよく、撮像装置1は、デジタルカメラだけではなく、デジタルビデオカメラやデジタルスチルカメラ、さらには撮像の可能な携帯電話などの電子機器であってもよい。
ここに示された複合型撮像素子は、デジタルカメラやデジタルビデオカメラに利用することができる。
1 撮像装置
10 画像処理部(輝度信号取得部の一例、色成分信号取得部の一例)
20 撮像画像データ生成部
40 識別部
50 コントラスト検出部(評価値検出部の一例)
60 フォーカスレンズ駆動量算出部
70 フォーカスレンズ駆動部
100 複合型撮像素子
110 第1撮像素子
111 補強ガラス
112 第1半導体層
112a 第1受光面
113 第1光電変換部
114 第1分離領域
115 第1絶縁層
116 第1回路部
117 第1マスク
117a 第1開口
120 第2撮像素子
121 マイクロレンズ(集光部の一例)
121a レンズ部
122 カラーフィルタ層
123 第2絶縁層
124 第2マスク
124a 第2開口
125 第2回路部
126 第2半導体層
126a 第2受光面
127 第2光電変換部
128 第2分離領域
129 Si基板
130 カラーフィルタ
130a 第1フィルタ
130b 第2フィルタ
130c 第3フィルタ
131 パターン要素
140 接着剤層
L 光学系
L1 フォーカスレンズ

Claims (7)

  1. 第1基本色および前記第1基本色と異なる第2基本色を含む光を受光可能な第1受光面を有する第1撮像素子と、前記第1撮像素子に光軸方向に重ね合わされ、前記第1受光面に平行な第2受光面を有する第2撮像素子とを備え、
    前記第1撮像素子は、前記第1受光面に沿って配列され、受光した光を第1電気信号に変換する複数の第1光電変換部と、前記複数の第1光電変換部の間に設けられ、第1光電変換部の境界を形成する第1分離領域と、前記第1分離領域と重なる位置であって、前記第1光電変換部の第1受光面とは反対側に配置され、前記第1電気信号が伝送される第1回路部とを有し、
    前記第2撮像素子は、前記第2受光面に沿って配列され、前記第1光電変換部から出射する光を受光して第2電気信号に変換する複数の第2光電変換部と、前記複数の第2光電変換部の間に設けられ、第2光電変換部の境界を形成する第2分離領域と、前記第2分離領域と重なる位置であって、前記第2受光面の第1撮像素子側に前記第1回路部と重なる位置に配置され、前記第2電気信号が伝送される第2回路部とを有し、
    さらに前記第1光電変換部と前記第2光電変換部との間に光の波長域を変化させるカラーフィルタが配置されている、
    複合型撮像素子。
  2. 前記複数の第1光電変換部は、第1ピッチで配列されており、前記複数の第2光電変換部は、前記第1ピッチとは異なる第2ピッチで配列されている請求項1に記載の複合型撮像素子。
  3. 前記第1光電変換部と前記第2光電変換部との間に配置され前記第2光電変換部へ光を集光する集光部をさらに備える、
    請求項1に記載の複合型撮像素子。
  4. 前記カラーフィルタは、第1波長域の光を透過させる第1フィルタと、第2波長域の光を透過させる第2フィルタと、前記第1波長域および前記第2波長域とは異なる第3波長域の光を透過させる第3フィルタと、を含んでおり、
    前記第3波長域は、前記第1波長域および前記第2波長域よりも短波長側にあり、
    前記第3フィルタの個数は、前記第1フィルタの個数および前記第2フィルタの個数よりも大きい、
    請求項1に記載の複合型撮像素子。
  5. 被写体からの光を集光し、前記被写体の光学像を形成する光学系と、
    前記光学系で集光された光を受光可能な請求項1に記載の複合型撮像素子と、
    を備える撮像装置。
  6. 前記第1電気信号に基づいて前記光学像の輝度信号を生成する輝度信号取得部と、
    前記第2電気信号に基づいて前記光学像の色成分信号を生成する色成分信号取得部と、
    前記輝度信号および前記色成分信号に基づいて前記被写体の画像を表す撮像画像データを生成する撮像画像データ生成部と、をさらに備える、
    請求項5に記載の撮像装置。
  7. 前記第1電気信号から第1画像データを生成し、前記第2電気信号から第2画像データを生成する画像処理部と、
    前記第2画像データおよび所定の基本情報に基づいて前記基本情報により特徴付けられる前記被写体の特定特徴領域を識別する識別部と、
    フォーカス制御に用いるための評価値を前記特定特徴領域に対応する前記第1画像データに基づいて検出する評価値検出部をさらに備える、
    請求項5に記載の撮像装置。
JP2010109023A 2010-05-11 2010-05-11 複合型撮像素子およびそれを備えた撮像装置 Active JP5554139B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2010109023A JP5554139B2 (ja) 2010-05-11 2010-05-11 複合型撮像素子およびそれを備えた撮像装置
US13/098,485 US8654224B2 (en) 2010-05-11 2011-05-02 Composite imaging element and imaging device equipped with same

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2010109023A JP5554139B2 (ja) 2010-05-11 2010-05-11 複合型撮像素子およびそれを備えた撮像装置

Publications (2)

Publication Number Publication Date
JP2011238773A JP2011238773A (ja) 2011-11-24
JP5554139B2 true JP5554139B2 (ja) 2014-07-23

Family

ID=44911482

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2010109023A Active JP5554139B2 (ja) 2010-05-11 2010-05-11 複合型撮像素子およびそれを備えた撮像装置

Country Status (2)

Country Link
US (1) US8654224B2 (ja)
JP (1) JP5554139B2 (ja)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011054911A (ja) * 2009-09-04 2011-03-17 Sony Corp 固体撮像装置、および、その製造方法、電子機器
JP2012084649A (ja) * 2010-10-08 2012-04-26 Nippon Hoso Kyokai <Nhk> 積層型撮像素子
JP2013070030A (ja) * 2011-09-06 2013-04-18 Sony Corp 撮像素子、電子機器、並びに、情報処理装置
DE102015109044B4 (de) * 2015-06-09 2020-10-08 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Bauteil zum Detektieren elektromagnetischer Strahlung
JP6860000B2 (ja) * 2016-03-03 2021-04-14 ソニー株式会社 医療用画像処理装置、システム、方法、プログラム、画像処理システム及び医療用画像処理システム
WO2017212946A1 (ja) * 2016-06-09 2017-12-14 オリンパス株式会社 画像処理装置
CN113164054A (zh) * 2018-11-30 2021-07-23 直观外科手术操作公司 医学成像系统和方法
CN111918005B (zh) * 2020-09-16 2023-05-16 Oppo广东移动通信有限公司 图像传感器、终端、数据处理方法、装置及存储介质

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0222973A (ja) * 1988-07-12 1990-01-25 Mitsubishi Electric Corp 固体撮像装置
US5965875A (en) * 1998-04-24 1999-10-12 Foveon, Inc. Color separation in an active pixel cell imaging array using a triple-well structure
JP2004165242A (ja) 2002-11-11 2004-06-10 Canon Inc カラー撮像素子及びカラー受光素子
US7129466B2 (en) * 2002-05-08 2006-10-31 Canon Kabushiki Kaisha Color image pickup device and color light-receiving device
JP2005252411A (ja) * 2004-03-01 2005-09-15 Sharp Corp 固体撮像装置および電子情報機器
JP2005353996A (ja) 2004-06-14 2005-12-22 Sony Corp 固体撮像素子とその製造方法、並びに半導体装置とその製造方法
KR100703376B1 (ko) * 2005-05-10 2007-04-03 삼성전자주식회사 매설된 렌즈를 갖는 이미지 센서 및 그 제조 방법
JP2007005629A (ja) * 2005-06-24 2007-01-11 Matsushita Electric Ind Co Ltd 固体撮像装置
JP4984634B2 (ja) * 2005-07-21 2012-07-25 ソニー株式会社 物理情報取得方法および物理情報取得装置
US7728904B2 (en) * 2005-11-08 2010-06-01 Qualcomm Incorporated Skin color prioritized automatic focus control via sensor-dependent skin color detection
WO2007086352A1 (ja) * 2006-01-25 2007-08-02 Kyocera Corporation 撮像素子及びカメラモジュール
EP1970959A3 (en) * 2007-03-12 2013-07-31 FUJIFILM Corporation Photoelectric conversion element and solid-state imaging device
JP2008227250A (ja) * 2007-03-14 2008-09-25 Fujifilm Corp 複合型固体撮像素子
JP5414216B2 (ja) * 2008-08-07 2014-02-12 キヤノン株式会社 撮像装置、その制御方法及びプログラム
JP5262519B2 (ja) * 2008-09-26 2013-08-14 凸版印刷株式会社 カラーフィルタ及びその製造方法、ならびにカラーフィルタを有する固体撮像素子
JP5332572B2 (ja) * 2008-12-08 2013-11-06 ソニー株式会社 固体撮像装置、及び電子機器
US20100157117A1 (en) * 2008-12-18 2010-06-24 Yu Wang Vertical stack of image sensors with cutoff color filters
US8076746B2 (en) * 2009-06-26 2011-12-13 Omnivision Technologies, Inc. Back-illuminated image sensors having both frontside and backside photodetectors
US20110013056A1 (en) * 2009-07-17 2011-01-20 Searete Llc, A Limited Liability Corporation Of The State Of Delaware Color filters and demosaicing techniques for digital imaging

Also Published As

Publication number Publication date
US8654224B2 (en) 2014-02-18
US20110279716A1 (en) 2011-11-17
JP2011238773A (ja) 2011-11-24

Similar Documents

Publication Publication Date Title
JP5554139B2 (ja) 複合型撮像素子およびそれを備えた撮像装置
US9681057B2 (en) Exposure timing manipulation in a multi-lens camera
JP5451111B2 (ja) 焦点検出装置およびそれを有する撮像装置
WO2016129406A1 (ja) 撮像素子、および電子装置
JP6555264B2 (ja) 複眼撮像装置
US8289422B2 (en) Image capture device
US8218017B2 (en) Image pickup apparatus and camera
JP5956718B2 (ja) 撮像素子及び撮像装置
JP2013157442A (ja) 撮像素子および焦点検出装置
JP4983271B2 (ja) 撮像装置
US11747714B2 (en) Image sensor and image-capturing device that selects pixel signal for focal position
JP5067148B2 (ja) 撮像素子、焦点検出装置および撮像装置
US8860814B2 (en) Solid-state imaging element and imaging device
JP5532766B2 (ja) 撮像素子及び撮像装置
WO2015115204A1 (ja) 固体撮像素子および電子機器
JP2005167356A (ja) 撮像素子
WO2017130725A1 (ja) 焦点検出装置、撮像装置
JP6349624B2 (ja) 撮像素子および焦点検出装置
JP2015159231A (ja) 固体撮像装置
JP6010922B2 (ja) 撮像装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20121213

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20131227

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20140107

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20140227

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20140513

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20140528

R151 Written notification of patent or utility model registration

Ref document number: 5554139

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151