JP5554139B2 - 複合型撮像素子およびそれを備えた撮像装置 - Google Patents
複合型撮像素子およびそれを備えた撮像装置 Download PDFInfo
- Publication number
- JP5554139B2 JP5554139B2 JP2010109023A JP2010109023A JP5554139B2 JP 5554139 B2 JP5554139 B2 JP 5554139B2 JP 2010109023 A JP2010109023 A JP 2010109023A JP 2010109023 A JP2010109023 A JP 2010109023A JP 5554139 B2 JP5554139 B2 JP 5554139B2
- Authority
- JP
- Japan
- Prior art keywords
- photoelectric conversion
- light
- unit
- conversion unit
- image sensor
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000003384 imaging method Methods 0.000 title claims description 108
- 239000002131 composite material Substances 0.000 title claims description 57
- 238000006243 chemical reaction Methods 0.000 claims description 237
- 230000003287 optical effect Effects 0.000 claims description 80
- 238000012545 processing Methods 0.000 claims description 52
- 238000000926 separation method Methods 0.000 claims description 20
- 238000011156 evaluation Methods 0.000 claims description 7
- 239000010410 layer Substances 0.000 description 80
- 239000004065 semiconductor Substances 0.000 description 50
- 238000000034 method Methods 0.000 description 34
- 230000035945 sensitivity Effects 0.000 description 30
- 238000001514 detection method Methods 0.000 description 27
- 239000003086 colorant Substances 0.000 description 22
- 239000011521 glass Substances 0.000 description 18
- 239000000758 substrate Substances 0.000 description 16
- 230000003014 reinforcing effect Effects 0.000 description 12
- VYPSYNLAJGMNEJ-UHFFFAOYSA-N Silicium dioxide Chemical compound O=[Si]=O VYPSYNLAJGMNEJ-UHFFFAOYSA-N 0.000 description 10
- 238000002156 mixing Methods 0.000 description 10
- 230000000694 effects Effects 0.000 description 9
- 239000010408 film Substances 0.000 description 8
- 230000002093 peripheral effect Effects 0.000 description 8
- 239000012790 adhesive layer Substances 0.000 description 7
- 230000001681 protective effect Effects 0.000 description 5
- 235000012239 silicon dioxide Nutrition 0.000 description 5
- 239000000377 silicon dioxide Substances 0.000 description 5
- 239000010409 thin film Substances 0.000 description 5
- 230000000295 complement effect Effects 0.000 description 4
- 238000002955 isolation Methods 0.000 description 4
- 238000003860 storage Methods 0.000 description 4
- 101100248200 Arabidopsis thaliana RGGB gene Proteins 0.000 description 3
- 101100175002 Oryza sativa subsp. indica RGBB gene Proteins 0.000 description 3
- 230000002238 attenuated effect Effects 0.000 description 3
- 239000000284 extract Substances 0.000 description 3
- 238000002834 transmittance Methods 0.000 description 3
- 239000000853 adhesive Substances 0.000 description 2
- 230000001070 adhesive effect Effects 0.000 description 2
- 230000007423 decrease Effects 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 230000007274 generation of a signal involved in cell-cell signaling Effects 0.000 description 2
- 229910052751 metal Inorganic materials 0.000 description 2
- 239000002184 metal Substances 0.000 description 2
- 238000012546 transfer Methods 0.000 description 2
- WFKWXMTUELFFGS-UHFFFAOYSA-N tungsten Chemical compound [W] WFKWXMTUELFFGS-UHFFFAOYSA-N 0.000 description 2
- 229910052721 tungsten Inorganic materials 0.000 description 2
- 239000010937 tungsten Substances 0.000 description 2
- 241000282412 Homo Species 0.000 description 1
- 230000000903 blocking effect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 238000009413 insulation Methods 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000003825 pressing Methods 0.000 description 1
- 230000002787 reinforcement Effects 0.000 description 1
- 230000003252 repetitive effect Effects 0.000 description 1
- 125000006850 spacer group Chemical group 0.000 description 1
- 239000002344 surface layer Substances 0.000 description 1
- 230000002194 synthesizing effect Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H01—ELECTRIC ELEMENTS
- H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
- H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
- H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
- H01L27/144—Devices controlled by radiation
- H01L27/146—Imager structures
- H01L27/14601—Structural or functional details thereof
- H01L27/1462—Coatings
- H01L27/14621—Colour filter arrangements
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/61—Control of cameras or camera modules based on recognised objects
- H04N23/611—Control of cameras or camera modules based on recognised objects where the recognised objects include parts of the human body
-
- H—ELECTRICITY
- H01—ELECTRIC ELEMENTS
- H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
- H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
- H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
- H01L27/144—Devices controlled by radiation
- H01L27/146—Imager structures
- H01L27/14601—Structural or functional details thereof
- H01L27/14625—Optical elements or arrangements associated with the device
- H01L27/14627—Microlenses
-
- H—ELECTRICITY
- H01—ELECTRIC ELEMENTS
- H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
- H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
- H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
- H01L27/144—Devices controlled by radiation
- H01L27/146—Imager structures
- H01L27/14601—Structural or functional details thereof
- H01L27/14632—Wafer-level processed structures
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/45—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from two or more image sensors being of different type or operating in different modes, e.g. with a CMOS sensor for moving images in combination with a charge-coupled device [CCD] for still images
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/67—Focus control based on electronic image sensor signals
- H04N23/673—Focus control based on electronic image sensor signals based on contrast or high frequency components of image signals, e.g. hill climbing method
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
- H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
- H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
- H04N25/134—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on three different wavelength filter elements
Description
このような撮像素子は、一般的に、Si基板上に半導体プロセスによって形成された多層構造を有している。Si基板上には、光電変換により光を電気信号に変換する光電変換部が形成される。光電変換部は、フォトダイオードなどの受光素子である。光電変換部が形成されたSi基板上には絶縁層が形成され、電気信号を伝送する回路と、回路への光の入射を遮断するマスクと、がこの絶縁層内に形成される。さらに、絶縁層上には、カラーフィルタと、マイクロレンズと、がこの順番に形成される。このようなプロセスで形成された撮像素子は、いわゆる表面照射型の撮像素子であり、絶縁層を透過した光が光電変換部に入射することになる。
一方で、撮像装置の分野では画質の向上が求められており、撮像素子の画素数は増える傾向にある。撮像素子の大きさを変えずに画素数を増加させると、光電変換部1つあたりの面積が小さくなるので、画素数が少ない場合に比べて撮像素子の感度が低下してしまう。
上記のような表面照射型の撮像素子とは別に、いわゆる裏面照射型の撮像素子が提案されている(例えば、特許文献1を参照)。裏面照射型の撮像素子の製造プロセスでは、Si基板上に光電変換部および絶縁層が順に形成される。さらに、Si基板を除去することにより受光面が形成される。裏面照射型の撮像素子では、入射した光が回路により遮られることなく光電変換部に到達できるので、光電変換部による光電変換の効率が向上する。このように、裏面照射型の撮像素子を用いることにより、撮像素子の感度をある程度向上させることができる。特許文献1に示された裏面照射型の撮像素子では、カラー画像を得るためにカラーフィルタが受光面側に配置されている。そして、カラーフィルタと光電変換部との間には、光電変換部を保護する保護膜としての二酸化シリコン層が形成されている。
また、特許文献3の開示された複合型固体撮像素子では、光が第1の撮像素子に設けられたカラーフィルタを透過する際に減衰されるので、複数の撮像素子を用いた場合であっても、感度が十分でないおそれがある。
第1の特徴に係る複合型撮像素子では、第1光電変換部が第1基本色および第2基本色を含む光を受光可能であるので、第1光電変換部に単一の基本色のみを含んだ光が入射する場合に比べて、第1光電変換部で得られる第1電気信号の強度が増し、第1撮像素子の感度が向上する。このとき、第1方向から見た場合に、第2回路部は第1回路部と重なっているので、第1光電変換に対応する位置に第2光電変換部を配置することができる。その結果、第1光電変換部を透過した入射光を第2光電変換部に入射させやすくなるので、入射光が効率よく光電変換され、第2撮像素子の感度が向上する。このように、複合型撮像素子の感度が向上する。
第2の特徴に係る撮像装置は、被写体からの光を集光し被写体の光学像を形成する光学系と、第1の特徴に係る複合型撮像素子と、を備えている。
第2の特徴に係る撮像装置は、第1の特徴に係る高感度な複合型撮像素子を備えているので、この撮像装置を用いれば精度の高い画像を取得することができる。
<1.1:撮像装置の構成>
図1は、本実施形態に係る撮像装置1の概略構成図である。撮像装置1は、被写体を撮像し画像を取得するための装置である。以下では、撮像により得られた画像を撮像画像と呼ぶ。
図1に示すように、撮像装置1は主に、光学系Lと、複合型撮像素子100と、画像処理部10と、撮像画像データ生成部20と、識別部40と、コントラスト検出部50と、フォーカスレンズ駆動量算出部60と、フォーカスレンズ駆動部70と、を備えている。
<1.1.1:光学系>
光学系Lは、被写体からの光を集光し、被写体の光学像を形成する。光学系Lは主に、焦点距離を調節するためのズームレンズ(図示せず)と、フォーカスレンズL1と、有している。フォーカスレンズL1の位置が調節されることにより、被写体の光学像は、後述する第1受光面112aに焦点の合った状態(以下、合焦状態という)で形成される。
フォーカスレンズL1はフォーカスレンズ駆動部70(後述)により駆動され、光学系Lが合焦状態になるように、フォーカスレンズL1の光軸AZ方向での位置が調節される。
<1.1.2:複合型撮像素子>
複合型撮像素子100について、図を用いて説明する。図2は本実施形態に係る複合型撮像素子100の部分断面図である。図3および図4は、図2に示した複合型撮像素子100の部分断面図である。図5は、カラーフィルタ130の部分平面図である。図2〜図5では、光軸AZ方向がZ軸方向と一致するように三次元直交座標系Oが導入されている。また、図1では、三次元直交座標系Oは、光学系Lおよび複合型撮像素子100に対して導入されており、光学系Lから複合型撮像素子100に向かう方向は、Z軸負方向と一致している。
《第1撮像素子》
図2に示すように、第1撮像素子110は、補強ガラス111と、第1半導体層112と、第1絶縁層115と、第1回路部116と、第1マスク117と、を有している。第1撮像素子110は多層構造を有しており、補強ガラス111と、第1半導体層112と、第1絶縁層115とは、光学系Lから見てこの順番に光軸AZ方向に形成されている。本実施形態では、第1撮像素子110はCMOS型のイメージセンサである。
補強ガラス111は、ガラス基板であり、複合型撮像素子100の光学系L側の表面を形成している。補強ガラス111は、第1撮像素子110の強度を確保しており、第1半導体層112の第1受光面112a側に、例えば接着により固定されている。
このように、第1撮像素子110では、カラーフィルタが設けられておらず、光学系L側の表面から第1光電変換部113の間には、少なくとも可視光に対して透明な表層部(つまり、補強ガラス111)が設けられている。したがって、2つ以上の異なる基本色を含む光が第1光電変換部113に入射できる。
第1光電変換部113は、第1撮像素子110の画素であり、受光した光を電気信号に変換する。第1光電変換部113としては、例えばフォトダイオードが用いられる。一般にフォトダイオードは、n型半導体で形成された領域(図示せず)の上に、p型半導体の膜(図示せず)が形成された構造を有している。この場合は、第1光電変換部113が第1撮像素子110に占める領域は、フォトダイオードとしてのn型半導体およびp型半導体が形成された領域である。
図3に示すように、互いに大きさの等しい複数の第1光電変換部113は、平面状に配列されており、第1受光面112aを形成している。第1受光面112aは第1半導体層112の補強ガラス111側の境界面である。第1受光面112aは、第1撮像素子110に入射した光を受光することができる。前述の通り、光軸AZ方向(第1方向の一例)と第1受光面112aとが概ね垂直になるように、光学系Lと複合型撮像素子100との位置関係が決定されている。
第1分離領域114は、第1光電変換部113の間に設けられており、隣接する第1光電変換部113の境界を形成している。図3に示すように、第1分離領域114は、第1受光面112aに平行な方向に沿って、格子状に設けられている。
第1絶縁層115は、第1半導体層112の補強ガラス111とは反対側に形成されている。第1絶縁層115には、第1回路部116と、第1マスク117と、が形成されている。第1絶縁層115は、例えば二酸化シリコンで形成され、第1回路部116や第1マスク117を覆っている。
第1回路部116は、第1光電変換部113で発生した電気信号を伝送するための信号線やトランジスタなどの回路を有しており、第1絶縁層115の内部に形成されている。第1回路部116は、周辺回路(図示せず)に接続されている。第1光電変換部113で生成された電気信号は、第1回路部116および周辺回路を介して、画像処理部10(後述)へ読み出される。
第1マスク117は、例えばタングステンなどの金属で形成された薄膜であり、第1回路部116の第1半導体層112とは反対側を覆うようにして形成されている。第1マスク117は、少なくとも可視光を遮断する。
第1マスク117は、第1光電変換部113に対応する位置に形成された第1開口117aを有している。具体的には、第1開口117aは、第1光電変換部113と光軸AZ方向に対向している。また、図3に示すように、第1開口117aは、光軸AZ方向から見た場合に第1光電変換部113と重なっている。第1開口117aは、第1絶縁層115に入射する光の一部を通過させ、第2撮像素子120へ出射する。
《第2撮像素子》
図2に示すように、第2撮像素子120は、マイクロレンズ121と、カラーフィルタ層122と、第2絶縁層123と、第2マスク124と、第2回路部125と、第2半導体層126と、Si基板129と、を有している。第2撮像素子120は多層構造を有しており、Si基板129と、第2半導体層126と、第2絶縁層123と、カラーフィルタ層122と、マイクロレンズ121とは、光学系Lと反対側から見てこの順番に光軸AZ方向に形成されている。本実施形態では、第2撮像素子120はCCD型のイメージセンサである。
第2半導体層126は、Si基板129上に形成された薄膜であり、第2光電変換部127と、第2分離領域128と、を有している。第2半導体層126には、半導体プロセスによりn型半導体やp型半導体などが形成されている。
第2光電変換部127は、第2撮像素子120の画素であり、受光した光を電気信号に変換する。第2光電変換部127としては、例えばフォトダイオードが用いられる。一般にフォトダイオードは、n型半導体で形成された領域(図示せず)の上に、p型半導体の膜(図示せず)が形成された構造を有している。この場合は、第2光電変換部127が第2撮像素子120に占める領域は、フォトダイオードとしてのn型半導体およびp型半導体が形成された領域である。
第2光電変換部127は、第2受光面126aに沿って、規則的に配列されている。図4に示すように、第2光電変換部127は、X軸方向に第2横間隔W2(第2ピッチの一例)で等間隔に配列され、Y軸方向に第2縦間隔H2(第2ピッチの一例)で等間隔に配列されている。第2横間隔W2はX軸方向に隣接する第2光電変換部127の中心間距離であり、第2縦間隔H2はY軸方向に隣接する第2光電変換部127の中心間距離である。このように、第2光電変換部127は、X軸方向およびY方向においてそれぞれ一定の第2ピッチ(つまり、第2横間隔W2および第2縦間隔H2)で配列されている。
第2光電変換部127は、光軸AZ方向から見た場合に、4つの第1光電変換部113と重なっている。具体的には、図3および図4に示すように、光軸AZ方向から見た場合に、点Q1〜点Q4を結んで得られる四角形の領域は、点P1〜点P4を結んで得られる四角形の領域と重なっている。つまり、光軸AZ方向から見た場合に、点Q1〜点Q4は、それぞれ、点P1〜点P4と概ね重なっている。ここで、点Q1〜点Q4を結んで得られる四角形は、光軸AZ方向から見た場合に、1つの第2光電変換部127の外周と一致している。また、点P1〜点P4を結んで得られる4角形の内側には、4つの第1光電変換部113が、X軸方向およびY軸方向にそれぞれ2列ずつ並んで配置されている。
第2分離領域128は、第2光電変換部127の間に設けられており、隣接する第2光電変換部127の境界を形成している。図4に示すように、第2分離領域128は、第2受光面126aに平行な方向に沿って、格子状に設けられている。
第2分離領域128の形成方法としては、第2光電変換部127と同様に半導体プロセスを用いることができる。第2分離領域128に形成される半導体層の構造は、第2光電変換部127に形成された半導体層の構造と異なっているので、第2光電変換部127で発生した電気信号は、隣接する第2光電変換部127に伝達されない。このように、第2分離領域128は、第2光電変換部127を分離している。
第2絶縁層123は、第2半導体層126のSi基板129とは反対側に形成されている。第2絶縁層123には、第2回路部125と、第2マスク124と、が形成されている。第2絶縁層123は、例えば二酸化シリコンで形成され、第2回路部125や第2マスク124を覆っている。
第2回路部125は、第2光電変換部127で発生した電気信号を伝送するための垂直レジスタや電荷の転送路などの回路を有しており、第2絶縁層123の内部に形成されている。第2回路部125は、周辺回路(図示せず)に接続されている。第2光電変換部127で発生した電気信号は、第2回路部125および周辺回路を介して、画像処理部10へ読み出される。
また、図2において光軸AZ方向に平行に引いた二点鎖線TCLで示すように、第2回路部125は、光軸AZ方向から見た場合に、第1回路部116と重なる位置に配置されている。言い換えれば、第1回路部116および第2回路部125は、第1光電変換部113から第2光電変換部127へ向かう光の通る光路を避けるように配置されている。その結果、第2撮像素子120はより多くの光を受光できるので、第2撮像素子120の感度が向上する。
第2マスク124は、第2光電変換部127と対応する位置に形成された第2開口124aを有している。具体的には、第2開口124aは、第2光電変換部127と光軸AZ方向に対向している。また、図4に示すように、第2開口124aは、光軸AZ方向から見た場合に第2光電変換部127と重なっている。第2開口124aは、第2絶縁層123に入射した光を通過させ、第2光電変換部127へ出射する。
図5に示すように、カラーフィルタ130に含まれる各フィルタの形状は、光軸AZ方向から見た場合に、四角形である。例えば、点U1〜点U4を結んで得られる四角形は、光軸AZ方向から見た場合に、カラーフィルタ130に含まれるフィルタ(より詳細には、1つの第1フィルタ130a)の外縁と一致している。
カラーフィルタ130は、複数の第1フィルタ130aと、複数の第2フィルタ130bと、複数の第3フィルタ130cと、を含んでいる。第1フィルタ130aは、赤色以外の色の可視光波長域よりも赤色の可視光波長域(第1波長域の一例)の方が透過率が高いフィルタである。第2フィルタ130bは、緑色以外の色の可視光波長域よりも緑色の可視光波長域(第2波長域の一例)の方が透過率が高いフィルタである。第3フィルタ130cは、青色以外の色の可視光波長域よりも青色の可視光波長域(第3波長域の一例)の方が透過率が高いフィルタである。
カラーフィルタ130は、光軸AZ方向に垂直な方向(つまり、第1受光面112aに平行な方向に沿って)規則的に配列されている。本実施形態では、1つのフィルタが1つの第2光電変換部127に対応する位置に配置されている。具体的には、カラーフィルタ130を構成するフィルタは、第2光電変換部127と同様に、X軸方向およびY軸方向においてそれぞれ第2ピッチ(つまり、第2横間隔W2および第2縦間隔H2)で配列されている。さらに、光軸AZ軸方向から見た場合に、カラーフィルタ130を構成する1つのフィルタは、1つの第2光電変換部127と重なる位置に配置されている。例えば、図4および図5に示すように、Z軸方向から見た場合に、点Q1〜点Q4を結んで得られる四角形を外縁とする1つの第2光電変換部127は、点U1〜点U4を結んで得られる四角形を外縁とする第1フィルタ130aの内側に含まれている。
パターン要素131は、1つの第1フィルタ130aと、1つの第2フィルタ130bと、2つの第3フィルタ130cと、を含んでいる。また、パターン要素131では、フィルタがX軸方向およびY軸方向にそれぞれ2列ずつ並んでいる。具体的には、Y軸方向負側の列では、X軸負側に青色(図5におけるB)の第3フィルタ130cが配置され、X軸方向正側に緑色(図5におけるG)の第2フィルタ130bが配置されている。また、Y軸方向正側の列では、X軸負側に赤色(図5におけるR)の第1フィルタ130aが配置され、X軸方向正側に青色の第3フィルタ130cが配置されている。このように、第1フィルタ130aの個数と第2フィルタ130bの個数と第3フィルタ130cの個数との比が1:1:2となるように、カラーフィルタ130が配列されている。
マイクロレンズ121(集光部の一例)は、カラーフィルタ130の第2絶縁層123とは反対側に配置された光学素子であり、第1撮像素子110が出射した光を第2光電変換部127へ集光する。マイクロレンズ121は各第1フィルタ130a、各第2フィルタ130bおよび各第3フィルタ130cに対応する複数のレンズ部121aを有している。図2および図4に示すように、各レンズ部121aは、光軸AZ方向から見た場合に第2光電変換部127と重なる位置に設けられ、各々の第2光電変換部127に1つずつ形成されている。マイクロレンズ121の第1撮像素子110側(つまり、カラーフィルタ130と反対側)には、凸面が形成されている。マイクロレンズ121の凸面側は、接着剤層140により第1撮像素子110の第1絶縁層115に接着されている。したがって、マイクロレンズ121は、第1光電変換部113と第2光電変換部127との間に配置されているとも言える。
画像処理部10(輝度信号取得部の一例、色成分信号取得部の一例)は、複合型撮像素子100で生成された電気信号に所定の処理を施し、第1画像データおよび第2画像データを生成する。また、画像処理部10は、第1画像データおよび第2画像データよりLab色空間のL成分信号およびab成分信号を生成する機能を有する。
画像処理部10は、第1光電変換部113で生成された第1電気信号を第1回路部116および周辺回路を介して読み出す。画像処理部10は、第1光電変換部113から読み出した第1電気信号に対して、ゲイン調整処理やノイズ除去処理、A/D変換などの各種の処理を施し、第1画像データを生成する。さらに、画像処理部10は、第1画像データに対してLab変換を実行し、輝度信号としてのL成分信号を生成する。L成分信号は、第1撮像素子110の各画素に対して生成されるので、L成分信号は画像データでもある。つまり、L成分信号は、輝度信号で構成された輝度成分画像を表わしている。
画像処理部10は、第2撮像素子120で生成された第2電気信号に所定の処理を施し、第2画像データを生成する。また、画像処理部10は、第2画像データからLab色空間のab成分信号、つまり、a成分信号およびb成分信号を生成する。
具体的には、画像処理部10は、第2光電変換部127で生成された第2電気信号を第2回路部125および周辺回路を介して読み出す。画像処理部10は、第2光電変換部127から読み出した第2電気信号に対して、ゲイン調整処理やノイズ除去処理、A/D変換などの各種の処理を施し、第2画像データを生成する。さらに、画像処理部10は、第2電気画像データに対してLab変換を実行し、色成分信号としてのab成分信号(つまり、a成分信号およびb成分信号)を生成する。
画像処理部10は、a成分信号およびb成分信号を、後述する撮像画像データ生成部20へ出力する。また、画像処理部10は、第2画像データを後述する識別部40へ出力する。
撮像画像データ生成部20は、画像処理部10からL成分信号およびab成分信号を取得し、L成分信号およびab成分信号を合成(Lab合成)して撮像画像を表す撮像画像データを生成する。そして、撮像装置1は、撮像画像データ生成部20により生成された撮像画像データを撮像装置1の記憶部(図示せず)に記憶する。また、撮像装置1は、撮像画像データ生成部20により生成された撮像画像データを撮像装置1の表示部(図示せず)に表示する。
識別部40は、画像処理部10が生成した第2画像データから、識別情報(基本情報の一例)と照合することにより特定の顔領域を識別する。ここでの識別とは、画像内から被写体の特定の領域を検出することを言い、例えば、特定の顔領域を画像から検出することを言う。また、識別情報とは、画像内で識別の対象となる特定の領域を特徴付ける情報であり、例えば、特定の人物の顔領域に特徴的な色情報である。本実施形態では、識別部40は、識別情報としての色情報に基づいて特定の顔領域(特定特徴領域の一例であり、以下、特定顔領域という)を検出する。
さらに、識別部40は、第2画像データの表す画像内での特定顔領域の位置および大きさを表す情報(以下、領域指定情報という)を検出する。後述するフォーカス制御が特定顔領域に対して実行される場合には、領域指定情報はコントラスト検出部50により適宜読み出され、領域指定情報に基づいてフォーカス制御が実行される。
コントラスト検出部50(評価値検出部の一例)は、画像処理部10から第1画像データを取得し、取得した第1画像データに基づいてコントラスト値(評価値の一例)を検出する。コントラスト検出部50は、検出したコントラスト値をフォーカスレンズ駆動量算出部60へ出力する。コントラスト検出部50は、識別部40から特定顔領域の領域指定情報を取得し、特定顔領域に存在する画素に対応する第1画像データからコントラスト値を検出することができる。
フォーカスレンズ駆動部70は、アクチュエータを有しており、フォーカスレンズL1を駆動する。具体的には、フォーカスレンズ駆動部70は、フォーカスレンズ駆動量算出部60が算出した方向に、フォーカスレンズ駆動量算出部60が算出した駆動量だけ、フォーカスレンズL1を移動させる。
フォーカスレンズ駆動部70は、フォーカスレンズL1の位置を検出するための位置センサ(図示せず)を有している。フォーカスレンズ駆動部70は、位置センサにより検出したフォーカスレンズL1の位置を表す情報(以下、レンズ位置情報という)をフォーカスレンズ駆動量算出部60に出力する。
<1.2.1:複合型撮像素子での光電変換>
複合型撮像素子100に入射する光について、図を用いて説明する。図2では、第1光電変換部113へ光軸AZ方向に並行に入射する光の光路の一例が一点鎖線で示されている。また、図2に示された破線は、第2受光面126aに集光にされる光の光路の一例である。
光学系Lから複合型撮像素子100に入射する光は、第1撮像素子110に設けられた補強ガラス111に入射する。補強ガラス111を透過した光は、第1半導体層112(より詳細には、第1受光面112a)に到達する。
ここで、第1撮像素子110では、マイクロレンズが設置されていない。カラーフィルタの配置された撮像素子では、カラーフィルタを透過した光が隣接する光電変換部に入射して、混色が生じる可能性がある。そこで、混色を防ぐために、カラーフィルタの設けられた撮像素子では、集光のためのマイクロレンズが配置されている。
他方、本実施形態に係る第1撮像素子110では、カラーフィルタが省略されているので、混色が発生しない。そのため、マイクロレンズが省略されており、第1撮像素子110に入射する光は、マイクロレンズを介さずに第1光電変換部113に入射できる。したがって、光学系Lから第1撮像素子110に入射する光に関して、第1光電変換部113(より詳細には、第1受光面112a)に対する入射角の許容範囲は、マイクロレンズが設置されている場合に比べて大幅に拡がっている。その結果、撮像装置1では、第1撮像素子110にマイクロレンズが設けられている場合に比べて、光学系Lの設計の自由度が大きい。光学設計の自由度が増すと、光学系Lの小型化およびコストダウンを図ることができる。
第1光電変換部113に入射した光のうち、一部は第1光電変換部113を透過して第1絶縁層115に入射する。第1光電変換部113を透過した光のうち、さらに一部は第1マスク117に反射されて再び第1絶縁層115側から第1光電変換部113に入射する。このように、第1マスク117が設けられているので、第1光電変換部113における光の利用効率が向上する。
第1光電変換部113から出射した光の一部は、接着剤層140を透過し、第2撮像素子120に入射する。第2撮像素子120に入射した光は、マイクロレンズ121(より詳細には、レンズ部121a)の凸面に入射し、マイクロレンズ121により集光される。マイクロレンズ121の屈折率は接着剤層140の屈折率よりも大きいので、マイクロレンズ121による集光効果が得られる。
ここで、図2に破線で示すように、光学系Lにより集光された光は、第1光電変換部113により形成された第1受光面112aに焦点を結ぶ。したがって、第1光電変換部113を透過した光は、第2撮像素子120側に向かうにしたがって、再び発散することになる。第1光電変換部113を透過した光がそのまま発散を続けると、第2撮像素子120の所望の第2光電変換部127に光を入射させることが難しくなる。また、発散した光は、第2マスク124によりケラレやすくなる(つまり、遮断されやすくなる)。第2マスク124で光が遮断されると、第2光電変換部127入射する光量が減少し、第2撮像素子120の感度が低下してしまう。
さらに、第2撮像素子120は表面照射型の撮像素子であるので、マイクロレンズ121と第2光電変換部127との間にはカラーフィルタ層122および第2絶縁層123が配置されている。したがって、マイクロレンズ121と第2光電変換部127の間には、マイクロレンズ121により第2光電変換部127へ光を集光させるために必要な距離が確保される。
マイクロレンズ121により集光された光は、カラーフィルタ130に達する。カラーフィルタ130では、光は波長域の変換を受ける。つまり、カラーフィルタ130が第1フィルタ130a〜第3フィルタ130cのいずれであるかに応じて、カラーフィルタ130を透過した光は、赤色、青色、緑色のいずれかの色に対応する波長域の光に変換される。
カラーフィルタ130を透過した光は、第2絶縁層123に入射する。第2絶縁層123に入射した光は、第2回路部125の間を通過し、さらに、第2マスク124に設けられた第2開口124aを通過して第2半導体層126(より詳細には、第2受光面126a)に到達する。
第2光電変換部127の大きさは第1光電変換部113の大きさよりも大きいので、第2光電変換部127の感度が向上している。つまり、第2光電変換部127の大きさが第1光電変換部113の概ね4つ分の大きさであるため、第2光電変換部127の大きさが第1光電変換部113の大きさと同程度である場合に比べて、第2光電変換部127はより多くの光を受けることができる。なお、大きさとは、光軸AZ方向から見た場合の面積を意味している。
ここで、可視光が透明な媒質を透過する場合に、一般に短波長の光は減衰を受けやすい。例えば、青色に対応する波長域の光が第1撮像素子110を透過する際に受ける減衰効果は、赤色および緑色に対応する波長域の光が受ける減衰効果よりも大きい。したがって、カラーフィルタ130がいわゆるRGGB型のベイヤー配列を有する場合には、青色の光に対する第2撮像素子120の感度を十分に確保できない可能性がある。青色の光を精度良く光電変換できない場合は、撮像画像において青色の色再現性が低下するおそれがある。
以上のように、第2光電変換部127は第1光電変換部113よりも大きく設けられている。また、第2撮像素子120では、第2光電変換部127に光を集光するマイクロレンズ121およびRGBB型の配列を有するカラーフィルタ130が設けられている。そのため、第1撮像素子110を透過する際に青色の光が減衰している場合であっても、第2撮像素子120では青色成分の情報を多く取り込むことが可能である。
前述のように、光学系Lで集光された光は、第1光電変換部113に入射し、第1電気信号に変換される。さらに、第1撮像素子110を透過して第2光電変換部127に入射した光は、第2光電変換部127により第2電気信号に変換される。
第1光電変換部113で生成された第1電気信号は、第1回路部116および周辺回路を介して画像処理部10に読み出される。また、第2光電変換部127で生成された第2電気信号は、第2回路部125および周辺回路を介して画像処理部10へ読み出される。
《Lab変換》
画像処理部10により、第1撮像素子110から入力された第1電気信号に基づいて第1画像データが生成され、さらに、第1画像データからLab色空間のL成分信号が生成される。撮像装置1では、後述するオートフォーカス機能を実現する場合、第1撮像素子110の第1受光面112aに焦点が合うようにフォーカス制御が行なわれる。したがって、第1撮像素子110により取得される第1電気信号は、焦点の合った精度の高い輝度信号である。
また、画像処理部10により、第2撮像素子120から入力された第2電気信号に基づいて第2画像データが生成され、さらに、第2画像データに基づいてLab空間のab成分信号(つまり、a成分信号およびb成分信号)が生成される。
また、撮像装置1では、第1撮像素子110の第1受光面112aに焦点が合うようにフォーカス制御が行なわれるため、第2撮像素子120の第2受光面126aは、合焦位置とは異なる位置に存在する。このように、第2撮像素子120では、合焦していない状態で第2電気信号が取得され、この第2電気信号からab成分信号が生成される。
ここで、ab成分信号は、色成分情報のみを有する信号であるため、視覚特性上高い精度を要求されない。人間が色成分情報を認識する能力は、輝度情報を認識する能力に比べてかなり低い。したがって、若干精度の劣る色成分信号を用いた場合であっても、高精細な輝度信号と合成することにより、問題ないレベルのカラー画像を生成することができる。問題ないレベルのカラー画像とは、人間により解像度の高いカラー画像だと認識される画像である。
画像処理部10で生成されたL成分信号およびab成分信号は、撮像画像データ生成部20に入力される。撮像画像データ生成部20では、L成分信号とab成分信号とが合成されることにより、撮像画像データが生成される。撮像画像データは、高精細なL成分画像と、若干精度の低いab成分信号との合成により生成されるので、合成画像のデータとしては十分に精度が高い。
以上のように、撮像装置1では、第1撮像素子110および第2撮像素子120の感度を低下させることなく、第1撮像素子110の画素数を増やすことができるので、カラー画像でありかつ画質のよい撮像画像を取得することができる。
<1.2.3:識別処理>
撮像装置1は、特定顔領域の識別機能を有している。特定顔領域を識別する処理は、例えば、ユーザーがモード切替スイッチ(図示せず)を操作して識別機能を有効な状態に切り替えることにより、開始される。
識別機能が有効になると、ステップS1に進む。ステップS1では、識別部40は、画像処理部10から第2画像データを取得する。
ステップS2では、識別部40は、第2画像データの表す画像から顔領域を検出する。ここで、識別部40は、第2画像データと人の顔領域を特徴付ける特徴量とを比較し、第2画像データの表す画像において特徴量との類似度が高い領域を、人の顔領域として検出する。人の顔領域を特徴付ける特徴量としては、例えば、人の顔に特有の明暗を示した情報や肌色の色成分を示す情報を用いることができる。なお、第2画像データから検出される顔領域(検出顔領域)は、複数であってもよい。
ステップS4では、識別部40は、識別情報を取得する。本実施形態では、識別情報とは、特定の人物の顔領域(特定顔領域)を特徴付ける色情報である。
ステップS5では、識別部40は、抽出された検出色情報と識別情報とを比較する。具体的には、識別部40は、抽出された検出色情報と識別情報との類似度を算出し、類似度に基づいて検出色情報と識別情報とを比較する。
ステップS6では、識別部40は、検出色情報と識別情報とが一致しているかどうかを判定する。具体的には、算出された類似度が所定の閾値よりも大きい場合には、識別部40により、検出色情報と識別情報が一致していると判断される。一致している場合は、その時点で識別部40により選択されている検出顔領域が識別対象としての特定顔領域だと判断され、ステップS7に進む。他方で、検出色情報と識別情報とが一致していない場合は、ステップS8に進む。
ステップS8では、識別部40は、検出された全ての検出顔領域が識別情報と比較されたかどうかを判定する。全ての検出顔領域が識別情報と比較されていた場合は、特定顔領域は画像内に存在しないと判断され、識別処理が終了する。まだ識別情報と比較されていない検出顔領域がある場合は、ステップS5へ進む。処理がステップS7からステップS5へと進んだ場合には、まだ識別情報と比較されていない検出顔領域が識別部40により選択され、再びステップS5〜ステップS7もしくはステップS5〜ステップS8の処理が実行される。
<1.2.4:オートフォーカス>
撮像装置1は、オートフォーカス機能を有している。撮像装置1で実行されるフォーカス制御は、いわゆるコントラスト検出方式である。オートフォーカス機能は、例えば、レリーズボタン(図示せず)を半押しすることにより、有効な状態となる。オートフォーカス機能が有効になると、撮像装置1においてフォーカス制御が開始される。
撮像素子1のフォーカス制御においては、コントラスト検出部50は、画像処理部10から入力された第1画像データに基づいてコントラスト値を検出する。ここで、コントラスト値は、焦点がどの程度合っているかを評価するための評価値の一例である。なお、コントラスト検出部50には、第1画像データの代わりに、画像処理部10により第1画像データから生成されたL成分信号が入力されてもよい。この場合は、コントラスト検出部50は、L成分信号に基づいてコントラスト値を検出する。
フォーカスレンズ駆動部70は、フォーカスレンズ駆動量算出部60が決定した方向に、フォーカスレンズ駆動量算出部60が算出した駆動量だけフォーカスレンズL1を移動させる。さらに、フォーカスレンズ駆動部70は、フォーカスレンズL1の位置を検出し、フォーカスレンズL1の位置を表すレンズ位置情報をフォーカスレンズ駆動量算出部60に出力する。
フォーカスレンズ駆動量算出部60は、コントラスト検出部50から入力されたコントラスト値に基づいて、合焦状態が得られたかどうかを判定する。合焦状態が得られている場合は、フォーカスレンズ駆動量算出部60は、フォーカス制御を終了させる。合焦状態が得られていない場合は、フォーカスレンズ駆動量算出部60は、フォーカス制御を続行する。具体的には、フォーカスレンズ駆動量算出部60は、フォーカスレンズ駆動部70から入力されたレンズ位置情報およびコントラスト検出部50から入力されたコントラスト値に基づいて、フォーカスレンズL1を移動させる駆動量およびフォーカスレンズL1を駆動させる方向を新たに決定する。
フォーカス制御は、ビデオAF(Automatic Focusing)により実現されてもよい。ビデオAF方式では、フォーカスレンズを駆動させながらコントラスト値を検出することにより、コントラスト値のピーク値が検出される。つまり、合焦位置を一度通り越すようにフォーカスレンズを駆動することにより、コントラスト値のピーク値が検出される。コントラスト値はフォーカスレンズが合焦位置にあるときにピーク値をとるので、フォーカスレンズをピーク値の位置まで戻すことにより、合焦状態が実現される。
なお、前述のように、第1光電変換部113と第2光電変換部127とは互いに対応付けられた状態で配列されているので、コントラスト検出部50は、第1画像データの表す画像内の領域と第2画像データの表す画像内の領域とを対応させることができる。
以上のように、撮像装置1では、第1撮像素子110で取得された第1電気信号から第1画像データが生成され、第1画像データに基づいてフォーカス制御が実行される。一方で、撮像装置1では、第2撮像素子120で取得された第2電気信号から第2画像データが生成され、第2画像データに基づいて特定顔領域の追尾が実行される。
このように、フォーカス制御と追尾を並行して実行することにより、識別対象(つまり、追尾対象)に対するフォーカス制御の精度を向上させることができる。例えば、識別対象が高い精度で検出された場合に限り、識別部40により取得された領域指定情報に基づいてフォーカス制御が実行されるようにすれば、識別対象へのフォーカス制御をより確実に実行することができる。
以下では、撮像装置1による撮影処理について説明する。ここでは、フォーカス制御は識別部40により検出された特定顔領域に対して実行されるものとして説明する。また、撮像装置1により静止画像が撮影される場合を例に用いて説明する。
ユーザーは、撮像装置1に設けられたレリーズボタンを操作することにより、撮像装置1に対して撮影の実行を指示することができる。撮像装置1に設けられた電源スイッチ(図示せず)がユーザーの操作によりONの状態になると、撮像装置1は、レリーズボタンの操作を受け付け可能な待機状態となる。
待機状態にあるとき、撮像装置1は、識別機能がモード切替スイッチにより有効な状態に設定されているかどうかを判定する。識別機能が有効な状態に設定されている場合は、撮像装置1は、第1画像データおよび第2画像データを取得する。さらに、取得された第2電気画像データに基づいて、識別部40により、特定顔領域が識別される。識別機能が有効である場合は、撮像装置1は第1画像データおよび第2画像データの取得と識別処理とを繰り返し実行する。
ここで、識別処理とフォーカス制御とは、交互に実行されてもよいし、並行して実行されてもよい。識別処理とフォーカス制御とが並行して実行される場合には、識別部40が検出した領域指定情報がコントラスト検出部50により適宜読み出される。コントラスト検出部50は、読み出された領域指定情報に基づいて、特定顔領域のコントラスト値を算出する。
複合型撮像素子100の露光により得られた第1電気信号および第2電気信号は、画像処理部10によりL成分信号およびab成分信号に変換される。撮像画像データ生成部20は、画像処理部10から入力されたL成分信号およびab成分信号から撮像画像データを生成する。そして、撮像装置1は、撮像画像データ生成部20により生成された撮像画像データを撮像装置1の記憶部(図示せず)に記憶する。また、撮像装置1は、撮像画像データ生成部20により生成された撮像画像データを撮像装置1の表示部(図示せず)に表示する。
<1.3:効果>
以下に、本実施形態に係る複合型撮像素子100および撮像装置1の効果についてまとめる。
(1)
この複合型撮像素子100では、第1光電変換部113は第1基本色および第2基本色を含む光を受光可能であるので、第1光電変換部113に単一の基本色の光のみが入射する場合に比べて、第1光電変換部113で得られる電気信号の強度が増し、第1撮像素子110の感度が向上する。
このとき、光軸AZ方向から見た場合に、第2回路部125は第1回路部116と重なっているので、第1光電変換113に対応する位置に第2光電変換部127を配置することができる。その結果、第1光電変換部113を透過した入射光を第2光電変換部127に入射させやすくなるので、入射光が効率よく光電変換され、第2撮像素子120の感度が向上する。
(2)
この複合型撮像素子100では、カラーフィルタ130が第1光電変換部113と第2光電変換部127との間に配置されているので、第2光電変換部127で生成された第2電気信号から色成分信号を取得できる。つまり、第1光電変換部113により色成分信号を取得することなくカラー画像を生成できるので、第1撮像素子110においてはカラーフィルタを省略することができる。その結果、第1光電変換部113に入射する光の量が増加するので、第1撮像素子110の感度が向上し、複合型撮像素子100の感度が向上する。
この複合型撮像素子100では、第1撮像素子110が裏面照射型の撮像素子であるので、第1撮像素子110が表面照射型の撮像素子である場合に比べて、第1撮像素子110の感度を向上させることができる。
また、第2撮像素子120が表面照射型の撮像素子であるので、第2撮像素子120に入射した光を第2光電変換部127に集光させやすくなる。したがって、隣接する第2光電変換部127への光の漏れ出しを抑制できる。特に、第2撮像素子120にカラーフィルタ130が設けられている場合であっても、混色を防止することができる。
このように、複合型撮像素子100を用いれば、高感度が得られるとともに、混色が防止される。
この複合型撮像素子100では、第1光電変換部113と第2光電変換部127との間にマイクロレンズ121が設けられているので、第2撮像素子120に入射した光は、マイクロレンズ121により第2光電変換部127に集光される。このように、隣接する第2光電変換部127への光の漏れ出しが抑制されるので、第2撮像素子120にカラーフィルタ130が設けられている場合であっても、混色を防止することができる。
(5)
この複合型撮像素子100では、短波長側にある青色の光を透過させる第3フィルタ130cの個数が、赤色の光を透過させる第1フィルタ130aの個数および緑色の光を透過させる第2フィルタ130bの個数よりも大きい。したがって、第3フィルタ130cの個数が第1フィルタ130aの個数または第2フィルタ130bの個数と等しい場合、あるいは、第3フィルタ130cの個数が第1フィルタ130aの個数または第2フィルタ130bの個数よりも小さい場合に比べて、カラーフィルタ130は青色の光をより多く透過することができる。
(6)
この撮像装置1では、画像処理部10により第1電気信号に基づいて生成されたL成分信号と、画像処理部10により第2電気信号に基づいて生成されたab成分信号と、に基づいて、撮像画像データ生成部20により撮像画像データが生成される。したがって、L成分信号とab成分信号とが互いに補完され、カラー画像であってかつ精度の高い撮像画像データを生成することができる。
この撮像装置1では、識別部40は、第2画像データおよび所定の基本情報(つまり、特徴量および識別情報)に基づいて、基本情報により特徴付けられる特定顔領域を識別する。また、コントラスト検出部50は、フォーカス制御に用いるためのコントラスト値を特定顔領域に対応する第1画像データに基づいて検出する。
したがって、特定顔領域の識別処理とフォーカス制御とを並行して実行することができ、特定顔領域の識別に成功したかに応じてフォーカス制御を実行するかどうかを決定できるので、特定顔領域へのフォーカス制御を確実に実行することができる。
(8)
この複合型撮像素子100では、第2光電変換部127は第1光電変換部113の配列される第1ピッチよりも大きい第2ピッチで配列されているので、第2光電変換部127の大きさを第1光電変換部113の大きさよりも大きくすることができる。
特に、第2撮像素子120はカラーフィルタ130を透過した光を効率よく受光し高い感度で色成分信号を取得することができるので、色再現性が向上する。
(9)
この複合型撮像素子100では、第2撮像素子120が表面照射型の撮像素子であるので、隣接する第2光電変換部127の間での光の漏れが抑制される。その結果、この複合型撮像素子100を撮像に用いることにより、混色の少ない撮像画像を取得できる。
〔その他の実施形態〕
ここに開示される複合型撮像素子および撮像装置の具体的な構成は、前述の実施形態に限られず、発明の趣旨を逸脱しない範囲で種々の変更および修正が可能である。
前述の実施形態では、第1撮像素子110はCMOS型のイメージセンサであるとしたが、第1撮像素子110は、その他のイメージセンサ、例えば、CCD型のイメージセンサであってもよい。
また、前述の実施形態では第2撮像素子120はCCD型のイメージセンサであるとしたが、第2撮像素子120は、その他のイメージセンサ、例えば、CMOS型のイメージセンサであってもよい。
なお、第1撮像素子110としてCCD型のイメージセンサが用いられる場合には、第1回路部116には、垂直レジスタや電荷の転送路などの回路が設けられることになる。第2撮像素子120としてCMOS型のイメージセンサが用いられる場合には、第2回路部125には、信号線やトランジスタなどの回路が設けられることになる。
前述の実施形態では、第1光電変換部113に入射できる光は光の三原色(つまり、赤色、緑色、青色)のうち複数の基本色の光を含む光であるとしたが、光の色を表現する基本色として光の三原色以外が用いられてもよい。基本色は、可視光に含まれる波長域を表現できる色の組み合わせであればよいので、例えば、補色により表現される三原色(つまり、シアン、マゼンダ、イエロー)であっても構わない。
同様に、前述の実施形態では、カラーフィルタ130として光の三原色を用いた原色フィルタが採用されていたが、カラーフィルタ130に用いられる色は光の三原色以外であっても構わない。例えば、カラーフィルタ130として補色フィルタが用いられてもよい。カラーフィルタ130が補色フィルタである場合であっても、少なくとも、第2撮像素子120により生成された第2電気信号から色成分信号を取得することができる。
(C)
前述の実施形態では、第1光電変換部113および第2光電変換部127の形状は、光軸AZ方向から見た場合に四角形であるとしたが、第1光電変換部113および第2光電変換部127の形状は、それ以外の形状(例えば、4角形以外の多角形や円形)であってもよい。
また、前述の実施形態では、第1光電変換部113および第2光電変換部127は、互いに直交するX軸方向およびY軸方向に配列されているが、配列される方向は必ずしも平面上で互いに直交していなくてよい。
(D)
前述の実施形態では、第1マスク117が設けられていたが、第1マスク117に光を反射させなくても第1撮像素子110で十分な感度が得られる場合は、第1マスク117は省略されても構わない。第1マスク117を省略した場合であっても、第2光電変換部127へ入射する光の量が確保されるので、少なくとも第2撮像素子120の感度を高めることができる。
(E)
前述の実施形態では、第1撮像素子110は補強ガラス111を有していたが、第1半導体層112の第1受光面112a側に配置される部材としては、補強ガラス以外の部材が設けられていてもよい。2つ以上の基本色を含んだ光が第1光電変換部113に入射できるようにするためには、第1半導体層112の第1受光面112a側に配置される部材が可視光に対して透明であればよい。したがって、補強ガラス111以外の部材が用いられた場合であっても、第1撮像素子110の感度を高めることができる。例えば、第1半導体層112の第1受光面112a側に二酸化シリコンの保護膜を形成し、複合型撮像素子100全体をパッケージで保護することにより、補強ガラス111が省略されても構わない。
前述の実施形態では、マイクロレンズ121と第1撮像素子110と間に充填された媒質として接着剤が用いられていたが、媒質の屈折率がマイクロレンズ121の屈折率よりも小さい場合には、接着剤以外の媒質が用いられても構わない。例えば、接着剤層140の代わりに空気層が設けられていてもよい。ただし、第1撮像素子110と第2撮像素子120とを位置が合わさった状態で互いに固定する必要があるので、接着剤層140が設けられていることが望ましい。
また、前述の実施形態では第2光電変換部127に光を集光する集光部としてマイクロレンズ121が設けられていたが、集光部にはこれ以外の部材が用いられてもよい。つまり、第2光電変換部127に光が集光されればよいので、例えば、第1絶縁層115とカラーフィルタ層122との間に光を導く媒質を配置し、その媒質の屈折率を連続的に変化させることにより第2光電変換部127に光を集光させてもよい。
前述の実施形態では、画像処理部10が輝度信号としてのL成分信号を生成し、その一方で、色成分信号としてのab成分信号を生成していたが、輝度信号を生成する輝度信号生成部と色成分信号を生成する色成分信号生成部とが別個に設けられていてもよい。同様に、第1画像データを生成する機能部と第2画像データを生成する機能部とが別々に設けられていてもよい。
また、前述の実施形態で説明した撮像装置において、各ブロックの処理をそれぞれ個別のハードウェアにより実現してもよいし、ハードウェアに幾つかの異なるブロックの処理を実行させるようにしてもよい。例えば、マイクロコンピュータに各種のプログラムを読み込ませることにより、マイクロコンピュータに撮像装置の各ブロックの処理を行なわせてもよい。
前述の実施形態では、検出される特徴領域は顔領域であったが、輝度信号を用いて検出できる画像領域であれば、特徴領域は顔領域以外であってもよい。
(I)
前述の実施形態では、撮像装置1が静止画像を取得する場合について説明したが、撮像装置1は動画像を取得する機能を有していてもよい。つまり、撮像装置1は撮像素子により撮像画像を取得できればよく、撮像装置1は、デジタルカメラだけではなく、デジタルビデオカメラやデジタルスチルカメラ、さらには撮像の可能な携帯電話などの電子機器であってもよい。
10 画像処理部(輝度信号取得部の一例、色成分信号取得部の一例)
20 撮像画像データ生成部
40 識別部
50 コントラスト検出部(評価値検出部の一例)
60 フォーカスレンズ駆動量算出部
70 フォーカスレンズ駆動部
100 複合型撮像素子
110 第1撮像素子
111 補強ガラス
112 第1半導体層
112a 第1受光面
113 第1光電変換部
114 第1分離領域
115 第1絶縁層
116 第1回路部
117 第1マスク
117a 第1開口
120 第2撮像素子
121 マイクロレンズ(集光部の一例)
121a レンズ部
122 カラーフィルタ層
123 第2絶縁層
124 第2マスク
124a 第2開口
125 第2回路部
126 第2半導体層
126a 第2受光面
127 第2光電変換部
128 第2分離領域
129 Si基板
130 カラーフィルタ
130a 第1フィルタ
130b 第2フィルタ
130c 第3フィルタ
131 パターン要素
140 接着剤層
L 光学系
L1 フォーカスレンズ
Claims (7)
- 第1基本色および前記第1基本色と異なる第2基本色を含む光を受光可能な第1受光面を有する第1撮像素子と、前記第1撮像素子に光軸方向に重ね合わされ、前記第1受光面に平行な第2受光面を有する第2撮像素子とを備え、
前記第1撮像素子は、前記第1受光面に沿って配列され、受光した光を第1電気信号に変換する複数の第1光電変換部と、前記複数の第1光電変換部の間に設けられ、第1光電変換部の境界を形成する第1分離領域と、前記第1分離領域と重なる位置であって、前記第1光電変換部の第1受光面とは反対側に配置され、前記第1電気信号が伝送される第1回路部とを有し、
前記第2撮像素子は、前記第2受光面に沿って配列され、前記第1光電変換部から出射する光を受光して第2電気信号に変換する複数の第2光電変換部と、前記複数の第2光電変換部の間に設けられ、第2光電変換部の境界を形成する第2分離領域と、前記第2分離領域と重なる位置であって、前記第2受光面の第1撮像素子側に前記第1回路部と重なる位置に配置され、前記第2電気信号が伝送される第2回路部とを有し、
さらに前記第1光電変換部と前記第2光電変換部との間に光の波長域を変化させるカラーフィルタが配置されている、
複合型撮像素子。 - 前記複数の第1光電変換部は、第1ピッチで配列されており、前記複数の第2光電変換部は、前記第1ピッチとは異なる第2ピッチで配列されている請求項1に記載の複合型撮像素子。
- 前記第1光電変換部と前記第2光電変換部との間に配置され前記第2光電変換部へ光を集光する集光部をさらに備える、
請求項1に記載の複合型撮像素子。 - 前記カラーフィルタは、第1波長域の光を透過させる第1フィルタと、第2波長域の光を透過させる第2フィルタと、前記第1波長域および前記第2波長域とは異なる第3波長域の光を透過させる第3フィルタと、を含んでおり、
前記第3波長域は、前記第1波長域および前記第2波長域よりも短波長側にあり、
前記第3フィルタの個数は、前記第1フィルタの個数および前記第2フィルタの個数よりも大きい、
請求項1に記載の複合型撮像素子。 - 被写体からの光を集光し、前記被写体の光学像を形成する光学系と、
前記光学系で集光された光を受光可能な請求項1に記載の複合型撮像素子と、
を備える撮像装置。 - 前記第1電気信号に基づいて前記光学像の輝度信号を生成する輝度信号取得部と、
前記第2電気信号に基づいて前記光学像の色成分信号を生成する色成分信号取得部と、
前記輝度信号および前記色成分信号に基づいて前記被写体の画像を表す撮像画像データを生成する撮像画像データ生成部と、をさらに備える、
請求項5に記載の撮像装置。 - 前記第1電気信号から第1画像データを生成し、前記第2電気信号から第2画像データを生成する画像処理部と、
前記第2画像データおよび所定の基本情報に基づいて前記基本情報により特徴付けられる前記被写体の特定特徴領域を識別する識別部と、
フォーカス制御に用いるための評価値を前記特定特徴領域に対応する前記第1画像データに基づいて検出する評価値検出部をさらに備える、
請求項5に記載の撮像装置。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2010109023A JP5554139B2 (ja) | 2010-05-11 | 2010-05-11 | 複合型撮像素子およびそれを備えた撮像装置 |
US13/098,485 US8654224B2 (en) | 2010-05-11 | 2011-05-02 | Composite imaging element and imaging device equipped with same |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2010109023A JP5554139B2 (ja) | 2010-05-11 | 2010-05-11 | 複合型撮像素子およびそれを備えた撮像装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2011238773A JP2011238773A (ja) | 2011-11-24 |
JP5554139B2 true JP5554139B2 (ja) | 2014-07-23 |
Family
ID=44911482
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2010109023A Active JP5554139B2 (ja) | 2010-05-11 | 2010-05-11 | 複合型撮像素子およびそれを備えた撮像装置 |
Country Status (2)
Country | Link |
---|---|
US (1) | US8654224B2 (ja) |
JP (1) | JP5554139B2 (ja) |
Families Citing this family (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2011054911A (ja) * | 2009-09-04 | 2011-03-17 | Sony Corp | 固体撮像装置、および、その製造方法、電子機器 |
JP2012084649A (ja) * | 2010-10-08 | 2012-04-26 | Nippon Hoso Kyokai <Nhk> | 積層型撮像素子 |
JP2013070030A (ja) * | 2011-09-06 | 2013-04-18 | Sony Corp | 撮像素子、電子機器、並びに、情報処理装置 |
DE102015109044B4 (de) * | 2015-06-09 | 2020-10-08 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Bauteil zum Detektieren elektromagnetischer Strahlung |
JP6860000B2 (ja) * | 2016-03-03 | 2021-04-14 | ソニー株式会社 | 医療用画像処理装置、システム、方法、プログラム、画像処理システム及び医療用画像処理システム |
WO2017212946A1 (ja) * | 2016-06-09 | 2017-12-14 | オリンパス株式会社 | 画像処理装置 |
CN113164054A (zh) * | 2018-11-30 | 2021-07-23 | 直观外科手术操作公司 | 医学成像系统和方法 |
CN111918005B (zh) * | 2020-09-16 | 2023-05-16 | Oppo广东移动通信有限公司 | 图像传感器、终端、数据处理方法、装置及存储介质 |
Family Cites Families (19)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0222973A (ja) * | 1988-07-12 | 1990-01-25 | Mitsubishi Electric Corp | 固体撮像装置 |
US5965875A (en) * | 1998-04-24 | 1999-10-12 | Foveon, Inc. | Color separation in an active pixel cell imaging array using a triple-well structure |
JP2004165242A (ja) | 2002-11-11 | 2004-06-10 | Canon Inc | カラー撮像素子及びカラー受光素子 |
US7129466B2 (en) * | 2002-05-08 | 2006-10-31 | Canon Kabushiki Kaisha | Color image pickup device and color light-receiving device |
JP2005252411A (ja) * | 2004-03-01 | 2005-09-15 | Sharp Corp | 固体撮像装置および電子情報機器 |
JP2005353996A (ja) | 2004-06-14 | 2005-12-22 | Sony Corp | 固体撮像素子とその製造方法、並びに半導体装置とその製造方法 |
KR100703376B1 (ko) * | 2005-05-10 | 2007-04-03 | 삼성전자주식회사 | 매설된 렌즈를 갖는 이미지 센서 및 그 제조 방법 |
JP2007005629A (ja) * | 2005-06-24 | 2007-01-11 | Matsushita Electric Ind Co Ltd | 固体撮像装置 |
JP4984634B2 (ja) * | 2005-07-21 | 2012-07-25 | ソニー株式会社 | 物理情報取得方法および物理情報取得装置 |
US7728904B2 (en) * | 2005-11-08 | 2010-06-01 | Qualcomm Incorporated | Skin color prioritized automatic focus control via sensor-dependent skin color detection |
WO2007086352A1 (ja) * | 2006-01-25 | 2007-08-02 | Kyocera Corporation | 撮像素子及びカメラモジュール |
EP1970959A3 (en) * | 2007-03-12 | 2013-07-31 | FUJIFILM Corporation | Photoelectric conversion element and solid-state imaging device |
JP2008227250A (ja) * | 2007-03-14 | 2008-09-25 | Fujifilm Corp | 複合型固体撮像素子 |
JP5414216B2 (ja) * | 2008-08-07 | 2014-02-12 | キヤノン株式会社 | 撮像装置、その制御方法及びプログラム |
JP5262519B2 (ja) * | 2008-09-26 | 2013-08-14 | 凸版印刷株式会社 | カラーフィルタ及びその製造方法、ならびにカラーフィルタを有する固体撮像素子 |
JP5332572B2 (ja) * | 2008-12-08 | 2013-11-06 | ソニー株式会社 | 固体撮像装置、及び電子機器 |
US20100157117A1 (en) * | 2008-12-18 | 2010-06-24 | Yu Wang | Vertical stack of image sensors with cutoff color filters |
US8076746B2 (en) * | 2009-06-26 | 2011-12-13 | Omnivision Technologies, Inc. | Back-illuminated image sensors having both frontside and backside photodetectors |
US20110013056A1 (en) * | 2009-07-17 | 2011-01-20 | Searete Llc, A Limited Liability Corporation Of The State Of Delaware | Color filters and demosaicing techniques for digital imaging |
-
2010
- 2010-05-11 JP JP2010109023A patent/JP5554139B2/ja active Active
-
2011
- 2011-05-02 US US13/098,485 patent/US8654224B2/en active Active
Also Published As
Publication number | Publication date |
---|---|
US8654224B2 (en) | 2014-02-18 |
US20110279716A1 (en) | 2011-11-17 |
JP2011238773A (ja) | 2011-11-24 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5554139B2 (ja) | 複合型撮像素子およびそれを備えた撮像装置 | |
US9681057B2 (en) | Exposure timing manipulation in a multi-lens camera | |
JP5451111B2 (ja) | 焦点検出装置およびそれを有する撮像装置 | |
WO2016129406A1 (ja) | 撮像素子、および電子装置 | |
JP6555264B2 (ja) | 複眼撮像装置 | |
US8289422B2 (en) | Image capture device | |
US8218017B2 (en) | Image pickup apparatus and camera | |
JP5956718B2 (ja) | 撮像素子及び撮像装置 | |
JP2013157442A (ja) | 撮像素子および焦点検出装置 | |
JP4983271B2 (ja) | 撮像装置 | |
US11747714B2 (en) | Image sensor and image-capturing device that selects pixel signal for focal position | |
JP5067148B2 (ja) | 撮像素子、焦点検出装置および撮像装置 | |
US8860814B2 (en) | Solid-state imaging element and imaging device | |
JP5532766B2 (ja) | 撮像素子及び撮像装置 | |
WO2015115204A1 (ja) | 固体撮像素子および電子機器 | |
JP2005167356A (ja) | 撮像素子 | |
WO2017130725A1 (ja) | 焦点検出装置、撮像装置 | |
JP6349624B2 (ja) | 撮像素子および焦点検出装置 | |
JP2015159231A (ja) | 固体撮像装置 | |
JP6010922B2 (ja) | 撮像装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20121213 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20131227 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20140107 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20140227 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20140513 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20140528 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 5554139 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |