WO2013089036A1

WO2013089036A1 - 撮像装置

Info

Publication number: WO2013089036A1
Application number: PCT/JP2012/081798
Authority: WO
Inventors: 小澤　謙; 正則岩崎; 英昭茂木
Original assignee: ソニー株式会社
Priority date: 2011-12-16
Filing date: 2012-12-07
Publication date: 2013-06-20
Also published as: US20140320695A1; CN103999458A; JPWO2013089036A1; US9681059B2; EP2793470A1

Abstract

撮像装置は、第１撮像素子４１、第２撮像素子５１、第３撮像素子６１及び第４撮像素子７１を備えた撮像部３０、並びに、画像処理部１１を有し、第４撮像素子７１の感度は、第１撮像素子４１～第３撮像素子６１の感度よりも低く、画像処理部１１は、第１撮像素子４１～第３撮像素子６１からの出力によって高感度画像データを生成し、第４撮像素子７１からの出力によって低感度画像データを生成し、更に、低感度画像データ又は高感度画像データから得られる低照度画像領域においては低照度画像領域に対応する高感度画像データを用いて、また、高照度画像領域に対応する低感度画像データを用いて、合成画像を生成する。

Description

撮像装置

　本開示は、撮像装置、具体的には、ハイ・ダイナミック・レンジ（High Dynamic Range，ＨＤＲ）合成によって画像を得る撮像装置に関する。

　撮像素子が２次元マトリクス状に配置された撮像装置では、複数回数の撮像を行うことで複数の画像データを取得し、これらの複数の画像データを合成する技術が、例えば、特開２０００－２４４７９７から周知である。あるいは又、明暗差の大きな撮影シーンに対応するために、静止画において露出時間を異ならせてＮ回（Ｎ≧２）の撮像を行うことで感度の異なるＮ個の画像データを取得し、これらのＮ個の画像データを合成することによってＨＤＲ合成された画像を取得している。しかしながら、このようなＮ個の画像データを取得する方法では、Ｎ個の画像データを取得するために或る程度の時間を要するため、同時性が確保できないし、Ｎ個の画像データの合成に起因してアーティファクトが発生し、また、動画への対応が困難である。

　感度の異なる撮像素子を隣接して配置し、感度の高い撮像素子からの信号と感度の低い撮像素子からの信号を合成することでダイナミックレンジの拡大を図る技術が、特開２００６－２７０３６４から周知である。また、特開２００６－２５３８７６に開示された技術にあっては、シャッタスピードの制御により、撮像部における領域毎に撮像素子の電荷蓄積時間が異なるように制御して、１つの画像データ内において感度差を付けている。

特開２０００－２４４７９７特開２００６－２７０３６４特開２００６－２５３８７６

　特開２００６－２７０３６４にあっては、ハニカム状に配列された撮像素子の中に補色フィルターを備えた小さな撮像素子を配置することで、１単位フレームの中で感度差のある画像データを２つ、取得することが可能である。しかしながら、この方式では、撮像素子全体の縮小化に伴い補色フィルターを備えた小さな撮像素子を形成することが困難となるし、カラーフィルターの配列が複雑となる。また、カラーフィルター材料やプロセスコストの増加を招くといった問題がある。特開２００６－２５３８７６に開示された技術における領域毎のシャッタスピードの制御は、撮像装置の制御回路及び制御アルゴリズムの複雑化を招き、結果としてコスト高になってしまう。更には、これらの特許公開公報に開示された技術にあっては、解像度回復、ジャギー解消、色ノイズ補償といった画像処理に対するコストの増加や撮像装置の構造の複雑化を招く。

　従って、本開示の目的は、ハイ・ダイナミック・レンジ合成によって画像を得ることができ、しかも、動画の撮影にも容易に対応し得る、簡素な構成、構造を有する撮像装置を提供することにある。

　上記の目的を達成するための本開示の第１の態様に係る撮像装置は、
　第１フィルター及び第１光電変換素子を備え、第１波長帯の光を受光する第１撮像素子、
　第２フィルター及び第２光電変換素子を備え、第１波長帯のピーク波長よりも長いピーク波長を有する第２波長帯の光を受光する第２撮像素子、
　第３フィルター及び第３光電変換素子を備え、第２波長帯のピーク波長よりも長いピーク波長を有する第３波長帯の光を受光する第３撮像素子、及び、
　第４フィルター及び第４光電変換素子を備え、第１波長帯、第２波長帯及び第３波長帯の光を受光する第４撮像素子、
から成る撮像素子ユニットが２次元マトリクス状に配列された撮像部、並びに、
　画像処理部、
を備えた撮像装置であって、
　第４フィルターの光透過率は、第１フィルターの光透過率、第２フィルターの光透過率及び第３フィルターの光透過率よりも低く、
　画像処理部は、第１撮像素子、第２撮像素子及び第３撮像素子からの出力によって高感度画像データを生成し、第４撮像素子からの出力によって低感度画像データを生成し、
　画像処理部は、更に、低感度画像データ又は高感度画像データから得られる低照度画像領域においては低照度画像領域に対応する高感度画像データを用いて、また、低感度画像データ又は高感度画像データから得られる高照度画像領域においては高照度画像領域に対応する低感度画像データを用いて、合成画像を生成する。本開示の第１の態様に係る撮像装置によって、画像の内の一部分は単色の画像であり、残りの部分はカラーの画像である合成画像を得ることができる。

　上記の目的を達成するための本開示の第２の態様に係る撮像装置は、
　第１光電変換素子を備え、可視光帯の光を受光する第１撮像素子及び第３撮像素子と、
　減光フィルター及び第２光電変換素子を備え、可視光帯の光を受光する第２撮像素子及び第４撮像素子、
とから成る撮像素子ユニットが２次元マトリクス状に配列された撮像部、並びに、
　画像処理部、
を備えた撮像装置であって、
　画像処理部は、第１撮像素子及び第３撮像素子からの出力によって高感度画像データを生成し、第２撮像素子及び第４撮像素子からの出力によって低感度画像データを生成し、
　画像処理部は、更に、低感度画像データ又は高感度画像データから得られる低照度画像領域においては低照度画像領域に対応する高感度画像データを用いて、また、低感度画像データ又は高感度画像データから得られる高照度画像領域においては高照度画像領域に対応する低感度画像データを用いて、合成画像を生成する。本開示の第２の態様に係る撮像装置によって、単色の画像を得ることができる。

　上記の目的を達成するための本開示の第３の態様に係る撮像装置は、
　第１フィルター及び第１光電変換素子を備え、第１波長帯の光を受光する第１撮像素子、
　第２フィルター及び第２光電変換素子を備え、第１波長帯のピーク波長よりも長いピーク波長を有する第２波長帯の光を受光する第２撮像素子、
　第３フィルター及び第３光電変換素子を備え、第２波長帯のピーク波長よりも長いピーク波長を有する第３波長帯の光を受光する第３撮像素子、及び、
　第４フィルター及び第４光電変換素子を備え、第１波長帯、第２波長帯及び第３波長帯の光を受光する第４撮像素子、
から成る撮像素子サブユニットの４つから構成された撮像素子ユニットが２次元マトリクス状に配列された撮像部、並びに、
　画像処理部、
を備えた撮像装置であって、
　第４フィルターの光透過率は、第１フィルターの光透過率、第２フィルターの光透過率及び第３フィルターの光透過率よりも低く、
　画像処理部は、撮像素子ユニットを構成する４つの撮像素子サブユニットにおける第１撮像素子の出力合計、第２撮像素子の出力合計及び第３撮像素子の出力合計に基づき高感度画像データを生成し、４つの撮像素子サブユニットのそれぞれにおける第４撮像素子からの出力によって低感度画像データを生成し、
　画像処理部は、更に、低感度画像データ又は高感度画像データから得られる低照度画像領域においては低照度画像領域に対応する高感度画像データを用いて、また、低感度画像データ又は高感度画像データから得られる高照度画像領域においては高照度画像領域に対応する低感度画像データを用いて、合成画像を生成する。本開示の第３の態様に係る撮像装置によって、画像の内の一部分は単色の画像であり、残りの部分はカラーの画像である合成画像を得ることができる。

　上記の目的を達成するための本開示の第４の態様に係る撮像装置は、
　第１光電変換素子を備え、可視光帯の光を受光する第１撮像素子、及び、
　減光フィルター及び第２光電変換素子を備え、可視光帯の光を受光する第２撮像素子、
から成る撮像素子ユニットが配列された撮像部、並びに、
　画像処理部、
を備えた撮像装置であって、
　画像処理部は、第１撮像素子からの出力によって高感度画像データを生成し、第２撮像素子からの出力によって低感度画像データを生成し、
　画像処理部は、更に、低感度画像データ又は高感度画像データから得られる低照度画像領域においては低照度画像領域に対応する高感度画像データを用いて、また、低感度画像データ又は高感度画像データから得られる高照度画像領域においては高照度画像領域に対応する低感度画像データを用いて、合成画像を生成する。本開示の第４の態様に係る撮像装置によって、単色の画像を得ることができる。

　撮像装置の適用分野、使用分野に依っては、明暗差の大きな撮影シーンにおける高照度部分には必ずしも色情報が要求されず、所謂白トビしていない、グレーイメージでの情報取得でも、実用上、何ら問題が無い。このような分野として、例えば、「情報が欠落しないこと」が強く要求される監視用カメラや車載用カメラを挙げることができる。本開示の撮像装置にあっては、基本的に、１回の撮像において、撮像部からの出力に基づいて低感度画像データ及び高感度画像データを生成し、画像処理部は、低照度画像領域においては高感度画像データを用いて、また、高照度画像領域においては低感度画像データを用いて、合成画像を生成する。従って、撮像装置は、例えば、従来のベイヤ配列を有する撮像装置と同様の簡素な構成、構造であるにも拘わらず、ハイ・ダイナミック・レンジ合成に基づき容易に画像を得ることができるし、動画の撮影に容易に対応し得る。それ故、ハイ・ダイナミック・レンジ合成方式に基づく安価な撮像装置を提供することができる。

図１Ａ及び図１Ｂは、それぞれ、実施例１の撮像装置における撮像部の概念図、並びに、第１撮像素子、第２撮像素子、第３撮像素子及び第４撮像素子の受光特性を模式的に示す図である。図２Ａ及び図２Ｂは、実施例１の撮像装置における撮像部の動作を説明するための概念図である。図３Ａ及び図３Ｂは、実施例１の撮像装置における撮像部の動作を説明するための概念図である。図４は、実施例１の撮像装置における撮像部の動作を説明するための概念図である。図５は、実施例１の撮像装置における撮像部の動作を説明するための概念図である。図６は、実施例１の撮像装置での撮像状態を模式的に示す図である。図７Ａ及び図７Ｂは、それぞれ、実施例１の撮像装置の概念図、及び、撮像素子の模式的な一部断面図である。図８は、実施例２の撮像装置において、図７Ｂの矢印Ｂ－Ｂで撮像素子を切断したと想定したときの遮光層の模式的な部分的平面図である。図９Ａ及び図９Ｂは、それぞれ、実施例３の撮像装置における第１撮像素子、第２撮像素子、第３撮像素子及び第４撮像素子の感度比、並びに、第１撮像素子、第２撮像素子、第３撮像素子及び第４撮像素子のゲイン比を示す図である。図１０Ａ及び図１０Ｂは、それぞれ、実施例３の撮像装置における高感度画像データの最終出力比、及び、低感度画像データの最終出力比を示す図である。図１１Ａ及び図１１Ｂは、それぞれ、実施例４の撮像装置における撮像状態（露出時間）を時間の経過と共に模式的に示す図、並びに、第１撮像素子、第２撮像素子、第３撮像素子及び第４撮像素子の出力を模式的に示す図である。図１２は、リソグラフィ技術に基づきフィルターを形成するためのコーナーセリフパターン付きの露光用マスクの模式的な部分的平面図である。図１３Ａ及び図１３Ｂは、実施例５の第１フィルター、第２フィルター、第３フィルター及び第４フィルターを形成する方法を説明するための各フィルターの模式的な部分的平面図である。図１４Ａ及び図１４Ｂは、図１３Ｂに引き続き、実施例５の第１フィルター、第２フィルター、第３フィルター及び第４フィルターを形成する方法を説明するための各フィルターの模式的な部分的平面図である。図１５Ａ及び図１５Ｂは、実施例５の第１フィルター、第２フィルター、第３フィルター及び第４フィルターを形成する別の方法を説明するための各フィルターの模式的な部分的平面図である。図１６Ａは、図１５Ｂに引き続き、実施例５の第１フィルター、第２フィルター、第３フィルター及び第４フィルターを形成する別の方法を説明するための各フィルターの模式的な部分的平面図であり、図１６Ｂは、実施例５の第１フィルター、第２フィルター、第３フィルター及び第４フィルターを形成する更に別の方法を説明するための第２フィルター等の模式的な部分的平面図である。図１７Ａ及び図１７Ｂは、それぞれ、実施例６の撮像装置における撮像部の概念図、並びに、第１撮像素子と第３撮像素子及び第２撮像素子と第４撮像素子の受光特性を模式的に示す図である。図１８Ａ及び図１８Ｂは、実施例６の撮像装置における撮像部の動作を説明するための概念図である。図１９Ａ及び図１９Ｂは、実施例６の撮像装置における撮像部の動作を説明するための概念図である。図２０は、実施例６の撮像装置における撮像部の動作を説明するための概念図である。図２１は、実施例６の撮像装置における撮像部の動作を説明するための概念図である。図２２は、実施例７の撮像装置において、図７Ｂの矢印Ｂ－Ｂで撮像素子を切断したと想定したときの遮光層の模式的な部分的平面図である。図２３Ａ及び図２３Ｂは、それぞれ、実施例７の撮像装置における第１撮像素子、第２撮像素子、第３撮像素子及び第４撮像素子の感度比、並びに、第１撮像素子、第２撮像素子、第３撮像素子及び第４撮像素子の開口の大きさの違いによるゲイン比を示す図である。図２４Ａ及び図２４Ｂは、それぞれ、実施例７の撮像装置における高感度画像データの最終出力比を示す図である。図２５Ａ及び図２５Ｂは、それぞれ、実施例７の撮像装置における低感度画像データの最終出力比を示す図である。図２６は、実施例１１の撮像装置における撮像部の概念図である。図２７Ａ及び図２７Ｂは、実施例１１の撮像装置における撮像部の動作を説明するための概念図である。図２８Ａ及び図２８Ｂは、実施例１１の撮像装置における撮像部の動作を説明するための概念図である。図２９は、実施例１１の撮像装置における撮像部の動作を説明するための概念図である。

　以下、図面を参照して、実施例に基づき本開示を説明するが、本開示は実施例に限定されるものではなく、実施例における種々の数値や材料は例示である。尚、説明は、以下の順序で行う。
１．本開示の第１の態様～第４の態様に係る撮像装置、全般に関する説明
２．実施例１（本開示の第１の態様に係る撮像装置）
３．実施例２（実施例１の変形）
４．実施例３（実施例１の別の変形）
５．実施例４（実施例１の更に別の変形）
６．実施例５（実施例１～実施例４の変形）
７．実施例６（本開示の第２の態様及び第４の態様に係る撮像装置）
８．実施例７（実施例６の変形）
９．実施例８（実施例６の別の変形）
１０．実施例９（実施例６の更に別の変形）
１１．実施例１０（実施例１及び実施例６の変形）
１２．実施例１１（本開示の第３の態様に係る撮像装置）、その他

［本開示の第１の態様～第４の態様に係る撮像装置、全般に関する説明］
　本開示の第１の態様に係る撮像装置において、
　第１フィルターと第１光電変換素子との間には第１開口部が形成されており、
　第２フィルターと第２光電変換素子との間には第２開口部が形成されており、
　第３フィルターと第３光電変換素子との間には第３開口部が形成されており、
　第４フィルターと第４光電変換素子との間には第４開口部が形成されており、
　第４開口部は、第１開口部、第２開口部及び第３開口部よりも小さい形態とすることができる。このような形態とすることで、第１撮像素子、第２撮像素子及び第３撮像素子が受光する光量よりも、第４撮像素子の受光する光量を低下させることができる結果、ダイナミックレンジの拡大を図ることができる。開口部は、フィルターと光電変換素子との間に形成される遮光層に開口部を形成することで得ることができる。開口部の平面形状として、円形、あるいは、正多角形（例えば、正五角形、正六角形、正七角形、正八角形）を挙げることができる。尚、正多角形には、疑似正多角形（各辺が曲線で構成された正多角形、頂点が丸みを帯びた正多角形）が包含される。次に説明する本開示の第２の態様に係る撮像装置においても同様とすることができる。

　また、本開示の第２の態様に係る撮像装置において、
　第１光電変換素子の光入射領域には第１開口部が形成されており、
　減光フィルターと第２光電変換素子との間には第２開口部が形成されており、
　第３光電変換素子の光入射領域には第３開口部が形成されており、
　減光フィルターと第４光電変換素子との間には第４開口部が形成されており、
　第３開口部は第１開口部よりも小さく、第４開口部は第２開口部よりも小さい形態とすることができる。このような形態とすることで、第１撮像素子が受光する光量よりも第３撮像素子の受光する光量を低下させることができ、また、第２撮像素子が受光する光量よりも第４撮像素子の受光する光量を低下させることができる結果、ダイナミックレンジの拡大を図ることができる。開口部は、減光フィルターと光電変換素子との間に形成される遮光層に開口部を形成することで得ることができる。

　上記の好ましい形態を含む本開示の第１の態様に係る撮像装置、あるいは、本開示の第３の態様に係る撮像装置において、画像処理部は、第１撮像素子、第２撮像素子及び第３撮像素子からの出力を調整する第１ゲイン調整部、並びに、第４撮像素子からの出力を調整する第２ゲイン調整部を備えている形態とすることができ、この場合、第１ゲイン調整部による第１撮像素子、第２撮像素子及び第３撮像素子からの出力に対する調整係数をＧｎ₁、第２ゲイン調整部による第４撮像素子からの出力に対する調整係数をＧｎ₂としたとき、
Ｇｎ₁／Ｇｎ₂≧１
を満足することが好ましい。（Ｇｎ₁／Ｇｎ₂）の値として、例えば、具体的には、２、４、８等を例示することができる。このような形態によっても、ダイナミックレンジの拡大を図ることができる。Ｇｎ₁／Ｇｎ₂の値は、撮影シーンの明暗差が小さい場合には「１」に固定してよいが、撮影シーンの明暗差が大きい場合には、撮影シーン中の低照度領域の高感度画像データにおける輝度と撮影シーン中の高照度領域の低感度画像データにおける輝度との差に応じて、自動的にあるいは手動で変更可能とすることもできる。次に説明する本開示の第２の態様に係る撮像装置においても同様とすることができる。第１ゲイン調整部における第１撮像素子、第２撮像素子及び第３撮像素子からの出力の調整は、同じであってもよいし、場合によっては、異なっていてもよい。

　上記の好ましい形態を含む本開示の第２の態様に係る撮像装置において、画像処理部は、第１撮像素子及び第３撮像素子からの出力を調整する第１ゲイン調整部、並びに、第２撮像素子及び第４撮像素子からの出力を調整する第２ゲイン調整部を備えている形態とすることができ、この場合、第１ゲイン調整部による第１撮像素子及び第３撮像素子からの出力に対する調整係数をＧｎ₁、第２ゲイン調整部による第２撮像素子及び第４撮像素子からの出力に対する調整係数をＧｎ₂としたとき、
Ｇｎ₁／Ｇｎ₂≧１
を満足することが好ましい。（Ｇｎ₁／Ｇｎ₂）の値として、例えば、具体的には、２、４、８等を例示することができる。このような形態によっても、ダイナミックレンジの拡大を図ることができる。第１ゲイン調整部における第１撮像素子及び第３撮像素子からの出力の調整は、同じであってもよいし、場合によっては、異なっていてもよい。また、第２ゲイン調整部における第２撮像素子及び第４撮像素子からの出力の調整は、同じであってもよいし、場合によっては、異なっていてもよい。

　上記の各種好ましい形態を含む本開示の第１の態様あるいは第３の態様に係る撮像装置において、
　画像処理部は、露出時間の異なるＮ組の高感度画像データ及び低感度画像データを生成し、
　画像処理部は、更に、低感度画像データ又は高感度画像データから得られる画像の照度領域を、最も照度の低い領域から最も照度の高い領域まで２Ｎ段階の領域に区画し、最も照度が低い領域から第Ｎ番目に照度が低い領域までのＮ段階の低照度画像領域のそれぞれにおいては、Ｎ段階の低照度画像領域のそれぞれに対応するＮ組の高感度画像データを用いて、また、第（Ｎ＋１）番目に照度が低い領域から最も照度が高い領域までのＮ段階の高照度画像領域のそれぞれにおいては、Ｎ段階の高照度画像領域のそれぞれに対応するＮ組の低感度画像データを用いて、合成画像を生成する形態とすることができる。そして、この場合、Ｎ＝２であり、第１組目の高感度画像データ及び低感度画像データを得るための撮像時間と、第２組目の高感度画像データ及び低感度画像データを得るための撮像時間との間には、２倍の関係がある形態とすることができる。尚、このような形態は、Ｎが３以上の場合に対しても拡張することができる。そして、このような形態によっても、ダイナミックレンジの拡大を図ることができる。しかも、Ｎ組の画像データから２Ｎ段階にダイナミックレンジが拡大された画像を得ることができ、動画の撮影にも容易に対応することができる。従来の技術にあっては、前述したとおり、Ｎ組の画像データからＮ段階にダイナミックレンジが拡大された画像しか得ることができない。

　上記の各種好ましい形態を含む本開示の第２の態様に係る撮像装置において、
　画像処理部は、露出時間の異なるＮ組の高感度画像データ及び低感度画像データを生成し、
　画像処理部は、更に、低感度画像データ又は高感度画像データから得られる画像の照度領域を、最も照度の低い画像領域から最も照度の高い画像領域まで２Ｎ段階の画像領域に区画し、最も照度が低い画像領域から第Ｎ番目に照度が低い画像領域までのＮ段階の低照度画像領域のそれぞれにおいては、Ｎ段階の低照度画像領域のそれぞれに対応するＮ組の高感度画像データを用いて、また、第（Ｎ＋１）番目に照度が低い画像領域から最も照度が高い画像領域までのＮ段階の高照度画像領域のそれぞれにおいては、Ｎ段階の高照度画像領域のそれぞれに対応するＮ組の低感度画像データを用いて、合成画像を生成する形態とすることができる。そして、この場合、Ｎ＝２であり、第１組目の高感度画像データ及び低感度画像データを得るための撮像時間と、第２組目の高感度画像データ及び低感度画像データを得るための撮像時間との間には、２倍の関係がある形態とすることができる。尚、このような形態は、Ｎが３以上の場合に対しても拡張することができる。そして、このような形態によっても、ダイナミックレンジの拡大を図ることができる。しかも、Ｎ組の画像データから２Ｎ段階にダイナミックレンジが拡大された画像を得ることができ、動画の撮影にも容易に対応することができる。従来の技術にあっては、前述したとおり、Ｎ組の画像データからＮ段階にダイナミックレンジが拡大された画像しか得ることができない。

　上記の各種好ましい形態を含む本開示の第１の態様あるいは第３の態様に係る撮像装置において、第１フィルター、第２フィルター、第３フィルター及び第４フィルターの間には隙間が存在しない形態とすることができる。このような形態は、第１フィルター、第２フィルター、第３フィルター及び第４フィルターの内の少なくとも１つのフィルターをフォトリソグラフィ技術を用いて形成するとき、コーナーセリフパターン付きの露光用マスクを使用することで容易に実現することができる。

　更には、上記の各種好ましい形態を含む本開示の第１の態様あるいは第３の態様に係る撮像装置において、第４フィルターは、第１フィルターを構成する第１材料から成る第１材料層、第２フィルターを構成する第２材料から成る第２材料層、及び、第３フィルターを構成する第３材料から成る第３材料層の３層積層構造を有する構成とすることができる。あるいは又、第４フィルターは、第１フィルターを構成する第１材料、第２フィルターを構成する第２材料、及び、第３フィルターを構成する第３材料が混合された材料から成る構成とすることができる。あるいは又、第４フィルターは、第１フィルターを構成する第１材料から成る第１材料層、及び、第３フィルターを構成する第３材料から成る第３材料層の２層積層構造を有する構成とすることができる。あるいは又、第４フィルターは、第１フィルターを構成する第１材料、及び、第３フィルターを構成する第３材料が混合された材料から成る構成とすることができ、これらの場合、第４フィルターの分光特性は、例えば、マゼンタのような分光特性となる。あるいは又、第４フィルターとして、可視光域でほぼ均一な分光透過率を有するようなオン・チップ・レンズを構成する材料を挙げることもできるし、人の分光視覚感度特性に合わせた分光透過率特性を有する透明材料とすることもできる。

　上記の各種好ましい形態を含む本開示の第２の態様に係る撮像装置において、減光フィルターは、第１フィルターと第３フィルターを積層したフィルターの分光特性と等しい分光特性を有する構成とすることができ、また、本開示の第４の態様に係る撮像装置において、減光フィルターは、第１撮像素子の分光特性と等しい分光特性を有する構成とすることができる。ここで、減光フィルターは、本開示の第１の態様あるいは第３の態様に係る撮像装置における第１フィルターを構成する第１材料から成る第１材料層、第２フィルターを構成する第２材料から成る第２材料層、及び、第３フィルターを構成する第３材料から成る第３材料層の３層積層構造を有する構成とすることができる。あるいは又、減光フィルターは、本開示の第１の態様あるいは第３の態様に係る撮像装置における第１フィルターを構成する第１材料、第２フィルターを構成する第２材料、及び、第３フィルターを構成する第３材料が混合された材料から成る構成とすることができる。あるいは又、第４フィルターとして、可視光域でほぼ均一な分光透過率を有するようなオン・チップ・レンズを構成する材料を挙げることもできるし、人の分光視覚感度特性に合わせた透明材料とすることもできる。

　本開示の第１の態様あるいは第３の態様に係る撮像装置にあっては、第１波長帯として、３５０ｎｍ乃至５５０ｎｍといった波長帯（主に青色の波長帯）を例示することができるし、第１波長帯のピーク波長として、４３０ｎｍ乃至４８０ｎｍを例示することができる。また、第２波長帯として、４５０ｎｍ乃至６５０ｎｍといった波長帯（主に緑色の波長帯）を例示することができるし、第２波長帯のピーク波長として、５００ｎｍ乃至５５０ｎｍを例示することができる。更には、第３波長帯として、５５０ｎｍ乃７５０ｎｍといった波長帯（主に赤色の波長帯）を例示することができるし、第３波長帯のピーク波長として、５８０ｎｍ乃至６２０ｎｍを例示することができる。但し、これらに限定するものではなく、場合によっては、フィルターとして、シアン色、マゼンタ色、黄色等の特定波長を透過させるカラーフィルターとすることもできる。

　本開示の第１の態様に係る撮像装置において、１つの撮像素子ユニットにおける４つの撮像素子の配列としてベイヤ配列を挙げることができる。即ち、撮像素子ユニットが２次元マトリクス状に配列されているが、第１の方向、及び、第１の方向と直交する第２の方向に撮像素子ユニットが配列されているとした場合、例えば、１つの撮像素子ユニットにおいて、第１の方向に沿って第３撮像素子及び第４撮像素子が隣接して配され、第１の方向に沿って第１撮像素子及び第２撮像素子が隣接して配され、第２の方向に沿って第１撮像素子及び第４撮像素子が隣接して配され、第２の方向に沿って第２撮像素子及び第３撮像素子が隣接して配されている。また、本開示の第３の態様に係る撮像装置において、１つの撮像素子サブユニットにおける４つの撮像素子の配列としてベイヤ配列を挙げることができる。即ち、例えば、１つの撮像素子サブユニットにおいて、第１の方向に沿って第３撮像素子及び第４撮像素子が隣接して配され、第１の方向に沿って第１撮像素子及び第２撮像素子が隣接して配され、第２の方向に沿って第１撮像素子及び第４撮像素子が隣接して配され、第２の方向に沿って第２撮像素子及び第３撮像素子が隣接して配されている。更には、本開示の第２の態様に係る撮像装置において、１つの撮像素子ユニットにおける４つの撮像素子の配列としてベイヤ配列に類似した配列を挙げることができる。即ち、例えば、１つの撮像素子ユニットにおいて、第１の方向に沿って第３撮像素子及び第４撮像素子が隣接して配され、第１の方向に沿って第１撮像素子及び第２撮像素子が隣接して配され、第２の方向に沿って第１撮像素子及び第４撮像素子が隣接して配され、第２の方向に沿って第２撮像素子及び第３撮像素子が隣接して配されている。

　本開示の第１の態様あるいは第３の態様に係る撮像装置において、第４撮像素子は、第１波長帯、第２波長帯及び第３波長帯の光を受光するが、これを云い換えれば、可視光帯の光を受光すると云える。

　本開示の第１の態様あるいは第３の態様に係る撮像装置において、第４フィルターの光透過率は、第１フィルターの光透過率、第２フィルターの光透過率及び第３フィルターの光透過率よりも低いが、具体的には、第４フィルターの光透過率をＴ₄、第１フィルターの光透過率、第２フィルターの光透過率及び第３フィルターの光透過率の平均値をＴ₁₂₃としたとき、
０．０１≦Ｔ₄／Ｔ₁₂₃≦０．２５
を例示することができる。

　本開示の第１の態様あるいは第３の態様に係る撮像装置において、撮影シーン中の低照度領域の高感度画像データにおける平均輝度と撮影シーン中の高照度領域の低感度画像データにおける平均輝度との差が所定の値以上である場合には、低感度画像データ又は高感度画像データから得られる低照度画像領域においては低照度画像領域に対応する高感度画像データを用いて、また、低感度画像データ又は高感度画像データから得られる高照度画像領域においては高照度画像領域に対応する低感度画像データを用いて、合成画像を生成する一方、高感度画像データにおける平均輝度と低感度画像データにおける平均輝度との差が所定の値未満である場合には、低照度画像領域に対応する高感度画像データのみを用いて画像を得ることもできる。

　本開示の第１の態様に係る撮像装置においては、第４撮像素子の位置する領域に第２撮像素子が位置していると仮定して、係る仮定された第２撮像素子（便宜上、『仮定第２撮像素子』と呼ぶ）が出力するであろう出力を、仮定第２撮像素子に隣接した第２撮像素子の出力から補間することで、通常の撮像装置におけるベイヤ配列の撮像素子（１つの赤色・撮像素子、２つの緑色・撮像素子、及び、１つの青色・撮像素子。以下においても同様）からの出力と同様の出力を得ることが好ましい。尚、このような補間処理を、便宜上、『仮定第２撮像素子の補間処理』と呼ぶ。また、第１撮像素子の位置する領域に第４撮像素子が位置していると仮定して、係る仮定された第４撮像素子（便宜上、『仮定第１（４）撮像素子』と呼ぶ）が出力するであろう出力を、仮定第１（４）撮像素子に隣接した第４撮像素子の出力から補間し、第２撮像素子の位置する領域に第４撮像素子が位置していると仮定して、係る仮定された第４撮像素子（便宜上、『仮定第２（４）撮像素子』と呼ぶ）が出力するであろう出力を、仮定第２（４）撮像素子に隣接した第４撮像素子の出力から補間し、第３撮像素子の位置する領域に第４撮像素子が位置していると仮定して、係る仮定された第４撮像素子（便宜上、『仮定第３（４）撮像素子』と呼ぶ）が出力するであろう出力を、仮定第３（４）撮像素子に隣接した第４撮像素子の出力から補間することで、通常の撮像装置におけるベイヤ配列の撮像素子からの出力と類似した第４撮像素子に基づく出力を得ることが好ましい。そして、これらの補間処理によって、本来の画素数のままで低感度画像データのデータ構成、データ構造と、高感度画像データのデータ構成、データ構造とを揃えることができ、各種信号処理の簡素化を図ることができる。

　本開示の第２の態様に係る撮像装置においては、第１撮像素子の位置する領域に第４撮像素子が位置していると仮定して、係る仮定された第４撮像素子（便宜上、『仮定第１（４）撮像素子』と呼ぶ）が出力するであろう出力を、仮定第１（４）撮像素子に隣接した第４撮像素子の出力から補間し、第２撮像素子の位置する領域に第４撮像素子が位置していると仮定して、係る仮定された第４撮像素子（便宜上、『仮定第２（４）撮像素子』と呼ぶ）が出力するであろう出力を、仮定第２（４）撮像素子に隣接した第４撮像素子の出力から補間し、第３撮像素子の位置する領域に第４撮像素子が位置していると仮定して、係る仮定された第４撮像素子（便宜上、『仮定第３（４）撮像素子』と呼ぶ）が出力するであろう出力を、仮定第３（４）撮像素子に隣接した第４撮像素子の出力から補間することで、通常の撮像装置におけるベイヤ配列の撮像素子からの出力と類似した第４撮像素子に基づく出力を得ることが好ましい。同様に、第１撮像素子の位置する領域に第３撮像素子が位置していると仮定して、係る仮定された第３撮像素子（便宜上、『仮定第１（３）撮像素子』と呼ぶ）が出力するであろう出力を、仮定第１（３）撮像素子に隣接した第３撮像素子の出力から補間し、第２撮像素子の位置する領域に第３撮像素子が位置していると仮定して、係る仮定された第３撮像素子（便宜上、『仮定第２（３）撮像素子』と呼ぶ）が出力するであろう出力を、仮定第２（３）撮像素子に隣接した第３撮像素子の出力から補間し、第４撮像素子の位置する領域に第３撮像素子が位置していると仮定して、係る仮定された第３撮像素子（便宜上、『仮定第４（３）撮像素子』と呼ぶ）が出力するであろう出力を、仮定第４（３）撮像素子に隣接した第３撮像素子の出力から補間することで、通常の撮像装置におけるベイヤ配列の撮像素子からの出力と類似した第３撮像素子に基づく出力を得ることが好ましい。同様に、第１撮像素子の位置する領域に第２撮像素子が位置していると仮定して、係る仮定された第２撮像素子（便宜上、『仮定第１（２）撮像素子』と呼ぶ）が出力するであろう出力を、仮定第１（２）撮像素子に隣接した第２撮像素子の出力から補間し、第３撮像素子の位置する領域に第２撮像素子が位置していると仮定して、係る仮定された第２撮像素子（便宜上、『仮定第３（２）撮像素子』と呼ぶ）が出力するであろう出力を、仮定第３（２）撮像素子に隣接した第２撮像素子の出力から補間し、第４撮像素子の位置する領域に第２撮像素子が位置していると仮定して、係る仮定された第２撮像素子（便宜上、『仮定第４（２）撮像素子』と呼ぶ）が出力するであろう出力を、仮定第４（２）撮像素子に隣接した第２撮像素子の出力から補間することで、通常の撮像装置におけるベイヤ配列の撮像素子からの出力と類似した第２撮像素子に基づく出力を得ることが好ましい。同様に、第２撮像素子の位置する領域に第１撮像素子が位置していると仮定して、係る仮定された第１撮像素子（便宜上、『仮定第２（１）撮像素子』と呼ぶ）が出力するであろう出力を、仮定第２（１）撮像素子に隣接した第１撮像素子の出力から補間し、第３撮像素子の位置する領域に第１撮像素子が位置していると仮定して、係る仮定された第１撮像素子（便宜上、『仮定第３（１）撮像素子』と呼ぶ）が出力するであろう出力を、仮定第３（１）撮像素子に隣接した第１撮像素子の出力から補間し、第４撮像素子の位置する領域に第１撮像素子が位置していると仮定して、係る仮定された第１撮像素子（便宜上、『仮定第４（１）撮像素子』と呼ぶ）が出力するであろう出力を、仮定第４（１）撮像素子に隣接した第１撮像素子の出力から補間することで、通常の撮像装置におけるベイヤ配列の撮像素子からの出力と類似した第１撮像素子に基づく出力を得ることが好ましい。そして、これらの補間処理によって、本来の画素数のままで低感度画像データのデータ構成、データ構造と、高感度画像データのデータ構成、データ構造とを揃えることができ、各種信号処理の簡素化を図ることができる。

　本開示の第３の態様に係る撮像装置においては、４つの撮像素子サブユニットにおける４つの第１撮像素子の集合体の合計出力を『第１撮像素子集合体出力』と呼び、４つの第２撮像素子の集合体の合計出力を『第２撮像素子集合体出力』と呼び、４つの第３撮像素子の集合体の合計出力を『第３撮像素子集合体出力』と呼ぶとき、これらの第１撮像素子集合体出力、第２撮像素子集合体出力、及び、第３撮像素子集合体出力に基づき、前述した『仮定第２撮像素子の補間処理』を行えばよい。これによって、通常の撮像装置におけるベイヤ配列の撮像素子（１つの赤色・撮像素子、２つの緑色・撮像素子、及び、１つの青色・撮像素子）からの出力と同様の出力を、第１撮像素子集合体出力、第２撮像素子集合体出力及び第３撮像素子集合体出力から得ることができる。また、第１の撮像素子サブユニットを構成する第４撮像素子、第２の撮像素子サブユニットを構成する第４撮像素子、第３の撮像素子サブユニットを構成する第４撮像素子、及び、第４の撮像素子サブユニットを構成する第４撮像素子に基づき、加算処理は行わないで通常の撮像装置におけるベイヤ配列の４つの撮像素子からの出力と同様の出力を得ることができる。そして、これによって、本来の１／４の画素数での低感度画像データのデータ構成、データ構造と、高感度画像データのデータ構成、データ構造とを揃えることができ、各種信号処理の簡素化を図ることができる。また、高感度画像データは４画素加算処理されており、低感度画像データは加算処理されていないので、感度差を４倍大きくできるという効果がある。

　本開示の第４の態様に係る撮像装置においては、第１撮像素子の位置する領域に第２撮像素子が位置していると仮定して、係る仮定された第２撮像素子（便宜上、『仮定第１撮像素子』と呼ぶ）が出力するであろう出力を、仮定第１撮像素子に隣接した第２撮像素子の出力から補間し、第２撮像素子の位置する領域に第１撮像素子が位置していると仮定して、係る仮定された第１撮像素子（便宜上、『仮定第１撮像素子』と呼ぶ）が出力するであろう出力を、仮定第１撮像素子に隣接した第２撮像素子の出力から補間することで、低感度画像データ及び高感度画像データを得ることができる。

　また、本開示の第１の態様～第４の態様に係る撮像装置において、低感度画像データ又は高感度画像データから低照度画像領域及び高照度画像領域を求めるが、任意の照度領域において高感度画像データの輝度値が飽和している場合、あるいは、飽和に近い場合、この領域が高照度領域であると判別して低感度画像データの輝度値を用いるようにする。この低照度画像領域及び高照度画像領域の求め方は周知の方法とすることができる。

　本開示の第１の態様あるいは第３の態様に係る撮像装置から単色（グレイ）の画像を得ることもできる。この場合、第１ゲイン調整部によって、第１撮像素子、第２撮像素子及び第３撮像素子からの出力に対するゲイン調整を行い、これらの出力に基づく分光特性を、第４撮像素子に備えられた第４フィルターの分光特性と出来る限り一致させることが好ましい。

　光電変換素子として、ＣＣＤ素子、ＣＭＯＳイメージセンサー、ＣＩＳ（Contact Image Sensor）、ＣＭＤ（Charge Modulation Device）型の信号増幅型イメージセンサーを挙げることができる。また、撮像素子として、表面照射型の撮像素子あるいは裏面照射型の撮像素子を挙げることができる。更には、本開示の撮像装置から、例えば、デジタルスチルカメラやビデオカメラ、カムコーダ、所謂カメラ付きの携帯電話を構成することができる。撮像装置にはレンズ系が備えられていてもよい。レンズ系は、単焦点レンズとしてもよいし、所謂ズームレンズとしてもよく、レンズやレンズ系の構成、構造は、レンズ系に要求される仕様に基づき決定すればよい。

　実施例１は、本開示の第１の態様に係る撮像装置に関する。実施例１の撮像装置における撮像部の概念図を図１Ａに示し、撮像部の動作を説明するための概念図を、図２Ａ、図２Ｂ、図３Ａ、図３Ｂ、図４及び図５に示し、撮像装置の概念図を図７Ａに示し、撮像素子の模式的な一部断面図を図７Ｂに示す。また、第１撮像素子、第２撮像素子、第３撮像素子及び第４撮像素子の受光特性を模式的に図１Ｂに示す。更には、実施例１の撮像装置での撮像状態を模式的に図６に示す。

　実施例１の撮像装置１は、画像の内の一部分は単色の画像であり、残りの部分はカラーの画像である合成画像を得るための撮像装置である。そして、図７Ｂにおいて、
　第１フィルター４３及び第１光電変換素子４２を備え、第１波長帯の光を受光する第１撮像素子４１、
　第２フィルター５３及び第２光電変換素子５２を備え、第１波長帯のピーク波長よりも長いピーク波長を有する第２波長帯の光を受光する第２撮像素子５１、
　第３フィルター６３及び第３光電変換素子６２を備え、第２波長帯のピーク波長よりも長いピーク波長を有する第３波長帯の光を受光する第３撮像素子６１、及び、
　第４フィルター７３及び第４光電変換素子７２を備え、第１波長帯、第２波長帯及び第３波長帯の光を受光する第４撮像素子７１、
から成る撮像素子ユニット３１が２次元マトリクス状に配列された撮像部３０、並びに、
　画像処理部１１、
を備えている。尚、撮像部３０の画素数を、例えば、ＶＧＡ（６４０×４８０）とし、動画を撮像するとする。以下の実施例における撮像装置においても同様とする。

　ここで、限定するものではないが、第１波長帯は、３５０ｎｍ乃至５５０ｎｍ（主に青色の波長帯）であり、第１波長帯のピーク波長は、４５０ｎｍであり、第１撮像素子４１は青色・撮像素子である。また、第２波長帯は、４５０ｎｍ乃至６５０ｎｍ（主に緑色の波長帯）であり、第２波長帯のピーク波長は、５３０ｎｍであり、第２撮像素子５１は緑色・撮像素子である。更には、第３波長帯は、５５０ｎｍ乃至７５０ｎｍ（主に赤色の波長帯）であり、第３波長帯のピーク波長は、６００ｎｍであり、第３撮像素子６１は赤色・撮像素子である。

　そして、ＮＤフィルター（Neutral Density Filter）として機能する第４フィルター７３の光透過率は、第１フィルター４３の光透過率、第２フィルター５３の光透過率及び第３フィルター６３の光透過率よりも低い。あるいは又、第４撮像素子７１の感度は、第１撮像素子４１、第２撮像素子５１及び第３撮像素子６１の感度よりも低い。図１Ｂに、第１撮像素子、第２撮像素子、第３撮像素子及び第４撮像素子の受光特性を模式的に示すが、具体的には、第４フィルター７３の光透過率をＴ₄、第１フィルター４３の光透過率、第２フィルター５３の光透過率及び第３フィルター６３の光透過率の平均値をＴ₁₂₃としたとき、限定するものではないが、
Ｔ₄／Ｔ₁₂₃≒０．０５
である。そして、第４フィルター７３は、第１フィルター４３を構成する顔料系の第１材料、第２フィルター５３を構成する顔料系の第２材料、及び、第３フィルター６３を構成する顔料系の第３材料が混合された材料から成り、あるいは又、第４フィルター７３は、第１フィルター４３を構成する顔料系の第１材料、及び、第３フィルター６３を構成する顔料系の第３材料が混合された材料から成る。第４フィルター７３の厚さは約１μｍであり、通常の紫外線照射によるリソグラフィ技術に基づき形成することができる。第４撮像素子７１はグレイ・撮像素子であり、第４撮像素子７１からの出力は、カラー情報を持たないグレイ階調の情報である。

　撮像素子４１，５１，６１，７１は、図７Ｂに一部断面図を示すように、例えば、シリコン半導体基板８０に設けられた光電変換素子４２，５２，６２，７２を備え、更に、その上に、第１平坦化膜８２、フィルター４３，５３，６３，７３、オン・チップ・レンズ８４、及び、第２平坦化膜８５が積層されて成る。尚、参照番号８６は遮光層であり、参照番号８８は配線層である。

　光電変換素子４２，５２，６２，７２は、例えば、ＣＭＯＳイメージセンサーから成る。更には、実施例１の撮像装置から、例えば、ビデオカメラ等が構成される。図７Ａに概念図を示すように、撮像装置１にはレンズ系２０が備えられている。レンズ系２０にあっては、レンズ鏡筒内に、撮影レンズ２１、絞り部２２及び結像レンズ２３が納められており、ズームレンズとして機能する。撮影レンズ２１は、被写体からの入射光を集光するためのレンズである。撮影レンズ２１は、焦点を合わせるためのフォーカスレンズや、被写体を拡大するためのズームレンズ等を含み、一般に、色収差等を補正するために複数枚のレンズの組合せによって実現されている。絞り部２２は、集光された光の量を調整するために絞り込む機能を有するものであり、一般に、複数枚の板状の絞り羽根を組み合わせて構成されている。少なくとも絞り部２２の位置において、被写体の１点からの光は平行光となる。結像レンズ２３は、光を撮像部３０上に結像する。撮像部３０は、カメラ本体部２の内部に配置されている。カメラ本体部２は、撮像部３０の他に、例えば、画像処理部１１及び画像記憶部１２を備えている。そして、撮像部３０からの出力（電気信号）に基づき画像データが形成される。周知の回路から構成された画像処理部１１は、撮像部３０から出力された電気信号を画像データに変換して、周知の画像記憶部１２に記録する。尚、可視光以外の光を遮光するバンドパスフィルタ（図示せず）が、撮像素子の上方、又は、撮像素子パッケージのシールガラス面、又は、レンズ鏡筒内に配されている。

　図１Ａに示すように、実施例１の撮像装置１において、１つの撮像素子ユニット３１（図１Ａにおいて実線の正方形で示す）における４つの撮像素子４１，５１，６１，７１（図１Ａにおいて実線及び点線の正方形で示す）の配列は、ベイヤ配列である。即ち、撮像素子ユニット３１が２次元マトリクス状に配列されているが、第１の方向、及び、第１の方向と直交する第２の方向に撮像素子ユニット３１が配列されており、１つの撮像素子ユニット３１において、第１の方向に沿って第３撮像素子６１及び第４撮像素子７１が隣接して配され、第１の方向に沿って第１撮像素子４１及び第２撮像素子５１が隣接して配され、第２の方向に沿って第１撮像素子４１及び第４撮像素子７１が隣接して配され、第２の方向に沿って第２撮像素子５１及び第３撮像素子６１が隣接して配されている。

　そして、画像処理部１１は、第１撮像素子４１、第２撮像素子５１及び第３撮像素子６１からの出力によって高感度画像データを生成し、第４撮像素子７１からの出力によって低感度画像データを生成する。

　具体的には、或る撮影シーンを撮像したとき、第１撮像素子４１、第２撮像素子５１及び第３撮像素子６１は、それぞれ、図２Ａに示す信号値「Ｂ」、「Ｇ₁」、「Ｒ」を出力するとする。また、第４撮像素子７１は、図２Ｂに示す信号値「Ｇｙ₄」を出力するとする。

　第１撮像素子４１を構成する第１光電変換素子４２、第２撮像素子５１を構成する第２光電変換素子５２、及び、第３撮像素子６１を構成する第３光電変換素子６２の受光感度を、便宜上、説明を簡素化するために、等しく「１」とする。また、第４撮像素子７１を構成する第４光電変換素子７２の受光感度を、便宜上、「１／８」とする。以下の説明においても同様とする。即ち、第１撮像素子４１、第２撮像素子５１及び第３撮像素子６１の平均蓄積電荷量と、第４撮像素子７１の蓄積電荷量との比は、８：１（１８ｄＢ）となる。１８ｄＢの感度差により、露出３段分の低感度画像データが取得される。以下の説明においても、基本的に、同様とする。

　図２Ａ及び図２Ｂに図示した状態の光を受光した各撮像素子は、受光量に基づく出力（電気信号）を、画像処理部１１に送出する。画像処理部１１においては、例えば、以下の方法に基づき補間処理を行う。

　即ち、第４撮像素子７１の位置する領域に第２撮像素子５１が位置していると仮定して、係る仮定された第２撮像素子５１（仮定第２撮像素子５１）が出力するであろう出力を、仮定第２撮像素子５１に隣接した第２撮像素子５１の出力から補間する。例えば、図２Ａにおいて、（ｉ＋１，ｊ＋１）番目の仮定第２撮像素子５１が出力するであろう出力を、（ｉ＋１，ｊ）番目の第２撮像素子５１、（ｉ＋２，ｊ）番目の第２撮像素子５１、（ｉ＋１，ｊ＋１）番目の第２撮像素子５１、（ｉ＋２，ｊ＋１）番目の第２撮像素子５１の４つの撮像素子からの出力の平均値「Ｇ’₂」として求める。尚、「’」を付した符号は、原則として、補間して得られた出力を示す。こうして、通常の撮像装置におけるベイヤ配列の撮像素子（１つの赤色・撮像素子、２つの緑色・撮像素子、及び、１つの青色・撮像素子）からの出力と同様の出力（Ｒ，Ｇ₁，Ｇ’₂，Ｂ）を得ることができ（図３Ａ参照）、得られた出力の全体から高感度画像データを得ることができる。

　一方、第１撮像素子４１の位置する領域に第４撮像素子７１が位置していると仮定して、係る仮定された第４撮像素子７１（仮定第１（４）撮像素子）が出力するであろう出力「Ｇｙ₁」を、仮定第１（４）撮像素子に隣接した第４撮像素子７１の出力から補間して求める。具体的には、例えば、（ｉ＋１，ｊ＋１）番目の第４撮像素子７１及び（ｉ＋１，ｊ＋２）番目の第４撮像素子７１からの出力の平均値から（ｉ＋１，ｊ＋１）番目の仮定第１（４）撮像素子の出力値「Ｇｙ’₁」を求める。また、第２撮像素子５１の位置する領域に第４撮像素子７１が位置していると仮定して、係る仮定された第４撮像素子７１（仮定第２（４）撮像素子）が出力するであろう出力を、仮定第２（４）撮像素子に隣接した第４撮像素子７１の出力から補間する。具体的には、（ｉ，ｊ＋１）番目の第４撮像素子７１、（ｉ＋１，ｊ＋１）番目の第４撮像素子７１、（ｉ，ｊ＋２）番目の第４撮像素子７１、及び、（ｉ＋１，ｊ＋２）番目の第４撮像素子７１からの出力の平均値から（ｉ＋１，ｊ＋１）番目の仮定第２（４）撮像素子の出力値「Ｇｙ’₂」を求める。更には、第３撮像素子６１の位置する領域に第４撮像素子７１が位置していると仮定して、係る仮定された第４撮像素子７１（仮定第３（４）撮像素子）が出力するであろう出力を、仮定第３（４）撮像素子に隣接した第４撮像素子７１の出力から補間する。具体的には、（ｉ，ｊ＋１）番目の第４撮像素子７１及び（ｉ＋１，ｊ＋１）番目の第４撮像素子７１からの出力の平均値から（ｉ＋１，ｊ＋１）番目の仮定第３（４）撮像素子の出力値「Ｇｙ’₃」を求める。こうして、通常の撮像装置におけるベイヤ配列の撮像素子からの出力と類似した第４撮像素子７１に基づく出力（Ｇｙ’₁，Ｇｙ’₂，Ｇｙ’₃，Ｇｙ₄）を得ることができ（図３Ｂ参照）、得られた出力の全体から低感度画像データを得る。

　尚、以上に説明した補間方法（bi-linear 方式）は、例示であり、適宜、変更することができることは云うまでもなく、隣接する第２撮像素子５１からの出力をそのまま仮定第２撮像素子５１の出力とする方式（nearest neighbor 方式）、更には、方向選択アルゴリズムを用いた高度な画素補間アルゴリズムを適用することもでき、アルゴリズムは、目標とするフレームレートと全体システムの画像処理コストで決定すればよい。以下の説明においても同様である。

　そして、このような処理によって、本来の画素数のまま、低感度画像データのデータ構成、データ構造と、高感度画像データのデータ構成、データ構造とを揃えることができるので、各種信号処理の簡素化を図ることができ、非常に低コストの処理エンジンでＨＤＲ合成された画像の生成が可能である。また、画像処理としては、最もシンプルな周期性、対称性を保持しているために、合成画像の形成時、偽色やジャギー等の画質劣化が発生し難い。

　次に、画像処理部１１は、低感度画像データ又は高感度画像データから得られる低照度画像領域においては低照度画像領域に対応する高感度画像データを用いて、また、低感度画像データ又は高感度画像データから得られる高照度画像領域においては高照度画像領域に対応する低感度画像データを用いて、合成画像を生成する。具体的には、例えば、高感度画像データから低照度画像領域及び高照度画像領域を抽出する。より具体的には、或る面積の領域における高感度画像データにおける画素の輝度平均値が既定値以上である場合（例えば、ＡＤ変換後の輝度値が飽和している場合、あるいは、輝度値が飽和レベルの９０％以上である場合等）、この領域を高照度画像領域とし、照度平均値が既定値未満である場合、この領域を低照度画像領域とすればよい。例えば、図４において、二重の斜線で囲んだ領域が、高照度画像領域であるとする。

　そして、低照度画像領域においては低照度画像領域に対応する高感度画像データを用いて、また、高照度画像領域においては高照度画像領域に対応する低感度画像データを用いて、合成画像を生成する。この状態を模式的に図５に示す。

　図６に模式的に示すように、暗い室内に配置されたテーブルの上に林檎とバナナが置かれており、窓の外の明るい屋外には木がある撮影シーンを想定する。このような撮影シーンにあっては、暗い室内に撮影条件（露出及びシャッタ速度）を合わせれば、室内の撮像状態は適切であるが、窓の外の屋外の風景には「白トビ」が発生する（図６の左手上側の図を参照）。一方、明るい屋外に撮影条件（露出及びゲイン）を合わせれば、室内の撮像状態は「黒つぶれ」となる（図６の左手下側の図を参照）。

　実施例１の撮像装置にあっては、例えば、低感度画像データの高照度領域内最大輝度値がＡＤ変換フルレンジの８０％出力程度となるようにシャッタ速度を調整する。尚、フレームレートは固定で、例えば３０ｆｐｓであるとする。このような処理により、高照度画像領域では、第４撮像素子７１からの出力が飽和せず、グレイ階調であるが、良好なリニアリティで輝度分布を取得することができる。また、高照度画像領域では、第１撮像素子４１、第２撮像素子５１及び第３撮像素子６１においては、少なくとも１つの撮像素子が飽和しており、色情報は一部あるいは全てが失われている。その一方、低照度画像領域では、第１撮像素子４１、第２撮像素子５１及び第３撮像素子６１は飽和することなく、良好なリニアリティで、輝度分布と色情報を取得することができる。

　そして、１回の撮像によって低感度画像データ及び高感度画像データが得られ、暗い室内（低照度画像領域）においては暗い室内（低照度画像領域）に対応する高感度画像データを用いて、また、明るい屋外（高照度画像領域）においては明るい屋外（高照度画像領域）に対応する低感度画像データを用いて、合成画像を生成する。この状態を模式的に図６の右手側の図に示す。そして、合成画像を表示する表示装置あるいは合成画像を印刷するプリンタのダイナミックレンジ（例えばＲＧＢ８ビット）に合わせて１枚の画像中の輝度レンジを表示に適したレンジに変換する所謂トーンマッピング処理を施すことによって、１枚のＨＤＲ合成された画像を得ることができる。明るい屋外（高照度画像領域）の画像は単色（白黒）の画像であり、暗い室内（低照度画像領域）の画像はカラーの画像である。このような合成画像（ＨＤＲ合成された画像）は、通常のデジタルカメラやカムコーダのような高品位を要求される機器においては全画面カラーが要求されるため、実施例１の撮像装置の適用は難しいものの、「情報が欠落しないこと」が強く要求される監視用カメラや車載用カメラの撮像装置の使用分野においては、実用上、問題とならない。また、動画への対応も容易である。このように、撮像装置は、例えば、従来のベイヤ配列を有する撮像装置と同様の簡素な構成、構造であるにも拘わらず、即ち、安価な撮像装置によって、ハイ・ダイナミック・レンジ合成によって画像を得ることができる。

　尚、各撮像素子において受光量に応じて生成した出力（電荷）は、カラム信号処理回路に送出される。カラム信号処理回路は、撮像素子の例えば列毎に配置されており、１行分の撮像素子から出力される出力に対して、列毎にノイズ除去等の信号処理を施す。即ち、カラム信号処理回路は、撮像素子固有の固定パターンノイズを除去するための相関二重サンプリング（ＣＤＳ：Correlated Double Sampling）や、信号増幅、アナログ／デジタル変換等の信号処理を行う。水平駆動回路は、例えばシフトレジスタによって構成され、水平走査パルスを順次出力することによってカラム信号処理回路を順番に選択し、カラム信号処理回路の各々から信号を出力させる。システム制御回路は、入力クロックや動作モード等を指令するデータを受け取り、また、撮像装置の内部情報等のデータを出力する。即ち、システム制御回路では、垂直同期信号、水平同期信号及びマスタクロックに基づいて、垂直駆動回路、カラム信号処理回路及び水平駆動回路等の動作の基準となるクロック信号や制御信号を生成する。そして、これらの信号を垂直駆動回路、カラム信号処理回路及び水平駆動回路等に送出する。以上のような各周辺回路（垂直駆動回路、カラム信号処理回路、水平駆動回路及びシステム制御回路）と各撮像素子に対して設けられた回路とで、各撮像素子を駆動する駆動回路が構成されている。

　あるいは又、撮像素子は、例えば、特開２００５－３２３３３１に開示された第１実施形態の回路に基づき駆動される。

　第４フィルター７３の膜厚を厚くすることによって光学濃度（Optical Density，ＯＤ）を増加させることが可能である。しかしながら、撮像素子４１,５１，６１のフィルター４３，５３，６３の膜厚は、典型的には１μｍより薄い。従って、同一平面に形成される第４撮像素子７１の第４フィルター７３の膜厚も、撮像素子の集光性能を考慮すると、同程度であることが望ましい。また、フィルター形成プロセス観点からも、所定のばらつき以下で膜厚の厚いフィルターを形成することは、屡々、困難である。実施例１における膜厚１μｍの第４フィルター７３の光透過率は約５％程度が限度であり、第４撮像素子７１の出力は、第１撮像素子４１、第２撮像素子５１及び第３撮像素子６１の出力の１／８程度であり、これが撮像装置全体のダイナミックレンジを決定する。然るに、実際には、更に明暗差の大きな撮影シーンに対応するために、第４撮像素子７１の低感度化を図ることが望ましい場合がある。

　実施例２は、実施例１の変形である。実施例２の撮像装置にあっては、図７Ｂの矢印Ｂ－Ｂで撮像素子を切断したと想定したときの遮光層８６の模式的な部分的平面図を図８に示すように、
　第１フィルター４３と第１光電変換素子４２との間には第１開口部４７が形成されており、
　第２フィルター５３と第２光電変換素子５２との間には第２開口部５７が形成されており、
　第３フィルター６３と第３光電変換素子６２との間には第３開口部６７が形成されており、
　第４フィルター７３と第４光電変換素子７２との間には第４開口部７７が形成されており、
　第４開口部７７は、第１開口部４７、第２開口部５７及び第３開口部６７よりも小さい。

　例えば、第１撮像素子４１、第２撮像素子５１及び第３撮像素子６１が受ける光量減衰に対して第４撮像素子７１が受ける光量減衰が２倍となるように、第１開口部４７、第２開口部５７、第３開口部６７、第４開口部７７の大きさを決定すれば、第４撮像素子７１の感度は、第１撮像素子４１、第２撮像素子５１及び第３撮像素子６１の感度の１／８（実施例１）から１／１６（２４ｄＢ）となる。このように、第１撮像素子４１、第２撮像素子５１及び第３撮像素子６１が受光する光量よりも、第４撮像素子７１の受光する光量を低下させることができる結果、第４フィルター７３の膜厚を厚くしなくとも、ダイナミックレンジの拡大を図ることができる。

　実施例３も、実施例１の変形である。実施例１では、第１撮像素子４１、第２撮像素子５１及び第３撮像素子６１と、第４撮像素子７１との感度比を１：１／８（１８ｄＢ）としたが、感度比が固定であると、様々な撮影シーンへの対応が困難となる場合があるし、１８ｄＢといったダイナミックレンジは十分ではない場合がある。

　実施例３にあっては、第１撮像素子４１、第２撮像素子５１及び第３撮像素子６１と、第４撮像素子７１との間で、独立して設定可能なゲインを組み合わせて、最終段の出力を可変制御することで、ＨＤＲ合成された画像のダイナミックレンジの拡大を実現すると共に、ダイナミックレンジの可変制御を可能にすることで、様々な明暗差の撮影シーンへの対応が可能になる。実際の撮影シーンでは、明暗差は３２ｄＢ以上必要となる場合が多い。

　即ち、実施例３において、画像処理部１１は、第１撮像素子４１、第２撮像素子５１及び第３撮像素子６１からの出力を調整する第１ゲイン調整部、並びに、第４撮像素子７１からの出力を調整する第２ゲイン調整部を備えている形態とすることができ、この場合、第１ゲイン調整部による第１撮像素子４１、第２撮像素子５１及び第３撮像素子６１からの出力に対する調整係数をＧｎ₁、第２ゲイン調整部による第４撮像素子７１からの出力に対する調整係数をＧｎ₂としたとき、具体的には、限定するものではないが、
Ｇｎ₁／Ｇｎ₂＝４
である。即ち、第１撮像素子４１、第２撮像素子５１及び第３撮像素子６１と、第４撮像素子７１とのゲイン差のレンジは、最大、１２ｄＢである。

　図９Ａに、第１撮像素子４１、第２撮像素子５１、第３撮像素子６１及び第４撮像素子７１の感度比を示し、図９Ｂに、第１撮像素子４１、第２撮像素子５１、第３撮像素子６１及び第４撮像素子７１のゲイン比を示し、図１０Ａに、高感度画像データの最終出力比（外部への出力の比。以下も同様）を示し、図１０Ｂに低感度画像データの最終出力比を示す。尚、図９Ａあるいは後述する図２３Ａにおいて、「（）」内の数字は感度比を表し、図９Ｂあるいは後述する図２３Ｂにおいて、「＜＞」内の数字はゲインの値を表し、図１０Ａ、図１０Ｂあるいは後述する図２４Ａ、図２８Ｂ、図２９において、「［］」内の数字は最終出力比を表す。第１撮像素子４１、第２撮像素子５１及び第３撮像素子６１と、第４撮像素子７１の感度比は１：（１／８）であり、第１撮像素子４１、第２撮像素子５１及び第３撮像素子６１と、第４撮像素子７１とのゲイン比は、４：１である。従って、第１撮像素子４１、第２撮像素子５１及び第３撮像素子６１と、第４撮像素子７１との最終出力比は１：（１／３２）、即ち、３０ｄＢとなる。

　調整係数Ｇｎ₁，Ｇｎ₂の値は、固定値としてもよいし、撮影シーンや、高感度画像データにおける平均輝度と低感度画像データにおける平均輝度との差に応じて、自動的にあるいは手動で変更可能とすることもでき、これによって、様々な明暗シーンに応じて最適なダイナミックレンジでの撮像が可能となる。

　尚、実施例２と実施例３とを組み合わせることもできる。

　実施例４も、実施例１の変形に関する。近年の撮像装置にあっては、通常のフレームレートの２倍以上のフレームレートでの撮像が可能となっている。実施例４においては、このようなハイ・フレームレート（ＨＦＲ）撮像が可能な撮像装置、具体的には、２倍速（６０ｆｐｓ）のＨＦＲで撮像が可能な撮像装置を使用する。

　即ち、実施例４の撮像装置において、
　画像処理部１１は、露出時間の異なるＮ組の高感度画像データ及び低感度画像データを生成し、
　画像処理部１１は、更に、低感度画像データ又は高感度画像データから得られる画像の照度領域を、最も照度の低い領域から最も照度の高い領域まで２Ｎ段階の領域に区画し、最も照度が低い領域から第Ｎ番目に照度が低い領域までのＮ段階の低照度画像領域のそれぞれにおいては、Ｎ段階の低照度画像領域のそれぞれに対応するＮ組の高感度画像データを用いて、また、第（Ｎ＋１）番目に照度が低い領域から最も照度が高い領域までのＮ段階の高照度画像領域のそれぞれにおいては、Ｎ段階の高照度画像領域のそれぞれに対応するＮ組の低感度画像データを用いて、合成画像を生成する。尚、実施例４にあっては、Ｎ＝２としており、第１組目の高感度画像データ及び低感度画像データを得るための撮像時間と、第２組目の高感度画像データ及び低感度画像データを得るための撮像時間との間には、２倍の関係がある。

　図１１Ａに、撮像状態（露出時間）を時間の経過と共に模式的に示す。また、図１１Ｂに、第１撮像素子４１、第２撮像素子５１及び第３撮像素子６１と、第４撮像素子７１の出力を模式的に示す。実施例４において、画像処理部１１は、第１回目の撮像において、１組の高感度画像データ（図１１Ｂにおいては『高感度１』で示す）及び低感度画像データ（図１１Ｂにおいては『低感度１』で示す）を生成し、第２回目の撮像において、別の１組の高感度画像データ（図１１Ｂにおいては『高感度２』で示す）及び低感度画像データ（図１１Ｂにおいては『低感度２』で示す）を生成する。ここで、第１回目の撮像における第１撮像素子４１、第２撮像素子５１及び第３撮像素子６１の出力を「１」としたとき、第２回目の撮像における第１撮像素子４１、第２撮像素子５１及び第３撮像素子６１の出力は「１／２」となる。また、第１回目の撮像における第４撮像素子７１の出力は「１／８」であり、第２回目の撮像における第２撮像素子７１の出力は「１／１６」となる。そして、これらの撮像素子からの出力に基づき、２組の高感度画像データ及び低感度画像データが生成される。

　そして、画像処理部１１は、より具体的には、低感度画像データ又は高感度画像データから得られる画像の照度領域を、最も照度の低い領域から最も照度の高い領域まで４段階の領域に区画し、最も照度が低い領域から第２番目に照度が低い領域までの２段階の低照度画像領域のそれぞれにおいては、２段階の低照度画像領域のそれぞれに対応する２組の高感度画像データを用いて、即ち、『高感度１』及び『高感度２』から得られた高感度画像データを用いて、また、第３番目に照度が低い領域から最も照度が高い第４番目の領域までの２段階の高照度画像領域のそれぞれにおいては、２段階の高照度画像領域のそれぞれに対応する２組の低感度画像データを用いて、即ち、『低感度１』及び『低感度２』から得られた低感度画像データを用いて、合成画像を生成する。

　以上の結果、ＨＤＲ合成された画像のダイナミックレンジは２４ｄＢとなる。尚、図１１Ｂに示した例では、第１回目の撮像における高感度画像データは飽和している一方、第２回目の撮像における高感度画像データは飽和していない。

　実施例４によれば、カラー情報取得が可能なレンジが２倍になり、グレーイメージの検出下限も半分まで延びるので、より低照度空間領域での情報取得が可能になる。以上により、通常の１単位フレームでのＨＤＲ合成された画像と比較して、ダイナミックレンジが拡大するだけでなく、中間照度の情報が増えることにより、ハイ・ダイナミック・レンジ合成画像におけるノイズが低減されて、高精細なＨＤＲ合成された画像が２単位フレームから形成が可能である。

　尚、実施例４の撮像装置に対して、実施例２の撮像装置の構成、構造を適用することができるし、実施例４の撮像装置に対して、実施例３の撮像装置の構成、構造を適用することができるし、実施例４の撮像装置に対して、実施例２及び実施例３の撮像装置の構成、構造を適用することができる。

　第１フィルター、第２フィルター、第３フィルター及び第４フィルターを個別に形成する場合、即ち、孤立ドットパターンの第１フィルター、第２フィルター、第３フィルター及び第４フィルターを形成する場合、通常の矩形の開口を有する露光用マスクでは、レジスト材料の露光時、レジスト材料のコーナー部のパターンが後退することに起因して、露光波長のオーダーで、本来、矩形形状をフィルターを形成すべきところが、フィルターの四隅が丸みを帯びてしまう。その結果、フィルターのコーナー部とフィルターのコーナー部との間に隙間が形成されてしまい、撮像素子間の混色や撮像素子全体の信頼性が低下するといった問題が生じ得る。

　実施例５は、実施例１～実施例４の変形に関する。実施例５の撮像装置にあっては、第１フィルター４３、第２フィルター５３、第３フィルター６３及び第４フィルター７３の間には隙間が存在しない。このような構成は、第１フィルター４３、第２フィルター５３、第３フィルター６３及び第４フィルター７３の内の１つのフィルターをフォトリソグラフィ技術を用いて形成するとき、図１２に模式的な部分的平面図を示すような、コーナーセリフパターン付きの露光用マスクを使用することで容易に実現することができる。即ち、露光用マスクには矩形の開口が形成されており、この開口の四隅に小さな矩形の開口が突出した状態で形成されている。そして、第１フィルター、第２フィルター、第３フィルター及び第４フィルターの内、少なくとも１つのフィルターを形成するとき、このようなコーナーセリフパターン付き露光用マスクを使用する。尚、実施例５では、ネガ型のカラーフィルター用レジスト材料を用いるものとする。

　具体的には、周知の方法に基づき、シリコン半導体基板８０に光電変換素子４２，５２，６２，７２を設け、次いで、その上に第１平坦化膜８２や遮光層８６を形成する。次いで、第３フィルター６３を構成する顔料系の第３材料を含んだレジスト材料を全面に塗布し、図１２に示した露光用マスクを用いてレジスト材料を露光し、現像することで、図１３Ａに示すような、四隅が膨らんだ第３フィルター６３を得ることができる。次いで、第２フィルター５３を構成する顔料系の第２材料を含んだレジスト材料を全面に塗布し、図１２に示した露光用マスクを用いてレジスト材料を露光し、現像することで、図１３Ｂに示すような、四隅が膨らんだ第２フィルター５３を得ることができる。次いで、第１フィルター４３を構成する顔料系の第１材料を含んだレジスト材料を全面に塗布し、図１２に示した露光用マスクを用いてレジスト材料を露光し、現像することで、図１４Ａに示すような、四隅が膨らんだ第１フィルター４３を得ることができる。次いで、第４フィルター７３を構成する顔料系の第１材料、第２材料及び第３材料（あるいは、顔料系の第１材料及び第３材料）を含んだレジスト材料を全面に塗布し、図１２に示した露光用マスクを用いてレジスト材料を露光し、現像することで、図１４Ｂに示すような、四隅が膨らんだ第４フィルター７３を得ることができる。各フィルター４３，５３，６３，７３の四隅が膨らんでおり、しかも、重なっているので、各フィルター４３，５３，６３，７３に隙間が生じることがない。

　フィルター４３，５３，６３，７３の形成方法は、上記の方法に限定するものではない。例えば、第２フィルター５３を構成する顔料系の第２材料を含んだレジスト材料を全面に塗布し、図１２に示した露光用マスクを用いてレジスト材料を露光し、現像することで、図１５Ａに示すような、四隅が膨らんだ第２フィルター５３を得ることができる。次いで、第３フィルター６３を構成する顔料系の第３材料を含んだレジスト材料を全面に塗布し、帯状の開口を有する露光用マスクを用いてレジスト材料を露光し、現像することで、図１５Ｂに示すように、第３フィルター６３を得ることができ、しかも、次に第４フィルター７３を形成すべき領域に、第３材料層を形成することができる。次いで、第１フィルター４３を構成する顔料系の第１材料を含んだレジスト材料を全面に塗布し、帯状の開口を有する露光用マスクを用いてレジスト材料を露光し、現像することで、図１６Ａに示すような、第１フィルター４３を得ることができ、しかも、図１５Ｂに示した帯状パターン６３の上の第４フィルター７３を形成すべき領域に第１材料層を形成することができる。こうして、第１フィルター４３を構成する第１材料から成る第１材料層、及び、第３フィルター６３を構成する第３材料から成る第３材料層の２層積層構造を有する第４フィルター７３を得ることができる。このように、第１フィルターと第３フィルターを積層することで、マゼンダライクではあるものの既存材料である第１フィルターを構成する第１材料と第３フィルターを構成する第３材料に基づきＮＤフィルター（第４フィルター７３）を形成することが可能である。

　あるいは又、第２フィルター５３を構成する顔料系の第２材料を含んだレジスト材料を全面に塗布し、露光用マスクを用いてレジスト材料を露光し、現像することで、図１６Ｂに示すような、四隅が膨らんだ第２フィルター５３を得ることができ、しかも、次に第４フィルター７３を形成すべき領域に第２の材料から成る層を形成する。以降、図１５Ｂに示したと同様の帯状の第３の材料から成る層の形成に基づく第３フィルター６３の形成、及び、図１６Ａに示したと同様の帯状の第１の材料から成る層の形成に基づく第１フィルター４３の形成により、第１フィルター４３を構成する第１材料から成る第１材料層、第２フィルター５３を構成する第２材料から成る第２材料層、及び、第３フィルター６３を構成する第３材料から成る第３材料層の３層積層構造を有する第４フィルター７３を得ることができる。

　尚、第１フィルター、第２フィルター、第３フィルター、第４フィルターの形成順序は、例示であり、適宜、変更することができるし、第４フィルターにおける第１材料層、第２材料層、第３材料層の積層順序も、例示であり、適宜、変更することができる。

　実施例６は、本開示の第２の態様及び第４の態様に係る撮像装置に関する。実施例６の撮像装置における撮像部の概念図を図１７Ａに示し、撮像部の動作を説明するための概念図を、図１８Ａ、図１８Ｂ、図１９Ａ、図１９Ｂ、図２０及び図２１に示し、第１撮像素子、第２撮像素子、第３撮像素子及び第４撮像素子の受光特性を模式的に図１７Ｂに示す。尚、撮像装置の概念図、撮像素子の模式的な一部断面図は、図７Ａ及び図７Ｂに示したと同様である。

　実施例６の撮像装置２は、単色の画像を得るための撮像装置であって、本開示の第２の態様に則って説明すると、
　第１光電変換素子を備え、可視光帯の光を受光する第１撮像素子１４１及び第３撮像素子１６１、及び、
　減光フィルター及び第２光電変換素子を備え、可視光帯の光を受光する第２撮像素子１５１及び第４撮像素子１７１、
から成る撮像素子ユニット１３１が２次元マトリクス状に配列された撮像部１３０、並びに、
　画像処理部１１、
を備えた撮像装置である。

　そして、画像処理部１１は、第１撮像素子１４１及び第３撮像素子１６１からの出力によって高感度画像データを生成し、第２撮像素子１５１及び第４撮像素子１７１からの出力によって低感度画像データを生成し、
　画像処理部１１は、更に、低感度画像データ又は高感度画像データから得られる低照度画像領域においては低照度画像領域に対応する高感度画像データを用いて、また、低感度画像データ又は高感度画像データから得られる高照度画像領域においては高照度画像領域に対応する低感度画像データを用いて、合成画像を生成する。

　また、実施例６の撮像装置２は、単色の画像を得るための撮像装置であって、本開示の第４の態様に則って説明すると、
　第１光電変換素子を備え、可視光帯の光を受光する第１撮像素子１４１，１６１、及び、
　減光フィルター及び第２光電変換素子を備え、可視光帯の光を受光する第２撮像素子１５１，１７１、
から成る撮像素子ユニットが配列された撮像部、並びに、
　画像処理部１１、
を備えた撮像装置である。尚、特に図示はしていないが、係る第４の態様の撮像装置にあっては、例えば、撮像素子ユニットが、第１方向に沿って撮像部の１行の全てに配されており、あるいは又、撮像素子ユニットが、第１方向に沿って撮像部の１行において間隔を空けて配されており、更には、撮像素子ユニットが、第２方向に沿ってＭ行（但し、Ｍ≧２）毎に配されている。撮像素子ユニット以外の撮像部を構成する部分は、第１撮像素子で占めればよい。

　そして、画像処理部１１は、第１撮像素子１４１，１６１からの出力によって高感度画像データを生成し、第２撮像素子１５１，１７１からの出力によって低感度画像データを生成し、
　画像処理部１１は、更に、低感度画像データ又は高感度画像データから得られる低照度画像領域においては低照度画像領域に対応する高感度画像データを用いて、また、低感度画像データ又は高感度画像データから得られる高照度画像領域においては高照度画像領域に対応する低感度画像データを用いて、合成画像を生成する。

　ここで、減光フィルターは、実施例１における第１フィルター４３を構成する顔料系の第１材料、第２フィルター５３を構成する顔料系の第２材料、及び、第３フィルター６３を構成する顔料系の第３材料が混合された材料から成り、あるいは又、第４フィルター７３は、第１フィルター４３を構成する顔料系の第１材料から成る第１材料層、第２フィルター５３を構成する顔料系の第２材料から成る第２材料層、及び、第３フィルター６３を構成する顔料系の第３材料から成る第３材料層の３層構造から構成されている。このような構成、構造、及び、各材料層の膜厚を適切に設定した減光フィルターを採用することで、減光フィルターに、第１フィルターと第３フィルターを積層したフィルターの分光特性と等しい分光特性を付与することが可能となる。

　あるいは又、減光フィルターは、実施例１における第２フィルター５３を構成する顔料系の第２材料、及び、マゼンタ系材料が混合された材料から成り、あるいは又、減光フィルター７３は、第２フィルター５３を構成する顔料系の第２材料から成る第２材料層、及び、マゼンタ系材料から成る材料層の２層構造から構成されていてもよく、これらによっても、各材料層の膜厚を適切に設定した減光フィルターに、第１フィルターと第３フィルターを積層したフィルターの分光特性と等しい分光特性を付与することが可能となる。

　図１７Ａに示すように、実施例６の撮像装置２において、１つの撮像素子ユニット１３１（図１７Ａにおいて実線の正方形で示す）における４つの撮像素子１４１，１５１，１６１，１７１（図１７Ａにおいて実線及び点線の正方形で示す）の配列は、ベイヤ配列である。即ち、撮像素子ユニット１３１が２次元マトリクス状に配列されているが、第１の方向、及び、第１の方向と直交する第２の方向に撮像素子ユニット１３１が配列されており、１つの撮像素子ユニット１３１において、第１の方向に沿って第３撮像素子１６１及び第４撮像素子１７１が隣接して配され、第１の方向に沿って第１撮像素子１４１及び第２撮像素子１５１が隣接して配され、第２の方向に沿って第１撮像素子１４１及び第４撮像素子１７１が隣接して配され、第２の方向に沿って第２撮像素子１５１及び第３撮像素子１６１が隣接して配されている。第２撮像素子１５１及び第４撮像素子１７１の感度は、第１撮像素子１４１及び第３撮像素子１６１の感度よりも低い。

　そして、画像処理部１１は、第１撮像素子１４１及び第３撮像素子１６１からの出力によって高感度画像データを生成し、第２撮像素子１５１及び第４撮像素子１７１からの出力によって低感度画像データを生成する。

　具体的には、或る撮影シーンを撮像したとき、第１撮像素子１４１及び第３撮像素子１６１、並びに、第２撮像素子１５１及び第４撮像素子１７１は、それぞれ、図１８Ａ並びに図１８Ｂに示す信号値「ＧＹ₁」、「ＧＹ₃₁」、「ｇｙ₂」及び「ｇｙ₄」を出力するとする。

　尚、第１撮像素子１４１を構成する第１光電変換素子及び第３撮像素子１６１を構成する光電変換素子の受光感度を、便宜上、説明を簡素化するために、等しく「１」とし、第２撮像素子１５１及び第４撮像素子１７１を構成する光電変換素子の受光感度を、便宜上、「１／８」とする。以下の説明においても同様とする。即ち、第１撮像素子１４１及び第３撮像素子１６１の平均蓄積電荷量と、第２撮像素子１５１及び第４撮像素子１７１の蓄積電荷量との比は、８：１（１８ｄＢ）となる。１８ｄＢの感度差により、露出３段分の低感度画像データが取得される。以下の説明においても、基本的に、同様とする。

　図１８Ａ及び図１８Ｂに図示した状態の光を受光した各撮像素子は、受光量に基づく出力（電気信号）を、画像処理部１１に送出する。画像処理部１１においては、例えば、以下の方法に基づき補間処理を行う。

　即ち、第４撮像素子１７１の位置する領域に第１撮像素子１４１が位置していると仮定して、係る仮定された第１撮像素子１４１（仮定第１撮像素子１４１）が出力するであろう出力を、仮定第１撮像素子１４１に隣接した第１撮像素子１４１の出力から補間する。例えば、図１９Ａにおいて、（ｉ＋１，ｊ＋１）番目の仮定第１撮像素子１４１が出力するであろう出力を、（ｉ＋１，ｊ）番目の第１撮像素子１４１、及び、（ｉ＋１，ｊ＋１）番目の第１撮像素子１４１の２つの撮像素子からの出力の平均値「ＧＹ’₄」として求める。また、第２撮像素子１５１の位置する領域に第３撮像素子１６１が位置していると仮定して、係る仮定された第３撮像素子１６１（仮定第３撮像素子１６１）が出力するであろう出力を、仮定第３撮像素子１６１に隣接した第２撮像素子１５１の出力から補間する。例えば、図１９Ａにおいて、（ｉ＋１，ｊ＋１）番目の仮定第３撮像素子１６１が出力するであろう出力を、（ｉ＋１，ｊ＋１）番目の第３撮像素子１６１、及び、（ｉ＋１，ｊ＋２）番目の第３撮像素子１６１の２つの撮像素子からの出力の平均値「ＧＹ’₂」として求める。こうして、通常の撮像装置におけるベイヤ配列の撮像素子（１つの赤色・撮像素子、２つの緑色・撮像素子、及び、１つの青色・撮像素子）からの出力と同様の出力（ＧＹ₁，ＧＹ’₂，ＧＹ₃，ＧＹ’₄）を得ることができ（図１９Ａ参照）、得られた出力の全体から高感度画像データを得ることができる。

　また、第１撮像素子１４１の位置する領域に第４撮像素子１７１が位置していると仮定して、係る仮定された第４撮像素子１７１（仮定第４撮像素子１７１）が出力するであろう出力を、仮定第４撮像素子１７１に隣接した第４撮像素子１７１の出力から補間する。例えば、図１９Ｂにおいて、（ｉ＋１，ｊ＋１）番目の仮定第４撮像素子１７１が出力するであろう出力を、（ｉ＋１，ｊ＋１）番目の第４撮像素子１７１、及び、（ｉ＋１，ｊ＋２）番目の第４撮像素子１７１の２つの撮像素子からの出力の平均値「ｇｙ’₁」として求める。また、第３撮像素子１６１の位置する領域に第２撮像素子１５１が位置していると仮定して、係る仮定された第２撮像素子１５１（仮定第２撮像素子１５１）が出力するであろう出力を、仮定第２撮像素子１５１に隣接した第３撮像素子１６１の出力から補間する。例えば、図１９Ｂにおいて、（ｉ＋１，ｊ＋１）番目の仮定第２撮像素子１５１が出力するであろう出力を、（ｉ＋１，ｊ）番目の第２撮像素子１５１、及び、（ｉ＋１，ｊ＋１）番目の第２撮像素子１５１の２つの撮像素子からの出力の平均値「ｇｙ’₃」として求める。こうして、通常の撮像装置におけるベイヤ配列の撮像素子（１つの赤色・撮像素子、２つの緑色・撮像素子、及び、１つの青色・撮像素子）からの出力と同様の出力（ｇｙ’₁，ｇｙ₂，ｇｙ’₃，ｇｙ₄）を得ることができ（図１９Ｂ参照）、得られた出力の全体から低感度画像データを得ることができる。

　そして、このような処理によって、本来の画素数のままで、低感度画像データのデータ構成、データ構造と、高感度画像データのデータ構成、データ構造とを揃えることができるので、各種信号処理の簡素化を図ることができ、非常に低コストの処理エンジンでＨＤＲ合成された画像の生成が可能である。また、画像処理としては、最もシンプルな周期性、対称性を保持しているために、合成画像の形成時、偽色やジャギー等の画質劣化が発生し難い。

　次に、画像処理部１１は、低感度画像データ又は高感度画像データから得られる低照度画像領域においては低照度画像領域に対応する高感度画像データを用いて、また、低感度画像データ又は高感度画像データから得られる高照度画像領域においては高照度画像領域に対応する低感度画像データを用いて、合成画像を生成する。具体的には、例えば、高感度画像データから低照度画像領域及び高照度画像領域を抽出する。より具体的には、或る面積の領域における照度平均値が既定値以上（例えば、最大照度以上）である場合、この領域を高照度画像領域とし、照度平均値が既定値未満である場合、この領域を低照度画像領域とすればよい。図２０において、二重の斜線で囲んだ領域が、高照度画像領域であるとする。そして、低照度画像領域においては低照度画像領域に対応する高感度画像データを用いて、また、高照度画像領域においては高照度画像領域に対応する低感度画像データを用いて、合成画像を生成する。この状態を模式的に図２１に示す。

　実施例７は、実施例６の変形であり、実施例２と同様の形態に関する。実施例７の撮像装置にあっては、図７Ｂの矢印Ｂ－Ｂで撮像素子を切断したと想定したときの遮光層８６の模式的な部分的平面図を図２２に示すように、
　第１光電変換素子の光入射領域には第１開口部１４７が形成されており、
　減光フィルターと第２光電変換素子との間には第２開口部１５７が形成されており、
　第３光電変換素子の光入射領域には第３開口部１６７が形成されており、
　減光フィルターと第４光電変換素子との間には第４開口部１７７が形成されており、
　第３開口部１６７は第１開口部１４７よりも小さく、第４開口部１７７は第２開口部１５７よりも小さい。

　例えば、第１撮像素子１４１及び第３撮像素子１６１が受ける光量減衰に対して第２撮像素子１５１及び第４撮像素子１７１が受ける光量減衰が２倍となるように、第１開口部１４７、第２開口部１５７、第３開口部１６７、第４開口部１７７の大きさを決定すれば、第３撮像素子１６１の感度は、第１撮像素子１４１の感度の（１／２）となるし、第４撮像素子１７１の感度は、第２撮像素子１５１の感度の１／８（実施例６）から１／１６（２４ｄＢ）となる（図２３Ａ及び図２３Ｂ参照）。従って、第１撮像素子１４１からの出力に基づく高感度画像データ［１]、及び、第３撮像素子１６１からの出力に基づく高感度画像データ［２］を得ることができる。但し、高感度画像データ［１]：高感度画像データ［２］の最終出力比は、１：（１／２）である（図２４Ａ及び図２４Ｂ参照）。また、第２撮像素子１５１からの出力に基づく低感度画像データ［１]、及び、第４撮像素子１７１からの出力に基づく低感度画像データ［２］を得ることができる。但し、低感度画像データ［１]：低感度画像データ［２］の最終出力比は、（１／８）：（１／１６）である（図２５Ａ及び図２５Ｂ参照）。以上のとおり、実施例７にあっては、１回の撮像によって４段階の情報取得が可能となる。即ち、実施例７によれば、情報取得が可能なレンジが２倍になり、グレーイメージの検出下限が大きく延び、より低照度空間領域での情報取得が可能になる。

　実施例８も、実施例６の変形であり、実施例３と同様の形態に関する。実施例８の撮像装置において、画像処理部１１は、第１撮像素子１４１及び第３撮像素子１６１からの出力を調整する第１ゲイン調整部、並びに、第２撮像素子１５１及び第４撮像素子１７１からの出力を調整する第２ゲイン調整部を備えている。そして、第１ゲイン調整部による第１撮像素子１４１及び第３撮像素子１６１からの出力に対する調整係数をＧｎ₁、第２ゲイン調整部による第２撮像素子１５１及び第４撮像素子１７１からの出力に対する調整係数をＧｎ₂としたとき、限定するものではないが、
Ｇｎ₁／Ｇｎ₂≧１
を満足し、具体的には、
Ｇｎ₁／Ｇｎ₂＝４
である。即ち、第１撮像素子１４１及び第３撮像素子１６１と、第２撮像素子１５１及び第４撮像素子１７１とのゲイン差のレンジは、最大、１２ｄＢである。第１撮像素子１４１及び第３撮像素子１６１の感度比と、第２撮像素子１５１及び第４撮像素子１７１の感度比は１：（１／８）であり、第１撮像素子１４１及び第３撮像素子１６１と、第２撮像素子１５１と第４撮像素子１７１とのゲイン比は、４：１である。従って、第１撮像素子１４１及び第３撮像素子１６１と、第２撮像素子１５１及び第４撮像素子１７１との最終出力比は１：（１／３２）、即ち、３０ｄＢとなる。

　調整係数Ｇｎ₁，Ｇｎ₂の値は、固定値としてもよいし、撮影シーンや、高感度画像データにおける平均輝度と低感度画像データにおける平均輝度との差に応じて、自動的にあるいは手動で変更可能とすることもでき、これによって、様々な明暗シーンに応じて最適なダイナミックレンジでの撮像が可能となる。また、第１撮像素子１４１に対するゲインの値と第３撮像素子１６１に対するゲインの値とを異ならせ（例えば、第１撮像素子１４１に対しては４倍、第３撮像素子１６１に対しては２倍のゲイン値）、第２撮像素子１５１に対するゲインの値と第４撮像素子１７１に対するゲインの値とを異ならせてもよい（例えば、第２撮像素子１５１に対しては２倍、第４撮像素子１７１に対しては１倍のゲイン値）。

　尚、実施例７と実施例８とを組み合わせることもできる。

　実施例９も、実施例６の変形であり、実施例４と同様の形態に関する。実施例９においても、
　画像処理部１１は、露出時間の異なるＮ組の高感度画像データ及び低感度画像データを生成し、
　画像処理部１１は、更に、低感度画像データ又は高感度画像データから得られる画像の照度領域を、最も照度の低い画像領域から最も照度の高い画像領域まで２Ｎ段階の画像領域に区画し、最も照度が低い画像領域から第Ｎ番目に照度が低い画像領域までのＮ段階の低照度画像領域のそれぞれにおいては、Ｎ段階の低照度画像領域のそれぞれに対応するＮ組の高感度画像データを用いて、また、第（Ｎ＋１）番目に照度が低い画像領域から最も照度が高い画像領域までのＮ段階の高照度画像領域のそれぞれにおいては、Ｎ段階の高照度画像領域のそれぞれに対応するＮ組の低感度画像データを用いて、合成画像を生成する形態とすることができる。尚、実施例９においても、Ｎ＝２としており、第１組目の高感度画像データ及び低感度画像データを得るための撮像時間と、第２組目の高感度画像データ及び低感度画像データを得るための撮像時間との間には、２倍の関係がある。

　実施例３と同様に、画像処理部１１は、より具体的には、低感度画像データ又は高感度画像データから得られる画像の照度領域を、最も照度の低い領域から最も照度の高い領域まで４段階の領域に区画し、最も照度が低い領域から第２番目に照度が低い領域までの２段階の低照度画像領域のそれぞれにおいては、２段階の低照度画像領域のそれぞれに対応する２組の高感度画像データを用いて、即ち、図１１に示した『高感度１』及び『高感度２』から得られた高感度画像データを用いて、また、第３番目に照度が低い領域から最も照度が高い第４番目の領域までの２段階の高照度画像領域のそれぞれにおいては、２段階の高照度画像領域のそれぞれに対応する２組の低感度画像データを用いて、即ち、図１１に示した『低感度１』及び『低感度２』から得られた低感度画像データを用いて、合成画像を生成する。以上の結果、ＨＤＲ合成された画像のダイナミックレンジは２４ｄＢとなる。

　実施例９にあっても、情報取得が可能なレンジが２倍になり、グレーイメージの検出下限も半分まで延びるので、より低照度空間領域での情報取得が可能になる。以上により、通常の１単位フレームでのＨＤＲ合成された画像と比較して、ダイナミックレンジが拡大するだけでなく、中間照度の情報が増えることにより高精細なＨＤＲ合成された画像が２単位フレームから形成が可能である。

　尚、実施例９の撮像装置に対して、実施例７の撮像装置の構成、構造を適用することができるし、実施例９の撮像装置に対して、実施例８の撮像装置の構成、構造を適用することができるし、実施例９の撮像装置に対して、実施例７及び実施例８の撮像装置の構成、構造を適用することができる。

　実施例１０は、実施例１及び実施例６の変形である。即ち、実施例１０においては、実施例１において説明した撮像装置から単色の画像を得る。そして、この場合、画像処理部１１に備えられた第１ゲイン調整部によって、第１撮像素子４１、第２撮像素子５１及び第３撮像素子６１からの出力に対する調整を行い、これらの出力に基づく分光特性を、第４撮像素子７１に備えられた第４フィルター（減光フィルター）７３の分光特性と出来る限り一致させる。例えば、第４フィルターを、前述したように、第１フィルターと第３フィルターの積層によって構成する場合、第１撮像素子４１の出力を１．０倍し、第２撮像素子５１の出力を０．２倍し、第３撮像素子６１の出力を１．０倍すればよい。ここで、これらの出力倍率は例示であり、第４フィルターの分光特性と相似となるように適切に設定すればよい。尚、減光フィルターは、実施例６において説明したように、第１材料、第２材料及び第３材料が混合された材料から成り、あるいは又、第１材料層、第２材料層及び第３材料層の３層構造から構成されていてもよいし、また、第１材料及び第３材料が混合された材料から成り、あるいは又、第１材料層及び第３材料層の２層構造から構成されていてもよいし、第２材料及びマゼンタ系材料が混合された材料から成り、あるいは又、第２材料層及びマゼンタ系材料から成る材料層の２層構造から構成されていてもよい。尚、第１材料及び第３材料が混合された材料の分光特性を模式的に図１７Ｂに示す。

　実施例１１は、本開示の第３の態様に係る撮像装置に関する。実施例１１の撮像装置における撮像部の概念図を図２６に示し、撮像部の動作を説明するための概念図を、図２７Ａ、図２７Ｂ、図２８Ａ、図２８Ｂ、及び、図２９に示す。

　実施例１１の撮像装置は、画像の内の一部分は単色の画像であり、残りの部分はカラーの画像である合成画像を得るための撮像装置である。そして、
　第１フィルター４３及び第１光電変換素子４２を備え、第１波長帯の光を受光する第１撮像素子４１、
　第２フィルター５３及び第２光電変換素子５２を備え、第１波長帯のピーク波長よりも長いピーク波長を有する第２波長帯の光を受光する第２撮像素子５１、
　第３フィルター６３及び第３光電変換素子６２を備え、第２波長帯のピーク波長よりも長いピーク波長を有する第３波長帯の光を受光する第３撮像素子６１、及び、
　第４フィルター７３及び第４光電変換素子７２を備え、第１波長帯、第２波長帯及び第３波長帯の光を受光する第４撮像素子７１、
から成る撮像素子サブユニット２３１Ｂの４つから構成された撮像素子ユニット２３１Ａが２次元マトリクス状に配列された撮像部２３０、並びに、
　画像処理部１１、
を備えた撮像装置である。尚、実施例１１における第１撮像素子４１、第２撮像素子５１、第３撮像素子６１及び第４撮像素子７１、光電変換素子、フィルター４３，５３，６３，７３等は、実施例１と同様の構成、構造を有する。

　そして、実施例１１の撮像装置において、第４フィルター７３の光透過率は、実施例１と同様に、第１フィルター４３の光透過率、第２フィルター５３の光透過率及び第３フィルター６３の光透過率よりも低い。あるいは又、第４撮像素子７１の感度は、第１撮像素子４１、第２撮像素子５１及び第３撮像素子６１の感度よりも低い。画像処理部１１は、撮像素子ユニット２３１Ａを構成する４つの撮像素子サブユニット２３１Ｂにおける第１撮像素子４１の出力合計、第２撮像素子５１の出力合計及び第３撮像素子６１の出力合計に基づき高感度画像データを生成し、４つの撮像素子サブユニット２３１Ｂのそれぞれにおける第４撮像素子７１からの出力によって低感度画像データを生成する。即ち、第１撮像素子４１の合計出力、第２撮像素子５１の合計出力及び第３撮像素子６１の合計出力は、第４撮像素子７１の各々の出力の４倍であるし、第１撮像素子４１、第２撮像素子５１及び第３撮像素子６１の感度と、第４撮像素子７１との感度の感度比は１：（１／８）であるので、高感度画像データと低感度画像データの最終出力比は、１：（１／３２）となる。

　そして、画像処理部１１は、更に、低感度画像データ又は高感度画像データから得られる低照度画像領域においては低照度画像領域に対応する高感度画像データを用いて、また、低感度画像データ又は高感度画像データから得られる高照度画像領域においては高照度画像領域に対応する低感度画像データを用いて、合成画像を生成する。

　尚、１つの撮像素子サブユニット２３１Ｂにおける４つの撮像素子４１，５１，６１，７１の配列はベイヤ配列である。図２６において、撮像素子ユニット２３１Ａを実線で囲み、撮像素子サブユニット２３１Ｂを実線及び点線で囲んで表している。即ち、例えば、１つの撮像素子サブユニット２３１Ｂにおいて、第１の方向に沿って第３撮像素子６１及び第４撮像素子７１が隣接して配され、第１の方向に沿って第１撮像素子４１及び第２撮像素子５１が隣接して配され、第２の方向に沿って第１撮像素子４１及び第４撮像素子７１が隣接して配され、第２の方向に沿って第２撮像素子５１及び第３撮像素子６１が隣接して配されている。

　そして、或る撮影シーンを撮像したとき、１つの撮像素子ユニット２３１Ａにおける４つの第１撮像素子４１は、図２７Ａに示す信号値「Ｂ¹」，「Ｂ²」，「Ｂ³」，「Ｂ⁴」を出力するとする。また、１つの撮像素子ユニット２３１Ａにおける４つの第２撮像素子５１は、図２７Ａに示す信号値「Ｇ₁ ¹」，「Ｇ₁ ²」，「Ｇ₁ ³」，「Ｇ₁ ⁴」を出力するとする。更には、１つの撮像素子ユニット２３１Ａにおける４つの第３撮像素子６１は、図２７Ａに示す信号値「Ｒ₁ ¹」，「Ｒ₁ ²」，「Ｒ₁ ³」，「Ｒ₁ ⁴」を出力するとする。一方、１つの撮像素子ユニット２３１Ａにおける４つの第４撮像素子７１は、図２７Ｂに示す信号値「Ｇｙ₄ ¹」，「Ｇｙ₄ ²」，「Ｇｙ₄ ³」，「Ｇｙ₄ ⁴」を出力するとする。

　図２７Ａ及び図２７Ｂに図示した状態の光を受光した各撮像素子は、受光量に基づく出力（電気信号）を、画像処理部１１に送出する。画像処理部１１においては、例えば、以下の方法に基づき補間処理を行う。

　即ち、画像処理部１１は、４つの撮像素子サブユニット２３１Ｂにおける４つの第１撮像素子４１の集合体（第１撮像素子集合体）、４つの第２撮像素子５１の集合体（第２撮像素子集合体）、４つの第３撮像素子６１の集合体（第３撮像素子集合体）の出力合計Ｂ^1-4，Ｇ₁ ^1-4，Ｒ^1-4を求める（図２８Ａ参照）。そして、更に、第４撮像素子集合体の位置する領域に第２撮像素子集合体が位置していると仮定して、係る仮定された第２撮像素子集合体（仮定第２撮像素子集合体）が出力するであろう出力を、仮定第２撮像素子集合体に隣接した第２撮像素子集合体の出力から補間することで、通常の撮像装置におけるベイヤ配列の撮像素子からの出力と同様の出力Ｇ’₂ ^1-4を得る（図２８Ｂ参照）。また、第１の撮像素子サブユニット２３１Ｂ₁を構成する第４撮像素子７１、第２の撮像素子サブユニット２３１Ｂ₂を構成する第４撮像素子７１、第３の撮像素子サブユニット２３１Ｂ₃を構成する第４撮像素子７１、及び、第４の撮像素子サブユニット２３１Ｂ₄を構成する第４撮像素子７１に基づき、加算処理は行わないで通常の撮像装置におけるベイヤ配列の撮像素子からの出力と類似した第４撮像素子７１に基づく出力を得る（図２９参照）。これによって、本来の画素数の１／４の高感度画像データ（図２８Ｂ参照）、及び、低感度画像データ（図２９参照）を得ることができるが、低感度画像データのデータ構成、データ構造と、高感度画像データのデータ構成、データ構造とを揃えることができ、各種信号処理の簡素化を図ることができる。また、高感度画像データは４画素加算処理されており、低感度画像データは加算処理されていないので、感度差を４倍大きくできるという効果がある。

　以降、この高感度画像データ及び低感度画像データに基づき、実施例１と同様の処理を行うことで、ＨＤＲ合成された画像を得ることができる。

　尚、実施例１１においても、実施例２にて説明した撮像装置の構成、構造を適用することができるし、実施例３にて説明した撮像装置の構成、構造を適用することができるし、実施例４にて説明した撮像装置の構成、構造を適用することができるし、これらの任意の組合せを適用することもできる。

　以上、本開示を好ましい実施例に基づき説明したが、本開示はこれらの実施例に限定されるものではない。実施例において説明した撮像素子や撮像装置の構成、構造は例示であり、適宜、変更することができる。例えば、撮像素子を、シリコン半導体基板に設けられた光電変換素子、並びに、その上に、第１平坦化膜、オン・チップ・レンズ、第２平坦化膜、フィルターが積層されて成る構成とすることもできる。また、撮像素子を、裏面照射型とするだけでなく、表面照射型としてもよい。

　尚、本開示は、以下のような構成を取ることもできる。
［１］《撮像装置：第１の態様》
　第１フィルター及び第１光電変換素子を備え、第１波長帯の光を受光する第１撮像素子、
　第２フィルター及び第２光電変換素子を備え、第１波長帯のピーク波長よりも長いピーク波長を有する第２波長帯の光を受光する第２撮像素子、
　第３フィルター及び第３光電変換素子を備え、第２波長帯のピーク波長よりも長いピーク波長を有する第３波長帯の光を受光する第３撮像素子、及び、
　第４フィルター及び第４光電変換素子を備え、第１波長帯、第２波長帯及び第３波長帯の光を受光する第４撮像素子、
から成る撮像素子ユニットが２次元マトリクス状に配列された撮像部、並びに、
　画像処理部、
を備えた撮像装置であって、
　第４フィルターの光透過率は、第１フィルターの光透過率、第２フィルターの光透過率及び第３フィルターの光透過率よりも低く、
　画像処理部は、第１撮像素子、第２撮像素子及び第３撮像素子からの出力によって高感度画像データを生成し、第４撮像素子からの出力によって低感度画像データを生成し、
　画像処理部は、更に、低感度画像データ又は高感度画像データから得られる低照度画像領域においては低照度画像領域に対応する高感度画像データを用いて、また、低感度画像データ又は高感度画像データから得られる高照度画像領域においては高照度画像領域に対応する低感度画像データを用いて、合成画像を生成する撮像装置。
［２］第１フィルターと第１光電変換素子との間には第１開口部が形成されており、
　第２フィルターと第２光電変換素子との間には第２開口部が形成されており、
　第３フィルターと第３光電変換素子との間には第３開口部が形成されており、
　第４フィルターと第４光電変換素子との間には第４開口部が形成されており、
　第４開口部は、第１開口部、第２開口部及び第３開口部よりも小さい［１］に記載の撮像装置。
［３］画像処理部は、第１撮像素子、第２撮像素子及び第３撮像素子からの出力を調整する第１ゲイン調整部、並びに、第４撮像素子からの出力を調整する第２ゲイン調整部を備えている［１］又は［２］に記載の撮像装置。
［４］第１ゲイン調整部による第１撮像素子、第２撮像素子及び第３撮像素子からの出力に対する調整係数をＧｎ₁、第２ゲイン調整部による第４撮像素子からの出力に対する調整係数をＧｎ₂としたとき、
Ｇｎ₁／Ｇｎ₂≧１
を満足する［３］に記載の撮像装置。
［５］画像処理部は、露出時間の異なるＮ組の高感度画像データ及び低感度画像データを生成し、
　画像処理部は、更に、低感度画像データ又は高感度画像データから得られる画像の照度領域を、最も照度の低い領域から最も照度の高い領域まで２Ｎ段階の領域に区画し、最も照度が低い領域から第Ｎ番目に照度が低い領域までのＮ段階の低照度画像領域のそれぞれにおいては、Ｎ段階の低照度画像領域のそれぞれに対応するＮ組の高感度画像データを用いて、また、第（Ｎ＋１）番目に照度が低い領域から最も照度が高い領域までのＮ段階の高照度画像領域のそれぞれにおいては、Ｎ段階の高照度画像領域のそれぞれに対応するＮ組の低感度画像データを用いて、合成画像を生成する［１］乃至［４］のいずれか１項に記載の撮像装置。
［６］Ｎ＝２であり、第１組目の高感度画像データ及び低感度画像データを得るための撮像時間と、第２組目の高感度画像データ及び低感度画像データを得るための撮像時間との間には、２倍の関係がある［５］に記載の撮像装置。
［７］第１フィルター、第２フィルター、第３フィルター及び第４フィルターの間には隙間が存在しない［１］乃至［６］のいずれか１項に記載の撮像装置。
［８］第４フィルターは、第１フィルターを構成する第１材料から成る第１材料層、第２フィルターを構成する第２材料から成る第２材料層、及び、第３フィルターを構成する第３材料から成る第３材料層の３層積層構造を有する［１］乃至［７］のいずれか１項に記載の撮像装置。
［９］第４フィルターは、第１フィルターを構成する第１材料、第２フィルターを構成する第２材料、及び、第３フィルターを構成する第３材料が混合された材料から成る［１］乃至［７］のいずれか１項に記載の撮像装置。
［１０］第４フィルターは、第１フィルターを構成する第１材料から成る第１材料層、及び、第３フィルターを構成する第３材料から成る第３材料層の２層積層構造を有する［１］乃至［７］のいずれか１項に記載の撮像装置。
［１１］第４フィルターは、第１フィルターを構成する第１材料、及び、第３フィルターを構成する第３材料が混合された材料から成る［１］乃至［７］のいずれか１項に記載の撮像装置。
［１２］《撮像装置：第２の態様》
　第１光電変換素子を備え、可視光帯の光を受光する第１撮像素子及び第３撮像素子と、
　減光フィルター及び第２光電変換素子を備え、可視光帯の光を受光する第２撮像素子及び第４撮像素子、
とから成る撮像素子ユニットが２次元マトリクス状に配列された撮像部、並びに、
　画像処理部、
を備えた撮像装置であって、
　画像処理部は、第１撮像素子及び第３撮像素子からの出力によって高感度画像データを生成し、第２撮像素子及び第４撮像素子からの出力によって低感度画像データを生成し、
　画像処理部は、更に、低感度画像データ又は高感度画像データから得られる低照度画像領域においては低照度画像領域に対応する高感度画像データを用いて、また、低感度画像データ又は高感度画像データから得られる高照度画像領域においては高照度画像領域に対応する低感度画像データを用いて、合成画像を生成する撮像装置。
［１３］第１光電変換素子の光入射領域には第１開口部が形成されており、
　減光フィルターと第２光電変換素子との間には第２開口部が形成されており、
　第３光電変換素子の光入射領域には第３開口部が形成されており、
　減光フィルターと第４光電変換素子との間には第４開口部が形成されており、
　第３開口部は第１開口部よりも小さく、第４開口部は第２開口部よりも小さい［１２］に記載の撮像装置。
［１４］画像処理部は、第１撮像素子及び第３撮像素子からの出力を調整する第１ゲイン調整部、並びに、第２撮像素子及び第４撮像素子からの出力を調整する第２ゲイン調整部を備えている［１２］又は［１３］に記載の撮像装置。
［１５］第１ゲイン調整部による第１撮像素子及び第３撮像素子からの出力に対する調整係数をＧｎ₁、第２ゲイン調整部による第２撮像素子及び第４撮像素子からの出力に対する調整係数をＧｎ₂としたとき、
Ｇｎ₁／Ｇｎ₂≧１
を満足する［１４］に記載の撮像装置。
［１６］画像処理部は、露出時間の異なるＮ組の高感度画像データ及び低感度画像データを生成し、
　画像処理部は、更に、低感度画像データ又は高感度画像データから得られる画像の照度領域を、最も照度の低い画像領域から最も照度の高い画像領域まで２Ｎ段階の画像領域に区画し、最も照度が低い画像領域から第Ｎ番目に照度が低い画像領域までのＮ段階の低照度画像領域のそれぞれにおいては、Ｎ段階の低照度画像領域のそれぞれに対応するＮ組の高感度画像データを用いて、また、第（Ｎ＋１）番目に照度が低い画像領域から最も照度が高い画像領域までのＮ段階の高照度画像領域のそれぞれにおいては、Ｎ段階の高照度画像領域のそれぞれに対応するＮ組の低感度画像データを用いて、合成画像を生成する［１２］乃至［１５］のいずれか１項に記載の撮像装置。
［１７］Ｎ＝２であり、第１組目の高感度画像データ及び低感度画像データを得るための撮像時間と、第２組目の高感度画像データ及び低感度画像データを得るための撮像時間との間には、２倍の関係がある［１６］に記載の撮像装置。
［１８］減光フィルターは、第１フィルターと第３フィルターを積層したフィルターの分光特性と等しい分光特性を有する［１２］乃至［１７］のいずれか１項に記載の撮像装置。
［１９］《撮像装置：第３の態様》
　第１フルター及び第１光電変換素子を備え、第１波長帯の光を受光する第１撮像素子、
　第２フィルター及び第２光電変換素子を備え、第１波長帯のピーク波長よりも長いピーク波長を有する第２波長帯の光を受光する第２撮像素子、
　第３フィルター及び第３光電変換素子を備え、第２波長帯のピーク波長よりも長いピーク波長を有する第３波長帯の光を受光する第３撮像素子、及び、
　第４フィルター及び第４光電変換素子を備え、第１波長帯、第２波長帯及び第３波長帯の光を受光する第４撮像素子、
から成る撮像素子サブユニットの４つから構成された撮像素子ユニットが２次元マトリクス状に配列された撮像部、並びに、
　画像処理部、
を備えた撮像装置であって、
　第４フィルターの光透過率は、第１フィルターの光透過率、第２フィルターの光透過率及び第３フィルターの光透過率よりも低く、
　画像処理部は、撮像素子ユニットを構成する４つの撮像素子サブユニットにおける第１撮像素子の出力合計、第２撮像素子の出力合計及び第３撮像素子の出力合計に基づき高感度画像データを生成し、４つの撮像素子サブユニットのそれぞれにおける第４撮像素子からの出力によって低感度画像データを生成し、
　画像処理部は、更に、低感度画像データ又は高感度画像データから得られる低照度画像領域においては低照度画像領域に対応する高感度画像データを用いて、また、低感度画像データ又は高感度画像データから得られる高照度画像領域においては高照度画像領域に対応する低感度画像データを用いて、合成画像を生成する撮像装置。
［２０］《撮像装置：第４の態様》
　第１光電変換素子を備え、可視光帯の光を受光する第１撮像素子、及び、
　減光フィルター及び第２光電変換素子を備え、可視光帯の光を受光する第２撮像素子、
から成る撮像素子ユニットが配列された撮像部、並びに、
　画像処理部、
を備えた撮像装置であって、
　画像処理部は、第１撮像素子からの出力によって高感度画像データを生成し、第２撮像素子からの出力によって低感度画像データを生成し、
　画像処理部は、更に、低感度画像データ又は高感度画像データから得られる低照度画像領域においては低照度画像領域に対応する高感度画像データを用いて、また、低感度画像データ又は高感度画像データから得られる高照度画像領域においては高照度画像領域に対応する低感度画像データを用いて、合成画像を生成する撮像装置。

１，２・・・撮像装置、２・・・カメラ本体部、１１・・・画像処理部、１２・・・画像記憶部、２０・・・レンズ系、２１・・・撮影レンズ、２２・・・絞り部、２３・・・結像レンズ、３０，１３０，２３０・・・撮像部、３１，１３１，２３１Ａ・・・撮像素子ユニット、２３１Ｂ・・・撮像素子サブユニット、４１，１４１・・・第１撮像素子、４２・・・第１光電変換素子、４３・・・第１フィルター、５１，１５１・・・第２撮像素子、５２・・・第２光電変換素子、５３・・・第２フィルター、６１，１６１・・・第３撮像素子、６２・・・第３光電変換素子、６３・・・第３フィルター、７１，１７１・・・第４撮像素子、７２・・・第４光電変換素子、７３・・・第４フィルター、８０・・・・・・シリコン半導体基板、８２・・・第１平坦化膜、８４・・・オン・チップ・レンズ、８５・・・第２平坦化膜

Claims

　第１フィルター及び第１光電変換素子を備え、第１波長帯の光を受光する第１撮像素子、
　第２フィルター及び第２光電変換素子を備え、第１波長帯のピーク波長よりも長いピーク波長を有する第２波長帯の光を受光する第２撮像素子、
　第３フィルター及び第３光電変換素子を備え、第２波長帯のピーク波長よりも長いピーク波長を有する第３波長帯の光を受光する第３撮像素子、及び、
　第４フィルター及び第４光電変換素子を備え、第１波長帯、第２波長帯及び第３波長帯の光を受光する第４撮像素子、
から成る撮像素子ユニットが２次元マトリクス状に配列された撮像部、並びに、
　画像処理部、
を備えた撮像装置であって、
　第４フィルターの光透過率は、第１フィルターの光透過率、第２フィルターの光透過率及び第３フィルターの光透過率よりも低く、
　画像処理部は、第１撮像素子、第２撮像素子及び第３撮像素子からの出力によって高感度画像データを生成し、第４撮像素子からの出力によって低感度画像データを生成し、
　画像処理部は、更に、低感度画像データ又は高感度画像データから得られる低照度画像領域においては低照度画像領域に対応する高感度画像データを用いて、また、低感度画像データ又は高感度画像データから得られる高照度画像領域においては高照度画像領域に対応する低感度画像データを用いて、合成画像を生成する撮像装置。
　第１フィルターと第１光電変換素子との間には第１開口部が形成されており、
　第２フィルターと第２光電変換素子との間には第２開口部が形成されており、
　第３フィルターと第３光電変換素子との間には第３開口部が形成されており、
　第４フィルターと第４光電変換素子との間には第４開口部が形成されており、
　第４開口部は、第１開口部、第２開口部及び第３開口部よりも小さい請求項１に記載の撮像装置。
　画像処理部は、第１撮像素子、第２撮像素子及び第３撮像素子からの出力を調整する第１ゲイン調整部、並びに、第４撮像素子からの出力を調整する第２ゲイン調整部を備えている請求項１に記載の撮像装置。
　第１ゲイン調整部による第１撮像素子、第２撮像素子及び第３撮像素子からの出力に対する調整係数をＧｎ₁、第２ゲイン調整部による第４撮像素子からの出力に対する調整係数をＧｎ₂としたとき、
Ｇｎ₁／Ｇｎ₂≧１
を満足する請求項３に記載の撮像装置。
　画像処理部は、露出時間の異なるＮ組の高感度画像データ及び低感度画像データを生成し、
　画像処理部は、更に、低感度画像データ又は高感度画像データから得られる画像の照度領域を、最も照度の低い領域から最も照度の高い領域まで２Ｎ段階の領域に区画し、最も照度が低い領域から第Ｎ番目に照度が低い領域までのＮ段階の低照度画像領域のそれぞれにおいては、Ｎ段階の低照度画像領域のそれぞれに対応するＮ組の高感度画像データを用いて、また、第（Ｎ＋１）番目に照度が低い領域から最も照度が高い領域までのＮ段階の高照度画像領域のそれぞれにおいては、Ｎ段階の高照度画像領域のそれぞれに対応するＮ組の低感度画像データを用いて、合成画像を生成する請求項１に記載の撮像装置。
　Ｎ＝２であり、第１組目の高感度画像データ及び低感度画像データを得るための撮像時間と、第２組目の高感度画像データ及び低感度画像データを得るための撮像時間との間には、２倍の関係がある請求項５に記載の撮像装置。
　第１フィルター、第２フィルター、第３フィルター及び第４フィルターの間には隙間が存在しない請求項１に記載の撮像装置。
　第４フィルターは、第１フィルターを構成する第１材料から成る第１材料層、第２フィルターを構成する第２材料から成る第２材料層、及び、第３フィルターを構成する第３材料から成る第３材料層の３層積層構造を有する請求項１に記載の撮像装置。
　第４フィルターは、第１フィルターを構成する第１材料、第２フィルターを構成する第２材料、及び、第３フィルターを構成する第３材料が混合された材料から成る請求項１に記載の撮像装置。
　第４フィルターは、第１フィルターを構成する第１材料から成る第１材料層、及び、第３フィルターを構成する第３材料から成る第３材料層の２層積層構造を有する請求項１に記載の撮像装置。
　第４フィルターは、第１フィルターを構成する第１材料、及び、第３フィルターを構成する第３材料が混合された材料から成る請求項１に記載の撮像装置。
　第１光電変換素子を備え、可視光帯の光を受光する第１撮像素子及び第３撮像素子と、
　減光フィルター及び第２光電変換素子を備え、可視光帯の光を受光する第２撮像素子及び第４撮像素子、
とから成る撮像素子ユニットが２次元マトリクス状に配列された撮像部、並びに、
　画像処理部、
を備えた撮像装置であって、
　画像処理部は、第１撮像素子及び第３撮像素子からの出力によって高感度画像データを生成し、第２撮像素子及び第４撮像素子からの出力によって低感度画像データを生成し、
　画像処理部は、更に、低感度画像データ又は高感度画像データから得られる低照度画像領域においては低照度画像領域に対応する高感度画像データを用いて、また、低感度画像データ又は高感度画像データから得られる高照度画像領域においては高照度画像領域に対応する低感度画像データを用いて、合成画像を生成する撮像装置。
　第１光電変換素子の光入射領域には第１開口部が形成されており、
　減光フィルターと第２光電変換素子との間には第２開口部が形成されており、
　第３光電変換素子の光入射領域には第３開口部が形成されており、
　減光フィルターと第４光電変換素子との間には第４開口部が形成されており、
　第３開口部は第１開口部よりも小さく、第４開口部は第２開口部よりも小さい請求項１２に記載の撮像装置。
　画像処理部は、第１撮像素子及び第３撮像素子からの出力を調整する第１ゲイン調整部、並びに、第２撮像素子及び第４撮像素子からの出力を調整する第２ゲイン調整部を備えている請求項１２に記載の撮像装置。
　第１ゲイン調整部による第１撮像素子及び第３撮像素子からの出力に対する調整係数をＧｎ₁、第２ゲイン調整部による第２撮像素子及び第４撮像素子からの出力に対する調整係数をＧｎ₂としたとき、
Ｇｎ₁／Ｇｎ₂≧１
を満足する請求項１４に記載の撮像装置。
　画像処理部は、露出時間の異なるＮ組の高感度画像データ及び低感度画像データを生成し、
　画像処理部は、更に、低感度画像データ又は高感度画像データから得られる画像の照度領域を、最も照度の低い画像領域から最も照度の高い画像領域まで２Ｎ段階の画像領域に区画し、最も照度が低い画像領域から第Ｎ番目に照度が低い画像領域までのＮ段階の低照度画像領域のそれぞれにおいては、Ｎ段階の低照度画像領域のそれぞれに対応するＮ組の高感度画像データを用いて、また、第（Ｎ＋１）番目に照度が低い画像領域から最も照度が高い画像領域までのＮ段階の高照度画像領域のそれぞれにおいては、Ｎ段階の高照度画像領域のそれぞれに対応するＮ組の低感度画像データを用いて、合成画像を生成する請求項１２に記載の撮像装置。
　Ｎ＝２であり、第１組目の高感度画像データ及び低感度画像データを得るための撮像時間と、第２組目の高感度画像データ及び低感度画像データを得るための撮像時間との間には、２倍の関係がある請求項１６に記載の撮像装置。
　減光フィルターは、第１フィルターと第３フィルターを積層したフィルターの分光特性と等しい分光特性を有する請求項１２に記載の撮像装置。
　第１フィルター及び第１光電変換素子を備え、第１波長帯の光を受光する第１撮像素子、
　第２フィルター及び第２光電変換素子を備え、第１波長帯のピーク波長よりも長いピーク波長を有する第２波長帯の光を受光する第２撮像素子、
　第３フィルター及び第３光電変換素子を備え、第２波長帯のピーク波長よりも長いピーク波長を有する第３波長帯の光を受光する第３撮像素子、及び、
　第４フィルター及び第４光電変換素子を備え、第１波長帯、第２波長帯及び第３波長帯の光を受光する第４撮像素子、
から成る撮像素子サブユニットの４つから構成された撮像素子ユニットが２次元マトリクス状に配列された撮像部、並びに、
　画像処理部、
を備えた撮像装置であって、
　第４フィルターの光透過率は、第１フィルターの光透過率、第２フィルターの光透過率及び第３フィルターの光透過率よりも低く、
　画像処理部は、撮像素子ユニットを構成する４つの撮像素子サブユニットにおける第１撮像素子の出力合計、第２撮像素子の出力合計及び第３撮像素子の出力合計に基づき高感度画像データを生成し、４つの撮像素子サブユニットのそれぞれにおける第４撮像素子からの出力によって低感度画像データを生成し、
　画像処理部は、更に、低感度画像データ又は高感度画像データから得られる低照度画像領域においては低照度画像領域に対応する高感度画像データを用いて、また、低感度画像データ又は高感度画像データから得られる高照度画像領域においては高照度画像領域に対応する低感度画像データを用いて、合成画像を生成する撮像装置。
　第１光電変換素子を備え、可視光帯の光を受光する第１撮像素子、及び、
　減光フィルター及び第２光電変換素子を備え、可視光帯の光を受光する第２撮像素子、
から成る撮像素子ユニットが配列された撮像部、並びに、
　画像処理部、
を備えた撮像装置であって、
　画像処理部は、第１撮像素子からの出力によって高感度画像データを生成し、第２撮像素子からの出力によって低感度画像データを生成し、
　画像処理部は、更に、低感度画像データ又は高感度画像データから得られる低照度画像領域においては低照度画像領域に対応する高感度画像データを用いて、また、低感度画像データ又は高感度画像データから得られる高照度画像領域においては高照度画像領域に対応する低感度画像データを用いて、合成画像を生成する撮像装置。