以下、本開示を実施するための形態(以下実施の形態とする)について説明する。なお、説明は以下の順序で行う。
1.第1の実施の形態(撮像装置:光学系種類・位置固定)
2.第2の実施の形態(撮像装置:光学系種類・位置可変)
3.第3の実施の形態(撮像装置:光学系種類・位置設定)
4.第4の実施の形態(撮像装置:撮像素子の他の構成例)
5.その他
<1.第1の実施の形態>
<撮像装置>
図1は、本技術を適用した撮像装置または画像処理装置の一実施の形態である撮像装置の主な構成例を示す図である。図1に示される撮像装置100は、被写体を撮像し、その撮像画像に関する電子データを得る装置である。
図1に示されるように、撮像装置100は、制御部101、入力部111、出力部112、記憶部113、通信部114、記録再生部115、光学系120、撮像素子121、復元部122、関連付け部123、およびセンサ部124等を有する。光学系120を除く各処理部等は、バス110を介して接続され、互いに情報や命令等を授受することができる。なお、光学系120もバス110に接続され、他の処理部等と互いに情報や命令等を授受することができるようにしてもよい。
制御部101は、撮像装置100内の各処理部等の制御に関する処理を行うように構成される。例えば、制御部101は、CPU(Central Processing Unit)、ROM(Read Only Memory)、RAM(Random Access Memory)等を有し、そのCPU等を用いてプログラムを実行することにより、上述の処理を行う。
入力部111は、情報の入力に関する処理を行うように構成される。例えば、入力部111は、操作ボタン、ダイヤル、スイッチ、タッチパネル、リモートコントローラ、センサ等の入力デバイスや外部入力端子を有する。例えば、入力部111は、それらの入力デバイスによってユーザ等の外部からの指示(入力された操作に対応する情報)を受け付ける。また、例えば、入力部111は、外部入力端子を介して、外部の装置から供給される任意の情報(プログラム、コマンド、データ等)を取得する。また、例えば、入力部111は、その受け付けた情報(取得した情報)を、バス110を介して他の処理部等に供給する。
なお、入力部111が有するセンサは、例えば加速度センサ等、ユーザ等の外部からの指示を受け付けることができるものであれば、どのようなものであってもよい。また、入力部111が有する入力デバイスは任意であり、その数も任意である。入力部111が複数種類の入力デバイスを有するようにしてもよい。例えば、入力部111が、上述した例の一部を有するようにしてもよいし、全部を有するようにしてもよい。また、入力部111が、上述した例以外の入力デバイスを有するようにしてもよい。さらに、例えば、入力部111が、バス110を介して供給される自身(入力デバイス等)の制御情報を取得し、その制御情報に基づいて駆動するようにしてもよい。
出力部112は、情報の出力に関する処理を行うように構成される。例えば、出力部112は、モニタ等の画像表示デバイス、プロジェクタ等の画像投影デバイス、スピーカ等の音声出力デバイス、外部出力端子等を有する。例えば、出力部112は、それらの出力デバイス等を用いて、バス110を介して他の処理部等から供給される情報を出力する。例えば、出力部112は、撮像画像(後述する復元画像)をモニタに表示したり、撮像画像(後述する復元画像)をプロジェクタから投影したり、音声(例えば入力操作や処理結果等に対応する音声)を出力したり、任意の情報(プログラム、コマンド、データ等)を外部(他の機器)に出力したりする。
なお、出力部112が有する出力デバイス等は任意であり、その数も任意である。出力部112が複数種類の出力デバイス等を有するようにしてもよい。例えば、出力部112が、上述した例の一部を有するようにしてもよいし、全部を有するようにしてもよい。また、出力部112が、上述した例以外の出力デバイス等を有するようにしてもよい。さらに、例えば、出力部112が、バス110を介して供給される自身(出力デバイス等)の制御情報を取得し、その制御情報に基づいて駆動するようにしてもよい。
記憶部113は、情報の記憶に関する処理を行うように構成される。例えば、記憶部113は、ハードディスクや半導体メモリ等のような、任意の記憶媒体を有する。例えば、記憶部113は、バス110を介して他の処理部等から供給される情報(プログラム、コマンド、データ等)をその記憶媒体に記憶する。また、記憶部113は、出荷時において任意の情報(プログラム、コマンド、データ等)を記憶しているようにしてもよい。また、記憶部113は、任意のタイミングにおいて、または、他の処理部等からの要求に応じて、その記憶媒体に記憶されている情報を読み出し、読み出した情報を、バス110を介して他の処理部等に供給する。
なお、記憶部113が有する記憶媒体は任意であり、その数も任意である。記憶部113が複数種類の記憶媒体を有するようにしてもよい。例えば、記憶部113が、上述した記憶媒体の例の一部を有するようにしてもよいし、全部を有するようにしてもよい。また、記憶部113が、上述した例以外の記憶媒体等を有するようにしてもよい。また、例えば、記憶部113が、バス110を介して供給される自身の制御情報を取得し、その制御情報に基づいて駆動するようにしてもよい。
通信部114は、他の装置との通信に関する処理を行うように構成される。例えば、通信部114は、所定の通信媒体(例えばインターネット等の任意のネットワーク)を介して外部の装置とプログラムやデータ等の情報を授受する通信を行う通信デバイスを有する。例えば、通信部114は、他の装置と通信を行い、バス110を介して他の処理部等より供給される情報(プログラム、コマンド、データ等)を、その通信相手である他の装置に供給する。また、例えば、通信部114は、他の装置と通信を行い、その通信相手である他の装置から供給される情報を取得し、その情報を、バス110を介して他の処理部等に供給する。
通信部114が有する通信デバイスはどのようなものであってもよい。例えば、ネットワークインタフェースであってもよい。通信方法や通信規格は任意である。例えば、通信部114が、有線通信を行うことができるようにしてもよいし、無線通信を行うことができるようにしてもよいし、その両方を行うことができるようにしてもよい。また、例えば、通信部114が、バス110を介して供給される自身(通信デバイス等)の制御情報を取得し、その制御情報に基づいて駆動するようにしてもよい。
記録再生部115は、自身に装着された記録媒体116を利用した情報の記録や再生に関する処理を行うように構成される。例えば、記録再生部115は、自身に装着された記録媒体116に記録されている情報(プログラム、コマンド、データ等)を読み出し、その情報を、バス110を介して他の処理部等に供給する。また、例えば、記録再生部115は、バス110を介して他の処理部等から供給される情報を取得し、その情報を、自身に装着された記録媒体116に書き込む(記録する)。なお、例えば、記録再生部115が、バス110を介して供給される自身の制御情報を取得し、その制御情報に基づいて駆動するようにしてもよい。
なお、記録媒体116は、どのようなものであってもよい。例えば、磁気ディスク、光ディスク、光磁気ディスク、半導体メモリなどであってもよい。
光学系120は、撮像素子121に入射される入射光に対して光学的影響を及ぼすように構成される。例えば、光学系120は、負のパワーを持ち、撮像素子121に入射される入射光の入射角に対する特性を変化させるように構成される。例えば、光学系120は、レンズ等の任意の光学素子により構成される。なお、光学系120が有する光学素子の数や種類は任意である。単数であってもよいし、複数であってもよい。また、光学系120が複数種類の光学素子を有するようにしてもよい。なお、光学系120が、バス110に接続され、バス110を介して供給される自身の制御情報を取得し、その制御情報に基づいて駆動するようにしてもよい。
撮像素子121は、被写体の撮像に関する処理を行うように構成される。例えば、撮像素子121は、被写体を撮像し、その撮像画像に関するデータ(電子データ)を得る。その際、撮像素子121は、被写体面からの光をその被写体面の光強度を再現するように撮像素子121の各画素に導く撮像レンズ、回折格子等の光学フィルタ等やピンホール等を介さずに被写体を撮像し、その撮像画像に関するデータを得ることができる。例えば、撮像素子121は、被写体を撮像し、所定の演算によりその撮像画像のデータを得ることができるデータ(検出信号等)を得る。
なお、撮像画像は、被写体の像が結像された画素値から構成される、ユーザが目視して画像として認識できる画像である。これに対して撮像素子121の画素単位出力における入射光の検出結果である検出信号から構成される画像(検出画像と称する)は、被写体の像が結像されていないことにより、ユーザが目視しても画像として認識することができない(つまり、被写体を視認不可能な)画像である。つまり、検出画像は撮像画像とは異なる画像である。ただし、上述のように、この検出画像のデータに対して所定の演算を行うことにより、撮像画像、すなわち、被写体の像が結像された、ユーザが目視して画像として認識できる(つまり、被写体を視認可能な)画像を復元することができる。この復元された画像を復元画像と称する。つまり、検出画像は復元画像とは異なる画像である。
なお、この復元画像を構成する画像であって、同時化処理や色分離処理等(例えば、デモザイク処理等)の前の画像をRaw画像と称する。このRaw画像も、撮像画像と同様に、ユーザが目視して画像として認識することができる(つまり、被写体を視認可能な)画像である。換言するに、検出画像は、色フィルタの配列に従った画像ではあるが、Raw画像とは異なる画像である。
ただし、撮像素子121が、例えば赤外光や紫外光等のような不可視光のみに感度を有する場合、復元画像(Raw画像や撮像画像)も、ユーザが目視して画像として認識することはできない(被写体を視認することができない)画像となる。ただし、これは検出した光の波長域によるものであるので、復元画像は、波長域を可視光域に変換することにより被写体を視認可能な画像とすることができる。これに対して検出画像は、被写体の像が結像されていないので、波長域を変換するだけでは被写体を視認可能な画像とすることはできない。したがって、撮像素子121が不可視光のみに感度を有する場合であっても、上述したように検出画像に対して所定の演算を行うことにより得られる画像を復元画像と称する。なお、以下において、特に言及しない限り、基本的に撮像素子121が可視光を受光する場合を例に用いて本技術を説明する。
つまり、撮像素子121は、被写体を撮像し、検出画像に関するデータを得ることができる。撮像素子121は、例えば、その検出画像に関するデータを復元部122に供給し、復元画像を生成させることができる。また、撮像素子121は、例えば、その検出画像に関するデータを、バス110を介して、関連付け部123等に供給し、メタデータ等を関連付けさせることができる。もちろん、撮像素子121は、この検出画像に関するデータを、任意の処理部等に供給することができる。また、例えば、撮像素子121が、バス110を介して供給される自身の制御情報を取得し、その制御情報に基づいて駆動するようにしてもよい。
復元部122は、復元画像の生成に関する処理を行うように構成される。例えば、復元部122は、所定の演算を行うことにより、撮像素子121から供給される検出画像に関するデータ(検出信号等)から復元画像を生成する。また、復元部122は、生成した復元画像に関するデータ(画素値等)を、バス110を介して他の処理部等に供給する。
なお、撮像素子121において、カラーフィルタを用いる等して複数の色成分が混在する検出画像が得られ、復元部122が、その検出画像に対して所定の演算を行うことにより、複数の色成分が混在するRaw画像が得られるようにしてもよい。そして、復元部122が、その複数の色成分が混在するRaw画像を復元画像として他の処理部等に供給するようにしてもよいし、そのRaw画像に対して同時化処理や色分離処理等(例えば、デモザイク処理等)を行い、その処理が施された画像を復元画像として他の処理部等に供給するようにしてもよい。もちろん、撮像素子121において、モノクロの検出画像や、色毎の検出画像が得られ、同時化処理や色分離処理等(例えば、デモザイク処理等)が不要であるようにしてもよい。
また、復元部122が、復元画像に対して、例えばガンマ補正(γ補正)やホワイトバランス調整等の任意の画像処理を施し、画像処理後の復元画像に関するデータを他の処理部等に供給するようにしてもよい。さらに、復元部122が、復元画像のデータのフォーマットを変換したり、例えばJPEG(Joint Photographic Experts Group)、TIFF(Tagged Image File Format)、GIF(Graphics Interchange Format)等の所定の圧縮方式で圧縮したりし、その変換(圧縮)後のデータを他の処理部等に供給するようにしてもよい。
なお、例えば復元部122が、バス110を介して供給される自身の制御情報を取得し、その制御情報に基づいて駆動するようにしてもよい。
関連付け部123は、データの関連付けに関する処理を行うように構成される。例えば、関連付け部123は、撮像素子121等から供給される検出画像に関するデータ(検出信号等)に、復元画像生成のための所定の演算に用いられるデータ(例えば係数等)を関連付ける。
ここで、「関連付ける」という用語は、例えば、一方の情報(データ、コマンド、プログラム等)を処理する際に他方の情報を利用し得る(リンクさせ得る)ようにすることを意味する。つまり、互いに関連付けられた情報は、1つのファイル等としてまとめられてもよいし、それぞれ個別の情報としてもよい。例えば、情報Aに関連付けられた情報Bは、その情報Aとは別の伝送路上で伝送されるようにしてもよい。また、例えば、情報Aに関連付けられた情報Bは、その情報Aとは別の記録媒体(又は同一の記録媒体の別の記録エリア)に記録されるようにしてもよい。なお、この「関連付け」は、情報全体でなく、情報の一部であってもよい。例えば、画像とその画像に対応する情報とが、複数フレーム、1フレーム、又はフレーム内の一部分などの任意の単位で互いに関連付けられるようにしてもよい。
また、例えば、関連付け部123は、関連付けたデータを、バス110を介して他の処理部等に供給する。なお、例えば関連付け部123が、バス110を介して供給される自身の制御情報を取得し、その制御情報に基づいて駆動するようにしてもよい。
センサ部124は、検出に関する処理を行うように構成される。例えば、センサ部124は、任意のセンサを有し、所定のパラメータについての検出を行う。例えば、センサ部124は、撮像装置100の周辺の状態に関するパラメータや、撮像装置100の状態に関するパラメータ等についての検出を行う。例えば、センサ部124は、光学系120や撮像素子121の状態に関するパラメータについての検出を行う。また、例えば、センサ部124は、検出した情報を、バス110を介して他の処理部等に供給する。なお、例えばセンサ部124が、バス110を介して供給される自身の制御情報を取得し、その制御情報に基づいて駆動するようにしてもよい。
なお、制御部101、入力部111、出力部112、記憶部113、通信部114、記録再生部115、復元部122、関連付け部123、センサ部124、およびバス110を1つにまとめて信号処理部125としてもよい。
<撮像素子について>
次に、撮像素子121について図2乃至図24を参照して説明する。
<画素と画素出力単位>
本明細書においては、「画素」(または「画素出力単位」)という用語を用いて、本技術を説明する。本明細書において「画素」(または「画素出力単位」)とは、撮像素子121の入射光を受光するための物理構成が形成される領域(画素領域とも称する)の、他の画素とは独立して受光することができる物理構成を少なくとも1つ含む分割単位を指すものとする。受光することができる物理構成とは、例えば光電変換素子であり、例えばフォトダイオード(PD(Photo Diode))である。1画素に形成されるこの物理構成(例えばフォトダイオード)の数は任意であり、単数であってもよいし、複数であってもよい。その種類、大きさ、形状等も任意である。
また、この「画素」単位の物理構成には、上述の「受光することができる物理構成」だけでなく、例えば、オンチップレンズ、遮光膜、カラーフィルタ、平坦化膜、反射防止膜等、入射光の受光に関する全ての物理構成を含む。さらに、読み出し回路等の構成も含まれる場合もある。つまり、この画素単位の物理構成はどのような構成であってもよい。
また、「画素」(つまり画素単位の物理構成)から読み出された検出信号を「画素単位(または画素出力単位)の検出信号」等と称する場合もある。さらに、この画素単位(または画素出力単位)の検出信号は、「画素単位検出信号(または画素出力単位検出信号)」とも称する。また、この画素単位検出信号は「画素出力」とも称する。さらに、その値を「出力画素値」とも称する。
撮像素子121の画素単位の検出信号の値(出力画素値)は、他と独立して被写体からの入射光の入射角に対する指向性を示す入射角指向性を有することができる。つまり、撮像素子121の各画素単位(画素出力単位)は、その出力画素値の、被写体からの入射光の入射角に対する指向性を示す入射角指向性を独立に設定可能な構成を有する。例えば、撮像素子121において、少なくとも2つの画素単位の出力画素値は、被写体からの入射光の入射角に対する指向性を示す入射角指向性が互いに異なるようにすることができる。
なお、上述したように「画素(または画素出力単位)」が有する「受光することができる物理構成」の数は任意であるので、画素単位検出信号は、単数の「受光することができる物理構成」により得られた検出信号であってもよいし、複数の「受光することができる物理構成」により得られた検出信号であってもよい。
また、この画素単位検出信号(出力画素値)は、任意の段階で複数をまとめて1つにすることもできる。例えば、複数の画素の出力画素値を、アナログ信号の状態において加算するようにしてもよいし、デジタル信号に変換してから加算するようにしてもよい。
また、この検出信号は、撮像素子121から読み出された後、すなわち、検出画像において、複数の検出信号をまとめて単数化したり、単数の検出信号を複数化したりすることもできる。つまり、検出画像の解像度(データ数)は可変である。
ところで、以下においては説明の便宜上、特に言及しない限り、撮像素子121が複数の画素が行列状に配置される(画素アレイが形成される)画素領域を有するものとして説明する。なお、撮像素子121の画素(または画素出力単位)の配列パターンは任意であり、この例に限定されない。例えば、画素(または画素出力単位)がハニカム構造状に配置されるようにしてもよい。また、例えば、画素(または画素出力単位)が1行(または1列)状に配置されるようにしてもよい。つまり、撮像素子121がラインセンサであってもよい。
なお、撮像素子121(の画素)が感度を有する波長域は任意である。例えば、撮像素子121(の画素)が、可視光に対して感度を有するようにしてもよいし、赤外光や紫外光のような不可視光に対して感度を有するようにしてもよいし、可視光と不可視光の両方に対して感度を有するようにしてもよい。例えば、撮像素子が不可視光である遠赤外光を検出する場合、その撮像素子において得られる撮像画像を用いてサーモグラフ(熱分布を表す画像)を生成することができる。ただし、撮像レンズを伴う撮像素子の場合、ガラスは遠赤外光を透過することが困難であるため、高価な特殊素材の撮像レンズが必要になり、製造コストが増大するおそれがある。撮像素子121は、撮像レンズ等を介さずに被写体を撮像し、その撮像画像に関するデータを得ることができるので、その画素が遠赤外光を検出可能とすることにより、製造コストの増大を抑制することができる。つまり、より安価に遠赤外光の撮像を行うことができる(より安価にサーモグラフを得ることができる)。なお、撮像素子121(の画素)が不可視光に対して感度を有する場合、復元画像は、ユーザが目視して被写体を認識できる画像とはならず、ユーザが被写体を視認できない画像となる。換言するに、復元画像は、可視光の画像であってもよいし、不可視光(例えば、(遠)赤外光や紫外光等)の画像であってもよい。
<入射角指向性>
撮像素子121は、撮像レンズ及びピンホールのいずれも介さずに入射する入射光を受光し、その入射光の入射角によって変調された出力画素値を示す検出信号をそれぞれ1つ出力する複数の画素出力単位を有する。例えば、撮像素子121は、その複数の画素出力単位のうち、少なくとも2つの画素出力単位の出力画素値の、被写体からの入射光の入射角に対する指向性を示す入射角指向性が、互いに異なる特性となるようにするための構成を有する。つまりその場合、撮像素子121は、複数画素出力単位分の検出信号(複数の画素出力単位検出信号)を得ることができ、その内の少なくとも2つの画素出力単位検出信号の、被写体からの入射光の入射角に対する指向性を示す入射角指向性が互いに異なる。
ここで「入射角指向性」とは、入射光の入射角度に応じた受光感度特性、すなわち、入射光の入射角度に対する検出感度を指す。例えば、同じ光強度の入射光であってもその入射角度によって検出感度が変化する場合がある。このような検出感度の偏り(偏りがない場合も含む)を「入射角指向性」と称する。
例えば、互いに同一の光強度の入射光が、互いに同一の入射角でその2つの画素出力単位の物理構成に入射すると、各画素出力単位の検出信号の信号レベル(検出信号レベル)は、互いに異なる値となり得る。撮像素子121(の各画素出力単位)は、このような特徴を持つ物理構成を有する。
この入射角指向性は、どのような方法により実現されるようにしてもよい。例えば、一般の、例えば、CMOS(Complementary Metal Oxide Semiconductor)イメージセンサなどの撮像素子からなるものと同様の基本的な構造を有する撮像素子の光電変換素子(フォトダイオード等)の手前(光入射側)に遮光膜を設ける等して入射角指向性を実現するようにしてもよい。
一般的な入射角指向性が互いに同一の画素よりなる撮像素子のみで撮像を行うと、撮像素子の全画素に略同一の光強度の光が入射することになり、結像された被写体の画像を得ることができない。そこで、一般的には、撮像素子の前(光入射側)に撮像レンズやピンホールを設ける。例えば撮像レンズを設けることにより、被写体面からの光を被写体面の光強度を再現するように撮像素子の撮像面に結像させることができる。したがって、撮像素子は、各画素においてその結像された被写体の画像に応じたレベルの検出信号を得ることができる(つまり、結像された被写体の撮像画像を得ることができる)。しかしながら、この場合、物理的にサイズが大きくなり、装置の小型化が困難になるおそれがあった。また、ピンホールを設ける場合、撮像レンズを設ける場合よりも小型化が可能になるが、撮像素子に入射する光量が低減するため、露光時間を長くする、または、ゲインを上げる等の対策が必須となり、高速な被写体の撮像においてはボケが生じ易くなる、または、自然な色表現ではなくなるおそれがあった。
これに対して撮像素子121は、図2の上段左部で示されるように、各画素の検出感度が互いに異なる入射角指向性を持つ。つまり、入射光の入射角度に応じた受光感度特性が画素毎に異なるということである。ただし、全ての画素の受光感度特性が完全に異なるものである必要はなく、一部の画素に同一の受光感度特性を持つものが含まれていてもよいし、一部の画素が異なる受光感度特性を持つものであってもよい。
被写体面131を構成する光源が点光源であることを前提とした場合、撮像素子121においては、同一の点光源より発せられた同一の光強度の光線が、全ての画素に入射されることになるが、画素毎にそれぞれ異なる入射角度で入射される。そして、撮像素子121の各画素は、互いに異なる入射角指向性を有しているので、その同一の光強度の光線を互いに異なる感度で検出する。つまり、画素毎に異なる信号レベルの検出信号が検出される。
より詳細には、撮像素子121の各画素において受光される入射光の入射角度に応じた感度特性、すなわち、各画素における入射角度に応じた入射角指向性は、入射角度に応じた受光感度を表す係数で表現するものとし、各画素における入射光に応じた検出信号の信号レベル(検出信号レベルとも称する)は、入射光の入射角度に応じた受光感度に対応して設定される係数を乗じることで求められるものとなる。
より具体的には、図2の上段左部で示されるように、位置Pa,Pb,Pcにおける検出信号レベルDA,DB,DCは、それぞれ以下の式(1)乃至式(3)で表される。
DA=α1×a+β1×b+γ1×c
・・・(1)
DB=α2×a+β2×b+γ2×c
・・・(2)
DC=α3×a+β3×b+γ3×c
・・・(3)
ここで、α1は、撮像素子121上の位置Paにおける復元する被写体面131上の点光源PAからの光線の入射角度に応じて設定される係数である。また、β1は、撮像素子121上の位置Paにおける復元する被写体面131上の点光源PBからの光線の入射角度に応じて設定される係数である。さらに、γ1は、撮像素子121上の位置Paにおける復元する被写体面131上の点光源PCからの光線の入射角度に応じて設定される係数である。
式(1)に示されるように、位置Paにおける検出信号レベルDAは、位置Paにおける点光源PAからの光線の光強度”a”と係数α1との積と、位置Paにおける点光源PBからの光線の光強度”b”と係数β1との積と、位置Paにおける点光源PCからの光線の光強度”c”と係数γ1との積との和(合成値)により表現される。以下において、係数αx、βx、γx(xは自然数)を合わせて係数セットと称する。
同様に、式(2)の係数セットα2,β2,γ2は、撮像素子121上の位置Pbにおける復元する被写体面131上の点光源PA,PB,PCからの光線の入射角度に応じて設定される係数のセットである。つまり、位置Pbにおける検出信号レベルDBは、上述の式(2)のように、位置Pbにおける点光源PAからの光線の光強度”a”と係数α2との積と、位置Pbにおける点光源PBからの光線の光強度”b”と係数β2との積と、位置Pbにおける点光源PCからの光線の光強度”c”と係数γ2との積との和(合成値)により表現される。また、式(3)の係数α3,β3,γ3は、撮像素子121上の位置Pcにおける復元する被写体面131上の点光源PA,PB,PCからの光線の入射角度に応じて設定される係数のセットである。つまり、位置Pcにおける検出信号レベルDCは、上述の式(3)のように、位置Pcにおける点光源PAからの光線の光強度”a”と係数α3との積と、位置Pcにおける点光源PBからの光線の光強度”b”と係数β3との積と、位置Pcにおける点光源PCからの光線の光強度”c”と係数γ3との積との和(合成値)により表現される。
以上のように、これらの検出信号レベルは、点光源PA,PB,PCのそれぞれより発せられた光線の光強度が入り交じったものとなるので、被写体の像が結像されたものとは異なるものである。つまり、図2の上段右部で示される検出信号レベルは、被写体の像が結像された画像(撮像画像)に対応する検出信号レベルではないので、図2の下部右部に示される画素値とは異なるものである(一般的に両者は一致しない)。
ただし、この係数セットα1,β1,γ1,係数セットα2,β2,γ2,係数セットα3,β3,γ3と、検出信号レベルDA,DB,DCを用いた連立方程式を構成し、a,b,cを変数として上述の式(1)乃至式(3)の連立方程式を解くことにより、図2の下段右部で示されるような各位置Pa,Pb,Pcの画素値を求めることができる。これにより画素値の集合である復元画像(被写体の像が結像された画像)が復元される。
撮像素子121は、このような構成により、被写体面からの光を被写体面の光強度を再現するように撮像素子の各画素に導く撮像レンズ、回折格子等からなる光学フィルタや、ピンホール等を必要とせずに、少なくとも2つの画素出力単位において互いに異なる入射角指向性を有する。結果として、撮像レンズ、回折格子等からなる光学フィルタや、ピンホール等が必須構成とならないので、撮像装置の低背化、すなわち、撮像機能を実現する構成における光の入射方向に対する厚さを薄くすることが可能になる。
<入射角指向性の形成>
図3の左部は、一般的な撮像素子の画素アレイ部の一部の正面図を示しており、図3の右部は、撮像素子121の画素アレイ部の一部の正面図を示している。尚、図3においては、画素アレイ部が水平方向×垂直方向のそれぞれの画素数が6画素×6画素の構成である場合の例を示しているが、画素数の構成は、これに限るものではない。
入射角指向性は、例えば遮光膜により形成することができる。一般的な撮像素子151は、図3の左部の例のように、入射角指向性が同一の画素151aがアレイ状に配置されていることが示されている。これに対して図3の右部の例の撮像素子121は、画素121a毎に、そのフォトダイオードの受光領域の一部を覆うように変調素子の1つである遮光膜121bが設けられており、各画素121aに入射する入射光が、入射角度に応じて光学的に変調される。そして、例えば、画素121a毎に異なる範囲に遮光膜121bを設けることにより、画素121a毎に入射光の入射角度に対する受光感度が異なるものとなり、各画素121aが異なる入射角指向性を有するようになる。
例えば、画素121a-1と画素121a-2とでは、設けられている遮光膜121b-1と遮光膜121b-2とにより画素を遮光する範囲が異なる(遮光する領域(位置)、および遮光する面積の少なくともいずれかが異なる)。すなわち、画素121a-1においては、フォトダイオードの受光領域における左側の一部を所定の幅だけ遮光するように遮光膜121b-1が設けられており、画素121a-2においては、受光領域における右側の一部を、遮光膜121b-1よりも水平方向に広い幅だけ遮光するように遮光膜121b-2が設けられている。その他の画素121aにおいても、同様に、遮光膜121bが、画素毎に受光領域における異なる範囲が遮光されるように設けられており、画素アレイ内でランダムに配置されている。
尚、遮光膜121bの範囲は、各画素の受光領域を覆い隠す割合が大きくなるほど、受光できる光量が少ない状態となるため、所望の光量が確保できる程度の面積とすることが望ましく、遮光膜121bの面積を、例えば、最大で受光可能な範囲の全体の3/4程度までといった制限を加えて構成するようにしてもよい。このようにすることで、所望量以上の光量を確保することが可能となる。ただし、各画素について、受光する光の波長に相当する幅の遮光されていない範囲が設けられていれば、最小限の光量を受光することは可能である。すなわち、例えば、B画素(青色画素)の場合、波長は500nm程度となるが、この波長に相当する幅以上に遮光されていなければ、最小限の光量を受光することは可能である。
<撮像素子の構成例>
図4を参照して、この場合の撮像素子121の構成例について説明する。図4の上段は、撮像素子121の側面断面図であり、図4の中段は、撮像素子121の上面図である。また、図4の上段の側面断面図は、図4の中段におけるAB断面となる。さらに、図4の下段は、撮像素子121の回路構成例である。
図4に示される構成の撮像素子121は、撮像レンズ及びピンホールのいずれも介さずに入射する入射光を受光し、前記入射光の入射角によって変調された出力画素値を示す検出信号をそれぞれ1つ出力する複数の画素出力単位を備える。例えば、この撮像素子121は、その複数の画素出力単位のうちの少なくとも2つの画素出力単位の出力画素値の、被写体からの入射光の入射角に対する指向性を示す入射角指向性が、互いに異なる特性となるようにするための構成を有する。また、この場合の撮像素子121は、その複数の画素出力単位が、被写体からの入射光の入射角に対する指向性を示す入射角指向性を画素出力単位毎に独立に設定可能な構成を有する。
図4の上段の撮像素子121においては、図中の上方から下方に向けて入射光が入射する。隣接する画素121a-15,121a-16は、それぞれ図中の最下層に配線層Z12が設けられており、その上に光電変換層Z11が設けられている、いわゆる、裏面照射型である。
尚、画素121a-15,121a-16を区別する必要がない場合、単に、画素121aと称し、他の構成についても、同様に称する。また、図4においては、撮像素子121の画素アレイを構成する2画素分の側面図および上面図となっているが、いうまでもなく、これ以上の数の画素121aが配置されているが図示が省略されている。
さらに、画素121a-15,121a-16は、それぞれ光電変換層Z11にフォトダイオード121e-15,121e-16を備えている。また、フォトダイオード121e-15,121e-16の上には、それぞれ上からオンチップレンズ121c-15,121c-16、およびカラーフィルタ121d-15,121d-16が構成されている。
オンチップレンズ121c-15,121c-16は、入射光をフォトダイオード121e―15,121e―16上に集光させる。
カラーフィルタ121d-15,121d-16は、例えば、赤色、緑色、青色、赤外および白色等の特定の波長の光を透過させる光学フィルタである。尚、白色の場合、カラーフィルタ121d-15,121d-16は、透明のフィルタでもよいし、無くてもよい。
画素121a-15,121a-16の光電変換層Z11における、それぞれ画素間の境界には、遮光膜121p-15乃至121p-17が形成されており、隣接する画素間のクロストークを抑制する。
また、変調素子の1つである遮光膜121b-15,121b-16は、図4の上段および中段で示されるように、受光面Sの一部を遮光している。遮光膜121bにより受光面Sの一部が遮光されることにより、画素121aに入射する入射光が入射角度に応じて光学的に変調される。画素121aは、その光学的に変調された入射光を検出するので、入射角指向性を有するようになる。画素121a-15,121a-16におけるフォトダイオード121e-15,121e-16の受光面Sにおいては、遮光膜121b-15,121b-16により、それぞれ異なる範囲が遮光されており、これにより画素ごとに異なる入射角指向性が設定される。ただし、遮光される範囲は、撮像素子121の全画素121aのそれぞれにおいて異なることが場合に限らず、一部で同一の範囲が遮光される画素121aが存在していてもよい。
図4の上段で示されるような構成により、遮光膜121p-15の右端部と、遮光膜121b-15の上方端部とが接続されると共に、遮光膜121b-16の左端部と遮光膜121p-16の上方端部とが接続され、側面からみてL字型に構成されている。
さらに、遮光膜121b-15乃至121b-17、および遮光膜121p-15乃至121p-17は、金属により構成されており、例えば、タングステン(W)、アルミニウム(Al)、またはAlと銅(Cu)との合金より構成される。また、遮光膜121b-15乃至121b-17、および遮光膜121p-15乃至121p-17は、半導体プロセスにおける配線が形成されるプロセスと同一のプロセスで、配線と同一の金属により同時に形成されるようにしてもよい。尚、遮光膜121b-15乃至121b-17、および遮光膜121p-15乃至121p-17の膜厚は、位置に応じて同一の厚さにしなくてもよい。
また、図4の下段で示されるように、画素121aは、フォトダイオード161(フォトダイオード121eに対応する)、転送トランジスタ162、FD(Floating Diffusion:フローティングディフュージョン)部163、選択トランジスタ164、増幅トランジスタ165、およびリセットトランジスタ166を備えて構成され、垂直信号線167を介して電流源168に接続されている。
フォトダイオード161は、アノード電極がそれぞれ接地され、カソード電極が、転送トランジスタ162を介して増幅トランジスタ165のゲート電極にそれぞれ接続される構成となっている。
転送トランジスタ162は、転送信号TGに従ってそれぞれ駆動する。例えば、転送トランジスタ162のゲート電極に供給される転送信号TGがハイレベルになると、転送トランジスタ162はオンとなる。これにより、フォトダイオード161に蓄積されている電荷が転送トランジスタ162を介してFD部163に転送される。
増幅トランジスタ165は、フォトダイオード161での光電変換によって得られる信号を読み出す読出し回路であるソースフォロワの入力部となり、FD部163に蓄積されている電荷に応じたレベルの画素信号を垂直信号線23に出力する。すなわち、増幅トランジスタ165は、ドレイン端子が電源電圧VDDに接続され、ソース端子が選択トランジスタ164を介して垂直信号線167に接続されることで、垂直信号線167の一端に接続される電流源168とソースフォロワを構成する。
FD(Floating Diffusion:フローティングディフュージョン)部163は、転送トランジスタ162と増幅トランジスタ165との間に設けられる電荷容量C1を有する浮遊拡散領域であり、転送トランジスタ162を介してフォトダイオード161から転送される電荷を一時的に蓄積する。FD部163は、電荷を電圧に変換する電荷検出部であって、FD部163に蓄積されている電荷が増幅トランジスタ165において電圧に変換される。
選択トランジスタ164は、選択信号SELに従って駆動し、ゲート電極に供給される選択信号SELがハイレベルになるとオンとなって、増幅トランジスタ165と垂直信号線167とを接続する。
リセットトランジスタ166は、リセット信号RSTに従って駆動する。例えば、リセットトランジスタ166は、ゲート電極に供給されるリセット信号RSTがハイレベルになるとオンとなり、FD部163に蓄積されている電荷を電源電圧VDDに排出して、FD部163をリセットする。
以上のような回路構成により、図4の下段で示される画素回路は以下のように動作する。
すなわち、第一動作として、リセットトランジスタ166および転送トランジスタ162がオンにされ、FD部163に蓄積されている電荷を電源電圧VDDに排出して、FD部163をリセットする。
第二動作として、リセットトランジスタ166および転送トランジスタ162がオフにされ、露光期間となり、フォトダイオード161により、入射光の光量に応じた電荷が蓄積される。
第三動作として、リセットトランジスタ166がオンにされて、FD部163がリセットされた後、リセットトランジスタ166がオフにされる。この動作により、FD部163がリセットされて、基準電位に設定される。
第四動作として、リセットされた状態のFD部163の電位が、基準電位として増幅トランジスタ165より出力される。
第五動作として、転送トランジスタ162がオンにされて、フォトダイオード161に蓄積された電荷がFD部163に転送される。
第六動作として、フォトダイオードの電荷が転送されたFD部163の電位が、信号電位として増幅トランジスタ165より出力される。
以上の処理により、信号電位から基準電位が減算されて、CDS(相関二重サンプリング)により検出信号として出力される。この検出信号の値(出力画素値)は、被写体からの入射光の入射角に応じて変調されており、入射角により特性(指向性)が異なる(入射角指向性を有する)。
このように、図4の場合の画素121aは、1個についてフォトダイオード121eが1個設けられており、画素121a毎に異なる範囲が遮光膜121bにより遮光されており、遮光膜121bを用いた光学的な変調により、1個の画素121aで入射角指向性を備えた検出画像の1画素分の検出信号を表現することができる。
<撮像素子の他の構成例>
また、入射角指向性は、例えば受光素子(例えばフォトダイオード)の画素内における位置、大きさ、形状等により形成することができる。これらのパラメータが異なる画素同士では、同一方向からの同一の光強度の入射光に対する感度が異なる。つまり、これらのパラメータを画素毎に設定することにより、画素毎に入射角指向性を設定することができる。
例えば、画素内に複数の受光素子(例えばフォトダイオード)を設け、それらが選択的に用いられるようにしてもよい。このようにすることにより、その受光素子の選択によって画素毎に入射角指向性を設定することができるようになる。
図5は、撮像素子121の他の構成例を示す図である。図5の上段には、撮像素子121の画素121aの側面断面図が示されており、図5の中段には、撮像素子121の上面図が示されている。また、図5の上段の側面断面図は、図5の中段におけるAB断面となる。さらに、図5の下段は、撮像素子121の回路構成例である。
図5に示される構成の撮像素子121は、撮像レンズ及びピンホールのいずれも介さずに入射する入射光を受光し、その入射光の入射角によって変調された出力画素値を示す検出信号をそれぞれ1つ出力する複数の画素出力単位を備える。例えば、この撮像素子121は、その複数の画素出力単位のうちの少なくとも2つの画素出力単位の出力画素値の、被写体からの入射光の入射角に対する指向性を示す入射角指向性が、互いに異なる特性となるようにするための構成を有する。また、この場合の撮像素子121は、その複数の画素出力単位が、出力に寄与するPD(Photo Diode)を互いに異ならせることで、その出力画素値の、被写体からの入射光の入射角に対する指向性を示す入射角指向性を画素出力単位毎に独立に設定し得る。
図5に示されるように、撮像素子121は、画素121aにおいて、4つのフォトダイオード121f-1乃至121f-4が形成され、遮光膜121pが、フォトダイオード121f-1乃至121f-4同士を分離する領域に形成されている点で、図5の撮像素子121と異なる構成となっている。即ち、図5の撮像素子121では、遮光膜121pは、上面から見て「+」形状に形成されている。なお、それらの共通の構成については同一の符号を付し、詳細な説明は省略する。
図5のように構成された撮像素子121では、遮光膜121pによりフォトダイオード121f-1乃至121f-4に分離することによって、フォトダイオード121f-1乃至121f-4間の電気的および光学的なクロストークを防止することができる。即ち、図5の遮光膜121pは、図4の撮像素子121の遮光膜121pと同様にクロストークを防止するためのものであって、入射角指向性を与えるためのものではない。
詳細については後述するが、フォトダイオード121f-1乃至121f-4は、受光感度特性が高くなる入射角が互いに異なる。つまり、フォトダイオード121f-1乃至121f-4のいずれから電荷を読み出すかによって、画素121aの出力画素値に所望の入射角指向性を持たせることができる。つまり、画素121aの出力画素値の入射角指向性を制御することができる。
図5の撮像素子121の構成例においては、1個のFD部163を4個のフォトダイオード121f-1乃至121f-4で共有する。図5の下段は、1個のFD部163を4個のフォトダイオード121f-1乃至121f-4で共有するようにした回路構成例を示している。尚、図5の下段において、図4の下段と同一の構成については、その説明を省略する。
図5の下段において、図4の下段の回路構成と異なる点は、フォトダイオード161および転送トランジスタ162に代えて、フォトダイオード161-1乃至161-4(図5の上段におけるフォトダイオード121f-1乃至121f-4に対応する)および転送トランジスタ162-1乃至162-4を設け、FD部163を共有する構成としている点である。
図5の下段に示される回路において、フォトダイオード161-1乃至161-4を互いに区別して説明する必要がない場合、フォトダイオード161と称する。また、転送トランジスタ162-1乃至162-4を互いに区別して説明する必要がない場合、転送トランジスタ162と称する。
図5の下段に示される回路において、いずれかの転送トランジスタ162がオンされると、その転送トランジスタ162に対応するフォトダイオード161の電荷が読み出され、共通のFD部163に転送される。そして、FD部163に保持されている電荷のレベルに応じた信号が画素出力単位の検出信号として読み出される。つまり、各フォトダイオード161の電荷は互いに独立に読み出すことができ、どの転送トランジスタ162をオンにするかによって、どのフォトダイオード161から電荷を読み出すかを制御することができる。換言するに、どの転送トランジスタ162をオンにするかによって、各フォトダイオード161による出力画素値への寄与の度合いを制御することができる。例えば、少なくとも2つの画素間において、電荷を読み出すフォトダイオード161を互いに異なるものとすることにより、出力画素値に寄与するフォトダイオード161を互いに異ならせることができる。つまり、電荷を読み出すフォトダイオード161の選択により、画素121aの出力画素値に所望の入射角指向性を持たせることができる。つまり、各画素121aから出力される検出信号を、被写体からの入射光の入射角に応じて変調された値(出力画素値)とすることができる。
例えば、図5において、フォトダイオード121f-1およびフォトダイオード121f-3の電荷をFD部163に転送し、それぞれを読み出して得られる信号を加算するようにすることにより、画素121aの出力画素値に図中左右方向の入射角指向性を持たせることができる。同様に、フォトダイオード121f-1およびフォトダイオード121f-2の電荷をFD部163に転送し、それぞれを読み出して得られる信号を加算するようにすることにより、画素121aの出力画素値に図中上下方向の入射角指向性を持たせることができる。
なお、図5の画素121aの各フォトダイオード121fのそれぞれの電荷に基づいて得られる信号は、画素から読み出された後に加算するようにしてもよいし、画素内(例えばFD部163)において加算するようにしてもよい。
また、電荷(またはその電荷に対応する信号)を加算するフォトダイオード121fの組み合わせは任意であり、上述の例に限定されない。例えば、3つ以上のフォトダイオード121fの電荷(またはその電荷に対応する信号)を加算するようにしてもよい。また、例えば、加算を行わずに、1つのフォトダイオード121fの電荷を読み出すようにしてもよい。
なお、電子シャッタ機能を用いて電荷のFD部163への読み出しの前にフォトダイオード161(フォトダイオード121f)に蓄積された検出値(電荷)をリセットすること等で、画素121a(の検出感度)に所望の入射角指向性を持たせるようにしてもよい。
例えば電子シャッタ機能を用いる場合、フォトダイオード121fの電荷のFD部163への読み出しの直前にリセットをすれば、そのフォトダイオード121fは画素121aの検出信号レベルへの寄与が無い状態とすることができ、リセットとFD部163への読み出しの間の時間を持たせれば、部分的に寄与をさせることもできる。
以上のように、図5の画素121aは、1個について4個のフォトダイオード121fが設けられており、受光面に対して遮光膜121bが形成されていないが、遮光膜121pにより、複数の領域に分割され、4個のフォトダイオード121f-1乃至121f-4が形成されており、入射角指向性を備えた検出画像の1画素分の検出信号を表現している。換言するに、例えば、フォトダイオード121f-1乃至121f-4のうち出力に寄与しない範囲が遮光された領域と同様に機能して、入射角指向性を備えた、検出画像の1画素分の検出信号を表現している。尚、フォトダイオード121f-1乃至121f-4を用いて、1画素分の検出信号を表現する場合、遮光膜121bは用いられていないので、検出信号は、光学的な変調により得られる信号ではない。
以上においては画素内に4個のフォトダイオードを配置する例について説明したが、画素内に配置するフォトダイオードの数は任意であり、上述の例に限定されない。つまり、画素内におけるフォトダイオードを配置する部分領域の数も任意である。
また、以上においては、画素内を4等分した4つの部分領域にフォトダイオードを配置するように説明したが、この部分領域は等分割されたものでなくてもよい。つまり、各部分領域の大きさや形状が全て統一されていなくてもよい(大きさや形状が他と異なる部分領域が含まれていてもよい)。または、各部分領域内に配置されるフォトダイオードの位置(部分領域内における位置)、大きさ、形状等が、フォトダイオード毎(部分領域毎)に異なるようにしてもよい。その際、各部分領域の大きさや形状は、全て統一されていてもよいし、統一されていなくてもよい。
さらに、撮像素子121の全画素において、これらのパラメータが統一されていなくてもよい。つまり、撮像素子121の1画素以上において、これらのパラメータの内の1つ以上のパラメータが、他の画素と異なっていてもよい。
例えば、画素内におけるフォトダイオードを配置する部分領域を形成するための分割位置が他の画素と異なる画素が、撮像素子121の画素群に含まれるようにしてもよい。つまり、撮像素子121が、部分領域の大きさや形状が他の画素と異なる画素を1画素以上有するようにしてもよい。例えば、画素毎にこの分割位置を異ならせるようにすることにより、複数の画素で左上のフォトダイオードのみを用いるようにしたとしても、その複数の画素のそれぞれにおいて検出される検出信号の入射角指向性を互いに異なるものとすることができる。
また例えば、画素内に配置される複数のフォトダイオードの位置、大きさ、形状等が他の画素と異なる画素が、撮像素子121の画素群に含まれるようにしてもよい。つまり、撮像素子121が、配置される複数のフォトダイオードの位置、大きさ、形状の内の少なくともいずれか1つが他の画素と異なる画素を1画素以上有するようにしてもよい。例えば、画素毎にフォトダイオードの位置、大きさ、形状等を異ならせるようにすることにより、複数の画素で左上のフォトダイオードのみを用いるようにしたとしても、その複数の画素のそれぞれにおいて検出される検出信号の入射角指向性を互いに異なるものとすることができる。
さらに例えば、部分領域のパラメータ(大きさ、形状)と、フォトダイオードのパラメータ(位置、大きさ、形状)との両方が他の画素と異なる画素を1画素以上有するようにしてもよい。
また例えば、画素内におけるフォトダイオードを配置する部分領域を形成するための分割数が他の画素と異なる画素が、撮像素子121の画素群に含まれるようにしてもよい。つまり、撮像素子121が、配置されるフォトダイオードの数が他の画素と異なる画素を1画素以上有するようにしてもよい。例えば、画素毎に分割数(フォトダイオードの数)を異ならせるようにすることにより、より自由に入射角指向性を設定することができる。
<入射角指向性を生じさせる原理について>
撮像素子121における各画素の入射角指向性は、例えば、図6で示されるような原理により発生する。尚、図6の左上部および右上部は、図4の撮像素子121における入射角指向性の発生原理を説明する図であり、図6の左下部および右下部は、図5の撮像素子121における入射角指向性の発生原理を説明する図である。
また、図6の左上部および右上部における1画素は、いずれも1個のフォトダイオード121eにより構成される。これに対して、図6の左下部および右下部における1画素は、いずれも2個のフォトダイオード121fにより構成される。尚、ここでは、1画素が2個のフォトダイオード121fにより構成される例について説明しているが、これは説明の便宜上であり、1画素を構成するフォトダイオード121fの数は、その他の個数であってもよい。
図6の左上部においては、図中の上方から下方に向けて入射光が入射するとき、フォトダイオード121e-11の受光面の右半分を遮光するように遮光膜121b-11が形成されている。また、図6の右上部においては、フォトダイオード121e-12の受光面の左半分を遮光するように遮光膜121b-12が形成されている。尚、図中の一点鎖線は、フォトダイオード121eの受光面の図中の水平方向の中心位置であって、受光面に対して垂直方向であることを表している。
例えば、図6の左上部のような構成の場合、図中の一点鎖線に対して入射角θ1を成す矢印で示される、図中の右上方向からの入射光は、フォトダイオード121e-11の遮光膜121b-11により遮光されていない左半分の範囲では受光し易いが、図中の一点鎖線に対して入射角θ2を成す矢印で示される、図中の左上方向からの入射光は、フォトダイオード121e-11の遮光膜121b-11により遮光されていない左半分の範囲では受光し難い。したがって、図6の左上部のような構成の場合、図中の右上方からの入射光に対して受光感度特性が高く、左上方からの入射光に対して受光感度特性が低いといった入射角指向性を備えることになる。
これに対して、例えば、図6の右上部のような構成の場合、図中の一点鎖線に対して入射角θ11を成す矢印で示される、図中の右上方向からの入射光は、フォトダイオード121e-12の遮光膜121b-12により遮光されている左半分の範囲では受光し難いが、図中の一点鎖線に対して入射角θ12を成す矢印で示される、図中の左上方向からの入射光は、フォトダイオード121e-12の遮光膜121b-12により遮光されていない右半分の範囲で受光し易い。したがって、図6の右上部のような構成の場合、図中の右上方からの入射光に対して受光感度特性が低く、左上方からの入射光に対して受光感度特性が高いといった入射角指向性を備えることになる。
また、図6の左下部の場合、図中の左右にフォトダイオード121f-1,121f-2が設けられており、いずれかの一方の検出信号を読み出すようにすることで、遮光膜121bを設けることなく入射角指向性を有する構成とされている。
すなわち、図6の左下部で示されるように、画素121aに2個のフォトダイオード121f-1,121f-2が形成されている場合、図中の左側に設けられたフォトダイオード121f-1の検出信号がこの画素121aの検出信号レベルに寄与するようにすることで、図6の左上部における構成と同様の入射角指向性を備えるようにすることができる。すなわち、図中の一点鎖線に対して入射角θ21を成す矢印で示される、図中の右上方向からの入射光は、フォトダイオード121f-1に入射して受光され、その検出信号が読み出され、この画素121aの検出信号レベルに寄与する。これに対して、図中の一点鎖線に対して入射角θ22を成す矢印で示される、図中の左上方向からの入射光は、フォトダイオード121f-2に入射するが、その検出信号は読み出されず、この画素121aの検出信号レベルに寄与しない。
同様に、図6の右下部で示されるように、画素121aに2個のフォトダイオード121f-11,121f-12が形成されている場合、図中の左側に設けられたフォトダイオード121f-12の検出信号がこの画素121aの検出信号レベルに寄与するようにすることで、図6の右上部における構成と同様の入射角指向性を備えるようにすることができる。すなわち、図中の一点鎖線に対して入射角θ31を成す矢印で示される、図中の右上方向からの入射光は、フォトダイオード121f-11に入射するが、その検出信号は読み出されず、この画素121aの検出信号レベルに寄与しない。これに対して、図中の一点鎖線に対して入射角θ32を成す矢印で示される、図中の左上方向からの入射光は、フォトダイオード121f-12に入射して受光され、その検出信号が読み出され、この画素121aの検出信号レベルに寄与する。
尚、図6においては、垂直方向の一点鎖線が、フォトダイオード121eの受光面の図中の水平方向の中心位置である例について説明してきたが、説明の便宜上であり、その他の位置であってもよい。垂直方向の一点鎖線で示される遮光膜121bの水平方向の位置が異なることにより、異なる入射角指向性を生じさせることができる。
<オンチップレンズを含む構成における入射角指向性について>
以上においては、入射角指向性の発生原理について説明してきたが、ここでは、オンチップレンズ121cを含めた構成における入射角指向性について説明する。
すなわち、撮像素子121における各画素の入射角指向性は、上述した遮光膜121bによるものに加えて、オンチップレンズ121cを用いることにより、例えば、図7で示されるように設定される。すなわち、図7の中段左部においては、図中上方の入射方向より入射光を集光するオンチップレンズ121c-11、所定の波長の光を透過させるカラーフィルタ121d-11、および光電変換により画素信号を生成するフォトダイオード121e-11の順に積層され、図7の中段右部においては、図中上方の入射方向よりオンチップレンズ121c-12、カラーフィルタ121d-12、およびフォトダイオード121e-12の順に構成されている。
尚、オンチップレンズ121c-11,121c-12、カラーフィルタ121d-11,121d-12、およびフォトダイオード121e-11,121e-12の、それぞれを区別する必要がない場合、単に、オンチップレンズ121c、カラーフィルタ121d、およびフォトダイオード121eと称する。
撮像素子121においては、さらに、図7の中段左部、および中段右部のそれぞれに示されるように、入射光を受光する領域の一部を遮光する遮光膜121b-11,121b-12が設けられている。
図7の中段左部で示されるように、図中のフォトダイオード121e-11の右側半分を遮光するような遮光膜121b-11が設けられている場合、図7の上段の実線の波形で示されるように、入射光の入射角度θに応じてフォトダイオード121e-11の検出信号レベルが変化する。
すなわち、フォトダイオード121eおよびオンチップレンズ121cの中心位置であって、それぞれに対して垂直となる一点鎖線に対して、入射光のなす角である入射角度θが大きくなると(入射角度θが正の方向に大きくなると(図中の右方向に傾くと))、遮光膜121b-11が設けられていない範囲に光が集光されることで、フォトダイオード121e-11の検出信号レベルが大きくなる。逆に、入射角度θが小さいほど(入射角度θが負の方向に大きいほど(図中の左方向に傾くと))、遮光膜121b-11が設けられている範囲に光が集光されることで、フォトダイオード121e-11の検出信号レベルが小さくなる。
尚、ここでいう入射角度θは、入射光の方向が一点鎖線と一致する場合を0度とし、図中の右上方からの入射光が入射する、図7の中段左側の入射角度θ21側の入射角度θを正の値とし、図7の中段右側の入射角度θ22側の入射角度θを負の値とする。したがって、図7においては、オンチップレンズ121cに対して、右上方より入射する入射光については、左上方より入射する入射光よりも入射角度が大きくなる。すなわち入射角度θは、図7において、入射光の進行方向が右に傾くほど大きくなり(正の方向に大きくなり)、左に傾くほど小さくなる(負の方向に大きくなる)ものとする。
また、図7の中段右部で示されるように、図中のフォトダイオード121e-12の左側半分を遮光するような遮光膜121b-12が設けられている場合、図7の上段の点線の波形で示されるように、入射光の入射角度θに応じてフォトダイオード121e-12の検出信号レベルが変化する。
すなわち、図7の上段における点線の波形で示されるように、フォトダイオード121eおよびオンチップレンズ121cの中心位置であって、それぞれに対して垂直となる一点鎖線に対して、入射光のなす角である入射角度θが大きいほど(入射角度θが正の方向に大きいほど)、遮光膜121b-12が設けられている範囲に光が集光されることで、フォトダイオード121e-12の検出信号レベルが小さくなる。逆に、入射角度θが小さいほど(入射角度θが負の方向に大きいほど)、遮光膜121b-12が設けられていない範囲に光が入射することで、フォトダイオード121e-12の検出信号レベルが大きくなる。
尚、図7の上段においては、横軸が入射角度θであり、縦軸がフォトダイオード121eにおける検出信号レベルを示している。
この図7の上段で示される入射角度θに応じた検出信号レベルを示す実線および点線で示される波形は、遮光膜121bの範囲に応じて変化させることができるので、これにより画素単位で相互に異なる入射角指向性を持たせる(設定する)ことが可能となる。尚、図7の上段における実線の波形は、図7の中段左部、および下段左部における入射光が、入射角度θを変化させて集光される様子を示す実線の矢印に対応している。また、図7の上段における点線の波形は、図7の中段右部、および下段右部における入射光が、入射角度θを変化させて集光される様子を示す点線の矢印に対応している。
ここでいう入射角指向性とは、入射角度θに応じた各画素の検出信号レベルの特性(受光感度特性)であるが、図7の中段の例の場合、これは入射角度θに応じた遮光値の特性であるとも言える。すなわち、遮光膜121bは、特定の方向の入射光は高いレベルで遮光するが、特定の方向以外の方向からの入射光は十分に遮光できない。この遮光できるレベルの変化が、図7の上段で示されるような入射角度θに応じた異なる検出信号レベルを生じさせる。したがって、各画素において最も高いレベルで遮光可能な方向を各画素の遮光方向と定義すると、画素単位で相互に異なる入射角指向性を持つということは、換言すれば、画素単位で相互に異なる遮光方向を持つということになる。
さらに、図7の下段左部で示されるように、1個のオンチップレンズ121c-11に対して2個のフォトダイオード121f-1,121f-2が設けられる構成とする(画素出力単位が2個のフォトダイオード121f-1,121f-2から構成される)ことにより、図中左部のフォトダイオード121f-1のみの検出信号を用いるようにすることで、図7の中段左部におけるフォトダイオード121e-11の右側を遮光した状態と同じ検出信号レベルを求めるようにすることができる。
すなわち、オンチップレンズ121cの中心位置であって、それぞれに対して垂直となる一点鎖線に対して、入射光のなす角である入射角度θが大きくなると(入射角度θが正の方向に大きくなると)、検出信号が読み出されるフォトダイオード121f-1の範囲に光が集光されることで、検出信号レベルが大きくなる。逆に、入射角度θが小さいほど(入射角度θが負の方向に大きいほど)、検出値が読み出されないフォトダイオード121f-2の範囲に光が集光されることで、検出信号レベルが小さくなる。
また、同様に、図7の下段右部で示されるように、1個のオンチップレンズ121c-12に対して2個のフォトダイオード121f-11,121f-12が設けられる構成とすることにより、図中右部のフォトダイオード121f-12のみの検出信号を用いるようにすることで、図7の中段右部におけるフォトダイオード121e-12の左側を遮光した状態と同じ検出信号レベルの出力画素単位の検出信号を得るようにすることができる。
すなわち、オンチップレンズ121cの中心位置であって、それぞれに対して垂直となる一点鎖線に対して、入射光のなす角である入射角度θが大きくなると(入射角度θが正の方向に大きくなると)、検出信号が出力画素単位の検出信号に寄与しないフォトダイオード121f-11の範囲に光が集光されることで、出力画素単位の検出信号の検出信号レベルが小さくなる。逆に、入射角度θが小さいほど(入射角度θが負の方向に大きいほど)、検出信号が出力画素単位の検出信号に寄与するフォトダイオード121f-12の範囲に光が集光されることで、出力画素単位の検出信号の検出信号レベルが大きくなる。
尚、入射角指向性については、ランダム性が高い方が望ましい。例えば、隣り合う画素間で同一の入射角指向性を持つと、上述した式(1)乃至式(3)または、後述する式(4)乃至式(6)が相互に同一の式となる恐れがあり、連立方程式の解となる未知数と式の数の関係が満たせなくなり、復元画像を構成する画素値を求められなくなる恐れがあるためである。また、図7の中段で示される構成においては、画素121aに、1個のフォトダイオード121e-11およびフォトダイオード121e-12が形成されている。これに対して、図7の下段で示される構成においては、画素121aに、2個のフォトダイオード121f-1および121f-2、並びに、フォトダイオード121f-11および121f-12が形成されている。したがって、例えば、図7の下段においては、フォトダイオード121fの単体では、1画素は構成されない。
また、図7の下段で示されるように、複数のフォトダイオード121fから1画素出力単位が構成される場合、入射角度に応じて、画素出力単位の出力画素値が変調されているとみなすことができる。したがって、出力画素値の特性(入射角指向性)を画素出力単位で異ならせることが可能となり、1画素出力単位での入射角指向性が設定される。さらに、複数のフォトダイオード121fから1画素出力単位が構成される場合、1画素出力単位での入射角指向性を生じさせる上で、1画素出力単位に対して1個のオンチップレンズ121cが必須構成となる。
また、図7の上段で示されるように、1個のフォトダイオード121e-11またはフォトダイオード121e-12のそれぞれが1画素出力単位を構成する場合、入射角度に応じて、1画素出力単位を構成する1個のフォトダイオード121e-11またはフォトダイオード121e-12への入射光が変調されることにより、結果として出力画素値が変調される。したがって、出力画素値の特性(入射角指向性)が異ならせることが可能となり、1画素出力単位での入射角指向性が設定される。さらに、1個のフォトダイオード121e-11またはフォトダイオード121e-12のそれぞれが1画素出力単位を構成する場合、入射角指向性は、1画素出力単位毎に設けられる遮光膜121bにより独立して製造時に設定される。
また、図7の下段で示されるように、複数のフォトダイオード121fから1画素出力単位が構成される場合、1画素出力単位毎の入射角指向性を設定するための複数のフォトダイオード121fの数(1画素出力単位を構成するフォトダイオード121fの分割数)や位置については、1画素出力単位で独立して製造時に設定され、さらに、このうち、どのフォトダイオード121fを用いて入射角指向性を設定するかについては、撮像時に切り替えるようにすることができる。
<入射角指向性の設定>
例えば、図8の上段で示されるように、遮光膜121bの設定範囲が、画素121aにおける水平方向について、左端部から位置Aまでの範囲とし、垂直方向について、上端部から位置Bまでの範囲とする。
この場合、各画素の水平方向の中心位置からの入射角度θx(deg)に応じた、入射角指向性の指標となる水平方向の0乃至1の重みWxを設定する。より詳細には、位置Aに対応する入射角度θx=θaにおいて、重みWxが0.5になると仮定した場合、入射角度θx<θa-αにおいて重みWxが1となり、θa-α≦入射角度θx≦θa+αにおいて、重みWxが(-(θx-θa)/2α+1/2)となり、入射角度θx>θa+αにおいて重みWxが0となるように重みWhを設定する。尚、ここでは、重みWhが0,0.5,1である例について説明するが、重みWhが0,0.5,1となるのは、理想的な条件が満たされるときとなる。
同様に、各画素の垂直方向の中心位置からの入射角度θy(deg)に応じた、入射角指向性の指標となる垂直方向の0乃至1の重みWyを設定する。より詳細には、位置Bに対応する入射角度θy=θbにおいて、重みWvが0.5になると仮定した場合、入射角度θy<θb-αにおいて重みWyが0となり、θb-α≦入射角度θy≦θb+αにおいて、重みWyが((θy-θb)/2α+1/2)となり、入射角度θy>θb+αにおいて重みWyが1となるように重みWyを設定する。
そして、このようにして求められた重みWx,Wyを用いることにより、それぞれの画素121aの入射角指向性、すなわち、受光感度特性に対応する係数(係数セット)を求めることができる。
また、このとき、水平方向の重みWxおよび垂直方向の重みWyが0.5の前後となる範囲における重みの変化を示す傾き(1/2α)は、焦点距離の異なるオンチップレンズ121cを用いることで設定することができる。
すなわち、曲率の異なるオンチップレンズ121cを用いることで異なる焦点距離とすることができる。
例えば、曲率の異なるオンチップレンズ121cを用いることで、図8の下段における実線で示されるように、焦点距離が、遮光膜121b上になるように集光されるとき、傾き(1/2α)は、急峻になる。すなわち、図8の上段における、水平方向の重みWxおよび垂直方向の重みWyは、0.5付近となる水平方向の入射角度θx=θa、および、垂直方向の入射角度θy=θbの境界付近において、急激に0または1に変化する。
また、例えば、曲率の異なるオンチップレンズ121cを用いることで、図8の下段における点線で示されるように、焦点距離が、フォトダイオード121e上に集光されるとき、傾き(1/2α)は、緩くなる。すなわち、図8の上部における、水平方向の重みWxおよび垂直方向の重みWyが0.5付近となる水平方向の入射角度θx=θa、および、垂直方向の入射角度θy=θbの境界付近において、緩やかに0または1に変化する。
以上のように、曲率の異なるオンチップレンズ121cを用いて、異なる焦点距離にすることで異なる入射角指向性、すなわち、異なる受光感度特性を得ることができる。
したがって、画素121aの入射角指向性は、遮光膜121bによりフォトダイオード121eが遮光される範囲と、オンチップレンズ121cの曲率とが異なるようにすることで異なる値に設定することができる。尚、オンチップレンズの曲率は、撮像素子121における全ての画素で同一でもよいし、一部の画素において異なる曲率であってもよい。
<オンチップレンズと撮像レンズとの違い>
上述のように、撮像素子121は、被写体面からの光を被写体面の光強度を再現するように撮像素子の各画素に導く撮像レンズを必要としない(撮像レンズフリーである)。ただし、オンチップレンズ121cは、少なくとも、図5を参照して説明したような画素内の複数のフォトダイオードを用いて入射角指向性を実現する場合には必要である。オンチップレンズ121cと撮像レンズとは、物理的作用が異なるものである。
撮像レンズは、同じ方向から入射した入射光を、互いに隣接する複数の画素へ入射させるための集光機能を持つ。これに対して、オンチップレンズ121cを通る光は、対応する1画素を構成するフォトダイオード121eまたは121fの受光面のみに入射される。換言するに、オンチップレンズ121cは、画素出力単位毎に設けられ、自身に入射する被写体光を対応する画素出力単位のみに集光する。すなわち、オンチップレンズ121cは、仮想点光源から出射した拡散光を、互いに隣接する複数の画素へ入射させるための集光機能を持たない。
<被写体面と撮像素子との距離の関係>
次に、図9を参照して、被写体面と撮像素子121との距離の関係について説明する。
図9の上段左部で示されるように、撮像素子121と被写体面131までの被写体距離が距離d1である場合、例えば、被写体面131上の点光源PA,PB,PCを設定するとき、対応する撮像素子121上の位置Pa,Pb,Pcにおける検出信号レベルDA,DB,DCが、上述した式(1)乃至式(3)と同一の式で表現できるものとする。
DA=α1×a+β1×b+γ1×c
・・・(1)
DB=α2×a+β2×b+γ2×c
・・・(2)
DC=α3×a+β3×b+γ3×c
・・・(3)
これに対して、図9の下段左部で示されるように、撮像素子121との被写体距離が距離d1よりもdだけ大きな距離d2である被写体面131'である場合、すなわち、撮像素子121から見て、被写体面131よりも奥の被写体面131'の場合、検出信号レベルは、図9の上段中央部、および下段中央部で示されるように、検出信号レベルDA,DB,DCいずれも同様である。
しかしながら、この場合被写体面131'上の点光源PA',PB',PC'からの光強度がa',b',c'の光線が撮像素子121の各画素において受光される。この際、撮像素子121上で受光される、光強度がa',b',c'の光線の入射角度は異なる(変化する)ので、それぞれ異なる係数セットが必要となり、各位置Pa,Pb,Pcにおける検出信号レベルDA,DB,DCは、例えば、以下の式(4)乃至式(6)で示されるように表現されることになる。
DA=α11×a'+β11×b'+γ11×c'
・・・(4)
DB=α12×a'+β12×b'+γ12×c'
・・・(5)
DC=α13×a'+β13×b'+γ13×c'
・・・(6)
ここで、係数セットα11,β11,γ11,係数セットα12,β12,γ12,係数セットα13,β13,γ13からなる係数セット群は、それぞれ被写体面131における係数セットα1,β1,γ1,係数セットα2,β2,γ2,係数セットα3,β3,γ3に対応する被写体面131'の係数セット群である。
従って、式(4)乃至式(6)を、予め設定された係数セット群α11,β11,γ11,α12,β12,γ12,α13,β13,γ13を用いて解くことで、図9の上段右部で示される被写体面131における場合の点光源PA,PB,PCにおける光線の光強度(a,b,c)を求めた手法と同様の手法で、図9の下段右部で示されるように、点光源PA',PB',PC'からの光線の光強度(a',b',c')として求めることが可能となり、結果として、被写体面131'の被写体の復元画像を求めることが可能となる。
すなわち、図1の撮像装置100においては、撮像素子121からの被写体面までの距離毎の係数セット群を予め記憶しておき、係数セット群を切り替えて連立方程式を構成し、構成した連立方程式を解くことで、1個の検出画像に基づいて、様々な被写体距離の被写体面の復元画像を得ることが可能となる。
つまり、検出画像を1回撮像するだけで、その後の処理で、被写体面までの距離に応じて係数セット群を切り替えて、復元画像を求めるようにすることで、任意の距離の復元画像を生成することも可能である。
また、画像認識や可視画像や可視画像以外の被写体の特性を得たい場合は、復元画像を得てから復元画像を基に画像認識などを行わなくとも、撮像素子の検出信号に対し、ディープラーニング等の機械学習を適用し、検出信号自体を用いて画像認識などを行うことも可能である。
また、被写体距離や画角が特定できるような場合については、全ての画素を用いずに、特定された被写体距離や画角に対応した被写体面の撮像に適した入射角指向性を有する画素の検出信号からなる検出画像を用いて、復元画像を生成するようにしてもよい。このようにすることで、特定された被写体距離や画角に対応した被写体面の撮像に適した画素の検出信号を用いて復元画像を求めることができる。
例えば、図10の上段で示されるように、4辺のそれぞれの端部から幅d1だけ遮光膜121bにより遮光されている画素121aと、図10の下段で示されるように、4辺のそれぞれの端部から幅d2(>d1)だけ遮光膜121bにより遮光されている画素121a'とを考える。
画素121aは、例えば、図11の上段で示されるような、被写体となる人物H101の全体を含む画角SQ1に対応する、図10の画像I1を復元するために用いられる。これに対して、画素121a'は、例えば、図11の上段で示されるような、被写体となる人物H101の顔の周辺がズームアップされた画角SQ2に対応する、図10の画像I2を復元するために用いられる。
これは、図10の画素121aが、図12の左部で示されるように、撮像素子121に対して入射光の入射可能角度範囲Aとなるため、被写体面131上において、水平方向に被写体幅W1分の入射光を受光することができるからである。
これに対して、図10の画素121a'は、図10の画素121aよりも遮光される範囲が広いため、図12の左部で示されるように、撮像素子121に対して入射光の入射可能角度範囲B(<A)となるため、被写体面131上において、水平方向に被写体幅W2(<W1)分の入射光を受光するからである。
つまり、遮光範囲が狭い図10の画素121aは、被写体面131上の広い範囲を撮像するのに適した広画角画素であるのに対して、遮光範囲が広い図10の画素121a'は、被写体面131上の狭い範囲を撮像するのに適した狭画角画素である。尚、ここでいう広画角画素および狭画角画素は、図10の画素121a,121a'の両者を比較する表現であって、その他の画角の画素を比較する上ではこの限りではない。
尚、図12は、撮像素子121の中心位置C1に対する、被写体面131上の位置と、それぞれの位置からの入射光の入射角度との関係を示している。また、図12においては、被写体面131上の位置と、被写体面131上のそれぞれの位置からの入射光の入射角度との水平方向に対する関係が示されているが、垂直方向についても同様の関係となる。さらに、図12の右部には、図10における画素121a,121a'が示されている。
このような構成により、図11の下段で示されるように、撮像素子121における、点線で囲まれた範囲ZAに図10の画素121aを、一点鎖線で囲まれた範囲ZBに図10の画素121a'を、それぞれ所定画素数ずつ集めて構成する場合、被写体幅W1に対応する画角SQ1の画像を復元しようとするときには、画角SQ1を撮像する図10の画素121aを用いるようにすることで、適切に被写体面131の被写体幅W1の画像を復元することができる。
同様に、被写体幅W2に対応する画角SQ2の画像を復元しようとするときには、画角SQ2を撮像する図10の画素121a'の検出信号レベルを用いるようにすることで、適切に被写体幅W2の画像を復元することができる。
尚、図11の下段においては、図中の左側に画素121a'が所定画素数だけ設けられ、右側に画素121aが所定画素数だけ設けられた構成として示されているが、これは説明を簡単にするための例として示されたものであり、画素121aと画素121a'とは、ランダムに混在して配置されることが望ましい。
このように、画角SQ2は、画角SQ1よりも画角が狭いので、画角SQ2と画角SQ1の画像を同一の所定画素数で復元する場合、画角SQ1の画像よりも、より狭い画角となる画角SQ2の画像を復元する方が、より高画質な復元画像を得ることができる。
つまり、同一画素数を用いて復元画像を得ることを考えた場合、より画角の狭い画像を復元する方が、より高画質な復元画像を得ることができる。
尚、画角の広い画像を復元画像として得る場合、広画角画素の全画素を用いるようにしてもよいし、広画角画素の一部を用いるようにしてもよい。また、画角の狭い画像を復元画像として得る場合、狭画角画素の全画素を用いるようにしてもよいし、狭画角画素の一部を用いるようにしてもよい。
以上のような撮像素子121を用いることにより、結果として、撮像レンズ、回折格子等からなる光学素子や、ピンホールなどが不要となるため、装置の設計の自由度を高めることが可能になると共に、入射光の入射方向に対する装置の小型化を実現することが可能となり、製造コストを低減することが可能となる。また、フォーカスレンズなどのような、光学像を結像させるための撮像レンズに相当するレンズも不要となる。
さらに、撮像素子121を用いることにより、検出画像を取得するのみで、その後において、被写体距離や画角に応じた係数セット群を選択的に用いて構成した連立方程式を解いて復元画像を求めることで、様々な被写体距離や画角の復元画像を生成することが可能となる。
さらに、撮像素子121は、画素単位で入射角指向性を持つことができるので、回折格子からなる光学フィルタと従来の撮像素子等と比較して、多画素化を実現することができ、また、高解像度で、かつ、高角度分解能の復元画像を得ることができる。一方、光学フィルタと従来の撮像素子とからなる撮像装置では、画素を微細化しても、光学フィルタの微細化が難しいため、復元画像の高解像度化等の実現が難しい。
また、撮像素子121は、回折格子からなる光学フィルタ等を必要としないので、使用環境が高温になって光学フィルタが熱で歪むといったことがない。したがって、このような撮像素子121を用いることにより、環境耐性の高い装置を実現することが可能となる。
<第1の変形例>
図3の右部においては、撮像素子121の各画素121aにおける遮光膜121bの構成として、垂直方向に対しては全体を遮光し、かつ、水平方向に対しての遮光幅や位置を変化させることにより、水平方向の入射角指向性の違いを持たせる例を示したが、遮光膜121bの構成はこの例に限定されない。例えば、水平方向に対して全体として遮光し、垂直方向の幅(高さ)や位置を変化させるようにして、垂直方向の入射角指向性の違いを持たせるようにしてもよい。
なお、図3の右部で示される例のように、垂直方向に対しては画素121a全体を遮光し、かつ、水平方向に対して所定の幅で画素121aを遮光する遮光膜121bは、横帯タイプの遮光膜121bと称する。これに対して、水平方向に対しては画素121a全体を遮光し、かつ、垂直方向に対して所定の高さで画素121aを遮光する遮光膜121bは、縦帯タイプの遮光膜121bと称する。
また、図13の左部に示される例のように、縦帯タイプと横帯タイプの遮光膜121bを組み合わせて、画素121aをL字型の遮光膜121bを設けるようにしてもよい。図13の左部において、黒色で示される部分が遮光膜121bである。つまり、遮光膜121b-21乃至遮光膜121b-24は、それぞれ、画素121a-21乃至画素121a-24の遮光膜である。
これらの各画素(画素121a-21乃至画素121a-24)は、図13の右部に示されるような入射角指向性を有することになる。図13の右部に示されるグラフは、各画素における受光感度を示している。横軸が入射光の水平方向(x方向)の入射角度θxを表し、縦軸が入射光の垂直方向(y方向)の入射角度θyを表している。そして、範囲C4内の受光感度が、範囲C4の外よりも高く、範囲C3内の受光感度が、範囲C3の外よりも高く、範囲C2内の受光感度が、範囲C2の外よりも高く、範囲C1内の受光感度が、範囲C1の外よりも高い。
従って、各画素について、範囲C1内となる、水平方向(x方向)の入射角度θxと、垂直方向(y方向)の入射角度θyとの条件を満たす入射光の検出信号レベルが最も高くなり、範囲C2内,範囲C3内,範囲C4内、および、範囲C4以外の範囲の条件の順に検出信号レベルが低くなることが示されている。このような受光感度の強度は、遮光膜121bにより遮光される範囲により決定される。
また、図13の左部において、各画素121a内のアルファベットは、カラーフィルタの色を示している(説明の便宜上記載したものであり、実際に表記されているものではない)。画素121a-21は緑色のカラーフィルタが配置されるG画素であり、画素121a-22は赤色のカラーフィルタが配置されるR画素であり、画素121a-23は青色のカラーフィルタが配置されるB画素であり、画素121a-24は緑色のカラーフィルタが配置されるG画素である。つまり、これらの画素は、ベイヤ配列を形成している。もちろん、これは一例であり、カラーフィルタの配列パターンは任意である。遮光膜121bの配置とカラーフィルタとは無関係である。例えば、一部または全部の画素において、カラーフィルタ以外のフィルタが設けられるようにしてもよいし、フィルタが設けられないようにしてもよい。
図13の左部においては、「L字型」の遮光膜121bが、画素121aの図中左辺と下辺の側を遮光する例が示されているが、この「L字型」の遮光膜121bの向きは任意であり、図13の例に限定されない。例えば、「L字型」の遮光膜121bが、画素121aの図中下辺と右辺の側を遮光するようにしてもよいし、画素121aの図中右辺と上辺の側を遮光するようにしてもよいし、画素121aの図中上辺と左辺の側を遮光するようにしてもよい。もちろん、この遮光膜121bの向きは、画素毎に独立に設定することができる。なお、この「L字型」の遮光膜121bを「L字タイプの遮光膜121b」とも総称する。
以上においては遮光膜について説明したが、この例の説明は、画素内に配置した複数のフォトダイオードを選択的に用いることにより入射角指向性を持たせる場合にも適用することができる。つまり、例えば、分割位置(各部分領域の大きさや形状)や、各フォトダイオードの位置、大きさ、形状等を適切に設定したり、フォトダイオードを適切に選択したりすることにより、上述のL字タイプの遮光膜121bによる入射光指向性と同等の入射光指向性を実現することができる。
<第2の変形例>
以上においては、横帯タイプ、縦帯タイプ、およびL字タイプの遮光膜について、遮光されている範囲がランダムに変化するように各画素に配置される例について説明してきたが、例えば、図14の撮像素子121'で示されるように、矩形開口を設けた場合に、個々の画素において光線が受光する位置の近傍の範囲以外を遮光する遮光膜121b(図中、黒色で示された範囲)を構成するようにしてもよい。
すなわち、各画素について、矩形開口を設けた場合に、所定の被写体距離の被写体面を構成する点光源より出射される光線のうち、矩形開口を透過して受光される光線のみを受光するような入射角指向性を有するように遮光膜121bを設けるようにしてもよい。
尚、図14においては、例えば、水平方向の画素配列に対して、遮光膜121bの水平方向の幅が幅dx1,dx2,・・・dxnと変化しており、これが、dx1<dx2<・・・<dxnの関係となる。同様に、垂直方向の画素配列に対して、遮光膜121bの垂直方向の高さが高さdy1,dy2,・・・dymと変化しており、これが、dy1<dy2<・・・<dxmの関係となる。また、遮光膜121bの水平方向の幅、および垂直方向の幅の、それぞれの変化の間隔は、復元する被写体分解能(角度分解能)に依るものである。
換言すれば、図14の撮像素子121'における各画素121aの構成は、水平方向および垂直方向に対して撮像素子121'内の画素配置に対応するように、遮光する範囲を変化させるような入射角指向性を持たせているといえる。
より詳細には、図14の各画素121aの遮光範囲は、例えば、図15の左部で示される画素121aを用いて説明される規則に従って決定される。
尚、図15の右部は、図14と同一の撮像素子121'の構成を示している。また、図15の左部は、図15(図14と同一)の右部における撮像素子121'の画素121aの構成を示している。
図15の左部で示されるように、画素121aの上辺および下辺の端部から画素121a内に向かって、それぞれ幅dx1だけ遮光膜121bにより遮光し、左辺および右辺の端部から画素121a内に向かって、それぞれ高さdy1だけ遮光膜121bにより遮光する。尚、図15,図16において、遮光膜121bは黒色で示された範囲である。
図15の左部において、遮光膜121bが、このように形成されることで遮光される範囲を、以降において、画素121aの主遮光部Z101(図15左部の黒色部)と称し、それ以外の方形状の範囲を範囲Z102と称する。
画素121aにおける、範囲Z102内に、遮光膜121bにより遮光されない矩形開口部Z111が設けられるものとする。したがって、範囲Z102において、矩形開口部Z111以外の範囲は、遮光膜121bにより遮光される。
図14の撮像素子121'内の画素配列は、図15の右部(図14と同一)で示されるように、左端部で、かつ、上端部の画素121a-1は、矩形開口部Z111を、その左辺が画素121aの左辺から幅dx1であって、その上辺が画素121aの上辺からdy1の距離に配置する構成とする。
同様に、画素121a-1の右隣の画素121a-2は、矩形開口部Z111を、その左辺が画素121aの左辺から幅dx2であって、その上辺が画素121aの上辺から高さdy1の距離に配置して、矩形開口部Z111以外の範囲を遮光膜121bにより遮光する構成とする。
以下同様に、水平方向に隣接する画素121aは、配置が図中の右側に進むにしたがって、矩形開口部Z111の右辺が、画素121aの右辺から幅dx1,dx2・・・dxnと移動する。尚、図15の範囲Z102における右上部の点線の方形部分が、矩形開口部Z111を、その左辺が画素121aの左辺から幅dxnであって、その上辺が画素121aの上辺から高さdy1の距離に配置したときの状態を示している。また、幅dx1,dx2・・・dxnのそれぞれの間隔は、範囲Z102の水平方向の幅から矩形開口部Z111の幅を引いた幅を水平方向の画素数nで割った値となる。すなわち、水平方向の画素数nで割ることにより水平方向の変化の間隔が決定される。
また、撮像素子121'における画素121a内の矩形開口部Z111の水平方向の位置は、撮像素子121'内における水平方向の位置が同一の画素121a(同一の列の画素121a)内において同一になる。
さらに、画素121a-1の直下に隣接する画素121a-3は、矩形開口部Z111を、その左辺が画素121aの左辺から幅dx1であって、その上辺が画素121aの上辺から高さdy2の距離に配置して、矩形開口部Z111以外の範囲を遮光膜121bにより遮光する構成とする。
以下同様に、垂直方向に隣接する画素121aは、配置が図中の下側に進むにしたがって、矩形開口部Z111の上辺が、画素121aの上辺から高さdy1,dy2・・・dynと移動する。尚、図15の範囲Z102における左下部の点線の方形部分が、矩形開口部Z111を、その左辺が画素121aの左辺から幅dx1であって、その上辺が画素121aの上辺から高さdymの距離に配置したときの状態を示している。また、高さdy1,dy2・・・dymのそれぞれの間隔は、範囲Z102の垂直方向の高さから矩形開口部Z111の高さを引いた高さを垂直方向の画素数mで割った値となる。すなわち、垂直方向の画素数mで割ることにより垂直方向の変化の間隔が決定される。
また、撮像素子121'における画素121a内の矩形開口部Z111の垂直方向の位置は、撮像素子121'内における垂直方向の位置が同一の画素121a(同一の行の画素121a)内において同一になる。
さらに、図15(図14)で示される撮像素子121'を構成する各画素121aの主遮光部Z101、および矩形開口部Z111を変化させることで、画角を変化させることができる。
図16の右部は、図15(図14)の撮像素子121'に対して画角を広くする場合の撮像素子121'の構成を示している。また、図16の左部は、図16の右部における撮像素子121'の画素121aの構成を示している。
すなわち、図16の左部で示されるように、例えば、画素121a内に、図15における主遮光部Z101よりも遮光範囲が狭い主遮光部Z151(図16左部の黒色部)を設定し、それ以外の範囲を範囲Z152に設定する。さらに、範囲Z152内に、矩形開口部Z111よりも開口面積が広い矩形開口部Z161を設定する。
より詳細には、図16の左部で示されるように、画素121aの上辺および下辺の端部から画素121a内に向かって、それぞれ幅dx1'(<dx1)だけ遮光膜121bにより遮光され、左辺および右辺の端部から画素121a内に向かって、それぞれ高さdy1'(<dy1)だけ遮光膜121bにより遮光されることで、矩形開口部Z161が形成される。
ここで、図16の右部で示されるように、左端部で、かつ、上端部の画素121a-1は、矩形開口部Z161を、その左辺が画素121aの左辺から幅dx1'であって、その上辺が画素121aの上辺から高さdy1'の距離に配置して、矩形開口部Z161以外の範囲を遮光膜121bにより遮光する構成とする。
同様に、画素121a-1の右隣の画素121a-2は、矩形開口部Z161を、その左辺が画素121aの左辺から幅dx2'であって、その上辺が画素121aの上辺から高さdy1'に配置して、矩形開口部Z161以外の範囲を遮光膜121bにより遮光する構成とする。
以下同様に、水平方向に隣接する画素121aは、配置が図中の右側に進むにしたがって、矩形開口部Z161の右辺が、画素121aの右辺から幅dx1'、dx2'・・・dxn'と移動する。ここで、幅dx1'、dx2'・・・dxn'のそれぞれの間隔は、範囲Z152の水平方向の幅から矩形開口部Z161の水平方向の幅を引いた幅を、水平方向の画素数nで割った値となる。すなわち、水平方向の画素数nで割ることにより垂直方向の変化の間隔が決定される。したがって、幅dx1'、dx2'・・・dxn'の変化の間隔は、幅dx1、dx2・・・dxnの変化の間隔より大きくなる。
また、図16の撮像素子121'における画素121a内の矩形開口部Z161の水平方向の位置は、撮像素子121'内における水平方向の位置が同一の画素121a(同一の列の画素121a)内において同一になる。
さらに、画素121a-1の直下に隣接する画素121a-3は、矩形開口部Z161を、その左辺が画素121aの左辺から幅dx1'であって、その上辺が画素121aの上辺から高さdy2'に配置して、矩形開口部Z161以外の範囲を遮光膜121bにより遮光する構成とする。
以下同様に、垂直方向に隣接する画素121aは、配置が図中の下側に進むにしたがって、矩形開口部Z161の上辺が、画素121aの上辺から高さdy1'、dy2'・・・dym'と変化する。ここで、高さdy1'、dy2'・・・dym'の変化の間隔は、範囲Z152の垂直方向の高さから矩形開口部Z161の高さを引いた高さを垂直方向の画素数mで割った値となる。すなわち、垂直方向の画素数mで割ることにより垂直方向の変化の間隔が決定される。したがって、高さdy1'、dy2'・・・dym'の変化の間隔は、幅高さdy1、dy2・・・dymの変化の間隔より大きくなる。
また、図16の撮像素子121'における画素121a内の矩形開口部Z161の垂直方向の位置は、撮像素子121'内における垂直方向の位置が同一の画素121a(同一の行の画素121a)内において同一になる。
このように、主遮光部の遮光範囲と開口部の開口範囲との組み合わせを変化させることで、様々な画角の(様々な入射角指向性を持った)画素121aからなる撮像素子121'を実現することが可能となる。
さらに、同一の画角の画素121aのみならず、様々な画角の画素121aを組み合わせて撮像素子121を実現させるようにしてもよい。
例えば、図17で示されるように、点線で示される2画素×2画素からなる4画素を1個の単位Uとして、それぞれの単位Uが、広画角の画素121a-W、中画角の画素121a-M、狭画角の画素121a-N、極狭画角の画素121a-ANの4画素から構成されるようにする。
この場合、例えば、全画素121aの画素数がXである場合、4種類の画角ごとにX/4画素ずつの検出画像を用いて復元画像を復元することが可能となる。この際、画角毎に異なる4種類の係数セットが使用されて、4種類の異なる連立方程式により、それぞれ異なる画角の復元画像が復元される。
このため、復元する画角の復元画像を、復元する画角の撮像に適した画素から得られる検出画像を用いて復元することで、4種類の画角に応じた適切な復元画像を復元することが可能となる。
また、4種類の画角の中間の画角や、その前後の画角の画像を、4種類の画角の画像から補間生成するようにしてもよく、様々な画角の画像をシームレスに生成することで、疑似的な光学ズームを実現するようにしてもよい。
以上においては遮光膜について説明したが、この例の説明は、画素内に配置した複数のフォトダイオードを選択的に用いることにより入射角指向性を持たせる場合にも適用することができる。つまり、例えば、分割位置(各部分領域の大きさや形状)や、各フォトダイオードの位置、大きさ、形状等を適切に設定したり、フォトダイオードを適切に選択したりすることにより、上述した矩形開口を有する遮光膜121bによる入射光指向性と同等の入射光指向性を実現することができる。勿論、この場合も、様々な画角の画素121aを組み合わせて撮像素子121を実現させることもできる。また、中間の画角や、その前後の画角の画像を、複数種類の画角の画像から補間生成するようにしてもよく、様々な画角の画像をシームレスに生成することで、疑似的な光学ズームを実現するようにしてもよい。
<第3の変形例>
ところで、撮像素子121における画素121aの遮光膜121bの遮光している範囲にランダム性を持たせている場合、遮光膜121bの遮光している範囲の違いの乱雑さが大きいほど、復元部122等による処理の負荷は大きなものとなる。そこで、画素121aの遮光膜121bの遮光している範囲の違いの一部を規則的なものとして、この違いの乱雑さを低減させることで、処理負荷を低減させるようにしてもよい。
例えば、縦帯タイプと横帯タイプとを組み合わせたL字タイプの遮光膜121bを構成するようにして、所定の列方向に対しては、同一幅の横帯タイプの遮光膜121bを組み合わせ、所定の行方向に対しては、同一の高さの縦帯タイプの遮光膜121bを組み合わせるようにする。このようにすることにより、各画素121aの遮光膜121bの遮光範囲が、列方向および行方向で規則性を持たせつつ、画素単位ではランダムに異なる値に設定されるようになる。その結果、各画素121aの遮光膜121bの遮光範囲の違い、すなわち、各画素の入射角指向性の違いの乱雑さを低減させ、復元部122等の撮像素子121の外部の処理負荷を低減させることができる。
例えば、図18の撮像素子121''の場合、範囲Z130で示される同一列の画素については、いずれも同一の幅X0の横帯タイプの遮光膜121bが用いられ、範囲Z150で示される同一行の画素については、同一の高さY0の縦帯タイプの遮光膜121bが用いられ、各行列で特定される画素121aについては、これらが組み合わされたL字タイプの遮光膜121bが設定されている。
同様に、範囲Z130に隣接する範囲Z131で示される同一列の画素については、いずれも同一の幅X1の横帯タイプの遮光膜121bが用いられ、範囲Z150に隣接する範囲Z151で示される同一行の画素については、同一の高さY1の縦帯タイプの遮光膜121bが用いられ、各行列で特定される画素121aについては、これらが組み合わされたL字タイプの遮光膜121bが設定されている。
さらに、範囲Z131に隣接する範囲Z132で示される同一列の画素については、いずれも同一の幅X2の横帯タイプの遮光膜が用いられ、範囲Z151に隣接する範囲Z152で示される同一行の画素については、同一の高さY2の縦帯タイプの遮光膜が用いられ、各行列で特定される画素121aについては、これらが組み合わされたL字タイプの遮光膜121bが設定されている。
このようにすることで、遮光膜121bの水平方向の幅および位置、並びに、垂直方向の高さおよび位置に規則性を持たせつつ、画素単位で遮光膜の範囲を異なる値に設定することができるので、入射角指向性の違いの乱雑さを抑え込むことができる。結果として、係数セットのパターンを低減させることが可能となり、後段(例えば、復元部122等)における演算処理の処理負荷を低減させることが可能となる。
より詳細には、図19の右上部で示されるように、N画素×N画素の検出画像PicからN×N画素の復元画像を求める場合、N×N行1列の復元画像の各画素の画素値を要素とするベクトルX、N×N行1列の検出画像の各画素の画素値を要素とするベクトルY、および、係数セットからなるN×N行N×N列の行列Aにより、図19の左部で示されるような関係が成立する。
すなわち、図19においては、係数セットからなるN×N行N×N列の行列Aの各要素と、復元画像を表すN×N行1列のベクトルXとを乗算した結果が、検出画像を表すN×N行1列のベクトルYとなることが示されており、この関係から連立方程式が構成される。
尚、図19においては、行列Aの範囲Z201で示される1列目の各要素が、ベクトルXの1行目の要素に対応しており、行列Aの範囲Z202で示されるN×N列目の各要素が、ベクトルXのN×N行目の要素に対応していることを示している。
換言すれば、図19で示される行列式に基づいた連立方程式を解くことにより、ベクトルXの各要素が求められることにより復元画像が求められる。また、ピンホールを用いた場合、および、撮像レンズ等の、同じ方向から入射した入射光を互いに隣接する画素出力単位の双方へ入射させるための集光機能を用いた場合、各画素の位置と光の入射角度の関係が一意に定まるので、行列Aは、正方行列であって対角成分((i,i)要素)が全て1からなり、対角成分以外が全て0からなる対角行列になる。逆に、図2の撮像素子121のようにピンホールおよび撮像レンズのいずれも用いない場合、各画素の位置と光の入射角度の関係は一意に定まらないので、行列Aは対角行列にならない。
ところで、一般的に、図19の行列式は、両辺に行列Aの逆行列A-1を左から乗じることにより、図20で示されるように変形され、検出画像のベクトルYに逆行列A-1を右から乗じることで、検出画像であるベクトルXの各要素が求められる。
しかしながら、現実の行列Aは、正確に求められない、正確に測定できない、行列Aの基底ベクトルが線形従属に近いケースで解けない、および、検出画像の各要素にノイズが含まれるといった理由のいずれか、または組み合わせで、連立方程式を解くことができないことがある。
そこで、様々な誤差に対してロバストな構成を考え、正則化最小二乗法の概念を用いた、以下の式(7)をとる。
ここで、式(7)にxの上部に「^」が付されたものは、ベクトルXを、Aは、行列Aを、Yは、ベクトルYを、γはパラメータを、||A||はL2ノルム(二乗和平方根)を表している。ここで、第一項は、図19の両辺の差異を最小にするときのノルムであり、第二項は正則化項である。
この式(7)をxについて解くと、以下の式(8)で表現される。
しかしながら、行列Aは、膨大なサイズであるので、計算時間や計算に大容量のメモリが必要になる。
そこで、例えば、図21で示されるように、行列Aを、N行N列の行列ALと、N行N列の行列ARTとに分解し、それぞれ復元画像を表すN行N列の行列Xの前段と後段とから掛けた結果が、検出画像を表すN行N列の行列Yとなるようにすることを考える。これにより、要素数(N×N)×(N×N)の行列Aに対して、要素数が(N×N)の行列AL、ARTとなるので、要素数を1/(N×N)に小さくすることができる。結果として、要素数が(N×N)からなる2個の行列AL,ARTを用いるだけで済むので、計算量とメモリの容量を低減させることができる。
ここで、ATは、行列Aの転置行列であり、γはパラメータであり、Iは、単位行列である。式(8)におけるカッコ内の行列を行列ALとし、行列Aの転置行列の逆行列を行列ARTとすることで。図21で示される行列式を実現する。
このように図21で示されるような計算は、図22で示されるように、行列Xにおける注目要素Xpに対しては、行列ALの対応する列の各要素群Z221を乗算することで、要素群Z222が求められる。さらに、要素群Z222と行列ARTの注目要素Xpに対応する行の要素とを乗算することで、注目要素Xpに対応する2次元応答Z224が求められる。そして、行列Xの全要素に対応する2次元応答Z224が積算されることで行列Yが求められる。
そこで、行列ALの各行に対応する要素群Z221には、図18で示される撮像素子121の列毎に同一の幅に設定される横帯タイプの画素121aの入射角指向性に対応する係数セットを持たせる。
同様に、行列ARTの各行の要素群Z223には、図18で示される撮像素子121の行毎に設定される同一の高さに設定される縦帯タイプの画素121aの入射角指向性に対応する係数セットを持たせる。
この結果、検出画像に基づいて、復元画像を復元する際に使用する行列を小さくさせることが可能となるので、計算量が低減することで、処理速度を向上させ、計算に係る電力消費を低減させることが可能となる。また、行列を小さくできるので、計算に使用するメモリの容量を低減させることが可能となり、装置コストを低減させることが可能となる。
尚、図18の例においては、水平方向、および垂直方向に所定の規則性を持たせつつ、画素単位で遮光される範囲(受光できる範囲)を変化させる例が示されているが、本開示の技術においては、このように画素単位で遮光される範囲(受光できる範囲)が、完全にランダムに設定されてはいないものの、ある程度ランダムに設定されるものについても、ランダムに設定されるものとみなす。換言すれば、本開示においては、画素単位で遮光される範囲(受光できる範囲)が完全にランダムに設定される場合のみならず、ある程度ランダムなもの(例えば、全画素のうち、一部については規則性を持たせた範囲を含むが、その他の範囲はランダムである場合)、または、ある程度規則性がなさそうなもの(全画素のうち、図18を参照して説明したような規則に従って配置されていることが確認できない配置の場合)についてもランダムであるものとみなす。
以上においては遮光膜について説明したが、この例の説明は、画素内に配置した複数のフォトダイオードを選択的に用いることにより入射角指向性を持たせる場合にも適用することができる。つまり、例えば、分割位置(各部分領域の大きさや形状)や、各フォトダイオードの位置、大きさ、形状等を適切に設定したり、フォトダイオードを適切に選択したりすることにより、上述した画素121aの遮光膜121bの遮光している範囲の変化の一部を規則的なものとした場合の入射光指向性と同等の入射光指向性を実現することができる。このようにすることにより、各画素の入射角指向性における乱雑さを低減させ、復元部122等の撮像素子121の外部の処理負荷を低減させることができる。
<第4の変形例>
画素単位の遮光膜121bの形状のバリエーションは、任意であり、上述した各例に限定されない。例えば、遮光膜121bを三角形に設定し、その範囲を異なるものとすることで異なる入射角指向性を持たせる(設定する)ようにしてもよいし、遮光膜121bを円形に設定し、その範囲を異なるものとすることで異なる入射角指向性を持たせるようにしてもよい。また、例えば、斜め方向の線状の遮光膜などでも良い。
また、所定数の複数の画素からなるユニットを構成する複数の画素単位で遮光膜121bのバリエーション(パターン)を設定するようにしてもよい。この1ユニットはどのような画素により構成されるようにしてもよい。例えば、撮像素子121がカラーフィルタを備えるものとし、そのカラーフィルタの色配列の単位を構成する画素により構成されるようにしてもよい。また、露光時間の異なる画素を組み合わせた画素グループをユニットとするようにしてもよい。なお、ユニットを構成する各画素における遮光膜121bが遮光する範囲のパターンのランダム性が高い方が、すなわち、ユニットを構成する画素がそれぞれに異なる入射角指向性を備えている方が望ましい。
また、ユニット間で遮光膜121bの配置パターンを設定するようにしてもよい。例えば、ユニット毎に、遮光膜の幅や位置を変えるようにしてもよい。さらに、異なるカテゴリで分類される複数の画素からなるユニット内やユニット間で遮光膜121bが遮光する範囲のパターンを設定するようにしてもよい。
以上においては遮光膜について説明したが、この例の説明は、画素内に配置した複数のフォトダイオードを選択的に用いることにより入射角指向性を持たせる場合にも適用することができる。つまり、例えば、分割位置(各部分領域の大きさや形状)や、各フォトダイオードの位置、大きさ、形状等を適切に設定したり、フォトダイオードを適切に選択したりすることにより、上述した画素121aの遮光膜121bの遮光している範囲の変化の一部を規則的なものとした場合の入射光指向性と同等の入射光指向性を実現することができる。このようにすることにより、各画素の入射角指向性における乱雑さを低減させ、復元部122等の撮像素子121の外部の処理負荷を低減させることができる。
以上においては遮光膜について説明したが、この例の説明は、画素内に配置した複数のフォトダイオードを選択的に用いることにより入射角指向性を持たせる場合にも適用することができる。つまり、分割位置(各部分領域の大きさや形状)や、各フォトダイオードの位置、大きさ、形状等を適切に設定したり、フォトダイオードを適切に選択したりすることにより、例えば、三角形、円形、斜め方向の線状等の、任意の形状の遮光膜による入射光指向性と同等の入射光指向性を実現することができる。
また、例えば、分割位置(各部分領域の大きさや形状)の設定、各フォトダイオードの位置、大きさ、形状等の設定、およびフォトダイオードの選択等を、上述した遮光膜121bの場合と同様に、ユニット毎に設定するようにしてもよい。
<フォトダイオードの制御>
図5を参照して上述したような画素内に配置した複数のフォトダイオードを選択的に用いる場合、複数のフォトダイオード121fのそれぞれの画素出力単位の出力画素値への寄与の有無や程度を切り替えることにより画素出力単位の出力画素値の入射角指向性を様々に変化させることができるようにしてもよい。
例えば、図23に示されるように、画素121aに、フォトダイオード121f-111乃至121f-119の9個(縦3個×横3個)のフォトダイオード121fが配置されているとする。この場合、この画素121aを、フォトダイオード121f-111乃至121f-119を有する画素121a-bとして用いるようにしてもよいし、フォトダイオード121f-111、121f-112、121f-114、および121f-115を有する画素121a-sとして用いるようにしてもよい。
例えば、画素121aを画素121a-bとする場合、フォトダイオード121f-111乃至121f-119の当該画素121aの出力画素値への寄与の有無や度合いを制御することによって出力画素値の入射角指向性が制御される。これに対して、画素121aを画素121a-sとする場合、フォトダイオード121f-111、121f-112、121f-114、および121f-115の当該画素121aの出力画素値への寄与の有無や度合を制御することによって出力画素値の入射角指向性が制御される。この場合、その他のフォトダイオード121f(フォトダイオード121f-113、121f-116、121f-117乃至121f-119)は、出力画素値に寄与しないように制御される。
つまり、例えば複数の画素121a-b間で出力画素値の入射角指向性が互いに異なる場合、フォトダイオード121f-111乃至121f-119の内の少なくともいずれか1つの出力画素値への寄与の有無や度合いが異なる。これに対して、例えば複数の画素121a-s間で出力画素値の入射角指向性が互いに異なる場合、フォトダイオード121f-111、121f-112、121f-114、および121f-115の内の少なくともいずれか1つの出力画素値への寄与の有無や度合いが異なり、その他のフォトダイオード121f-113、121f-116、121f-117乃至121f-119は、これらの画素間で共通して、出力画素値に寄与しない。
なお、画素121aを画素121a-bとするか画素121a-sとするかは、画素毎に設定することができる。また、この設定をユニット(複数画素)毎に行うことができるようにしてもよい。
また、上述したように撮像素子121の各画素(各画素出力単位)にはオンチップレンズが1つ形成される。つまり、画素121aが図23に示される例のような構成の場合、図24に示されるように、そのフォトダイオード121f-111乃至121f-119に対して1つのオンチップレンズ121cが設けられる。したがって、図23を参照して説明したように画素121aを画素121a-bとする場合も、画素121a-sとする場合も、1画素(1画素出力単位)と1つのオンチップレンズ121cとが1対1に対応する。
<撮像素子の制限>
以上においては撮像素子121について説明した。図1の撮像装置100においては、以上のような撮像素子121を用いる。次に、この撮像素子121が撮像可能な被写体の範囲について説明する。
<被写体距離の制限>
撮像素子121は、撮像素子121の撮像面から被写体までの距離(被写体距離)が長くなるほど検出画像から撮像画像(復元画像)への変換精度が低減する。つまり、実質的に、撮像素子121には撮像可能な被写体距離の上限(撮像可能な最も遠い被写体までの距離)が存在する。そして、この上限は、撮像素子121の設計により決定されるものであり、製造後に変更することは困難であった。
上述したようにこの撮像素子121は、被写体からの光(入射光)の各画素への入射角(撮像面に対して垂直方向からの角度)の違いを利用して撮像画像(復元画像)を得る。そして、その入射角の違いをより明確に検出することができるように撮像素子121は、入射光の入射角によって変調された出力画素値を示す検出信号をそれぞれ1つ出力する複数の画素出力単位を備える。例えば、撮像素子121は、少なくとも2画素間で出力画素値の入射角指向性が互いに異なる特性となるようにするための構成を有する。つまり、撮像素子121の各画素において得られる検出信号では、この被写体からの光(入射光)の入射角の画素間の違いが表現されており、その違いを利用して連立方程式を解くことにより、撮像画像の画素値を得ることができる。換言するに、この検出信号に含まれる入射角の画素間の違いが小さいと検出画像から撮像画像(復元画像)への変換精度が低減するおそれがある。
例えば図25のAのように、撮像素子121の撮像面から被写体201までの距離(被写体距離)が短い(被写体201が近い)場合と、図25のBのように、被写体距離が長くなる(被写体201が遠い)場合とを比較すると、被写体距離が短い場合(図25のA)の場合の被写体201からの光(入射光)の入射角θ1の方が、被写体距離が遠い場合(図25のB)の場合の被写体201からの光(入射光)の入射角θ2よりも大きくなる。つまり、一般的には、被写体距離が遠くなるほど、被写体201からの光の画素間の入射角の違いが小さくなる。
したがって、一般的には、被写体距離が遠くなるほど、検出画像から撮像画像(復元画像)への変換精度が低減する。このように検出画像から撮像画像(復元画像)への変換精度が低減するとその主観画質が低減するため、変換精度が極度に低減すると実質的に変換不可能な状態となり得る。
これに対して、例えば図25のCに示されるように、被写体201と撮像素子121との間に凹レンズ211を設けると、被写体からの光は、この凹レンズ211により拡散方向に屈折し、その撮像面への入射角θ3が大きくなる。つまり、撮像素子121から見ると、被写体201がより手前の位置に移動したように見える(被写体201A)。したがって、各画素への入射光の入射角の違いが大きくなり、検出画像から撮像画像(復元画像)への変換精度を向上させることができる。換言するに、撮像素子121は、撮像可能な被写体距離の上限を超えて被写体を撮像することができる。つまり、撮像素子121の撮像可能な被写体の範囲を拡大することができる。
<角度の制限>
また、撮像素子121は、撮像可能な被写体の角度(撮像面を基準とする角度)に制限が存在する。そしてその制限は、撮像素子121の設計により決定されるものであり、製造後に変更することは困難であった。
撮像素子121の各画素には、被写体からの光が入射するが、任意の角度から入射することができるわけではなく、物理構造上、入射不可能な角度が存在する。換言するに、撮像素子121の各画素には、物理構造上、入射光の入射角に制限がある。
例えば、図26のAのように、撮像素子121の中心の画素が、撮像面に対して垂直な方向から±Xdegの範囲221の入射光を受光することができるとする。その場合、その画素は、Xdegよりも大きな角度Ydegや-Ydegからの光を受光することができない。つまり、撮像面に対して垂直な方向から±Ydegの範囲222を撮像することができない。
これに対して、例えば図26のBに示されるように、撮像素子121の光入射側に凹レンズ211を設けると、上述の撮像素子121の中心の画素からの光は、この凹レンズ211により拡散方向に屈折する。例えば、その画素から撮像面に対して垂直な方向から±Xdegの角度で出射された光が、凹レンズ211により、撮像面に対して垂直な方向から±Ydegの角度に屈折する。
換言するに、その撮像面に対して垂直な方向から±Ydegからの光が、凹レンズ211を介することにより、撮像素子121の中心の画素に入射するようになる。したがって、撮像素子121は、撮像可能な角度の範囲を超えて被写体を撮像することができるようになる。つまり、撮像素子121の撮像可能な被写体の範囲を拡大することができる。
<光学系>
図1の撮像装置100においては、撮像レンズとは異なる光学系120として、例えば以上のような凹レンズ211を撮像素子121の手前(光入射側)に設ける。したがって撮像装置100は、撮像素子121の撮像可能な範囲を超えて被写体を撮像することができる。つまり、撮像装置100は、撮像素子121の撮像可能な被写体の範囲を拡大することができる。次にこの光学系120について説明する。
<位置と曲率の設計>
以上に説明した凹レンズ211の設置位置(撮像面からの距離)や曲率によって、撮像素子121の撮像可能な被写体の範囲が決定される。換言するに、凹レンズ211の設置位置や曲率は、所望の被写体の範囲に合わせるように(どのような被写体の範囲を撮像可能とするかに応じて)設計すればよい。
一般的に、凹レンズ211の曲率が大きくなるほど、より遠くの被写体を撮像することができる(より遠くの被写体を撮像する場合の、検出画像から撮像画像(復元画像)への変換精度の低減を抑制することができる)ようになる。また、一般的に、凹レンズ211の設置位置が撮像素子121から遠くなるほど、より遠くの被写体を撮像することができる(より遠くの被写体を撮像する場合の、検出画像から撮像画像(復元画像)への変換精度の低減を抑制することができる)ようになる。
例えば、図27のAの場合、ある曲率の凹レンズ211Aがある位置に設置されている。この場合、被写体201は、撮像面からみて被写体201Aのような位置に見える。これに対して、図27のBの凹レンズ211Bの曲率は凹レンズ211Aの曲率より大きい。また、凹レンズ211Bの設置位置は凹レンズ211Aの設置位置よりも撮像素子121から遠い。
したがって、図27のBの場合、撮像素子121からみて、図27のAの場合よりも遠くの被写体201が、被写体201Aよりも近くの被写体201Bのような位置に見える。つまり、図27のBの場合の方がより遠くの被写体を撮像することができる。
<光学系の例>
以上においては、光学系120の例として凹レンズを用いて説明したが、この例に限定されない。光学系120は、負のパワーを持ち、撮像素子121に入射される入射光の入射角に対する特性を変化させるように構成されればよい。
例えば、図28のAに示されるように、光学系120が、単数の凹レンズ231により構成されるようにしてもよい。つまり、光学系120が、負のパワーを持つ単数の光学素子により構成されるようにしてもよい。また、例えば、図28のBに示されるように、レンズ232およびレンズ233により構成されるようにしてもよい。つまり、光学系120が、全体として負のパワーを持つ光学素子群(複数の光学素子)により構成されるようにしてもよい。さらに、図28のCに示されるように、光学系120が、レンズ234乃至レンズ236からなるレンズ群と、レンズ237(からなるレンズ群)とにより構成されるようにしてもよい。つまり、光学系120が、全体として負のパワーを持つように構成される、全体として正のパワーを持つ光学素子(群)、および、全体として負のパワーを持つ光学素子(群)により構成されるようにしてもよい。つまり、一部の光学素子(群)が正のパワーを持っていてもよい。
以上においては光学素子としてレンズを例に説明したが、光学系120にレンズ以外の光学素子が含まれるようにしてもよい。つまり、光学系120の構成は任意であり、全体として負のパワーを持っていればよい。
以上のように撮像装置100は、撮像レンズではない負のパワーを持つ光学系120と、撮像レンズ及びピンホールのいずれも介さずに、かつその光学系120を介して入射する入射光を受光し、前記入射光の入射角によって変調された出力画素値を示す検出信号をそれぞれ1つ出力する複数の画素出力単位を備える(例えば、その複数の画素出力単位のうちの少なくとも2つの画素出力単位の出力画素値の、その被写体からの入射光に対する入射角指向性が互いに異なる特性となるようにするための構成を有する)撮像素子121とを備えているので、この撮像素子121により光学系120を介して被写体を撮像することにより、撮像素子121の撮像可能な被写体の範囲を超えて撮像を行うことができる。つまり、撮像可能な被写体の範囲を拡大することができる。
<撮像処理の流れ>
撮像装置100は、撮像を行うために撮像処理を実行する。この撮像装置100により実行される撮像処理の流れの例を、図29のフローチャートを参照して説明する。
撮像処理が開始されると、ステップS101において、撮像素子121は、負のパワーを持つ光学系120を介して被写体を撮像し、検出画像のデータ(検出信号等)を得る。
ステップS102において、制御部101は、被写体距離を決定する。この被写体距離の決定方法は任意である。制御部101が、例えば入力部111より入力されるユーザ等からの指示(被写体距離の指定)に基づいて被写体距離を決定するようにしてもよい。また、例えば、制御部101が、撮像画角内のユーザが指定した領域に存在する被写体をセンサ部124のセンサによって測距させ、その距離情報を被写体距離とするようにしてもよい。なお、この場合の測距の方法は任意であり、センサ部124を用いない方法であってもよい。また、例えば、予め設定された情報(例えば予め設定された被写体距離を指定する情報)等に基づいて、被写体距離を決定するようにしてもよい。
ステップS103において、制御部101は、ステップS102において設定された被写体距離に基づいて、検出画像を復元画像に変換するための演算に用いられる画像復元係数を設定する。例えば式(1)の場合、この画像復元係数として、係数α1、係数β1、係数γ1が設定される。また、例えば式(2)の場合、この画像復元係数として、係数α2、係数β2、係数γ2が設定される。さらに、例えば式(3)の場合、この画像復元係数として、係数α3、係数β3、係数γ3が設定される。
ステップS104において、制御部101は、検出画像から撮像画像を復元する(復元画像を生成する)か否かを判定する。制御部101は、例えば入力部111より入力されるユーザ等からの指示や予め設定された情報(例えば撮像画像を復元するか否かの設定)等に基づいて、撮像画像を復元するか否かを判定する。復元すると判定された場合、処理はステップS105に進む。この場合、撮像素子121より読み出された検出画像のデータ(検出信号等)が復元部122に供給される。また、制御部101は、ステップS103において設定した画像復元係数を復元部122に供給する。
ステップS105において復元部122は、供給される検出画像のデータ(検出信号等)と画像復元係数とを用いて検出画像を変換し、Raw画像を生成する。復元部122は、生成したRaw画像のデータ等を、出力データとして、バス110を介して、出力部112、記憶部113、通信部114、または記録再生部115等の他の処理部に供給する。また、処理はステップS107に進む。
また、ステップS104において、撮像画像を復元しないと判定された場合、処理はステップS106に進む。この場合、撮像素子121より読み出された検出画像のデータ(検出信号等)が関連付け部123に供給される。また、制御部101は、ステップS103において設定した画像復元係数を関連付け部123に供給する。
ステップS106において関連付け部123は、供給される検出画像のデータ(検出信号等)と画像復元係数とを関連付ける。関連付け部123は、互いに関連付けたそれらの情報等を、出力データとして、バス110を介して、出力部112、記憶部113、通信部114、または記録再生部115等の他の処理部に供給する。また、処理はステップS107に進む。
ステップS107において、出力データが出力される。この出力には、任意の手法が含まれる。例えば、この出力には、画像の表示、他の装置へのデータ出力や印刷、記憶媒体への記憶、通信相手への送信、記録媒体116への記録等が含まれるようにしてもよい。
まず、Raw画像(同時化処理や色分離処理等(例えば、デモザイク処理等)が施された復元画像でもよい)を出力する場合について説明する。例えば、出力が「表示」の場合、復元部122は、Raw画像のデータ等を出力部112に供給する。出力部112は、そのRaw画像を、画像表示デバイス(例えばLCD(Liquid Crystal Display)等)に表示したり、プロジェクタから投影したりする。また、例えば、出力が「出力」の場合、復元部122は、Raw画像のデータ等を出力部112に供給する。出力部112は、そのRaw画像のデータ等を、外部出力端子から他の装置に出力する。さらに、例えば、出力が「記憶」の場合、復元部122は、Raw画像のデータ等を記憶部113に供給する。記憶部113は、そのRaw画像のデータ等を、自身が有する記憶媒体に記憶する。また、例えば、出力が「送信」の場合、復元部122は、Raw画像のデータ等を通信部114に供給する。通信部114は、所定の通信方式で他の装置と通信を行い、そのRaw画像のデータ等を、その通信相手に送信する。さらに、例えば、出力が「記録」の場合、復元部122は、Raw画像のデータ等を記録再生部115に供給する。記録再生部115は、そのRaw画像のデータ等を、自身に装着された記録媒体116に記録する。
次に、互いに関連付けられた検出画像のデータおよび画像復元係数等を出力する場合について説明する。例えば、出力が「表示」の場合、関連付け部123は、互いに関連付けられた検出画像のデータおよび画像復元係数等を出力部112に供給する。出力部112は、その検出画像のデータおよび画像復元係数等に関する画像や文字などの情報を、画像表示デバイス(例えばLCD(Liquid Crystal Display)等)に表示したり、プロジェクタから投影したりする。また、例えば、出力が「出力」の場合、関連付け部123は、互いに関連付けられた検出画像のデータおよび画像復元係数等を出力部112に供給する。出力部112は、その互いに関連付けられた検出画像のデータおよび画像復元係数等を、外部出力端子から他の装置に出力する。さらに、例えば、出力が「記憶」の場合、関連付け部123は、互いに関連付けられた検出画像のデータおよび画像復元係数等を記憶部113に供給する。記憶部113は、その互いに関連付けられた検出画像のデータおよび画像復元係数等を、自身が有する記憶媒体に記憶する。また、例えば、出力が「送信」の場合、関連付け部123は、互いに関連付けられた検出画像のデータおよび画像復元係数等を通信部114に供給する。通信部114は、所定の通信方式で他の装置と通信を行い、その互いに関連付けられた検出画像のデータおよび画像復元係数等を、その通信相手に送信する。さらに、例えば、出力が「記録」の場合、関連付け部123は、互いに関連付けられた検出画像のデータおよび画像復元係数等を記録再生部115に供給する。記録再生部115は、その互いに関連付けられた検出画像のデータおよび画像復元係数等を、自身に装着された記録媒体116に記録する。
出力データが出力されると、撮像処理が終了する。以上のように撮像処理を行うことにより、撮像素子121によって、負のパワーを持つ光学系120を介して撮像が行われるので、撮像素子121の撮像可能な被写体の範囲を超えて撮像を行うことができる。つまり、撮像可能な被写体の範囲を拡大することができる。
<信号処理部>
なお、信号処理部125(の制御部101)は、上述したように撮像処理のステップS103の処理を実行することにより、撮像素子121が負のパワーを持つ光学系120を介して撮像して得られた複数の検出信号(例えば検出画像)から復元画像を復元する際に用いられる係数(例えば復元行列)を設定することができる。したがって、上述のように撮像素子121が撮像可能な被写体の範囲を超えて撮像を行った場合であっても、信号処理部125は、適切な係数を得ることができる。つまり、そのような場合であっても適切な復元画像が得られるようになるので、撮像可能な被写体の範囲を拡大することができる。
<2.第2の実施の形態>
<光学系可変>
光学系120は可変としてもよい。例えば、光学系120の位置を可変としてもよい。ここで光学系120の位置とは、例えば、撮像素子121を基準とする相対位置であってもよい。例えば、光学系120(を構成するレンズ等)の中心の、撮像素子121の中心からの相対位置であってもよい。
例えば、図30のAに示されるように撮像素子121が、被写体241を、撮像素子121から所定の距離に位置する負のパワーを持つ光学素子242を介して撮像する場合を基準とする。これに対して図30のBのように、光学素子242の位置を両矢印243だけ撮像素子121から離すように移動させると、入射光の入射角が図30のAの場合から変化する。つまり、光学系120の位置を可変とすることにより、撮像素子121が撮像可能な被写体の位置(例えば距離や角度)の範囲を可変とすることができる。
また、例えば、光学系120の種類を可変としてもよい。ここで種類とは、光学系120の光学的特徴を分類したものである。光学的特徴とは、光学系120を構成する光学素子が有するものであり、撮像素子121が撮像可能な被写体の位置の範囲への光学的影響に寄与するものであればどのようなものであってもよい。例えば、光学素子がレンズの場合、構造、曲率、半径、反射率等をこの光学的特徴としてもよい。
つまり、光学系120の種類を変えるということは、この光学的特徴が異なる他の光学素子により構成される光学系120に変えるということである。換言するに、光学系120(を構成する光学素子)の種類を変えることにより、撮像素子121が撮像可能な被写体の位置の範囲を変えることができる。
例えば、図30のCに示されるように、光学素子242(図30のA)を、光学素子244および光学素子245からなる負のパワーを持つ光学素子群に変更することにより、入射光の入射角を図30のAの場合から変化させることができる。つまり、光学系120の種類を可変とすることにより、撮像素子121が撮像可能な被写体の位置(例えば距離や角度)の範囲を可変とすることができる。
<撮像装置>
図31は、この場合の、本技術を適用した撮像装置または画像処理装置の一実施の形態である撮像装置の主な構成例を示す図である。図31に示される撮像装置300は、被写体を撮像し、その撮像画像に関する電子データを得る装置である。撮像装置300は、基本的に撮像装置100(図1)と同様の装置であるが、撮像装置100の場合と異なり、光学系120が撮像装置300に対して着脱可能に構成される。
図31に示されるように、撮像装置300は、撮像装置100から光学系120を除いた構成と同一の構成を有する。例えば、撮像装置300は、撮像素子121を有する。また、撮像装置300は、光学系120を着脱可能な構造を有する。光学系120は、その構造を利用して撮像装置300に装着されうる。撮像装置300に装着された状態において、光学系120は、撮像素子121の前方(光入射側)に位置する。
したがって、撮像装置300は、光学系120が装着された状態において、撮像装置100の場合と同様に、撮像素子121により、負のパワーを持つ光学系120を介して撮像を行うことができる。その場合、撮像素子121が備える複数の画素出力単位は、撮像レンズ及びピンホールのいずれも介さずに、かつ、負のパワーを持つ光学系120を介して入射する被写体からの入射光を受光し、その入射光の入射角によって変調された出力画素値を示す検出信号をそれぞれ1つ出力する。なお、撮像装置300は、光学系120が装着されていない状態において、その撮像素子121により、光学系120を介さずに撮像を行うこともできる。その場合、撮像素子121が備える複数の画素出力単位は、撮像レンズ及びピンホールのいずれも介さずに(かつ光学系120も介さずに)入射する被写体からの入射光を受光し、その入射光の入射角によって変調された出力画素値を示す検出信号をそれぞれ1つ出力する。
撮像装置300には、任意の構造の光学系120を装着することができる。つまり、撮像装置300は、自身に装着する光学系120(の光学素子)が可変である。つまり、撮像装置300は、この撮像装置300に装着する光学系120(の光学素子)の位置や種類を変えることにより、撮像可能な被写体の位置(例えば距離や角度)の範囲を可変とすることができる。
ここでは、光学系120の脱着は手動(例えばユーザ等の手作業)により行われるものとする。光学系120(の光学素子)の位置や種類を変更すると、検出画像から撮像画像等への変換に用いられる画像復元係数が変化する。つまり、検出画像から撮像画像等への変換においては、光学系120の位置や種類に応じた係数を用いる必要がある。
そこで、撮像装置300では、入力部111が、ユーザ等の外部からの、撮像装置300に装着された光学系120(の光学素子)の位置や種類の指定を受け付ける。制御部101は、その指定に従って、光学系120の位置や種類に応じた係数を設定する。
なお、外部からの指定を受け付ける代わりに、センサ部124が、撮像装置300に装着された光学系120(の光学素子)の位置や種類を検出するセンサを有するようにしてもよい。この検出方法は任意である。制御部101は、このセンサの検出結果に従って、光学系120の位置や種類に応じた係数を設定する。
例えば、多様な光学系の位置や種類に応じた係数セット群を記憶部113が予め記憶しておき、制御部101は、その中から所望の(撮像装置300に装着された光学系120(の光学素子)の位置や種類に対応する)係数セットを選択して取得し、その係数セットを用いて被写体距離に応じた画像復元係数を設定する。このようにすることにより、撮像装置300は、適切な係数を用いて検出画像から撮像画像等への変換を行うことができ、より正確にこの変換を行うことができる。
なお、記憶部113が予め記憶している係数セット群は、更新することができるようにしてもよい。すなわち、出荷後に係数セット群を記憶部113に記憶させることができるようにしてもよい。また、例えば、記憶部113が代表的な光学系の位置や種類に応じた係数セット群を記憶し、制御部101が、その代表的な光学系の位置や種類に応じた係数セットを用いて補間処理等を行い、所望の係数セットを算出するようにしてもよい。また、例えば、記憶部113に係数セットを記憶させず、制御部101が所定の演算により、所望の係数セットを算出するようにしてもよい。
<撮像処理の流れ>
次に、この場合の撮像処理の流れの例を、図32のフローチャートを参照して説明する。
撮像処理が開始されると、ステップS121において、センサ部124は、撮像装置300に装着された光学系120の(の光学素子)の種類および位置(撮像素子121を基準とする相対位置)を特定する。
ステップS122において、撮像素子121は、撮像装置300に装着された、負のパワーを持つ光学系120を介して被写体を撮像し、検出画像のデータ(検出信号等)を得る。
ステップS123において、制御部101は、光学系の種類および位置に対応する係数セットを設定する。例えば、制御部101は、記憶部113に記憶されている係数セット群の中から、撮像装置300に装着された光学系120(の光学素子)の位置や種類に対応する係数セットを選択して取得する。
ステップS124において、制御部101は、被写体距離を決定する。この被写体距離の決定方法は、第1の実施の形態の場合と同様に任意である。
ステップS125において、制御部101は、ステップS123において設定された係数セットと、ステップS124において決定された被写体距離とを用いて画像復元係数を設定する。
ステップS126乃至ステップS129の各処理は、ステップS104乃至ステップS107の各処理(図29)と同様に実行される。
ステップS129において、出力データが出力されると、撮像処理が終了する。以上のように撮像処理を行うことにより、撮像素子121によって、撮像装置300に装着された負のパワーを持つ光学系120を介して撮像が行われるので、撮像素子121の撮像可能な被写体の範囲を超えて撮像を行うことができる。つまり、撮像可能な被写体の範囲を拡大することができる。また、第1の実施の形態の場合と比較して、より多様な光学系120を利用して撮像を行うことができるので、撮像可能な被写体の範囲をより拡大することができる。
<3.第3の実施の形態>
<光学系の設定機能>
なお、撮像装置300が光学系120の種類や位置を設定することができるようにしてもよい。例えば、撮像装置300が、互いに種類または位置が異なる複数の光学系120(複数の光学素子)の候補の中から、撮像条件などに応じて適切な光学系120(の光学素子)を選択し、セットするようにしてもよい。例えば、撮像装置300が、被写体距離に応じて、光学系120(の光学素子)の種類や位置を選択し、設定するようにしてもよい。
この場合、撮像装置300は、図31に示される第2の実施の形態の場合と基本的に同様の構成を有する。ただし、図示は省略するが、光学系120にも例えばバス110が接続され、制御部101によって光学系120を制御することができるようにする。
また、この場合の光学系120は、複数の光学系の候補を備え、撮像素子121の前に設置される光学系をその候補群の中から選択する。また、この場合の光学系120は、光学系120(の光学素子)の位置(撮像素子121を基準とする相対位置)の変更(つまり移動)が可能である。光学系120は、このような選択や変更を、例えば制御部101の制御に従って行う。
第1の実施の形態や第2の実施の形態の場合と同様に、制御部101が被写体距離を決定する。さらに制御部101は、その決定した被写体距離に対して適切な光学系120(の光学素子)の種類や位置を決定し、適宜、光学系120を制御する。
このようにすることにより、撮像装置300は、より多様な光学系120をより容易にセットすることができるので、第2の実施の形態の場合と比較して、より容易に、撮像可能な被写体の範囲を拡大することができる。
なお、この場合の被写体距離の決定方法は、第1の実施の形態や第2の実施の形態の場合と同様に任意である。
<撮像処理の流れ>
次に、この場合の撮像処理の流れの例を、図33のフローチャートを参照して説明する。
撮像処理が開始されると、ステップS141において、撮像装置300は、光学系設定処理を行い、光学系120として撮像装置300にセットする光学系を設定する。
ステップS142およびステップS143の各処理は、ステップS122およびステップS123の各処理と同様に実行される。
ステップS144において、制御部101は、ステップS143において設定された係数セットと、ステップS141において決定された被写体距離とを用いて画像復元係数を設定する。
ステップS145乃至ステップS148の各処理は、ステップS126乃至ステップS129の各処理(図32)と同様に実行される。
ステップS148において、出力データが出力されると、撮像処理が終了する。以上のように撮像処理を行うことにより、撮像素子121によって、撮像装置300に装着された負のパワーを持つ光学系120を介して撮像が行われるので、撮像素子121の撮像可能な被写体の範囲を超えて撮像を行うことができる。つまり、撮像可能な被写体の範囲を拡大することができる。また、第1の実施の形態の場合と比較して、より多様な光学系120を利用して撮像を行うことができるので、撮像可能な被写体の範囲をより拡大することができる。さらに、撮像装置300が、適切な位置や種類の光学系120を選択するので、第2の実施の形態の場合と比較して、より容易に、撮像可能な被写体の範囲を拡大することができる。
<光学系設定処理の流れ>
次に、図34のフローチャートを参照して、図33のステップS141において実行される光学系設定処理の流れの例を説明する。
光学系設定処理が開始されると、ステップS161において、入力部111は、例えばユーザ等の外部より、被写体距離の指定を受け付ける。
ステップS162において、制御部101は、ステップS161において受け付けられた入力により指定される被写体距離に応じて光学系の適切な種類および位置を特定する。
ステップS163において、制御部101は、撮像装置300に装着されている光学系120から、現在セットされている光学系に関する情報を取得する。この現在セットされている光学系に関する情報は、例えば、その光学系の種類や位置を示す情報も含む。
ステップS164において、制御部101は、ステップS162において特定した光学系の適切な種類および位置と、ステップS163において取得した情報とに基づいて、現在セットされている光学系の変更が必要であるか否かを判定する。
例えば、ステップS162において特定した光学系の適切な種類と、ステップS163において取得した現在セットされている光学系の種類とが一致しておらず、変更が必要であると判定された場合、処理はステップS165に進む。
ステップS165において、光学系120は、制御部101に制御されて、光学系の種類を変更する。すなわち、光学系120は、現在セットされている光学系を、ステップS162において特定された適切な光学系に変更する。
ステップS165の処理が終了すると処理はステップS166に進む。また、ステップS164において、例えば、ステップS162において特定した光学系の適切な種類と、ステップS163において取得した現在セットされている光学系の種類とが一致し、光学系の種類の変更が不要であると判定された場合、ステップS165の処理が省略され、処理はステップS166に進む。
ステップS166において、制御部101は、ステップS162において特定した光学系の適切な種類および位置と、ステップS163において取得した情報とに基づいて、現在セットされている光学系の移動が必要であるか否かを判定する。
例えば、ステップS162において特定した光学系(の光学素子)の適切な位置と、ステップS163において取得した現在セットされている光学系(の光学素子)の位置とが一致しておらず、移動が必要であると判定された場合、処理はステップS167に進む。
ステップS167において、光学系120は、制御部101に制御されて、光学系(の光学素子)の位置を変更する。すなわち、光学系120は、現在セットされている光学系(の光学素子)を、ステップS162において特定された適切な位置に移動させる。なお、この移動は、光学系120内において行われる、つまり、光学系120全体の位置は変更せず、光学系120を構成する光学素子の位置を移動させるようにしてもよいし、光学系120全体を移動させるようにしてもよい。
ステップS167の処理が終了すると光学系設定処理が終了し、処理は図33に戻る。また、図34のステップS166において、例えば、ステップS162において特定した光学系の適切な位置と、ステップS163において取得した現在セットされている光学系の位置とが一致し、光学系の移動が不要であると判定された場合、ステップS167の処理が省略され、光学系設定処理が終了し、処理は図33に戻る。
以上のように光学系設定処理を行うことにより、撮像装置300が被写体距離に応じて適切な光学系を設定することができる。これにより、より容易に、撮像可能な被写体の範囲を拡大することができる。
<光学系設定処理の流れ2>
図34においては、光学設定処理の流れの例として、被写体距離が外部より指定される場合について説明したが、これに限らず、例えば撮像装置300が被写体距離を計測するようにしてもよい。その場合の光学系設定処理の流れの例を図35のフローチャートを参照して説明する。
この場合、光学系設定処理が開始されると、ステップS181において、撮像素子121は、被写体を撮像する。この撮像において、光学系120の設定は任意である。初期化されていてもよい。
ステップS182において、制御部101は、ステップS181において撮像素子121から読み出された検出信号を取得し、それを用いて被写体距離を推定する。なお、より正確に被写体距離を推定するために、得られた推定結果を光学系120の設定に反映させ、その状態で再度撮像を行い、再度被写体距離を推定するようにしてもよい。つまり、被写体距離の推定結果を光学系120の設定に反映させながら、ステップS181およびステップS182の処理を複数回繰り返すようにしてもよい。
被写体距離が推定されると、制御部101は、ステップS183において、制御部101は、その推定された被写体距離に応じて光学系の適切な種類および位置を特定する。
ステップS184乃至ステップS188の各処理は、ステップS163乃至ステップS167の各処理と同様に実行される。
ステップS188の処理またはステップS187の処理が終了すると光学系設定処理が終了し、処理は図33に戻る。
以上のように光学系設定処理を行うことにより、撮像装置300が被写体距離に応じて適切な光学系を設定することができる。これにより、より容易に、撮像可能な被写体の範囲を拡大することができる。
<4.第4の実施の形態>
<撮像素子の他の構成例>
以上においては撮像素子121の例について説明したが、撮像素子121は、撮像レンズ及びピンホールのいずれも介さずに入射する入射光を受光し、その入射光の入射角によって変調された出力画素値を示す検出信号をそれぞれ1つ出力する複数の画素出力単位を有していればよく、その構成は任意である。
例えば、変調素子としてランダムな白黒パターンマスクまたは光干渉マスクを用いて、撮像素子121の撮像面に入射される光を白黒パターンまたは光の干渉に応じて変調してもよい。
図36は、撮像素子の他の構成を示している。撮像素子321は、撮像素子322の撮像面IPに対して所定間隔を有するように変調素子であるマスク323が撮像素子322に固定されており、被写体面OPからの光は、マスク323で変調されたのち撮像素子322の撮像面IPに入射するように構成されている。
図37は、白黒パターンマスクを用いた場合を示している。図37のAは、白黒パターンマスクを例示している。白黒パターンマスク323BWは、光を透過する白パターン部と光を遮光する黒パターン部をランダムに配置した構成であり、パターンサイズは撮像素子322の画素サイズと独立に設定されている。図37のBは点光源PAから出射された光と点光源PBから出射された光について、撮像面IPに対する照射状態を模式的に示している。また、図37のBには、白黒パターンマスク323BWを用いた場合の撮像素子の応答の例も、点光源PAから出射された光と点光源PBから出射された光について個々に模式的に示している。被写体面OPからの光は、白黒パターンマスク323BWで変調されたのち撮像素子322の撮像面IPに入射する。したがって、被写体面OPの点光源PAから出射された光に対応する撮像素子の応答はSbwaとなる。また、被写体面OPの点光源PBから出射された光に対応する撮像素子の応答はSbwbとなる。したがって、撮像素子322から出力される画素出力情報は、画素出力単位毎に各点光源の応答を合成した1画像の情報となる。この構成の場合、画素出力単位毎に独立して入射角指向性を設定することができず、近い位置の画素出力単位においては互いに近い入射角指向性を有することになる。
図38は、光干渉マスクを用いた場合を示している。図38のAに示すように、被写体面OPの点光源PA,PBから出射された光は、光干渉マスク323LFを介して撮像素子322の撮像面IPに照射される。光干渉マスク323LFの例えば光入射面には、図38のAに示すように光の波長程度の凹凸が設けられている。また、光干渉マスク323LFは、鉛直方向から照射された特定波長の光の透過が最大となる。被写体面OPの点光源PA,PBから出射された特定波長の光の光干渉マスク323LFに対する入射角の変化(鉛直方向に対する傾き)が大きくなると光路長が変化する。ここで、光路長が半波長の奇数倍であるときは光が弱めあい、半波長の偶数倍であるときは光が強めあう。すなわち、点光源PA,PBから出射されて光干渉マスク323LFを透過した特定波長の透過光の強度は、図38のBに示すように、光干渉マスク323LFに対する入射角に応じて変調されて撮像素子322の撮像面IPに入射する。したがって、撮像素子822の各出力画素単位から出力される画素出力情報は、光干渉マスク823LFを透過した各点光源の変調後の光強度を合成した情報となる。この構成の場合、画素出力単位毎に独立して入射角指向性を設定することができず、近い位置の画素出力単位においては互いに近い入射角指向性を有することになる。
なお、光学フィルタ323BWの代わりに、図39の光学フィルタ323HWを用いるようにしてもよい。光学フィルタ323HWは、互いに偏光方向が等しい直線偏光素子331Aと直線偏光素子331B、及び、1/2波長板332を備え、1/2波長板332は、直線偏光素子331Aと直線偏光素子331Bの間に挟まれている。1/2波長板332には、光学フィルタ323BWの黒パターン部の代わりに、斜線で示される偏光部が設けられ、白パターン部と偏光部がランダムに配置されている。
直線偏光素子331Aは、点光源PAから出射されたほぼ無偏光の光のうち、所定の偏光方向の光成分のみを透過する。以下、直線偏光素子331Aが、偏光方向が紙面に平行な光成分のみを透過するものとする。直線偏光素子331Aを透過した偏光光のうち、1/2波長板332の偏光部を透過した偏光光は、偏光面が回転されることにより、偏光方向が紙面に垂直な方向に変化する。一方、直線偏光素子331Aを透過した偏光光のうち、1/2波長板332の白パターン部を透過した偏光光は、偏光方向が紙面に平行な方向のまま変化しない。そして、直線偏光素子331Bは、白パターン部を透過した偏光光を透過し、偏光部を透過した偏光光をほとんど透過しない。従って、偏光部を透過した偏光光は、白パターン部を透過した偏光光より光量が減少する。これにより、光学フィルタ323BWを用いた場合とほぼ同様の濃淡のパターンが、撮像素子322の受光面(撮像面)IP上に生じる。
ただし、これらの構成の場合、撮像素子にマスク等の他の構成を付加する必要があるので、第1の実施の形態乃至第3の実施の形態において説明した構成例の撮像素子121の方が、より小型化することができる。
以上のように、本技術は、撮像素子121が、図4を参照して説明したような構成であってもよいし、図5を参照して説明したような構成であってもよいし、図36や図37を参照して説明したような構成であってもよいし、図38を参照して説明したような構成であってもよい。つまり、撮像素子121は、撮像レンズ及びピンホールのいずれも介さずに(、かつ、撮像レンズではない負のパワーを持つ光学系が前方に設けられている場合には、その光学系を介して)入射する入射光を受光し、その入射光の入射角によって変調された出力画素値を示す検出信号をそれぞれ1つ出力する複数の画素出力単位を備えるものであればよい。
また、本技術は、図4を参照して説明したような構成、または、図5を参照して説明したような構成の撮像素子121に適用することができるようにしてもよい。つまり、撮像素子121の複数の画素出力単位が、その出力画素値の、被写体からの入射光の入射角に対する指向性を示す入射角指向性を画素出力単位毎に独立に設定可能な構成を有するようにしてもよい。
また、本技術は、図4を参照して説明したような構成の撮像素子に適用することができるようにしてもよい。つまり、撮像素子121の複数の画素出力単位が、その被写体からの入射光の入射角に対する指向性を示す入射角指向性を画素出力単位毎に独立に設定可能な構成を有するようにしてもよい。
また、本技術は、図5を参照して説明したような構成の撮像素子に適用することができるようにしてもよい。つまり、撮像素子121の複数の画素出力単位が、出力に寄与するPD(Photo Diode)を互いに異ならせることで、出力画素値の、被写体からの入射光の入射角に対する指向性を示す入射角指向性を画素出力単位毎に独立に設定し得るようにしてもよい。
<撮像装置・画像処理装置の他の構成例>
以上において、撮像装置100や撮像装置300が撮像素子121を有するように説明したが、撮像装置100や撮像装置300が有する撮像素子121の数は任意である。撮像装置100や撮像装置300が、それぞれ、単数の撮像素子121を有するようにしてもよいし、複数の撮像素子121を有するようにしてもよい。また、撮像装置100や撮像装置300が複数の撮像素子121を有する場合、その複数の撮像素子121の性能(例えば画素数、形状、画素構造、撮像特性、撮像方式等)が全て統一されていてもよいし、異なるものが含まれていてもよい。
また、以上においては撮像装置100や撮像装置300が復元部122を有するように説明したが、撮像装置100や撮像装置300が有する復元部122の数は任意であり、それぞれ、単数であってもよいし、複数であってもよい。また、撮像装置100や撮像装置300が複数の復元部122を有する場合、その複数の復元部122の性能が全て統一されていてもよいし、異なるものが含まれていてもよい。また、撮像装置100や撮像装置300が、その他の処理部を複数有するようにしてもよい。
<5.その他>
<適用例>
本技術は、撮像機能を有する装置であればどのような装置にも適用することができる。また、本技術は、撮像機能により得られた画像を処理する装置やシステムであれば、どのような装置やシステムにも適用することができる。また、本技術は、例えば、交通、医療、防犯、農業、畜産業、鉱業、美容、工場、家電、気象、自然監視等、任意の分野に用いられる装置やシステムに適用することができる。
例えば、本技術は、ディジタルカメラやカメラ機能付きの携帯機器等、鑑賞の用に供される画像を取り扱う装置やシステムに適用することができる。また、本技術は、例えば監視カメラのような、防犯、監視、観測等の用途に用いられる画像を取り扱う装置やシステムに適用することもできる。また、本技術は、例えば、人物認証、画像解析、測距等の用途に用いられる画像を取り扱う装置やシステムに適用することもできる。また、本技術は、例えば自動車やロボット等の自動運転のような、機械等の制御に用いられる画像を取り扱う装置やシステムに適用することもできる。
<ソフトウエア>
上述した一連の処理は、ハードウエアにより実行させることもできるし、ソフトウエアにより実行させることもできる。また、一部の処理をハードウエアにより実行させ、他の処理をソフトウエアにより実行させることもできる。一連の処理をソフトウエアにより実行する場合には、そのソフトウエアを構成するプログラムがインストールされる。
このプログラムは、例えば、記録媒体からインストールすることができる。例えば図1の撮像装置100や図31の撮像装置300の場合、この記録媒体は、装置本体とは別に、ユーザにプログラムを配信するために配布される、プログラムが記録されている記録媒体116により構成される。その場合、例えば、記録媒体116を記録再生部115に装着することにより、その記録媒体116に記憶されているこのプログラムを読み出させ、記憶部113にインストールさせることができる。
また、このプログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供することもできる。例えば図1の撮像装置100や図31の撮像装置300の場合、プログラムは、通信部114で受信し、記憶部113にインストールすることができる。
その他、このプログラムは、記憶部やROM等に、予めインストールしておくこともできる。例えば図1の撮像装置100や図31の撮像装置300の場合、プログラムは、記憶部113や制御部101内のROM(図示せず)等に予めインストールしておくこともできる。
<補足>
本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。
例えば、本技術は、装置またはシステムを構成するあらゆる構成、例えば、システムLSI(Large Scale Integration)等としてのプロセッサ、複数のプロセッサ等を用いるモジュール、複数のモジュール等を用いるユニット、ユニットにさらにその他の機能を付加したセット等(すなわち、装置の一部の構成)として実施することもできる。
また、上述した各処理部は、任意の構成により実現することができる。例えば、回路、LSI、システムLSI、プロセッサ、モジュール、ユニット、セット、デバイス、装置、またはシステム等により構成されるようにしてもよい。また、それらを複数組み合わせるようにしてもよい。その際、例えば、複数の回路、複数のプロセッサ等のように同じ種類の構成を組み合わせるようにしてもよいし、回路とLSI等のように異なる種類の構成を組み合わせるようにしてもよい。
なお、本明細書において、システムとは、複数の構成要素(装置、モジュール(部品)等)の集合を意味し、全ての構成要素が同一筐体中にあるか否かは問わない。したがって、別個の筐体に収納され、ネットワークを介して接続されている複数の装置、及び、1つの筐体の中に複数のモジュールが収納されている1つの装置は、いずれも、システムである。
また、例えば、1つの装置(または処理部)として説明した構成を分割し、複数の装置(または処理部)として構成するようにしてもよい。逆に、以上において複数の装置(または処理部)として説明した構成をまとめて1つの装置(または処理部)として構成されるようにしてもよい。また、各装置(または各処理部)の構成に上述した以外の構成を付加するようにしてももちろんよい。さらに、システム全体としての構成や動作が実質的に同じであれば、ある装置(または処理部)の構成の一部を他の装置(または他の処理部)の構成に含めるようにしてもよい。
また、例えば、本技術は、1つの機能を、ネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成をとることができる。
また、例えば、上述したプログラムは、任意の装置において実行することができる。その場合、その装置が、必要な機能(機能ブロック等)を有し、必要な情報を得ることができるようにすればよい。
また、例えば、上述のフローチャートで説明した各ステップは、1つの装置で実行する他、複数の装置で分担して実行することができる。さらに、1つのステップに複数の処理が含まれる場合には、その1つのステップに含まれる複数の処理は、1つの装置で実行する他、複数の装置で分担して実行することができる。換言するに、1つのステップに含まれる複数の処理を、複数のステップの処理として実行することもできる。逆に、複数のステップとして説明した処理を1つのステップとしてまとめて実行することもできる。
コンピュータが実行するプログラムは、プログラムを記述するステップの処理が、本明細書で説明する順序に沿って時系列に実行されるようにしても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで個別に実行されるようにしても良い。つまり、矛盾が生じない限り、各ステップの処理が上述した順序と異なる順序で実行されるようにしてもよい。さらに、このプログラムを記述するステップの処理が、他のプログラムの処理と並列に実行されるようにしても良いし、他のプログラムの処理と組み合わせて実行されるようにしても良い。
本明細書において複数説明した本技術は、矛盾が生じない限り、それぞれ独立に単体で実施することができる。もちろん、任意の複数の本技術を併用して実施することもできる。例えば、いずれかの実施の形態において説明した本技術の一部または全部を、他の実施の形態において説明した本技術の一部または全部と組み合わせて実施することもできる。また、上述した任意の本技術の一部または全部を、上述していない他の技術と併用して実施することもできる。
本技術は以下のような構成も取ることができる。
(1) 撮像レンズではない負のパワーを持つ光学系と、
撮像レンズ及びピンホールのいずれも介さずに、かつ前記光学系を介して入射する被写体からの入射光を受光し、前記入射光の入射角によって変調された出力画素値を示す検出信号をそれぞれ1つ出力する複数の画素出力単位を備える撮像素子と
を備える撮像装置。
(2) 前記光学系は、単数の凹レンズよりなる
(1)に記載の撮像装置。
(3) 前記光学系は、全体として負のパワーを持つ複数のレンズよりなる
(1)に記載の撮像装置。
(4) 前記複数のレンズは、一部のレンズが正のパワーを持つ
(3)に記載の撮像装置。
(5) 前記光学系の前記撮像素子に対する相対位置は可変である
(1)乃至(4)のいずれかに記載の撮像装置。
(6) 前記光学系は、前記撮像装置から脱着可能である
(1)乃至(5)のいずれかに記載の撮像装置。
(7) 前記複数の画素出力単位は、前記出力画素値の、被写体からの入射光の入射角に対する指向性を示す入射角指向性を前記画素出力単位毎に独立に設定可能な構成を有する
(1)乃至(6)のいずれかに記載の撮像装置。
(8) 前記複数の画素出力単位は、被写体からの入射光の入射角に対する指向性を示す入射角指向性を前記画素出力単位毎に独立に設定可能な構成を有する
(1)乃至(6)のいずれかに記載の撮像装置。
(9) 前記複数の画素出力単位は、出力に寄与するPD(Photo Diode)を互いに異ならせることで、前記出力画素値の、被写体からの入射光の入射角に対する指向性を示す入射角指向性を前記画素出力単位毎に独立に設定し得る構成を有する
(1)乃至(6)のいずれかに記載の撮像装置。
(10) 撮像レンズ及びピンホールのいずれも介さずに、かつ、撮像レンズではない負のパワーを持つ光学系を介して入射する被写体からの入射光を受光し、前記入射光の入射角によって変調された出力画素値を示す検出信号をそれぞれ1つ出力する複数の画素出力単位を備える撮像素子により、被写体を撮像する
撮像方法。
(11) 撮像レンズ及びピンホールのいずれも介さずに、かつ、撮像レンズではない負のパワーを持つ光学系を介して入射する被写体からの入射光を受光し、前記入射光の入射角によって変調された出力画素値を示す検出信号をそれぞれ1つ出力する複数の画素出力単位を備える撮像素子の、前記複数の画素出力単位の前記出力画素値から復元画像を復元する際に用いられる係数を、前記光学系の種類および位置、並びに、前記被写体までの距離のうちの少なくともいずれか1つに応じて設定する係数設定部
を備える画像処理装置。
(12) 前記光学系の種類および位置の指定を受け付ける受付部をさらに備え、
前記係数設定部は、前記受付部により受け付けられる前記光学系の種類および位置に応じて前記係数を設定するように構成される
(11)に記載の画像処理装置。
(13) 前記光学系の種類および位置を検出する検出部をさらに備え、
前記係数設定部は、前記検出部により検出される前記光学系の種類および位置に応じて前記係数を設定するように構成される
(11)または(12)に記載の画像処理装置。
(14) 前記被写体までの距離の入力を受け付ける被写体距離受付部をさらに備え、
前記係数設定部は、前記被写体距離受付部により受け付けられる前記被写体までの距離に応じて前記係数を設定するように構成される
(11)乃至(13)のいずれかに記載の画像処理装置。
(15) 前記被写体までの距離を検出する被写体距離検出部をさらに備え、
前記係数設定部は、前記被写体距離検出部により検出される前記被写体までの距離に応じて前記係数を設定するように構成される
(11)乃至(14)のいずれかに記載の画像処理装置。
(16) 前記撮像素子の複数の画素出力単位の出力画素値と、前記係数設定部により設定される前記係数とを用いて、前記復元画像を復元する復元部をさらに備える
(11)乃至(15)のいずれかに記載の画像処理装置。
(17) 前記撮像素子の複数の画素出力単位の出力画素値を含むデータに、前記係数設定部により設定される前記係数をメタデータとして関連付ける関連付け部をさらに備える
(11)乃至(16)のいずれかに記載の画像処理装置。
(18) 前記光学系の種類および位置を設定する光学系設定部をさらに備える
(11)乃至(17)のいずれかに記載の画像処理装置。
(19) 前記光学系設定部は、前記被写体までの距離に応じて、前記光学系の種類および位置を設定するように構成される
(18)に記載の画像処理装置。
(20) 撮像レンズ及びピンホールのいずれも介さずに、かつ、撮像レンズではない負のパワーを持つ光学系を介して入射する入射光を受光し、前記入射光の入射角によって変調された出力画素値を示す検出信号をそれぞれ1つ出力する複数の画素出力単位を備える撮像素子の、前記複数の画素出力単位の前記出力画素値から復元画像を復元する際に用いられる係数を、前記光学系の種類および位置、並びに、前記被写体までの距離のうちの少なくともいずれか1つに応じて設定する
画像処理方法。