JPWO2020110594A1 - 撮像装置及び撮像方法 - Google Patents

Abstract

互いに異なる偏光方向を有する光に基づいて異なる画像を生成する場合であっても、受光される光の偏光方向が異なることを起因とした見え方の違いが抑制された画像を生成することができる撮像装置及び撮像方法を提供する。撮像装置（１）は、撮像光学系（１０）と、第１の瞳領域及び第２の瞳領域を透過する光の偏光方向を第１の偏光方向に揃える第１の偏光子と、第１の偏光方向とは異なる第２の偏光方向の光を透過させる第２の偏光子と、第１の瞳領域及び第２の瞳領域を透過する光を受光する撮像素子（１００）と、第１の画素及び第２の画素の画素信号に混信除去処理を施し、混信除去処理後の画素信号に基づいて、第１の瞳領域を透過する光に対応する第１の画像及び第２の瞳領域を透過する光に対応する第２の画像を生成する画像生成部と、を備える。

Description

本発明は、撮像装置及び撮像方法に関し、特に１つの撮像素子で複数の画像を独立に取得する撮像装置及び撮像方法に関する。

従来より、互いに異なる２つの偏光方向の光をそれぞれ異なる画素で受光し、独立した２つの画像を取得する技術が提案されている。

例えば特許文献１には、互いに異なる２つの偏光方向の光をそれぞれ異なる画素で受光し、独立した２つの画像を取得する技術が提案されている。特許文献１に記載された受光素子は偏光板の偏光子を透過した光をそれぞれ透過させる検光子アレイを備えており、受光素子が受光した異なる偏光方向の光に対応する各画像が生成される。

特開２００９−１６９０９６号公報

ここで、特許文献１に記載された技術では、互いに異なる偏光方向の光に対応する画像がそれぞれ生成されているが、偏光方向を一度も揃えることなく、偏光方向が異なる２種の光が生成されている。具体的には、特許文献１では、先ずレンズを透過した光を２種の偏光方向をそれぞれ透過させる偏光板に透過させることにより、互いに異なる偏光方向を有する２種の光が生成される。そして、互いに異なる偏光方向を有する２種の光は、それぞれ検光子を透過して受光素子により受光されている。したがって、特許文献１に記載された撮像装置では、一度も偏光方向が揃えられること無く、偏光方向が異なる２種の光が生成され、その光に基づいた各画像が生成されている。

このように、一度も偏光方向を揃えること無く生成された異なる偏光方向の光に基づいて、画像が生成される場合には以下のような問題が発生することがある。

例えば水面を撮影する際に、偏光フィルタを用いてブリュスター角で撮影することによりｓ偏光を遮蔽する技術が知られている。しかし、始めから異なる偏光方向の光を生成する場合には、一方の偏光方向はｓ偏光を遮蔽する方向に合わせることができるが、他方の偏光方向はｓ偏光を遮蔽する方向に合わせることができない。

また、分光反射率比を利用して果物の糖度を推定する技術が知られているが、一度も偏光方向を揃えることなく、異なる偏光方向の光に基づく画像が用いられると、上手く分光反射率比が算出されない場合がある。具体的には、一度も偏光方向を揃えることなく得られた、異なる偏光方向の光に基づく画像は、被写体の光沢が大きな部分に関しては、鏡面反射光の成分が大きく正しい分光反射率比が得られない。

本発明はこのような事情に鑑みてなされたもので、その目的は、互いに異なる偏光方向を有する光に基づいて異なる画像を生成する場合であっても、受光される光の偏光方向が異なることを起因とした見え方の違いが抑制された画像を生成することができる撮像装置及び撮像方法を提供することである。

上記目的を達成するための本発明の一の態様である撮像装置は、第１の瞳領域、及び第１の瞳領域とは異なる第２の瞳領域で構成される瞳領域を有する撮像光学系と、第１の瞳領域及び第２の瞳領域を透過する光の偏光方向を第１の偏光方向に揃える第１の偏光子と、第２の瞳領域を透過する第１の偏光方向に揃った光のうち、第１の偏光方向とは異なる第２の偏光方向の光を透過させる第２の偏光子と、第１の瞳領域及び第２の瞳領域を透過する光を受光する、互いに異なる偏光方向の光を受光する第１の画素と第２の画素とを一組とする画素ユニットを複数有する撮像素子と、第１の画素及び第２の画素の画素信号に混信除去処理を施し、混信除去処理後の画素信号に基づいて、第１の瞳領域を透過する光に対応する第１の画像及び第２の瞳領域を透過する光に対応する第２の画像を生成する画像生成部と、を備える。

本態様によれば、第１の偏光子により、第１の瞳領域及び第２の瞳領域を透過する光の偏光方向を第１の偏光方向に揃えられ、第２の偏光子により、第２の瞳領域を透過する第１の偏光方向に揃った光のうち、第１の偏光方向とは異なる第２の偏光方向の光を透過させる。これにより、本態様は、互いに異なる偏光方向を有する光に基づいて異なる画像を生成する場合であっても、受光される光の偏光方向が異なることを起因とした見え方の違いが抑制された画像を生成することができる。

好ましくは、撮像装置は、第１の瞳領域を透過する第１の偏光方向に揃った光のうち、第１の偏光方向及び第２の偏光方向とは異なる第３の偏光方向の光を透過させる第３の偏光子を備える。

本発明の他の態様である撮像装置は、第１の瞳領域、及び第１の瞳領域とは異なる第２の瞳領域で構成される瞳領域を有する撮像光学系と、第１の瞳領域及び第２の瞳領域を透過する光の偏光方向を第１の偏光方向に揃える第１の偏光子と、第２の瞳領域を透過する第１の偏光方向に揃った光のうち、第１の偏光方向とは異なる第２の偏光方向の光を透過させる第２の偏光子と、第１の瞳領域を透過する第１の偏光方向に揃った光のうち、第１の偏光方向とは異なり且つ第２の偏光方向とは直交する第３の偏光方向の光を透過させる第３の偏光子と、第１の瞳領域及び第２の瞳領域を透過する光を受光する、第２の偏光方向の光を受光する第１の画素と第３の偏光方向の光を受光する第２の画素とを一組とする画素ユニットを複数有する撮像素子と、第１の画素及び第２の画素の画素信号に基づいて、第１の瞳領域を透過する光に対応する第１の画像及び第２の瞳領域を透過する光に対応する第２の画像を生成する画像生成部と、を備える。

本態様によれば、第１の偏光子により、第１の瞳領域及び第２の瞳領域を透過する光の偏光方向を第１の偏光方向に揃えられ、第２の偏光子により、第２の瞳領域を透過する第１の偏光方向に揃った光のうち、第１の偏光方向とは異なる第２の偏光方向の光を透過させる。これにより、本態様は、互いに異なる偏光方向を有する光に基づいて異なる画像を生成する場合であっても、受光される光の偏光方向が異なることを起因とした見え方の違いが抑制された画像を生成することができる。また、本態様では、第２の偏光方向と第３の偏光方向とが直交し、且つ第２の偏光方向の光を受光する第１の画素と第３の偏光方向の光を受光する第２の画素とを有するので、理想的には第２の偏光方向の光と第３の偏光方向の光に対応する信号が混ざることなく混信除去処理を行う必要がない。よって、本態様は混信除去処理を行わなくても適切な第１の画像及び第２の画像を得ることができる。

好ましくは、撮像装置は、第１の瞳領域を透過する光のうち、第１の波長帯域の光を透過させる第１の波長フィルタと、第２の瞳領域を透過する光のうち、第２の波長帯域の光を透過させる第２の波長フィルタと、を備える。

本発明の他の態様である撮像装置は、第１の瞳領域、第１の瞳領域とは異なる第２の瞳領域、及び第１の瞳領域及び第２の瞳領域とは異なる第３の瞳領域で構成される瞳領域を有する撮像光学系と、第１の瞳領域、第２の瞳領域、及び第３の瞳領域を透過する光の偏光方向を第１の偏光方向に揃える第１の偏光子と、第２の瞳領域を透過する第１の偏光方向に揃った光のうち、第１の偏光方向とは異なる第２の偏光方向の光を透過させる第２の偏光子と、第３の瞳領域を透過する第１の偏光方向に揃った光のうち、第１の偏光方向及び第２の偏光方向とは異なる第３の偏光方向の光を透過させる第３の偏光子と、第１の瞳領域、第２の瞳領域、及び第３の瞳領域を透過する光を受光する、互いに異なる偏光方向の光を受光する第１の画素、第２の画素、及び第３の画素を一組とする画素ユニットを複数有する撮像素子と、第１の画素、第２の画素、及び第３の画素の画素信号に混信除去処理を施し、混信除去処理後の画素信号に基づいて、第１の瞳領域を透過する光に対応する第１の画像、第２の瞳領域を透過する光に対応する第２の画像、及び第３の瞳領域を透過する光に対応する第３の画像を生成する画像生成部と、を備える。

本態様によれば、第１の偏光子により、第１の瞳領域、第２の瞳領域、及び第３の瞳領域を透過する光の偏光方向を第１の偏光方向に揃えられ、第２の偏光子により、第２の瞳領域を透過する第１の偏光方向に揃った光のうち、第１の偏光方向とは異なる第２の偏光方向の光を透過させ、第３の偏光子により、第３の瞳領域を透過する第１の偏光方向に揃った光のうち、第１の偏光方向及び第２の偏光方向とは異なる第３の偏光方向の光を透過させる。これにより、本態様は、互いに異なる偏光方向を有する光に基づいて異なる画像を生成する場合であっても、受光される光の偏光方向が異なることを起因とした見え方の違いが抑制された画像を生成することができる。

好ましくは、撮像装置は、第１の瞳領域を透過する第１の偏光方向に揃った光のうち、第１の偏光方向、第２の偏光方向、及び第３の偏光方向とは異なる第４の偏光方向の光を透過させる第４の偏光子を備える。

好ましくは、撮像装置は、第１の瞳領域を透過する光のうち、第１の波長帯域の光を透過させる第１の波長フィルタと、第２の瞳領域を透過する光のうち、第２の波長帯域の光を透過させる第２の波長フィルタと、第３の瞳領域を透過する光のうち、第３の波長帯域の光を透過させる第３の波長フィルタと、を備える。

好ましくは、第１の偏光子は、ｓ偏光を遮光する。

好ましくは、撮像素子は、画素ユニットが偏光素子を備える画素により構成されている。

好ましくは、撮像素子は、画素を構成するフォトダイオードとマイクロレンズとの間に偏光素子を有する。

本発明の他の態様である撮像方法は、第１の瞳領域、及び第１の瞳領域とは異なる第２の瞳領域で構成される瞳領域を有する撮像光学系の、第１の瞳領域及び第２の瞳領域を透過する光の偏光方向を、第１の偏光子により、第１の偏光方向に揃えるステップと、第２の瞳領域を透過する第１の偏光方向に揃った光のうち、第１の偏光方向とは異なる第２の偏光方向の光を、第２の偏光子により、透過させるステップと、第１の瞳領域及び第２の瞳領域を透過する光を受光する、互いに異なる偏光方向の光を受光する第１の画素と第２の画素とを一組とする画素ユニットを複数有する撮像素子の、第１の画素及び第２の画素の画素信号に混信除去処理を施し、混信除去処理後の画素信号に基づいて、第１の瞳領域を透過する光に対応する第１の画像及び第２の瞳領域を透過する光に対応する第２の画像を生成するステップと、を含む。

本発明の他の態様である撮像方法は、第１の瞳領域、及び第１の瞳領域とは異なる第２の瞳領域で構成される瞳領域を有する撮像光学系の、第１の瞳領域及び第２の瞳領域を透過する光の偏光方向を、第１の偏光子により、第１の偏光方向に揃えるステップと、第２の瞳領域を透過する第１の偏光方向に揃った光のうち、第１の偏光方向とは異なる第２の偏光方向の光を、第２の偏光子により、透過させるステップと、第１の瞳領域を透過する第１の偏光方向に揃った光のうち、第１の偏光方向とは異なり且つ第２の偏光方向とは直交する第３の偏光方向の光を、第３の偏光子により、透過させるステップと、第１の瞳領域及び第２の瞳領域を透過する光を受光する、第２の偏光方向の光を受光する第１の画素と第３の偏光方向の光を受光する第２の画素とを一組とする画素ユニットを複数有する撮像素子の、第１の画素及び第２の画素の画素信号に基づいて、第１の瞳領域を透過する光に対応する第１の画像及び第２の瞳領域を透過する光に対応する第２の画像を生成するステップと、を含む。

本発明の他の態様である撮像方法は、第１の瞳領域、第１の瞳領域とは異なる第２の瞳領域、及び第１の瞳領域及び第２の瞳領域とは異なる第３の瞳領域で構成される瞳領域を有する撮像光学系の、第１の瞳領域、第２の瞳領域、及び第３の瞳領域を透過する光の偏光方向を、第１の偏光子により、第１の偏光方向に揃えるステップと、第２の瞳領域を透過する第１の偏光方向に揃った光のうち、第１の偏光方向とは異なる第２の偏光方向の光を、第２の偏光子により、透過させるステップと、第３の瞳領域を透過する第１の偏光方向に揃った光のうち、第１の偏光方向及び第２の偏光方向とは異なる第３の偏光方向の光を、第３の偏光子により、透過させるステップと、第１の瞳領域、第２の瞳領域、及び第３の瞳領域を透過する光を受光する、互いに異なる偏光方向の光を受光する第１の画素、第２の画素、及び第３の画素を一組とする画素ユニットを複数有する撮像素子の、第１の画素、第２の画素、及び第３の画素の画素信号に混信除去処理を施し、混信除去処理後の画素信号に基づいて、第１の瞳領域を透過する光に対応する第１の画像、第２の瞳領域を透過する光に対応する第２の画像、及び第３の瞳領域を透過する光に対応する第３の画像を生成するステップと、を含む。

本発明によれば、偏光を一度揃えているので、互いに異なる偏光方向を有する光に基づいて異なる画像を生成する場合であっても、受光される光の偏光方向が異なることを起因とした見え方の違いが抑制された画像を生成することができる。

図１は、撮像装置の概略構成を示す図である。 図２は、第１の偏光フィルタの概略構成を示す正面図である。 図３は、第２の偏光フィルタの概略構成を示す正面図である。 図４は、第１の偏光方向及び第２の偏光方向の一例を示す図である。 図５は、撮像素子の概略構成を示す図である。 図６は、１画素の概略構成を示す断面図である。 図７は、２種類の偏光素子の配列パターンの一例を示す図である。 図８は、偏光素子の１ユニットの構成を示す図である。 図９は、撮像素子の画素の配列の一例を示す図である。 図１０は、信号処理部の概略構成を示すブロック図である。 図１１は、画像生成の概念図である。 図１２は、行列Ａの算出の例を説明する図である。 図１３は、行列Ａの算出の例を説明する図である。 図１４は、撮像装置を使用した撮像方法の処理フローを示したフローチャートである。 図１５は、撮像装置の概略構成を示す図である。 図１６は、波長フィルタの概略構成を示す正面図である。 図１７は、撮像装置の概略構成を示す図である。 図１８は、撮像光学系の概念的な瞳領域Ｅを示す正面図である。 図１９は、第２の偏光フィルタの概略構成を示す正面図である。 図２０は、行列Ａの算出の例を説明する図である。 図２１は、行列Ａの算出の例を説明する図である。 図２２は、撮像方法の処理フローを示したフローチャートである。 図２３は、撮像装置の他の例の概略構成を示す図である。 図２４は、行列Ａの算出の例を説明する図である。 図２５は、撮像装置の他の例の概略構成を示す図である。

以下、添付図面にしたがって本発明の好ましい実施の形態について詳説する。

＜第１の実施形態＞
図１は、第１の実施形態の撮像装置１の概略構成を示す図である。本実施形態では、互いに異なる２つの偏光方向（第１の偏光方向２４及び第２の偏光方向２６）を利用して、独立な２枚の画像を取得する。

同図に示すように、本実施形態の撮像装置１は、撮像光学系１０、第１の偏光フィルタ（第１の偏光子）１２、第２の偏光フィルタ（第２の偏光子）１４、撮像素子１００及び信号処理部２００を備える。また、同図には、被写体２０で反射された自然光の偏光方向２２、第１の偏光フィルタ１２を透過した光の偏光方向である第１の偏光方向２４、及び第２の偏光フィルタ１４を透過した光の偏光方向である第２の偏光方向２６が撮像光学系１０の瞳領域Ｅと共に、それぞれ第１の偏光フィルタ１２及び第２の偏光フィルタ１４の下方に示されている。

被写体２０が反射する光は、あらゆる方向の偏光方向２２を含んでいる。この光は撮像光学系１０で捉えられる。撮像光学系１０の瞳領域Ｅは、第１の瞳領域Ｅ１及び第２の瞳領域Ｅ２で構成される。第１の瞳領域Ｅ１及び第２の瞳領域Ｅ２は、任意に決定することができる。例えば、図１に示すように、瞳領域Ｅを鉛直方向に２分割し、一方を第１の瞳領域Ｅ１とし他方を第２の瞳領域Ｅ２としてもよい。この場合には、第１の瞳領域Ｅ１を透過した光に基づく画像と、第２の瞳領域Ｅ２を透過した光に基づく画像とで視差画像を得ることができる。また例えば、瞳領域Ｅを鉛直方向に直交する水平方向に２分割し、一方を第１の瞳領域Ｅ１とし、他方を第２の瞳領域Ｅ２としてもよい。

第１の瞳領域Ｅ１及び第２の瞳領域Ｅ２を透過した光は、瞳位置又は瞳位置の近傍に設けられた第１の偏光フィルタ１２に入射し透過する。第１の偏光フィルタ１２を透過した第１の瞳領域Ｅ１及び第２の瞳領域Ｅ２を透過した光の偏光方向は第１の偏光方向２４に揃えられる。その後、瞳領域Ｅの半分の半瞳領域（第１の瞳領域Ｅ１又は第２の瞳領域Ｅ２）に設けられる第２の偏光フィルタ１４により、第２の偏光方向２６の光が透過させられる。その後、撮像素子１００により、第１の偏光方向２４の光と第２の偏光方向２６の光が受光される。

〔偏光子〕
図２は、第１の偏光フィルタ（第１の偏光子）１２の概略構成を示す正面図である。第１の偏光フィルタ１２は、図１に示すように撮像光学系１０の瞳位置又はその近傍に備えられる。そして、第１の偏光フィルタ１２は、同一方向の偏光透過軸（Ａａ）を全面に有し、第１の瞳領域Ｅ１及び第２の瞳領域Ｅ２を透過する光の偏光方向を第１の偏光方向２４に揃える。例えば第１の偏光フィルタ１２は、ｓ偏光を遮光するように偏光透過軸が設けられた偏光フィルタが用いられる。第１の偏光フィルタ１２にｓ偏光を遮光する偏光フィルタが用いられることにより、水面等の反射光により得られる複数の画像の見え方が反射光により異なることを抑制することができる。

図３は、第２の偏光フィルタ（第２の偏光子）１４の概略構成を示す正面図である。第２の偏光フィルタ１４は、第１の偏光フィルタ１２の後方（撮像素子１００側）に備えられる。そして、第２の偏光フィルタ１４は、第１の瞳領域Ｅ１、又は第２の瞳領域Ｅ２、を透過する光を透過させる偏光透過軸（Ａｂ）を有する。同図に示した場合では、第２の偏光フィルタ１４は、第２の瞳領域Ｅ２を透過する光のうち、第２の偏光方向２６の光を透過させる。また、同図に示した第２の偏光フィルタ１４は、第１の瞳領域Ｅ１に対応する部分は素抜けとなっており、そのまま第１の偏光方向２４の光を透過させる。

図４は、第１の偏光方向２４及び第２の偏光方向２６の一例を示す図である。

偏光方向は、光軸Ｌと直交するＸＹ平面において、第１の偏光フィルタ１２の偏光透過軸（Ａａ）がＸ軸と成す角度Φ（方位角）、及び第２の偏光フィルタ１４の偏光透過軸（Ａｂ）がＸ軸と成す角度Φ（方位角）によって表わされる。図４に示すように第１の偏光フィルタ１２は、その偏光透過軸ＡａとＸ軸の成す角度Φａが０°（方位角０°）の光を透過する構成とされる。すなわち、図４に示す場合では第１の偏光方向２４は０°となる。第２の偏光フィルタ１４は、その偏光透過軸ＡｂとＸ軸のなる角度Φｂが３０°（方位角３０°）の光を透過する構成とされる。すなわち、図４に示す場合では第２の偏光方向２６は３０°となる。この結果、第１の瞳領域Ｅ１を透過する光は第１の偏光方向２４を有する光となり、第２の瞳領域Ｅ２を透過する光は第２の偏光方向２６を有する光となる。

〔撮像素子〕
図５は、撮像素子１００の概略構成を示す図であり、撮像素子１００の一部を分解し、拡大して示した図である。図６は、１画素（図５の破線部）の概略構成を示す断面図である。

図５に示すように、撮像素子１００は、ピクセルアレイ層１１０、偏光素子アレイ層１２０及びマイクロレンズアレイ層１３０を有する。

ピクセルアレイ層１１０は、多数のフォトダイオード１１２を二次元的に配列して構成される。１つのフォトダイオード１１２は、１つの画素を構成する。各フォトダイオード１１２は、ｘ軸方向及びｙ軸方向に沿って規則的に配置される。

偏光素子アレイ層１２０は、ピクセルアレイ層１１０とマイクロレンズアレイ層１３０との間に備えられる。偏光素子アレイ層１２０は、異なる２種類の偏光素子１２２Ａ及び１２２Ｂを二次元的に配列して構成される。各偏光素子１２２Ａ及び１２２Ｂは、フォトダイオード１１２と同じ間隔で配置され、画素ごとに備えられる。したがって、１つのフォトダイオード１１２には、２種類の偏光素子１２２Ａ、１２２Ｂのうちいずれか１つが備えられる。

図７は、２種類の偏光素子の配列パターンの一例を示す図である。

同図に示すように、２種類の偏光素子１２２Ａ及び１２２Ｂは、ｘ軸方向及びｙ軸方向に沿って、所定の順序で規則的に配列される。

図７に示す例では、第１の偏光素子１２２Ａ、第２の偏光素子１２２Ｂの順で繰り返し配置される行と、第２の偏光素子１２２Ｂ、第１の偏光素子１２２Ａの順で繰り返し配置される行とを交互に配置して、第１の偏光素子１２２Ａ及び第２の偏光素子１２２Ｂを所定のパターンで規則的に配列している。このように配列される第１の偏光素子１２２Ａ及び第２の偏光素子１２２Ｂは、２種類の偏光素子（第１の偏光素子１２２Ａ及び第２の偏光素子１２２Ｂ）を１つずつ含んだ２個一組の偏光素子が１つのユニットを構成し、このユニットが、ｘ軸方向及びｙ軸方向に沿って、規則的に配列される。

図８は、偏光素子の１ユニットの構成を示す図である。

同図に示すように、１ユニットＵは、第１の偏光素子１２２Ａ及び第２の偏光素子１２２Ｂを１つずつ含んで構成される。

上記のように、第１の偏光素子１２２Ａ及び第２の偏光素子１２２Ｂは、互いに偏光方向が異なる。本実施形態では、第１の偏光素子１２２Ａは、方位角＋０°の光を透過する構成とされる。第２の偏光素子１２２Ｂは、方位角＋４５°の光が透過する構成とされる。したがって、第１の偏光素子１２２Ａが備えられたフォトダイオード１１２は、方位角＋０°の光（直線偏光）を受光する。第２の偏光素子１２２Ｂが備えられたフォトダイオード１１２は、方位角＋４５°の光（直線偏光）を受光する。

マイクロレンズアレイ層１３０は、多数のマイクロレンズ１３２を二次元的に配列して構成される。各マイクロレンズ１３２は、フォトダイオード１１２と同じ間隔で配置され、１画素ごとに備えられる。マイクロレンズ１３２は、撮像光学系１０からの光をフォトダイオード１１２に効率よく集光させる目的で備えられる。

図９は、撮像素子１００の画素の配列の一例を示す図である。

各画素には、第１の偏光素子１２２Ａ又は第２の偏光素子１２２Ｂが備えられる。第１の偏光素子１２２Ａが備えられた画素（図中Ａの画像）を第１の画素１０２Ａ、第２の偏光素子１２２Ｂが備えられた画素（図中Ｂの画像）を第２の画素１０２Ｂとする。撮像素子１００は、第１の画素１０２Ａ及び第２の画素１０２Ｂを１つずつ含んだ２個一組の画素を１つのユニットとし、このユニットを複数有する。この２個一組の画素のユニットを画素ユニットＵ（ｘ，ｙ）とする。図９に示すように、画素ユニットＵ（ｘ，ｙ）は、ｘ軸方向及びｙ軸方向に沿って、規則的に配列される。

〔信号処理部〕
信号処理部２００は、撮像素子１００から出力される信号を処理して、第１の瞳領域Ｅ１を透過した光に対応する第１の画像、及び第２の瞳領域Ｅ２を透過した光に対応する第２の画像を生成する。

図１０は、信号処理部２００の概略構成を示すブロック図である。

同図に示すように、信号処理部２００は、アナログ信号処理部２００Ａ、画像生成部２００Ｂ、及び係数記憶部２００Ｃを含む。

アナログ信号処理部２００Ａは、撮像素子１００の各画素から出力されるアナログの画素信号を取り込み、所定の信号処理（例えば、相関二重サンプリング処理、増幅処理等）を施した後、デジタル信号に変換して出力する。

画像生成部２００Ｂは、デジタル信号に変換後の画素信号に所定の信号処理を施して、第１の瞳領域Ｅ１を透過した光、第２の瞳領域Ｅ２を透過した光に対応した画像を生成する。

図１１は、画像生成の概念図である。

各画素ユニットＵ（ｘ，ｙ）には、第１の画素１０２Ａ及び第２の画素１０２Ｂが１つずつ含まれる。したがって、各画素ユニットＵ（ｘ，ｙ）から第１の画素１０２Ａ及び第２の画素１０２Ｂの画素信号を分離して抽出することにより、２つの画像（第１の画像及び第２の画像）が生成される。すなわち、各画素ユニットＵ（ｘ，ｙ）の第１の画素１０２Ａから画素信号を抽出して構成される第１の画像と、各画素ユニットＵ（ｘ，ｙ）の第２の画素１０２Ｂの画素信号を抽出して構成される第２の画像が生成される。

ところで、上記のように、第１の画素１０２Ａで受光される光は、第１の偏光方向２４の光（第１の瞳領域Ｅ１を透過した光）及び第２の偏光方向２６の光（第２の瞳領域Ｅ２を透過した光）が含まれる。また、第２の画素１０２Ｂで受光される光は、第１の偏光方向２４の光（第１の瞳領域Ｅ１を透過した光）及び第２の偏光方向２６の光（第２の瞳領域Ｅ２を透過した光）が含まれる。すなわち、第１の画素１０２Ａ及び第２の画素１０２Ｂにおいては、第１の偏光方向２４の光と第２の偏光方向２６の光とが混信して入射される。

このため、画像生成部２００Ｂは、混信（クロストーク）を除去する処理（混信除去処理）を行って、第１の瞳領域Ｅ１を透過する光に対応する第１の画像、及び第２の瞳領域Ｅ２を透過する光に対応する第２の画像を生成する。混信除去処理は、次のように行われる。

いま、第１の画素１０２Ａで得られる画素信号（信号値）をｘ１、第２の画素１０２Ｂで得られる画素信号をｘ２とする。各画素ユニットＵ（ｘ，ｙ）からは、２個の画素信号ｘ１、ｘ２が得られる。画像生成部２００Ｂは、この２個の画素信号ｘ１、ｘ２から、行列Ａを用いた下記の式１によって、第１の偏光方向２４、第２の偏光方向２６に対応した画素信号Ｘ１、Ｘ２を算出し、混信を除去する。

以下、上記式１によって、第１の偏光方向２４の光、第２の偏光方向２６の光に対応する画像の画素信号Ｘ１、Ｘ２を算出できる理由、すなわち、混信を除去できる理由について説明する。

第１の瞳領域Ｅ１及び第２の瞳領域Ｅ２を透過した光が、第１の画素１０２Ａ及び第２の画素１０２Ｂで受光される割合（混信量（混信比率ともいう））は、偏光方向（第１の偏光方向２４及び第２の偏光方向２６）と、第１の画素１０２Ａ、第２の１０２Ｂに備えられた第１の偏光素子１２２Ａ及び第２の偏光素子１２２Ｂの偏光方向との関係から一意に定まる。

いま、第１の偏光方向２４の光が第１の画素１０２Ａで受光される割合をｂ１１、第２の偏光方向２６の光が第１の画素１０２Ａで受光される割合をｂ１２とすると、Ｘ１、Ｘ２、とｘ１との間には、次の関係が成り立つ。

ｂ１１＊Ｘ１＋ｂ１２＊Ｘ２＝ｘ１…（式２）
また、第１の偏光方向２４の光が第２の画素１０２Ｂで受光される割合をｂ２１、第２の偏光方向２６の光が第２の画素１０２Ｂで受光される割合をｂ２２とすると、Ｘ１、Ｘ２とｘ２との間には、次の関係が成り立つ。

ｂ２１＊Ｘ１＋ｂ２２＊Ｘ２＝ｘ２…（式３）
Ｘ１及びＸ２について、式２及び式３の連立方程式を解くことで、元の画像の画素信号、すなわち、第１の偏光方向２４の光の画像、第２の偏光方向２６の光の画像の画素信号Ｘ１、Ｘ２を取得できる。

ここで、上記の連立方程式は、行列Ｂを用いた下記の式４で表わすことができる。

Ｘ１、Ｘ２は、両辺に行列Ｂの逆行列Ｂ^−１をかけることで算出される。

このように、第１の瞳領域Ｅ１を透過する光で得られる画像の画素信号Ｘ１、第２の瞳領域Ｅ２を透過する光で得られる画像の画素信号Ｘ２は、第１の偏光方向２４の光、第２の偏光方向２６の光が第１の画素１０２Ａ、及び第２の画素１０２Ｂで受光される量に基づいて、第１の画素１０２Ａ、第２の画素１０２Ｂの画素信号ｘ１、ｘ２から算出できる。

上記式１における行列Ａは、行列Ｂの逆行列Ｂ^−１である（Ａ＝Ｂ^−１）。したがって、行列Ａの各要素ａｉｊ（ｉ＝１、２；ｊ＝１、２）は、行列Ｂの逆行列Ｂ^−１を求めることで取得できる。行列Ｂの各要素ｂｉｊ（ｉ＝１、２；ｊ＝１、２）は、第１の偏光方向２４の光及び第２の偏光方向２６の光が第１の画素１０２Ａ及び第２の画素１０２Ｂで受光される量（混信量）である。

すなわち、１行目の要素ｂ１１は、第１の偏光方向２４の光が第１の画素１０２Ａで受光される量（混信量）、要素ｂ１２は、第２の偏光方向２６の光が第１の画素１０２Ａで受光される量である。

また、２行目の要素ｂ２１は、第１の偏光方向２４の光が第２の画素１０２Ｂで受光される量、要素ｂ２２は、第２の偏光方向２６の光が第２の画素１０２Ｂで受光される量である。この行列Ｂの逆行列Ｂ^−１は存在する。したがって、行列Ｂの逆行列Ｂ^−１を求めることで、行列Ａの各要素を求めることができる。

第１の瞳領域Ｅ１を透過した光と第２の瞳領域Ｅ２を透過した光が各画素１０２Ａ及び１０２Ｂで受光される割合（混信量）については、第１の瞳領域Ｅ１を透過した光と第２の瞳領域Ｅ２を透過した光の偏光方向と第１の画素１０２Ａ及び第２の画素１０２Ｂで受光される光の偏光方向の角度差の余弦（ｃｏｓ）の二乗によって求められる。したがって、たとえば、第１の瞳領域Ｅ１（又は第２の瞳領域Ｅ２）を透過した光（直線偏光）の偏光方向（方位角）をα、第ｉ画素で受光される光の偏光方向（方位角）をβとすると、割合は、ｃｏｓ^２（｜α−β｜）で算出される。

図１２から図１３は、上述した行列Ａの算出の例を説明する図である。図１２から図１３では、第１の瞳領域Ｅ１を透過する光の第１の偏光方向２４、及び第２の瞳領域Ｅ２を通過する光の第２の偏光方向２６が示されている（（Ａ）で図示）。また、図１２から図１３では、第１の偏光素子１２２Ａ及び第２の偏光素子１２２Ｂの偏光方向が示されている（（Ｂ）で図示）。

図１２に示す場合では、第１の瞳領域Ｅ１を透過する光は撮像素子１００に偏光方向３０°を有して直線偏光として入射し、第２の瞳領域Ｅ２を透過する光は撮像素子１００に偏光方向９０°を有して直線偏光として入射する。また、第１の偏光素子１２２Ａは偏光方向０°の光を透過し、第２の偏光素子１２２Ｂは偏光方向４５°の光を透過する。

したがって、この場合上述した行列Ｂの各要素は、ｂ１１＝０．７５００、ｂ１２＝０．００００、ｂ２１＝０．９３３０、ｂ２２＝０．５０００となる。

この行列Ｂの逆行列Ｂ^−１（行列Ａ）は存在し、その各要素は、ａ１１＝１．３３３３、ａ１２＝０、ａ２１＝−２．４８８０、ａ２２＝２．００００となる。

係数記憶部２００Ｃは、この行列Ｂの逆行列Ｂ^−１として求めた２行２列の行列Ａの各要素を係数群として記憶する。係数記憶部２００Ｃは、記憶部の一例である。

図１３に示す場合では、第１の瞳領域Ｅ１を透過する光は撮像素子１００に偏光方向３０°を有して直線偏光として入射し、第２の瞳領域Ｅ２を透過する光は撮像素子１００に偏光方向９０°を有して直線偏光として入射する。また、第１の偏光素子１２２Ａは偏光方向６０°の光を透過し、第２の偏光素子１２２Ｂは偏光方向１３５°の光を透過する。

したがって、この場合上述した行列Ｂの各要素は、ｂ１１＝０．７５００、ｂ１２＝０．７５００、ｂ２１＝０．０６７０、ｂ２２＝０．５０００となる。

この行列Ｂの逆行列Ｂ^−１（行列Ａ）は存在し、その各要素は、ａ１１＝１．５３９６、ａ１２＝−２．３０９４、ａ２１＝−０．２０６３、ａ２２＝２．３０９４となる。

係数記憶部２００Ｃは、この行列Ｂの逆行列Ｂ^−１として求めた２行２列の行列Ａの各要素を係数群として記憶する。係数記憶部２００Ｃは、記憶部の一例である。

図１４は、撮像装置１を使用した撮像方法の処理フローを示したフローチャートである。

先ず、第１の偏光フィルタ１２により、第１の瞳領域Ｅ１及び第２の瞳領域Ｅ２を透過する光の偏光方向を第１の偏光方向２４に揃える（ステップＳ１０）。次に、第２の瞳領域Ｅ２を透過した光のうち、第２の偏光フィルタ１４により、第２の偏光方向２６の光が透過させられる（ステップＳ１１）。その後、第１の瞳領域Ｅ１を透過した光及び第２の瞳領域Ｅ２を透過した光を、第１の画素１０２Ａ及び第２の画素１０２Ｂにより受光する（ステップＳ１２）。そして、画像生成部２００Ｂは、第１の画素１０２Ａ及び第２の画素１０２Ｂから得られた画素信号に対して混信除去処理を行う（ステップＳ１３）。次に、画像生成部２００Ｂは、混信除去処理後の第１の画素１０２Ａの画素信号及び第２の画素１０２Ｂの画素信号に基づいて第１の画像及び第２の画像を生成する（ステップＳ１４）。

以上で説明した本実施形態によれば、互いに異なる２種の偏光方向を有する光に基づいて異なる２つの画像を生成する場合であっても、一度第１の偏光フィルタ１２により瞳領域Ｅの偏光が揃えられるので、受光される光の偏光方向が異なることを起因とした見え方の違いが抑制された画像を生成することができる。

＜第２の実施形態＞
次に、本発明の第２の実施形態に関して説明する。本実施形態では、波長フィルタ（バンドパスフィルタ）４０を備え、各波長帯域の画像を独立に得ることができる。

図１５は、本実施形態の撮像装置１の概略構成を示す図である。なお、図１で既に説明を行った箇所は、同じ符号を付し説明は省略する。

同図に示すように、本実施形態の撮像装置１は、撮像光学系１０、第１の偏光フィルタ１２、波長フィルタ４０、第２の偏光フィルタ１４、撮像素子１００及び信号処理部２００を備える。なお、波長フィルタ４０を設ける位置は、図示するように第１の偏光フィルタ１２と第２の偏光フィルタ１４との間に限定されるものではなく、第１の瞳領域Ｅ１を透過する光と第２の瞳領域Ｅ２を透過する光とを適切に入射させることができる位置であれば特に限定されるものではない。波長フィルタ４０を透過した光は、第１の瞳領域Ｅ１と第２の瞳領域Ｅ２とで異なる波長帯域の光となる（波長フィルタ４０の下方に図示）。

図１６は、波長フィルタ４０の概略構成を示す正面図である。

波長フィルタ４０は、例えば第１の瞳領域Ｅ１と第２の瞳領域Ｅ２とで異なる波長帯域の光を透過させる。具体的には、第１の瞳領域Ｅ１に対応する領域４４と、第２の瞳領域Ｅ２に対応する領域４６とでは異なる波長帯域の光を透過させる。このような波長フィルタ４０を備えることにより、第１の瞳領域Ｅ１を透過する光に対応する第１の画像は、領域４４で透過した波長帯域（第１の波長帯域）の光に基づく画像となり、第２の瞳領域Ｅ２を透過する光に対応する第２の画像は、領域４６で透過した波長帯域（第２の波長帯域）の光に基づく画像となる。なお、図１６では撮像光学系１０の瞳領域Ｅが、第１の瞳領域Ｅ１及び第２の瞳領域Ｅ２に２分割される場合の波長フィルタ４０の例を示しており、波長フィルタ４０は第１の波長フィルタ（第１の波長帯域）及び第２の波長フィルタ（第２の波長帯域）を一体的に備える。後で説明する撮像光学系１０の瞳領域Ｅが、第１の瞳領域Ｅ１、第２の瞳領域Ｅ２、及び第３の瞳領域Ｅ３に分割される場合（第３の実施形態）には、３つの異なる波長帯域（第１の波長帯域、第２の波長帯域、及び第３の波長帯域）を透過させる波長フィルタ４０が使用される。また、第１の波長フィルタ、第２の波長フィルタ、及び第３の波長フィルタを一体的に備える波長フィルタ４０が使用されてもよいし、第１の波長フィルタ、第２の波長フィルタ、及び第３の波長フィルタがそれぞれ別体として設けられてもよい。このようにして得られた複数の波長帯域の画像は、分光反射率比を利用して果実の糖度検査、食物の生育検査、水質検査等に好適に応用される。

以上で説明した本実施形態によれば、異なる波長帯域の画像を独立に生成することができ、且つ受光される光の偏光方向が異なることを起因とした見え方の違いが抑制された画像を生成することができる。

＜第３の実施形態＞
次に、本発明の第３の実施形態に関して説明する。本実施形態では、互いに異なる３つの偏光方向（第１の偏光方向２４、第２の偏光方向２６、第３の偏光方向２８）を利用して、独立に３枚の画像を取得する。

図１７は、第３の実施形態の撮像装置１の概略構成を示す図である。なお、図１及び図１５で既に説明を行った箇所は、同じ符号を付し説明を省略する。

同図に示すように、本実施形態の撮像装置１は、撮像光学系１０、第１の偏光フィルタ１２、波長フィルタ４０、第２の偏光フィルタ１４、撮像素子１００、及び信号処理部２００を備える。また、同図には、被写体２０で反射された自然光の偏光方向２２、第１の偏光フィルタ１２を透過した光の偏光方向である第１の偏光方向２４、及び第２の偏光フィルタ１４を透過した光の偏光方向である第２の偏光方向２６と第３の偏光方向２８が示されている。なお、互いに異なる３つの偏光方向を利用して独立に３枚の画像を取得する場合にも、上記で説明した２枚の画像を取得する場合の手法を適用して混信除去処理及び画像生成が同様に行われる。

図１８は、撮像光学系１０の概念的な瞳領域Ｅを示す正面図である。

本実施形態の瞳領域Ｅは、第１の瞳領域Ｅ１、第２の瞳領域Ｅ２、及び第３の瞳領域Ｅ３で構成されている。例えば、第１の瞳領域Ｅ１、第２の瞳領域Ｅ２、及び第３の瞳領域Ｅ３は、瞳領域Ｅを角度１２０°で３等分した領域である。

図１９は、本実施形態の第２の偏光フィルタ（第２の偏光子及び第３の偏光子を備える）１４の概略構成を示す正面図である。

第２の偏光フィルタ１４は、第１の瞳領域Ｅ１、第２の瞳領域Ｅ２、及び第３の瞳領域Ｅ３においてそれぞれ異なる機能を有する。第２の偏光フィルタ１４は、第１の瞳領域Ｅ１に対応する領域では、素抜け部分となっており、そのまま第１の偏光方向２４の光が透過する。第２の偏光フィルタ１４は第２の瞳領域Ｅ２に対応する領域では第２の偏光子の機能を有し、第３の瞳領域Ｅ３に対応する領域では第３の偏光子の機能を有する。そして、第２の瞳領域Ｅ２に備えられた第２の偏光子により、第２の瞳領域Ｅ２を透過する第１の偏光方向２４に揃った光のうち、第１の偏光方向２４とは異なる第２の偏光方向２６の光を透過させる。また第３の瞳領域Ｅ３に備えられた第３の偏光子により、第３の瞳領域Ｅ３を透過する第１の偏光方向２４に揃った光のうち、第１の偏光方向２４及び第２の偏光方向２６とは異なる第３の偏光方向２８の光を透過させる。なお、図１９で示す例では、一つの偏光フィルタに第２の偏光子及び第３の偏光子の機能を持たせているが、これに限定されるものではない。第２の偏光子の機能を有するフィルタ、及び第３の偏光子の機能を有するフィルタをそれぞれ設けてもよい。

図２０から図２１は、上述した行列Ａの算出の例を説明する図である。図２０から図２１では、第１の瞳領域Ｅ１を透過する光の第１の偏光方向２４、第２の瞳領域Ｅ２を通過する光の第２の偏光方向２６、及び第３の瞳領域Ｅ３を通過する光の第３の偏光方向２８が示されている（（Ａ）で図示）。また、図２０から図２１では、第１の偏光素子１２２Ａ、第２の偏光素子１２２Ｂ、及び第３の偏光素子１２２Ｃの偏光方向が示されている（（Ｂ）で図示）。なお、本実施形態での撮像素子１００は、第１の瞳領域Ｅ１、第２の瞳領域Ｅ２、及び第３の瞳領域Ｅ３を透過する光を受光する、互いに異なる偏光方向の光を受光する第１の画素、第２の画素、及び第３の画素を一組とする画素ユニットを複数有する。

図２０に示す場合では、第１の瞳領域Ｅ１を透過する光は撮像素子１００に偏光方向３０°を有して直線偏光として入射し、第２の瞳領域Ｅ２を透過する光は撮像素子１００に偏光方向９０°を有して直線偏光として入射し、第３の瞳領域Ｅ３を透過する光は撮像素子１００に偏光方向１５０°を有して直線偏光として入射する。また、第１の偏光素子１２２Ａは偏光方向０°の光を透過し、第２の偏光素子１２２Ｂは偏光方向４５°の光を透過し、第３の偏光素子１２２Ｃは偏光方向９０°の光を透過する。

したがって、この場合上述した行列Ｂの各要素は、ｂ１１＝０．７５００、ｂ１２＝０．００００、ｂ１３＝０．７５００、ｂ２１＝０．９３３０、ｂ２２＝０．５０００、ｂ２３＝０．０６７０、ｂ３１＝０．２５００、ｂ３２＝１．００００、ｂ３３＝０．２５００となる。

この行列Ｂの逆行列Ｂ^−１（行列Ａ）は存在し、その各要素は、ａ１１＝０．０８９３、ａ１２＝１．１５４７、ａ１３＝−０．５７７４、ａ２１＝−０．３３３３、ａ２２＝０．００００、ａ２３＝１．００００、ａ３１＝１．２４４０、ａ３２＝−１．１５４７、ａ３３＝０．５７７４となる。

図２１に示す場合では、第１の瞳領域Ｅ１を透過する光は撮像素子１００に偏光方向３０°を有して直線偏光として入射し、第２の瞳領域Ｅ２を透過する光は撮像素子１００に偏光方向９０°を有して直線偏光として入射し、第３の瞳領域Ｅ３を透過する光は撮像素子１００に偏光方向１５０°を有して直線偏光として入射する。また、第１の偏光素子１２２Ａは偏光方向６０°の光を透過し、第２の偏光素子１２２Ｂは偏光方向１５０°の光を透過し、第３の偏光素子１２２Ｃは偏光方向１０５°の光を透過する。

したがって、この場合上述した行列Ｂの各要素は、ｂ１１＝０．７５００、ｂ１２＝０．７５００、ｂ１３＝０．００００、ｂ２１＝０．２５００、ｂ２２＝０．２５００、ｂ２３＝１．００００、ｂ３１＝０．０６７０、ｂ３２＝０．９３３０、ｂ３３＝０．５０００となる。

この行列Ｂの逆行列Ｂ^−１（行列Ａ）は存在し、その各要素は、ａ１１＝１．２４４０、ａ１２＝０．５７７４、ａ１３＝−１．１５４７、ａ２１＝０．０８９３、ａ２２＝−０．５７７４、ａ２３＝１．１５４７、ａ３１＝−０．３３３３、ａ３２＝１．００００、ａ３３＝０．００００となる。

図２２は、撮像装置１を使用した撮像方法の処理フローを示したフローチャートである。

先ず、第１の偏光フィルタ１２により、第１の瞳領域Ｅ１、第２の瞳領域Ｅ２、及び第３の瞳領域Ｅ３を透過する光の偏光方向を第１の偏光方向２４に揃える（ステップＳ２０）。次に、第２の瞳領域Ｅ２を透過した光のうち、第２の偏光フィルタ１４により第２の偏光方向２６の光を透過させ、また、第３の瞳領域Ｅ３を透過した光のうち、第２の偏光フィルタ１４により第３の偏光方向２８の光を透過させる（ステップＳ２１）。その後、撮像素子１００により、第１の瞳領域Ｅ１を透過した光、第２の瞳領域Ｅ２を透過した光、及び第３の瞳領域Ｅ３を透過した光を受光する（ステップＳ２２）。その後、画像生成部２００Ｂは混信除去処理を行う（ステップＳ２３）。そして、画像生成部２００Ｂは、第１の画像、第２の画像、及び第３の画像を生成する（ステップＳ２４）。

以上で説明した本実施形態によれば、互いに異なる３種の偏光方向を有する光に基づいて独立に３つの画像を生成する場合であっても、一度第１の偏光フィルタ１２により瞳領域Ｅの偏光が揃えられるので、受光される光の偏光方向が異なることを起因とした見え方の違いが抑制された画像を生成することができる。

＜第４の実施形態＞
次に、本発明の第４の実施形態に関して説明する。本実施形態では、第１の偏光フィルタ１２を透過して第１の瞳領域Ｅ１及び第２の瞳領域Ｅ２を透過する光、又は、第１の偏光フィルタ１２を透過して第１の瞳領域Ｅ１、第２の瞳領域Ｅ２、及び第３の瞳領域Ｅ３を透過する光を各偏光子により透過させる。

図２３は、本実施形態の撮像装置１の他の例の概略構成を示す図である。なお、図１で既に説明を行った箇所は同じ符号を付し説明は省略する。

第２の偏光フィルタ１４は、素抜け部分を有さず、第２の偏光子及び第３の偏光子の機能を有する。第２の偏光フィルタ１４における第２の偏光子は、第１の瞳領域Ｅ１を透過した第１の偏光方向２４を有する光のうち、第２の偏光方向２６の光を透過させる。また、第２の偏光フィルタ１４における第３の偏光子は、第２の瞳領域Ｅ２を透過した第１の偏光方向２４を有する光のうち、第３の偏光方向２８の光を透過させる。すなわち、本例の第２の偏光フィルタ１４は、素抜け部分を有さず、第１の瞳領域Ｅ１及び第２の瞳領域Ｅ２を透過するそれぞれの光を偏光させる。なお第２の偏光子と第３の偏光子とは単一の偏光フィルタに備えられても良いし、別々の偏光フィルタに備えられてもよい。

このように、第２の偏光フィルタ１４に第２の旋光子及び第３の旋光子の機能を設けることにより、以下に示すように第２の偏光方向２６と第３の偏光を直交させることができる。

図２４は、第２の偏光方向２６と第３の偏光を直交させた場合の上述した行列Ａの算出の例を説明する図である。なお、図２０及び図２１で既に説明を行った箇所は同じ符号を付し説明は省略する。図２４に示す場合では、第１の瞳領域Ｅ１を透過する光は撮像素子１００に偏光方向４５°を有して直線偏光として入射し、第２の瞳領域Ｅ２を透過する光は撮像素子１００に偏光方向１３５°を有して直線偏光として入射する。また、第１の偏光素子１２２Ａは偏光方向４５°の光を透過し、第２の偏光素子１２２Ｂは偏光方向１３５°の光を透過する。図２４に示した場合では、第１の瞳領域Ｅ１を透過する光が有する偏光方向（第２の偏光方向２６）と第２の瞳領域Ｅ２を透過する光が有する偏光方向（第３の偏光方向２８）が直交する場合である。また、第１の瞳領域Ｅ１を透過する光が有する偏光方向（第２の偏光方向２６）と第１の偏光素子１２２Ａの偏光方向が同じであり、第２の瞳領域Ｅ２を透過する光が有する偏光方向（第３の偏光方向２８）と第２の偏光素子１２２Ｂの偏光方向が同じである。

したがって、この場合上述した行列Ｂの各要素は、ｂ１１＝１．００００、ｂ１２＝０．００００、ｂ２１＝０．００００、ｂ２２＝１．００００となる。

すなわちこの場合には、理想的に混信が起こらない場合である。このように、混信が起こらない場合には、混信除去処理を行わずに、第１の画素１０２Ａ及び第２の画素１０２Ｂから得られる信号から各画像を生成することができる。すなわち、第１の瞳領域Ｅ１の画素信号Ｘ１は第１の画素１０２Ａの画素信号ｘ１であり、第２の瞳領域Ｅ２の画素信号Ｘ２は第１の画素１０２Ａの画素信号ｘ２である。

図２５は、本実施形態の撮像装置１の他の例の概略構成を示す図である。なお、図１７で既に説明を行った箇所は同じ符号を付し説明は省略する。

第２の偏光フィルタ１４は、素抜け部分を有さず、第２の偏光子、第３の偏光子、第４の偏光子の機能を有する。第２の偏光フィルタ１４の第２の偏光子は、第１の瞳領域Ｅ１を透過した第１の偏光方向２４を有する光のうち、第２の偏光方向２６を有する光を透過させる。また、第２の偏光フィルタ１４の第３の偏光子は、第２の瞳領域Ｅ２を透過した第１の偏光方向２４を有する光のうち、第３の偏光方向２８を有する光を透過させる。また、第２の偏光フィルタ１４の第４の偏光子は、第３の瞳領域Ｅ３を透過した第１の偏光方向２４を有する光のうち、第４の偏光方向３０を有する光を透過させる。すなわち、本例の第２の偏光フィルタ１４は、素抜け部分を有さず、第１の瞳領域Ｅ１、第２の瞳領域Ｅ２、第３の瞳領域Ｅ３を透過するするそれぞれの光を偏光させる。なお第２の偏光子、第３の偏光子、及び第４の偏光子は単一の偏光フィルタに備えられても良いし、別々の偏光フィルタに備えられてもよい。

以上で説明した本実施形態によれば、第１の偏光フィルタ１２で揃えられた偏光方向に限定されずに、様々な偏光方向の光に基づいて画像を生成することができ、且つ受光される光の偏光方向が異なることを起因とした見え方の違いが抑制された画像を生成することができる。

以上で本発明の例に関して説明してきたが、本発明は上述した実施の形態に限定されず、本発明の精神を逸脱しない範囲で種々の変形が可能であることは言うまでもない。

１ ：撮像装置
１０ ：撮像光学系
１２ ：第１の偏光フィルタ
１４ ：第２の偏光フィルタ
２０ ：被写体
４０ ：波長フィルタ
１００ ：撮像素子
１０２Ａ ：第１の画素
１０２Ｂ ：第２の画素
１１０ ：ピクセルアレイ層
１１２ ：フォトダイオード
１２０ ：偏光素子アレイ層
１２２Ａ ：第１の偏光素子
１２２Ｂ ：第２の偏光素子
１２２Ｃ ：第３の偏光素子
１３０ ：マイクロレンズアレイ層
１３２ ：マイクロレンズ
２００ ：信号処理部
２００Ａ ：アナログ信号処理部
２００Ｂ ：画像生成部
２００Ｃ ：係数記憶部
Ｅ１ ：第１の瞳領域
Ｅ２ ：第２の瞳領域
Ｅ３ ：第３の瞳領域
Ｌ ：光軸

ここで、特許文献１に記載された技術では、互いに異なる偏光方向の光に対応する画像がそれぞれ生成されているが、偏光方向を一度も揃えることなく、偏光方向が異なる２種の光が生成されている。具体的には、特許文献１では、先ずレンズを透過した光を２種の偏光方向を有する光をそれぞれ透過させる偏光板に透過させることにより、互いに異なる偏光方向を有する２種の光が生成される。そして、互いに異なる偏光方向を有する２種の光は、それぞれ検光子を透過して受光素子により受光されている。したがって、特許文献１に記載された撮像装置では、一度も偏光方向が揃えられること無く、偏光方向が異なる２種の光が生成され、その光に基づいた各画像が生成されている。

第１の瞳領域Ｅ１及び第２の瞳領域Ｅ２を透過した光は、瞳位置又は瞳位置の近傍に設けられた第１の偏光フィルタ１２に入射し透過する。第１の偏光フィルタ１２により第１の瞳領域Ｅ１及び第２の瞳領域Ｅ２を透過した光の偏光方向は第１の偏光方向２４に揃えられる。その後、瞳領域Ｅの半分の半瞳領域（第１の瞳領域Ｅ１又は第２の瞳領域Ｅ２）に設けられる第２の偏光フィルタ１４により、第２の偏光方向２６の光が透過させられる。その後、撮像素子１００により、第１の偏光方向２４の光と第２の偏光方向２６の光が受光される。

偏光方向は、光軸Ｌと直交するＸＹ平面において、第１の偏光フィルタ１２の偏光透過軸（Ａａ）がＸ軸と成す角度Φａ（方位角）、及び第２の偏光フィルタ１４の偏光透過軸（Ａｂ）がＸ軸と成す角度Φｂ（方位角）によって表わされる。図４に示すように第１の偏光フィルタ１２は、その偏光透過軸ＡａとＸ軸の成す角度Φａが０°（方位角０°）の光を透過する構成とされる。すなわち、図４に示す場合では第１の偏光方向２４は０°となる。第２の偏光フィルタ１４は、その偏光透過軸ＡｂとＸ軸のなる角度Φｂが３０°（方位角３０°）の光を透過する構成とされる。すなわち、図４に示す場合では第２の偏光方向２６は３０°となる。この結果、第１の瞳領域Ｅ１を透過する光は第１の偏光方向２４を有する光となり、第２の瞳領域Ｅ２を透過する光は第２の偏光方向２６を有する光となる。

このように、第２の偏光フィルタ１４に第２の偏光子及び第３の偏光子の機能を設けることにより、以下に示すように第２の偏光方向２６と第３の偏光方向を直交させることができる。

図２４は、第２の偏光方向２６と第３の偏光方向を直交させた場合の上述した行列Ａの算出の例を説明する図である。なお、図２０及び図２１で既に説明を行った箇所は同じ符号を付し説明は省略する。図２４に示す場合では、第１の瞳領域Ｅ１を透過する光は撮像素子１００に偏光方向４５°を有して直線偏光として入射し、第２の瞳領域Ｅ２を透過する光は撮像素子１００に偏光方向１３５°を有して直線偏光として入射する。また、第１の偏光素子１２２Ａは偏光方向４５°の光を透過し、第２の偏光素子１２２Ｂは偏光方向１３５°の光を透過する。図２４に示した場合では、第１の瞳領域Ｅ１を透過する光が有する偏光方向（第２の偏光方向２６）と第２の瞳領域Ｅ２を透過する光が有する偏光方向（第３の偏光方向２８）が直交する場合である。また、第１の瞳領域Ｅ１を透過する光が有する偏光方向（第２の偏光方向２６）と第１の偏光素子１２２Ａの偏光方向が同じであり、第２の瞳領域Ｅ２を透過する光が有する偏光方向（第３の偏光方向２８）と第２の偏光素子１２２Ｂの偏光方向が同じである。

Claims (13)

1. 第１の瞳領域、及び前記第１の瞳領域とは異なる第２の瞳領域で構成される瞳領域を有する撮像光学系と、
   前記第１の瞳領域及び前記第２の瞳領域を透過する光の偏光方向を第１の偏光方向に揃える第１の偏光子と、
   前記第２の瞳領域を透過する前記第１の偏光方向に揃った光のうち、前記第１の偏光方向とは異なる第２の偏光方向の光を透過させる第２の偏光子と、
   前記第１の瞳領域及び前記第２の瞳領域を透過する光を受光する、互いに異なる偏光方向の光を受光する第１の画素と第２の画素とを一組とする画素ユニットを複数有する撮像素子と、
   前記第１の画素及び前記第２の画素の画素信号に混信除去処理を施し、前記混信除去処理後の前記画素信号に基づいて、前記第１の瞳領域を透過する光に対応する第１の画像及び前記第２の瞳領域を透過する光に対応する第２の画像を生成する画像生成部と、
   を備える撮像装置。
2. 前記第１の瞳領域を透過する前記第１の偏光方向に揃った光のうち、前記第１の偏光方向及び前記第２の偏光方向とは異なる第３の偏光方向の光を透過させる第３の偏光子を備える請求項１に記載の撮像装置。
3. 第１の瞳領域、及び前記第１の瞳領域とは異なる第２の瞳領域で構成される瞳領域を有する撮像光学系と、
   前記第１の瞳領域及び前記第２の瞳領域を透過する光の偏光方向を第１の偏光方向に揃える第１の偏光子と、
   前記第２の瞳領域を透過する前記第１の偏光方向に揃った光のうち、前記第１の偏光方向とは異なる第２の偏光方向の光を透過させる第２の偏光子と、
   前記第１の瞳領域を透過する前記第１の偏光方向に揃った光のうち、前記第１の偏光方向とは異なり且つ前記第２の偏光方向とは直交する第３の偏光方向の光を透過させる第３の偏光子と、
   前記第１の瞳領域及び前記第２の瞳領域を透過する光を受光する、前記第２の偏光方向の光を受光する第１の画素と前記第３の偏光方向の光を受光する第２の画素とを一組とする画素ユニットを複数有する撮像素子と、
   前記第１の画素及び前記第２の画素の画素信号に基づいて、前記第１の瞳領域を透過する光に対応する第１の画像及び前記第２の瞳領域を透過する光に対応する第２の画像を生成する画像生成部と、
   を備える撮像装置。
4. 前記第１の瞳領域を透過する光のうち、第１の波長帯域の光を透過させる第１の波長フィルタと、
   前記第２の瞳領域を透過する光のうち、第２の波長帯域の光を透過させる第２の波長フィルタと、
   を備える請求項１から３のいずれか１項に記載の撮像装置。
5. 第１の瞳領域、前記第１の瞳領域とは異なる第２の瞳領域、及び前記第１の瞳領域及び前記第２の瞳領域とは異なる第３の瞳領域で構成される瞳領域を有する撮像光学系と、
   前記第１の瞳領域、前記第２の瞳領域、及び前記第３の瞳領域を透過する光の偏光方向を第１の偏光方向に揃える第１の偏光子と、
   前記第２の瞳領域を透過する前記第１の偏光方向に揃った光のうち、前記第１の偏光方向とは異なる第２の偏光方向の光を透過させる第２の偏光子と、
   前記第３の瞳領域を透過する前記第１の偏光方向に揃った光のうち、前記第１の偏光方向及び前記第２の偏光方向とは異なる第３の偏光方向の光を透過させる第３の偏光子と、
   前記第１の瞳領域、前記第２の瞳領域、及び前記第３の瞳領域を透過する光を受光する、互いに異なる偏光方向の光を受光する第１の画素、第２の画素、及び第３の画素を一組とする画素ユニットを複数有する撮像素子と、
   前記第１の画素、前記第２の画素、及び前記第３の画素の画素信号に混信除去処理を施し、前記混信除去処理後の前記画素信号に基づいて、前記第１の瞳領域を透過する光に対応する第１の画像、前記第２の瞳領域を透過する光に対応する第２の画像、及び前記第３の瞳領域を透過する光に対応する第３の画像を生成する画像生成部と、
   を備える撮像装置。
6. 前記第１の瞳領域を透過する前記第１の偏光方向に揃った光のうち、前記第１の偏光方向、前記第２の偏光方向、及び前記第３の偏光方向とは異なる第４の偏光方向の光を透過させる第４の偏光子を備える請求項５に記載の撮像装置。
7. 前記第１の瞳領域を透過する光のうち、第１の波長帯域の光を透過させる第１の波長フィルタと、
   前記第２の瞳領域を透過する光のうち、第２の波長帯域の光を透過させる第２の波長フィルタと、
   前記第３の瞳領域を透過する光のうち、第３の波長帯域の光を透過させる第３の波長フィルタと、
   を備える請求項５又は６に記載の撮像装置。
8. 前記第１の偏光子は、ｓ偏光を遮光する請求項１から７のいずれか１項に記載の撮像装置。
9. 前記撮像素子は、前記画素ユニットが偏光素子を備える画素により構成されている請求項１から８のいずれか１項に記載の撮像装置。
10. 前記撮像素子は、前記画素を構成するフォトダイオードとマイクロレンズとの間に前記偏光素子を有する請求項９に記載の撮像装置。
11. 第１の瞳領域、及び前記第１の瞳領域とは異なる第２の瞳領域で構成される瞳領域を有する撮像光学系の、前記第１の瞳領域及び前記第２の瞳領域を透過する光の偏光方向を、第１の偏光子により、第１の偏光方向に揃えるステップと、
    前記第２の瞳領域を透過する前記第１の偏光方向に揃った光のうち、前記第１の偏光方向とは異なる第２の偏光方向の光を、第２の偏光子により、透過させるステップと、
    前記第１の瞳領域及び前記第２の瞳領域を透過する光を受光する、互いに異なる偏光方向の光を受光する第１の画素と第２の画素とを一組とする画素ユニットを複数有する撮像素子の、前記第１の画素及び前記第２の画素の画素信号に混信除去処理を施し、前記混信除去処理後の前記画素信号に基づいて、前記第１の瞳領域を透過する光に対応する第１の画像及び前記第２の瞳領域を透過する光に対応する第２の画像を生成するステップと、
    を含む撮像方法。
12. 第１の瞳領域、及び前記第１の瞳領域とは異なる第２の瞳領域で構成される瞳領域を有する撮像光学系の、前記第１の瞳領域及び前記第２の瞳領域を透過する光の偏光方向を、第１の偏光子により、第１の偏光方向に揃えるステップと、
    前記第２の瞳領域を透過する前記第１の偏光方向に揃った光のうち、前記第１の偏光方向とは異なる第２の偏光方向の光を、第２の偏光子により、透過させるステップと、
    前記第１の瞳領域を透過する前記第１の偏光方向に揃った光のうち、前記第１の偏光方向とは異なり且つ前記第２の偏光方向とは直交する第３の偏光方向の光を、第３の偏光子により、透過させるステップと、
    前記第１の瞳領域及び前記第２の瞳領域を透過する光を受光する、前記第２の偏光方向の光を受光する第１の画素と前記第３の偏光方向の光を受光する第２の画素とを一組とする画素ユニットを複数有する撮像素子の、前記第１の画素及び前記第２の画素の画素信号に基づいて、前記第１の瞳領域を透過する光に対応する第１の画像及び前記第２の瞳領域を透過する光に対応する第２の画像を生成するステップと、
    を含む撮像方法。
13. 第１の瞳領域、前記第１の瞳領域とは異なる第２の瞳領域、及び前記第１の瞳領域及び前記第２の瞳領域とは異なる第３の瞳領域で構成される瞳領域を有する撮像光学系の、前記第１の瞳領域、前記第２の瞳領域、及び前記第３の瞳領域を透過する光の偏光方向を、第１の偏光子により、第１の偏光方向に揃えるステップと、
    前記第２の瞳領域を透過する前記第１の偏光方向に揃った光のうち、前記第１の偏光方向とは異なる第２の偏光方向の光を、第２の偏光子により、透過させるステップと、
    前記第３の瞳領域を透過する前記第１の偏光方向に揃った光のうち、前記第１の偏光方向及び前記第２の偏光方向とは異なる第３の偏光方向の光を、第３の偏光子により、透過させるステップと、
    前記第１の瞳領域、前記第２の瞳領域、及び前記第３の瞳領域を透過する光を受光する、互いに異なる偏光方向の光を受光する第１の画素、第２の画素、及び第３の画素を一組とする画素ユニットを複数有する撮像素子の、前記第１の画素、前記第２の画素、及び前記第３の画素の画素信号に混信除去処理を施し、前記混信除去処理後の前記画素信号に基づいて、前記第１の瞳領域を透過する光に対応する第１の画像、前記第２の瞳領域を透過する光に対応する第２の画像、及び前記第３の瞳領域を透過する光に対応する第３の画像を生成するステップと、
    を含む撮像方法。

Images