WO2014119257A1 - 撮像システム - Google Patents

Abstract

　ある実施形態における撮像システムは、第１の偏光軸の方向に偏光した光を出射する偏光照明と、第１の波長帯域の光の情報を有する第１の画像情報、第２の波長帯域の光の情報を有する第２の画像情報、第１の偏光軸の方向に偏光した第３の波長帯域の光の情報を有する第３の画像情報、および前記第１の偏光軸の方向とは異なる第２の偏光軸の方向に偏光した前記第３の波長帯域の光の情報を有する第４の画像情報を取得する撮像部ＩＰと、第１から第４の画像情報に基づく画像処理により、カラー画像Ｓ３０５を生成する演算処理部ＰＲ１とを備える。

Description

撮像システム

　本願は、撮像システムに関する。

　通常の画像情報に加えて偏光情報を取得する撮像システムの分野において、たとえば、特許文献１が知られている。

　特許文献１は、撮像システムを用いて取得した画像に含まれる光の表面反射による影響を抑制する画像処理方法を開示している。この方法では、一部の画素に偏光特性を持たせた撮像素子を用いて、偏光特性を有する画素と偏光特性を有しない画素との間の差分演算を含む処理により、反射光成分の補正が行われる。

特開２００６－２５４３３１号公報

　上述した従来の技術では、偏光特性を有する画素と偏光特性を有しない画素との差分演算を行うためにノイズの影響が大きくなるという問題があった。

　上記課題を解決するために、本発明の一態様に係る撮像システムは、被写体で反射された光を受けるように配置され、第１の波長帯域の光の情報を有する第１の画像情報、第１の偏光軸の方向に偏光した第２の波長帯域の光の情報を有する第２の画像情報、および前記第１の偏光軸の方向とは異なる第２の偏光軸の方向に偏光した前記第２の波長帯域の光の情報を有する第３の画像情報を取得するように構成された撮像部と、前記第２および第３の画像情報に基づいて、前記被写体の鏡面反射成分の画像情報、または内部拡散成分の画像情報を取得し、前記第１の画像情報に基づいて、前記第２および第３の画像情報を用いずに前記被写体の情報を取得して出力するように構成された演算処理部と、を含む。

　本発明の他の態様に係る撮像システムは、被写体で反射された光を受けるように配置され、第１の波長帯域の光の情報を有する第１の画像情報、第１の偏光軸の方向に偏光した第２の波長帯域の光の情報を有する第２の画像情報、および前記第１の偏光軸の方向とは異なる第２の偏光軸の方向に偏光した前記第２の波長帯域の光の情報を有する第３の画像情報を取得するように構成された撮像部と、前記第２および第３の画像情報に基づいて、前記被写体の鏡面反射成分の画像情報、または内部拡散成分の画像情報を取得し、前記第１の画像情報に基づいて、前記第２および第３の画像情報との差分演算を行わずに前記被写体の情報を取得して出力するように構成された演算処理部と、を含む。

　上述の一般的かつ特定の態様は、システム、方法およびコンピュータプログラムを用いて実装され、またはシステム、方法およびコンピュータプログラムの組み合わせを用いて実現され得る。

　本発明の一態様に係る撮像システムによれば、偏光特性を有しない画素からの画像情報に基づいて被写体の諸情報を取得する際に、偏光特性を有する画素からの画像情報を用いない、または偏光特性を有する画素からの画像情報との差分演算を行わない。したがって、ノイズの影響の少ない画像情報を取得することが可能である。

例示的な実施の形態１における撮像システムＡＰを示す模式図である。 例示的な実施の形態１の撮像装置の模式図である。 例示的な実施の形態１における撮像素子上の画素の配列を示す図である。 例示的な実施の形態１の撮像装置Ａの画像処理の手順を示すブロック図である。 例示的な実施の形態１の撮像装置Ａの画像処理の手順を示すブロック図である。 図１のブロック図の画像処理の内容を示す模式図である。 参考形態の撮像装置Ａの画像処理の手順を示すブロック図である。 参考形態の撮像装置Ａの画像処理の手順を示すブロック図である。 例示的な実施の形態２の撮像装置の模式図である。 例示的な実施の形態２における光学素子Ｌ１ｓの光学領域Ｄ１、Ｄ２、Ｄ３およびＤ４を被写体側から見た正面図である。 例示的な実施の形態２における光学素子Ｌ１ｐの光学領域Ｄ１、Ｄ２、Ｄ３およびＤ４を被写体側から見た正面図である。 例示的な実施の形態２におけるアレイ状光学素子Ｋの斜視図である。 例示的な実施の形態２における図８に示すアレイ状光学素子Ｋおよび撮像素子Ｎｂを拡大して示す図である。 例示的な実施の形態２におけるアレイ状光学素子Ｋと撮像素子Ｎｂ上の画素との位置関係を示す図である。 例示的な実施の形態３の撮像部ＩＰの模式図である。 例示的な実施の形態４の撮像システムＡＰの模式図である。 被写体Ｏｂの上方に照明装置ＥＸＬが設置されている場合の鏡面反射光の偏光状態の例を示す模式図である。 例示的な実施の形態４の撮像システムＡＰの変形例を示す模式図である。 他の実施の形態を説明するための図である。

　本発明の実施形態の概要は以下のとおりである。

　（１）本発明の一態様に係る撮像システムは、被写体で反射された光を受けるように配置され、第１の波長帯域の光の情報を有する第１の画像情報、第１の偏光軸の方向に偏光した第２の波長帯域の光の情報を有する第２の画像情報、および前記第１の偏光軸の方向とは異なる第２の偏光軸の方向に偏光した前記第２の波長帯域の光の情報を有する第３の画像情報を取得するように構成された撮像部と、前記第２および第３の画像情報に基づいて、前記被写体の鏡面反射成分の画像情報、または内部拡散成分の画像情報を取得し、前記第１の画像情報に基づいて、前記第２および第３の画像情報を用いずに前記被写体の情報を取得して出力するように構成された演算処理部と、を含む。

　（２）本発明の一態様に係る撮像システムは、被写体で反射された光を受けるように配置され、第１の波長帯域の光の情報を有する第１の画像情報、第１の偏光軸の方向に偏光した第２の波長帯域の光の情報を有する第２の画像情報、および前記第１の偏光軸の方向とは異なる第２の偏光軸の方向に偏光した前記第２の波長帯域の光の情報を有する第３の画像情報を取得するように構成された撮像部と、前記第２および第３の画像情報に基づいて、前記被写体の鏡面反射成分の画像情報、または内部拡散成分の画像情報を取得し、前記第１の画像情報に基づいて、前記第２および第３の画像情報との差分演算を行わずに前記被写体の情報を取得して出力するように構成された演算処理部と、を含む。

　（３）本発明の一態様に係る撮像システムは、第１の偏光軸の方向に偏光した光を出射するように構成された偏光照明と、前記偏光照明から出射され被写体で反射された光を受けるように配置され、第１の波長帯域の光の情報を有する第１の画像情報、第２の波長帯域の光の情報を有する第２の画像情報、前記第１の偏光軸の方向に偏光した第３の波長帯域の光の情報を有する第３の画像情報、および前記第１の偏光軸の方向とは異なる第２の偏光軸の方向に偏光した前記第３の波長帯域の光の情報を有する第４の画像情報を取得するように構成された撮像部と、前記第３および第４の画像情報における対応画素対のうち輝度値の小さい画素を対応画素対ごとに選択することによって得られる低輝度画像情報、および前記第３および第４の画像情報における対応画素対のうち輝度値の大きい画素を対応画素対ごとに選択することによって得られる高輝度画像情報の少なくとも一方、および前記第３および第４の画像情報における対応画素対ごとの輝度値の平均値を示す平均画像情報を生成し、前記第１の画像情報、前記第２の画像情報、および前記平均画像情報に基づく画像処理により、カラー画像を生成するように構成された演算処理部と、を含む。

　（４）ある実施形態において、前記演算処理部は、前記第３および第４の画像情報を取得する際に生じた光の減衰による影響を補償するためのゲイン処理を前記平均画像情報に対して行うことによって補正平均画像情報を生成し、前記第１の画像情報、前記第２の画像情報、および前記補正平均画像情報に、ホワイトバランスを調整するゲイン処理を行うことにより、第１の色情報、第２の色情報、および第３の色情報をそれぞれ生成し、前記第１から第３の色情報を合成することにより、前記カラー画像を生成するように構成されている。

　（５）本発明の他の態様に係る撮像システムは、第１の偏光軸の方向に偏光した光を出射するように構成された偏光照明と、前記偏光照明から出射され被写体で反射された光を受けるように配置され、第１の波長帯域の光の情報を有する第１の画像情報、第２の波長帯域の光の情報を有する第２の画像情報、前記第１の偏光軸の方向に偏光した第３の波長帯域の光の情報を有する第３の画像情報、および前記第１の偏光軸の方向とは異なる第２の偏光軸の方向に偏光した前記第３の波長帯域の光の情報を有する第４の画像情報を取得するように構成された撮像部と、前記第３および第４の画像情報における対応画素対ごとの輝度値の平均値を示す平均画像情報、および前記第３および第４の画像情報における対応画素対ごとの輝度値の差分の絶対値を示す差分画像情報を生成し、前記第１の画像情報、前記第２の画像情報、および前記平均画像情報のそれぞれにおける各画素の輝度値から、前記差分画像情報における対応する画素の輝度値を減算または加算する演算を含む画像処理により、カラー画像を生成するように構成された演算処理部と、を含む。

　（６）ある実施形態において、前記演算処理部は、前記第３および第４の画像情報を取得する際に生じた光の減衰による影響を補償するためのゲイン処理を前記平均画像情報に対して行うことによって補正平均画像情報を生成し、前記第１の画像情報、前記第２の画像情報、および前記補正平均画像情報に、ホワイトバランスを調整するゲイン処理を行うことにより、第１の色情報、第２の色情報、および第３の色情報をそれぞれ生成し、前記差分画像情報に対して、前記第３および第４の画像情報を取得する際に生じた光の減衰による影響を補正しホワイトバランスを調整するゲイン処理を行うことによって得られる画像情報の各画素の輝度値を、前記第１から第３の色情報のそれぞれにおける対応する画素の輝度値から減算または加算することによって前記カラー画像を生成するように構成されている。

　（７）ある実施形態において、前記演算処理部は、前記第１の画像情報、前記第２の画像情報、および前記平均画像情報のそれぞれにおける各画素の輝度値から、前記差分画像情報における対応する画素の輝度値を減算する画像処理により、被写体からの光の鏡面反射成分を抑えたカラー画像を生成し、前記第１の画像情報、前記第２の画像情報、および前記平均画像情報のそれぞれにおける各画素の輝度値から、前記差分画像情報における対応する画素の輝度値を加算する画像処理により、被写体からの光の鏡面反射成分を増加させたカラー画像を生成するように構成されている。

　（８）ある実施形態において、前記第１の波長帯域、前記第２の波長帯域、および前記第３の波長帯域は、可視光の波長帯域に含まれる異なる波長帯域である。

　（９）ある実施形態において、前記第３の波長帯域は、青または緑の波長帯域である。

　（１０）ある実施形態において、前記第１の偏光軸の方向と、前記第２の偏光軸の方向とは、互いに直交している。

　（１１）ある実施形態において、前記撮像部は、２次元的に配列された複数の第１の画素、複数の第２の画素、複数の第３の画素、および複数の第４の画素を有する撮像素子を有し、前記複数の第１から第４の画素から出力される電気信号に基づいて、前記第１から第４の画像情報を取得する。

　（１２）ある実施形態において、前記複数の第１の画素の各々は、第１の光電変換素子と、前記第１の波長帯域の光を透過させるように設計された第１の分光フィルタとを有し、前記複数の第２の画素の各々は、第２の光電変換素子と、前記第２の波長帯域の光を透過させるように設計された第２の分光フィルタとを有し、前記複数の第３の画素の各々は、第３の光電変換素子と、前記第３の波長帯域の光を透過させるように設計された第３の分光フィルタと、前記第１の偏光軸に平行な方向に偏光した光を透過させる第１の偏光フィルタとを有し、前記複数の第４の画素の各々は、第４の光電変換素子と、前記第３の波長帯域の光を透過させるように設計された第４の分光フィルタと、前記第２の偏光軸に平行な方向に偏光した光を透過させるように設計された第２の偏光フィルタとを有している。

　（１３）ある実施形態において、前記撮像部は、前記第１の波長帯域の光を透過させる第１の光学領域、前記第２の波長帯域の光を透過させる第２の光学領域、前記第１の偏光軸の方向に偏光した前記第３の波長帯域の光を透過させる第３の光学領域、および前記第２の偏光軸の方向に偏光した前記第３の波長帯域の光を透過させる第４の光学領域を有する光学系と、前記光学系および前記撮像素子の間に配置され、前記第１から第４の光学領域を通過した光をそれぞれ前記複数の第１の画素、前記複数の第２の画素、前記複数の第３の画素、および前記複数の第４の画素に入射させるように構成されたアレイ状光学素子と、を有する。

　（１４）ある実施形態において、前記撮像部は、前記撮像素子の撮像面に平行に配列された第１から第４のレンズと、前記第１のレンズの光軸上に配置され、前記第１の波長帯域の光を透過させる第１の分光フィルタと、前記第２のレンズの光軸上に配置され、前記第２の波長帯域の光を透過させる第２の分光フィルタと、前記第３のレンズの光軸上に配置され、前記第３の波長帯域の光を透過させる第３の分光フィルタと、前記第４のレンズの光軸上に配置され、前記第３の波長帯域の光を透過させる第４の分光フィルタと、前記第３のレンズの光軸上に配置され、前記第１の偏光軸の方向に偏光した光を透過させる第１の偏光フィルタと、前記第４のレンズの光軸上に配置され、前記第２の偏光軸の方向に偏光した光を透過させる第２の偏光フィルタとをさらに有し、前記複数の第１の画素は、前記第１のレンズおよび前記第１の分光フィルタを透過した光を受ける位置に配置され、前記複数の第２の画素は、前記第２のレンズおよび前記第２の分光フィルタを透過した光を受ける位置に配置され、前記複数の第３の画素は、前記第３のレンズ、前記第３の分光フィルタ、および前記第１の偏光フィルタを透過した光を受ける位置に配置され、前記複数の第４の画素は、前記第４のレンズ、前記第４の分光フィルタ、および前記第２の偏光フィルタを透過した光を受ける位置に配置されている。

　（１５）ある実施形態において、撮像システムは、前記撮像部によって生成された画像を表示する表示装置をさらに備える。

　（１６）ある実施形態において、前記偏光照明は、前記表示装置の近傍に配置されており、前記偏光照明の偏光軸の方向は、水平方向である。

　（１７）本発明の他の態様による画像処理装置は、第１の偏光軸の方向に偏光した光を出射するように構成された偏光照明と、前記偏光照明から出射され被写体で反射された光を受けるように配置され、第１の波長帯域の光の情報を有する第１の画像情報、第２の波長帯域の光の情報を有する第２の画像情報、前記第１の偏光軸の方向に偏光した第３の波長帯域の光の情報を有する第３の画像情報、および前記第１の偏光軸の方向とは異なる第２の偏光軸の方向に偏光した前記第３の波長帯域の光の情報を有する第４の画像情報を取得するように構成された撮像部と、を備えた撮像装置から出力された信号を処理する画像処理装置であって、前記第３および第４の画像情報における対応画素対のうち輝度値の小さい画素を対応画素対ごとに選択することによって得られる低輝度画像情報、および前記第３および第４の画像情報における対応画素対のうち輝度値の大きい画素を対応画素対ごとに選択することによって得られる高輝度画像情報の少なくとも一方、および前記第３および第４の画像情報における対応画素対ごとの輝度値の平均値を示す平均画像情報を生成し、前記第１の画像情報、前記第２の画像情報、および前記平均画像情報に基づく画像処理により、カラー画像を生成するように構成されている。

　（１８）本発明の他の態様による画像処理装置は、第１の偏光軸の方向に偏光した光を出射するように構成された偏光照明と、前記偏光照明から出射され被写体で反射された光を受けるように配置され、第１の波長帯域の光の情報を有する第１の画像情報、第２の波長帯域の光の情報を有する第２の画像情報、前記第１の偏光軸の方向に偏光した第３の波長帯域の光の情報を有する第３の画像情報、および前記第１の偏光軸の方向とは異なる第２の偏光軸の方向に偏光した前記第３の波長帯域の光の情報を有する第４の画像情報を取得するように構成された撮像部と、を備えた撮像装置から出力された信号を処理する画像処理装置であって、前記第３および第４の画像情報における対応画素対ごとの輝度値の平均値を示す平均画像情報、および前記第３および第４の画像情報における対応画素対ごとの輝度値の差分の絶対値を示す差分画像情報を生成し、前記第１の画像情報、前記第２の画像情報、および前記平均画像情報のそれぞれにおける各画素の輝度値から、前記差分画像情報の対応する画素の輝度値を減算または加算する処理を含む画像処理により、カラー画像を生成するように構成されている。

　（１９）本発明の他の態様によるコンピュータプログラムは、第１の偏光軸の方向に偏光した光を出射するように構成された偏光照明と、前記偏光照明から出射され被写体で反射された光を受けるように配置され、第１の波長帯域の光の情報を有する第１の画像情報、第２の波長帯域の光の情報を有する第２の画像情報、前記第１の偏光軸の方向に偏光した第３の波長帯域の光の情報を有する第３の画像情報、および前記第１の偏光軸の方向とは異なる第２の偏光軸の方向に偏光した前記第３の波長帯域の光の情報を有する第４の画像情報を取得するように構成された撮像部と、を備えた撮像装置から出力された信号を処理するためのコンピュータプログラムであって、コンピュータに、前記第３および第４の画像情報における対応画素対のうち輝度値の小さい画素を対応画素対ごとに選択することによって得られる低輝度画像情報、および前記第３および第４の画像情報における対応画素対のうち輝度値の大きい画素を対応画素対ごとに選択することによって得られる高輝度画像情報の少なくとも一方を生成するステップと、前記第３および第４の画像情報における対応画素対ごとの輝度値の平均値を示す平均画像情報を生成するステップと、前記第１の画像情報、前記第２の画像情報、および前記平均画像情報に基づく画像処理により、カラー画像を生成するステップと、を実行させる。

　（２０）本発明の他の態様によるコンピュータプログラムは、第１の偏光軸の方向に偏光した光を出射するように構成された偏光照明と、前記偏光照明から出射され被写体で反射された光を受けるように配置され、第１の波長帯域の光の情報を有する第１の画像情報、第２の波長帯域の光の情報を有する第２の画像情報、前記第１の偏光軸の方向に偏光した第３の波長帯域の光の情報を有する第３の画像情報、および前記第１の偏光軸の方向とは異なる第２の偏光軸の方向に偏光した前記第３の波長帯域の光の情報を有する第４の画像情報を取得するように構成された撮像部と、を備えた撮像装置から出力された信号を処理するためのコンピュータプログラムであって、コンピュータに、前記第３および第４の画像情報における対応画素対ごとの輝度値の平均値を示す平均画像情報を生成するステップと、前記第３および第４の画像情報における対応画素対ごとの輝度値の差分の絶対値を示す差分画像情報を生成するステップと、前記第１の画像情報、前記第２の画像情報、および前記平均画像情報のそれぞれにおける各画素の輝度値から、前記差分画像情報の対応する画素の輝度値を減算または加算する処理を含む画像処理により、カラー画像を生成するステップと、を実行させる。

　（２１）本発明の他の態様による撮像システムは、水平方向に偏光した光を出射するように構成された偏光照明と、前記偏光照明から出射され被写体で反射された光を受けるように配置され、前記水平方向に偏光した光の情報を有する水平偏光画像情報、および垂直方向に偏光した光の情報を有する垂直偏光画像情報を取得するように構成された撮像部と、前記偏光照明の近傍に配置され、前記撮像部によって取得された前記水平偏光画像情報に基づく画像情報および前記垂直偏光画像情報に基づく画像情報を表示するように構成されたディスプレイと、を備えている。

　（２２）ある実施形態において、前記ディスプレイは、複数のカラーフィルタおよび複数の偏光フィルタを有する液晶ディスプレイであり、前記複数の偏光フィルタの偏光軸の方向は、前記水平方向と一致している。

　（２３）ある実施形態において、前記ディスプレイは、複数のカラーフィルタおよび複数の偏光フィルタを有する液晶ディスプレイの一部であり、前記偏光照明は、前記液晶ディスプレイの他の一部であり、前記複数の偏光フィルタの偏光軸の方向は、前記水平方向と一致しており、前記液晶ディスプレイの前記他の一部には、カラーフィルタが設けられていない。

　（２４）ある実施形態において、前記偏光照明は、前記ディスプレイの両側または周囲に配置されている。

　（２５）ある実施形態において、無偏光光を出射するように構成された補助照明をさらに備えている。

　（２６）ある実施形態において、前記撮像部は、前記水平方向に偏光した第１の波長帯域の光の情報を有する画像情報を前記水平偏光画像情報として取得し、前記垂直方向に偏光した前記第１の波長帯域の光の情報を有する画像情報を前記垂直偏光画像情報として取得し、さらに、第２の波長帯域の光の情報を有する画像情報、および第３の波長帯域の光の情報を有する画像情報を取得するように構成されている。

　以下、図面を参照しながら、より具体的な実施の形態を説明する。

　（実施の形態１）
　図１は、本実施の形態の撮像システムＡＰを示す模式図である。この撮像システムＡＰは、被写体の顔等を撮影して肌の健康状態を診断する用途に用いられる。撮像システムＡＰは、第１の方向に偏光した光を出射する偏光照明Ｑａと、被写体Ｏｂからの光に基づいて画像情報を生成して出力する撮像装置Ａと、偏光照明Ｑａおよび撮像装置Ａを制御する制御部ＣＳとを備えている。

　偏光照明Ｑａは、可視光を出射する光源ＬＳ１と、光源ＬＳ１から出射した光の光路上に配置され、第１の方向に平行な第１の偏光軸を有する偏光フィルタＰＬＱ１とを有している。これにより、偏光照明Ｑａは、第１の偏光軸の方向に偏光した光（直線偏光）を出射する。なお、偏光照明Ｑａから出射される光は、厳密な直線偏光である必要はなく、出射される光の多くが第１の偏光軸の方向に偏光していればよい。

　撮像装置Ａは、被写体Ｏｂからの光に基づいて画像を示す情報（画像情報）を取得する撮像部ＩＰと、撮像部ＩＰから出力された信号を処理する演算処理部ＰＲ１とを有している。撮像部ＩＰは、被写体Ｏｂからの光を集束させる光学系と、光電変換によって画像情報を生成する撮像素子とを有している。撮像部ＩＰと演算処理部ＰＲ１とは、不図示の配線によって電気信号の授受ができるように接続されている。演算処理部ＰＲ１は、例えばマイクロコントローラ（ＭＣＵ）や中央演算処理装置（ＣＰＵ）などの集積回路によって実現され得る。撮像素子は、公知のＣＣＤやＣＭＯＳセンサといったイメージセンサによって実現される。

　制御部ＣＳは、撮像装置Ａおよび偏光照明Ｑａの制御や、外部装置ＥＸＴとの入出力制御等の各種の処理を行う。制御部ＣＳは、例えばマイクロコントローラ（ＭＣＵ）や中央演算処理装置（ＣＰＵ）などの集積回路であり得る。制御部ＣＳは、ハードウェアのみで実現されてもよいし、ハードウェアとソフトウェアとの組み合わせによって実現されていてもよい。外部装置ＥＸＴは、例えば、撮像システムＡＰから出力された画像を表示するモニターや、画像を処理するパーソナルコンピュータ等の情報処理装置であり得る。

　図１には示されていないが、撮像システムＡＰは、外部装置ＥＸＴと接続するための入出力インターフェースや、ユーザの操作を受け付けるためのユーザインターフェース、画像や制御プログラム等の情報を記録する記録媒体といった他の要素を含み得る。撮像装置Ａについても、入出力インターフェースや処理過程で生成された各種の情報や制御プログラム等の情報を記録する記録媒体等の他の要素を含み得る。

　図２Ａは、図１に示す撮像部ＩＰの構成および機能の概要を示す模式図である。本実施形態の撮像装置Ａの撮像部ＩＰは、レンズＬと、撮像素子Ｎａとを有している。

　図２Ｂは、撮像素子Ｎａ上の画素の配列を示す図である。図２Ｂに示すように、撮像素子Ｎａ上には、画素Ｐａ１、Ｐａ２、Ｐａ３、Ｐａ４の４種類の画素が２次元的に配列されている。各画素は、フォトダイオード等の光電変換素子と、それに対向して配置される各種のフィルタとを有している。画素Ｐａ１には、第１の波長帯域λ１の光を主に透過するバンドパスフィルタ（分光フィルタ）が設けられており、偏光フィルタは設けられていない。画素Ｐａ２には、第２の波長帯域λ２の光を主に透過するバンドパスフィルタが設けられており、偏光フィルタは設けられていない。画素Ｐａ３には、第３の波長帯域λ３の光を主に透過するバンドパスフィルタと、第１の偏光軸の方向に偏光した光を主に透過する偏光フィルタとが設けられている。画素Ｐａ４には、第３の波長帯域λ３の光を主に透過するバンドパスフィルタと、第２の偏光軸の方向に偏光した光を主に透過する偏光フィルタとが設けられている。ここで、第２の偏光軸の方向は、第１の偏光軸の方向とは異なる方向であり、以下の説明では、第１の偏光軸に垂直な方向とする。各画素のバンドパスフィルタは、吸収型のフィルタまたは誘電体多層膜によって構成された波長選択性を有するフィルタによって構成される。偏光フィルタは、例えばワイヤーグリッド偏光子によって構成され得る。

　被写体を撮像する場合、被写体からの光線は、レンズＬを通過した後、撮像素子Ｎａの撮像面に到達する。画素Ｐａ１は、第１の波長帯域λ１の光を主に透過するバンドパスフィルタが設けられているため、画素Ｐａ１の信号のみを抽出することにより、第１の波長帯域λ１の光の情報を有する第１の画像情報Ｓ１０１を生成することができる。同様に、画素Ｐａ２の信号のみを抽出することにより、第２の波長帯域λ２の光の情報を有する第２の画像情報Ｓ１０２を生成することができる。また、画素Ｐａ３は、第３の波長帯域λ３の光を主に透過するバンドパスフィルタと第１の偏光軸の方向に偏光した光を主に透過する偏光フィルタが備えられているため、画素Ｐａ３の信号のみを抽出することにより、第１の偏光軸の方向に振動し、かつ第３の波長帯域λ３の光の情報を有する第３の画像情報Ｓ１０３を生成することができる。同様に、画素Ｐａ４は、第３の波長帯域λ３の光を主に透過するバンドパスフィルタと第２の偏光軸の方向に偏光した光を主に透過する偏光フィルタが備えられているため、画素Ｐａ４の信号のみを抽出することにより、第２の偏光軸の方向に振動し、かつ第３の波長帯域λ３の光の情報を有する第４の画像情報Ｓ１０４を生成することができる。

　このような構成により、撮像部ＩＰは、第１の画像情報Ｓ１０１、第２の画像情報Ｓ１０２、第３の画像情報Ｓ１０３、および第４の画像情報Ｓ１０４を取得する。

　ここで、第１の波長帯域λ１、第２の波長帯域λ２、および第３の波長帯域λ３は、それぞれ、赤色、緑色、および青色の波長帯域を主に含む波長帯域とする。例えば、第１の波長帯域λ１は、約６００ｎｍ～約７００ｎｍの波長帯域であり、第２の波長帯域λ２は、約５００ｎｍ～約６００ｎｍの波長帯域であり、第３波長帯域λ３は、約４００ｎｍ～約５００ｎｍの波長帯域であり得る。この例に限定されず、第１の波長帯域λ１、第２の波長帯域λ２、第３の波長帯域λ３は、互いに異なる波長帯域であればよい。ここで、２つの波長帯域が「異なる」とは、両者の波長帯域に重なる部分がない場合のみならず、両者の波長帯域が部分的に重なる場合をも含む。言い換えれば、第１の波長帯域λ１、第２の波長帯域λ２、第３の波長帯域λ３は、部分的に重複していてもよい。

　レンズ光学系Ｌは、１枚のレンズで構成されていてもよいし、複数枚のレンズで構成されていてもよい。図２Ａでは、１枚のレンズのみが例示されている。

　次に、以上の撮像システムＡＰによって生体からの偏光情報を制御し、内部拡散成分、表面反射成分を用いた生体の特徴箇所を強調した画像を生成する流れを説明する。

　図１に示す偏光照明Ｑａの光源ＬＳ１から出射した光は、偏光フィルタＰＬＱ１を通過して被写体Ｏｂに到達する。偏光フィルタＰＬＱ１は、第１の偏光軸と平行な方向に偏光した光を主に透過し、第１の偏光軸と直交する方向に偏光した光の大部分を吸収する。したがって、被写体Ｏｂには、第１の偏光軸の方向に偏光した光のみが照射される。

　被写体Ｏｂは、例えば、人の顔肌等の生体である。本実施形態では、被写体Ｏｂは人の顔肌であるものとして説明する。顔肌（被写体Ｏｂ）に到達した光は、反射される成分と吸収される成分があり、撮像装置Ａは反射される成分の光を受けて撮像を行う。顔肌で反射される光には、顔肌の表面で反射する成分と、顔肌の内部に入り込んで散乱を繰り返した後、入射した位置とは異なる位置から出射する成分とが含まれる。ここで、顔肌の内部とは、表皮領域である。表皮領域の中でシミが発生している領域にはメラニンが生成されている。表皮に入り込んだ光、特に青色から近紫外線の波長帯域の光は、メラニンによって減衰されやすい。

　顔肌の表面で反射される光は、さらに鏡面反射する成分と拡散反射する成分に分けられる。顔肌で鏡面反射する成分は、偏光状態が維持される。一方、顔肌で拡散反射する成分と、顔肌の内部に入り込んで異なる位置から出射する成分は、偏光状態が乱れた無偏光の状態となる。

　従って、偏光フィルタが設けられていない画素Ｐａ１、Ｐａ２の出力に基づいてそれぞれ生成される第１の画像情報Ｓ１０１、第２の画像情報Ｓ１０２には、顔肌で鏡面反射した光の成分、顔肌の表面で拡散反射した光の成分、および顔肌の内部に入り込んで異なる位置から出射した光の成分の全てが含まれる。すなわち、これらの画像情報から生成される画像は、通常のカメラで撮像した画像と同様のものとなる。これらの画像は、顔肌の鏡面反射成分（例えば顔肌のテカリ）を含んでいるため、シミによる輝度の低下の認識が困難な画像である。

　これに対し、偏光照明Ｑａの偏光軸の方向と同じ第１の偏光軸の方向に偏光した光を透過させる偏光フィルタが配置された画素Ｐａ３の出力に基づいて生成される第３の画像情報Ｓ１０３は、主に鏡面反射成分を反映した画像となる。さらに、肌への浸透が少ない青色の波長帯域の光の情報を有するため、第３の画像情報Ｓ１０３は、肌表面の毛穴やキメの見やすい画像となる。

　一方、第４の画像情報Ｓ１０４は、第２の偏光軸の方向に偏光した光を主に透過する偏光フィルタによって顔肌の鏡面反射成分の大部分がカットされ、かつメラニンで吸収されやすい青色の第３の波長帯域の光の情報を有するため、肉眼ではやや見えにくい顔肌のシミを見やすい画像となる。

　このように、撮像部ＩＰは、第１の波長帯域λ１の光の情報を有する第１の画像情報Ｓ１０１、第２の波長帯域λ２の光の情報を有する第２の画像情報Ｓ１０２、顔肌の毛穴等の状態が見やすい第３の波長帯域の光の情報を有する第３の画像情報Ｓ１０３、顔肌のシミ等の状態が見やすい第３の波長帯域λ３の光の情報を有する第４の画像情報Ｓ１０４を同時に取得することができる。ただし、この状態では、通常のカラー画像を生成するためには、第３の波長帯域λ３の光の情報を有する無偏光画像が欠落している。さらに、偏光照明Ｑａ以外の外乱光が存在する場合、第３の画像情報Ｓ１０３が鏡面反射成分を表し、第４の画像情報Ｓ１０４が拡散成分を表すとは必ずしも言えない場合がある。そこで、本実施形態の演算処理部ＰＲ１は、以下の画像処理により、第３の波長帯域λ３の光の情報を有する無偏光画像（第７の画像情報）、拡散成分を示す画像(第５の画像情報)、および鏡面反射成分を示す画像（第６の画像情報）を生成する。

　以下、本実施形態における画像処理を説明する。

　図３Ａは、演算処理部ＰＲ１（以下、「第１の演算処理部ＰＲ１」と称することがある。）による画像処理の流れを説明するための図である。まず、第１の演算処理部ＰＲ１は、撮像部ＩＰによって生成された第１の画像情報Ｓ１０１、第２の画像情報Ｓ１０２、第３の画像情報Ｓ１０３、第４の画像情報Ｓ１０４を取得する。そして、第１の偏光軸の方向に偏光した第３の波長帯域の光の情報を有する第３の画像情報Ｓ１０３と、第２の偏光軸の方向に偏光した第３の波長帯域の光の情報を有する第４の画像情報Ｓ１０４とに基づいて、第５の画像情報Ｓ３０１、第６の画像情報Ｓ３０２、および第７の画像情報Ｓ３０３を生成する。

　第５の画像情報Ｓ３０１は、第３の画像情報Ｓ１０３および第４の画像情報Ｓ１０４における画像位置情報（画像上の座標）が対応する２つの画素（以下、「対応画素対」と呼ぶ。）のうち輝度値が小さい方を最小値として対応画素対ごとに（画像上の座標ごとに）選択することによって生成される画像である。本明細書では、第５の画像情報Ｓ３０１を、「低輝度画像情報」と呼ぶことがある。

　第６の画像情報Ｓ３０２は、第３の画像情報Ｓ１０３および第４の画像情報Ｓ１０４における対応画素対のうち輝度値が大きい方を最大値として対応画素対ごとに選択した画像である。本明細書では、第６の画像情報Ｓ３０２を、「高輝度画像情報」と呼ぶことがある。

　第７の画像情報Ｓ３０３は、前記第３の画像情報Ｓ１０３および前記第４の画像情報Ｓ１０４の対応画素対ごとに平均演算した値で構成される画像である。本明細書では、第７の画像情報Ｓ３０３を、「平均画像情報」と呼ぶことがある。

　第５の画像情報Ｓ３０１および第６の画像情報Ｓ３０２を生成する理由は、偏光照明Ｑａ以外の外乱光の影響を除去するためである。上記のように、第３の画像情報Ｓ１０３は、偏光照明Ｑａの偏光軸に平行な方向に偏光した光に基づいて生成されるため、基本的には光の鏡面反射成分の情報を主に含む。一方、第４の画像情報Ｓ１０４は、偏光照明Ｑａの偏光軸に垂直な方向に偏光した光に基づいて生成されるため、基本的には光の拡散成分を主に含む。しかしながら、外乱光の強度や偏光状態、被写体の状態によっては、この関係が逆転する場合がある。すなわち、第３の画像情報Ｓ１０３が拡散成分を示し、第４の画像情報Ｓ１０４が鏡面反射成分を示す場合がある。この逆転現象は、被写体の部分、すなわち画素ごとに生じ得る。このため、本実施形態の演算処理部ＰＲ１は、第３の画像情報Ｓ１０３および第４の画像情報Ｓ１０４の対応画素ごとに輝度値を比較し、輝度値の小さい画素のみを集めた第５の画像情報Ｓ３０１と、輝度値の大きい画素のみを集めた第６の画像情報Ｓ３０２とを生成する。

　第１の演算処理部ＰＲ１によって行われる上記の画像処理により、偏光照明Ｑａ以外に多少の外乱光が存在しても、第５の画像情報Ｓ３０１は主に生体からの光の拡散成分を表す画像情報となり、第６の画像情報Ｓ３０２は主に生体からの光の鏡面反射成分を表す画像情報となる。また、第７の画像情報Ｓ３０３は、偏光フィルタを通さずに入射する第３の波長帯域λ３の光による無偏光画像に相当する画像となる。

　図４は、以上の画像処理のイメージを模式的に示す図である。ここで、被写体Ｏｂの顔肌にシミＸＳが存在している場合、第５の画像情報Ｓ３０１には、シミＸＳの情報が含まれる。一方、第６の画像情報Ｓ３０２には、シミＸＳの情報は殆ど含まれず、肌表面の毛穴やキメなどの状態ＸＫが主に含まれる。また、第７の画像情報Ｓ３０３には、シミＸＳおよび表面の毛穴等の状態ＸＫが無偏光状態と同程度に含まれる。

　続いて、第１の演算処理部ＰＲ１は、第１の画像情報Ｓ１０１、第２の画像情報Ｓ１０２、および第７の画像情報Ｓ３０３に基づいて、第１のカラー画像Ｓ３０５を生成する。

　以下、図３Ｂを参照しながら、第１のカラー画像Ｓ３０５の生成処理の流れの詳細を説明する。

　第７の画像情報Ｓ３０３は、上記のように、第１の偏光軸の方向に振動し、かつ第３の波長帯域λ３の光の情報を有する第３の画像情報Ｓ１０３、および第２の偏光軸の方向に振動し、かつ第３の波長帯域λ３の光の情報を有する第４の画像情報Ｓ１０４の対応する画素ごとに平均演算した値で構成された画像である。このため、第７の画像情報Ｓ３０３は、撮像素子の画素に偏光フィルタがない状態で取得した第３の波長帯域λ３の光の情報を有する画像情報とみなすことができる。

　ただし、第３の画像情報Ｓ１０３および第４の画像情報Ｓ１０４は、ともに偏光フィルタを透過した光に基づく画像情報であるため、偏光フィルタがない場合と比較して輝度値が約１／２に減衰している。その影響を補償するため、第７の画像情報Ｓ３０３の輝度値を２倍にする必要がある。また、実際の偏光フィルタの透過率は１ではないので、偏光フィルタの最大透過率をＴとすると、その最大透過率による光の減衰の影響を補償する必要がある。

　そこで、第１の演算処理部ＰＲ１は、以下の式（１）に示す演算を画素ごとに行い、第７の画像情報Ｓ３０３の各画素値を補正した第８の画像情報（補正平均画像情報）Ｓ３０４を生成する。
　　Ｐ３０４＝（２／Ｔ）×Ｐ３０３　　　　（１）
ここで、画像を構成する各画素の輝度値をＰという記号で表している。すなわち、輝度値Ｐ３０３は、第７の画像情報Ｓ３０３の対応画素の輝度値を示し、輝度値Ｐ３０４は、第８の画像情報Ｓ３０４の対応する画素の輝度値を示す。以下、同様の記法を用いる。

　一方、前述したように、第１の波長帯域λ１、第２の波長帯域λ２、および第３の波長帯域λ３は、それぞれ、赤色、緑色、および青色の波長帯域を主に含んでいるので、第１の画像情報Ｓ１０１、第２の画像情報Ｓ１０２、および第７の画像情報Ｓ３０３は、それぞれ、赤成分、緑成分、および青成分の画像情報である。また、第８の画像情報Ｓ３０４も青成分の画像情報である。

　そこで、第１の演算処理部ＰＲ１は、第１の画像情報Ｓ１０１、第２の画像情報Ｓ１０２、および第８の画像情報Ｓ３０４に対して、ホワイトバランス処理を含む画像合成処理を行うことにより、第１のカラー画像Ｓ３０５を生成する。ここで、第１の画像情報Ｓ１０１にホワイトバランス処理を行った画像を第１のλ１画像情報（第１の色情報）Ｓ２１、第２の画像情報Ｓ１０２にホワイトバランス処理を行った画像を第１のλ２画像情報（第２の色情報）Ｓ２２、第８の画像情報Ｓ３０４にホワイトバランス処理を行った画像を第１のλ３画像情報（第３の色情報）Ｓ２３とする。また、第１の画像情報Ｓ１０１に対するホワイトバランスゲインをゲインＲｇ、第２の画像情報Ｓ１０２に対するホワイトバランスゲインをゲインＧｇ、第８の画像情報Ｓ３０４に対するホワイトバランスゲインをゲインＢｇとする。なお、ここではＧ画像を基準にホワイトバランス処理を行うため、ホワイトバランスゲインをＧｇ＝１とする。

　このようにして生成された第１のλ１画像情報Ｓ２１、第１のλ２画像情報Ｓ２２、および第１のλ３画像情報Ｓ２３を合成して得られる第１のカラー画像Ｓ３０５は、撮像素子に偏光フィルタが設けられていないと仮定した場合に取得されるカラー画像に相当する。

　以上のような撮像システムの構成と画像処理により、通常のカラー画像としての第１のカラー画像Ｓ３０５と、シミの部分が強調された画像としての第５の画像情報Ｓ３０１と、肌の表面状態を顕著に示す画像としての第６の画像情報Ｓ３０２とを、同時に取得することができる。これにより、簡易な構成で、カラー画像、拡散成分画像、および鏡面反射成分画像を取得できるため、従来にない有用な撮像システムを実現できる。

　本実施の形態では、第１のカラー画像Ｓ３０５の合成に使われる第１のλ１画像情報Ｓ２１及び第１のλ２画像情報Ｓ２２は、それぞれ、偏光特性を有しない画素からの第１の画像情報Ｓ１０１及び第２の画像情報Ｓ１０２にゲイン処理を施すことにより取得している。すなわち、偏光特性を有する画素からの画像情報を用いた差分演算などの補正を行っていない。これにより、ノイズの影響が少ないカラー画像を生成することができる。

　なお、必ずしもすべての画像を生成する必要はなく、システム全体として必要な画像のみを生成すればよいことは言うまでもない。例えば、第１のカラー画像Ｓ３０５のみを生成してもよいし、第５の画像情報Ｓ３０１および第６の画像情報Ｓ３０２の少なくとも一方のみを生成してもよい。

　本実施の形態では、第３の波長帯域λ３を青色としたが、緑色であってもよい。その場合、第１の波長帯域λ１を赤色にし、第２の波長帯域λ２を青色にすることにより、通常のカラー画像と緑色の波長による拡散成分画像と鏡面反射成分画像とが生成されることになる。

　さらに、第３の波長帯域λ３は赤色であってもよい。第１の波長帯域λ１を青色、第２の波長帯域λ２を緑色にすることで、通常のカラー画像と赤色の波長による拡散成分画像と鏡面反射成分画像とが生成されることになる。

　さらに、第１の波長帯域λ１、第２の波長帯域λ２、第３の波長帯域λ３は、可視光域以外の帯域であってもよい。例えば、近紫外線の帯域や近赤外線の帯域であってもよい。その場合、通常のカラー画像は得られないが、可視光以外の帯域の情報を表す合成画像が得られることとなる。その場合であっても、第５、第６、第７、および第８の画像情報は、それぞれ第３の波長帯域での拡散光の成分、鏡面反射光の成分、減衰された通常の反射光の成分、補正された通常の反射光の成分を示す画像情報である。

　また、偏光照明Ｑａは、白色光を出射するものに限定されず、第１の偏光軸の方向に偏光した第３の波長帯域λ３の光の成分を含む照明光を出射するものであればよい。偏光照明Ｑａは、用途によっては単色光を照射するものでもよいし、近紫外線や近赤外線を照射するものでもよい。

　また、図１に示す外部装置ＥＸＴとして表示装置を撮像システムＡＰに追加すれば、肌のシミ等の生体の特徴箇所の画像をリアルタイムに確認することができる。そのような表示装置として、例えば液晶ディスプレイが用いられる。

　（参考形態）
　次に、参考実施形態を説明する。本実施の形態は、第１の演算処理部ＰＲ１の代わりに第２の演算処理部ＰＲ２を有する点で実施の形態１と異なっている。以下、実施の形態１と異なる点を中心に説明し、共通する事項についての詳細な説明は省略する。

　図５Ａは、本実施形態の撮像装置Ａの撮像部ＩＰによって取得された画像情報Ｓ１０１～Ｓ１０４に基づく画像処理の流れの概要を示す図である。図５Ｂは、当該画像処理の流れの詳細を示す図である。本実施形態では、実施の形態１における第５の画像情報（低輝度画像情報）Ｓ３０１、第６の画像情報（高輝度画像情報）Ｓ３０２の代わりに、第９の画像情報Ｓ３０６が生成される。

　第９の画像情報Ｓ３０６は、第３の画像情報Ｓ１０３および第４の画像情報Ｓ１０４における対応画素対ごとに輝度値の差分の絶対値を計算することによって得られる画像情報である。本明細書において、第９の画像情報Ｓ３０６を、「差分画像情報」と呼ぶことがある。上述のように、第３の画像情報Ｓ１０３は、照明光Ｑａの偏光軸に平行な第１の偏光軸の方向に偏光した光の情報であるため、光の拡散成分と鏡面反射成分の両方を含む。一方、第４の画像情報Ｓ１０３は、照明光Ｑａの偏光軸にほぼ垂直な第２の偏光軸の方向に偏光した光の情報であるため、光の拡散成分を主に含む。したがって、第３の画像情報Ｓ１０３と第４の画像情報Ｓ１０４との差分を行った場合、拡散成分がキャンセルされ、鏡面反射成分が多く残る。このため、第９の画像情報Ｓ３０６は、鏡面反射成分を反映した画像情報であると言える。

　第２の演算処理部ＰＲ２は、この第９の画像情報Ｓ３０６と実施形態１に示した第１のカラー画像情報Ｓ３０５とを用いた演算処理により、第２のカラー画像情報Ｓ３０７および第３のカラー画像情報Ｓ３０８を生成する。第２のカラー画像情報Ｓ３０７は、通常のカラー画像から鏡面反射光の成分を抑えたカラー画像を表す。第３のカラー画像情報Ｓ３０８は、通常のカラー画像から鏡面反射光の成分を強調したカラー画像を表す。なお、図５Ａおよび図５Ｂでは、第１のカラー画像情報Ｓ３０５は図示されていない。第１のカラー画像情報Ｓ３０５は、図５Ｂにおいて、カラー画像Ｓ３０５の構成画像である第１のλ１画像情報（第１の色情報）Ｓ２１、第１のλ２画像情報（第２の色情報）Ｓ２２、および第１のλ３画像情報（第３の色情報）Ｓ２３に分解して図示されている。

　まず、第２のカラー画像Ｓ３０７の生成処理を説明する。

　第１のλ３画像情報Ｓ２３は、上記のように、第７の画像情報Ｓ３０３に対して、偏光フィルタの挿入に起因する入射光の減衰の影響を補償するゲイン処理と、ホワイトバランス処理によるゲイン処理とを行うことによって生成される画像である。第２の演算処理部ＰＲ２は、この第１のλ３画像情報Ｓ２３に対し、以下の式（２）に示す演算を行うことにより、第１のλ３画像情報Ｓ２３から鏡面反射成分を取り除いた第２のλ３画像情報Ｓ２６を生成する。
　　Ｐ２６＝Ｐ２３―（２／Ｔ）×Ｂｇ×Ｐ３０６　　　　（２）
ここで、輝度値Ｐ２３は第１のλ３画像情報Ｓ２３の各画素の輝度値を、輝度値Ｐ２６は第２のλ３画像情報Ｓ２６の対応する画素の輝度値を、輝度値Ｐ３０６は第９の画像情報Ｓ３０６の対応する画素の輝度値を示す。式（２）の演算は画素ごとに行われる。

　一般に、鏡面反射光の分光特性は、入射光の分光特性がそのまま維持されることが知られている。すなわち、鏡面反射光の色は、被写体の色ではなく、入射光源の色を反映したものとなる。例えば、白色光を赤い被写体に照射した場合、その鏡面反射光は、赤色光ではなく、白色光である。したがって、その入射光源下にある被写体に対してホワイトバランス処理を行ったのちの第１のλ１画像情報Ｓ２１、第１のλ２画像情報Ｓ２２、および第１のλ３画像情報Ｓ２３に、光源色が重畳した場合、その重畳した光のＲ成分、Ｇ成分、およびＢ成分は、同一の輝度値に相当することになる。言い換えれば、ホワイトバランス処理を行っていない状態のＲ成分、Ｇ成分、およびＢ成分においては、光源色情報が欠落したままであり、鏡面反射光がそれぞれどの割合で含まれているのかを推定できない。

　そこで、第２の演算処理部ＰＲ２は、第１のλ１画像情報Ｓ２１に対し、以下の式（３）に示す演算を行うことにより、第１のλ１画像情報Ｓ２１から鏡面反射成分を取り除いた第２のλ１画像情報Ｓ２４を生成する。ここで、輝度値Ｐ２１は第１のλ１画像情報Ｓ２１の各画素の輝度値を、輝度値Ｐ２４は第２のλ１画像情報Ｓ２４の対応する画素の輝度値を示す。式（３）に示す演算は画素ごとに行われる。
　　Ｐ２４＝Ｐ２１―（２／Ｔ）×Ｂｇ×Ｐ３０６　　　　（３）

　同様に、第２の演算処理部ＰＲ２は、第１のλ２画像情報Ｓ２２に対し以下の式（４）に示す演算を行うことにより、第１のλ２画像情報Ｓ２２から鏡面反射成分を取り除いた第２のλ２画像情報Ｓ２５を生成する。ここで、輝度値Ｐ２２は第１のλ２画像情報Ｓ２２の各画素の輝度値を、輝度値Ｐ２５は第２のλ２画像情報Ｓ２５の対応する画素の輝度値を示す。式（４）に示す演算も画素ごとに行われる。
　　Ｐ２５＝Ｐ２２―（２／Ｔ）×Ｂｇ×Ｐ３０６　　　　（４）

　次に、第２の演算処理部ＰＲ２は、式（２）～（４）に示す演算によって得られる第２のλ１画像情報Ｓ２４、第２のλ２画像情報Ｓ２５、および第２のλ３画像情報Ｓ２６を合成して第２のカラー画像Ｓ３０７を生成する。この画像は、通常のカラー画像である第１のカラー画像Ｓ３０５に比べ、鏡面反射成分が抑制された、拡散成分が主体のカラー画像である。

　次に、第３のカラー画像Ｓ３０８の生成処理を説明する。

　第２の演算処理部ＰＲ２は、第１のλ３画像情報Ｓ２３に対し以下の式（５）に示す演算を行うことにより、第１のλ３画像情報Ｓ２３に鏡面反射成分を加えた第３のλ３画像情報Ｓ２９を生成する。

　同様に、第２の演算処理部ＰＲ２は、第１のλ１画像情報Ｓ２１に対し以下の式（６）に示す演算を行うことにより、第１のλ１画像情報Ｓ２１に鏡面反射成分を加えた第３のλ１画像情報Ｓ２７を生成する。

　さらに、第２の演算処理部ＰＲ２は、第１のλ２画像情報Ｓ２２に対し以下の式（７）に示す演算を行うことにより、第１のλ２画像情報Ｓ２２に鏡面反射成分を加えた第３のλ２画像情報Ｓ２８を生成する。
　　Ｐ２７＝Ｐ２１＋（２／Ｔ）×Ｂｇ×Ｐ３０６　　　（５）

　　Ｐ２８＝Ｐ２２＋（２／Ｔ）×Ｂｇ×Ｐ３０６　　　（６）

　　Ｐ２９＝Ｐ２３＋（２／Ｔ）×Ｂｇ×Ｐ３０６　　　（７）
ここで、輝度値Ｐ２７は第３のλ１画像情報Ｓ２７の各画素の輝度値を示し、輝度値Ｐ２８は第３のλ２画像情報Ｓ２８の各画素の輝度値を示し、輝度値Ｐ２９は第３のλ３画像情報Ｓ２９の各画素の輝度値を示す。式（５）～（７）に示す演算は画素ごとに行われる。

　第２の演算処理部ＰＲ２は、第３のλ１画像情報Ｓ２７、第３のλ２画像情報Ｓ２８、および第３のλ３画像情報Ｓ２９を合成することにより、第３のカラー画像Ｓ３０８を生成する。この画像は、通常のカラー画像である第１のカラー画像Ｓ３０５に比べ、鏡面反射成分が主体となるカラー画像である。

　以上のような撮像システムの構成および画像処理により、通常のカラー画像としての第１のカラー画像Ｓ３０５と、シミ等の部分が強調されたカラー画像としての第２のカラー画像Ｓ３０７と、肌の表面状態が強調されたカラー画像としての第３のカラー画像Ｓ３０８とを、同時に取得することができる。これにより、簡易な構成で、通常のカラー画像と、鏡面反射成分の影響を抑えたカラー画像と、鏡面反射成分の影響を強調したカラー画像とを取得できるため、従来にない有用な撮像システムを実現できる。

　なお、必ずしもすべての画像を生成する必要はなく、全体システムとして必要な画像のみを生成すればよいことは言うまでもない。例えば、第２のカラー画像Ｓ３０７および第３のカラー画像Ｓ３０８の少なくとも一方のみを生成するように第２の演算処理部ＰＲ２が構成されていてもよい。

　また、第３のカラー画像Ｓ３０８を生成する処理において、式（５）～（７）の代わりに、以下の式（８）～（１０）に示す演算を行ってもよい。ここで、Ｅは輝度値Ｐ２１、Ｐ２２、およびＰ２３の合成係数を示し、Ｆは輝度値Ｐ３０６の合成係数を示す。
　　Ｐ２７＝Ｅ×Ｐ２１＋Ｆ×（２／Ｔ）×Ｂｇ×Ｐ３０６　　　（８）

　　Ｐ２８＝Ｅ×Ｐ２２＋Ｆ×（２／Ｔ）×Ｂｇ×Ｐ３０６　　　（９）

　　Ｐ２９＝Ｅ×Ｐ２３＋Ｆ×（２／Ｔ）×Ｂｇ×Ｐ３０６　　　（１０）

　係数Ｅ、Ｆは、任意に設定することができる。ＥとＦを適当な値に設定することにより、通常画像に対する鏡面反射成分の割合を変化させることができる。これらの第３のλ１画像情報Ｓ２７、第３のλ２画像情報Ｓ２８、および第３のλ３画像情報Ｓ２９を合成した第３のカラー画像Ｓ３０８は、通常のカラー画像である第１のカラー画像Ｓ３０５に比べ、鏡面反射成分の割合を変化させたカラー画像となる。

　この調整機能により、被写体が顔肌の場合では肌表面の毛穴やキメなどの状態の強調度合いを任意にコントロールしたカラー画像を得ることができる。係数Ｅ、Ｆの調整は、例えばディスプレイに表示されたユーザインターフェースや、装置に搭載されたボタンなどの操作部を介してユーザによって行われ得る。

　また、肌表面の毛穴やキメなどの状態を確認する画像として、カラー画像が必要ではない場合は、例えば青画像情報に注目し、式（１０）の代わりに以下の式（１１）の演算を行ってもよい。
　　Ｐ２９＝Ｃ×Ｐ３０３＋Ｄ×Ｐ３０６　　　　（１１）
ここで、輝度値Ｐ３０３は第７の画像情報Ｓ３０３の各画素の輝度値を示す。Ｃは輝度値Ｐ３０３の合成係数を示し、Ｄは輝度値Ｐ３０６の合成係数を示す。係数Ｃ、Ｄは、任意に設定することができる。

　式（１１）の演算によって得られる各画素の信号Ｐ２９で構成される第３のλ３画像情報Ｓ２９は、実施形態１における第６の画像情報Ｓ３０２に比べ、鏡面反射成分の割合を変化させた画像である。

　この機能により、被写体が顔肌の場合では肌表面の毛穴やキメなどの状態の強調度合いを任意にコントロールした画像を得ることができる。

　なお式（１１）で、Ｃ＝１、Ｄ＝０．５に設定した場合、第３のλ３画像情報Ｓ２９は、実施形態１における第６の画像情報Ｓ３０２と等価となる。

　（実施の形態２）
　次に、第２の実施の形態を説明する。本実施の形態は、撮像装置Ａの撮像部ＩＰの構成が異なる点で、実施の形態１と異なる。以下の説明では、実施の形態１と異なる点を中心に説明し、共通する事項についての詳細な説明は省略する。

　図６は、本実施形態の撮像部ＩＰを示す模式図である。本実施形態の撮像部ＩＰは、光軸Ｖを有するレンズ光学系Ｌｘと、レンズ光学系Ｌｘの焦点近傍に配置されたアレイ状光学素子Ｋと、モノクロの撮像素子Ｎｂとを備える。モノクロの撮像素子Ｎｂは、カラーフィルタや偏光フィルタを有しない撮像素子である。

　レンズ光学系Ｌｘは、被写体（図示せず）からの光が入射する絞りＳと、絞りＳを通過した光が入射する光学素子Ｌ１ｓと、光学素子Ｌ１ｓを通過した光が入射する光学素子Ｌ１ｐと、光学素子Ｌ１ｐを通過した光が入射するレンズＬ２とを有する。レンズ光学系Ｌｘは、第１、第２、第３、および第４の光学領域Ｄ１、Ｄ２、Ｄ３、およびＤ４を有する。図６には、第２および第３の光学領域Ｄ２、Ｄ３は描かれていない。

　レンズＬ２は、１枚のレンズで構成されていてもよいし、複数枚のレンズで構成されていてもよい。また、絞りＳの前後に複数枚に分かれて配置された構成であってもよい。図６では、レンズＬ２は１枚のレンズから構成されているものとして図示されている。

　図７Ａは、光学素子Ｌ１ｓを被写体側から見た場合の正面図である。光学素子Ｌ１ｓは、絞りＳと光学素子Ｌ１ｐとの間に配置されている。

　光学素子Ｌ１ｓは、光学領域Ｄ１、Ｄ２、Ｄ３、およびＤ４に配置されている。光学領域Ｄ１、Ｄ２、Ｄ３、およびＤ４は、光軸Ｖを境界中心として光軸Ｖに垂直な面内で上下左右に４分割された領域である。光学素子Ｌ１ｓのうち光学領域Ｄ１、Ｄ２、Ｄ３、およびＤ４に位置する部分の分光透過率特性は、光学領域Ｄ３とＤ４とは同一であるが、光学領域Ｄ１、およびＤ２とは互いに異なる。また、光学領域Ｄ１、およびＤ２に位置する部分の分光透過率特性も異なる。

　具体的には、光学素子Ｌ１ｓの光学領域Ｄ１、Ｄ２に対応する領域には、それぞれ第１の波長帯域λ１の光を主に透過する領域、第２の波長帯域λ２の光を主に透過する領域が配置されている。光学素子Ｌ１ｓの光学領域Ｄ３、Ｄ４に対応する領域には、ともに第３の波長帯域λ３の光を主に透過する領域が配置されている。

　図７Ｂは、光学素子Ｌ１ｐを被写体側から見た場合の正面図である。光学領域Ｄ１、Ｄ２、Ｄ３、およびＤ４は光軸Ｖを境界中心として光軸Ｖに垂直な面内で上下左右に４分割された領域である。光学素子Ｌ１ｐのうち光学領域Ｄ３に位置する部分のみに、第１の偏光軸の方向に偏光した光を主に透過する偏光フィルタＰＬｂ１が配置され、光学領域Ｄ４に位置する部分のみに、第２の偏光軸の方向に偏光した光を主に透過する偏光フィルタＰＬｂ２が配置され、その他の領域に位置する部分には、全ての方向に偏光した光を透過するガラス板が配置されている。

　図８は、アレイ状光学素子Ｋの斜視図である。アレイ状光学素子Ｋにおける撮像素子Ｎ側の面には、光学要素Ｍが格子状に配置されている。それぞれの光学要素Ｍの断面（縦方向および横方向それぞれの断面）は曲面形状であり、それぞれの光学要素Ｍは、撮像素子Ｎ側に突出している。このように、光学要素Ｍはマイクロレンズであり、アレイ状光学素子Ｋは、マイクロレンズアレイである。

　図９Ａは、アレイ状光学素子Ｋと撮像素子Ｎｂとを拡大して示す図であり、図９Ｂは、アレイ状光学素子Ｋと撮像素子Ｎｂ上の画素との位置関係を示す図である。アレイ状光学素子Ｋは、光学要素Ｍが形成された面が撮像面Ｎｉ側に向かうように配置されている。撮像面Ｎｉには、画素Ｐが行列状に配置されている。画素Ｐは、画素Ｐｂ１、画素Ｐｂ２、画素Ｐｂ３、および画素Ｐｂ４に区別できる。

　アレイ状光学素子Ｋは、レンズ光学系Ｌｘの焦点近傍に配置されており、かつ撮像面Ｎｉから所定の距離だけ離れた位置に配置されている。また、撮像面Ｎｉ上には、画素Ｐｂ１、Ｐｂ２、Ｐｂ３、Ｐｂ４の表面を覆うようにマイクロレンズＭｓが設けられている。

　アレイ状光学素子Ｋは、光学素子Ｌ１ｓ、およびＬ１ｐで構成される光学領域Ｄ１、Ｄ２、Ｄ３、およびＤ４を通過した光束の大部分がそれぞれ撮像面Ｎｉ上の画素Ｐｂ１、画素Ｐｂ２、画素Ｐｂ３、および画素Ｐｂ４に到達するように設計されている。具体的には、アレイ状光学素子Ｋの屈折率、撮像面Ｎｉからの距離及び光学要素Ｍ表面の曲率半径等のパラメータを適切に設定することにより、上記構成が実現する。

　従って、画素Ｐｂ１には、第１の波長帯域λ１の光が主に入射するため、画素Ｐ１の出力のみを抽出することにより、第１の波長帯域λ１の光の情報を有する第１の画像情報Ｓ１０１を生成することができる。同様に、画素Ｐｂ２の出力のみを抽出することにより、第２の波長帯域λ２の光の情報を有する第２の画像情報Ｓ１０２を生成することができる。また、画素Ｐｂ３には、第３の波長帯域λ３において第１の偏光軸の方向に偏光した光が主に入射するため、画素Ｐｂ３の出力のみを抽出することにより、第１の偏光軸の方向に振動し、かつ第３の波長帯域λ３の光の情報を有する第３の画像情報Ｓ１０３を生成することができる。また、画素Ｐｂ４には、第３の波長帯域λ３において第２の偏光軸の方向に偏光した光が主に入射するため、画素Ｐｂ４の出力のみを抽出することにより、第２の偏光軸の方向に振動し、かつ第３の波長帯域λ３の光の情報を有する第４の画像情報Ｓ１０４を生成することができる。

　このような構成により、撮像部ＩＰは、第１の画像情報Ｓ１０１、第２の画像情報Ｓ１０２、第３の画像情報Ｓ１０３、および第４の画像情報Ｓ１０４を取得することができる。これらの画像情報に基づく画像合成処理は、実施の形態１、参考形態で示した画像処理の手順のいずれか、あるいは両方を適用することができる。

　また、本実施の形態では、光学素子Ｌ１ｓ、およびＬ１ｐの光学領域Ｄ１、Ｄ２、Ｄ３、およびＤ４が互いに離間しているため、撮像領域ＮｉにおけるＰｂ１、Ｐｂ２、Ｐｂ３、およびＰｂ４で取得した画像には、互いに被写体距離に対応した視差が発生する。従って、演算処理部ＰＲ１またはＰＲ２は、第１から第４の画像情報Ｓ１０１～Ｓ１０４に含まれる視差を補正した上で、上述の画像処理を行ってもよい。例えば、図３Ａおよび図３Ｂに示す第５の画像情報Ｓ３０１を生成する場合は、第１の演算処理部ＰＲ１が第３の画像情報Ｓ１０３と第４の画像情報Ｓ１０４との間の視差を補正した後に合成してもよい。具合的には、第１の画像情報Ｓ１０１を基準画像とし、第２の画像情報Ｓ１０２の視差補正画像、第３の画像情報Ｓ１０３の視差補正画像、第４の画像情報Ｓ１０４の視差補正画像をそれぞれ生成した後に合成処理を行えばよい。各視差補正画像は、各画像の微小ブロック毎にパターンマッチングを行うことにより抽出し、微小ブロック毎に抽出した視差の分だけ画像をずらすことにより生成できる。

　以上のような構成により、実施の形態１、参考形態と同様、通常のカラー画像と、拡散成分が強調された画像およびそのカラー画像と、鏡面反射成分が強調された画像およびそのカラー画像とを同時に取得できる撮像システムを実現することができる。

　本実施の形態では、光学素子Ｌ１ｓおよびＬ１ｐの構成を目的に応じて変更することができる。特に、光学素子Ｌ１ｓにおいては、誘電体多層膜を適用することにより、所望の分光特性を設計することができるため、分光特性のカスタマイズが容易になる。

　上記の例では、アレイ状光学素子Ｋが撮像面Ｎｉから所定の距離だけ離れた位置に配置されているが、空間を設けるのではなく、撮像素子の上部に直接構成してもよい。

　（実施の形態３）
　次に、第３の実施の形態を説明する。本実施の形態は、撮像装置Ａの撮像部ＩＰの構成が異なる点で、実施の形態１、および２と異なる。以下、実施の形態１、および２と異なる点を中心に説明し、共通する事項についての詳細な説明は省略する。

　図１０は、本実施形態の撮像部ＩＰの構成を示す模式図である。本実施形態の撮像装置の撮像部ＩＰは、複眼レンズＬＬと、第１の波長帯域λ１の光を主に透過するバンドパスフィルタＦ１と、第２の波長帯域λ２の光を主に透過するバンドパスフィルタＦ２と、第３の波長帯域λ３の光を主に透過するバンドパスフィルタＦ３と、同じく第３の波長帯域λ３の光を主に透過するバンドパスフィルタＦ４と、第１の偏光軸の方向に偏光した光を主に透過する第１の偏光フィルタＰＬｃ１と、第２の偏光軸の方向に偏光した光を主に透過する第２の偏光フィルタＰＬｃ２と、撮像素子Ｎｃとを有している。

　複眼レンズＬＬには、撮像素子Ｎｃの撮像面Ｎｉにほぼ平行な同一平面上にレンズＬａ１、Ｌａ２、Ｌａ３、およびＬａ４が配列されている。また、撮像素子Ｎｃ上の撮像面Ｎｉには、レンズＬａ１、Ｌａ２、Ｌａ３、およびＬａ４にそれぞれ一対一に対応する撮像領域Ｎｉ１、Ｎｉ２、Ｎｉ３、およびＮｉ４が設定されている。

　撮像部ＩＰは、４つの光路によって被写体（図示せず）を撮像する。すなわち、レンズＬａ１と第１の波長帯域λ１の光を主に透過するバンドパスフィルタＦ１とを介して撮像領域Ｎｉ１に到達する光路、レンズＬａ２と第２の波長帯域λ２の光を主に透過するバンドパスフィルタＦ２とを介して撮像領域Ｎｉ２に到達する光路、レンズＬａ３と第３の波長帯域λ３の光を主に透過するバンドパスフィルタフィルタＦ３と第１の偏光フィルタＰＬｃ１とを介して撮像領域Ｎｉ３に到達する光路、およびレンズＬａ４と第３の波長帯域λ３の光を主に透過するバンドパスフィルタフィルタＦ４と第２の偏光フィルタＰＬｃ２とを介して撮像領域Ｎｉ４に到達する光路である。

　このような構成により、撮像部ＩＰは、撮像領域Ｎｉ１、Ｎｉ２、Ｎｉ３、およびＮｉ４から、それぞれ第１の波長帯域λ１の光の情報を有する第１の画像情報Ｓ１０１、第２の波長帯域λ２の光の情報を有する第２の画像情報Ｓ１０２、第３の波長帯域λ３の光の情報を有しかつ第１の偏光軸の方向に偏光した光の情報を有する第３の画像情報Ｓ１０３、および第３の波長帯域λ３の光の情報を有しかつ第２の偏光軸の方向に偏光した光の情報を有する第４の画像情報Ｓ１０４を取得することができる。

　また、本実施の形態では、レンズＬａ１、Ｌａ２、Ｌａ３、およびＬａ４が互いに離間して配列されているため、撮像領域Ｎｉ１、Ｎｉ２、Ｎｉ３、およびＮｉ４で取得した画像には、互いに被写体距離に対応した視差が発生する。従って、演算処理部ＰＲ１またはＰＲ２は、第１から第４の画像情報Ｓ１０１～Ｓ１０４に含まれる視差を補正した上で、上述の画像処理を行ってもよい。例えば、図３Ａおよび図３Ｂに示す第５の画像情報Ｓ３０１を生成する場合は、第１の演算処理部ＰＲ１が第３の画像情報Ｓ１０３と第４の画像情報Ｓ１０４との間の視差を補正した後に合成してもよい。具合的には、第１の画像情報Ｓ１０１を基準画像とし、第２の画像情報Ｓ１０２の視差補正画像、第３の画像情報Ｓ１０３の視差補正画像、第４の画像情報Ｓ１０４の視差補正画像をそれぞれ生成した後に合成処理を行えばよい。各視差補正画像は、各画像の微小ブロック毎にパターンマッチングを行うことにより抽出し、微小ブロック毎に抽出した視差の分だけ画像をずらすことにより生成できる。

　このような構成により、撮像部ＩＰは、第１の画像情報Ｓ１０１、第２の画像情報Ｓ１０２、第３の画像情報Ｓ１０３、および第４の画像情報Ｓ１０４を取得することができる。画像合成は、実施の形態１および参考形態で示した画像処理の手順のいずれか、あるいは両方を適用することができる。

　以上のような構成により、実施の形態１および２と同様に通常のカラー画像と、拡散成分が強調された画像およびそのカラー画像と、鏡面反射成分が強調された画像およびそのカラー画像とを同時に取得できる撮像システムを実現することができる。

　（実施の形態４）
　次に、第４の実施の形態を説明する。本実施の形態は、偏光照明Ｑａにおける偏光フィルタＰＬＱ１の偏光軸の方向が水平方向に設定されている点で、実施の形態１、２、および３と異なる。以下、実施の形態１、２、および３と異なる点を主に説明し、共通する事項についての説明は省略する。

　図１１Ａは、本実施形態の撮像システムＡＰを示す模式図である。撮像システムＡＰは、偏光照明Ｑａと、撮像装置Ａと、表示装置（ディスプレイ）ＤＰとを有している。表示装置ＤＰは、偏光照明Ｑａの照射方向と同じ側に設けられ、撮像によって生成した画像を表示するように構成されている。撮像システムＡＰは、図示される要素の他、筐体の内部に制御部ＣＳ、撮像部、演算処理部などの他の要素を有している。このような構成により、撮像システムＡＰは、電子ミラーとして利用することができる。

　本実施形態の偏光照明Ｑａにおける偏光フィルタＰＬＱ１は、第１の偏光軸の方向が水平方向に設定されている。本明細書において「水平方向」とは、撮像システムＡＰが撮影を行っている最中の偏光照明Ｑａの姿勢において、地表面にほぼ平行な方向を意味する。通常、撮像システムＡＰは、人が直立している状態または座っている状態で撮影を行う。したがって、この撮影中の状態において、第１の偏光軸の方向が地表面にほぼ平行になるように偏光フィルタＰＬＱ１が設けられていればよい。なお、「ほぼ平行」とは、厳密に平行である場合に限らず、例えば１５度よりも小さい角度で傾いている場合も含むものとする。一方、本明細書において「垂直方向」とは、撮影中の偏光照明Ｑａの姿勢において、地表面にほぼ垂直な方向を意味する。「ほぼ垂直」とは、厳密に垂直である場合に限らず、例えば７５度～１０５度の範囲で傾いている場合も含むものとする。

　本実施形態では、偏光フィルタＰＬＱ１は、水平方向に偏光した光を主に透過させ、第１の偏光軸と直交する方向、すなわち垂直方向に偏光した光の大部分を吸収する。したがって、被写体Ｏｂには、水平方向に偏光した光のみが照射される。この光による顔肌での鏡面反射成分には、照射される光の偏光情報が維持され、水平方向に偏光した光が多く含まれることになる。

　一方、通常の室内照明下での使用を想定した場合、図１１Ｂに示すように、被写体Ｏｂの上方に照明装置ＥＸＬが設置されている場合が多い。そのような照明装置ＥＸＬからの光による顔肌の鏡面反射成分には垂直方向の成分の多くが除去され、水平方向に偏光した光が多く含まれると考えられる。仮に偏光照明Ｑａにおける偏光フィルタＰＬＱ１の偏光軸の方向が水平方向からずれている場合、鏡面反射成分の画像情報を正しく得られないおそれがある。

　そこで、本実施形態では、偏光フィルタＰＬＱ１の偏光軸の方向は水平方向に設定される。これにより、偏光照明Ｑａによる被写体Ｏｂからの反射光の鏡面反射成分の偏光軸の方向と通常の室内照明による鏡面反射成分の偏光軸の方向とが一致することになる。このため、撮像部ＩＰにおける偏光フィルタによる光線制御の精度を保つことができる。

　本実施形態のように、表示装置ＤＰを追加すれば、肌のシミ等の生体の特徴箇所を示す画像をリアルタイムに確認することができる。また、表示装置ＤＰの近傍に偏光照明Ｑａと撮像装置Ａを配置することにより、効率よく被写体を照明し、その被写体の画像を表示することが可能となる。ここで、「近傍」とは、例えば表示装置ＤＰが長方形状である場合、表示装置ＤＰの外周部と偏光照明Ｑａまたは撮像装置Ａの外周部との距離（空間間隔）が、表示装置ＤＰの長辺の長さよりも短い場合を指す。表示装置ＤＰが仮に楕円形状である場合、「近傍」とは、表示装置ＤＰの外周部と偏光照明Ｑａまたは撮像装置Ａの外周部との距離（空間間隔）が長径よりも短い場合を指す。

　表示装置ＤＰとして、複数の偏光フィルタを備える液晶ディスプレイを用いた場合、その液晶ディスプレイの偏光軸の方向を偏光照明Ｑａの偏光フィルタＰＬＱ１の偏光軸の方向に一致させるように配置すれば、液晶ディスプレイ自体からの光も被写体に対する照明の一部とすることができるため、効率がよい。

　表示装置ＤＰとして液晶ディスプレイを用いた場合、例えば図１１Ｃに示すように、液晶ディスプレイの一部を偏光照明Ｑａとして利用してもよい。この場合、偏光照明Ｑａとして用いられる液晶ディスプレイの一部には、カラーフィルタが設けられている必要はない。図１１Ｃの例では偏光照明Ｑａは表示装置ＤＰの両側に設けられているが、周囲を囲むように設けられていてもよい。

　また、撮像システムの構成要素に図１１Ｂに示す照明装置ＥＸＬのような補助照明が含まれていてもよい。本実施形態では、偏光照明Ｑａの偏光軸の方向が水平方向に設定されているため、補助照明が存在していても、実施形態１または参考形態の画像処理により、適切に画像を生成することができる。

　以上のような構成により、本実施形態の撮像システムＡＰは、多少外乱光が存在する環境下においても、実施の形態１、２、および３と同様に通常のカラー画像と、拡散成分が強調された画像およびそのカラー画像と、鏡面反射成分が強調された画像およびそのカラー画像とを同時に取得することができる。

　なお、本実施形態においては、必ずしも実施形態１または参考形態における全ての画像処理を行う必要はない。用途に応じて一部の画像情報のみを生成してもよい。例えば、撮像装置Ａは、水平方向に偏光した光の情報を有する水平偏光画像情報、および垂直方向に偏光した光の情報を有する垂直偏光画像情報のみを生成するように構成されていてもよい。その場合、撮像装置Ａには、水平方向に偏光した光のみを透過させる偏光フィルタ、および垂直方向に偏光した光のみを透過させる偏光フィルタが設けられていればよい。

（他の実施の形態）
　実施の形態１～４は、偏光特性を有しない（偏光フィルタを設けていない）画素からの画像情報として第１の波長帯域の光の情報、および第２の波長帯域の光の情報を取得しているが、本願発明はこれに限定されない。偏光特性を有しない画像情報として、第１の波長帯域の光の情報のみを取得してもよいし、第１及び第２の波長帯域の光の情報と、他の波長帯域の光の情報とを取得してもよい。

　また、実施の形態１～４は、被写体の顔等を撮影して肌の健康状態を診断する用途として記載しているが、本願発明はこれに限定されない。

　たとえば、車載カメラとして例えば路面状態を検出する用途として使用してもよい。この場合、偏光特性を有する第３及び第４の画像情報を用いて、路面の湿潤状態を検出することができる。また、偏光特性を有しない第１の画像情報に基づいて、信号検出、黄色線、交通標識などを検出することができる。このとき、差分演算を行うなど、偏光特性を有する画像情報を用いた補正は行わない。これにより、ノイズの影響を低減した検出を行うことができる。偏光照明は必ずしも必要でない。

　そのほかに、食品の成分を検出するセンシングカメラとして使用してもよい。食品成分の検出方法としては、例えば、撮影した画像情報から近赤外領域の吸収スペクトルを測定した結果と、既知のサンプル食品データ群の近赤外領域に対する吸光度と、に基づいて推定する方法が考えられる。しかし、この場合、食品表面での鏡面反射が大きいと食品内部からの拡散反射光が遮られてしまい、正確な成分計測が困難になる。そこで、偏光軸の異なる近赤外領域の第３および第４画像情報に基づいて、食品の内部の情報を取得し、内部成分を推定してもよい。また、偏光特性を有しない第１の画像情報を用いて、食品の位置や色情報を検出してもよい。このとき、差分演算を行うなど、偏光特性を有する画像情報を用いた補正は行わない。これにより、ノイズの影響を低減した検出を行うことができる。偏光照明は必ずしも必要ではない。

　図１２は、このような偏光照明を有しない撮像システムにおける撮像装置Ａが有する演算処理部ＰＲ３による画像処理の流れの一例を示す図である。なお、この例では、上記の第２の画像情報に相当する画像情報を利用しないため、これまでの説明における第３の画像情報および第４の画像情報に対応する画像情報を、それぞれ「第２の画像情報」および「第３の画像情報」と改めて呼んでいる。第２の画像情報Ｓ４０２は、第１の偏光軸の方向に偏光した第２の波長帯域の光の情報を有し、第３の画像情報は、第１の偏光軸の方向とは異なる第２の偏光軸の方向に偏光した第２の波長帯域の光の情報を有する。ここで、第２の波長帯域は、上記の各実施形態における第３の波長帯域に対応するが、各波長帯域の決め方は任意であるため、これらの用語の差異は特に重要ではない。

　したがって、この例における撮像部ＩＰは、被写体で反射された光を受けるように配置され、第１の波長帯域の光の情報を有する第１の画像情報Ｓ４０１、第１の偏光軸の方向に偏光した第２の波長帯域の光の情報を有する第２の画像情報Ｓ４０２、および第１の偏光軸の方向とは異なる第２の偏光軸の方向に偏光した前記第２の波長帯域の光の情報を有する第３の画像情報Ｓ４０３を取得するように構成されている。また、演算処理部ＰＲ３は、第２の画像情報Ｓ４０２および第３の画像情報Ｓ４０３に基づいて被写体の鏡面反射成分の画像情報Ｓ４４２、および内部拡散成分の画像情報Ｓ４４１の少なくとも一方を取得する。演算処理部ＰＲ３は、さらに、第１の画像情報Ｓ４０１に基づいて、第２の画像情報Ｓ４０２および第３の画像情報Ｓ４０３を用いずに被写体情報である第１の画像Ｓ４０５を取得して出力する。

　図１２の例では、実施の形態１と同様、第２の画像情報Ｓ４０２と第３の画像情報Ｓ４０３とで最大値演算処理を行うことによって得られた画像情報を鏡面反射成分の画像情報Ｓ４４２とし、最小値演算処理を行うことによって得られた画像情報を内部拡散成分の画像情報Ｓ４４１としている。ただしこれは一例であり、それ以外の方法で画像情報Ｓ４４１、Ｓ４４２を生成してもよい。

　上記の例では、演算処理部ＰＲ３は、被写体情報を生成する際、第２の画像情報Ｓ４０２および第３の画像情報Ｓ４０３を利用しないこととしたが、これらの画像情報を利用してもよい。これにより、例えば第１の画像Ｓ４０５に比べて鏡面反射成分または内部拡散成分が強調された画像や、色調が補正された画像を生成することができる。ただしこの場合も、第１の画像情報Ｓ４０１と、第２および第３の画像情報Ｓ４０２、Ｓ４０３との差分演算を行わずに被写体情報が生成される。これにより、ノイズの影響を低減した画像を生成することができる。

　以上の各実施形態における演算処理部の機能を、独立した画像処理装置に実装してもよい。そのような画像処理装置は、例えば図３Ａ、３Ｂ、５Ａ、５Ｂ、図１２のいずれかに示される信号演算を行うことにより、実施形態１または参考形態におけるいずれかの画像情報を生成するように構成される。

　本願の技術は、上述の各実施形態における処理を規定するソフトウェア（コンピュータプログラム）にも適用され得る。そのようなコンピュータプログラムに規定される動作は、例えば図３Ａ、３Ｂ、５Ａ、５Ｂ、図１２に示すとおりである。このようなプログラムは、可搬型の記録媒体に記録されて提供され得る他、電気通信回線を通じても提供され得る。装置に搭載されたコンピュータがこのようなプログラムを実行することにより、上記の実施形態で説明した各種動作を実現することができる。

　本発明の一態様にかかる撮像システムは、例えば肌診断カメラ、電子ミラー、化粧支援装置、車載カメラ、食品センシングカメラ等の撮像装置および表示装置として有用である。

　　ＩＰ　　　　　　　　　　　　　撮像部
　　Ａ　　　　　　　　　　　　　　撮像装置
　　ＡＰ　　　　　　　　　　　　　撮像システム
　　λ１～λ３　　　　　　　　　　波長帯域
　　Ｓ１０１～Ｓ１０４　　　　　　画像情報
　　ＰＲ１、ＰＲ２　　　　　　　　演算処理部
　　Ｓ３０１～Ｓ３０４、Ｓ３０６　画像情報
　　Ｓ３０５、Ｓ３０７、Ｓ３０８　カラー画像
　　Ｓ２１～Ｓ２９　　　　　　　　画像情報
　　Ｐ３０３、Ｐ３０４、Ｐ３０６　輝度値
　　Ｓ４０１～Ｓ４０３             画像情報
　　Ｓ４０５                       第１の画像
　　Ｓ４４１                       内部拡散成分の画像情報
　　Ｓ４４２                       鏡面反射成分の画像情報
　　Ｐ２１～Ｐ２９　　　　　　　　輝度値
　　Ｒｇ、Ｇｇ、Ｂｇ　　　　　　　ホワイトバランスゲイン
　　Ｑａ　　　　　　　　　　　　　偏光照明
　　ＬＳ１　　　　　　　　　　　　光源
　　ＰＬＱ１、ＰＬｂ１、ＰＬｂ２　偏光フィルタ
　　ＰＬｃ１、ＰＬｃ２　　　　　　偏光フィルタ
　　Ｌ、Ｌ２　　　　　　　　　　　レンズ
　　Ｏｂ　　　　　　　　　　　　　被写体
　　ＣＳ　　　　　　　　　　　　　制御部
　　ＥＸＴ　　　　　　　　　　　　外部装置
　　Ｎａ、Ｎｂ、Ｎｃ　　　　　　　撮像素子
　　ＬＬ　　　　　　　　　　　　　複眼レンズ
　　Ｌａ１～Ｌａ４　　　　　　　　複眼レンズの光学要素
　　Ｆ１～Ｆ４　　　　　　　　　　バンドパスフィルタ
　　Ｎｉ　　　　　　　　　　　　　撮像面
　　Ｎｉ１～Ｎｉ４　　　　　　　　撮像面上の撮像領域
　　Ｐａ１～Ｐａ４　　　　　　　　撮像素子上の画素
　　Ｌｘ　　　　　　　　　　　　　レンズ光学系
　　Ｌ１ｓ、Ｌ１ｐ　　　　　　　　光学素子
　　Ｄ１～Ｄ４　　　　　　　　　　光学領域
　　Ｓ　　　　　　　　　　　　　　絞り
　　Ｖ　　　　　　　　　　　　　　光軸
　　Ｂ１～Ｂ４　　　　　　　　　　光線
　　Ｋ　　　　　　　　　　　　　　アレイ状光学素子
　　Ｍ　　　　　　　　　　　　　　アレイ状光学素子における光学要素
　　Ｍｓ　　　　　　　　　　　　　撮像素子上のマイクロレンズ
　　Ｐｂ１～Ｐｂ４　　　　　　　　撮像素子上の画素
　　Ｔ　　　　　　　　　　　　　　撮像装置内の偏光フィルタの最大透過率
　　Ｃ、Ｄ、Ｅ，Ｆ　　　　　　　　画素演算時の合成係数
　　ＤＰ　　　　　　　　　　　　　表示装置
　　ＥＸＬ　　　　　　　　　　　　照明装置

Claims (3)

1. 　被写体で反射された光を受けるように配置され、第１の波長帯域の光の情報を有する第１の画像情報、第１の偏光軸の方向に偏光した第２の波長帯域の光の情報を有する第２の画像情報、および前記第１の偏光軸の方向とは異なる第２の偏光軸の方向に偏光した前記第２の波長帯域の光の情報を有する第３の画像情報を取得するように構成された撮像部と、
   　前記第２および第３の画像情報に基づいて前記被写体の鏡面反射成分の画像情報、または内部拡散成分の画像情報を取得し、前記第１の画像情報に基づいて、前記第２および第３の画像情報を用いずに前記被写体情報を取得して出力するように構成された演算処理部と、
   を備えた撮像システム。
2. 　被写体で反射された光を受けるように配置され、第１の波長帯域の光の情報を有する第１の画像情報、第１の偏光軸の方向に偏光した第２の波長帯域の光の情報を有する第２の画像情報、および前記第１の偏光軸の方向とは異なる第２の偏光軸の方向に偏光した前記第２の波長帯域の光の情報を有する第３の画像情報を取得するように構成された撮像部と、
   　前記第２および第３の画像情報に基づいて前記被写体の鏡面反射成分の画像情報、または内部拡散成分の画像情報を取得し、前記第１の画像情報に基づいて、前記第２および第３の画像情報との差分演算を行わずに前記被写体情報を取得して出力するように構成された演算処理部と、
   を備えた撮像システム。
3. 　第１の偏光軸の方向に偏光した光を出射するように構成された偏光照明と、
   　前記偏光照明から出射され被写体で反射された光を受けるように配置され、第１の波長帯域の光の情報を有する第１の画像情報、第２の波長帯域の光の情報を有する第２の画像情報、前記第１の偏光軸の方向に偏光した第３の波長帯域の光の情報を有する第３の画像情報、および前記第１の偏光軸の方向とは異なる第２の偏光軸の方向に偏光した前記第３の波長帯域の光の情報を有する第４の画像情報を取得するように構成された撮像部と、
   　前記第３および第４の画像情報における対応画素対のうち輝度値の小さい画素を対応画素対ごとに選択することによって得られる低輝度画像情報、および前記第３および第４の画像情報における対応画素対のうち輝度値の大きい画素を対応画素対ごとに選択することによって得られる高輝度画像情報の少なくとも一方、および前記第３および第４の画像情報における対応画素対ごとの輝度値の平均値を示す平均画像情報を生成し、前記第１の画像情報、前記第２の画像情報、および前記平均画像情報に基づく画像処理により、カラー画像を生成するように構成された演算処理部と、
   を備えた撮像システム。

Images