JP5796191B2 - 撮像システム - Google Patents

Description

本願は肌等の生体を撮影するための撮像システムに関する。

生体の肌の観察を行うための撮影システムが開発されている。例えば特許文献１は、偏光フィルタを備えた紫外線照明と偏光フィルタを備えた紫外線カメラとを用いて肌のシミを観察する撮像システムを開示している。

このような撮像システムは、所定の偏光軸の方向に振動する光を生体組織に照射する偏光照明を備えている。所定の偏光光は、生体表面において、偏光成分を維持された鏡面反射光となり、生体表面下では、偏光成分が乱れた散乱反射光となる。したがって、撮像装置側に偏光照明の偏光軸と垂直な方向に振動する光を透過する偏光フィルタを配置することで、生体表面下の画像を取得することが可能となる。

また、特許文献２は、紫外線照明画像と可視照明画像とを時分割で順次撮影し、これらを合成することにより、肌の状態を区別するための合成画像を生成する撮像システムを開示している。

特開２００８−２３７２４３号公報 特開２００４−８１７３５号公報

本願発明者が従来の肌を観察する撮像システムを詳細に検討したところ、特に動画を取得するのに適さない場合があることが分かった。本願の限定的ではない、例示的なある実施の形態は、動画を取得することが可能な、肌を観察する撮像システムを提供する。

本発明の一態様である撮像システムは、第１の偏光軸と平行な方向に振動する光の成分を含む照明光を出射する偏光照明と、前記照明光による同じ時刻における被写体からの光に基づき、第１の波長帯域の光の情報を有する第１の画像情報、第２の波長帯域の光の情報を有する第２の画像情報、第３の波長帯域の光の情報を有する第３の画像情報、および、前記偏光照明から出射され前記被写体を反射して、前記第１の偏光軸とは異なる第２の偏光軸と平行な方向に振動し、前記照明光の前記光の成分と同じ波長帯域である第４の波長帯域の光の情報を有する第４の画像情報を同時に取得するように構成された撮像ユニットと、前記第１、前記第２および前記第３の画像情報を用いて第１のカラー画像情報を生成するように構成された第１の演算処理部と、前記第１から前記第３の画像情報のそれぞれと、前記第４の画像情報とをそれぞれ合成処理して第２のカラー画像情報を生成するように構成された第２の演算処理部とを備える。

本発明の一態様によれば、生体の肌等をリアルタイムに観察し得る撮像システムを提供することができる。

本発明による撮像システムの実施の形態１の構成を示す模式図である。 実施の形態１の撮像システムにおける撮像装置の構成例を示すブロック図である。 実施の形態１の撮像システムにおける撮像部の構成例を示す模式図である。 実施の形態１における撮像装置の画像処理の内容を示す模式図である。 実施の形態２および３の撮像システムにおける撮像装置の構成を示すブロック図である。 実施の形態２におけるコントラスト強調処理を説明するグラフである。 （ａ）から(ｃ)は、実施の形態３におけるコントラスト強調処理を説明するグラフである。 実施の形態４の撮像システムにおける撮像部の構成を示す模式図である。 実施の形態５の撮像システムにおける撮像部の構成を示す模式図である。 （ａ）は、実施の形態６の撮像システムにおける撮像装置の構成を示すブロック図であり、（ｂ）は撮像素子上の画素の配列を示す図である。 実施の形態７の撮像システムにおける撮像装置の構成を示す模式図である。 （ａ）は、実施の形態７における光学素子Ｌ１ｓの光学領域Ｄ１、Ｄ２、Ｄ３およびＤ４を被写体側から見た正面図であり、（ｂ）は、光学素子Ｌ１ｐの光学領域Ｄ１、Ｄ２、Ｄ３およびＤ４を被写体側から見た正面図である。 実施の形態７におけるアレイ状光学素子Ｋの斜視図である。 （ａ）は、実施の形態７におけるアレイ状光学素子Ｋおよび撮像素子Ｎを拡大して示す図であり、（ｂ）は、アレイ状光学素子Ｋと撮像素子Ｎ上の画素との位置関係を示す図である。 実施の形態８の撮像システムにおける撮像装置の構成を示すブロック図である。 実施の形態８の撮像システムにおける撮像部の構成を示す模式図である。

本願発明者が従来の撮像システムを検討したところ、課題があることが分かった。具体的には、特許文献１では、波長帯域の異なる複数の偏光照明と、偏光照明と直交した偏光成分の光を透過する偏光フィルタが配置されたカメラによって、複数の波長帯域の偏光画像が取得される。波長帯域の異なる画像は、時分割で取得されるため、特許文献１の撮像システムは動画の撮像に適さない。また、紫外線照明のみを用いるため、可視光による画像との比較ができない。

特許文献２でも、紫外線照明による画像と可視照明による画像とは時分割で順次取得される。このため動画の撮像には適さない。また、紫外線照明による画像と可視照明による画像の合成画像は、紫外線照明による画像と、可視照明による画像の色調を紫に調整した画像との差分信号に基づいて生成される。このため、通常のカラー画像の色調や階調とは異なった画像となる。したがって、肌のシミかどうかを判定するには、合成画像と合成前の画像と並べて見比べる必要がある。そのため、例えばディスプレイ上に並べて表示すると、１つ１つの画像の情報量が少なくなるという課題が生じる。

本願発明者はこのような従来技術の課題に鑑み、生体の肌等を撮影するための新規な撮像システムを想到した。本発明の一態様である撮像システムは以下の通りである。

本発明の一態様である撮像システムは、第１の偏光軸と平行な方向に振動する光の成分を含む照明光を出射する偏光照明と、前記照明光による同じ時刻における被写体からの光に基づき、第１の波長帯域の光の情報を有する第１の画像情報、第２の波長帯域の光の情報を有する第２の画像情報、第３の波長帯域の光の情報を有する第３の画像情報、および、前記偏光照明から出射され前記被写体を反射して、前記第１の偏光軸とは異なる第２の偏光軸と平行な方向に振動し、前記照明光の前記光の成分と同じ波長帯域である第４の波長帯域の光の情報を有する第４の画像情報を同時に取得するように構成された撮像ユニットと、前記第１、前記第２および前記第３の画像情報を用いて第１のカラー画像情報を生成するように構成された第１の演算処理部と、前記第１から前記第３の画像情報のそれぞれと、前記第４の画像情報とをそれぞれ合成処理して第２のカラー画像情報を生成するように構成された第２の演算処理部とを備える。

前記第４の波長帯域の中心波長は、前記第１、前記第２、および前記第３の波長帯域の中心波長よりも短くてもよい。

前記第４の波長帯域は、前記第３の波長帯域と同じ波長帯域であって、前記第３および前記第４の波長帯域の中心波長は、前記第１および第２の波長帯域の中心波長よりも短くてもよい。

前記第１、前記第２、前記第３および前記第４の波長帯域は、いずれも可視光の波長帯域であってもよい。

前記第１、前記第２、および前記第３の波長帯域は、いずれも可視光の波長帯域であり、前記第４の波長帯域は近紫外光の波長帯域であってもよい。

前記第２の演算処理部における前記合成処理の前に、前記第４の画像情報のコントラストを強調する処理を行うように構成された第３の演算処理部をさらに備えていてもよい。

前記第３の演算処理部は、前記コントラストの強調を行う前に、前記第４の画像情報において、所定の大きさの画像ブロック毎に階調値の平均値を計算し、所定の正規化の階調値と前記平均値の比に基づいて前記画像ブロックの各画素の階調値のゲイン調整を行ってもよい。

前記合成処理は、乗算処理を含んでいてもよい。

前記撮像ユニットは、第１の撮像素子および第２の撮像素子を備え、前記第１、前記第２および前記第３の画像情報を前記第１の撮像素子で取得し、前記第４の画像情報を前記第２の撮像素子で取得してもよい。

前記撮像ユニットは、前記被写体からの光線を前記第１の撮像素子に導く光路と前記第２の撮像素子に導く光路に分割する光路分割構造をさらに備えていてもよい。

前記撮像ユニットは撮像素子を備え、前記第１、前記第２、前記第３、および前記第４の画像情報を前記撮像素子で取得してもよい。

前記撮像ユニットは４つのレンズがアレイ状に配列されたレンズアレイと、前記４つのレンズのそれぞれの光路上で一対一に対応するように配置された前記第１から前記第４の波長帯域の光の情報を透過する分光フィルタとをさらに備え、前記撮像素子は、前記４つのレンズと一対一に対応する４つの撮像領域を含んでいてもよい。

前記撮像素子は、平面状に配列された複数の光電変換部と、前記複数の光電変換部上に配置され、前記第１から前記第４の波長帯域の光をそれぞれ透過する第１から第４の分光フィルタと、前記第４の分光フィルタが配置された光電変換部上に配置され、前記第２の偏光軸を有する複数の偏光フィルタを含んでいてもよい。

前記撮像ユニットは、レンズ光学系と、前記レンズ光学系と前記撮像素子との間に配置されたアレイ状光学素子とを備え、前記撮像素子は、前記レンズ光学系を通過した光が入射する複数の第１の光電変換部、複数の第２の光電変換部、複数の第３の光電変換部、および複数の第４の光電変換部とを有し、前記レンズ光学系は、４つの光学領域を有し、前記４つの光学領域は、第１の波長帯域の光を透過する第１の光学領域と、第２の波長帯域の光を透過する第２の光学領域と、第３の波長帯域の光を透過する第３の光学領域と、前記第２の偏光軸に平行な方向に振動する光を主に透過し、かつ、第４の波長帯域の光を透過する第４の光学領域とを含み、前記アレイ状光学素子は、前記第１、前記第２、前記第３、および前記第４の光学領域を通過した光をそれぞれ前記複数の第１の光電変換部、前記複数の第２の光電変換部、前記複数の第３の光電変換部、および前記複数の第４の光電変換部に入射させてもよい。

前記撮像システムは前記撮像部で取得した画像を表示する表示装置をさらに備えていてもよい。

前記偏光照明は、可視光帯域の光を出射する光源と、前記光源から出射した光が透過するように配置された、前記第１の偏光軸を有する偏光フィルタとを含んでいてもよい。

前記偏光照明は、前記第１、第２、第３および第４の波長帯域の光をそれぞれ出射する光源および前記第１の偏光軸を有する偏光フィルタを含み、前記第４の波長帯域の光の出射する光源から出射した光のみが前記偏光フィルタを透過するように前記偏光フィルタは配置されていてもよい。

本発明の他の一態様である撮像システムは、第１の偏光軸と平行な方向に振動する光の成分を含む照明光を出射する偏光照明と、前記照明光による同じ時刻における被写体からの光に基づき、第１の波長帯域の光の情報を有する第１の画像情報、第２の波長帯域の光の情報を有する第２の画像情報、前記偏光照明から出射され前記被写体を反射して、前記第１の偏光軸の方向と平行な方向に振動し、第３の波長帯域の光の情報を有する第５の画像情報、および、前記偏光照明から出射され前記被写体を反射して、前記第１の偏光軸の方向とは異なる第２の偏光軸と平行な方向に振動し、前記第３の波長帯域の光の情報を有する第６の画像情報を取得するように構成された撮像ユニットと、前記第５および前記第６の画像情報を用いて前記第３の波長帯域の光の情報を有する第７の画像情報を生成するように構成された第４の演算処理部と、前記第１、前記第２および前記第７の画像情報を用いて第１のカラー画像情報を生成するように構成された第５の演算処理部と、前記第１のカラー画像情報と前記第５の画像情報とを合成して第３のカラー画像情報を生成するように構成された第６の演算処理部と、前記第１のカラー画像情報と前記第６の画像情報とを合成して第４のカラー画像情報を生成するように構成された第７の演算処理部とを備える。

以下、本発明による撮像装置の実施の形態を、図面を参照しながら説明する。

（実施の形態１）
図１は、実施の形態１の撮像システムＡＰの構成を示す模式図である。図１に示す撮像システムＡＰは、撮像装置Ａと、偏光照明Ｑａと、制御部ＣＳとを備える。本実施の形態では、偏光照明Ｑａは、可視光の光を出射する光源ＬＳ１と、光源ＬＳ１から照射した光が透過するように配置された偏光フィルタＰＬ１を含む。偏光フィルタＰＬ１は、第１の方向に平行な第１の偏光軸を有しており、偏光照明Ｑａから出射する光は、本実施の形態では、第１の方向に振動する可視光帯域の偏光光である。偏光照明Ｑａは、第１、第２、第３および第４の波長帯域の光を含み、このうち、少なくとも第４の波長帯域の光が第１の方向に振動する光であればよい。つまり、偏光照明Ｑａから出射する照明光は、主として第１の方向にのみ振動する第４の波長帯域の成分を含んでおればよく、偏光照明Ｑａから出射する光が、すべて偏光光でなくてもよく、非偏光光を含んでいてもよい。例えば、第１、第２、第３および第４の波長帯域は、赤色（６２０−７５０ｎｍ）、緑色（４９５−５７０ｎｍ）、青色（４５０−４９５ｎｍ）および紫色（３８０−４５０ｎｍ）の波長帯域である。

例えば、光源ＬＳ１が白色光を出射する場合、白色光は、上述した第１、第２、第３および第４の波長帯域の光を含む。この場合、出射した白色光が透過するように偏光フィルタＰＬ１を光源ＬＳ１に対して配置する。あるいは、光源ＬＳ１は、第１、第２、第３および第４の波長帯域の光をそれぞれ出射する独立した４つの発光素子あるいは光源を含んでいてもよい。この場合、少なくとも第４の波長帯域の光を出射する発光素子あるいは光源に偏光フィルタＰＬ１が設けられていればよい。

制御部ＣＳは、撮像装置Ａおよび偏光照明Ｑａの制御や、外部装置Ｅとの入出力制御等を行う。外部装置Ｅは、例えば、撮像システムＡＰから出力された画像を保存するメモリ等の記憶装置、画像を表示する表示装置、画像を処理するパーソナルコンピュータやこれらの組合せである。外部装置Ｅとして表示装置を追加すれば、肌等の画像をリアルタイムに観察することができる。

図２は、撮像装置Ａの構成例を示すブロック図である。撮像装置Ａは、撮像ユニットＩＰと、第１の演算処理部Ｓ２０１と、第２の演算処理部Ｓ２０２とを含む。

図３は、図２に示す撮像ユニットＩＰの構成例を示す模式図である。本実施の形態では撮像ユニットＩＰは、第１の撮像部ＯＳ１および第２の撮像部ＯＳ２を含み、被写体（図示せず）は、第１の撮像部ＯＳ１および第２の撮像部ＯＳ２によってそれぞれ撮影される。

第１の撮像部ＯＳ１は、第１のレンズ光学系Ｌａと、第１の撮像素子Ｎａを有する。第１の撮像素子Ｎａは、本実施の形態では、カラー撮像素子であり、第１の波長帯域の光の情報を有する第１の画像情報Ｓ１０１、第２の波長帯域の光の情報を有する第２の画像情報Ｓ１０２、および第３の波長帯域の光の情報を有する第３の画像情報Ｓ１０３を取得する。上述したように、第１の波長帯域、第２の波長帯域、および第３の波長帯域は、それぞれ、赤色、緑色、および青色の波長帯域を主に含んでいる。例えば、第１の撮像素子Ｎａは、一般的なカラー撮像素子のように、２次元に配置された複数の画素である光電変換部と、カラー画像の１画素を構成する３つあるいは４つの画素あるいは光電変換部に対してそれぞれ設けられた、第１の波長帯域、第２の波長帯域、および第３の波長帯域の光を透過するカラーフィルタとを有している。

第２の撮像部ＯＳ２は、第４の波長帯域の光を主に透過するバンドパスフィルターＦと、第２方向に平行な第２の偏光軸を有し、第２の方向に振動する光を主に透過する第２の偏光フィルタＰＬ２と、第２のレンズ光学系Ｌｂと、第２の撮像素子Ｎｂとを有する。第２の偏光軸は、図２の偏光照明Ｑａに備えられた第１偏光フィルタの第１の偏光軸と直交している。第２の撮像素子Ｎｂは、例えばモノクロ撮像素子であり、第４の波長帯域の光の情報を有し、かつ第２の偏光軸の方向に振動する光の情報を有する画像情報Ｓ１０４を取得する。また、第４の波長帯域は、上述したように、可視光帯域の紫色の波長を主に含む波長帯域である。すなわち、第４の波長帯域の中心波長は、第１の波長帯域の中心波長、第２の波長帯域の中心波長、および第３の波長帯域の中心波長よりも短い。

ここで、レンズ光学系ＬａおよびＬｂは、それぞれ一枚のレンズで構成されていてもよいし、複数枚のレンズで構成されていてもよい。図２は、レンズ光学系ＬａおよびＬｂはそれぞれ一枚で構成される例を示している。

次に、撮像システムＡＰの動作および撮像システムＡＰによって生体の肌等を撮影する手順を説明する。図１の偏光照明Ｑａから出射した光は、被写体Ｏｂに到達する。偏光照明Ｑａの偏光フィルタＰＬ１は、第１の偏光軸と平行な方向に振動する光を主に透過し、第２の偏光軸と直交する方向に振動する光の大部分を吸収する。したがって、被写体Ｏｂには、第１の偏光軸と平行な方向に振動する光のみが照射される。

被写体Ｏｂは、例えば、人の顔肌等である。本実施の形態では、被写体Ｏｂは人の顔肌として説明する。顔肌（被写体Ｏｂ）に到達した光は、反射される成分と吸収される成分があり、撮像装置Ａは反射される成分の光による被写体Ｏｂの像を取得する。顔肌で反射される光は、顔肌の表面で反射する成分と、顔肌の内部に入り込んで散乱を繰り返した後、入射した位置とは異なる位置から出射する成分とを含む。ここで、顔肌の内部とは、表皮領域をいう。表皮領域の中でシミが発生している領域にはメラニンが生成している。表皮に入り込んだ光、特に青色から近紫外線（ＵＶＡ、ＵＶＢ）の波長帯域の光は、メラニンによって減衰される。

顔肌の表面で反射する光は、さらに鏡面反射する成分と拡散反射する成分とを含む。顔肌の表面で鏡面反射する成分は、偏光状態を維持している。また、顔肌の表面で拡散反射する成分と、顔肌の内部に入り込んで異なる位置から出射する成分は、偏光状態が乱れた無偏光の状態、つまり、非偏光光となる。

したがって、第１の撮像部ＯＳ１で取得される第１の波長帯域の光の情報を有する第１の画像情報Ｓ１０１、第２の波長帯域の光の情報を有する第２の画像情報Ｓ１０２、および第３の波長帯域の光の情報を有する第３の画像情報Ｓ１０３は、全ての方向に振動する光による被写体Ｏｂを撮像するため、顔肌で鏡面反射する光の成分、顔肌の表面で拡散反射した光の成分、および顔肌の内部に入り込んで異なる位置から出射する光の成分を有している。これらの画像情報から生成されるカラー画像は、通常のカラーカメラで撮影した画像と同じである。このため、第１の撮像部ＯＳ１で取得した画像情報から生成されるカラー画像では、顔肌の鏡面反射成分（顔肌のテカリ）を含んでいるため、シミによる輝度の低下の認識が困難である。

一方、第２の撮像部ＯＳ２で被写体Ｏｂを撮影した第４の画像情報は、第２の偏光フィルタＰＬ２によって顔肌の鏡面反射成分（顔肌のテカリ）の大部分がカットされ、かつ紫色の第４の波長帯域の光の情報を有する。このため、第４の画像情報から生成される画像では、肉眼ではやや見えにくい顔肌のシミを認識しやすい。

このように撮像ユニットＩＰは、通常のカラー画像を生成するために、第１の波長帯域の光の情報を有する第１の画像情報Ｓ１０１、第２の波長帯域の光の情報を有する第２の画像情報Ｓ１０２、および、第３の波長帯域の光の情報を有する第３の画像情報Ｓ１０３と、顔肌のシミの状態が見やすい第４の画像情報Ｓ１０４とを同時に取得するように構成されている。ここで同時とは、第１の画像情報Ｓ１０１、第２の画像情報Ｓ１０２、第３の画像情報Ｓ１０３および第４の画像情報Ｓ１０４が、同じ時刻における偏光照明Ｑａから出射した光による被写体からの光に基づき取得されることを意味している。これらの画像情報の生成は完全に同時ではなくてもよく、例えば、動画の生成に支障がない程度に、時間的なズレがあってもよい。

次に、画像処理のフローについて説明する。図２に示すように、第１の演算処理部Ｓ２０１は、第１の波長帯域の光の情報を有する第１の画像情報Ｓ１０１、第２の波長帯域の光の情報を有する第２の画像情報Ｓ１０２、および第３の波長帯域の光の情報を有する第３の画像情報Ｓ１０３を用いて第１のカラー画像Ｓ３０１を生成するように構成されている。

第２の演算処理部Ｓ２０２は、第１の画像情報Ｓ１０１、第２の画像情報Ｓ１０２、および第３の画像情報Ｓ１０３のそれぞれと、第２の偏光軸の方向に振動し、かつ第４の波長帯域の光の情報を有する画像情報Ｓ１０４とをそれぞれ合成処理して第２のカラー画像情報を生成するように構成されている。

上述した信号処理を行うため、撮像装置Ａの第１の演算処理部Ｓ２０１および第２の演算処理部Ｓ２０２は、専用の集積回路によって構成されていてもよいし、演算装置（ＭＰＵ）、メモリ、および、メモリ等に記憶され、上述の信号処理手順によって信号を処理するソフト上によって構成されていてもよい。あるいは、これらの両方によって構成されていてもよい。また、上述した信号処理のため、第１の撮像素子Ｎａおよび第２の撮像素子Ｎｂは、Ａ／Ｄ変換された、デジタルの第１の画像情報Ｓ１０１、第２の画像情報Ｓ１０２、第３の画像情報Ｓ１０３および第４の画像情報Ｓ１０４を出力してもよいし、第１〜第７の演算処理部Ｓ２０１〜Ｓ２０７がアナログの第１の画像情報Ｓ１０１、第２の画像情報Ｓ１０２、第３の画像情報Ｓ１０３および第４の画像情報Ｓ１０４をデジタルに変換してもよい。以下の実施の形態における第３〜第７の演算処理部Ｓ２０３〜Ｓ２０７も同様に構成されていてもよい。

以上の画像処理を模式的に示すと、図４のようなフローになる。第１のカラー画像Ｓ３０１は、第１の画像情報Ｓ１０１、第２の画像情報Ｓ１０２、および第３の画像情報Ｓ１０３によって生成される。この画像処理は、第１の演算処理部Ｓ２０１において、例えば、Ｒ、Ｇ、Ｂの画像情報からカラー画像を生成する、一般的な撮像装置におけるカラー画像処理と同様にして行うことができる。

ここで、被写体Ｏｂの顔肌にシミが存在していると、第４の画像情報Ｓ１０４には、シミＸＳが撮像される。第１の画像情報Ｓ１０１、第２の画像情報Ｓ１０２、および第３の画像情報Ｓ１０３のそれぞれと、第４の画像情報Ｓ１０４とをそれぞれ合成処理すると、画像情報Ｓ２１、画像情報Ｓ２２、および画像情報Ｓ２３がそれぞれ生成される。前述の合成処理は、例えば乗算処理であることが好ましい。より具体的には、第２の演算処理部Ｓ２０２は、第１の画像情報Ｓ１０１、第２の画像情報Ｓ１０２、および第３の画像情報Ｓ１０３のそれぞれの、各画素における階調値（輝度情報）に、第４の画像情報Ｓ１０４の対応する画素における階調値を掛け合わせる。また、得られた画像情報Ｓ２１、画像情報Ｓ２２、および画像情報Ｓ２３から、一般な撮像装置におけるカラー画像処理と同様の処理を行い、第２のカラー画像Ｓ３０２を生成する。

図４に示すように、合成前の第４の画像情報Ｓ１０４には、シミＸＳの情報が存在するため、第１の画像情報Ｓ１０１、第２の画像情報Ｓ１０２、および第３の画像情報Ｓ１０３のそれぞれと、第４の画像情報Ｓ１０４とをそれぞれ乗算処理すると、画像情報Ｓ２１、画像情報Ｓ２２、および画像情報Ｓ２３には、いずれもシミＸＳの情報が反映される。また、第１の画像情報Ｓ１０１、第２の画像情報Ｓ１０２、および第３の画像情報Ｓ１０３のそれぞれと乗算するため、合成後の第２のカラー画像Ｓ３０２の色の比率は保持される。但し、乗算処理のみであると画像全体が暗くなるので、乗算後にガンマ補正を行ってもよい。また、ガンマ補正を行うと彩度が低下するため、彩度強調処理をさらに行ってもよい。

また、本実施の形態では、第１の撮像部ＯＳ１と第２の撮像部ＯＳ２とは互いに離間して配置されているため、第１の撮像素子Ｎａで取得した画像と第２の撮像素子Ｎｂで取得した画像との間には被写体距離に対応した視差が発生する。この視差が問題となる場合には、第２の演算処理部において、第４の画像情報のＳ１０４の視差補正画像情報を生成した後に画像情報Ｓ２１、画像情報Ｓ２２、および画像情報Ｓ２３を生成してもよい。具体的には、第１の撮像部ＯＳ１で取得する第３の画像情報Ｓ１０３と、第２の撮像部ＯＳ２で取得する第４の画像情報Ｓ１０４との間で発生する視差を、各画像の微小ブロック毎にパターンマッチングにより抽出し、微小ブロック毎に抽出した視差の分だけ画像をずらすことにより、第４の画像情報Ｓ１０４の視差補正画像情報を生成することができる。

本実施の形態によれば、上述した撮像システムの構成および画像処理により、通常のカラー画像と、シミの部分が強調されたカラー画像を同時に取得できる。したがって、通常のカラー画像およびシミの部分が強調されたカラー画像をそれぞれ連続してかつ、並行して取得することが可能となり、動画の撮影を行うことができる。よって、肌のシミ等をリアルタイムで観察することのできる撮像システムを実現することができる。

なお、本実施の形態では、第４の波長帯域は可視光帯域の紫色としたが、第４の波長帯域は、第３の波長帯域と同じ青色の波長帯域であってもよい。すなわち、第３および第４の波長帯域の中心波長は、第１および第２の波長帯域の中心波長よりも短い。青色の帯域であっても、シミの状態を確認できるため、肉眼で見えるシミをさらに強調して撮像することができる。

また、第４の波長帯域は近紫外線の帯域であってもよい。近紫外線の帯域の画像を取得する場合、偏光照明Ｑａには、近紫外線の帯域の光が含まれる光源を用いる。近紫外線の帯域の光を顔肌に照射する場合は、紫外線をカットする保護眼鏡をして撮影することが好ましい。近紫外線の帯域の光を用いることにより、肉眼ではほとんど見えない隠れシミを撮像することができる。

さらに、本実施の形態にかかる撮像装置を環境光下で使用する場合、偏光照明Ｑａから出射する照明光は、第１の方向にのみ振動する第４の波長帯域の成分のみを有していればよい。

また、上述したように本実施の形態の撮像システムは、表皮領域における情報を得ることができるため、顔肌に限らず、生体の種々の部分の皮膚を観察するのに適している。また、本実施の形態の撮像システムを内視鏡に適用すれば、胃などの内臓において、表面から少し内部に位置する組織の状態を観察し得る。このため、本実施の形態の撮像システムは内視鏡にも好適に用いることができる。

（実施の形態２）
図５は、本実施の形態の撮像システムの撮像装置の構成例を示すブロック図である。本実施の形態の撮像システムは、撮像装置が第３の演算処理部を有する点で実施の形態１と異なっている。このため、以下では、第３の演算処理部を主として説明する。

本実施の形態では、第３の演算処理部は第４の画像情報Ｓ１０４によって得られる画像のコントラスト強調するように第４の画像情報Ｓ１０４を処理するように構成されている。コントラストが強調された、第４の画像情報Ｓ１０４は、その後、第２の演算処理部Ｓ２０２において、第１の画像情報Ｓ１０１、第２の画像情報Ｓ１０２、および第３の画像情報Ｓ１０３のそれぞれと合成される。

図６は、コントラスト強調を説明するグラフである。画像は２次元であるが、説明をわかりやすくするため、コントラスト強調前後の画像について１次元の階調値を用いて説明する。図６のグラフにおいて、横軸は撮像素子上の画素位置であり、縦軸は階調値である。実線は、コントラスト強調処理前の第４の画像情報Ｓ１０４における顔肌の階調値Ｗ１を表している。階調値Ｗ１において、凹形状になっている箇所は、シミが存在することを示しており階調値が小さくなっている。破線は、第４の画像情報Ｓ１０４にコントラスト強調を施した階調値Ｗ２を示している。第４の画像情報Ｓ１０４にコントラスト強調を施すことにより、階調値Ｗ２において、凹形状が深くなり、シミの部分と他の部分との階調値差が大きくなる。これによりシミの状態がより強調された第４の画像情報Ｓ１０４が得られる。よって、第１の画像情報Ｓ１０１、第２の画像情報Ｓ１０２、および第３の画像情報Ｓ１０３のそれぞれと第４の画像情報Ｓ１０４とを合成することにより、シミの状態がよりわかり易いカラー画像を生成することができる。

（実施の形態３）
図５は、本実施の形態の撮像システムの撮像装置の構成例を示すブロック図である。本実施の形態の撮像システムは、第３の演算処理部において、コントラスト強調処理の前に正規化処理を行う点で実施の形態２と異なっている。このため、以下では、第３の演算処理部における正規化処理を主として説明する。

コントラスト強調処理の前の第４の画像情報Ｓ１０４による画像において、図６のグラフの実線で示すように階調値Ｗ１の勾配が存在している場合、そのままコントラスト強調処理を行うと、シミ以外の箇所についてもコントラストが強調される。その結果、合成後の画像では、シミ以外の箇所の画像の陰影も強くなる。特に照明が被写体に対して不均一に照射されている場合においては、合成後のカラー画像が不自然になる場合がある。逆に不自然にならない範囲でコントラスト強調をかけようとすると、シミの状態のコントラスト強調が制限されてしまう。

このようなコントラストの強調を避け、自然な画像を得るために、本実施の形態では、第３の演算処理部は、コントラスト強調を行う前に、第４の画像情報Ｓ１０４の階調値を正規化する。具体的には、第４の画像情報Ｓ１０４において所定の大きさの画像ブロック毎に階調値の平均値を計算し、所定の正規化の階調値と平均値の比に基づいて画像ブロックの各画素の階調値のゲイン調整を行う。

図７（ａ）から（ｃ）を参照して上述した正規化処理をより詳細に説明する。例えば、正規化処理は、８画素のブロック単位で階調値の平均値を計算し、所定の正規化された階調値とブロック単位の平均値との比（正規化の階調値／ブロック単位の平均値）を当該画像ブロックのゲインとし、このゲインを各画素の階調と掛け合わせる。この処理により、８画素のブロック単位の階調値の平均値は、所定の正規化の階調値となる。図７（ａ）に示すようにコントラスト強調前に勾配があった階調値Ｗ１は、正規化した階調値Ｗ１’で示すように勾配が減少する。但し、ブロック単位でゲインを決定しているため、矢印で示すブロックの境界位置に階調の段差が生じる。これを抑制するために８画素単位のブロック間のゲインを線形補完することにより、正規化した階調値は図７（ｂ）に示すにＷ１”のようになり、段差が解消される。

正規化した階調値Ｗ１”をさらにコントラスト強調処理すると、コントラスト強調後の階調値は図７（ｃ）に示すＷ２”のようになり、シミに対応する凹部のみが強調された階調値の第４の画像情報Ｓ１０４を得ることができる。

以上の処理により、コントラスト強調前に階調の勾配がある場合においても、合成後の画像はシミの箇所のみに強調をかけることができる。つまり、合成後のカラー画像はシミの状態のみが良好に強調された画像となる。

（実施の形態４）
図８は、本実施の形態の撮像システムの撮像ユニットＩＰの構成を示している。本実施の形態の撮像システムは、実施の形態１とは異なる構造を有する撮像ユニットＩＰを備えている。このため、以下では、撮像ユニットＩＰを主として説明する。本実施の形態における撮像装置の撮像ユニットＩＰは、レンズ光学系Ｌと、光路を分離するハーフミラーＨＭと、第１の撮像素子Ｎａと、第４の波長帯域の光を主に透過するバンドパスフィルターＦと、第２の偏光軸と平行な方向に振動する光を主に透過する第２の偏光フィルタＰＬ２と、第２の撮像素子Ｎｂとを含む。

被写体（図示せず）を撮像する場合、被写体からの光線は、レンズ光学系Ｌを通過した後、ハーフミラーＨＭに到達する。ハーフミラーＨＭは光路分割構造であり、ハーフミラーＨＭにより、光線は、第１の撮像素子Ｎａに向かう光線と、第２の撮像素子Ｎｂに向かう光線とに分割される。第１の撮像素子Ｎａに向かう光線は、そのまま第１の撮像素子Ｎａに到達する。第２の撮像素子Ｎｂに向かう光線は、第４の波長帯域の光を主に透過するバンドパスフィルターＦと、第２の偏光軸の方向に振動する光を主に透過する第２の偏光フィルタＰＬ２とを順に透過し、第２の撮像素子Ｎｂに到達する。

第１の撮像素子Ｎａは、実施の形態１で説明したように、カラー撮像素子であり、第１の波長帯域の光の情報を有する第１の画像情報Ｓ１０１、第２の波長帯域の光の情報を有する第２の画像情報Ｓ１０２、および第３の波長帯域の光の情報を有する第３の画像情報Ｓ１０３を取得する。第２の撮像素子Ｎｂは、モノクロ撮像素子であり、第４の波長帯域の光の情報を有し、かつする第２の偏光軸の方向に振動する光の情報を有する画像情報Ｓ１０４を取得する。

このような構成により、第１の画像情報Ｓ１０１、第２の画像情報Ｓ１０２、第３の画像情報Ｓ１０３、および第４の画像情報Ｓ１０４を取得する。画像合成は、実施の形態１、２、および３で説明したいずれの画像処理を用いて行ってもよい。

以上のような構成により、実施の形態１と同様、通常のカラー画像と、シミの部分が強調されたカラー画像を同時に取得できる撮像システムを実現することができる。

また、本実施の形態では、ハーフミラーによって光路を分離しているため、実施の形態１のように第１の撮像素子Ｎａで取得した画像と第２の撮像素子Ｎｂで取得した画像との間には視差が発生しない。本実施の形態によれば、視差を補正するための画像処理を行わなくてもよく、第２の画像処理部の、回路規模を小さくすることができる。

なお、本実施の形態では、光路を分離する素子としてハーフミラーを用いているが、ハーフミラーの代わりにダイクロイックミラーを用いてもよい。ダイクロイックミラーを用いる場合、透過する光の波長帯域を第１、第２、および第３の波長帯域とし、反射する光の波長帯域を第４の波長帯域となるように設計すればよい。このような構成により、第２の撮像素子に向かう光線は、主として第４の波長帯域の光線のみになり、バンドパスフィルターＦを用いなくてもよい。これにより、第２の撮像素子Ｎｂに入射する光の量の低下を抑制し、撮影感度を向上させることができる。

（実施の形態５）
図９は、本実施の形態の撮像システムの撮像ユニットＩＰの構成を示している。本実施の形態の撮像システムは、実施の形態１とは異なる構造を有する撮像ユニットＩＰを備えている。このため、以下では、撮像ユニットＩＰを主として説明する。本実施の形態の撮像装置の撮像ユニットＩＰは、複眼レンズＬＬと、第１の波長帯域の光を主に透過するバンドパスフィルターＦ１と、第２の波長帯域の光を主に透過するバンドパスフィルターＦ２と、第３の波長帯域の光を主に透過するバンドパスフィルターＦ３と、第４の波長帯域の光を主に透過するバンドパスフィルターＦ４と、第２の偏光軸の方向に振動する光を主に透過する第２の偏光フィルタＰＬ２と、撮像素子Ｎｃとを含む。

複眼レンズＬＬには、４つのレンズ光学系がアレイ状に配置されている。具体的には、同一平面上にレンズ光学系Ｌａ１、Ｌａ２、Ｌａ３、およびＬａ４が、２行２列に配列されている。また、撮像素子Ｎｃ上の撮像面Ｎｉには、レンズ光学系Ｌａ１、Ｌａ２、Ｌａ３、およびＬａ４にそれぞれ一対一で対応する撮像領域Ｎｉ１、Ｎｉ２、Ｎｉ３、およびＮｉ４が設定されている。

偏光照明Ｑａから出射した光は、被写体で反射し、反射光は、レンズ光学系Ｌａ１、Ｌａ２、Ｌａ３、およびＬａ４によってそれぞれ集光され、撮像素子Ｎｃの対応する撮像領域Ｎｉ１、Ｎｉ２、Ｎｉ３、およびＮｉ４において被写体の像を形成する。レンズ光学系Ｌａ１、Ｌａ２、Ｌａ３、およびＬａ４の光路上にはそれぞれ、バンドパスフィルターＦ１、Ｆ２、Ｆ３、Ｆ４が配置されている。このため、レンズ光学系Ｌａ１と第１の波長帯域の光を主に透過するバンドパスフィルターＦ１とを介して撮像領域Ｎｉ１に被写体の画像が形成される。同様に、レンズ光学系Ｌａ２および第２の波長帯域の光を主に透過するバンドパスフィルターＦ２、レンズ光学系Ｌａ３および第３の波長帯域の光を主に透過するバンドパスフィルターフィルタＦ３、レンズ光学系Ｌａ４および第４の波長帯域の光を主に透過するバンドパスフィルターＦ４と第２の偏光フィルタＰＬ２とを介して、それぞれ、撮像領域Ｎｉ２、Ｎｉ３、Ｎｉ４に被写体の画像が形成される。このようにして、撮像ユニットＩＰは、４つの光路によって、被写体（図示せず）を撮影する。このような構成により、撮像領域Ｎｉ１、Ｎｉ２、Ｎｉ３、およびＮｉ４から、それぞれ第１の波長帯域の光の情報を有する第１の画像情報Ｓ１０１、第２の波長帯域の光の情報を有する第２の画像情報Ｓ１０２、第３の波長帯域の光の情報を有する第３の画像情報Ｓ１０３、および第４の波長帯域の光の情報を有しかつ第２の偏光軸の方向に振動する光の情報を有する画像情報Ｓ１０４を取得する。

本実施の形態では、レンズ光学系Ｌａ１、Ｌａ２、Ｌａ３、およびＬａ４が互いに離間して配列されているため、撮像領域Ｎｉ１、Ｎｉ２、Ｎｉ３、およびＮｉ４で取得した画像は、互いに被写体距離に対応した視差が発生する。この視差が問題となる場合には、第１の画像処理部および第２の演算処理部においてそれぞれの視差を補正した後にカラー画像を生成してもよい。具合的には、第１の画像情報Ｓ１０１を基準画像とし、第２の画像情報Ｓ１０２の視差補正画像、第３の画像情報Ｓ１０３の視差補正画像、第４の画像情報Ｓ１０４の視差補正画像をそれぞれ生成した後に合成処理を行えばよい。各視差補正画像は、実施の形態１で説明したように、各画像の微小ブロック毎にパターンマッチングにより抽出し、微小ブロック毎に抽出した視差の分だけ画像をずらすことにより生成することができる。

このような構成により、第１の画像情報Ｓ１０１、第２の画像情報Ｓ１０２、第３の画像情報Ｓ１０３、および第４の画像情報Ｓ１０４を取得する。画像合成は、実施の形態１、２、および３で説明したいずれの画像処理を用いて行ってもよい。

以上のような構成により、実施の形態１と同様に通常のカラー画像と、シミの部分が強調されたカラー画像を同時に取得できる撮像システムを実現することができる。

本実施の形態５では、１つの撮像素子Ｎｃ上に複眼レンズＬＬを配置する構成であるため、実施の形態１および４の構成よりも撮像ユニットＩＰの容積を小さくすることができ、撮像装置を小型化することができる。

（実施の形態６）
図１０（ａ）は、本実施の形態の撮像システムの撮像ユニットＩＰの構成を示している。本実施の形態の撮像システムは、実施の形態１とは異なる構造を有する撮像ユニットＩＰを備えている。このため、以下では、撮像ユニットＩＰを主として説明する。

本実施の形態の撮像装置の撮像ユニットＩＰは、レンズ光学系Ｌと、撮像素子Ｎｄとを備える。図１０（ｂ）は、撮像素子Ｎｄ上の画素の配列を示す図である。撮像素子Ｎｄの撮像面上には複数の光電変換部が２次元アレイ状に配置されており、各光電変換部が画素を構成している。図１０（ｂ）において、光電変換部の画素Ｐａ１には、第１の波長帯域の光を主に透過するバンドパスフィルターが備えられている。同様に、画素Ｐａ２、Ｐａ３には、第２の波長帯域の光、および、第３の波長帯域の光を主に透過するバンドパスフィルターがそれぞれ備えられている。一方、画素Ｐａ４には、第４の波長帯域の光を主に透過するバンドパスフィルターと第２の偏光軸の方向に振動する光を主に透過する偏光フィルタが備えられている。各画素のバンドパスフィルターは、吸収型のフィルタや誘電体多層膜によって構成されたフィルタによって構成されており、偏光フィルタは、ワイヤーグリッド偏光子によって構成されている。

被写体（図示せず）を撮影する場合、被写体からの光線は、レンズ光学系Ｌを通過した後、撮像素子Ｎｄに到達する。画素Ｐａ１は、第１の波長帯域の光を主に透過するバンドパスフィルターが備えられているため、画素Ｐａ１のみ抽出することにより、第１の波長帯域の光の情報を有する第１の画像情報Ｓ１０１を生成することができる。同様に、画素Ｐａ２および画素Ｐａ３をそれぞれ抽出することにより、第２の波長帯域の光の情報を有する第２の画像情報Ｓ１０２、および第３の波長帯域の光の情報を有する第３の画像情報Ｓ１０３を生成することができる。また、画素Ｐａ４は、第４の波長帯域の光を主に透過するバンドパスフィルターと第２の偏光軸の方向に振動する光を主に透過する偏光フィルタが備えられているため、画素Ｐａ４のみ抽出することにより、第２の偏光軸と平行なの方向に振動し、かつ第４の波長帯域の光の情報を有する第４の画像情報Ｓ１０４を生成することができる。

このような構成により、第１の画像情報Ｓ１０１、第２の画像情報Ｓ１０２、第３の画像情報Ｓ１０３、および第４の画像情報Ｓ１０４を取得する。画像合成は、実施の形態１、２、および３で説明したいずれの画像処理を用いて行ってもよい。

以上のような構成により、実施の形態１と同様に通常のカラー画像と、シミの部分が強調されたカラー画像を同時に取得できる撮像システムを実現することができる。

本実施の形態６では、１つの撮像素子Ｎ上にレンズ光学系Ｌを配置する構成であるため、実施の形態１および４の構成よりも撮像ユニットＩＰの容積を小さくすることができ、撮像装置を小型化することができる。

（実施の形態７）
本実施の形態７は、撮像装置Ａの撮像ユニットＩＰの構成が異なる点で、実施の形態１、４、５、および６と異なる。ここでは、本実施の形態において実施の形態１、４、５、および６と同様の内容についての詳細な説明は省略する。

図１１は、本実施の形態の撮像システムの撮像ユニットＩＰの構成を示している。本実施の形態の撮像システムは、実施の形態１とは異なる構造を有する撮像ユニットＩＰを備えている。このため、以下では、撮像ユニットＩＰを主として説明する。本実の施形態の撮像ユニットＩＰは、Ｖを光軸とするレンズ光学系Ｌｘと、レンズ光学系Ｌｘの焦点近傍に配置されたアレイ状光学素子Ｋと、モノクロの撮像素子Ｎｅとを備える。

レンズ光学系Ｌｘは、被写体（図示せず）からの光が入射する絞りＳと、絞りＳを通過した光が入射する光学素子Ｌ１ｐと、光学素子Ｌ１ｐを通過した光が入射するレンズＬ２とを含む。レンズ光学系Ｌｘは、第１、第２、第３、および第４の光学領域Ｄ１、Ｄ２、Ｄ３、およびＤ４を有する。

レンズＬ２は、１枚のレンズで構成されていてもよいし、複数枚のレンズで構成されていてもよい。また、絞りＳの前後に複数枚に分かれて配置された構成であってもよい。図１１では、１枚構成として図示している。

図１２（ａ）は、光学素子Ｌ１ｓを被写体側から見た正面図である。光学素子Ｌ１ｓは、光学領域Ｄ１、Ｄ２、Ｄ３、およびＤ４に配置されている。光学領域Ｄ１、Ｄ２、Ｄ３、およびＤ４は、光軸Ｖに垂直な面内において、光軸Ｖが垂直な面と交わる点を通る互いに直交する２本の直線によって分割された４つの領域である。また、光学領域Ｄ１、Ｄ２、Ｄ３、およびＤ４は、レンズ光学系Ｌｘにおいて、光軸Ｖに平行に伸びている。光学素子Ｌ１ｓのうち、光学領域Ｄ１、Ｄ２、Ｄ３、およびＤ４に位置する部分の分光透過率特性は互いに異なる。光学素子Ｌ１ｓは、絞りＳと光学素子Ｌ１ｐの間に配置されている。光学素子Ｌ１ｓは、光学領域Ｄ１、Ｄ２、Ｄ３、およびＤ４において、領域は、それぞれ、第１の波長帯域の光を主に透過する分光透過率特性、第２の波長帯域の光を主に透過する分光透過率特性、第３の波長帯域の光を主に透過する分光透過率特性、および第４の波長帯域の光を主に透過する分光透過率特性を有している。例えば、光学素子Ｌ１ｓは、光学領域Ｄ１、Ｄ２、Ｄ３、およびＤ４において、第１、第２、第３、第４の波長帯域の光を主に透過する分光透過率特性を有するフィルタを有している。

図１２（ｂ）は、光学素子Ｌ１ｐを被写体側から見た正面図である。光学素子Ｌ１ｐは、光学領域Ｄ１においてのみ、第２の偏光軸と平行な方向に振動する光を主に透過する偏光フィルタを有し、その他の領域には、全ての方向に振動する光を透過するガラス板を有している。

図１１、図１２（ａ）、（ｂ）に示すように、被写体からの光のうち、光Ｂ１、Ｂ２、Ｂ３、Ｂ４が、それぞれ光学領域Ｄ１、Ｄ２、Ｄ３、Ｄ４を透過する。

図１３は、アレイ状光学素子Ｋの斜視図である。アレイ状光学素子Ｋにおける撮像素子Ｎｅ側の面には、光学要素Ｍが格子状に配置されている。それぞれの光学要素Ｍ２の断面（縦方向および横方向それぞれの断面）は、曲面形状を有し、それぞれの光学要素Ｍは、撮像素子Ｎ側に突出している。このように、光学要素Ｍはマイクロレンズであり、アレイ状光学素子Ｋは、複数の光学要素Ｍが撮像素子Ｎｅの光電変換部と同じ２方向に２次元に配列されることによってマイクロレンズアレイを構成している。光学要素Ｍは行および列方向に配置された４つの光電変換部に対応している。

図１４（ａ）は、アレイ状光学素子Ｋと撮像素子Ｎｅとを拡大して示す図であり、図１４（ｂ）は、アレイ状光学素子Ｋと撮像素子Ｎ上の光電変換部（画素）との位置関係を示す図である。アレイ状光学素子Ｋは、光学要素Ｍが形成された面が撮像面Ｎｉ側に向かうように配置されている。撮像素子Ｎｅは、撮像面Ｎｉにおいて、４つの光電変換部によって構成されるカラーの画素Ｐを複数有している。複数の画素Ｐは行および列方向に配置されている。各画素Ｐは、行および列方向配置された第１、第２、第３および第４の光電変換部を含む。第１、第２、第３および第４の光電変換部は、独立して、光を検出して電気信号に変換し、画素Ｐｂ１、画素Ｐｂ２、画素Ｐｂ３および画素Ｐｂ４を構成する。

アレイ状光学素子Ｋは、レンズ光学系Ｌｘの焦点近傍に配置されており、かつ撮像面Ｎｉから所定の距離だけ離れた位置に配置されている。図１４（ｂ）に示すように、アレイ状光学素子Ｋの各光学要素Ｍの中心Ｍｃと、４つの光電変換部によって構成される画素Ｐの中心Ｐｃとは、光軸Ｖに平行な同じ直線上に位置している。このため、各光学要素Ｍは、４つの光電変換部に対尾して配置される。

撮像面Ｎｉ上には、第１、第２、第３および第４の光電変換部（画素Ｐｂ１、Ｐｂ２、Ｐｂ３、Ｐｂ４）の表面を覆うようにマイクロレンズＭｓが設けられている。各第１、第２、第３および第４の光電変換部（画素Ｐｂ１、Ｐｂ２、Ｐｂ３、Ｐｂ４）の上には、異なる分光透過率特性を有するカラーフィルタ等は設けられていない。

アレイ状光学素子Ｋは、光学素子Ｌ１ｓ、およびＬ１ｐの光学領域Ｄ１、Ｄ２、Ｄ３、およびＤ４をそれぞれ通過した光Ｂ１、Ｂ２、Ｂ３、Ｂ４の大部分が撮像面Ｎｉ上の画素Ｐ１、画素Ｐ２、画素Ｐ３、および画素Ｐ４に到達するように設計されている。具体的にはアレイ状光学素子Ｋの屈折率、撮像面Ｎｉからの距離および光学要素Ｍ表面の曲率半径等のパラメータを適切に設定することで、上記構成が実現する。

したがって、画素Ｐｂ１には、第１の波長帯域の光が主に入射し、画素Ｐｂ１のみ抽出することにより、主として第１の波長帯域の光の情報をのみを有する第１の画像情報Ｓ１０１を生成することができる。同様に、画素Ｐｂ２および画素Ｐｂ３をそれぞれ抽出することにより、主として第２の波長帯域の光の情報のみを有する第２の画像情報Ｓ１０２、および第３の波長帯域の光の情報のみを有する第３の画像情報Ｓ１０３を生成することができる。また、画素Ｐｂ４には、第４の波長帯域において第２の偏光軸と平行な方向に振動する光が主に入射するため、画素Ｐｂ４のみ抽出することにより、第２の偏光軸の方向に振動し、かつ第４の波長帯域の光の情報のみを有する第４の画像情報Ｓ１０４を生成することができる。

このような構成により、第１の画像情報Ｓ１０１、第２の画像情報Ｓ１０２、第３の画像情報Ｓ１０３、および第４の画像情報Ｓ１０４を取得する。画像合成は、実施の形態１、２および３で説明したいずれの画像処理を行ってもよい。

以上のような構成により、実施の形態１と同様に通常のカラー画像と、シミの部分が強調されたカラー画像を同時に取得できる撮像システムを実現することができる。

本実施の形態７では、光学素子Ｌ１ｓ、およびＬ１ｐの構成を目的に応じて変更することができる。特に、光学素子Ｌ１ｓにおいては、誘電体多層膜を適用することにより、所望の分光特性を設計することができるため、分光特性のカスタマイズがしやすくなる。

（実施の形態８）
図１５は、本実施の形態の撮像システムの撮像装置の構成例を示すブロック図である。本実施の形態の撮像システムは、撮像部ＩＰの構成と撮像装置Ａの構成が実施の形態１と異なっている。このため、以下では、撮像部ＩＰと画像処理のフローについて説明する。

図１５は、本実施の形態の撮像装置Ａの構成例を示すブロック図である。撮像装置Ａは、撮像部ＩＰと、第４の演算処理部Ｓ２０４と、第５の演算処理部Ｓ２０５と、第６の演算処理部Ｓ２０６と、第７の演算処理部Ｓ２０７とを含む。

図１６は、図２に示す撮像部ＩＰの構成例を示す模式図である。本実施の形態では撮像部ＩＰは、偏光フィルタＰＬ３が付加された点と、バンドパスフィルターＦ３とバンドパスフィルターＦ４がいずれも第３の波長帯域の光を透過する点で実施の形態５と異なっている。偏光フィルタＰＬ３は、偏光フィルタＰＬ２と直交する第１の偏光軸の方向に振動する光を主に透過する。

このような構成により、撮像領域Ｎｉ１、Ｎｉ２、Ｎｉ３、およびＮｉ４から、それぞれ第１の波長帯域の光の情報を有する第１の画像情報Ｓ１０１、第２の波長帯域の光の情報を有する第２の画像情報Ｓ１０２、第３の波長帯域の光の情報を有しかつ第１の偏光軸の方向に振動する光の情報を有する第５の画像情報Ｓ１０５、および第３の波長帯域の光の情報を有しかつ第１の偏光軸と直交する第２の偏光軸の方向に振動する光の情報を有する第６の画像情報Ｓ１０６を取得する。

次に、画像処理のフローについて説明する。図１５に示すように、第４の演算処理部Ｓ２０４は、第３の波長帯域の光の情報を有しかつ第１の偏光軸の方向に振動する光の情報を有する第５の画像情報Ｓ１０５、および第３の波長帯域の光の情報を有しかつ第２の偏光軸の方向に振動する光の情報を有する第６の画像情報Ｓ１０６を加算して第３の波長情報を有する第７の画像情報を生成するように構成されている。ここで、第２の偏光軸は第１の偏光軸に対して直交しているため、加算処理によって、第７の画像情報は、無偏光かつ第３の波長帯域の光の情報を有する画像情報となる。

第５の演算処理部Ｓ２０５は、第１の画像情報Ｓ１０１、第２の画像情報Ｓ１０２、および第７の画像情報Ｓ１０７を用いて第１のカラー情報Ｓ３０１を生成するように構成されている。この画像処理は、例えばＲ、Ｇ、Ｂの画像情報からカラー画像を生成する。

第６の演算処理部Ｓ２０６は、第１のカラー画像Ｓ３０１と第５の画像情報Ｓ１０５とを、例えば乗算によって合成処理し、第３のカラー画像Ｓ３０３を生成するように構成されている。第５の画像情報Ｓ１０５は、第１の偏光軸の方向に振動する光の情報を有する。第１の偏光軸の方向は照明の偏光軸の方向と同じであるため、第５の画像情報Ｓ１０５は、顔肌の鏡面反射成分を多く含む。顔肌の表面で鏡面反射した光の成分を有する画像情報においては、顔肌の凹凸による陰影がはっきりするため、肌の小ジワ等が認識しやすい画像となる。よって、このような合成処理によって、小ジワ等の部分が強調された第３のカラー画像Ｓ３０３を生成することができる。

第７の演算処理部Ｓ２０７は、第１のカラー画像Ｓ３０１と第６の画像情報Ｓ１０６とを、例えば乗算によって合成処理し、第４のカラー画像Ｓ３０４を生成するように構成されている。

実施の形態１で説明したとおり、偏光フィルタＰＬ２によって顔肌の鏡面反射成分（顔肌のテカリ）の大部分がカットされるため、第６の画像情報Ｓ１０６では、顔肌のシミを認識しやすくなる。よって、このような合成処理によって、実施の形態１と同様にシミの部分が強調された第４のカラー画像Ｓ３０４を生成することができる。

このように本実施の形態によれば、上述した撮像システムの構成および画像処理により、通常のカラー画像と、シミの部分が強調されたカラー画像、および小ジワ等の部分が強調されたカラー画像を同時に取得できる。したがって、通常のカラー画像、シミの部分が強調されたカラー画像、および小ジワ等の部分が強調されたカラー画像をそれぞれ連続してかつ、並行して取得することが可能となり、動画の撮影を行うことができる。よって、肌のシミや小ジワ等が強調された画像をリアルタイムで観察することのできる撮像システムを実現することができる。

なお、本実施の形態８の撮像部は、図１６に示す光学系に限定されるものではなく、実施の形態６の図１０や実施の形態７の図１１に示す光学系において、適宜偏光フィルタを配置して構成してもよい。

本発明にかかる撮像システムは、肌診断カメラ、および内視鏡カメラ等の撮像装置として有用である。また、マイクロスコープや電子ミラーなどの撮像システムに応用することができる。

ＩＰ 撮像ユニット
Ａ 撮像装置
ＡＰ 撮像システム
Ｓ１０１〜Ｓ１０４ 画像情報
Ｓ２０１〜Ｓ２０３ 演算処理部
Ｓ３０１、Ｓ３０２ カラー画像情報
Ｗ１、Ｗ２ 階調値
ＰＬ１、ＰＬ２ 偏光フィルタ
Ｌａ、Ｌｂ、Ｌ レンズ
Ｎａ、Ｎｂ、Ｎｃ、Ｎｄ、Ｎｅ 撮像素子
ＬＬ 複眼レンズ
Ｌａ１〜Ｌａ４ 複眼レンズの光学要素
Ｆ１〜Ｆ４ バンドパスフィルター
Ｎｉ 撮像面
Ｎｉ１〜Ｎｉ４ 撮像面上の撮像領域
ＯＳ１、ＯＳ２ 撮像部
Ｐａ１〜Ｐａ４ 撮像素子上の画素
Ｌｘ レンズ光学系
Ｌ１ｓ、Ｌ１ｐ 光学素子
Ｌ２ レンズ
Ｄ１〜Ｄ４ 光学領域
Ｓ 絞り
Ｋ アレイ状光学素子
Ｍ アレイ状光学素子における光学要素
Ｍｓ 撮像素子上のマイクロレンズ
Ｐｂ１〜Ｐｂ４ 撮像素子上の画素
Ｑａ 偏光照明

Claims (18)

1. 第１の偏光軸と平行な方向に振動する光の成分を含む照明光を出射する偏光照明と、
   前記照明光による同じ時刻における被写体からの光に基づき、第１の波長帯域の光の情報を有する第１の画像情報、第２の波長帯域の光の情報を有する第２の画像情報、第３の波長帯域の光の情報を有する第３の画像情報、および、前記偏光照明から出射され前記被写体を反射して、前記第１の偏光軸の方向とは異なる第２の偏光軸と平行な方向に振動し、前記照明光の前記光の成分と同じ波長帯域である第４の波長帯域の光の情報を有する第４の画像情報を取得するように構成された撮像ユニットと、
   前記第１、前記第２および前記第３の画像情報を用いて第１のカラー画像情報を生成するように構成された第１の演算処理部と、
   前記第１から前記第３の画像情報のそれぞれと、前記第４の画像情報とをそれぞれ合成処理して第２のカラー画像情報を生成するように構成された第２の演算処理部と、
   を備えた撮像システム。
2. 前記第４の波長帯域の中心波長は、前記第１、前記第２、および前記第３の波長帯域の中心波長よりも短い、請求項１に記載の撮像システム。
3. 前記第４の波長帯域は、前記第３の波長帯域と同じ波長帯域であって、前記第３および前記第４の波長帯域の中心波長は、前記第１および第２の波長帯域の中心波長よりも短い、請求項１に記載の撮像システム。
4. 前記第１、前記第２、前記第３および前記第４の波長帯域は、いずれも可視光の波長帯域である請求項１から３のいずれかに記載の撮像システム。
5. 前記第１、前記第２、および前記第３の波長帯域は、いずれも可視光の波長帯域であり、前記第４の波長帯域は近紫外光の波長帯域である、請求項１から３のいずれかに記載の撮像システム。
6. 前記第２の演算処理部における前記合成処理の前に、前記第４の画像情報のコントラストを強調する処理を行うように構成された第３の演算処理部をさらに備える、請求項１から５のいずれかに記載の撮像システム。
7. 前記第３の演算処理部は、前記コントラストの強調を行う前に、前記第４の画像情報において、所定の大きさの画像ブロック毎に階調値の平均値を計算し、所定の正規化の階調値と前記平均値の比に基づいて前記画像ブロックの各画素の階調値のゲイン調整を行う、請求項６に記載の撮像システム。
8. 前記合成処理は、乗算処理を含む請求項１から７のいずれかに記載の撮像システム。
9. 前記撮像ユニットは、第１の撮像素子および第２の撮像素子を備え、
   前記第１、前記第２および前記第３の画像情報を前記第１の撮像素子で取得し、
   前記第４の画像情報を前記第２の撮像素子で取得する、
   請求項１から８のいずれかに記載の撮像システム。
10. 前記撮像ユニットは、前記被写体からの光線を前記第１の撮像素子に導く光路と前記第２の撮像素子に導く光路に分割する光路分割構造をさらに備える請求項９に記載の撮像システム。
11. 前記撮像ユニットは、撮像素子を備え、
    前記第１、前記第２、前記第３、および前記第４の画像情報を前記撮像素子で取得する、請求項１から８のいずれかに記載の撮像システム。
12. 前記撮像ユニットは、
    ４つのレンズがアレイ状に配列されたレンズアレイと、
    前記４つのレンズのそれぞれの光路上で一対一に対応するように配置された前記第１から前記第４の波長帯域の光の情報を透過する分光フィルタと、
    をさらに備え、
    前記撮像素子は、前記４つのレンズと一対一に対応する４つの撮像領域を含む請求項１１に記載の撮像システム。
13. 前記撮像素子は、
    平面状に配列された複数の光電変換部と、
    前記複数の光電変換部上に配置され、前記第１から前記第４の波長帯域の光をそれぞれ透過する複数の第１から第４の分光フィルタと、
    前記第４の分光フィルタが配置された光電変換部上に配置され、前記第２の偏光軸を有する偏光フィルタと
    を含む、請求項１１に記載の撮像システム。
14. 前記撮像ユニットは、
    レンズ光学系と、
    前記レンズ光学系と前記撮像素子との間に配置されたアレイ状光学素子と
    を備え、
    前記撮像素子は、前記レンズ光学系を通過した光が入射する複数の第１の光電変換部、複数の第２の光電変換部、複数の第３の光電変換部および複数の第４の光電変換部を有し、
    前記レンズ光学系は、４つの光学領域を有し、前記４つの光学領域は、第１の波長帯域の光を透過する第１の光学領域と、第２の波長帯域の光を透過する第２の光学領域と、第３の波長帯域の光を透過する第３の光学領域と、前記第２の偏光軸に平行な方向に振動する光を主に透過し、かつ第４の波長帯域の光を透過する第４の光学領域とを含み、
    前記アレイ状光学素子は、前記第１、前記第２、前記第３、および前記第４の光学領域を通過した光をそれぞれ前記複数の第１の光電変換部、前記複数の第２の光電変換部、前記複数の第３の光電変換部、および前記複数の第４の光電変換部に入射させる、請求項１１に記載の撮像システム。
15. 前記撮像部で取得した画像を表示する表示装置をさらに備える、請求項１から１４のいずれかに記載の撮像システム。
16. 前記偏光照明は、可視光帯域の光を出射する光源と、前記光源から出射した光が透過するように配置された、前記第１の偏光軸を有する偏光フィルタとを含む請求項１から１５のいずれかに記載の撮像システム。
17. 前記偏光照明は、前記第１、第２、第３および第４の波長帯域の光をそれぞれ出射する光源および前記第１の偏光軸を有する偏光フィルタを含み、
    前記第４の波長帯域の光の出射する光源から出射した光のみが前記偏光フィルタを透過するように前記偏光フィルタは配置されている請求項１から１５のいずれかに記載の撮像システム。
18. 第１の偏光軸と平行な方向に振動する光の成分を含む照明光を出射する偏光照明と、
    前記照明光による同じ時刻における被写体からの光に基づき、第１の波長帯域の光の情報を有する第１の画像情報、第２の波長帯域の光の情報を有する第２の画像情報、前記偏光照明から出射され前記被写体を反射して、前記第１の偏光軸の方向と平行な方向に振動し、第３の波長帯域の光の情報を有する第５の画像情報、および、前記偏光照明から出射され前記被写体を反射して、前記第１の偏光軸の方向とは異なる第２の偏光軸と平行な方向に振動し、前記第３の波長帯域の光の情報を有する第６の画像情報を取得するように構成された撮像ユニットと、
    前記第５および前記第６の画像情報を用いて前記第３の波長帯域の光の情報を有する第７の画像情報を生成するように構成された第４の演算処理部と、
    前記第１、前記第２および前記第７の画像情報を用いて第１のカラー画像情報を生成するように構成された第５の演算処理部と、
    前記第１のカラー画像情報と前記第５の画像情報とを合成して第３のカラー画像情報を生成するように構成された第６の演算処理部と、
    前記第１のカラー画像情報と前記第６の画像情報とを合成して第４カラー画像情報を生成するように構成された第７の演算処理部と、
    を備えた撮像システム。

Images