JPWO2018142692A1 - 撮像装置、および画像処理装置 - Google Patents

Abstract

赤外光画像に含まれる映り込み像の影響を低減する。撮像部（２０）は、赤外光画像撮像領域（２１ａ）および可視光画像撮像領域（２１ｂ）を含む撮像素子（２１）と、主軸方向が互いに異なる複数の偏光素子（２５ａ〜２５ｄ）を含む複数の偏光ユニットが、赤外光画像撮像領域を構成する複数の画素に対応付けられて二次元的に配列されている偏光フィルタ（２５）と、を備える。

Description

以下の開示は、画像を撮像する撮像装置等に関する。

近年、携帯電話機またはタブレット型ＰＣ（Personal Computer）等の情報処理装置において、セキュリティに対するユーザの認識はますます高まっている。これに伴い、種々の認証技術が開発されている。近年では、虹彩認証技術等の、非常に信頼性の高い認証技術も開発され、当該虹彩認証技術を備えた携帯電話機も市販されている。

このような虹彩認証技術を備えた本人認証装置の一例が、特許文献１に開示されている。特許文献１には、可視光画像を用いた認証（例：顔認証）と、赤外光画像を用いた認証（例：虹彩認証）とを行うことが可能な小型の本人認証装置が開示されている。当該本人認証装置は、可視光および赤外光を検出し、それぞれ可視光画像および赤外光画像として出力する単一の撮像部を備え、可視光画像および赤外線画像のそれぞれを利用して本人の認証を行う。撮像部は、具体的には、赤色（Ｒ）、緑色（Ｇ）および青色（Ｂ）に加え、赤外線（ＩＲ）を受光する受光部を含む。

日本国公開特許公報「特開２００５−３３９４２５号公報（２００５年１２月８日公開）」

ここで一般に、撮像された赤外線画像において、画像処理の対象となる像（例：虹彩の像）を形成する光は、そのほとんどが拡散反射成分から構成される。一方、画像処理において除去すべきノイズとなる像（処理対象外とすべき映り込み像。例：虹彩に映り込んだ像）を形成する光は、そのほとんどが鏡面反射成分から構成される。したがって、赤外線画像を用いて精度良く認証を行う場合には、赤外線画像を形成する光から鏡面反射成分を適切に除去する必要がある。

しかしながら、特許文献１には、鏡面反射成分の除去に関する開示が一切ない。そのため、特許文献１の本人認証装置では、赤外線画像に映り込み像が含まれる場合には、映り込み像も処理対象の像の一部として特定され、誤認証が行われてしまう可能性がある。

本開示の一態様は、撮像した赤外光画像に対する画像処理を行う場合に、赤外光画像に含まれる処理対象の像以外の映り込み像の影響を低減することが可能な撮像装置を実現することを目的とする。

上記の課題を解決するために、本開示の一態様に係る撮像装置は、二次元的に配列された複数の画素によって画像を撮像する撮像素子を備える撮像装置であって、上記撮像素子は、可視光を受光することにより可視光画像を撮像する可視光画像撮像領域と、赤外光を受光することにより赤外光画像を撮像する赤外光画像撮像領域と、を含み、さらに、主軸方向が互いに異なる複数の偏光素子を含む偏光ユニットを複数含み、当該複数の偏光ユニットが、上記赤外光画像撮像領域を構成する上記複数の画素に対応付けられて二次元的に配列されている偏光フィルタを備える。

本開示の一態様によれば、撮像した赤外光画像に対する画像処理を行う場合に、赤外光画像に含まれる処理対象の像以外の映り込み像の影響を低減することが可能となる。

実施形態１に係る撮像部の、赤外光画像撮像領域側の構成の一例を示す図であり、（ａ）は撮像素子の構成の概略を示す図であり、（ｂ）は赤外光画像撮像領域の構成の概略を示す断面図であり、（ｃ）は偏光フィルタの構成の概略を示す平面図である。 実施形態１に係る携帯情報端末の構成の一例を示す図であり、（ａ）は携帯情報端末の外観の一例を示し、（ｂ）は携帯情報端末が備える撮像部の外観の一例を示し、（ｃ）は撮像部によって撮像された画像の一例を示す。 虹彩認証について説明するための図である。 実施形態１に係る撮像部の、可視光画像撮像領域側の構成の一例を示す図であり、（ａ）は撮像素子の構成の概略を示す図であり、（ｂ）は可視光画像撮像領域の構成の概略を示す断面図であり、（ｃ）はカラーフィルタの構成の概略を示す平面図である。 実施形態１に係る携帯情報端末の構成を示す機能ブロック図である。 実施形態１に係る制御部による虹彩認証処理を示すフローチャートである。 （ａ）は、実施形態１の変形例に係る偏光フィルタの構成を示す図であり、（ｂ）は、実施形態１の別の変形例に係る偏光フィルタの構成を示す図である。 実施形態２に係る携帯情報端末の構成の一例を示す図であり、（ａ）は携帯情報端末の外観の一例を示し、（ｂ）は携帯情報端末が備える偏光フィルタの構成の概略を示す平面図である。 実施形態２に係る携帯情報端末の構成を示す機能ブロック図である。 実施形態２に係る撮像部の構成の概略を示す断面図である。 実施形態２に係る制御部による虹彩認証処理を示すフローチャートである。 実施形態３に係る携帯情報端末の構成を示す機能ブロック図である。 画素の出力値の周期的な変化について説明するための図であり、（ａ）は人物の画像が印刷された紙面を連続して撮像した場合における画素の出力値を示す図であり、（ｂ）は実際の人物を連続して撮像した場合における画素の出力値を示す図である。 実施形態３に係る制御部による虹彩認証処理を示すフローチャートである。

〔実施形態１〕
以下、本開示の実施形態１について、図１〜図７に基づいて詳細に説明する。

＜携帯情報端末１の構成＞
まず、携帯情報端末１の構成について、図２を用いて説明する。図２は、携帯情報端末１の構成の一例を示す図であり、（ａ）は携帯情報端末１の外観の一例を示し、（ｂ）は携帯情報端末１が備える撮像部２０の外観の一例を示し、（ｃ）は撮像部２０によって撮像された画像の一例を示す。

本実施形態の携帯情報端末１は、被写体で反射された可視光および赤外光を取得することにより被写体を含む画像を撮像する撮像機能と、撮像した画像に対する画像処理を行う画像処理機能とを備える。

また、本実施形態の携帯情報端末１は、画像処理の結果を受けて、撮像した画像に含まれる被写体の認証を行う認証機能を備える。特に、携帯情報端末１は、被写体であるユーザ（人間）の眼球で反射された赤外光を受光することにより生成される赤外光画像に対して画像処理を行うことにより、虹彩認証を行う機能を搭載している。この場合、携帯情報端末１は、撮像されたユーザの眼球を含む赤外光画像において、眼球で反射された赤外光に含まれる拡散反射成分と鏡面反射成分とを分離し、当該分離した赤外光画像を用いて当該ユーザの虹彩認証を行うことが可能な端末である。

携帯情報端末１は、図２の（ａ）に示すように、撮像部２０（撮像装置）、赤外光源３０および表示部４０を備える。撮像部２０は、ユーザ操作に基づいて、被写体を含む画像を撮像する。赤外光源３０は、例えば撮像部２０が赤外光を受光することにより赤外光画像を撮像するときに、赤外光（特に近赤外光）を出射する。表示部４０は、撮像部２０が撮像した画像等、各種画像を表示する。

＜撮像部２０の構成＞
次に、撮像部２０について、図１、図２および図４を用いて説明する。図１は、撮像部２０の、赤外光画像撮像領域２１ａ側の構成の一例を示す図であり、（ａ）は撮像素子２１の構成の概略を示す図であり、（ｂ）は赤外光画像撮像領域２１ａの構成の概略を示す断面図であり、（ｃ）は偏光フィルタ２５の構成の概略を示す平面図である。また、図４は、撮像部２０の、可視光画像撮像領域２１ｂ側の構成の一例を示す図であり、（ａ）は撮像素子２１の構成の概略を示す図であり、（ｂ）は可視光画像撮像領域２１ｂの構成の概略を示す断面図であり、（ｃ）はカラーフィルタ３１の構成の概略を示す平面図である。

（撮像素子２１）
撮像部２０は、図２の（ｂ）に示す撮像素子２１を備える。撮像素子２１は、二次元的に配列された複数の画素によって画像を撮像する。撮像素子２１としては、例えば、ＣＣＤ（Charge Coupled Device）またはＣＭＯＳ（Complementary Metal Oxide Semiconductor）が挙げられる。本実施形態では、撮像素子２１がＣＣＤで構成されている場合を例に挙げて説明する。

撮像素子２１は、具体的には、赤外光を受光することにより赤外光画像を撮像する赤外光画像撮像領域２１ａと、可視光を受光することにより可視光画像を撮像する可視光画像撮像領域２１ｂと、を含む。換言すれば、１つの撮像素子２１に赤外光画像撮像領域２１ａおよび可視光画像撮像領域２１ｂが形成されている。そのため、撮像素子２１が、赤外光画像および可視光画像を撮像する撮像部２０に適用されていることにより、撮像部２０の小型化を図ることができる。

本実施形態では、赤外光画像撮像領域２１ａは、虹彩認証を行うときに、図２の（ｃ）に示すようにユーザの眼球を被写体として赤外光画像を撮像する認証モードにおいて用いられる領域である。人間の瞳は様々な色を有しており、可視光画像の場合、当該色によって虹彩の像が不鮮明になる可能性がある。一方、赤外光画像の場合、当該色の成分を除去した瞳の像を取得することができるため、鮮明な虹彩の像を取得することができる。そのため、本実施形態の認証モードにおいては、赤外光画像を取得している。

また、可視光画像撮像領域２１ｂは、被写体の可視光画像を撮像する通常モードにおいて用いられる領域である。本実施形態では、可視光画像撮像領域２１ｂが撮像した可視光画像は認証等には用いられない。可視光画像撮像領域２１ｂは、例えば図２の（ｃ）に示すように、被写体であるユーザの顔全体を含む可視光画像を取得する。

このように、撮像素子２１を搭載した携帯情報端末１では、虹彩認証を行うための赤外光画像と、認証には用いない可視光画像とを、共通の撮像部２０によって撮像することが可能である。そのため、携帯情報端末１は、図２の（ａ）に示すように、表示部４０側に撮像部２０を設けることにより、虹彩認証用の撮像部（赤外光カメラ）を設けることなく、赤外光画像を撮像することができる。つまり、上述のように撮像部２０の小型化を図ることにより、赤外光画像および可視光画像を撮像することが可能な携帯情報端末１の小型化を図ることができる。

また、撮像素子２１は、赤外光画像撮像領域２１ａおよび可視光画像撮像領域２１ｂを少なくとも含んでいればよい。本実施形態では、撮像素子２１の撮像領域が、携帯情報端末１（具体的には撮像素子２１）の長手方向（Ｙ軸方向）に沿って赤外光画像撮像領域２１ａおよび可視光画像撮像領域２１ｂに分割されている。虹彩認証を行う場合、一般には、ユーザは、携帯情報端末１の長手方向がユーザの２つの眼を結ぶ線と交差するように携帯情報端末１を把持して、ユーザの眼を撮像する。虹彩認証時の一般的な使用態様を考慮すれば、撮像素子２１の撮像領域が、上記長手方向に沿って赤外光画像撮像領域２１ａおよび可視光画像撮像領域２１ｂに分割されていることが好ましい。

なお、図２の（ｂ）に示す撮像素子２１においては、＋Ｙ軸方向を上とした場合、上側に赤外光画像撮像領域２１ａ、下側に可視光画像撮像領域２１ｂが配置されているが、逆であってもよい。また、撮像素子２１の撮像領域は、携帯情報端末１の短手方向（Ｘ軸方向）に沿って赤外光画像撮像領域２１ａおよび可視光画像撮像領域２１ｂに分割されていてもよい。このような分割は、虹彩認証時に携帯情報端末１の長手方向がユーザの２つの眼を結ぶ線と略平行になるように携帯情報端末１を把持してユーザの眼を撮像する場合に有効である。ただし、虹彩認証時にユーザの眼を撮像できれば、撮像素子２１において、赤外光画像撮像領域２１ａおよび可視光画像撮像領域２１ｂがどのように配置されていてもよい。

また、赤外光画像撮像領域２１ａおよび可視光画像撮像領域２１ｂはそれぞれ、図１の（ｂ）および図４の（ｂ）に示すように、転送線２２、２３およびフォトダイオード２４を備える。

転送線２２、２３は、赤外光画像撮像領域２１ａおよび可視光画像撮像領域２１ｂの表面において、それぞれＸ軸方向およびＹ軸方向に延伸しており、フォトダイオード２４からの出力を制御部１０（後述）に送信する。これにより、赤外光画像撮像領域２１ａで撮像された赤外光画像、および可視光画像撮像領域２１ｂで撮像された可視光画像を、画像処理を行う制御部１０に送信することができる。

フォトダイオード２４は、赤外光画像撮像領域２１ａにおいては赤外光を受光し、可視光画像撮像領域２１ｂにおいては可視光を受光する。また、各フォトダイオード２４が、撮像素子２１の画素を構成する。換言すれば、撮像素子２１は、複数のフォトダイオード２４が複数の画素として二次元的に配列されている構成を有する。

（赤外光画像撮像領域２１ａ側の構成）
撮像部２０は、図１の（ａ）に示す撮像素子２１の赤外光画像撮像領域２１ａ側に、図１の（ｂ）に示すように、偏光フィルタ（集積偏光子）２５および可視光遮断フィルタ２６を備える。図１の（ｂ）に示すように、撮像部２０に光が入射する方向から見て、可視光遮断フィルタ２６、偏光フィルタ２５および撮像素子２１の順に積層されている。

偏光フィルタ２５は、主軸方向が互いに異なる複数の偏光素子を含む偏光ユニットを複数含み、赤外光画像撮像領域２１ａを構成する複数の画素に対応付けられて二次元的に配列されている。本実施形態では、偏光フィルタ２５は、赤外光画像撮像領域２１ａの１画素につき１つの偏光素子が対応するように配置されている。また、本実施形態では、図１の（ｃ）に示すように、隣接する４つの画素にそれぞれ対応する、隣接する４つの偏光素子２５ａ〜２５ｄが１つの偏光ユニットを形成している。具体的には、１つの偏光ユニットを形成する４つの偏光素子２５ａ〜２５ｄは、それぞれ０°、４５°、９０°および１３５°の偏光角を有する。

偏光フィルタ２５は、複数の画素（換言すれば、赤外光画像撮像領域２１ａ）の上に直接形成されている。偏光フィルタ２５は、このような形成が可能なものであればよく、例えば、アルミニウム（Ａｌ）等の金属で構成されたワイヤグリッド、または屈折率が互いに異なる材料が積層されたフォトニック結晶を含むものが挙げられる。

なお、１つの偏光ユニットに対応付けられた画素群（本実施形態では、４つの画素）を１つの画素ユニットと称する場合もある。

可視光遮断フィルタ２６は、赤外光画像撮像領域２１ａに設けられ、赤外光画像撮像領域２１ａに向かう可視光を遮断する。虹彩の色は人によって異なるため、赤外光画像に可視光成分が含まれている場合、虹彩の像が不鮮明となる可能性がある。可視光遮断フィルタ２６を赤外光画像撮像領域２１ａに設けることにより、虹彩の像が不鮮明になることを抑制することができ、赤外光画像の画質の劣化を抑制することができる。

また、赤外光画像撮像領域２１ａに対する可視光遮断フィルタ２６の相対位置は固定されている。一般に、撮像態様によって可視光遮断フィルタを撮像素子に対して移動させる構成の場合、可視光遮断フィルタを移動させる移動機構を備える必要があるが、撮像部２０は、このような移動機構を備える必要がない。そのため、撮像部２０の小型化を図ることができる。また、当該移動機構が作動することに起因する発塵がないため、赤外光画像撮像領域２１ａにより撮像される赤外光画像に異物が映り込む虞が低減される。

（虹彩認証について）
ここで、図３を用いて、虹彩認証について説明する。図３は、虹彩認証について説明するための図である。なお、図３の説明においては、上記認証モードにおいて、外光（太陽光）または室内光に含まれる赤外光によってユーザの眼球Ｅが撮像されるものとして説明する。

図３に示すように、ユーザの眼球Ｅに外光または室内光が照射されると、当該光は眼球Ｅにおいて反射され、その赤外光成分が撮像部２０の赤外光画像撮像領域２１ａに入射することになる。

赤外光画像撮像領域２１ａは、ユーザの眼球Ｅに外光または室内光が照射され、虹彩において当該外光または室内光が拡散反射された拡散反射光Ｌｒの赤外光成分を取得することにより、ユーザの虹彩の像を含む赤外光画像を取得する。そして、携帯情報端末１は、当該虹彩の像を解析することによりユーザ認証を行う。一方、認証を行うユーザの周囲の環境光が明るく、かつ映り込む像の源となる物体Ｏが存在する場合、眼球Ｅ（より詳しくは角膜表面）には映り込み像Ｉｒが形成される。映り込み像Ｉｒは、環境光が物体Ｏに照射され、物体Ｏからの反射光が眼球Ｅ（より詳しくは角膜表面）でさらに鏡面反射されることにより生じる。そして、赤外光画像撮像領域２１ａは、虹彩からの拡散反射光Ｌｒと、映り込み像Ｉｒを構成する鏡面反射光の赤外光成分とを抽出することにより赤外光画像を取得することになる。

したがって、赤外光画像撮像領域２１ａに偏光フィルタ２５が設けられていない場合において、携帯情報端末１が、取得した虹彩の像および映り込み像Ｉｒを含む赤外光画像から映り込み像Ｉｒを除去するための機能を有しない場合には、虹彩の画像解析において映り込み像Ｉｒの影響を受けてしまうことになる。その結果、携帯情報端末１において正確な虹彩認証ができない可能性がある。

特に、太陽光の照射下においてはユーザの眼球Ｅに強い映り込みが生じるため、屋外での正確な虹彩認証は困難を伴う。太陽光の強度よりも高い強度を有する光をユーザの眼球Ｅに照射することで、虹彩認証における太陽光の影響を低減することはできるが、このような強度の高い光を眼球Ｅまたは肌に照射した場合には、眼球Ｅまたは肌の状態が悪化してしまう可能性がある。また、消費電力が増大するという問題もある。

ここで一般に、画像処理に用いる像を形成する光（ここでは、認証処理に用いられる虹彩を示す拡散反射光Ｌｒ）は、そのほとんどが拡散反射成分から構成される。本実施形態では、当該光は、認証処理において必要となる眼球Ｅ（具体的には虹彩）の表面を示す表面情報を示すものとして処理される。虹彩は微細で複雑な構造を有するため、虹彩の像を形成する拡散反射光Ｌｒはほとんど偏光しない。一方、上記画像処理において除去すべきノイズとなる像を形成する光（ここでは、認証処理に悪影響を与える物体Ｏの映り込み像Ｉｒを構成する光）は、そのほとんどが鏡面反射成分から構成される。鏡面反射光は一般に、入射角度によって変わってはくるが、偏光度が高くなることが知られている。

本実施形態の携帯情報端末１においては、撮像部２０は、上述のように、赤外光画像撮像領域２１ａに対応するように設けられた偏光フィルタ２５を備えている。そのため、携帯情報端末１では、赤外光画像撮像領域２１ａが、偏光フィルタ２５を介して取得した赤外光画像に対して、後述の制御部１０による画像処理を行うことができる。そして、携帯情報端末１では、当該画像処理により、上記のような強度の高い光を眼球Ｅに照射することなく、虹彩の画像解析における映り込み像Ｉｒの影響を低減した、鮮明な虹彩の像を取得し、正確な虹彩認証を行うことが可能となる。

つまり、撮像部２０は、上記のように偏光フィルタ２５を設けることにより、撮像した赤外光画像に対する画像処理を行う場合に、処理対象となる像（本実施形態では、虹彩の像）以外の映り込み像Ｉｒの影響を低減することを可能とする。

また、偏光フィルタ２５は、上述のように、主軸方向が互いに異なる複数の偏光素子２５ａ〜２５ｄを含む偏光ユニットを複数含む。そのため、眼球Ｅ上の反射される位置によって異なる偏光方向を持つ、映り込み像Ｉｒを構成する鏡面反射光に対応することができる。この対応により、制御部１０による上記画像処理において、映り込み像Ｉｒの影響を低減することができる。

（可視光画像撮像領域２１ｂ側の構成）
撮像部２０は、図４の（ａ）に示す撮像素子２１の可視光画像撮像領域２１ｂ側に、図４の（ｂ）に示すように、カラーフィルタ３１および赤外光遮断フィルタ３２を備える。図４の（ａ）に示すように、撮像部２０に光が入射する方向から見て、赤外光遮断フィルタ３２、カラーフィルタ３１および撮像素子２１の順に積層されている。

カラーフィルタ３１は、可視光画像撮像領域２１ｂによって撮像される可視光画像の多色カラー表示を実現するために、可視光画像撮像領域２１ｂのサブ画素毎に異なる３原色（ＲＧＢ）を有するフィルタによって構成されている。カラーフィルタ３１は、３原色のそれぞれに対応するフィルタが、例えば図４の（ｃ）に示すように２次元的に配置されている。カラーフィルタ３１は、例えば有機材料で構成されている。

赤外光遮断フィルタ３２は、可視光画像撮像領域２１ｂに設けられ、可視光画像撮像領域２１ｂに向かう赤外光を遮断する。一般に、カラーフィルタは赤外光を透過してしまう。そのため、可視光画像に赤外光成分が含まれる場合、可視光画像の画質が劣化してしまう可能性がある。赤外光遮断フィルタ３２を可視光画像撮像領域２１ｂに設けることにより、可視光画像の画質の劣化を抑制することができる。

本実施形態では、赤外光遮断フィルタ３２は、カラーフィルタ３１と同じ有機材料で構成されている。このため、カラーフィルタ３１および赤外光遮断フィルタ３２を同じ製造工程で製造することが可能となる。この点を考慮しなければ、赤外光遮断フィルタ３２は、赤外光を遮断可能な他の材料で構成されてよい。

また、可視光画像撮像領域２１ｂに対する赤外光遮断フィルタ３２の相対位置は固定されている。一般に、撮像態様によって赤外光遮断フィルタを撮像素子に対して移動させる構成の場合（例：特許文献１に係る発明）、赤外光遮断フィルタを移動させる移動機構を備える必要があるが、撮像部２０は、このような移動機構を備える必要がない。そのため、撮像部２０の小型化を図ることができる。また、当該移動機構が作動することに起因する発塵がないため、可視光画像撮像領域２１ｂにより撮像される可視光画像に異物が映り込む虞が低減される。

＜制御部１０の構成＞
次に、携帯情報端末１が備える制御部１０の構成について、図５を用いて説明する。図５は、携帯情報端末１の構成を示す機能ブロック図である。図５に示すように、携帯情報端末１は、制御部１０（画像処理装置）、撮像部２０、赤外光源３０、表示部４０、および記憶部５０を備える。

制御部１０は、黒目検出部１１、画像処理部１２、および認証部１３を備える。制御部が備える各部についての説明は後述する。撮像部２０、赤外光源３０、および表示部４０については上述したとおりである。記憶部５０は、制御部１０の制御に必要な情報を記憶する記憶媒体であり、例えばフラッシュメモリ等である。

黒目検出部１１は、撮像部２０が赤外光画像撮像領域２１ａで撮像した赤外光画像を取得し、当該赤外光画像に含まれる、ユーザの黒目に対応する領域を特定する。黒目検出部１１における処理は、例えば虹彩の画像による認証の分野においては公知であるため、本明細書では説明を省略する。

画像処理部１２は、撮像部２０（具体的には、赤外光画像撮像領域２１ａ）が撮像した赤外光画像に対して画像処理を行う。具体的には、画像処理部１２は、赤外光画像撮像領域２１ａが受光した赤外光に含まれる鏡面反射成分を低減するように、赤外光画像撮像領域２１ａが撮像した赤外光画像に対して画像処理を行う。本実施形態では、画像処理部１２は、赤外光画像撮像領域２１ａ内の各画素ユニットに含まれる複数の画素のうち、受光した赤外光の受光強度が最も小さい画素の出力値（換言すれば、本例における、画像処理を行って得られた結果）を、当該画素ユニットの出力値として決定する。ここで、出力値とは、赤外光の受光強度等、赤外光画像を示す種々の値を示す。

上述したとおり、映り込み像Ｉｒを形成する赤外光は偏光度が高い。このため、偏光フィルタ２５によって除去される赤外光の強度は、偏光素子２５ａ〜２５ｄの偏光角によって異なる。画素ユニットに含まれる画素のうち、受光した赤外光の受光強度が最も小さい画素においては、当該画素に対応する偏光素子によって、映り込み像Ｉｒを形成する赤外光が最もよく除去されていると考えられる。したがって、画像処理部１２は、上記のように出力値を決定することにより、映り込み像Ｉｒの影響を低減した赤外光画像を取得することができる。

また、画像処理部１２は、撮像部２０（具体的には、可視光画像撮像領域２１ｂ）が撮像した可視光画像に対して画像処理を行う。本実施形態では、可視光画像は認証処理に用いられない。そのため、画像処理部１２は、可視光画像に所定の画像処理を行って表示部４０に表示する。また、画像処理部１２は、可視光画像を記憶部５０に記憶してもよい。なお、画像処理部１２は、赤外光画像撮像領域２１ａが撮像した赤外光画像に所定の画像処理を行って表示部４０に表示してもよい。

認証部１３は、画像処理部１２で処理された各画素ユニットの出力値を用いて、ユーザの認証を行う。すなわち、認証部１３は、映り込み像Ｉｒが最もよく除去された赤外光画像を用いて虹彩認証を行うため、高精度な認証を行うことができる。認証部１３における、虹彩による認証は公知技術であるため、本明細書では説明を省略する。

＜制御部１０の処理＞
図６は、制御部１０による虹彩認証処理を示すフローチャートである。ここでは、携帯情報端末１において認証モードが設定されている場合の虹彩認証処理について説明する。制御部１０による虹彩認証処理においては、まず、赤外光画像撮像領域２１ａで撮像された赤外光画像を黒目検出部１１が取得し（Ｓ１）、当該赤外光画像に含まれる、ユーザの黒目を検出する（Ｓ２）。次に、画像処理部１２が、上述のように各画素ユニットの出力値を決定する（Ｓ３）。その後、認証部１３が、各画素ユニットの出力値に基づいてユーザの認証を行う（Ｓ４）。

＜変形例＞
図７の（ａ）は、本実施形態の変形例に係る偏光フィルタ２５Ａの構成を示す図である。偏光フィルタ２５Ａは、上述した偏光フィルタ２５と置換可能なフィルタである。図７の（ａ）に示すように、偏光フィルタ２５Ａにおいては、隣接する９つの画素にそれぞれ対応する、隣接する９つの偏光素子２５ｅ〜２５ｍが１つの偏光ユニットを形成している。具体的には、１つの偏光ユニットを形成する９つの偏光素子２５ｅ〜２５ｍは、それぞれ０°、２０°、４０°、６０°、８０°、１００°、１２０°、１４０°、および１６０°の偏光角を有する。

このように、１つの偏光ユニットに含まれる偏光素子の数は、４であっても９であってもよく、またさらに別の数であってもよい。１つの偏光ユニットに含まれる偏光素子の、角度の数が多ければ、受光する赤外光に含まれる、映り込み像Ｉｒの成分を、より精度良く除去することができる。ただし、１つの画素ユニットは１つの偏光ユニットに対応付けられており、上述のとおり、１つの画素ユニットからは１つの出力値が出力される。そのため、１つの偏光ユニットに対する画素数が多くなると、画像処理部１２による処理を行った後の赤外光画像の解像度が低くなる。したがって、１つの偏光ユニットに含まれる偏光素子の数は、映り込み像Ｉｒの成分の除去精度と認証に用いる赤外光画像の解像度とを考慮して設定する必要がある。

また、図７の（ｂ）は、本実施形態の別の変形例に係る偏光フィルタ２５Ｂの構成を示す図である。偏光フィルタ２５Ｂも、上述した偏光フィルタ２５と置換可能なフィルタである。図７の（ｂ）に示すように、偏光フィルタ２５Ｂにおいては、隣接する４つの画素にそれぞれ対応する、隣接する２つずつの偏光素子２５ｎ・２５ｏが１つの偏光ユニットを形成している。具体的には、偏光素子２５ｎ・２５ｏはそれぞれ、０°および９０°の偏光角を有する。このように、１つの偏光ユニットに、同じ偏光角を有する偏光素子が複数含まれていてもよい。

また、上述した偏光素子２５ａ〜２５ｏはいずれも、１つの画素に対して１つ対応付けられていた。しかし、複数の画素に対して１つの偏光素子が対応付けられていてもよい。ただし、１つの偏光素子に対する画素数（換言すれば、１つの偏光ユニットに対する画素数）が多くなると、上記と同様の理由から、画像処理部１２による処理を行った後の赤外光画像の解像度が低くなる。したがって、１つの偏光素子に対応付ける画素の数は、映り込み像Ｉｒの成分の除去精度、認証に用いる赤外光画像の解像度、および赤外光画像における個々の画素の大きさを考慮して設定する必要がある。

＜その他＞
本開示の一態様に係る被写体は眼球に限定されず、映り込みが発生する可能性のある被写体であればどのようなものでもよい。また、赤外光画像に含まれる映り込み像の影響を低減することが必要とされる具体的な実施態様として、上記では虹彩認証を挙げて説明した。これに限らず、本開示の一態様に係る撮像部２０、および制御部１０における画像処理は、映り込み像の影響を低減することが必要とされる技術において広く適用可能である。

また、携帯情報端末１は、制御部１０、撮像部２０、赤外光源３０および表示部４０を一体に備える携帯情報端末１を例に挙げて説明するが、これらの部材は一体に設けられている必要は無い。

〔実施形態２〕
本開示の他の実施形態について、図８〜図１１に基づいて説明すれば、以下のとおりである。なお、説明の便宜上、前記実施形態にて説明した部材と同じ機能を有する部材については、同じ符号を付記し、その説明を省略する。

＜携帯情報端末１ａの構成＞
図８は、本実施形態に係る携帯情報端末１ａの構成の一例を示す図であり、（ａ）は携帯情報端末１ａの外観の一例を示し、（ｂ）は携帯情報端末１ａが備える偏光フィルタ２５Ｃの構成の概略を示す平面図である。

図８の（ａ）に示すように、携帯情報端末１ａは、携帯情報端末１ａの周囲の照度を検知する照度センサ６０（照度検知部）を備えるとともに、撮像部２０の代わりに撮像部２０ａを備える点で、携帯情報端末１と相違する。

＜撮像部２０ａの構成＞
撮像部２０ａ（撮像装置）は、赤外光画像撮像領域２１ａに、偏光フィルタ２５の代わりに偏光フィルタ２５Ｃを備える。偏光フィルタ２５Ｃは、８つの偏光素子２５ｐ、２５ｑ、２５ｒ、２５ｓ、２５ｔ、２５ｕ、２５ｖ、２５ｗのそれぞれが存在する偏光領域２５ｐａ（図１０参照）と、偏光素子が存在しない非偏光領域２５ｎｐａとを有する。偏光フィルタ２５Ｃにおいては、偏光領域２５ｐａおよび非偏光領域２５ｎｐａが１つの偏光ユニットを形成している。偏光素子２５ｐ〜２５ｗは、それぞれ０°、２２．５°、４５°、６７．５°、９０°、１１２．５°、１３５°および１５７．５°の偏光角を有する。

また、本実施形態では、１つの偏光ユニットに対応する画素ユニットは、８つの偏光素子２５ｐ〜２５ｗおよび非偏光領域２５ｎｐａのそれぞれに対応する、計９つの画素を含む。ただし、非偏光領域２５ｎｐａに対応する画素が複数あってもよい。また、１つの偏光ユニットに対応する画素ユニットに含まれる画素の数は９つとは異なる数であってもよい。

＜制御部１０ａの構成＞
次に、携帯情報端末１ａが備える制御部１０ａの構成について、図９を用いて説明する。図９は、携帯情報端末１ａの構成を示す機能ブロック図である。図９に示すように、携帯情報端末１ａは、制御部１０ａ（画像処理装置）、撮像部２０ａ、赤外光源３０、表示部４０、記憶部５０、および照度センサ６０を備える。制御部１０ａは、黒目検出部１１、画像処理部１２ａ、および認証部１３を備える。

画像処理部１２ａは、照度センサ６０が検知した照度が所定値以上である場合には、赤外光画像撮像領域２１ａが受光した赤外光に含まれる鏡面反射成分を低減するように、赤外光画像撮像領域２１ａが撮像した赤外光画像に対して画像処理を行う。本実施形態では、画像処理部１２ａは、偏光領域２５ｐａに対応付けられた複数の画素のうち、受光した赤外光の受光強度が最も小さい画素の出力値（換言すれば、本例における、画像処理を行って得られた結果）を、画素ユニットの出力値として決定する。一方、照度センサ６０が検知した照度が所定値未満である場合には、画像処理部１２ａは、非偏光領域２５ｎｐａに対応付けられた画素の出力値を、画素ユニットの出力値として決定する。

図１０は、撮像部２０ａの構成の概略を示す断面図である。図１０に示すように、反射光Ｌｒ０は、可視光遮断フィルタ２６によって可視光成分が除去されて赤外光成分のみの反射光Ｌｒ１となる。反射光Ｌｒ０は、拡散反射光Ｌｒのみ、または、拡散反射光Ｌｒおよび鏡面反射光により構成される光である。偏光領域２５ｐａにおいては、反射光Ｌｒ１は、さらに偏光素子２５ｐ〜２５ｗ（図８参照）のそれぞれによって特定方向の偏光以外が除去されて反射光Ｌｒ２となってフォトダイオード２４に入射する。そのため、反射光Ｌｒ２の強度は反射光Ｌｒ１の強度より小さい。一方、非偏光領域２５ｎｐａにおいては、反射光Ｌｒ１がそのままフォトダイオード２４に入射する。

このように、偏光領域２５ｐａに対応するフォトダイオード２４が受光する赤外光の受光強度は、非偏光領域２５ｎｐａに対応するフォトダイオード２４が受光する赤外光の受光強度と比較して小さくなる。具体的には、偏光素子２５ｐ〜２５ｗのそれぞれによる減衰率は、一般には５０％以上になる。また、赤外光の受光強度は、携帯情報端末１ａの周囲の照度が低い場合には、周囲の照度が高い場合と比較して小さくなる。このため、赤外光画像撮像領域２１ａの全ての画素に偏光素子が設けられている撮像部２０（実施形態１参照）では、夜間または暗い屋内等の、周囲の照度が低い環境下での虹彩認証に支障をきたす虞がある。一方で、周囲の照度が低い場合には、撮像した赤外光画像に映り込み像はほとんど現れない。

このため、携帯情報端末１ａの周囲の照度が所定値未満である場合には、画像処理部１２ａは、非偏光領域２５ｎｐａに対応するフォトダイオード２４の出力値を、当該フォトダイオード２４を含む画素ユニットの出力値として決定する。これにより、携帯情報端末１ａにおいては、周囲の照度が低い場合においても虹彩認証が可能な赤外光画像を得ることができる。

一方、周囲の照度が所定値以上である場合には、画像処理部１２ａは、実施形態１と同様の処理を行う。そのため、携帯情報端末１ａは、周囲の環境に依らず、映り込み像Ｉｒの影響を低減または除去した赤外光画像に対する画像処理を行うことができる。

したがって、携帯情報端末１ａでは、周囲の環境に依らず、虹彩認証処理を精度良く行うことが可能となる。

なお、ここでいう照度の「所定値」とは、映り込み像Ｉｒによる虹彩認証への影響が無視できない照度の下限を意味する。

＜制御部１０ａの処理＞
図１１は、制御部１０ａによる虹彩認証処理を示すフローチャートである。制御部１０ａによる虹彩認証処理においては、まず、赤外光画像撮像領域２１ａで撮像された赤外光画像を黒目検出部１１が取得し（Ｓ１１）、当該赤外光画像に含まれる、ユーザの黒目を検出する（Ｓ１２）。次に、画像処理部１２ａが、照度センサ６０から携帯情報端末１ａの周囲の照度を取得し（Ｓ１３）、周囲の照度が所定値以上であるか判定する（Ｓ１４）。

周囲の照度が所定値以上である場合（Ｓ１４でＹＥＳ）、画像処理部１２ａは、偏光領域２５ｐａに対応する画素の出力値に基づいて、各画素ユニットの出力値を決定する（Ｓ１５）。その後、認証部１３が、各画素ユニットの出力値に基づいてユーザの認証を行う（Ｓ１６）。

一方、周囲の照度が所定値未満である場合（Ｓ１４でＮＯ）、画像処理部１２ａは、非偏光領域２５ｎｐａに対応する画素の出力値を各画素ユニットの出力値として決定する（Ｓ１７）。その後、認証部１３が、各画素ユニットの出力値に基づいてユーザの認証を行う（Ｓ１８）。

なお、上述した実施形態では、携帯情報端末１ａが照度センサ６０を備えていた。しかし、必ずしも携帯情報端末１ａ自体が照度センサ６０を備える必要はない。例えば、携帯情報端末１ａは、照度センサ６０を備える、携帯情報端末１ａと別の装置から、携帯情報端末１ａの周囲の照度を示す信号を受信するように構成されていてもよい。

また、携帯情報端末１ａは、照度センサ６０を備えず、撮像部２０ａを用いて照度を推定してもよい。具体的には、制御部１０ａは、虹彩画像を撮像する前に非偏光領域２５ｎｐａに対応する画素の出力値を計測し、当該出力値に基づいて周囲の照度を推定してもよい。この場合、制御部１０ａは、周囲の照度を検知する照度検知部としても機能する。

〔実施形態３〕
本開示の他の実施形態について、図１２〜図１４に基づいて説明すれば、以下のとおりである。なお、説明の便宜上、前記実施形態にて説明した部材と同じ機能を有する部材については、同じ符号を付記し、その説明を省略する。

＜携帯情報端末１ｂの構成＞
本実施形態の携帯情報端末１ｂの構成について、図１２を用いて説明する。図１２は、携帯情報端末１ｂの構成を示す機能ブロック図である。図１２に示すように、携帯情報端末１ｂは、制御部１０の代わりに制御部１０ｂを備える点で携帯情報端末１と相違する。具体的には、携帯情報端末１ｂでは、上述した携帯情報端末１および１ａと異なり、認証モードにおいて、赤外光画像撮像領域２１ａが撮像した赤外光画像に加え、可視光画像撮像領域２１ｂが撮像した可視光画像も用いられる。

＜制御部１０ｂの構成＞
制御部１０ｂ（画像処理装置）は、制御部１０の構成に加えて、画素有無判定部１４を備える。画素有無判定部１４は、可視光画像撮像領域２１ｂが撮像した可視光画像を取得し、当該可視光画像に対応付けられた複数の画素のうちに、周期的に変化する出力値を出力する画素が存在するか否かを判定する。

画像処理部１２は、周期的に変化する出力値を出力する画素が存在すると画素有無判定部１４が判定した場合に、赤外光画像に対する画像処理を行う。つまり、画像処理部１２は、上記のように判定された場合には、実施形態１で述べたように、赤外光画像撮像領域２１ａが受光した赤外光に含まれる鏡面反射成分を低減するように、赤外光画像撮像領域２１ａが撮像した赤外光画像に対して画像処理を行う。本実施形態では、画像処理部１２は、画素ユニット毎に、受光した赤外光の受光強度が最も小さい画素の出力値（換言すれば、本例における、画像処理を行って得られた結果）を、当該画素ユニットの出力値として決定する。そして、認証部１３は、当該出力値に基づき虹彩認証を行う。

一方、画像処理部１２は、周期的に変化する出力値を出力する画素が存在しないと画素有無判定部１４が判定した場合には、赤外光画像に対する画像処理を行わない。この場合、制御部１０ｂは、例えば、表示部４０において、虹彩認証を続行するか否かをユーザに選択させる選択画面を表示させるか、または、虹彩認証ができないことを示すエラー通知を行ってもよい。後者の場合、制御部１０ｂは、設定された認証モードを解除してもよい。

次に、図１３を参照して、画素の出力値の周期的な変化について説明する。図１３は、画素の出力値の周期的な変化について説明するための図であり、（ａ）は人物の画像が印刷された紙面１００、および紙面１００を連続して撮像した場合における画素の出力値を示す図であり、（ｂ）は実際の人物（ユーザ）２００、および人物２００を連続して撮像した場合における画素の出力値を示す図である。

図１３の（ａ）および（ｂ）に示すように、本実施形態においては、撮像部２０は、認証モードにおいて、赤外光画像撮像領域２１ａにより被写体（紙面１００に描かれた人物、または実際の人物２００）の目の周囲を撮像し、可視光画像撮像領域２１ｂにより被写体の目より下の領域を撮像する。

また、虹彩認証を行う場合、例えば赤外光画像に対する黒目検出が行われるまで、赤外光画像を撮像し続ける必要がある。そのため、上述した実施形態も含め、認証モードにおける撮像部２０による撮像は、黒目検出部１１が黒目を検出するために必要な所定の時間において行われる。本実施形態では特に、後述のように被写体における生命活動の有無を判断するが、当該所定の時間内に当該判断を行うことは可能である。また、黒目を検出する処理の開始より前の、赤外光画像を撮像するための位置合わせを開始する時点から、被写体における生命活動の有無を判断するための処理を行ってもよい。

紙面１００は生命活動を行っていないため、紙面１００を連続して撮像した場合、図１３の（ａ）に示すように、画素の出力値は略一定であり、ほとんど変化しないか、周期的な変化は生じない。これに対し、実際の人物２００は生命活動を行っているため、心臓の拍動に連動して動脈の拡張および収縮が生じる。動脈が拡張しているときには、動脈中を流れる血液に含まれる酸化ヘモグロビンによる光の吸収が大きくなるため、受光する赤外光の受光強度が小さくなる。そのため、画素の出力値は小さくなる。一方、動脈が収縮しているときには、酸化ヘモグロビンによる光の吸収が小さくなるため、上記受光強度が大きくなる。そのため、画素の出力値は大きくなる。したがって、ユーザ（人物２００）を連続して撮像した場合、図１３の（ｂ）に示すように、画素の出力値が心臓の拍動に連動して周期的に変化する。なお、画素の出力値の周期的な変化は、ユーザの顔に対応する領域内であれば任意の箇所で観測可能であり、例えば額または頬等に対応する領域で観測すればよい。

虹彩認証は、非常に高い信頼性を持つ個人認証方法である。しかし、紙面上に高精細に印刷された虹彩を撮像した場合には、当該紙面上の虹彩を本物の虹彩と誤認して認証してしまう可能性があるという問題がある。この問題の解決策として、虹彩認証と併せて、被写体が生体であるか否かを検知することが有用である。

本実施形態では、上述のように、撮像部２０の可視光画像撮像領域２１ｂが被写体を連続して撮像し、画素有無判定部１４が、画素の出力値の周期的変化の有無を判定することにより被写体が生体（例：実際の人物２００）であるか否かを検知する。そして、画素の出力値に周期的な変化が見られる場合には、制御部１０ｂは被写体が生体であると検知して虹彩認証処理を行う。一方、画素の出力値に周期的な変化が見られない場合には、制御部１０ｂは被写体が生体でないと検知して虹彩認証処理を行わない。これにより、制御部１０ｂは、高精細に印刷された紙面上の画像を認証処理の対象外とすることができる。そのため、紙面等を用いた、認証対象の偽造等による不正アクセスを防止することができる。

なお、画素有無判定部１４は、被写体が生体であるか否かを判定できればよい。具体的には、画素有無判定部１４は、所定の時間における、被写体が生体であると判定できる程度の、画素の出力値の経時的な変化の有無が判定できればよい。

＜制御部１０ｂの処理＞
図１４は、制御部１０ｂによる虹彩認証処理を示すフローチャートである。制御部１０ｂによる虹彩認証処理においては、まず、連続して撮像された可視光画像および赤外光画像を画素有無判定部１４が撮像部２０から取得し（Ｓ２１）、可視光画像において出力値が周期的に変化する画素が存在するか判定する（Ｓ２２）。出力値が周期的に変化する画素が存在する場合（Ｓ２２でＹＥＳ）、黒目検出部１１が赤外光画像から黒目を検出し（Ｓ２３）、画像処理部１２が各画素ユニットの出力値を決定する（Ｓ２４）。その後、認証部１３が、各画素ユニットの出力値に基づいて画像処理された赤外光画像を用いて、ユーザの認証を行う（Ｓ２５）。

一方、出力値が周期的に変化する画素が存在しない場合（Ｓ２２でＮＯ）、上述したステップＳ２３〜Ｓ２５の処理は実行されない。

＜変形例＞
上述した実施形態では、画素有無判定部１４は、連続して撮像された可視光画像の、画素の出力値の周期的変化に基づいて、被写体が生体であるか否かを検知した。さらに制御部１０ｂは、被写体が生体であると画素有無判定部１４が判定した場合に、可視光画像を用いた顔認証を併せて行ってもよい。

顔認証は、目、鼻、または口等の形状および位置から抽出した特徴量を用いて認証を行うものである。図１３の（ｂ）に示した例では、可視光画像撮像領域２１ｂが撮像した可視光画像には、被写体である人物２００の鼻および口の像が含まれている。そのため、画像処理部１２が当該可視光画像に含まれる鼻または口の特徴量を抽出し、認証部１３が当該特徴量を解析することにより、制御部１０ｂは顔認証を行うことができる。

なお、人物２００の目の像は、可視光画像撮像領域２１ｂが撮像した赤外光画像に含まれている。そのため、画像処理部１２が、赤外光画像に含まれる目の特徴量を抽出し、認証部１３が当該目の特徴量を解析することにより、顔認証を行ってもよい。この場合、制御部１０ｂは、目、鼻および口の特徴量を用いて顔認証を行うことができる。

また、顔認証の対象は、可視光画像に含まれる鼻、または口のいずれか一方であってもよく、赤外光画像に含まれる目のみであってもよい。後者の場合、赤外光画像のみで虹彩認証および顔認証を行うことができる。ただし、顔認証を精度良く行うことを考慮すれば、顔認証の対象が多いほど好ましい。

このように、制御部１０ｂは、虹彩認証および顔認証を併用して、ハイブリッドな認証を行ってもよい。これにより、虹彩認証だけを行う場合と比較して、さらに強固なセキュリティを実現することができる。

〔実施形態４：ソフトウェアによる実現例〕
携帯情報端末１、１ａ、１ｂの制御ブロック（特に制御部１０、１０ａ、１０ｂの各部）は、集積回路（ＩＣチップ）等に形成された論理回路（ハードウェア）によって実現してもよいし、ＣＰＵ（Central Processing Unit）を用いてソフトウェアによって実現してもよい。

後者の場合、携帯情報端末１、１ａ、１ｂは、各機能を実現するソフトウェアであるプログラムの命令を実行するＣＰＵ、上記プログラムおよび各種データがコンピュータ（またはＣＰＵ）で読み取り可能に記録されたＲＯＭ（Read Only Memory）または記憶装置（これらを「記録媒体」と称する）、上記プログラムを展開するＲＡＭ（Random Access Memory）等を備えている。そして、コンピュータ（またはＣＰＵ）が上記プログラムを上記記録媒体から読み取って実行することにより、本開示の一態様に係る目的が達成される。上記記録媒体としては、「一時的でない有形の媒体」、例えば、テープ、ディスク、カード、半導体メモリ、プログラマブルな論理回路等を用いることができる。また、上記プログラムは、該プログラムを伝送可能な任意の伝送媒体（通信ネットワークや放送波等）を介して上記コンピュータに供給されてもよい。なお、本開示の一態様は、上記プログラムが電子的な伝送によって具現化された、搬送波に埋め込まれたデータ信号の形態でも実現され得る。

〔付記事項〕
本開示の一態様は上述した各実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能であり、異なる実施形態にそれぞれ開示された技術的手段を適宜組み合わせて得られる実施形態についても本開示の一態様の技術的範囲に含まれる。さらに、各実施形態にそれぞれ開示された技術的手段を組み合わせることにより、新しい技術的特徴を形成することができる。
（関連出願の相互参照）
本出願は、2017年1月31日に出願された日本国特許出願：特願2017-015941に対して優先権の利益を主張するものであり、それを参照することにより、その内容の全てが本書に含まれる。

１０、１０ｂ 制御部（画像処理装置）
１０ａ 制御部（画像処理装置、照度検知部）
１２、１２ａ 画像処理部
１４ 画素有無判定部
２０、２０ａ 撮像部（撮像装置）
２１ 撮像素子
２１ａ 赤外光画像撮像領域
２１ｂ 可視光画像撮像領域
２５、２５Ａ、２５Ｂ、２５Ｃ 偏光フィルタ
２５ａ〜２５ｗ 偏光素子
２５ｐａ 偏光領域
２５ｎｐａ 非偏光領域
２６ 可視光遮断フィルタ
３２ 赤外光遮断フィルタ
６０ 照度センサ（照度検知部）

（可視光画像撮像領域２１ｂ側の構成）
撮像部２０は、図４の（ａ）に示す撮像素子２１の可視光画像撮像領域２１ｂ側に、図４の（ｂ）に示すように、カラーフィルタ３１および赤外光遮断フィルタ３２を備える。図４の（ｂ）に示すように、撮像部２０に光が入射する方向から見て、赤外光遮断フィルタ３２、カラーフィルタ３１および撮像素子２１の順に積層されている。

なお、人物２００の目の像は、赤外光画像撮像領域２１ａが撮像した赤外光画像に含まれている。そのため、画像処理部１２が、赤外光画像に含まれる目の特徴量を抽出し、認証部１３が当該目の特徴量を解析することにより、顔認証を行ってもよい。この場合、制御部１０ｂは、目、鼻および口の特徴量を用いて顔認証を行うことができる。

Claims (8)

1. 二次元的に配列された複数の画素によって画像を撮像する撮像素子を備える撮像装置であって、
   上記撮像素子は、可視光を受光することにより可視光画像を撮像する可視光画像撮像領域と、赤外光を受光することにより赤外光画像を撮像する赤外光画像撮像領域と、を含み、さらに、
   主軸方向が互いに異なる複数の偏光素子を含む複数の偏光ユニットを含み、当該複数の偏光ユニットが、上記赤外光画像撮像領域を構成する上記複数の画素に対応付けられて二次元的に配列されている偏光フィルタを備えることを特徴とする撮像装置。
2. １つの上記撮像素子に上記可視光画像撮像領域および上記赤外光画像撮像領域が形成されていることを特徴とする請求項１に記載の撮像装置。
3. 上記可視光画像撮像領域には、上記赤外光を遮断する赤外光遮断フィルタが設けられ、
   上記赤外光画像撮像領域には、上記可視光を遮断する可視光遮断フィルタが設けられており、
   上記可視光画像撮像領域に対する上記赤外光遮断フィルタの相対位置、および上記赤外光画像撮像領域に対する上記可視光遮断フィルタに対する相対位置は、それぞれ固定されていることを特徴とする請求項１または２に記載の撮像装置。
4. 上記偏光ユニットは、上記偏光素子が存在する偏光領域と、上記偏光素子が存在しない非偏光領域と、を有していることを特徴とする請求項１から３のいずれか１項に記載の撮像装置。
5. 請求項１から４のいずれか１項に記載の撮像装置の上記赤外光画像撮像領域が受光した赤外光に含まれる鏡面反射成分を低減するように、当該赤外光画像撮像領域が撮像した上記赤外光画像に対して画像処理を行う画像処理部を備えることを特徴とする画像処理装置。
6. 請求項４に記載の撮像装置が撮像した上記赤外光画像に対して画像処理を行う画像処理部を備える画像処理装置であって、
   上記画像処理部は、
   周囲の照度を検知する照度検知部が検知した照度が所定値以上である場合には、上記赤外光画像撮像領域が受光した上記赤外光に含まれる鏡面反射成分を低減するように上記赤外光画像に対して画像処理を行って得られた結果を、上記偏光ユニットに対応付けられた上記複数の画素の出力値として決定し、
   上記照度検知部が検知した照度が所定値未満である場合には、上記非偏光領域に対応付けられた上記画素の出力値を、上記偏光ユニットに対応付けられた上記複数の画素の出力値として決定することを特徴とする画像処理装置。
7. 上記画像処理部は、上記偏光ユニットに対応付けられた上記複数の画素のうち、受光した上記赤外光の受光強度が最も小さい画素の出力値を、当該複数の画素の出力値として決定することを特徴とする請求項５または６に記載の画像処理装置。
8. 上記可視光画像に対応付けられた上記複数の画素のうち、経時的に変化する出力値を出力する画素が存在するか否かを判定する画素有無判定部を備え、
   上記画像処理部は、上記画素有無判定部が経時的に変化する出力値を出力する画素が存在すると判定した場合に、上記赤外光画像に対する画像処理を行うことを特徴とする請求項５から７のいずれか１項に記載の画像処理装置。

Images