JP6568301B2 - 撮像装置及び撮像方法 - Google Patents

Description

本発明は、撮像装置及び撮像方法に関する。

近年、生体認証が普及してきている。生体認証は、コンピュータ等の操作者が正当な操作者であるか否かの認証、例えば店舗における入出金装置の操作者の認証に用いられる。このような場合に、撮像装置は、例えば個人の手のひらの静脈を撮像する。撮像装置により撮像された画像に基づく静脈パターンが、予め登録された静脈パターンと一致する場合に、個人が認証される。入出金装置は、生体認証された操作者のみの操作を受け付ける。

生体認証を含む各用途の撮像装置は、撮像装置の撮像方向にかざされた手のひらに対して、赤外光を照射して撮像する。赤外光の一部は、手のひらの表面で反射するが、一部は表皮等を透過して手の内部の静脈のヘモグロビンで吸収される。このため、赤外光感度がある画像センサで撮像することにより、手のひらの表面情報に加えて、手のひらの内部の静脈パターンを取得することができる。

例えば、かかる撮像装置は、赤外光を照射する自己照明装置を有し、リング状導光体を通して手のひらに均一な光を照射し、レンズと画像センサからなる撮像系で手のひら画像を取得する。取得した手のひらの画像には、天井や壁等の背景も映り込んでおり、条件によっては画像処理段階で手のひらの切り出しや静脈パターンの信号抽出に悪影響を及ぼしたりする場合がある。

そのため、実際には、自己照明装置の点灯及び消灯の２条件下で撮像し、その差分画像を手のひら画像として使う方法が用いられる。自己照明装置のオン時及びオフ時の各画像には同一の背景が存在しており、その差分画像において、背景がキャンセルされ、手のひらのみの画像が得られる。

ここで、太陽光や室内灯等の環境光は、背景を照明するだけでなく、自己照明装置と共に手のひらも照明する。かかる環境光や外光による手のひらの照明も、静脈パターンの信号抽出に悪影響を及ぼす可能性があるが、差分画像によりキャンセルされ、自己照明装置にのみ照明された画像が得られる（例えば、特許文献１参照）。

特開２０１４−０７８８５７号公報

しかしながら、上記技術では、屋外等のように外光が強い場合に、耐外光強度に限界があり、以下に説明するような問題がある。

精度よい差分画像を取得するためには、自己照明装置のオン時及びオフ時の各画像における手のひら部分の輝度が飽和していないことが条件となるが、例えば、外光が強くなってくると、手のひら画像の輝度のうち、自己照明装置による照明の寄与比率に対する外光による照明の寄与比率が大きくなる。そこで、画像が飽和しないように、自己照明装置のオン時及びオフ時の各画像の撮像の際の露出を同様に下げていくことになるが、それに伴って自己照明装置のオン時及びオフ時の各画像の差分が小さくなってしまい、精度よく静脈パターンを抽出することが困難になる。そのため、使用環境として外光強度に制限が設けられ、例えば屋外で使用する際には人為的な日陰となるような適切なカバーを用いる等の対策を行わなければならないという問題がある。

また、外光強度が高い場合には、外光のみを照明として用いることも考えられるが、外光の手のひらへの入射角度によっては局所的な高輝度領域（ハレーション等）が生じ、静脈パターンの信号抽出に悪影響を及ぼす可能性がある。よって、精度よく静脈パターンを抽出することが困難になるという問題がある。

開示の技術は、上記に鑑みてなされたものであって、例えば精度よく静脈パターンを抽出することができる撮像装置及び撮像方法を提供することを目的とする。

開示の技術の一例では、撮像装置は、画像センサ、画素選択部、画像出力部を有する。画像センサは、撮像対象の各点と対応する、複数の画素を含む画素グループの画素毎に偏光方向が異なるように設けられた偏光板を透して撮像対象を撮像する。画素選択部は、各点と対応する画素グループ毎に最小輝度の画素を選択する。画像出力部は、画素選択部により選択された画素から生成した撮像対象の撮像画像を出力する。

開示の技術の一例によれば、例えば精度よく静脈パターンを抽出することができる。

図１は、実施例１に係る撮像装置の一例を示すブロック図である。 図２Ａは、実施例１に係る撮像装置の一例を示す斜視図である。 図２Ｂは、実施例１に係る撮像装置の一例を示すＩ−Ｉ断面図である。 図３Ａは、カラーイメージセンサの構成の一例を示す図である。 図３Ｂは、実施例１に係る撮像装置におけるマルチ偏光イメージセンサの構成の一例を示す図である。 図４は、カラーイメージセンサの画素構成方法の一例を示す図である。 図５Ａは、実施例１に係る撮像装置のマルチ偏光イメージセンサの画素構成方法の一例を示す図である。 図５Ｂは、実施例１に係る撮像装置のマルチ偏光イメージセンサの画素構成方法の一例を示す図である。 図６Ａは、実施例１に係る撮像装置における撮像対象からの反射光の振る舞いの一例を示す図である。 図６Ｂは、実施例１に係る撮像装置における撮像対象からの反射光の振る舞いの一例を示す図である。 図７は、物体表面における正反射と偏光方向の変化を示す斜視図である。 図８は、正反射と偏光方向の関係を物体表面の法線方向から模式的に表した図である。 図９は、強い外光で照明した場合の手のひらを示す図である。 図１０は、実施例１に係る撮像装置における撮像対象からの反射光のうち正反射を含む画像の輝度分布の一例を示す図である。 図１１Ａは、実施例１に係る撮像装置において強外光下での自己照明装置オンの場合の画像の輝度分布の一例を示す図である。 図１１Ｂは、実施例１に係る撮像装置において強外光下での自己照明装置オフの場合の画像の輝度分布の一例を示す図である。 図１１Ｃは、実施例１に係る撮像装置において強外光下での自己照明装置オン及びオフの場合の差分画像の輝度分布の一例を示す図である。 図１２は、実施例１に係る撮像装置における撮像処理の一例を示すフローチャートである。 図１３は、カラーイメージセンサの構成方法の他の一例を示す図である。

以下に添付図面を参照して本願に係る実施例について説明する。なお、以下の各実施例は、人の静脈の特徴から人を認証する静脈認証装置に適用される撮像装置を例に説明するが、開示の技術を限定するものではない。そして、開示の技術は、例えば差分画像から対象の生体情報を取得する撮像装置一般に適用可能である。そして、各実施例は、矛盾しない範囲で適宜組み合わせることが可能である。また、各実施例において、同一の構成及び処理には同一の符号を付与し、既出の構成及び処理の説明は省略する。

（実施例１に係る撮像装置）
以下、図１〜図５Ｂを参照して、実施例１に係る撮像装置について説明する。図１は、実施例１に係る撮像装置の一例を示すブロック図である。図２Ａは、実施例１に係る撮像装置の一例を示す斜視図である。図２Ｂは、実施例１に係る撮像装置の一例を示すＩ−Ｉ断面図である。

図１に示すように、実施例１に係る撮像装置１００は、マイクロコンピュータ等の処理装置である制御部１１０、画像センサ１２０、発光素子１３０を有する。図２Ａに示すように、撮像装置１００は、筐体１００ａに撮像ユニット１が収容され、赤外光に対して透光性を有するカバー１００ｂにより覆蓋されている。撮像装置１００は、カバー１００ｂの上方からかざされた手のひらを撮像する。

図２Ｂに、図２ＡのＩ−Ｉ断面図を示すように、撮像装置１００の撮像ユニット１は、基板２上に、画像センサ１２０、発光素子１３０、レンズユニット３、導光体４を有し、制御基板５上に制御部１１０を有する。発光素子１３０が出射する光は、導光体４を透して照明光としてカバー１００ｂから上方へ出射される。この光は、カバー１００ｂの上方からかざされた手のひらを照明し、手のひらにおいて反射又は吸収される。画像センサ１２０は、レンズユニット３のレンズを透して、カバー１００ｂの上方からかざされた手のひらの画像を撮像する。

画像センサ１２０は、例えば偏光方向が異なる偏光板がそれぞれ設けられた４つのイメージセンサ毎で１つの画素を構成するマルチ偏光イメージセンサである。以下、画像センサ１２０における画素構成方法について説明する。マルチ偏光イメージセンサは、カラーイメージセンサと同様の考え方により構成され、カラーイメージセンサのカラーフィルタを偏光板に置き換えたものである。

図３Ａは、カラーイメージセンサの構成の一例を示す図である。例えば図３Ａに示すように、Ｒ（Red），Ｇ（Green），Ｂ（Blue）の各三原色に対応するカラーイメージセンサがベイヤー配列にて配置される。図３Ａに示す配置パターンは、カラーイメージセンサのセンサ領域で繰り返される。

図３Ｂは、実施例１に係る撮像装置におけるマルチ偏光イメージセンサの構成の一例を示す図である。実施例１では、図３Ａに示すカラーイメージセンサの構成方法をベースに、マルチ偏光イメージセンサを構成する。図３ＡのＢの画素を格子の方向が０°の偏光板が設けられた画素に置き換える。同様に、図３Ａに示す右上側のＧの画素を格子の方向が４５°の偏光板が設けられた画素に置き換える。同様に、図３ＡのＲの画素を格子の方向が９０°の偏光板が設けられた画素に置き換える。同様に、図３Ａに示す左下側のＧの画素を格子の方向が１３５°の偏光板が設けられた画素に置き換える。

なお、ここではワイヤーグリッド型の偏光板を想定しており、各偏光板の偏光光の透過方向及び反射方向は、図３Ｂに示すとおり、偏光の方向が格子の方向と直交する場合に透過し、偏光の方向と格子の方向が一致する場合には反射するものとする。格子の方向で透過または反射する偏光方向が決まるので、本明細書では格子の方向という用語の替りに偏光板の偏光方向という用語も使用することにする。また、原理的には吸収型の偏光板を用いることも可能であり、その場合は上述の反射は吸収に置き換わる。

このようにして、図３Ｂに示すように、４つの画素それぞれに偏光方向が異なる偏光板を設け、カラーイメージセンサと同様、この配列をセンサ領域全体で繰り返すことによりマルチ偏光イメージセンサを構成する。

図４は、カラーイメージセンサの画素構成方法の一例を示す図である。カラーイメージセンサでは、４つの異なる性質の画素で１つの画素を表す。図４に示すように、左上の破線囲み部分１１の中にはＲとＢが１つずつ、Ｇが２つ含まれているが、これで１つの画素を構成すると考える。Ｇの出力は、２つのＧの出力の平均値とする。次に、１列だけ右にずれた破線囲み部分１２を１つ右の画素と考える。破線囲み部分１２は、破線囲み部分１１と比べると、Ｇの１つとＢは共通であるが、もう一つのＧとＲは別のものを用いる。このようにして、図４における横方向の画素を構成する。同様に、図４における縦方向の画素が構成される。

マルチ偏光イメージセンサも、カラーイメージセンサと同様に画素を構成する。図５Ａ及び図５Ｂは、実施例１に係る撮像装置のマルチ偏光イメージセンサの画素構成方法の一例を示す図である。図５Ａの破線囲いで示すように偏光方向０°，４５°，９０°，１３５°の４つで１つの画素を構成する。１つ右の画素は、図５Ｂのように１列右にずらした破線囲いで構成する。横方向及び縦方向も１つずつ画素構成をずらすことによって、カラーイメージセンサと同様に出力画素数を維持したまま４方向の偏光特性を持った画像を取得することができる。

ここで実施例１の機能、効果を説明するために、まず撮像対象からの反射光の振る舞いについて説明する。図６Ａ及び図６Ｂは、実施例１に係る撮像装置における撮像対象からの反射光の振る舞いの一例を示す図である。外光照明時の手のひら画像には、局所的高輝度領域により輝度のダイナミックレンジが拡大し、全体に信号レベルが下がったり、局所的高輝度領域に隠れて微小信号が消失したりして、手のひら認証に悪影響が生じる。局所的高輝度領域の発生は、照明光が手のひら表面で正反射して画像に乗ることが主因である。また、外光照明はランダム偏光であるが、物体表面で正反射する光の成分はＳ偏光成分が強くなるという偏りをもつ。

図６Ａに示すように、対象物に入射した光は対象物の表面で反射するだけでなく、対象物の内部に浸透して散乱、反射を繰り返して表面から出てくるという形でも反射する。内部に浸透した光は、図６Ａに示すように、人の皮膚組織内で散乱、反射を繰り返して表面から出射するが、指向性がほとんどなく、等方的に拡散する。

また、図６Ｂに示すように、物体表面の微細な凹凸でも光は様々な方向に反射する拡散反射となる。拡散反射は、反射を繰り返すので偏光方向も乱れ、仮に入射光が直線偏光であったとしても拡散反射される光はランダムになる。拡散反射の他、一部の光は物体の表面で正反射（鏡面反射）する。拡散反射と違い、正反射は鏡面反射の方向に強い指向性をもつ。

また、正反射光は、偏光特性にも特徴がある。物体表面での光の反射率は偏光方向で異なり、入射面内で電場が振動しているＰ偏光は界面を透過しやすく反射率が低い。また、電場の振動が入射面に垂直、すなわち界面に平行なＳ偏光は反射率が高い。そのため、入射光がランダム偏光であっても、正反射光はＳ偏光成分の強い光となる。この現象、すなわち物体表面における正反射と偏光方向の変化を図７に斜視図で示す。

図７に示すように、正反射の偏光方向は、物体表面の法線と入射光の方向で決まる入射面に対し、電場が垂直に振動するＳ偏光が強い。図８は、正反射と偏光方向の関係を物体表面の法線方向から見た平面図で模式的に表した図である。上述のように、物体表面で正反射する光の偏光方向は主にＳ偏光、すなわち入射面に垂直な方向である。したがって、ランダム偏光の照明光が図８の（Ａ）の方向から入射する場合、物体表面で正反射する光の偏光方向は主に９０°となる。同様に、方向（Ｂ）から入射した照明光の正反射は主に４５°、方向（Ｃ）から入射した照明光の正反射は主に１３５°となる。

照明の入射方向が変わっても、常にその方向に対するＳ偏光を遮断する偏光板を用いることができれば、太陽光などのランダム偏光の照明光であっても、その正反射光を大幅に減らすことが可能になる。

実施例１は、マルチ偏光イメージセンサの隣接する４つの画素が異なる方向の偏光を透過することを利用し、この正反射光を実用上十分なレベルまで排除するという機能を実現している。これによって、ランダム偏光であって入射方向の制御ができない外光照明を利用する場合でも、局所的高輝度領域のない、良好な手のひら画像を取得することができるという効果を期待することができる。

図９は太陽光のような強い外光で照明した場合の手のひらを示し、ここでは、レンズユニット３によって画像センサ１２０のセンサ面上に結像した光を表している。すなわち、図９の手のひら像は、画像センサ１２０への入力信号であり、この光がマルチ偏光イメージセンサの偏光板で強度変調を受け、画像センサ１２０の画素信号に変換される。

例えば、外光照明光が、手のひらに対して図９の方向（Ｂ）から入射し、手のひら画像の右下部に局所的高輝度領域が生じている場合、図３Ｂに示すマルチ偏光イメージセンサ４つの異なる偏光方向のうち、１３５°の方向の偏光板が正反射光を多く透過させ、画素の輝度が大きくなる。次に０°，９０°の方向が大きく、右下からの正反射光を最も強く反射して透過量が少ない４５°方向の画素の輝度が最も小さい。また、右下部の局所的高輝度領域を形成する外光照明が、図１６の方向（Ａ）から入射している場合には、マルチ偏光イメージセンサの４つの異なる偏光方向のうち、９０°方向の偏光板が正反射光を最も強く反射して透過させない。すなわち、９０°方向の偏光板を透過した光の強度は最も小さく、ほぼ拡散反射光であると考えられる。

このように、４画素１組で、最も小さい輝度の画素を採用するというルールで全ての画素を選べば、正反射を排除した良好な手のひら画像が取得できる。

説明を図１，図２Ａ，図２Ｂに戻す。発光素子１３０は、ＬＥＤ（Light Emitting Diode）等の、撮像装置１００にかざされた撮像対象の手のひらへランダム偏光光を照射する光源である。以下、発光素子１３０を、自己照明と呼ぶ場合がある。これに対し、太陽光や室内灯等の環境光を、外光照明と呼ぶ場合がある。また、自己照明光及び外光照明光を、照明光と総称する場合がある。

制御部１１０は、点灯制御部１１０ａ、画像取得部１１０ｂ、画素選択部１１０ｃ、画像出力部１１０ｄを有する。点灯制御部１１０ａは、発光素子１３０の点灯及び消灯を制御する。

画像取得部１１０ｂは、点灯制御部１１０ａに対して発光素子１３０の消灯を指示する。そして、画像取得部１１０ｂは、発光素子１３０が消灯された状態で、画像センサ１３０に、撮像装置１００にかざされた手のひら及び背景を含む画像（以下、外光画像と呼ぶ場合がある）を撮像させることで取得する。外光は、屋外における自然光や屋内における屋内照明光等、自己照明以外による光である。

また、画像取得部１１０ｂは、点灯制御部１１０ａに対して発光素子１３０の点灯を指示する。そして、画像取得部１１０ｂは、発光素子１３０が点灯された状態で、画像センサ１３０に、撮像装置１００にかざされた手のひら及び背景を含む画像（以下、自己照明画像と呼ぶ場合がある）を撮像させることで取得する。

そして、画像取得部１１０ｂは、外光画像と自己照明画像との差分画像を取得する。

画像取得部１１０ｂは、外光画像の所定部分（例えば画像の中心部分）の輝度が第１閾値以上、又は、外光画像と自己照明画像との差分画像の所定部分（例えば画像の中心部分）の輝度が第２閾値未満であるか否かを判定する。画像取得部１１０ｂは、外光画像の所定部分の輝度が第１閾値以上、又は、外光画像と自己照明画像との差分画像の所定部分の輝度が第２閾値未満である場合、外光画像を画素選択の処理対象画像とする。

一方、画像取得部１１０ｂは、外光画像の所定部分の輝度が第１閾値未満であって、外光画像と自己照明画像との差分画像の所定部分の輝度が第２閾値以上である場合、差分画像を画素選択の処理対象画像とする。なお、画像取得部１１０ｂは、外光画像の所定部分の輝度が第１閾値未満であっても、外光画像と自己照明画像との差分画像の所定部分の輝度が第２閾値未満である場合、外光画像を画素選択の処理対象画像とする。

画素選択部１１０ｃは、処理対象画像の画素のうち、隣接する４つの画素を１グループとした画素グループ毎に輝度が最小である画素を選択する。隣接する４つの画素とは、４つの画素を格子状に並べたものをいう。画像出力部１１０ｄは、画素選択部１１０ｃにより選択された画素をつなげて１つの手のひら画像を生成する。

（正反射を含む画像の輝度分布）
図１０は、実施例１に係る撮像装置における撮像対象からの反射光のうち正反射を含む画像の輝度分布の一例を示す図である。図１０の上方の手のひらを表す図における右下の正反射領域は、図１０の下方に示す輝度分布のグラフにおいて局所的に輝度が高くなっている。

図１０に示すように、手のひら画像全体の輝度分布は、拡散反射光によって作られた信号画像の上に、レンズに入射してきた正反射の光による局所的高輝度が重畳されたものである。したがって、正反射を排除すれば、拡散反射光による連続した画像が取得できることになる。４つの偏光方向の輝度出力のうち、最小の値を採用することにより、ランダム偏光照明による正反射光を大幅に削減することができ、１つの画像内における輝度分布の偏りの不都合を低減し、画像データにおける画素の連続性を十分に期待できる。

（実施例１に係る自己照明から外光照明への切り替え）
図１１Ａは、実施例１に係る撮像装置において強外光下での自己照明装置オンの場合の画像の輝度分布の一例を示す図である。図１１Ｂは、実施例１に係る撮像装置において強外光下での自己照明装置オフの場合の画像の輝度分布の一例を示す図である。図１１Ｃは、実施例１に係る撮像装置において強外光下での自己照明装置オン及びオフの場合の差分画像の輝度分布の一例を示す図である。図１１Ａ〜図１１Ｃを参照して、実施例１に係る自己照明から外光照明への切り替えについて説明する。

屋内等の、外光の強度が高くない場合は、図１１Ｂに示す破線のように、自己照明ＯＦＦの画像の輝度は低く、よって、外光画像と自己照明画像との差分画像も、図１１Ｃに示す破線のように、輝度に十分な差分が生じる画像となる。しかし、外光の強度の高い環境になると、外光画像と自己照明画像との差分画像は、図１１Ｂに示す実線のように、自己照明ＯＦＦの画像の輝度が高くなり、図１１Ｃに示す実線のように、輝度に十分な差分が出ない画像となる。

具体的には、外光の強度が上がると、図１１Ａに示す自己照明ＯＮの場合も、図１１Ｂに示す自己照明ＯＦＦの場合も、いずれも輝度が高くなるため、輝度が飽和しないように露光時間を短縮することになる。そのため、外光画像と自己照明画像との差分画像の輝度差が小さくなるわけである。このように、輝度差が小さくなると、光や回路ノイズの影響が大きくなり、手のひらの静脈パターンの抽出の画像処理に悪影響が現れる。

そこで、実施例１では、閾値判定により、差分画像による手のひら静脈パターンの取得方法から、外光画像のみによる手のひら静脈パターンの取得方法に切り替える。具体的には、実施例１では、図１１Ｂに示す外光画像の例えば中心部分の輝度が第１閾値以上になると、差分画像による手のひら静脈パターンの取得方法から、外光画像のみによる手のひら静脈パターンの取得方法に切り替える。または、実施例１では、図１１Ｃに示す差分画像の輝度が第２閾値未満となると、差分画像による手のひら静脈パターンの取得方法から、外光画像のみによる手のひら静脈パターンの取得方法に切り替える。

すなわち、実施例１では、外光の強度が所定強度未満の屋内等では自己照明で手のひらを撮像する。そして、窓際や屋外での使用などにより外光強度が強くなってくると、自己照明ＯＮ及びＯＦＦの差分画像取得のための適正露出時間が短くなってくる。このため、実施例１では、ある条件を境にして、差分画像による手のひら静脈パターンの取得方法から、外光画像のみによる手のひら静脈パターンの取得方法に切り替える。

（実施例１に係る撮像装置における撮像処理）
図１２は、実施例１に係る撮像装置における撮像処理の一例を示すフローチャートである。図１２に示すように、先ず、撮像装置１００は、手のひらを撮像するか否かを判定する（ステップＳ１１）。撮像装置１００は、手のひらを撮像する場合（ステップＳ１１：Ｙｅｓ）、ステップＳ１２へ処理を移す。一方、撮像装置１００は、手のひらを撮像しない場合（ステップＳ１１：Ｎｏ）、ステップＳ１１を繰り返す。

ステップＳ１２では、撮像装置１００は、自己照明をＯＦＦにする。次に、撮像装置１００は、手のひらの外光画像を取得する（ステップＳ１３）。次に、撮像装置１００は、外光画像（の例えば所定部分）の輝度が第１閾値以上であるか否かを判定する（ステップＳ１４）。撮像装置１００は、外光画像の（所定部分の）輝度が第１閾値以上である場合（ステップＳ１４：Ｙｅｓ）、ステップＳ２１へ処理を移す。一方、撮像装置１００は、外光画像の（所定部分の）輝度が第１閾値未満である場合（ステップＳ１４：Ｎｏ）、ステップＳ１５へ処理を移す。

ステップＳ１５では、撮像装置１００は、自己照明をＯＮにする。次に、撮像装置１００は、自己照明画像を取得する（ステップＳ１６）。次に、撮像装置１００は、自己照明をＯＦＦにする（ステップＳ１７）。次に、撮像装置１００は、ステップＳ１３で取得した外光画像と、ステップＳ１６で取得した自己照明画像との差分画像を取得する（ステップＳ１８）。

次に、撮像装置１００は、差分画像（の例えば所定部分）の輝度が第２閾値未満であるか否かを判定する（ステップＳ１９）。撮像装置１００は、差分画像（の例えば所定部分）の輝度が第２閾値未満である場合（ステップＳ１９：Ｙｅｓ）、ステップＳ２１へ処理を移す。一方、撮像装置１００は、差分画像（の例えば所定部分）の輝度が第２閾値以上である場合（ステップＳ１９：Ｎｏ）、ステップＳ２０へ処理を移す。

ステップＳ２０では、撮像装置１００は、差分画像を処理対象画像とする。一方、ステップＳ２１では、撮像装置１００は、外光画像を処理対象画像とする。ステップＳ２０又はステップＳ２１が終了すると、撮像装置１００は、ステップＳ２２へ処理を移す。

ステップＳ２２では、撮像装置１００は、処理対象画像から画素グループ毎に最小輝度の画素を選択する。そして、撮像装置１００は、ステップＳ２２で選択した画素から出力画像を生成する（ステップＳ２３）。次に、撮像装置１００は、撮像処理を終了するか否かを判定する（ステップＳ２４）。撮像装置１００は、撮像処理を終了する場合（ステップＳ２４：Ｙｓｅ）、撮像処理を終了し、撮像処理を終了しない場合（ステップＳ２４：Ｎｏ）、ステップＳ１１へ処理を移す。

なお、ステップＳ１９において、差分画像（の例えば所定部分）の輝度が第２閾値未満である場合（ステップＳ１９：Ｙｅｓ）には、撮像装置１００は、ステップＳ２１〜ステップＳ２４の処理を行わず、ステップＳ１１へ処理を移すとしてもよい。あるいは判定をＳ１４の第一閾値判定のみにしてＳ１９の処理を削除してもよい。

あるいは、「外光画像」又は「自己照明画像」のいずれかの画像を取得すると、取得した画像に対して直ちにステップＳ２２〜ステップＳ２３の処理を画素選択及び出力画像生成の処理を行い、他方の画像取得は行わないとしてもよい。

あるいは、ステップＳ１２の自己照明ＯＦＦとステップＳ１５の自己照明ＯＮとを入れ替え、かつ、ステップＳ１３の外光画像取得とステップＳ１６の自己照明画像取得とを入れ替えてもよい。すなわち、「第１の画像」及び「第２の画像」のそれぞれが、「外光画像」及び「自己照明画像」であっても、「自己照明画像」及び「外光画像」であってもいずれでもよい。

実施例１では、外光を照明として利用しながらも、テカリ等の局所的な高輝度領域を除外した良好な手のひら画像を取得することができる。

なお、実施例１では、撮像装置１００の制御部１１０が、図１２のフローチャートに示す各種処理を行うとするが、これに限らず、撮像装置１００と外部制御装置（図示せず）を接続し、外部制御装置が撮像装置１００を制御して各種処理を行うとしてもよい。

実施例２は、画素構成方法において、図４に示すカラーイメージセンサの画素構成方法を基本とする実施例１と比較して、他の画素構成方法を基本とする。図１３は、カラーイメージセンサの構成方法の他の一例を示す図である。図１３に示すＢ２２と対応する画素はＢの出力しかないが、周囲のＲ１１，Ｒ１３，Ｒ３１，Ｒ３３の４つの画素の平均値をＲ２２，Ｇ１２，Ｇ２３，Ｇ３２，Ｇ２１の４つの画素の平均値をＧ２２として算出し、Ｂ２２と対応する画素のＲ，Ｇ，Ｂの出力とする。また、図１３に示すＧ２３と対応する画素はＧの出力しかないが、周囲のＲ１３，Ｒ３３の２つの画素の平均値をＲ２３、Ｂ２２，Ｂ２４の２つの画素の平均値をＢ２３として算出し、Ｇ２３と対応する画素のＲ，Ｇ，Ｂの出力とする。

実施例２では、かかるカラーイメージセンサの画素構成方法と同様に、マルチ偏光イメージセンサの画素を構成する。すなわち、Ｒ，Ｇ，Ｂのベイヤー配列の各カラーフィルタを、０°，４５°，９０°，１３５°の各偏光板に置き換える方法は、実施例１と同様である。また、その他の点についても、実施例１と同様である。

なお、実施例１及び２以外の様々な公知の画素構成方法を、求められる画像品質によって使い分けて画素構成してもよい。

実施例１〜２で例示した各部の構成は、開示の技術に係る撮像装置の技術範囲を逸脱しない程度に変更又は省略可能である。また、実施例１〜２は例示に過ぎず、発明の開示の欄に記載の態様を始めとして、当業者の知識に基づいて種々の変形、改良を施した他の態様も、開示の技術に含まれる。

１００ 撮像装置
１１０ 制御部
１１０ａ 点灯制御部
１１０ｂ 画像取得部
１１０ｃ 画素選択部
１１０ｄ 画像出力部
１２０ 画像センサ
１３０ 発光素子

Claims (4)

1. 撮像対象の各点と対応する、複数の画素を含む画素グループの画素毎に偏光方向が異なるように設けられた偏光板を透して前記撮像対象を撮像する画像センサと、
   前記各点と対応する前記画素グループ毎に最小輝度の画素を選択する画素選択部と、
   前記画素選択部により選択された画素から生成した前記撮像対象の撮像画像を出力する画像出力部と、
   撮像対象へランダム偏光の照明光を照射する発光素子と、
   前記発光素子のオン及びオフを制御する点灯制御部と、
   前記発光素子をオフに制御した状態で前記画像センサにより前記撮像対象を撮像した第１の画像、及び、該第１の画像と前記発光素子をオンに制御した状態で前記画像センサにより前記撮像対象を撮像した第２の画像との差分画像を取得する画像取得部と、
   を備え、
   前記画素選択部は、前記第１の画像又は前記差分画像の輝度に応じて、前記第１の画像又は前記差分画像のいずれか一方の画像の各点と対応する前記画素グループ毎に最小輝度の画素を選択する
   ことを特徴とする撮像装置。
2. 前記画像取得部は、前記第１の画像の輝度が第１閾値以上である場合には、前記第２の画像及び前記差分画像の取得をキャンセルし、
   前記画素選択部は、前記第１の画像の各点と対応する前記画素グループ毎に最小輝度の画素を選択する
   ことを特徴とする請求項１に記載の撮像装置。
3. 前記画像取得部は、前記第１の画像の輝度が第１閾値未満である場合に、前記第２の画像及び前記差分画像を取得し、
   前記画素選択部は、前記差分画像の輝度が第２閾値以上である場合に前記差分画像の各点と対応する前記画素グループ毎に最小輝度の画素を選択し、前記差分画像の輝度が第２閾値未満である場合に前記第１の画像の各点と対応する前記画素グループ毎に最小輝度の画素を選択する
   ことを特徴とする請求項１に記載の撮像装置。
4. 撮像装置が実行する撮像方法であって、
   撮像対象の各点と対応する、複数の画素を含む画素グループの画素毎に偏光方向が異なるように設けられた偏光板を透して前記撮像対象を撮像する撮像ステップと、
   前記各点と対応する前記画素グループ毎に最小輝度の画素を選択する画素選択ステップと、
   前記画素選択ステップにより選択された画素から生成した前記撮像対象の撮像画像を出力する画像出力ステップと、
   発光素子により撮像対象へランダム偏光の照明光を照射する照射ステップと、
   前記発光素子のオン及びオフを制御する制御ステップと、
   前記発光素子をオフに制御した状態で前記撮像対象を撮像した第１の画像、及び、該第１の画像と前記発光素子をオンに制御した状態で前記撮像対象を撮像した第２の画像との差分画像を取得する画像取得ステップと、
   を含み、
   前記画素選択ステップにおいて、前記第１の画像又は前記差分画像の輝度に応じて、前記第１の画像又は前記差分画像のいずれか一方の画像の各点と対応する前記画素グループ毎に最小輝度の画素を選択する
   ことを特徴とする撮像方法。

Images