以下、本発明の実施形態について図面を参照して説明する。
(第1の実施形態)
図1は、本発明の第1の実施形態として、本発明を適用したスウィープ(スキャン)型の指紋認証装置の模式的な構成を示すブロック図である。
本実施形態における指紋認証装置は画像取得部101と認証部102とからなる。例えば、画像取得部101は画像センサを有した撮像ユニットで、また認証部102はパーソナルコンピュータにより実行される機能の組み合わせであったり、あるいは、画像取得部101と認証部102とがひとつの指紋認証ユニットとして組みあわされ、不図示のパーソナルコンピュータに接続される独立の装置であってもよい。
まず、画像取得部101について説明する。図1の画像取得部101において、103は照明用の光源(光照射手段)であり、本実施形態においてはLED(Light Emitting Diode)である。108は、そのLEDの輝度や点灯タイミングを制御するLED駆動部である。
104は、撮像手段であるCMOS(Complementary Metal Oxide Semiconductor)型やCCD(Charge Coupled Device)型等の撮像素子部であり、1次元センサあるいは副走査方向の画素数が5〜20画素程度の帯状の2次元センサであって、画像を取得する被対象物の面積よりも小さい。本実施形態における撮像素子部104は、CMOS型のセンサで、主走査方向が512画素、副走査方向が12画素の帯状の2次元センサであるとする。
105は、撮像素子部104とAD(アナログ デジタル)コンバータ部107のサンプリングタイミングを制御するセンサ駆動部である。106は、撮像素子部104からのアナログ出力を後段のADコンバータ部107で処理するのに適切なDC(直流)レベルにクランプするとともに、適切な増幅を行うアンプ・クランプ部である。107は、撮像素子部104からのアナログ出力をデジタル信号へ変換するADコンバータ部である。また、109が認証部102との通信を行う通信部である。
110a、110bは、それぞれ撮像素子部104、アンプ・クランプ部106が出力するアナログ信号を伝播する画像データ信号線である。110cは、ADコンバータ部107が出力するデジタル信号を伝播する画像データ信号線である。112a、cは、センサ駆動部105から撮像素子部104及びADコンバータ部(ADC部)へ出力される駆動パルスの信号線である。112bは、LED駆動部108から光源103に送られる駆動パルスの信号線である。111が、通信部109が認証部102からの制御信号を受けて出力する信号であって、センサ駆動部105とLED駆動部108の制御を行う信号を伝達する制御線である。
113は、通信部109がADC部107から入力される画像データ信号を出力して、認証部102まで伝達するデータ信号線である。114は、認証部102からの制御信号を画像取得部101の通信部109まで伝達する制御信号線である。
次に、認証部102について説明する。認証部102において、115は、画像取得部101と通信を行うための通信部である。135は、帯状の2次元センサを有する画像取得部101が出力する、被写体を副走査方向に順次撮像した複数の画像データを用いて、被写体像を示す画像を合成する画像合成部である。
121は、画像合成部135が出力する合成後の画像データを用いて、撮像素子部104上に指が置かれたことや、その指が偽の指でなく生体であることを検知する生体検知部である。生体検知部121は、画像データの色成分や輝度変動を用いて画像データ中の被写体が生体(指)であるか否かを判別する。122aは、生体情報輝度検出部であり、画像合成部135が出力する合成後の画像データの中から生体情報の含まれる領域を判別して、判別した生体情報領域の輝度を検出する。123aは、生体情報輝度検出部122aをはじめ各部からの情報をうけて画像取得部101を制御する制御信号を通信部115を介して画像取得部101へ出力する制御部である。
116は、画像合成部135が出力する合成後の画像データに対して特徴抽出を行うために、エッジ強調などの画像処理を行う前処理部である。117は、前処理部116が画像処理を行うために利用するフレームメモリ部である。118は、前処理部116が画像処理後の画像データから特徴抽出を行う特徴抽出部である。119は、特徴抽出部118で抽出された個人の特徴をデータベース部120に登録あるいは、登録済みのデータと比較照合する登録・照合部である。120が個人のデータを保存するデータベース部である。
124a、b、c、dは、画像データを伝送するデータ線である。125は、データベース120と登録・照合部119間のデータ線および制御線である。126は、特徴抽出部118の抽出状態を制御部123aに伝える信号線である。127、129aは画像合成部135が出力する合成後の画像データを生体情報輝度検出部122a、指検知部121へ伝達する信号線である。128は、生体検知部121が生体検知結果を制御部123aへ伝えるための信号線であり、130aは、生体情報輝度検出部122aが生体情報輝度検出結果を制御部123aへ伝えるための信号線である。131は、各部の状態を受けて制御部123aが出力する画像取得部101を制御するための制御信号を通信部115へ伝送する信号線である。
本実施形態の画像取得部101は、光源103を構成する各LED素子の輝度ばらつきと、各LEDと撮像素子部104の位置関係などで決まる光量の不均一性(シェーディング)について、あらかじめ出荷時に検査して、LED輝度分布から算出した補正値、調整値になるように制御部123aが、センサ駆動部105およびLED駆動部108へ制御信号を通信部115経由で送信する。センサ駆動部105及びLED駆動部108は、制御部123aからの制御信号に応じて撮像素子部104の動作及び光源103の各LEDの光量を制御する。尚、LED輝度分布から補正値等を算出するタイミングは出荷時に限定されるものではなく、例えば、光源103の各LED素子の輝度ばらつきと、各LEDと撮像素子部104の位置関係などで決まる光量の不均一性を、生体情報輝度検出部122aにより検出することで、指のおかれた領域の輝度を判別して、制御部123aにより動的に補正値、調整値を変化させるように制御信号を送り、センサ駆動部105およびLED駆動部108を制御して、撮像素子部104の動作と光源103の各LEDの光量を制御してもよい。また制御部は、画像取得装置内に設けてもよい。
以上の制御部123aからの補正、調整により、画像取得部101は、被写体の指を照明する光源103の光量の均一性を高めるとともに、露光条件をシェーディングに応じて制御して、撮像面内(部分画像面内)での照明条件の差を補正しながら指紋画像の取得を行うことができる。
次に、本実施形態におけるスウィープタイプと呼ばれる方式を用いた光学式指紋センサについて図を用いて説明する。
図2は、本実施形態におけるスウィープタイプと呼ばれる方式を用いた光学式指紋センサの概略構成および動作原理を示す図である。図2(a)は、指の側面方向から見た光学式指紋センサの概略図であり、図2(b)は指の上から見た光学式指紋センサの概略図である。また、図2(c)は帯状の2次元センサにより取得した1枚の指紋画像例を示している。また、図2(d)は指の先端側から見た光学式指紋センサの概略図である。
図2(a)において、201は、指紋認証の対象となる指であり、矢印207の方向へ移動する。202は、光源としてのLEDである。203が指紋の凹凸パターンの光学的な差を後述する撮像素子204へ導く光学的な部材(以下、光学部材とする)である。204は、副走査方向の画素数が5〜20画素程度の帯状の2次元センサであり、具体的にはCMOS型の撮像素子である。尚、図2(a)のLED202は、図2(b)のLED202a〜eに対応し、図2のLED202(a〜e)は、図1の光源103に対応する。また、図2の光学部材203及び撮像素子204が図1の撮像素子部104に対応する。
205は、LED202から指201への光の出射方向である。206は、LED202が発した光が指201内で散乱した後に、指201から光学部材203及び撮像素子204へ向かう光の入射方向である。また、矢印207が指の移動(スウィープあるいはスキャン)方向である。
また、図2(c)において、208は、帯状の2次元センサ(撮像素子204)により被写体である指201から取得した1枚の指紋画像例における指紋パターン例である。また、図2(b)、(d)において209は、指201の移動動作に伴い、移動方向と垂直方向への指201のブレやずれを防止するガイド機構である。図2(b)において、点A、B、C、Dの各点は撮像素子204の画素上の位置を表している。尚、図2(b)、(d)においては、撮像素子204上の光学部材203を省いて示している。
また、図2(c)に示すように、矢印210が撮像素子204における主走査方向であり、矢印211が撮像素子204における副走査方向である。ここで、本実施形態における主走査方向、副走査方向の定義は図4、5を用いて後述する。本実施形態では、図2(b)に示すように、光源としてのLED202a〜eを矢印210に示した主走査方向と平行に配列する。
図2(d)において、212は、このガイド機構209に指201があたっているときの指201の輪郭を示している。L1は、撮像素子204の幅を示し、L2は、ガイド機構209の高さを示す。図2(d)に示すように、ガイド機構209が撮像素子204の両端に設置されている場合には、L3に示すような指201が撮像素子204の撮像面に接しないあるいは接しにくい領域が存在する。具体的には、L2が1.5mm、L1が15mmの場合、撮像素子204の撮像面において20%の領域では指201が接していない、あるいは接しにくくなる。ここで、妥当なガイド機構209の高さが1.5〜2.5mmとすると、両端から10〜16.5%の領域が指201の中央部に比べて指201の接し方が不十分になる。
一般的なこうしたセンサ構成の検討結果においても、実験的においても画質的に均一な状態を期待するのは、指201が十分接する撮像素子204の撮像面(画素領域)の中央(中心部分)67〜80%(2/3〜4/5)程度の領域である。また、撮像面の両端の領域は、本来の指紋画像を取得する目的よりも、指201の側面の指紋における隆線パターンの変化から中央領域の指紋抽出を補助する役割や、あるいは指201の外側から入る光により外光環境(今、室外にいるのか室内にいるのか、夜か昼かなど。)を検知して、適切な露光条件や信号処理レベルを算出するための役割など、中央67〜80%の領域の取得画像を補間する情報を得るための領域として用いられる場合が多い。
次に、スィープ型指紋センサにおける、複数の図2(c)に示した部分画像から指紋全体の画像を合成する処理ついて説明する。
図3は、スィープ型指紋センサにおける、複数の部分画像から指紋全体の画像を合成する処理例を示す図である。図3(a1)〜(a9)は、図2(a)の矢印207の方向に指201を移動した際に、指紋センサの撮像素子204により連続取得した指紋の部分画像を示している。図3(b)はそのうちの1枚であり、図3(a6)に相当する。ここで、図3(a1)の301は、例えば図3(a5)の画像にも含まれる同じ指201に対して画像取得部101が最初に取得した部分画像を示している。図3(c)は、撮像素子204を含む画像取得部101により取得した部分画像図3(a1)〜(a9)を基に、画像合成部135が合成することで得られる1枚の指紋画像例を示している。
図2のように指201を撮像素子204上で移動しながらを副走査方向に順次撮像して取得した指紋の部分画像は、図3(b)(=図3(a6))の302の部分と図3(a7)の下半分の部分や、図3(b)の303の部分と図3(a5)の上半分の部分ように連続した画像のなかで相関性の高い領域がある。画像合成部135は、この相関性の高い部分を指201の同一領域と判断してつなぎ合わせることにより、図3(a1)〜(a9)に示す部分画像から図3(c)に示す指紋画像を合成する。
次に、本実施形態におけるCMOS型の撮像素子204(撮像素子部104)が備えるセンサ部6の回路構成例について説明する。
図4は、図1の撮像素子部104(図2の撮像素子204)のセンサ部6の回路構成例を示す図である。本実施形態の撮像素子部104は副走査方向の画素数が5〜20程度の帯状の2次元センサである。この帯状の撮像素子部104により、被写体である指201を副走査方向に順次撮像した画像を合成して全体画像を取得するスウィープタイプと呼ばれる指紋センサを構成している。
本実施形態では、一般的な撮像素子における水平走査方向が主走査方向であり、垂直走査方向が副走査方向である。通常のCMOS型の撮像素子部104は、まず垂直方向の1行(たとえば一番上の行)を選択して、その行の水平方向の一端から同じ行の反対側の端に向かって(たとえば一番左から右に向かって)画素を順次読み出していく。その後、次の垂直方向の1行を選択して、同様に水平方向の一端から同じ行の反対側の端に向かって画素を順次読み出していく。こうして垂直方向に各行の読出しを行い画面全体の画素を取得する。このため、本実施形態の撮像素子部104においては、水平方向の走査を主走査、垂直方向の走査を副走査とした。
図4において、41はセンサ部6において1画素を構成する画素部である。42は、画素部41における読み出しパルス(ΦS)の入力端子である。43は、画素部41におけるリセットパルス(ΦR)の入力端子である。44は、画素部41における転送パルス(ΦT)の入力端子である。45は、画素部41における信号読み出し端子(P0)である。46は、後述するセレクタ部66から水平方向の各画素に読み出しパルス(ΦS)を送る信号線、47は後述するセレクタ部66から水平方向の各画素にリセットパルス(ΦR)を送る信号線、48は後述するセレクタ部66から水平方向の各画素に転送パルス(ΦT)を送る信号線である。49は垂直信号線であり、40は定電流源であり、51は垂直信号線49に接続された容量である。52は水平シフトレジスタ56にゲートが接続され、ソース−ドレインに垂直信号線49と出力信号線53が接続された転送スイッチである。54は、出力信号線53に接続された出力アンプである。出力アンプ54の出力は出力端子55へ出力される。この出力端子55がセンサ部6の出力端子である。
また、56は水平シフトレジスタ(HSR)、57はそのスタートパルス(HST)の入力端子、58はその転送クロック(HCLK)の入力端子である。また、59は垂直シフトレジスタ(VSR)、60はそのスタートパルス(VST)の入力端子、61はその転送クロック(VCLK)の入力端子である。また、62は後述するローリングシャッタと呼ばれる方式の電子シャッタ用のシフトレジスタ(ESR)、63はそのスタートパルス(EST)の入力端子、64は垂直シフトレジスタ(VSR)59の出力線、65は電子シャッタ用のシフトレジスタ(ESR)62の出力線である。また、66は、画素部41の動作を制御する読み出しパルス(ΦS)、リセットパルス(ΦR)、転送パルス(ΦT)を出力するセレクタ部であり、67は転送パルスの元信号TRSの入力端子、68はリセットパルスの元信号RESの入力端子、69は読み出しパルスの元信号SELの入力端子である。尚、図4において、一つの画素にのみ符号41〜45を付与して、他の画素への符号は図を見やすくするために省略していが、以下の説明においては、センサ部6の全ての画素に符号41〜45が付与されているとする。
図5は、図4に示した画素部41の構成例を示す図である。図5において、71は電源電圧(VCC)、72はリセット電圧(VR)、73はフォトダイオード、74〜77はMOSトランジスタからなるスイッチ、78は寄生容量(FD)、79はグラウンドである。上述したスイッチ74は、リセット用のスイッチであり、スイッチ76は、読み出し用のスイッチである。
ここで、撮像素子部104における光電変換の動作を図4、図5を参照して説明する。まず、図5のリセット用のスイッチ74と、フォトダイオード73に接続されたスイッチ75とをオフした状態で、フォトダイオード73において入射光による電荷の蓄積が行われる。
その後、スイッチ76がオフした状態で、スイッチ74をオンすることにより、寄生容量78がリセットする。つぎに、スイッチ74をオフ、スイッチ76をオンすることにより、信号読み出し端子45にリセット状態の電荷を読み出す。
つぎに、スイッチ76をオフした状態で、スイッチ75をオンすることにより、寄生容量78に対して、フォトダイオード73に蓄積された電荷を転送する。つぎに、スイッチ75をオフした状態で、スイッチ76をオンすることにより、信号読み出し端子45に信号電荷を読み出す。
各MOSトランジスタの駆動パルスΦS,ΦR,ΦTは、後述するように垂直シフトレジスタ59,62とセレクタ部66とにより作成され、各信号線46〜48により、画素の入力端子42〜44に供給される。入力端子60から入力されるクロック信号1パルスに対して、信号TRS,RES,SELが入力端子67〜69にそれぞれ1パルス入力され、このため、駆動パルスΦS,ΦR,ΦTがそれぞれ信号TRS,RES,SELに同期して出力される。この結果、入力端子42〜44に、駆動パルスΦS,ΦR,ΦTが供給される。
また、信号読み出し端子45は、垂直信号線49により定電流源40に接続すると共に、垂直信号線容量51及び転送スイッチ52に接続されており、垂直信号線49を介して電荷信号が垂直信号線容量51に転送され、その後水平シフトレジスタ56の出力に従い、転送スイッチ52が順次走査されて、垂直信号線容量51の信号が出力信号線53に順次読み出され、出力アンプ54を介して出力端子55から出力される。ここで、垂直シフトレジスタ(VSR)59は、スタートパルス(VST)60で走査が開始され、転送クロック(VCLK)61が出力線64を介してVS1,VS2,…VSnと順次転送されていく。また電子シャッタ用垂直シフトレジスタ(ESR)62は、入力端子63から入力されるスタートパルス(EST)で走査が開始され、入力端子61から入力される転送クロック(VCLK)が出力線65に順次転送されていく。
各画素部41の読み出し順序は、まず垂直方向の上1行目を選択し、水平シフトレジスタ56の走査に伴い左から右へ各列に接続した1行分の画素部41を選択出力する。1行目の出力が終わると、2行目を選択し、再び水平シフトレジスタ56の走査に伴い左から右へ各列に接続した画素部41で光電変換された信号電荷を選択出力する。
以下、同様に垂直シフトレジスタ59の順次走査に従い、1,2,3,4,5…行目と上から下まで走査を行い、1画面の画像出力を行う。ところで、センサ部6における露光期間は、各画素部41が光の電荷を蓄積する蓄積期間と、センサ部6の撮像面に被写体からの光が入射する期間により決まる。更に説明すると、CMOS型のセンサは、IT(interline transfer)型やFIT(frame−interline transfer)型のCCD素子と異なり、遮光されたバッファメモリ部を備えていないため、画素部41から得られた信号を順次読み出している期間も、まだ読み出されていない画素部41は露光され続ける。したがって、連続的に画面出力を読み出すと、その露光時間は画面の読み出し時間にほぼ等しくなる。また、光源としてLEDを用いて、外光の入射を遮光部材などで入射しない場合などでは、点灯している期間のみを露光期間として制御することが可能になる。
また、別の露光時間を制御するひとつの方法として、CMOS型のセンサにおいては、電子シャッタ(フォーカルプレインシャッタ)として、蓄積の開始と終了の垂直走査を並行して行うローリングシャッタとばれる駆動方法が行われている。これにより、蓄積の開始と終了の垂直走査線数単位で露光時間を設定可能にしている。図4においては、ESR62が画素をリセットして蓄積を開始する垂直走査用のシフトレジスタであり、VSR59が、電荷を転送して蓄積を終了する垂直走査用のシフトレジスタである。電子シャッタ機能を用いる場合は、ESR62をVSR59に先行して走査し、その間隔に相当する期間が露光期間になる。
このように、CMOS型のエリアセンサはローリングシャッタによる蓄積方法を取ることで、垂直方向の1行単位で画素の電荷をリセットして、1行単位で画素の電荷を読み出すため、垂直走査方向の行単位、つまり副走査方向の行単位で電荷蓄積を制御することができる特性がある。
本実施形態における指紋認証装置は、この副走査方向の行単位で電荷蓄積を制御できることと、センサ部6の画素の露光が光源の照射条件とセンサの蓄積期間との関係で決まることを利用したものである。
図6−1〜図9を用いて本実施形態の指紋認証装置の動作を説明する。
図6−1〜図6−3は、図2(b)に示したA、B、C、D各点の位置に対する光源(LED202a〜e)による輝度分布を示している。このうち、図6−1(a)、(b)は、図2(b)における点Aから点Bへの方向(センサの主走査方向)の輝度分布を示す図である。図6−1(a)、(b)において、601a〜eは、図2(b)に示した各LED201a〜eの輝度分布の中心を模式的に示している。ここで、各LED201a〜eの輝度が理想的にばらつきがまったく無い場合は、その輝度分布は図6−1(a)のように示される。図6−1(a)において、実際のLED201aの輝度分布は破線602で示し、5つのLED201a〜eによる全体の輝度分布は破線603で示している。図6−1(a)に示すように、理想的には各LED201a〜eの輝度レベルが100%であり、全体の輝度分布を示す破線603も点A〜点Bの方向に均一となっている。
しかしながら、実際のLEDについては、メーカーの輝度によるランク分け(層別)を行ったとしても、同一の駆動電流において輝度の最大値が最小値の2倍程度あるなど、ばらつきが大きいのが一般的である。こうした場合の輝度ばらつき例を図6−1(b)に示す。ここでは、601a、dが100%の輝度レベルのときに、601cが75%、601b、eが50%の輝度レベルとしている。この場合の5つのLED201a〜eによる全体の輝度分布は破線604であらわされる。
こうした場合、点A〜Bの領域にわたり輝度分布が50%も上下するため、この光源を用いて撮像した指紋画像もまた、点A〜Bの領域にわたり出力分布が50%変化してしまう。こうした取得画像の不均一性は、指紋画像を取得後の画像に対して、画像処理を行い指紋の隆線の抽出や背景除去、特徴点を抽出する際に、抽出エラー、S/Nの低下、ダイナミックレンジの不足などを引き起こし、最終的には認証精度の低下をもたらす。画像処理の過程においても光源ムラの補正による除去は行うが、こうした画像処理による補正は単純な光源ムラの変化でないと効率的に除去できず、偽の輪郭などを発生してしまう。
ここで、一般的に光学的な撮像素子で指紋画像を取得すると指紋パターンによる光強度の差=コントラストについて説明する。図6−2(c)は、光源自体の輝度ムラがない状態での指紋画像の出力レベルを示す図である。図6−2(c)の出力レベル610に示すように指紋パターンに応じて10%〜30%程度のコントラストが得られることがわかっている(乾燥した指などは除く。)。尚、図6−2(c)の出力レベル610は、コントラストが最も低い10%程度であるとする。また、指紋の隆線パターンを抽出するために画像演算をする上で必要とされるコントラストは、フルスケールの25%以上であり、25%以下であると十分な認証精度は得られない。
したがって、上述したように撮像素子により取得した指紋画像の指紋パターン部分のコントラストが10%の場合には、図6−2(d)の出力レベル611に示すように10%のコントラストを25%にするために2.5倍のゲインを掛けることになる。ところで、図6−2(d)は、光源自体の輝度ムラがない状態での指紋画像の出力レベル611を示しているが、出力レベル611の25%が指紋パターンを示す信号成分であると考えると光源の輝度ムラは少なくとも残り75%以内に抑える必要がある。ここで、ゲインは2.5倍であるので、少なくとも光源の輝度ムラは30%以内に抑える必要があることがわかる。
そこで、本実施形態においては、図2(b)に示すLED202a〜eにおいて、LED202aと202bを1系統、LED202cを1系統、LED202d、202eを1系統、計3系統に分けて、3系統のLEDの輝度レベルを個別に制御することにより、中央領域の輝度分布が平坦にする構成である。この構成により、少なくとも30%以内の輝度差に抑えることが可能となる。たとえば、図6−1(b)に示した輝度ムラに対して輝度レベルを制御した場合の輝度分布例を図6−3(e)に示す。図6−3(e)に示すように、画像取得部101は、LED駆動部108を制御することで、LED202aと202bの系統はそのまま輝度を変えないで、LED202cの輝度を75%から50%になるように輝度を下げる。さらに、画像取得部101は、LED202d、202eの系統の輝度を半減する。以上の制御により、LED202a〜eの点A〜点Bにおける全体の輝度分布は破線605に示すようになる。
これにより、LED202aの輝度は100%に対して、LED202eの輝度は25%とその輝度差は拡大するものの、LED202b、202c、202dの輝度はほぼ等しくできるため、点A〜点Bのおおよそ75%の中央領域については、輝度の均一性を高めることができる。これにより、本実施形態の画像取得部101は、上述した指紋認証のための画像に必要とされる中央67〜80%の領域の光量ムラを抑制できるため、取得画像の品質を向上させることができる。画像取得部101が取得する指紋画像の品質が向上することで、認証部102は、中央領域の指紋部分に対しての画像処理の精度も改善して、指紋の隆線や特徴点の抽出を円滑に行うことができ、認証精度を向上させることができる。尚、点Aや点B近傍の端側の領域については輝度差が広がるが、ここで必要とされる処理は、たとえば背景除去や指の位置の検出等、指と背景の境界領域を判別して指の輪郭を抽出するなどの処理であり、指紋パターン自体の抽出に比べ、輝度差が大きくても閾値の調整で十分処理が行える。
以上に示したように、本実施形態の指紋認証装置における画像取得部101は、指紋画像を取得する際に高画質な画像が必要となる領域を分けて、その領域に応じて光源となるLEDの輝度を調整することができる。すなわち、画像取得部101は、中央領域の輝度ムラを防ぐように、LED202a〜eを3系統に分けて制御している。これにより、画像取得部101は、必要最小限のLEDの調整系統数で、良好な画質の指紋画像取得に適した効果的なLEDの輝度ムラ改善を実現することができる。
次に、副走査方向の露光量制御(輝度制御)に関して述べる。図6−3(f)は、図2(b)における点Cから点Dへの方向(センサの副走査方向)の輝度分布例を示す図である。図6−3(f)の実線606は、図6−1(b)に示した輝度ムラ調整前のLED202cの点Cから点Dへの方向の輝度レベルの変化を示している。また、図6−3(f)の実線607は、図6−3(e)に示した輝度ムラ調整後のLED202cの点Cから点Dへの方向の輝度レベルの変化を示している。この実線606、607に示すように、点Cから点Dの方向に向かって輝度が低下して、点Dにおいては輝度が点Cより25%低下して、シェーディングが発生している。このシェーディングは、点Cに対して点Dのほうが、LED202cに対して位置的に離れているために、光量分布が低下することに起因する。
指201を指紋センサに近接させた場合に、この点Cから点D方向(副走査方向)の輝度低下は、一般的に10〜30%程度であることがシミュレーションによりわかっている。この方向の輝度低下(=シェーディング)は、特にスィープ型のセンサの場合は、部分画像同士の相関度を計算するときに相関性を低下させて、画像同士が接続できなくなる問題を起こす。また、接続できても、合成した画像の中で輝度変動が短冊状に残るため、擬似的な輪郭として処理されて偽の指紋情報になり認証精度の低下につながる。
本実施形態においては、この撮像素子204の副走査方向のシェーディングに対して、撮像素子204の副走査方向の各行における露光タイミングの時間的なずれを利用して露光量の制御を行うことで補正を実現する。具体的には、各画素における電荷の蓄積時間を行単位でシェーディング量に応じて変化させると方法と、各画素の行における露光タイミングの時間的なずれに応じてLED202a〜202eの点灯時間を調整する方法とがあり、この2つの方法を組み合わせてもよい。以上の露光量の制御により、の図6−3(f)に破線608で示したような割合で輝度レベルが増加するように、各行の露光量を副走査方向に増加させる。これにより、シェーディングによる輝度の減少変化(直線607)と露光量の行方向の制御による輝度レベルの変化(破線608)の合成により、そのトータル露光量は破線609に示すように副走査方向でほぼ均一化される。
特に、撮像素子204の主走査方向にわたる上述した各LED202a〜eの輝度ムラの調整を行った上で、副走査方向のシェーディング補正を行うことにより、指紋認証に必要な中心領域の露光条件の均一化を実現でき、これにより、部分画像(撮像素子204が一度の走査で取得する画像)の輝度レベルの均一化を実現できる。これにより、部分画像間の接続境界においても輝度差が発生せず、部分画像を合成する際の合成の失敗や合成によるノイズの発生などを防ぐことができ、指紋認証の精度低下を防ぐことができる。以上説明したように、本実施形態における画像取得部101は、主走査方向と副走査方向それぞれの特性に合わせた露光量の補正を行うことで、撮像面内における光源の露光量差(光量差)を30%以内に抑えることを実現している。
特にスィープ型の指紋センサの場合、指201の根元から先端に向かい撮像素子204に対して指201を移動させることが多い。このため、指201の移動方向に対して同じ方向となる、撮像素子204の副走査方向の各画素についてはシェーディングを補正して同等の露光量となるようにすることが最も求められる。また、図2に示すような撮像素子と光源の位置構成であれば、光源であるLED202a〜eから副走査方向に生じるシェーディングは、光源(LED202a〜e)と撮像素子204の画素部41の副走査方向における位置関係(距離関係)が主要因になるため、そのシェーディング量の変化は単調減少、単調増加(センサの長辺片側に光源を配置した場合)などの単純なものになる。そのため、シェーディング量の変化率を、関数等を用いて予測可能である。尚、撮像素子204の長辺両側に光源を置いた場合であっても、二次関数的な変化となり、上記と同様に変化率は予測可能である。
一方、指201の移動方向に対して直交する方向(点A〜点Bの方向)は、もともと指201の断面の太さが異なることや、指201内部での光の透過率や散乱率や、指201の側面からの回りこみ光など条件が違うため、なるべく均一に照射することが重要である。特に指紋の特徴点が期待される中央領域の光量の均一さを重視すればよく、端領域(点A、点B付近)についてはそれほど光量の均一さを重視しない。また、この場合の光量ムラは光源(LED202a〜e)のばらつき、指201の大きさ、指201の置いた位置、指201の押し圧、周囲の外光環境などにより個別ごとに大きく変わる。特に各LED202a〜eの個体ばらつきなど光源のばらつきが大きく影響する。したがって指201の移動方向に対して直交する方向(主走査方向)の輝度変化は複雑で、その輝度の変化率予測することは困難である。
したがって、図2(a)、(b)に示すスィープ型の指紋センサにおいて指201の移動方向に対して同じ方向に撮像素子204の副走査方向を合わせて、副走査方向の各行における露光量の制御を行うことは、露光量を一次関数的に変化させやすい制御の特質の面で、シェーディングの補正に適したものになっている。また、個別ばらつきや環境に依存しない点からも、補正条件を変える必要が少なくなるため、補正量の管理がしやすくなる。すなわち、撮像素子204の副走査方向と、光源からの距離の違いによるシェーディングが生じる方向とが揃うような構成とすることで、シェーディング量を予測して副走査方向の各行における露光量を制御することが可能となり、適切なシェーディング補正を実現できる。
尚、本実施形態の撮像素子部104(の撮像素子204)は、スィープ型の指紋センサに用いられるものであるため、副走査方向の画素数が5〜20画素程度の帯状であるが、例えば、副走査方向の画素数が主走査方向の画素数と同等以上あるエリアセンサを用いた指紋センサの場合においても、光源からの距離の違いによるシェーディングの影響により、指紋抽出におけるダイナミックレンジやコントラストが低下して、認証精度の低下を引き起こす。この場合においても、本実施形態のようにシェーディング(輝度の低下)の起こる方向と撮像素子(CMOSセンサ)の副走査方向を一致させて、各行における露光タイミングをシェーディング補正するように制御することで対処することが可能である。尚、エリアセンサを用いた指紋認証装置については、第2の実施形態として後述する。また本実施形態においては、主走査方向、副走査方向の制御の両者を行なっているが、どちらか一方のみを行なっても良い。主走査方向の制御を行なう主走査方向制御手段、及び副走査方向の制御を行なう副走査方向制御手段は、図1の制御部123aとして一体的に示しているが、別個設けても良いし、どちらか一方の機能を有するのみでも良い。
次に、上述した3系統に分けたLED202a〜eの光量を制御する構成として、図1に示した光源103(=図2のLED202a〜e)とLED駆動部108の具体的な回路例について説明する。
図7、図8は、図1に示した光源103とLED駆動部108の具体的な回路例を示す図である。図7に示すように、LED202aと202bを1系統(以下、第1系統とする)、LED202cを1系統(以下、第2系統とする)、LED202d、202eを1系統(以下、第3系統とする)とする計3系統で光源103が構成されている。この3系統のLED202a〜eに対して、LED駆動部108は、トランジスタ706のオン/オフにより点灯制御する。図7の701〜703は、3系統あるLEDの点灯を制御する信号であるLED制御パルスが入力される入力端子である。図7に示すように入力端子701が第1系統を制御するLED制御パルスが入力され、入力端子702及び入力端子703にも同様に第2系統及び第3系統を制御するLED制御パルスが入力される。704、705は抵抗素子であり、706はトランジスタ、707が電源、708がGND(グランド)を示している。
図7に示すように、LED駆動部108において、入力端子701が抵抗素子704を介してベース端子に接続されているトランジスタ706のコレクタ端子は、抵抗素子705及び信号線112bを介して第1系統のLED202b、202aに接続されている。入力端子702が抵抗素子704を介してベース端子に接続されているトランジスタ706のコレクタ端子は、抵抗素子705及び信号線112bを介して第2系統のLED202cに接続されている。入力端子703が抵抗素子704を介してベース端子に接続されているトランジスタ706のコレクタ端子は、抵抗素子705及び信号線112bを介して第3系統のLED202d、202eに接続されている。また、各トランジスタ706のエミッタ端子はGND708に接続される。
光源103においては、第1系統として電源707と信号線112b(入力端子701からの信号を伝えるもの)の間に、信号線112bの方へ電流が流れた時に発光するようにLED202a、202bが直列に接続されている。同様に第2系統としてLED202cが電源707と信号線112b(入力端子702からの信号を伝えるもの)の間に接続され、第3系統としてLED202d、LED202eが電源707と信号線112b(入力端子703からの信号を伝えるもの)の間に直列に接続されている。
以上に示した構成により、LED駆動部108は、入力端子701〜703に入力されるLED制御パルスに応じて各トランジスタ706のオン/オフの時間をパルス幅制御することで、3系統のLEDのそれぞれに接続された3本の信号線112bに駆動パルスを出力する。これにより、3本の信号線112bから3系統のLEDへ入力された駆動パルスに応じて各LEDの点滅割合が調整され3系統の輝度が制御される。
次に、図7に示した入力端子701〜703に入力するLED制御パルスを作成する制御パルス作成回路の回路例について説明する。尚、制御パルス作成回路はLED駆動部108が具備する回路である。
図8は、図7に示した入力端子701〜703に入力するLED制御パルスを作成する制御パルス作成回路の回路例を示す図である。図8において、801は、主走査方向のトリガとしての水平同期信号の入力端子である。802は、副走査方向のトリガとしての垂直同期信号の入力端子である。803は、クロック端子である。804は、水平同期信号と垂直同期信号をトリガとしてクロックをカウントするカウンタである。805は、上述した副走査方向のシェーディング補正のための補正値を格納したレジスタである。この補正値に応じて、LED202a〜202eからの距離が離れた行の画素程、露光量が増えるようにLED202a〜202eの点滅時間が制御される。
806〜808は、3系統のLEDにおける輝度割合の調整値を格納したレジスタである。この調整値に応じてLED202a〜202eの光量が調整されると、図6−3(e)に示す輝度レベルとなる。すなわち、中央領域が平均化された輝度レベルとなるように中央領域付近のLEDの光量を制御するための調整値である。尚、レジスタ806〜808が、それぞれ、上述した第1系統〜第3系統に対応している。
809〜811は、レジスタ805から副走査方向のシェーディング補正のための補正値を読み込み、レジスタ806〜808から3系統別にLEDの輝度割合の調整値を読み込み、カウンタ804の出力をデコードして制御パルスを作成するデコーダである。812〜814は、デコーダ809〜811から入力される制御パルスをクロック信号に同期して出力するフリップフロップである。
以上に説明した構成より、LED駆動部108は、撮像素子部104の撮像面において、主走査方向では中央領域の輝度差を無くした均一化した輝度レベルで光源103が光を照射するよう制御でき、更に、副走査方向で生じるシェーディングを補正するように光源103のLED202a〜eの点灯時間を調整することができる。すなわち、LED駆動部108は、3系統のLED別に輝度の調整を行うとともに、共通の副走査方向のシェーディング補正を実現するための制御パルスを生成して、光源103へ出力することができる。
次に、タイミングチャートを用いて、撮像素子部104及びLED駆動部108における露光量の制御について説明する。
図9は、本実施形態における撮像素子部104及びLED駆動部108の動作を示すタイミングチャートである。
図9において、901は、LED202a、202bの第1系統を制御する図7の入力端子701に入力される制御パルスP_701である。902は、LED202cの第2系統を制御する図7の入力端子702に入力される制御パルスP_702である。903は、LED202d、202eの第3系統を制御する図7の入力端子703に入力される制御パルスP_703である。この制御パルスP_701・901〜P_703・903が"H(ハイ)"の期間がLEDの点灯期間である。このように、制御パルスP_701・901〜P_703・903(以下、制御パルス901〜903とする)の各々の点灯期間となる"H"のパルス幅を変えることで、それぞれのLEDの輝度を調整できる。
また、904は、副走査方向の1行目の画素(L1)がリセットされるタイミングを示している。具体的には、図5に示した寄生容量78をリセットするリセットパルスΦRのことを示している。905は、副走査方向の1行目の画素に蓄積された電荷が、寄生容量(図5の寄生容量78)に転送されるタイミングを示している。具体的には、図5に示したフォトダイオード73から寄生容量78へ電荷を転送する転送パルスΦTのことを示している。
従って、時刻t1〜時刻t3の期間916は、L1におけるフォトダイオード73の電荷蓄積期間を示している。ここで、制御パルス901〜903に示すように、時刻t2までの期間912の間はLEDの点灯が行われない。このため、実質的な副走査方向の1行目の画素(L1)の電荷蓄積期間は時刻t2から時刻t3までの期間917となる。
同様に、906は、副走査方向において2行目の画素(L2)がリセットされるタイミングを示しており、907は、副走査方向の2行目の画素(L2)に蓄積された電荷が、寄生容量78に転送されるタイミングを示している。したがって、期間918がフォトダイオード73の電荷蓄積期間を示し、期間919が実質的な副走査方向の2行目の画素における電荷蓄積期間を示している。また、903は副走査方向の3行目の画素(L3)がリセットされるタイミングを示しており、909は副走査方向の3行目の画素(L3)に蓄積された電荷が、寄生容量78に転送されるタイミングを示している。したがって、期間920が実質的な副走査方向の3行目の画素における電荷蓄積期間を示している。
910は、副走査方向の4行目の画素(L4)がリセットされるタイミングを示しており、911は、副走査方向の4行目の画素(L4)に蓄積された電荷が、寄生容量78に転送されるタイミングを示している。したがって、921が実質的な副走査方向の4行目の画素における電荷蓄積期間を示している。
このように、撮像素子部104の撮像面内の画素における電荷蓄積期間は、期間913に示す複数の行(図9のL1〜L4)で共通に蓄積される期間と、期間912,914に示すように行ごとに電荷蓄積の処理が異なる期間が存在する。図9に示すように、副走査方向において隣接する各行の間では、電荷蓄積期間が期間915だけ異なる。本実施形態では、この蓄積期間の行別のずれを利用することで、期間917、919、920、921に示すように、行ごとに電荷蓄積期間の長さが異なるようにすることができる。すなわち、副走査方向のシェーディングに応じて、行単位の露光量の制御とすることができる。
図9に示すように、各行がリセットされるまでの期間912の間、LEDを点灯せずに、各行のリセットを終えた後にLEDを点灯させることで、リセットのタイミングが遅い行ほど電荷蓄積時間(=露光量)を増加させることができる。逆に期間912及び期間913の間、LEDを点灯すれば、リセットのタイミングが遅い行ほど電荷蓄積時間(=露光量)を減少させることができる。更に、期間912〜914の間、LEDを点灯した場合には、期間912または期間914の間において、LED輝度を変化させることで行単位の露光量を変える(変更させる)ことも可能である。
また、期間913(各行で共通の電荷蓄積期間)と期間914(行毎に異なる電荷蓄積期間)の期間の割合を変えることにより、露光量の増加(減少)率を変えることができる。あるいは、期間913と期間914でLEDに入力するパルス幅(LEDがオンする期間)を変えることでも、露光量の増加(減少)率を変えることができる。
以上に示したように、CMOSセンサに特有である行単位の電荷蓄積期間の時間的な差を利用することで、上述した輝度の調整された3系統のLEDにおけるシェーディングを補正することができ、撮像素子部104における撮像面内の特に中心領域の露光量の均一性を更に高めることができる。尚、行単位で電荷蓄積期間が異なるイメージセンサであれば、CMOSセンサ以外のイメージセンサであっても本発明を適用可能である。
上述したように、指紋センサのような生体認証装置、あるいはバーコードリーダのような物体認識装置は面内の露光量の均一化が非常に難しい。とくに、被写体をセンサに密着させるタイプの指紋センサや、バーコードリーダの画像読み取り部等、被写体に近接して光源からの光を照射する光学センサの場合、光源自体のばらつきや撮像素子部との位置関係による輝度分布差による撮像面内での露光量の差が大きく出てしまう。
本実施形態における指紋認証装置は、こうした露光量の差を生体認証や物体認識に必要な中央領域に着目して二次元的に補正を行うことを特徴としている。具体的には、光照射素子(光源)を撮像素子(CMOSセンサ)の主走査方向に平行して複数配置するとともに、主走査方向の中心領域において光照射素子からの光量分布の均一性が高くなるように光照射素子の輝度を制御して、副走査方向での露光量の均一性が高くなるように撮像素子の電荷蓄積タイミングと光照射素子の輝度や点灯タイミングを制御する。
また、主走査方向で光照射素子のばらつき(輝度ムラ)を調整する構成に加えて、撮像素子の副走査にしたがって撮像素子の電荷蓄積タイミングと光照射素子の輝度で決まる露光量の割合を副走査方向で一律に保ちながら変化させる構成としたことで、更に光照射素子の輝度ムラと、光照射素子と撮像素子の位置関係による露光量差(シェーディング)の異なる2点の補正を効率的に除去することができる。特に、シェーディングの補正の為の処理としては、光源と撮像素子の駆動パルスを変化させるのみなので、回路規模や外形の大きさが補正機能の追加により大きくなることはなく、補正機能の追加による製造コストの増加を抑制することができる。また、シェーディングの発生を防ぐために別の光源を設置するなどのコストを省くこともできる。また、この副走査方向の制御のみを行なっても良い。
また、本実施形態の指紋認証装置は、上述したように光源の点灯タイミングや輝度の制御や撮像素子の電荷蓄積時間の制御により、光源の輝度ムラやシェーディングを補正する手法なので、信号処理により光源の輝度ムラやシェーディングの補正を行う場合と比べて、S/Nの低下や補正による副作用の発生が無いという利点がある。例えば、室外で指紋認証装置を利用する場合などでは、LEDの明るさよりも外光の明るさのほうが明るく、露光量の調整の主要因になるが、この場合には当然輝度ムラが発生しない。しかし、従来の指紋認証装置において、画像処理で輝度ムラに対して一定の補正処理を行っていた場合には、室内か室外か判別しないと必要のない補正をしてしまう問題がある。あるいは、従来の指紋認証装置では、室内において一部外光が入った場合は、室外の光の領域で過補正がかかってしまう弊害があった。本実施形態における指紋認証装置においては、光源の輝度や発光タイミングの制御や撮像素子の電荷蓄積時間の制御により露光量自体を変化させるため、室外において外光にさらされても露光量を一定に保つことができ、過補正などが生じることはない。また、演算処理による補正ではないので、演算処理によるビット精度低下などの問題も発生しない。
以上、本実施形態では、指紋の認証方法として、部分画像から全体の指紋画像を合成すること、および合成した指紋画像から特徴点を抽出することを例示したが、本発明は指紋認証を行う上で取得画像の品質を向上するための手段と方法を述べたものであり、その部分画像を用いて特徴情報を抽出する方法や、特徴情報の種類、認証のアルゴリズムなどは何でもよい。
また、以上、本実施形態における指紋認証装置について説明したが、バーコードリーダや、工業用ロボットなどの物体認識用の撮像装置などにおける露光量の制御にも本発明を適用可能である。また、光を照射して画像の特徴から物体を認識する物体認識装置などにも適用可能である。また、生体認証装置の中でも指紋認証装置を例に本実施形態を説明したが、たとえば手や指、顔、目などに光を照射して、被写体の特徴情報を抽出して照合する生体認証装置に適用することも可能である。ここで、被写体の特徴情報とは、たとえば、掌紋、静脈などの血流、虹彩、顔認識などの情報である。また、上述した実施形態においては、光照射手段としてLEDを挙げたが、蛍光管、EL、レーザーなど光源であればなんでもよい。また、主走査方向、副走査方向の制御手段の両者を持つ構成が好ましいが、どちらか片方を有してもよい。
(第2の実施形態)
図10〜図13を用いて、本発明の第2の実施形態として、エリア型の指紋認証装置について説明する。ここで、エリア型の指紋認証装置とは、上述した第1の実施形態のように指をスィープさせる必要がなく、所定の位置に指を置くだけで指紋を読み取り認証を行う装置である。尚、第2の実施形態における指紋認証装置の模式的な構成は、図1に示した第1の実施形態の構成と同様であるので、説明を省略する。同様に、撮像素子部104の内部構成も、第1の実施形態で図4、5に示した構成と同様であり、異なるのは、副走査方向の画素数である。
図10(a)、(b)は、エリア型の指紋認証装置における光源と撮像素子の位置関係を示す図である。図10(a)は指の上面方向から見た指紋認証装置の概略図であり、図10(b)は、図10(a)における上側の方向から見た指紋認証装置の概略図である。
図10(a)において、201は指であり、1102a〜dが光源としてのLEDである。ここで、矢印1104a〜dは、LED1102a〜dからの光の出射方向を示している。1103a、bは、LED1102a〜dからの光を導光しながら下面で散乱、あるいは反射されて上面に光を出射する導光体などの光学部材である。1101は、指201の指紋を面で取得するための2次元センサであり、ここではCMOS型の撮像素子である。また、矢印1105がセンサの主走査方向、矢印1106がセンサの副走査方向である。尚、センサの主走査方向と副走査方向の定義は第1の実施形態において図4、5を用いて説明したとおりである。また、点A、B、C、D、Eの各点は撮像素子1101の撮像面上の位置を示すためのものである。ここで、LED1102a〜d及び光学部材1103a、bが図1の光源103に対応するものであり、撮像素子1101は、図1の撮像素子部104に含まれるものである。
以上に示したように、本実施形態では、光源103として導光体である光学部材1103a、bを主走査方向と平行に配置する。図10(b)において、破線の矢印1107は、光学部材1103bから指201への光の出射方向を示している。また、矢印1108は、指201で拡散された光の撮像素子1101への入射方向である。
図10(a)、(b)が示すように、撮像素子1101の撮像面において、指201の曲率のために指201の周囲の領域では指201が接していない、あるいは接しにくくなる部分がある。また、光学部材1102の高さもあるため、第1の実施形態と同様に両端から一定の領域が指201の中央領域に比べて指201の接し方が不十分になる。また、第1の実施形態と同様に、画質的に均一な露光状態を期待するのは、おおよそ中央67〜80%程度の領域である。周囲の領域は、本来の指紋画像を取得する目的よりも、指201の側面の指紋における隆線パターンの変化から中央領域の指紋抽出を補助する役割や、あるいは指の外側から入る光により外光環境(今、室外にいるのか室内にいるのか、夜か昼かなど。)を検知して、適切な露光条件や信号処理レベルを算出するための役割など、中央67〜80%の領域の取得画像を補間する情報を得るための領域として用いられる。
次に、撮像面上の図10(a)に示した各点A〜E間における輝度分布について説明するとともに、輝度ムラやシェーディングの補正について説明する。図11−1(a)、(b)及び図11−2(c)は、図10(a)に示した点A〜Eの位置に対する光源による輝度分布を示す図である。このうち、図11−1(a)、(b)は、点Aから点Bへの方向(センサの主走査方向)の輝度分布を示す図である。具体的には、LED1102aから導光体である光学部材1103aを介した輝度分布は破線1201、LED1102bから導光体である光学部材1103aを介した輝度分布は破線1202で示している。
まず、撮像素子1101の主走査方向に生じる輝度ムラとその補正について説明する。
図11−1(a)では、LEDの輝度ばらつきによりLED1102aが100%の輝度レベルであって、LED1102bが50%の輝度レベルである場合が例示されている。この場合に、2つのLED1102a、bのばらつきと導光体である光学部材1103aによる光の減衰により全体の輝度分布は破線1203であらわされる。
こうした場合、点A〜点Bの領域にわたり破線1203で示す輝度分布は、約70%も上下するため、また、中央領域の輝度分布においても、矢印1204に示すように、最大値と最小値で約50%の輝度差が生じている。この光源を用いて撮像した指紋画像もまた、中央領域にわたり出力分布が約50%変化してしまう。こうした画像取得時の露光量の不均一性は、指紋画像を取得後の画像に対して、画像処理を行い指紋の隆線の抽出や背景除去、特徴点を抽出する際に、抽出エラー、S/Nの低下、ダイナミックレンジの不足などを引き起こし、最終的には認証精度の低下をもたらす。画像処理の過程においても光源ムラの補正による除去は行うが、こうした画像処理による補正は単純な光源ムラの変化でないと効率的に除去できず、偽の輪郭などを発生してしまう。
そこで、本実施形態においては、LED駆動部108は、LED1102a、LED1102b、LED1102c、LED1102dを各1系統として計4系統に分けて個別に制御することにより、中央領域の輝度分布が均一となるような構成である。たとえば、LED駆動部108は、図11−1(b)に示すように、LED1102aの輝度レベルを100%から50%になるように下げる制御を行う。この制御により、LED1102aの輝度レベルが50%となり、LED1102bの輝度レベルと等しくなる。LED1102aから導光体である光学部材1103aを介した輝度分布は破線1205で示している。また、2つのLED1102a、bからの照射による光学部材1103a全体の輝度分布は破線1206に示す。
これにより、図11−1(b)に示すように点A〜点Bの距離全体にわたる破線1206の輝度差は、図11−1(a)の破線1203の輝度差と比べて縮小することができている。特に、中央領域については、矢印1207に示すように、約25%の輝度差にまで改善して、輝度の均一性を高めることができている。第1の実施形態でも述べたように、指紋認証のための画像に必要とされる中央領域の光量ムラを抑制できるため、取得画像の品質が向上、中央領域の指紋部分に対しての画像処理の精度も改善して、指紋の隆線や特徴点の抽出が円滑に行われる。この結果、認証精度が向上する。このように、指紋画像を取得する領域を分けて、輝度を調整する構成にしたことにより必要最小限のLEDの調整系統数で、指紋画像取得に適した効果的な光量ムラ改善を実現する。尚、LED1102cおよびLED1102dにより照射される光学部材1103bにおいても、同様の光量ムラの補正を行う。
次に、撮像素子1101の副走査方向に生じるシェーディングとその補正について説明する。図11−2(c)は、図10(a)の点Cから点Eにかけての方向(撮像素子1101の副走査方向)の輝度分布を示す図である。図11−2(c)の実線1208に示すように、LED1102aの先述の調整により、その輝度分布が低下しているが、さらに点Cから中央Dにかけて輝度が低下して点DからEに向かい輝度が増加するという、シェーディングが発生している。
この原因は、点C、Eよりも点Dのほうが、光学部材1103a、bに対して位置的に離れているために、光量が低下することに起因する。この方向の輝度低下はシミュレーションや実測により予測や計測することができる。既に述べたように、この方向の輝度低下(シェーディング)は、指紋抽出におけるダイナミックレンジやコントラストの低下につながり、認証精度の低下を引き起こす。
本実施形態においては、第1の実施形態と同様に、シェーディングの補正を、撮像素子1101の副走査方向となる各行の露光タイミングの時間的なずれを利用して、露光量の制御を行うことで実現する。図11−2(c)の破線1209に示したような割合でLED1102a〜dの点灯期間や輝度を増加させる。これにより、実線1208に示すシェーディングによる輝度変化と、破線1209に示すLED1102a〜dの点灯期間や輝度の変化とを合成すると、そのトータル露光量は破線1210に示すように副走査方向で均一化される。さらに、出力にゲインをかけることにより破線1211に示す輝度レベルの光を照射した場合と同等の出力が得られる。
このように撮像素子1101の主走査方向における複数のLEDによる輝度ムラの調整を行った上で、副走査方向のシェーディング補正を行うことにより、指紋認証に必要な中心領域の露光量の均一化が実現できる。これにより、撮像素子1101が、1回の走査で出力する部分画像間の接続合成処理においても接続部分に輝度差が発生せず、画像の接続合成の失敗や接続合成の副作用による画質劣化などで指紋認証の精度低下が起こることを防ぐことができる。
図12、図13に本実施形態における図1に示した光源103とLED駆動部108の具体的な回路例を示す図である。
図12は、図10(a)に示したLED1102a、LED1102b、LED1102c、LED1102dを各1系統とする計4系統に分けてトランジスタのオン/オフにより点灯制御する回路例を示す図である。ここで、各LEDの系統に流れる電流値は可変抵抗1301a〜dにより定められ、この可変抵抗1301a〜dの各抵抗値は調整端子1302a〜dにより制御される。この調整端子1302a〜dは手動により出荷時などに調整されてもよいし、あるいはシステムの中でマイコンによりDAコンバータなどを介して制御されてもよい。
701は、LED制御パルスの入力端子である。704、705は抵抗素子であり、706はトランジスタ、707が電源、708がGNDを示している。4系統のLED1102a〜dの輝度ばらつきは電流により調整を行う。具体的には、トランジスタ706のオン/オフをパルス幅制御することで、LED1102a〜dの点滅割合を調整して、輝度ムラの補正を行う。また、副走査方向のシェーディング補正の為の、LED1102a〜dの点滅割合の調整は、輝度ムラ調整後の4系統間における点滅期間の比率を維持して行う。
次に、図12に示した入力端子701に入力するLED制御パルスを作成する制御パルス作成回路の回路例について説明する。尚、制御パルス作成回路は本実施形態のLED駆動部108が具備する回路である。
図13は、入力端子701に入力される制御パルスを作成する制御パルス作成回路を示す図である。図13において、801は、主走査方向のトリガとしての水平同期信号(HD)の入力端子である。802は、副走査方向のトリガとしての垂直同期信号(VD)の入力端子である。803は、クロック信号(CLK)が入力されるクロック端子である。804は、水平同期信号と垂直同期信号をトリガとしてクロックをカウントするカウンタである。805は、上述した副走査方向のシェーディング補正のための補正値を格納したレジスタである。809は、レジスタ805から副走査方向のシェーディング補正のための補正値を読み込み、カウンタ804が出力するカウント値をデコードして制御パルスを作成するデコーダである。812は、デコーダ809から入力される制御パルスをクロック信号に同期して出力するフリップフロップである。
以上に説明した構成より、LED駆動部108は、撮像素子部104の撮像面において、主走査方向では中央領域の輝度ムラを無くした均一化した輝度レベルとなるような光量でLED1102a〜dが光を照射するよう制御でき、更に、副走査方向で生じるシェーディングを補正するようにLED1102a〜dの点灯時間を調整することができる。すなわち、LED駆動部108は、4系統のLED別に輝度の調整を行うとともに、共通の副走査方向のシェーディング補正を実現するようLED1102a〜dのオン/オフを制御することができる。
次に、タイミングチャートを用いて、本実施形態における撮像素子部104及びLED駆動部108における露光量の制御について説明する。
図14は、本実施形態における撮像素子部104及びLED駆動部108の動作を示すタイミングチャートである。
図14において、1501は、副走査方向のシフトレジスタの転送クロックであり、1副走査期間ごとに1回パルスが印加されている。1502は、LED1102a〜dに共通の制御信号となり入力端子701に入力される制御パルスを示している。この制御パルス1502は、"H"の期間がLEDの点灯期間である。このように、1515、1517に対して1516の点灯期間のパルス幅を変えることで、LED1102a〜dの輝度を調整できる。
また、1503は副走査方向の1行目の画素(L1)に蓄積された電荷がリセットされるタイミングを示している。具体的には、図5に示した寄生容量78をリセットするリセットパルスΦRのことを示している。1504は、副走査方向の1行目の画素に蓄積された電荷が、寄生容量(図5の寄生容量78)に転送されるタイミングを示している。具体的には、図5に示したフォトダイオード73から寄生容量78へ電荷を転送する転送パルスΦTのことを示している。
同様に、1505は副走査方向の2行目の画素(L2)がリセットされるタイミングを示しており、1506が副走査方向の2行目の画素に蓄積された電荷が、寄生容量78に転送されるタイミングを示している。また、1507は副走査方向のm行目の画素(Lm)がリセットされるタイミングを示しており、1508が副走査方向のm行目の画素に蓄積された電荷が、寄生容量78に転送されるタイミングを示している。1509は、副走査方向のn行目の画素(Ln)がリセットされるタイミングを示しており、1510が副走査方向のn行目の画素に蓄積された電荷が、寄生容量78に転送されるタイミングを示している。
図14において、期間1511〜1514が上述した各行の画素(L1〜Ln)の電荷蓄積期間を示している。図14に示すように、期間1511〜1514は、2行分の副走査を行う期間に等しい。しかしながら、LED1102a〜dの点灯期間は、期間1515に示したように、副走査期間の100%の期間は点灯されないため、実質的な副走査方向の蓄積期間は、期間1511〜期間1514にLED1102a〜dの点灯割合を掛けたものになる。したがって、露光量は期間1512と期間1513と期間1514では異なり、副走査方向において中央領域となる期間1513の露光量が大きく、副走査方向において端の領域となる期間1512と期間1514の露光量が小さくなり、図11−2(c)の破線1209に示した露光量制御を実現する。以上に示したように、1502に示した制御パルスを入力端子701に入力することで、シェーディングを防ぐために副走査方向で露光量が補正される。
また、上述した制御パルス1502の代わりに、1518に示す制御パルスを入力端子701に入力すると以下のように露光量を制御することができる。制御パルス1518は、制御パルス1502に比べて、両端の領域におけるLED1102a〜dの点灯割合が少ない。具体的に比較すると、中央領域である期間1521は期間1516と同様に点灯割合が100%である。しかし、期間1515における点灯割合に対して期間1520の点灯割合は少ない。同様に、期間1517の点灯割合に対して期間1522の点灯割合も少ない。こうすることにより、図11−2(c)に示す破線1209の傾きを大きくでき、シェーディングに対する補正のかかり方を急峻にすることができる。
また、上述した制御パルス1502の代わりに、1519に示す制御パルスを入力端子701に入力すると以下のように露光量を制御することができる。制御パルス1519は、制御パルス1502に比べて、全体的にLED1102a〜dの点灯割合が少ない。具体的に比較すると、期間1515、1516、1517における点灯割合に対して期間1523、1524、1525の点灯割合が半分である。こうすることにより、図11−2(c)に示す破線1209の傾きを変えずに、破線1210の絶対値を半分にすることができる。すなわち、LED1102a〜dの副走査方向における点灯割合の違いの比率は保ったまま、全てのパルスにおいて点灯割合を半分にすることにより、シェーディング補正量は同一のまま輝度を均一に半減することもできる。このように、露光期間の時間的な差を利用することで、輝度の調整がされた4系統のLEDを共通の割合でシェーディング補正できる。
本実施形態の指紋認証装置は、光源の点灯割合とセンサの蓄積時間を利用して光源の補正行うため、信号処理でシェーディング補正を行う場合に対して、S/Nの低下や補正による副作用の発生が無い利点がある。たとえば、室外で利用する場合などでは、LEDの明るさよりも外光の明るさのほうが明るく主要因になるが、この場合輝度ムラが発生しない。しかし、画像処理で一定の補正をした場合、室内か室外か判別しないと逆に補正をしてしまう場合がある。あるいは、室内でも一部外光が入った場合は、室外の光の領域で過補正がかかってしまう弊害があったが、本実施形態の指紋認証装置は、こうした弊害を除きながら、少ない光源数で指紋認証に必要な領域の輝度ムラを抑えて、低コストで高精度な指紋認証を実現する。
以上、本実施形態における指紋認証装置について説明したが、バーコードリーダや、工業用ロボットなどの物体認識用の撮像装置など、光を照射して画像の特徴から物体を認識する画像入力装置について本発明を適用可能である。また、生体認証装置の中でも指紋認証装置を例に本実施形態を説明したが、被写体の部分画像をつなぎ合わせて合成する方式を用いた画像取得方式であれば、たとえば手や指、顔、目などに光を照射して、被写体の特徴情報を抽出して照合する生体認証装置に適用することも可能である。ここで、被写体の特徴情報とは、たとえば、掌紋、静脈などの血流、虹彩、顔認識などの情報である。また、上述した実施形態においては、光照射手段としてLEDを挙げたが、蛍光管、EL、レーザーなどの光源であってもよい。
(第3の実施形態)
本実施形態では、屋外の直射日光下と室内光下での面内の露光量ムラや、夕日や窓辺からの光などで発生する斜め横側から入射する外光による面内の露光量の不均一性に対する制御を示す。ここでも基本的な構成は第1の実施形態および第2の実施形態同様であり、光照射素子を撮像素子の主走査方向に平行して複数配置するとともに、主走査方向の中心領域において光照射素子からの光量分布の均一性が高くなるように光照射素子の輝度を制御するが、さらに外光による露光量の変化や不均一性を検出してその補正を制御する。また、本実施形態では副走査方向での露光量の均一性が高くなるように撮像素子の電荷蓄積タイミングと光照射素子の輝度や点灯タイミングを制御する構成を割愛するが、あわせて実施することで光源と撮像素子の位置関係により発生するシェーディングが除去できるので、本実施形態に述べるように外光の影響を補正するように点灯させた光源からの照射光に対して効果があり、合わせて実施することにより有効性が増す。
光学式のセンサは、光源の質が撮像画像自体の画質品質を決める大きな要素であり、特に、面内の露光量の均一化が重要である。第1、第2の実施形態では、光源自体のばらつきや撮像素子部との位置関係による輝度分布差(シェーディング)による撮像面内での露光量の差を例示して、こうした露光量の差を生体認証や物体認識に必要な領域に着目して補正を行うことを示した。具体的には、光照射素子(光源)を撮像素子(CMOSセンサ)の主走査方向に平行して複数配置するとともに、主走査方向の中心領域において光照射素子からの光量分布の均一性が高くなるように光照射素子の輝度を制御した。また、副走査方向での露光量の均一性が高くなるように撮像素子の電荷蓄積タイミングと光照射素子の輝度や点灯タイミングを制御する。しかしながら、面内の露光量の均一化を阻害する要因は、 光源自体のばらつきや撮像素子部との位置関係による輝度分布差のみではなく、その他の露光量の均一化を阻害する要因に関しても本実施形態は有効である。
図15は、本実施形態として、スウィープ(スキャン)型の指紋認証装置の模式的な構成を示すブロック図である。第1の実施形態と同様の機能を有するものには、同じ番号を付し詳細な記載を省略する。図15において138が外光状況判断部であり、撮像された画像信号から光源からの照明光による信号成分と外光による信号成分の量や割合、および面内での各光の光量分布状況を判別を行う判断手段である。ここでは、画像合成部から信号が出力しているが、画像合成後の画像から判断しても画像合成前の信号から判断してもかまわない。
外光状況判断部138の具体的な判断動作の例としては、認証部102自身が制御を行っている光源からの照明光による信号成分の概算量はあらかじめ予測を行うことができるため、その信号量と比較して実際の取得画像の信号の増加分が外光による信号成分の量や割合として計算される。また、その増加分の面内分布から外光の入射方向(直射日光や窓辺からの夕日のさしこみなど)や周囲環境(室内か室外か)等を判断することができる。123aは、生体情報輝度検出部122a、138をはじめ各部からの情報をうけて画像取得部101のセンサ駆動部105とLED駆動部108を制御する制御信号を通信部115を介して画像取得部101へ出力する制御部である。
137は画像合成部135が出力する合成後の画像データを生体情報輝度検出部122a、指検知部121、外光状況判断部138へ伝達する信号線である。
139は、外光状況判断部138が外光状況判断結果を制御部123aへ伝えるための信号線である。131は、各部の状態を受けて制御部123aが出力する画像取得部101を制御するための制御信号を通信部115へ伝送する信号線である。
本実施形態の画像取得部101は、実施形態1同様、光源103を構成する各LED素子の輝度ばらつきと、各LEDと撮像素子部104の位置関係などで決まる光量の不均一性(シェーディング)について、LED輝度分布から算出した補正値、調整値になるように制御部123aが、センサ駆動部105およびLED駆動部108へ制御信号を通信部115経由で送信する。
センサ駆動部105及びLED駆動部108は、制御部123aからの制御信号に応じて撮像素子部104の動作及び光源103の各LEDの光量を制御する。
さらに、本実施形態の画像取得部101は、外光状況判断部138が取得画像の輝度分布を用いて判断した周囲の光環境(室内か室外か、強い直射日光下かなど)や外光の入射状況(斜めから光が入射しているかなど)から、取得する被写体の画像が面内で露光状態が均一になるように、あるいは適正な露光量の面積がなるべく大きくとれるように制御部123aが、センサ駆動部105およびLED駆動部108へ制御信号を通信部115経由で送信する。センサ駆動部105及びLED駆動部108は、制御部123aからの制御信号に応じて撮像素子部104の動作及び光源103の各LEDの光量を制御する。
以上の制御部123aからの補正、調整により、画像取得部101は、被写体の指を照明する光源103を制御して、外光が加わった場合であっても撮像面内での照明条件の差を補正して、面内の露光量の均一性を高めるとともに、外光と光源からの光の両者で照明した場合にも適正な露光量になるように撮像素子の蓄積条件を調整して、指紋画像の取得を行うことができる。
本実施形態における撮像素子は実施形態1同様、スウィープタイプと呼ばれる方式を用いた光学式指紋センサであり、その構成は、図2〜5で先述されたものである。
実施形態1同様、本実施形態における指紋認証装置は、センサ部の画素の露光が光源の照射条件とセンサの蓄積期間との関係で決まることを利用したものである。
図16〜図22を用いて本実施形態の指紋認証装置の動作を説明する。
図16(a)、(b)は、室内と室外のときの被写体を照明する光とそのときの露光状態の模式図を示している。図16(a)は、室内や夜間など外光成分が少なく、ほとんどがLED光源からの光で指を照明している場合であり、図16(b)は、室外で強い直射日光が真上から降り注いでいる等、外光が指を照明する主成分である場合を示している。
ここで、図16は図2(d)同様指の横断面での模式図であり、201は指、204は撮像素子、209はガイド機構である。尚、ここでも撮像素子204上の光学部材203を省いて示している。1601の矢印はLED光源から矢印方向に指に向かって出射される照明光を示している。1602の点線は、このときの撮像素子204の露光量分布を示したものであり、横軸は指の断面に応じた位置を、縦軸は露光量を示している。1603の矢印は外光として真上から矢印方向に指を照明する直射日光を示している。1604の点線は、このときの撮像素子204の露光量分布を示したものであり、横軸は指の断面に応じた位置を、縦軸は露光量を示している。
図16(a)に示すように、室内や夜間などの場合には、指が接している撮像面側からの照明光となるため、撮像素子204での露光量は指の接している中央領域が多く、指の接していない指の側面に近い両端領域が少なくなる傾向にある。(ここでは中央領域が100%の露光量に対して、両端領域が40%と例示している。)
一方、図16(b)に示すように、室外で強い外光が入射した場合は、指が接している撮像面と反対側からの照明光となるため、撮像素子204での露光量は指の接していない指の側面に近い両端領域が多く、指の接している中央領域が少なくなってしまう。指の側面に近い両端領域は接していても厚さが薄いため中央領域に比べ光の透過率が高いことにも起因する。
(ここでは両端領域が100%の露光量に対して、中央領域が40%と例示している。)
両者とも、中央領域と指の側面に近い両端領域で露光量差がおおきいため、指の全領域を適正な露光量にすることが非常に難しくなり、どちらか一方が飽和して白とびしたり、露光量の少ない側がつぶれて黒沈みしたりすることも少なくない。
実施形態1でも論じたように、光学的な撮像素子で指紋画像を取得したときの指紋パターンによる光強度の差=コントラストを、指紋の隆線パターンを抽出するために画像演算をする上で必要とされる25%以上確保するためには、ゲインを掛けることになるためこのような露光量差は照明光の輝度ムラ同様抑える必要がある。抑えられないばあい、中央領域と両端領域の大きな露光量差に対応して階調を割り振るため信号成分の階調性が低くなりコントラストが十分得られず、S/N比が減少して認証精度が低下する。本実施形態は、外光の状況を検出して、その状況に応じて光源の点灯状態と撮像素子の蓄積条件を変えることにより、撮像面内(画像面内)の露光分布の均一性を高めるとともに、適正な露光量にすることで、取得できる指紋画像の面積を拡大するとともに、信号成分の階調性を高めて認証精度を向上させることが可能となる。
図17−1〜図17−3は本実施形態におけるスウィープタイプの光学式指紋センサの概略構成を示す図である。
図17−1は、指の上から見た光学式指紋センサの概略図である。また図17−2は、図17−1における6個のLED1702a〜1702fの照明光の100%点灯時の輝度レベルを示した図である。また、図17−3は、LED1702a〜1702fを点灯する駆動部の回路図である。
図17−1において、201は、指紋認証の対象となる指である。1702a〜1702fは、光源としてのLEDである。204が、副走査方向の画素数が5〜20画素程度の帯状の2次元センサであり、具体的にはCMOS型の撮像素子である。
209は、指201の移動動作に伴い、移動方向と垂直方向への指201のブレやずれを防止するガイド機構である。ここで、指紋の凹凸パターンの光学的な差を後述する撮像素子204へ導く光学部材は省略している。
ここで、図17−2中のA、B、Cは、図17−1に示した同じ記号の各点の位置に対応しており、図17−2は、図17−1の光源(LED1702a〜1702f)による点Aから点Bへの方向(センサの主走査方向)の輝度分布である。
図17−2において、1701a〜fは、図17−1に示した各LED1702a〜1702fの輝度分布の中心を模式的に示している。ここでは、外光環境に対する動作を簡単化して説明するため、LEDの輝度の個別ばらつきがないとして説明する。すべてのLEDを100%の輝度で点灯すると、その輝度分布は破線1703のように示される。
LED1701a〜fは第一の実施形態同様の3系統で光量を制御する構成として例示する。ここで本発明では、以下の本実施形態の3系統の動作で示すように主走査方向中心に対して両側に配置した少なくとも2グループを外光の入射方向に応じて独立して制御することにより、斜め方向からの外光の入射に対してダイナミックレンジを改善する。また、主走査方向に対して中心側に配置したグループと、両端側のグループの少なくとも2グループを外光の割合に応じて独立して制御することにより、外光状況の変化に対してダイナミックレンジを改善する。
図17−3は、図15に示した光源103とLED駆動部108の具体的な回路例を示す図である。図17−3に示すように、LED1702aと1702fを1系統(以下、第1系統とする)、LED1072bと1702cを1系統(以下、第2系統とする)、LED1702d、1702eを1系統(以下、第3系統とする)とする計3系統で光源103が構成されている。この3系統のLEDに対して、LED駆動部108は、トランジスタ706のオン/オフにより点灯制御する。図17−3の701〜703は、3系統あるLEDの点灯を制御する信号であるLED制御パルスが入力される入力端子である。図17−3に示すように入力端子701が第1系統を制御するLED制御パルスが入力され、入力端子702及び入力端子703にも同様に第2系統及び第3系統を制御するLED制御パルスが入力される。704、705は抵抗素子であり、706はトランジスタ、707が電源、708がGND(グランド)を示している。
図17−3に示すように、LED駆動部108において、入力端子701が抵抗素子704を介してベース端子に接続されているトランジスタ706のコレクタ端子は、抵抗素子705及び信号線112bを介して第1系統のLED1702aと1702fに接続されている。
入力端子702が抵抗素子704を介してベース端子に接続されているトランジスタ706のコレクタ端子は、抵抗素子705及び信号線112bを介して第2系統のLED1072bと1702cに接続されている。入力端子703が抵抗素子704を介してベース端子に接続されているトランジスタ706のコレクタ端子は、抵抗素子705及び信号線112bを介して第3系統のLED1702d、1702eに接続されている。また、各トランジスタ706のエミッタ端子はGND708に接続される。
光源103においては、第1系統として電源707と信号線112b(入力端子701からの信号を伝えるもの)の間に、信号線112bの方へ電流が流れた時に発光するようにLED1702aと1702fが直列に接続されている。同様に第2系統としてLED1072bと1702cが直列に電源707と信号線112b(入力端子702からの信号を伝えるもの)の間に接続され、第3系統としてLED1702d、1702eが電源707と信号線112b(入力端子703からの信号を伝えるもの)の間に直列に接続されている。
以上に示した構成により、LED駆動部108は、入力端子701〜703に入力されるLED制御パルスに応じて各トランジスタ706のオン/オフの時間をパルス幅制御することで、3系統のLEDのそれぞれに接続された3本の信号線112bに駆動パルスを出力する。これにより、3本の信号線112bから3系統のLEDへ入力された駆動パルスに応じて各LEDの点滅割合が調整され3系統の輝度が制御される。
図17−3に示した入力端子701〜703に入力するLED制御パルスを作成する制御パルス作成回路の回路は、実施形態1と同様、図8にしめすような回路で作成される。
ここで、図16(a)に示した室内や夜間などの場合には、外光判断部がその状況を判定して、図18(a)に示すように6個のLEDの輝度を、第1系統(LED1702aと1702f)を100%、第2系統(LED1702bと1702C)、第3系統(LED1702dと1702e)を50%として、全体の輝度分布が破線1803となるように制御する。
この結果、撮像素子部での露光量は図18(b)に示すように、3系統全てを100%点灯した場合の露光量分布1602と、3系統を制御したLEDの輝度分布1803の合成である1804となる。ただしこの場合、中央領域のLED輝度を下げたため、両端領域と中央領域での露光量差は少なくなったものの、合成した露光量は全体的に下がってしまう。このため、外光判断部はLEDの輝度のみでなく撮像素子部も制御して蓄積時間を2倍とする。
これにより、トータルの露光量は破線1805のように、中央領域の100%の露光量に対して、両端領域が80%となり、露光量を一定以上に確保しながら両端領域と中央領域での露光量差を少なくして、撮像面全体で均一な指紋画像を取得する。また、図16(b)に示した室外の外光下の場合には、外光判断部がその状況を判定して図19(a)に示すように6個のLEDの輝度を、第1系統(LED1702aと1702f)を50%、第2系統(LED1702bと1702C)、第3系統(LED1702dと1702e)を100%として、全体の輝度分布が破線1903となるように制御する。
この結果、撮像素子部での露光量は図19(b)に示すように、3系統全てが点灯していない場合の露光量分布1604と、3系統を制御したLEDの輝度分布1903の合成である1904となる。
ただしこの場合、中央領域のLED輝度を上げたため、両端領域と中央領域での露光量差は少なくなったものの、合成した露光量は100%を超えてしまう。1904では模式的に100%以上も示したが実際には飽和して白つぶれしてしまう。このため、外光判断部はLEDの輝度のみでなく撮像素子部も制御して蓄積時間を2/3倍とする。これにより、トータルの露光量は破線1905のように、中央領域の100%の露光量に対して、両端領域が93%となり、露光量を飽和しないようにしながら両端領域と中央領域での露光量差を少なくして、撮像面全体で均一な指紋画像を取得する。
このように、検出した外光の状況に応じて光源の点灯状態と撮像素子の蓄積条件を変えることにより、撮像面内の露光分布の均一性を高めるとともに、適正な露光量にすることで、取得できる指紋画像の面積を拡大するとともに、信号成分の階調性を高めて認証精度を向上する。
このとき、 複数の配置に応じてグループ化した光源のうち、主走査方向に対して中心側(中心部)に配置したグループと、両端側のグループの少なくとも2グループを、外光の割合に応じて独立して制御する構成としたことにより、外光状況がおおきく変化する室内や夜間との場合と室外の日光下の場合の両者に対して追従してダイナミックレンジと照合精度を確保することを実現した。
また、光学的なセンサの場合、さらに課題となるのが日光などの強い外光が斜めに入射した場合である。斜めに外光が入射したばあい、強い外光が照明光として寄与する場所と陰あるいは光の届きにくい場所が発生するため、面の中で露光量が大きく変化してしまう。
本実施形態では、こうした場合にも光源の点灯状態と撮像素子の蓄積条件を変えることにより、広いダイナミックレンジと高い照合精度を得られる構成となっている。
図20は、日光などの強い外光が斜めに入射した場合の、被写体を照明する外光とそのときの露光状態の模式図を示している。こうした状況は、室外で夕日に照らされた場合や、室内でも窓から差し込む日光があたった場合に発生する。
ここで、図20は図2(d)同様指の横断面での模式図であり、201は指、204は撮像素子、209はガイド機構である。尚、ここでも撮像素子204上の光学部材203を省いて示している。2003a,bの矢印は外光として右斜め上から矢印方向に指を照明する外光を示している。
2004の点線は、このときの撮像素子204の露光量分布を示したものであり、横軸は指の断面に応じた位置を、縦軸は露光量を示している。
図20に示すように、2003a側の光が撮像素子に近い領域まで効率的に指を照明する一方、2004b側の光は指を照明するが、指の厚さにより光が十分透過せず、また指自身の陰も発生させてしまう。これにより、撮像素子204での露光量は2004に示すように光が入射してくる方向が高く、反対側が少なくなってしまう。(ここでは右側領域が100%の露光量に対して、左領域が25%と例示している。)
こうした外光の斜め入射の場合には、外光判断部がその状況を判定して、図21(a)に示すように6個のLEDの輝度を、第1系統(LED1702aと1702f)を50%、第2系統(LED1702bと1702c)を100%、第3系統(LED1702dと1702e)を50%として、全体の輝度分布が破線2103となるように制御する(輝度制御手段)。
この結果、撮像素子部での露光量は図21(b)に示すように、3系統全てが点灯していない場合の露光量分布2004と、3系統を制御したLEDの輝度分布2103の合成である2104となる。
ただしこの場合、左側領域のLED輝度を上げたため、右側領域と左側領域での露光量差は少なくなったものの、合成した露光量は100%を超えてしまう。2104では模式的に100%以上も示したが実際には飽和して白つぶれしてしまう。このため、外光判断部はLEDの輝度のみでなく撮像素子部も制御して蓄積時間を2/3倍とする(蓄積期間制御手段)。
これにより、トータルの露光量は破線2105のように、右側領域の100%の露光量に対して、左側領域が83%となり、露光量を飽和しないようにしながら右側領域と左側領域での露光量差を少なくして、撮像面全体で均一な指紋画像を取得する。
このように、検出した外光の状況に応じて光源の点灯状態と撮像素子の蓄積条件を変えることにより、撮像面内の露光分布の均一性を高めるとともに、適正な露光量にすることで、取得できる指紋画像の面積を拡大するとともに、信号成分の階調性を高めて認証精度を向上する。
このとき、複数の配置に応じてグループ化した光源のうち、左右に配置した少なくとも2グループを外光の入射方向と割合に応じて独立して制御することにより、斜めに入射する光により発生する面内での照明光量差を補正してダイナミックレンジと照合精度を確保することを実現した。
図22に、本実施形態のおける図15の外光状況判断部138の動作をフローチャートで示す。
本実施形態で説明した外光状況による露光量の制御は、たとえばスィープ型のセンサ上で指をスライドさせ始める段階や、あるいは指をスライドさせている途中に行われる。こうした外光状況による露光量調整ルーチンにおいて、2201でルーチンに入ると、外光状況判断部138は、まず2202で外光状況を測定するための初期値に露光量設定を行うように制御部123aに指示を送る。
ここでは、LEDを消灯して外光のみで露光を行うとする。次に、2203で外光状況判断部138は、初期設定値の露光条件下で得られた取得画像データを画像合成部135から取得して、外光状況を判断するための各種データを算出する。ここでは、主走査方向に対して左側、中央、右側の3領域の各平均輝度データとする。
2204において、主走査方向に対して左側、中央、右側の3領域の各平均値がすべて一定値(判定値1)以下かどうかを判定する。判定値以下の場合、2205で外光がすくないと判断する。この場合2206にすすみ、外光状況判断部138は、外光の輝度を算出するとともに、LED3系統を図18(a)に示すように点灯し、さらに最終的な露光量がダイナミックレンジを有効に利用できるように、撮像素子の蓄積時間を調整するように制御部123aに指示を送る。これにより、図18(b)の1805のような露光量調整が行われる。2207において、露光量調整ルーチンを終了する。
一定値を上回る場合、2208において、主走査方向に対して左側と右側の2領域の各平均値が両方とも一定値(判定値2)以上かどうかを判定する。両方とも判定値以上の場合、2209で面内に均一に照射されていると判断する。直射日光が真上から照らしているようなどの場合が該当する。
この場合2210にすすみ、外光状況判断部138は、外光の輝度を算出するとともに、LED3系統を図19(a)に示すように点灯し、さらに最終的な露光量がダイナミックレンジを有効に利用できるように、撮像素子の蓄積時間を調整するように制御部123aに指示を送る。これにより、図19(b)の1905のような露光量調整が行われる。2207において、露光量調整ルーチンを終了する。
2208で一定値を下回る場合、2211において、主走査方向に対して右側の領域の平均値が左側以上かどうかを判定する。右側が左側以上の値の場合、2212で外光が右側から照射されていると判断する。
この場合2213にすすみ、外光状況判断部138は、外光の輝度を算出するとともに、LED3系統を図21(a)に示すように点灯し、さらに最終的な露光量がダイナミックレンジを有効に利用できるように、撮像素子の蓄積時間を調整するように制御部123aに指示を送る。これにより、図21(b)の2105のような露光量調整が行われる。2207において、露光量調整ルーチンを終了する。
2211において、主走査方向に対して右側の領域の平均値が左側の値より低い場合、2214で外光が左側から照射されていると判断する。この場合2215にすすみ、外光状況判断部138は、外光の輝度を算出するとともに、LED3系統を図21(a)と逆で右側の輝度が高くなるようにLEDの輝度を調整して、さらに最終的な露光量がダイナミックレンジを有効に利用できるように、撮像素子の蓄積時間を調整するように制御部123aに指示を送る。これにより露光量調整が行われて、2207において、露光量調整ルーチンを終了する。
このようにして、外光状況判断部が外光の面内の分布状況と照射量の判断を行い、露光量の制御部が光源の輝度と撮像素子の蓄積量を制御する構成としたことで、外光環境に左右されない広いダイナミックレンジと高い照合精度とを両立した光学式センサが実現できる。
以上、上述した実施形態によれば、複数の光源における光量のバラツキによる光量むらを補正することができる。
また、光源とセンサの位置関係により生じるシェーディングを補正することができる。
さらに、外光による露光量の変化や不均一性を検出して、補正することができる。
また、光量のバラツキによる光量むらを補正することができる。これにより、撮像画像の画像品質が向上するので、指紋の照合精度を向上することができる。
以上、この発明の実施形態について図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も含まれる。