JP5326792B2 - 静脈撮像装置、位置ズレ補間方法およびプログラム - Google Patents

Description

本発明は、静脈撮像装置、位置ズレ補間方法およびプログラムに関する。

生体個人認証は、今後のネットワーク社会において、権利を守る為に非常に重要な技術である。特に、常時、他人が本人になりすまして、金銭やコンテンツ、権利などをネット越しに盗むことが可能であるインターネット上での商取引では、生体個人認証は、暗号だけでは解決できない領域を守る技術として注目されている。しかしながら、生体個人認証の中でも指紋や虹彩（アイリス）などを利用したものは、偽造の問題が解決できない。この点、静脈のパターンのうち外部から容易に撮像できない部位を用いた個人認証技術は、判定精度の高さや偽造、成りすましが困難であるため、次世代の生体個人認証として期待されている。

他方、特に静脈の画像を撮像するための撮像方式を実現するにあたって、光源の位置の制限が大きいため、撮像デバイスの平面構造化が困難であった。この問題を解決するために、広角レンズなどによる方法は提案されてきた。しかしながら、この方法では、撮像デバイスと指との距離を限定することが困難であるとともに、ユーザ側が確実に同じ距離に指をおく必要があることが必要となることから、認証の再現性が確保できなかった。また、大判センサによる接触式または非接触式のデバイスは、原理的には理想的であるが、センササイズが大きくなるため、高価な光学材料などに起因するコストの問題があった。さらに、大判センサ用の光学部品の種類によっては、熱膨張によって光学部品と大判センサとの間で位置関係にズレが生じてしまうという問題もあった。

上述のような問題点のうち、熱膨張による位置ズレを解決するための技術として、例えば、熱膨張によって生じた位置ズレ量を検出し、光学部品の位置を位置ズレ量に基づいて直接制御する技術がある（例えば、以下の特許文献１を参照。）。

特開２００４−２９６５３１号公報

しかしながら、上記特許文献１に記載の方法を、平面構造化された静脈撮像装置に適用しようとすると、光学部品の位置を調整するための位置調整部材が新たに必要となる。そのため、上記特許文献１に記載の方法を、動作環境温度が広い範囲となるモバイル機器等に実装する場合には、機器の小型化が困難となるという問題があった。

そこで、本発明は、上記問題に鑑みてなされたものであり、本発明の目的とするところは、熱膨張によって生じる光学部品と撮像素子との間の位置ズレを補正することができ、装置の小型化を図ることが可能な、静脈撮像装置、位置ズレ補間方法およびプログラムを提供することにある。

上記課題を解決するために、本発明のある観点によれば、複数の受光レンズがアレイ状に配設されたレンズアレイと、前記レンズアレイの端部に設けられ、生体の一部に対して近赤外光を照射する近赤外光照射光源と、一つの前記受光レンズに対して複数の画素が割り当てられており、前記レンズアレイによって集光された前記生体内で散乱され静脈を透過した近赤外光に基づいて前記静脈の撮像データを生成する静脈撮像データ生成領域と、前記画素が遮光された遮光部および前記画素が遮光されていない開口部からなり、前記開口部を介して受光した光に基づいて撮像温度に応じた結像位置の変化を検出する際に利用される位置ズレ検出用データを生成する位置ズレ検出用データ生成領域と、を有する撮像素子と、前記位置ズレ検出用データ生成領域から取得した前記位置ズレ検出用データに基づいて、撮像温度での結像位置を検出する結像位置検出部と、前記結像位置検出部により検出された前記結像位置に基づいて、撮像温度による結像位置のズレ量を推定する位置ズレ量推定部と、前記ズレ量に基づいて、一つの受光レンズに対応する複数の画素の中から静脈画像の生成に用いる前記静脈撮像データを生成する画素を選択する画素選択部と、を備える静脈撮像装置が提供される。

かかる構成によれば、結像位置検出部は、撮像素子の位置ズレ検出量データ生成領域から取得した位置ズレ検出用データに基づいて、撮像温度での結像位置を検出する。また、位置ズレ量推定部は、結像位置検出部により検出された結像位置に基づいて、撮像温度による結像位置のズレ量を推定する。また、画素選択部は、ズレ量に基づいて、一つの受光レンズに対応する複数の画素の中から静脈画像の生成に用いる静脈撮像データを生成する画素を選択する。

前記近赤外光照射光源および前記撮像素子の少なくとも何れか一方の駆動制御を行う駆動制御部を更に備え、前記駆動制御部は、前記位置ズレ量推定部から伝送された前記ズレ量に基づいて、前記近赤外光照射光源及び／又は前記撮像素子の駆動制御を行うことが好ましい。

前記静脈撮像データを用いて生成された前記静脈画像から、静脈パターンを抽出する静脈パターン抽出部と、前記静脈パターンを抽出する際の前記静脈画像に対して、前記位置ズレ量推定部よって推定された前記ズレ量に基づいて補間処理を行う静脈画像補間部と、を更に備えてもよい。

前記静脈画像補間部は、一つの受光レンズに対応する複数の画素のうち前記画素選択部による画素選択の基準単位となる基準単位領域の周辺に位置する画素から得られる前記静脈撮像データを用いて、前記静脈画像の補間処理を行ってもよい。

前記画素選択部は、一つの受光レンズに対応する複数の画素の中から、画素が検知した光量の総和が最大となる領域に含まれる画素を選択してもよい。

前記位置ズレ量推定部から取得した前記ズレ量に基づいて前記撮像温度を推定する温度推定部を更に備えてもよい。

前記位置ズレ量推定部から出力された前記ズレ量または前記温度推定部から出力された前記撮像温度が所定の閾値以上であった場合に警告を発する警告部を更に備えてもよい。

また、上記課題を解決するために、本発明の別の観点によれば、複数の受光レンズがアレイ状に配設されたレンズアレイと、前記レンズアレイの端部に設けられ、生体の一部に対して近赤外光を照射する近赤外光照射光源と、一つの前記受光レンズに対して複数の画素が割り当てられており、前記レンズアレイによって集光された前記生体内で散乱され静脈を透過した近赤外光に基づいて前記静脈の撮像データを生成する静脈撮像データ生成領域と、前記画素が遮光された遮光部および前記画素が遮光されていない開口部からなり、前記開口部を介して受光した光に基づいて撮像温度に応じた結像位置の変化を検出する際に利用される位置ズレ検出用データを生成する位置ズレ検出用データ生成領域と、を有する撮像素子と、を備えた静脈撮像装置の前記位置ズレ検出量データ生成領域から取得した前記位置ズレ検出用データに基づいて、撮像温度での結像位置を検出するステップと、検出された前記結像位置に基づいて、撮像温度による結像位置のズレ量を推定するステップと、前記ズレ量に基づいて、一つの受光レンズに対応する複数の画素の中から静脈画像の生成に用いる前記静脈撮像データを生成する画素を選択するステップと、を含む、位置ズレ補間方法が提供される。

また、上記課題を解決するために、本発明の更に別の観点によれば、複数の受光レンズがアレイ状に配設されたレンズアレイと、前記レンズアレイの端部に設けられ、生体の一部に対して近赤外光を照射する近赤外光照射光源と、一つの前記受光レンズに対して複数の画素が割り当てられており、前記レンズアレイによって集光された前記生体内で散乱され静脈を透過した近赤外光に基づいて前記静脈の撮像データを生成する静脈撮像データ生成領域と、前記画素が遮光された遮光部および前記画素が遮光されていない開口部からなり、前記開口部を介して受光した光に基づいて撮像温度に応じた結像位置の変化を検出する際に利用される位置ズレ検出用データを生成する位置ズレ検出用データ生成領域と、を有する撮像素子と、を備えた静脈撮像装置を制御するコンピュータに、前記位置ズレ検出用データ生成領域から取得した前記位置ズレ検出用データに基づいて、撮像温度での結像位置を検出する結像位置検出機能と、前記結像位置検出機能により検出された前記結像位置に基づいて、撮像温度による結像位置のズレ量を推定する位置ズレ量推定機能と、前記ズレ量に基づいて、一つの受光レンズに対応する複数の画素の中から静脈画像の生成に用いる前記静脈撮像データを生成する画素を選択する画素選択機能と、を実現させるためのプログラムが提供される。

以上説明したように本発明によれば、熱膨張によって生じる光学部品と撮像素子との間の位置ズレを補正することができ、装置の小型化を図ることが可能である。

本発明の第１の実施形態に係る静脈撮像装置の構成を説明するためのブロック図である。 同実施形態に係る静脈撮像装置について説明するための説明図である。 同実施形態に係る静脈撮像装置について説明するための説明図である。 マイクロレンズアレイで撮像した画像について説明するための説明図である。 マイクロレンズアレイで撮像した画像について説明するための説明図である。 同実施形態に係る撮像素子について説明するための説明図である。 同実施形態に係る撮像素子について説明するための説明図である。 同実施形態に係る撮像素子について説明するための説明図である。 同実施形態に係る撮像素子について説明するための説明図である。 同実施形態に係る画素選択部について説明するための説明図である。 特定の画素からデータを取得する方法について説明するための説明図である。 特定の画素からデータを取得する方法について説明するための説明図である。 同実施形態に係る位置ズレ補間方法について説明するための流れ図である。 本発明の第２の実施形態に係る静脈撮像装置の構成を説明するためのブロック図である。 本発明の各実施形態に係る静脈撮像装置のハードウェア構成について説明するためのブロック図である。

以下に添付図面を参照しながら、本発明の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。

なお、説明は、以下の順序で行うものとする。
（１）目的
（２）第１の実施形態
（１−１）静脈撮像装置の構成について
撮像部の構成について
撮像部の構造の一例について
マイクロレンズアレイで得られる画像について
撮像素子について
画像処理部の構成について
認証処理部の構成について
特定の画素からのデータの取得について
（１−２）位置ズレ補間方法について
（２）第２の実施形態
（２−１）静脈撮像装置の構成について
（３）本発明の各実施形態に係る静脈撮像装置のハードウェア構成について
（４）まとめ

＜目的＞
本発明の各実施形態に係る静脈撮像装置および位置ズレ補間方法について説明するに先立ち、静脈撮像装置の概略について説明しながら、本発明の目的とするところについて、まず説明する。

生体認証、特に静脈認証において、撮像素子にＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅｓ：電荷結合素子）やＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）等を用いたカメラを利用する方式が主流であった。しかしながら、このような静脈認証装置は、指紋認証などに比較して装置が大きなものになるため、応用範囲が限定されていた。

そこで、以下で説明する本発明の各実施形態に係る静脈撮像装置は、大判のセンサとレンズアレイの一種であるマイクロレンズアレイ（Ｍｉｃｒｏ Ｌｅｎｓ Ａｒｒａｙ：ＭＬＡ）を利用することで、静脈撮像装置の薄型化を実現する。

また、本発明の各実施形態では、ＭＬＡとＴＦＴなどのフラット大判センサデバイスとを用いた静脈撮像装置において問題となる、環境温度や機構精度、ズレなどによって生じうる撮像性能劣化および環境温度による劣化の自動的な補正を実現することを目的とする。

マイクロレンズアレイは、皮膚の数ミリ下に存在する静脈パターンを読み取ることに適したデバイスである。例えば、マイクロレンズアレイに設けられるマイクロレンズは、被写体である静脈の位置を１／２に縮小するレンズとすることができる。この場合に、マイクロレンズによる結像サイズは、実物の大きさの１／２になる。従って、例えば１つのマイクロレンズに８×８個の画素が対応している場合、８×８画素のうち中心の４×４画素だけでＭＬＡの合成後の画像に対応することとなる。

従来から用いられる固定した画素選択方法では、この結像位置がずれた場合にはマイクロレンズの境界で不連続性や歪が起こるため、画質の劣化等が生じて問題となる。例えば摂氏７０度まで温度が上昇した場合に、プラスチック樹脂を用いて形成されたマイクロレンズアレイでは１画素以上のズレが起こることが確認されており、そのままでは撮像画像が大きく劣化し、認証が誤動作する問題が起こりうる。

そこで、以下で説明する本発明の各実施形態に係る静脈撮像装置では、撮像素子の撮像領域の周辺画素を部材間のズレ検出に用いることで、各温度における各部材の最良のサンプリングや画像処理による補正を自動化することを目的とする。

（第１の実施形態）
＜静脈撮像装置の構成について＞
まず、図１〜図３を参照しながら、本発明の第１の実施形態に係る静脈撮像装置の構成について、詳細に説明する。図１は、本実施形態に係る静脈撮像装置の構成を説明するためのブロック図である。また、図２は、本実施形態に係る静脈撮像装置の平面図であり、図３は、図２をＡ−Ａ切断線で切断した場合の断面図である。

本実施形態に係る静脈撮像装置１０は、例えば図１に示したように、撮像部、画像処理部および認証処理部の３つの部分と、記憶部１３９と、から構成されている。

撮像部は、生体の一部（例えば、指など）を撮像する処理を行う部分である。この撮像部は、例えば図１に示したように、マイクロレンズアレイ１０１と、近赤外光照射光源１０５と、撮像素子１０９と、駆動制御部１２１と、を主に備える。

画像処理部は、撮像部によって生成された静脈に関する画像データ（撮像データ）の取得に際しての処理や、取得した撮像データに対する各種の画像処理を行って、生体の内部に存在する静脈の撮像画像（静脈画像）を生成する部分である。この画像処理部は、例えば図１に示したように、画素データ分割部１２３と、結像位置検出部１２５と、位置ズレ推定部１２７と、警告部１２９と、画素選択部１３１と、静脈画像補間部１３３と、を主に備える。

認証処理部は、画像処理部によって生成された静脈画像の認証処理を行う部分である。この認証処理部は、例えば図１に示したように、静脈パターン抽出部１３５と、認証部１３７と、を主に備える。

［撮像部の構成について］
まず、撮像部の構成について、以下に詳細に説明する。

マイクロレンズアレイ（Ｍｉｃｒｏ Ｌｅｎｓ Ａｒｒａｙ：ＭＬＡ）１０１は、後述する近赤外光照射光源１０５から生体の一部に対して照射され、生体内部の静脈を透過した近赤外光（以下、静脈透過光とも称する。）を、後述する撮像素子１０９へと集光する。このマイクロレンズアレイ１０１は、後述するように、複数の受光レンズから構成されている。マイクロレンズアレイ１０１は、例えば、ガラス素材よりも熱による影響が大きい素材を用いて形成される。このような素材を用いることで、任意の大きさのマイクロレンズアレイを、例えばモールド成形等により、安価で大量に製造することが可能となる。このようなガラス素材よりも熱による影響が大きい素材の一例として、プラスチック樹脂を挙げることができる。

近赤外光照射光源１０５は、静脈撮像装置１０に載置された生体の一部に対して、所定の波長帯域を有する近赤外光を照射する。近赤外光は、身体組織に対して透過性が高い一方で、血液中のヘモグロビン（還元ヘモグロビン）に吸収されるという特徴を有するため、近赤外光を指や手のひらや手の甲に照射すると、指や手のひらや手の甲の内部に分布している静脈が影となって画像に現れる。画像に表れる静脈の影を、静脈パターンという。このような静脈パターンを良好に撮像するために、近赤外光照射光源１０５は、約６００ｎｍ〜１３００ｎｍ程度の波長、好ましくは、７００ｎｍ〜９００ｎｍ程度の波長を有する近赤外光を照射する。

ここで、近赤外光照射光源１０５が照射する近赤外光の波長が６００ｎｍ未満または１３００ｎｍ超過である場合には、血液中のヘモグロビンに吸収される割合が小さくなるため、良好な静脈パターンを得ることが困難となる。また、近赤外光照射光源１０５が照射する近赤外光の波長が７００ｎｍ〜９００ｎｍ程度である場合には、近赤外光は、脱酸素化ヘモグロビンと酸素化ヘモグロビンの双方に対して特異的に吸収されるため、良好な静脈パターンを得ることができる。

このような近赤外光照射光源１０５として、例えば、発光ダイオード（Ｌｉｇｈｔ Ｅｍｉｔｔｉｎｇ Ｄｉｏｄｅ：ＬＥＤ）を用いることが可能である。また、上述のような波長帯域を有する発光ダイオードを用いる代わりに、上述の波長帯域を含む光を射出可能な発光ダイオードと、射出された光を光学的に帯域制限するフィルタとを組み合わせたものを使用してもよい。さらに、近赤外光照射光源１０５には、光源から照射された光の分布を調整する光量調整フィルタが組み合わされていてもよい。

この近赤外光照射光源１０５は、後述する駆動制御部１２１により、近赤外光の照射タイミングや、照射する近赤外光の強度等が制御される。

撮像素子１０９は、複数の画素１１１が格子状に配置された撮像面を有し、マイクロレンズアレイ１０１により結像された静脈透過光を基に、近赤外光による静脈撮像データを生成する。本実施形態に係る撮像素子１０９として、例えば、ＣＣＤ型画像センサや、ＣＭＯＳ型画像センサや、ＴＦＴ（Ｔｈｉｎ Ｆｉｌｍ Ｔｒａｎｓｉｓｔｏｒ）型画像センサ等を利用することができる。撮像素子１０９は、生成された静脈撮像データを出力する。また、撮像素子１０９は、生成した静脈撮像データを、後述する記憶部１３９に記録してもよい。

なお、本実施形態に係る静脈撮像装置１０においては、後述するように、マイクロレンズアレイ１０１の一つの受光レンズに対して、複数の画素１１１が割り当てられている。そのため、本実施形態に係る静脈撮像装置１０においては、一つの受光レンズによって集光された近赤外光（静脈透過光）は、複数の画素１１１によって撮像されることとなる。

この撮像素子１０９は、後述する駆動制御部１２１により、画素の走査タイミング等が制御される。

駆動制御部１２１は、例えば、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）等により実現される。駆動制御部１２１は、近赤外光照射光源１０５や撮像素子１０９の駆動制御を行う。また、駆動制御部１２１は、後述する位置ズレ量推定部１２９から伝送された位置ズレ量に関する情報に基づいて、近赤外光照射光源１０５や、撮像素子１０９の駆動制御の調整を行う。より詳細には、駆動制御部１２１は、所定の同期信号等に基づいて、撮像素子１０９を構成する画素１１１の走査タイミングや、どの画素１１１から情報を取得するかといった駆動の制御を行う。駆動制御部１２１は、近赤外光照射光源１０５に対しても、近赤外光の照射タイミングや照射強度に関する駆動制御を行う。

より詳細には、駆動制御部１２１は、撮像素子１０９の制御に関して、撮像素子１０９のある一つの方向に沿った駆動制御を、撮像素子１０９のある一つの方向に沿った画素数単位で分割して駆動する制御とする。すなわち、本実施形態に係る撮像素子１０９をある方向に沿って切断した切断図を考えた場合に、撮像素子１０９に、例えば７つの画素が存在したとする。この場合、駆動制御部１２１は、この切断線の方向に沿って画素を７つのグループに分けて分割して駆動制御を行う。

ここで、駆動制御部１２１は、近赤外光照射光源１０５や撮像素子１０９の制御を行うにあたり、後述する記憶部１３９に記録されている各種のパラメータやデータベース等を参照することが可能である。

［撮像部の構造の一例］
次に、図２〜図６を参照しながら、本実施形態に係る撮像部の構造の一例について、詳細に説明する。

本実施形態に係る静脈撮像装置１０のマイクロレンズアレイ１０１は、例えば図２に示したように、受光レンズである複数のマイクロレンズ１０３から構成されており、マイクロレンズ１０３は、所定の基板上に格子状に配列されている。各マイクロレンズ１０３は、例えば図３に示したように、光入射面から当該マイクロレンズ１０３に入射した静脈透過光を、後述する撮像素子１０９（より詳細には、撮像素子１０９の画素１１１）に導光する。マイクロレンズアレイ１０１は、像面湾曲が少なく深さ方向のひずみがないレンズアレイであるため、このようなマイクロレンズアレイ１０１を用いることで、良好な画像データを得ることができる。マイクロレンズアレイ１０１を構成する各マイクロレンズ１０３の焦点位置は、静脈撮像装置１０の撮像対象となる静脈Ｖが存在する静脈層の位置となるように設定される。

人体の皮膚は、表皮層、真皮層および皮下組織層の３層構造となっていることが知られているが、上述の静脈層は、真皮層に存在している。真皮層は、指表面に対して０．１ｍｍ〜０．３ｍｍ程度の位置から２ｍｍ〜３ｍｍ程度の厚みで存在している層である。したがって、このような真皮層の存在位置（例えば、指表面から１．５ｍｍ〜２．０ｍｍ程度の位置）にマイクロレンズ１０３の焦点位置を設定することで、静脈層を透過した透過光を、効率よく集光することが可能となる。

なお、本実施形態に係るマイクロレンズアレイ１０１に配設されるマイクロレンズ１０３の個数は、図２に示した例に限定されるわけではない。本実施形態に係るマイクロレンズアレイ１０１に配設されるマイクロレンズ１０３の個数は、撮像したい生体の大きさや、撮像素子１０９の大きさに応じて、自由に設定することが可能である。

近赤外光照射光源１０５の一例である発光ダイオードは、例えば図２に示したように、マイクロレンズアレイ１０１の対向する端部に複数配置されている。発光ダイオードが配置される端部は、生体の一部（図２および図３に示した例では、指ＦＧ）の上端と下端に対応する縁部であることが好ましい。このように発光ダイオードを配置することで、指ＦＧの上下方向から、近赤外光を照射することが可能となる。

なお、本実施形態に係る近赤外光照射光源１０５の個数は、図２に示した例に限定されるわけではなく、マイクロレンズアレイ１０１の大きさや、近赤外光照射光源１０５の照射可能エリア等に応じて、自由に設定することが可能である。

また、マイクロレンズアレイ１０１と近赤外光照射光源１０５との間には、例えば図２および図３に示したように、指向性制御板１０７が設けられる。この指向性制御板１０７は、近赤外光照射光源１０５から射出された直接光１２の指向性を制御し、直接光１２が直接マイクロレンズアレイ１０１のマイクロレンズ１０３に入射しないようにする。

近赤外光照射光源１０５から射出された近赤外光は、例えば図３に示したように、指ＦＧの表面に向かって上方に伝搬し、直接光１２として、指ＦＧの内部に入射する。ここで、人体は良好な近赤外光の散乱体であるため、指ＦＧ内に入射した直接光１２は四方に散乱しながら伝搬する。これらの散乱光の一部は、背面散乱光１３として上述の静脈層を背面から指表面に向かって進行し、その途中で静脈Ｖを透過する。静脈を透過した静脈透過光は、マイクロレンズアレイ１０１を構成するそれぞれのマイクロレンズ１０３に入射することとなる。

ここで、相隣接するマイクロレンズ１０３の境界部には、指向性制御板１０７が設けられる。この指向性制御板１０７により、静脈透過光の指向性を制御することが可能となり、各マイクロレンズ１０３に入射した光を隣接するマイクロレンズ１０３と分離できる。これにより、本実施形態に係る静脈撮像装置１０では、撮像素子１０９（より詳細には、画素１１１）に集光される静脈透過光を選択することが可能となる。

［マイクロレンズアレイで得られる画像について］
次に、図４Ａおよび図４Ｂを参照しながら、マイクロレンズアレイによって得られる画像の特徴について、詳細に説明する。図４Ａおよび図４Ｂは、マイクロレンズアレイで撮像した画像について説明するための説明図である。

一般に、マイクロレンズアレイを用いてある画像を撮像すると、例えば図４Ａに示したように、撮像画像は、元の画像に対して、上下および左右が逆転した像となる。また、実際には、一つの受光レンズ（マイクロレンズ１０３）に対して、複数の画素１１１が割り当てられているため、一つのマイクロレンズ１０３に割り当てられた全ての画素１１１について、上下左右の逆転した像が形成される。例えば、図４Ｂに示したように、一つのマイクロレンズ１０３に対して、例えば３×３＝９個の画素１１１が割り当てられているとすると、９個の受光素子それぞれには、上下左右の逆転した画像が形成される。

本実施形態に係る静脈撮像装置１０では、以下で詳述するように、一つのマイクロレンズ１０３に対応する複数の画素１１１それぞれによって生成された撮像データを用いて、画像の補間処理を行う。

［撮像素子について］
続いて、図５Ａ〜図６を参照しながら、本実施形態に係る静脈撮像装置１０が備える撮像素子１０９について、詳細に説明する。図５Ａ、図５Ｂ、図６は、本実施形態に係る撮像素子について説明するための説明図である。

本実施形態に係る静脈撮像装置１０が備える撮像素子１０９は、当該撮像素子１０９内の画素１１１が形成されている領域が、例えば図５Ａに示したように、２つの領域１５１，１５３に区分されている。一方の領域１５１は、静脈撮像データの生成に用いられる静脈撮像データ生成領域であり、他方の領域１５３は、環境温度等による熱膨張のために生じた位置ズレを検出する際に用いられる位置ズレ検出用データを生成する位置ズレ検出用データ生成領域である。

静脈撮像データ生成領域１５１には、複数の画素（図示せず。）がアレイ状に配置されており、マイクロレンズアレイ１０１が備える複数のマイクロレンズ１０３により集光された静脈透過光が画素１１１に達する。静脈撮像データ生成領域１５１から出力される静脈撮像データは、当該撮像データを生成した画素が検知した光の強度に対応したデータである。

位置ズレ検出用データ生成領域１５３には、複数の画素（図示せず。）がアレイ状に配置されている。また、位置ズレ検出用データ生成領域１５３は、例えば図５Ａに示したように遮光膜によって遮光されており、位置ズレ検出用データ生成領域１５３の一部には、遮光膜が形成されていない開口部１５５が設けられている。位置ズレ検出用データ生成領域１５３に設けられる開口部１５５の個数は、図示した個数に限定されるわけではなく、希望する位置ズレ検出結果の精度や、撮像素子１０９の大きさ等に応じて、任意の個数に設定することが可能である。また、撮像素子１０９に設けられる位置ズレ検出用データ生成領域１５３の大きさは、撮像素子１０９とともに用いられるマイクロレンズアレイ１０１の大きさ等に応じて決定することができる。

また、位置ズレ検出用データ生成領域１５３自体は、任意の方法で外光から遮光されており、照明用の光源から射出された光が、開口部１５５に入射するようになっている。環境温度の変化による熱膨張や装置自体が製造される際の個体差等により、照明用の光源から射出された光が開口部１５５を通って画素に結像する位置にズレが発生する。そこで、開口部１５５から入射した光を表す画素信号が、領域１５３に存在するどの画素から検出されたかを判定することにより、静脈撮像装置１０は位置ズレの大きさと方向を知ることができる。

図５Ｂは、位置ズレ検出用データ生成領域１５３を側面方向から見た場合の一例を示している。位置ズレ検出用データ生成領域１５３は、図５Ｂに示したように、遮光部材１５７によって外光から遮光されており、外光が位置ズレ検出用データ生成領域１５３に入射しないようになっている。また、遮光部材１５７の内部には、位置ズレ検出用の照明光源ＬＳが設けられている。なお、位置ズレ検出用の照明光源ＬＳは、位置ズレ検出専用に設けられる光源であってもよく、静脈画像撮像用の光源と共用であってもよい。

照明光源ＬＳから射出された光は、開口部１５５を介して画素によって検知される。この際、位置ズレ検出用データ生成領域１５３は、遮光部材１５７によって外光から遮光されているため、位置ズレ検出用データ生成領域１５３で検知された光は、照明光源ＬＳから射出されたものとなる。

なお、図５Ｂに示した例は、位置ズレ検出用データ生成領域１５３のあくまでも一例であって、本実施形態に係る位置ズレ検出用データ生成領域１５３の構成が図５Ｂのものに限定されるわけではない。

このような位置ズレ検出用データ生成領域１５３は、例えば図５Ａに示したように、撮像素子１０９のある一辺に沿って、撮像素子１０９の端部に設けられていてもよい。また、図６（ａ）、（ｂ）に示したように、位置ズレ検出用データ生成領域１５３は、撮像素子１０９の互いに対向する辺に沿って設けられていてもよく、図６（ｃ）に示したように、撮像素子１０９の４つの辺に沿って設けられていてもよい。なお、図６（ａ）〜図６（ｃ）は、開口部１５５は省略して記載している。

［画像処理部の構成について］
続いて、図１に戻って、本実施形態に係る静脈撮像装置１０が備える画像処理部の構成について、詳細に説明する。

画素データ分割部１２３は、例えば、ＣＰＵ、ＲＯＭ、ＲＡＭ等により実現される。画素データ分割部１２３は、例えば図７に示したように、駆動制御部１２１から入力される撮像素子１０９を走査するためのパルスに基づいて、撮像素子１０９から伝送された画素データが、撮像素子１０９の２つの領域のどちらから出力されたものかを判断する。図７に例示したように、撮像素子１０９の２つの領域からの出力を取得するために、撮像素子の垂直（または水平）方向同期用のパルスと、位置ズレ検出用データ取得パルスと、静脈撮像データ取得パルスの３種類のパルスが用いられる。そのため、画素データ分割部１２３は、これらのパルスに応じて、位置ズレ検出用データが伝送されたのか、静脈撮像データが伝送されたのかを判断することが可能である。

画素データ分割部１２３は、位置ズレ検出用データ取得パルスがＨｉ状態になっている期間に取得したデータ（すなわち、位置ズレ検出用データ）を、後述する結像位置検出部１２５に伝送する。また、画素データ分割部１２３は、静脈撮像データ取得パルスがＨｉ状態になっている期間に取得したデータ（すなわち、静脈撮像データ）を、後述する画素選択部１３１に伝送する。

結像位置検出部１２５は、例えば、ＣＰＵ、ＲＯＭ、ＲＡＭ等により実現される。結像位置検出部１２５は、画素データ分割部１２３から伝送された位置ズレ検出用データを参照し、位置ズレ検出用データ生成領域１５３に設けられた開口部１５５から入射した光が、位置ズレ検出用データ生成領域１５３のどの画素により検知されたかを検出する。開口部１５５から入射した光を検出した画素が、位置ズレ検出用データ生成領域１５３のどの部分に位置する画素かを特定することにより、結像位置検出部１２５は、開口部１５５から入射した光の結像位置を決定することができる。

また、結像位置検出部１２５は、光を検知している画素を特定するかわりに、位置ズレ検出用データ生成領域１５３が検知した光の総光量が最大となる領域を検出することで、開口部１５５から入射した光の結像位置を決定することもできる。例えば、結像位置検出部１２５は、開口部１５５に対応する撮像素子の領域の大きさを、総光量を考慮する際の基本単位としておき、この基本単位ごとに位置ズレ検出用データ生成領域１５３から伝送された位置ズレ検出用データを検索していく。結像位置検出部１２５は、領域１５３内で総光量が最大となる部分を、光の結像位置として決定することが可能である。

結像位置検出部１２５は、決定した光の結像位置に関する情報（以下、結像位置情報と称する。）を、後述する位置ズレ量推定部１２７に伝送する。

位置ズレ量推定部１２７は、例えば、ＣＰＵ、ＲＯＭ、ＲＡＭ等により実現される。位置ズレ量推定部１２７は、結像位置検出部１２５から伝送された結像位置情報に基づいて、静脈撮像装置１０で発生している位置ズレの大きさと方向とを推定する。静脈撮像装置１０では、静脈を撮像する際の環境温度による熱膨張や、自装置組立て時の組立て誤差等によって、マイクロレンズアレイと撮像素子との間で位置ズレ（具体的には、ＭＬＡ、指向性制御板および撮像素子間での位置関係のズレ）が生じうる。位置ズレ量推定部１２７は、伝送された結像位置情報が表す結像位置が、本来上述のような位置ズレがない場合の結像位置から、どの方向にどれだけずれているかを特定することにより、位置ズレの大きさと方向とを推定することができる。位置ズレ量推定部１２７は、位置ズレの大きさと方向とを表す情報（以下、位置ズレ情報と称する。）を、後述する警告部１２９、画素選択部１３１および静脈画像補間部１３３へと伝送する。

警告部１２９は、例えば、ＣＰＵ、ＲＯＭ、ＲＡＭ等により実現される。警告部１２９は、位置ズレ量推定部１２７から伝送された位置ズレ情報を参照し、静脈撮像装置１０で生じている位置ズレが所定の閾値以上である場合に、正常な静脈の撮像処理（ひいては静脈認証処理）が困難となると判断し、警告を出力する。

また、警告部１２９は、後述する認証部１３７から、あるユーザから得られた静脈パターンについて所定の回数以上認証に失敗した等の情報が伝送された場合に、装置自体が正常な処理ができない環境下にあると判断し、警告を出力してもよい。

さらに、警告部１２９は、正常な静脈の撮像処理（ひいては静脈認証処理）が実施できないほどの位置ズレが発生していると判断した場合に、自装置で行われている静脈の撮像処理や静脈認証処理を中止してもよい。

画素選択部１３１は、例えば、ＣＰＵ、ＲＯＭ、ＲＡＭ等により実現される。画素選択部１３１は、位置ズレ量推定部１２７から伝送された位置ズレ情報に基づいて、一つのマイクロレンズ１０３に対応する複数の画素１１１の中から、静脈画像の生成用に用いる静脈撮像データを生成する画素を選択する。また、画素選択部１３１は、位置ズレ量推定部１２７から伝送された位置ズレ情報に基づいて、一つのマイクロレンズ１０３に対応する複数の画素１１１の中から、光の総光量が最大となる領域に含まれる画素を選択してもよい。以下では、図８を参照しながら、画素選択部１３１が行う画素選択処理について、詳細に説明する。図８は、画素選択部１３１が行う画素選択処理について説明するための説明図である。

図８では、マイクロレンズアレイ１０１の一つのマイクロレンズ１０３に対して、８×８＝６４個の画素１１１が対応しており、マイクロレンズ１０３は、被写体を１／２に縮小するレンズである場合について、図示している。この場合に、被写体の大きさは１／２の大きさまで縮小されるため、位置ズレが無ければ、６４個の画素のうち、中央部分に位置する４×４＝１６個の画素を用いることで、被写体の撮像データを得ることができる。ただ、このような場合であっても、中央部分以外の画素に対しても被写体からの光は結像しており、中央部分の４×４画素以外の部分から得られる撮像データも、被写体画像の生成に利用可能である。

図８（ａ）は、静脈撮像装置１０に位置ズレが生じていない場合について図示している。画素選択の基準単位となる基準単位領域は、マイクロレンズ１０３の倍率等から、４×４＝１６画素分の領域となる。図８（ａ）に示したように位置ズレが生じていない場合には、画素選択部１３１は、１つのマイクロレンズ１０３に対応する８×８画素のうち、中央部分に位置する４×４画素を選択する。

図８（ｂ）は、位置ズレが、整数画素分である場合（すなわち、１画素、２画素、３画素・・・のように整数画素分のズレが生じている場合）について図示している。この場合、画素選択部１３１は、静脈撮像データを取得する画素を生じている位置ズレ分（すなわち、整数画素分）ずらして、基準単位領域に含まれる４×４＝１６個の画素を選択する。図８（ｂ）に示した例では、位置ズレ量は図８（ａ）に比べて左方向に１画素、上方向に１画素であるため、画素選択部１３１は、左方向に１画素、上方向に１画素ずれた基準単位領域に含まれる１６個の画素を選択することとなる。

図８（ｃ）は、位置ズレが整数画素分ではない場合（すなわち、０．５画素、１．３画素・・・のように実数倍のズレが生じている場合）について図示している。この場合、図８（ｃ）に示したように、基準単位領域に内包される３×３＝９画素に加えて、基準単位領域に画素の一部が含まれているものが存在する。このような状態は、本来１つの画素に写るべき情報が２以上の画素にまたがっている状態であり、いわゆるクロストークが発生している状態である。このような状態では、画質の低下が発生して画像の空間周波数が低下することとなり、細い静脈が静脈として認識しづらい状況となってしまう。この場合、画素選択部１３１は、図８（ｃ）に示したように、基準単位領域に含まれる画素だけでなく、基準単位領域に含まれる画素の周辺に位置し、光を検知している画素も、あわせて選択する。

画素選択部１３１は、上述のようにして選択した画素に関する情報（例えば、選択した画素を特定するための情報など）と、選択した画素から得られた静脈撮像データとを、後述する静脈画像補間部１３３へと伝送する。

静脈画像補間部１３３は、例えば、ＣＰＵ、ＲＯＭ、ＲＡＭ等により実現される。静脈画像補間部１３３は、画素選択部１３１から伝送された静脈撮像データに基づいて静脈画像を生成する。また、静脈画像補間部１３３は、位置ズレ量推定部１２７から伝送された位置ズレ情報に基づいて、生成した静脈画像に対して補間処理を行う。

静脈画像補間部１３３で行われる補間処理として、例えば、生成された静脈画像のノイズ除去処理などがある。また、位置ズレ量推定部１２７から伝送された位置ズレ量に応じて、複数フレームの画像を積分処理し静脈画像の画質を向上させる処理を行っても良い。複数フレームの画像を積分処理することで、処理に要する時間が増加して静脈撮像装置１０のユーザの待ち時間が増えてしまうものの、環境温度等によって静脈の撮像（ひいては、静脈の認証処理）ができなくなるという事態の発生を低下させることが可能である。

また、位置ズレ量推定部１２７から伝送された位置ズレ量が、整数画素分ではない場合（画素の実数倍である場合）には、静脈画像補間部１３３は、例えばマルチタップの補間フィルタ等を用いて、以下のような補間処理を行う。すなわち、静脈画像補間部１３３は、図８（ｃ）に示したように、基準単位領域に含まれる画素から得られた画像データだけでなく、基準単位領域に含まれる画素の周辺に位置し、光を検知している画素から得られた画像データを用いて、静脈画像の補間処理（合成処理）を行う。このような処理を行うことで、熱膨張等による位置ズレ量が整数画素分ではなく画質の低下が生じている場合であっても、静脈画像の画質を向上させることが可能となる。なお、周辺画素を用いた画像の補間処理は、位置ズレ量が整数画素分ではない場合だけでなく、位置ズレ量が整数画素分であった場合にも行ってもよい。

静脈画像補間部１３３は、補間処理がなされた静脈画像を、後述する静脈パターン抽出部１３５に伝送する。

［認証処理部の構成について］
静脈パターン抽出部１３５は、例えば、ＣＰＵ、ＲＯＭ、ＲＡＭ等により実現される。静脈パターン抽出部１３５は、例えば、静脈画像補間部１３３から伝送される静脈画像に対して、静脈パターン抽出の前処理を行なう機能と、静脈パターンの抽出を行なう機能と、静脈パターン抽出の後処理を行なう機能と、を備える。

ここで、上記の静脈パターン抽出の前処理は、例えば、静脈画像から指の輪郭を検出し、静脈画像のどの位置に指があるかを識別する処理や、検出した指の輪郭を利用して撮像画像を回転させて、撮像画像の角度を補正する処理等を含む。

また、上記の静脈パターンの抽出は、輪郭の検出や角度の補正が終了した撮像画像に対して差分フィルタを適用することで行なわれる。差分フィルタは、注目している画素とその周囲の画素について、注目している画素と周囲の画素との差分が大きな部分で、大きな値を出力値として出力するフィルタである。換言すれば、差分フィルタとは、注目している画素とその近傍の階調値の差分を用いた演算により、画像中の線や縁を強調するフィルタである。

一般的に、２次元平面の格子点（ｘ，ｙ）を変数とする画像データｕ（ｘ，ｙ）に対してフィルタｈ（ｘ，ｙ）を用いてフィルタ処理を行なうと、以下の式１に示すように、画像データν（ｘ，ｙ）を生成する。ここで、以下の式１において、‘＊’は畳込み積分（コンボリューション）を表す。

・・・（式１）

本実施形態に係る静脈パターンの抽出では、上記の差分フィルタとして、１次空間微分フィルタや２次空間微分フィルタ等の微分フィルタを用いてもよい。１次空間微分フィルタは、注目している画素について、横方向と縦方向の隣接している画素の階調値の差分を算出するフィルタであり、２次空間微分フィルタは、注目している画素について、階調値の差分の変化量が大きくなっている部分を抽出するフィルタである。

上記の２次空間微分フィルタとして、例えば、以下に示すＬｏｇ（Ｌａｐｌａｃｉａｎ ｏｆ Ｇａｕｓｓｉａｎ）フィルタを用いることが可能である。Ｌｏｇフィルタ（式３）は、ガウス関数を用いた平滑化フィルタであるガウシアン（Ｇａｕｓｓｉａｎ）フィルタ（式２）の２次微分で表される。ここで、以下の式２において、σはガウス関数の標準偏差を表し、ガウシアンフィルタの平滑化の度合いを表す変数である。また、以下の式３におけるσは、式２と同様にガウス関数の標準偏差を表すパラメータであり、σの値を変化させることで、Ｌｏｇフィルタ処理を行なった場合の出力値を変化させることができる。

・・・（式２）

・・・（式３）

また、上記の静脈パターン抽出の後処理は、例えば、差分フィルタ適用後の撮像画像に対してなされる閾値処理や、２値化処理や、細線化処理等を含む。かかる後処理を経て、静脈パターンのスケルトンを抽出することが可能となる。

静脈パターン抽出部１３５は、このようにして抽出した静脈パターンやスケルトンを、後述する認証部１３７等に伝送する。また、静脈パターン抽出部１３５は、抽出した静脈パターンやスケルトンを、後述する記憶部１３９に記憶してもよい。なお、静脈パターン抽出部１３５は、上述の各処理を行なうに当たって生成したパラメータや処理の途中経過等を、記憶部１３９に記憶してもよい。

認証部１３７は、例えば、ＣＰＵ、ＲＯＭ、ＲＡＭ等により実現される。認証部１３７は、静脈パターン抽出部１３５により生成された静脈パターンを既に登録されているテンプレートと照合して、静脈パターンの認証を行う。

認証部１３７は、静脈パターン抽出部１３５により生成された静脈パターンと、既に記録されている静脈パターンのテンプレートとに基づいて、生成された静脈パターンの認証を行なう。認証部１３７は、後述する記憶部１３９に対して登録静脈パターンの開示を要求し、取得した登録静脈パターンと、静脈パターン抽出部１３５から伝送された静脈パターンとの比較を行なう。登録静脈パターンと伝送された静脈パターンとの比較は、例えば以下に示す相関係数を算出し、算出した相関係数に基づいて実行することが可能である。認証部１３７は、比較の結果登録静脈パターンと伝送された静脈パターンが類似している場合には、伝送された静脈パターンの認証に成功したと判断し、類似していない場合には、認証に失敗したと判断する。

相関係数は、以下の式４で定義されるものであり、２つのデータｘ＝｛ｘ_ｉ｝，ｙ＝｛ｙ_ｉ｝間の類似度を示す統計学指標であって、−１から１までの実数値をとる。相関係数が１に近い値を示す場合には、２つのデータは類似していることを示し、相関係数が０に近い値を示す場合には、２つのデータは類似していないことを示す。また、相関係数が−１に近い値を示す場合には、２つのデータの符号が反転しているような場合を示す。

・・・（式４）

：データｘの平均値

：データｙの平均値

また、認証部１３７は、認証結果を認証時刻等と関連づけて、認証履歴として記憶部１３９に記録してもよい。かかる認証履歴を生成することで、誰がいつ静脈パターンの認証を要求したのか、ひいては、誰がいつ静脈撮像装置１０を利用したのか、を知ることが可能となる。

さらに、認証部１３７は、あるユーザから得られた静脈パターンについて所定の回数以上認証に失敗した場合、認証処理が所定の回数以上失敗した旨を警告部１２９に伝送する。このような情報を警告部１２９に伝送することで、環境温度による熱膨張などが原因で正常な静脈認証処理ができないと判断された場合に、静脈撮像装置１０のユーザに対して認証が正常にできない可能性がある旨を警告することができる。

記憶部１３９は、静脈撮像装置１０のユーザの登録静脈パターンや、当該登録静脈パターンに関連付けられた他のデータを記憶する。また、これらのデータ以外にも、撮像部により生成された静脈撮像データや、静脈画像補間部１３３が生成した静脈画像や、静脈パターン抽出部１３５が抽出した静脈パターン等が記録されてもよい。また、記憶部１３９には、静脈画像補間部１３３が行う補間処理に必要な各種のプログラムやデータ等が記録されていてもよい。更に、記憶部１３９は、これらのデータ以外にも、静脈撮像装置１０が、何らかの処理を行う際に保存する必要が生じた様々なパラメータや処理の途中経過等、または、各種のデータベース等を、適宜記憶することが可能である。この記憶部１３９は、撮像部、画像処理部、認証処理部に設けられた各処理部が、自由に読み書きを行うことが可能である。

［特定の画素からのデータの取得について］
ここで、図９〜図１０を参照しながら、特定の画素からデータを取得する方法について、詳細に説明する。図９および図１０は、特定の画素からデータを取得する方法について説明するための説明図である。

本実施形態に係る静脈撮像装置１０の撮像素子１０９は、多層型の素子となっている。例えば図９には、撮像素子１０９が３層からなる多層型素子である場合の例を示している。

本実施形態に係る静脈撮像装置１０では、撮像素子１０は、指の長さ方向、すなわち、図中のｙ軸に沿った方向にライン走査を行う。以降、図中のｙ軸に沿った方向を、垂直方向と称することとし、垂直方向に対して直交する方向、すなわち、図中のｘ軸に沿った方向を、水平方向と称することとする。

図９に示したように、本実施形態に係る静脈撮像装置１０では、駆動制御部１２１によって、水平ライン単位で、撮像データが、垂直同期の時間軸に沿って出力される。すなわち、ある水平方向に沿って配設された画素は、図９に示した第１層にデータが同期して出力され、ある水平方向に沿って配設された画素は、第２層にデータが出力され、ある水平方向に沿って配設された画素は、第３層にデータが出力される。このように、駆動制御部１２１による制御によって、撮像素子１０９は、多層化した出力を行うことができる。

そのため、画素選択部１３１が駆動制御部１２１に対して選択したい画素に関する情報を伝送し、駆動制御部１２１が、多層型素子のある層による出力を選択し、かつ、水平ライン上で、特定の画素をタイミング制御によって選択することが可能となる。

なお、図９に示した例では、垂直同期ラインを分割駆動する方法について説明したが、図１０に示したように、水平ライン内での回路的な分割駆動を行うことも可能である。

図１０に示した例では、同一の水平ライン上に存在する画素１１１は、水平第１層にデータを出力するものと、水平第２層にデータを出力するものと、水平第３層にデータを出力するものの３種類が存在する。そのため、駆動制御部１２１は、多層型素子のある層による出力を選択し、かつ、垂直ライン上で、特定の画素を選択するためのタイミング制御を行うことで、任意の画素からのデータを選択することができる。

また、垂直ライン内での分割駆動と、水平ライン内での分割駆動とを組み合わせて用いることも可能である。

以上、本実施形態に係る静脈撮像装置１０の機能の一例を示した。上記の各構成要素は、汎用的な部材や回路を用いて構成されていてもよいし、各構成要素の機能に特化したハードウェアにより構成されていてもよい。また、各構成要素の機能を、ＣＰＵ等が全て行ってもよい。従って、本実施形態を実施する時々の技術レベルに応じて、適宜、利用する構成を変更することが可能である。

なお、上述のような本実施形態に係る静脈撮像装置の各機能を実現するためのコンピュータプログラムを作製し、マイクロレンズアレイ、近赤外光照射光源、撮像素子等を備えた撮像装置を制御可能なパーソナルコンピュータ等に実装することが可能である。また、このようなコンピュータプログラムが格納された、コンピュータで読み取り可能な記録媒体も提供することができる。記録媒体は、例えば、磁気ディスク、光ディスク、光磁気ディスク、フラッシュメモリなどである。また、上記のコンピュータプログラムは、記録媒体を用いずに、例えばネットワークを介して配信してもよい。

なお、本実施形態に係る静脈撮像装置１０は、例えば、コンピュータやサーバ等の情報処理装置、携帯電話やＰＨＳ等の携帯端末や携帯情報端末（ＰＤＡ）、現金自動預払機（ＡＴＭ）、入退室管理装置に実装されていてもよい。また、本実施形態に係る静脈撮像装置１０は、ゲーム機器やゲーム機器のコントローラ等の各種装置に実装されてもよい。

また、上述の説明では、テンプレートとして登録されている登録静脈パターンが、静脈撮像装置１０内に記録されている場合について説明した。しかし、登録静脈パターンは、ＤＶＤメディア、Ｂｌｕ−ｒａｙメディア、コンパクトフラッシュ（登録商標）、メモリースティック、または、ＳＤメモリカード等の記録媒体や、非接触型ＩＣチップを搭載したＩＣカードまたは電子機器等に記録されていてもよい。また、登録静脈パターンは、静脈撮像装置１０とインターネット等の通信網を介して接続されたサーバに記録されていてもよい。

＜位置ズレ補間方法について＞
続いて、図１１を参照しながら、本実施形態に係る位置ズレ補間方法について、詳細に説明する。図１１は、本実施形態に係る位置ズレ補間方法を説明するための流れ図である。

まず、静脈撮像装置１０の使用者は、静脈撮像装置１０のマイクロレンズアレイ１０１上に指などの生体の一部を載置する。静脈撮像装置１０の撮像部は、載置された生体の一部の撮像処理を行う（ステップＳ１０１）。

また、静脈撮像装置１０の結像位置検出部１２５は、撮像素子１０９の位置ズレ検出用データ生成領域１５３から出力されるデータを用いて、位置ズレ検出用に用いられる光源から射出された光の結像位置を検出する。続いて、位置ズレ量推定部１２７は、結像位置検出部１２５により検出された結像位置に関する結像位置情報に基づいて、静脈撮像装置１０で発生している位置ズレの大きさと方向とを推定する（ステップＳ１０３）。位置ズレ量推定部１２７は、位置ズレの大きさと方向とを含む位置ズレ情報を、警告部１２９、画素選択部１３１および静脈画像補間部１３３に伝送する。

位置ズレ情報が伝送された警告部１２９は、位置ズレ情報に含まれる位置ズレ量について判定を行い（ステップＳ１０５）、警告が必要となる閾値を超えているか否かを判断する。警告が必要となる位置ズレが発生している場合には、静脈撮像装置１０は、表示画面に警告を出力する（ステップＳ１０７）。

警告が必要となるほどの位置ズレが発生していない場合には、画素選択部１３１は、伝送された位置ズレ情報に基づいて、位置ズレを考慮した画素の選択処理を行う（ステップＳ１０９）。より詳細には、画素選択部１３１は、マイクロレンズアレイ１０１を構成するそれぞれのマイクロレンズ１０３について、一つのマイクロレンズ１０３に対応する複数の画素の中から、静脈画像の生成に用いる撮像データを出力している画素を選択する。

次に、静脈画像補間部１３３は、画素選択部１３１により選択された画素から得られる撮像データを用いて、静脈画像を生成する。続いて、静脈画像補間部１３３は、生成した静脈画像について、位置ズレ量に応じた画像の補間処理を行う（ステップＳ１１１）。具体的には、静脈画像補間部１３３は、複数のフレーム画像を積分処理したり、ノイズの除去処理を行ったり、周辺画素を用いた画像の補間処理を行ったりする。

画像の補間処理が終了すると、静脈画像補間部１３３は、補間処理が施された静脈画像を、静脈パターン抽出部１３５に伝送する。静脈パターン抽出部１３５は、伝送された静脈画像の中から、静脈パターンを抽出し（ステップＳ１１３）、認証部１３７へと伝送する。

認証部１３７は、静脈パターン抽出部１３５から伝送された静脈パターンと、記憶部１３９等に格納されている登録静脈パターン（テンプレート）とを用いて、伝送された静脈パターンの認証処理を行う（ステップＳ１１５）。

以上説明したような手順で、環境温度による熱膨張や、静脈撮像装置の組立て時の組立て誤差等に起因する位置ズレを自動的に補間することができる。

なお、上述の説明では、生体の撮像の後に位置ズレ量の推定を行う場合について説明したが、静脈撮像装置１０は、生体の撮像に先立って、予め自装置に発生している位置ズレの推定を行っていても良い。

（第２の実施形態）
＜静脈撮像装置の構成について＞
次に、本発明の第２の実施形態に係る静脈撮像装置の構成について、図１２を参照しながら詳細に説明する。図１２は、本実施形態に係る静脈撮像装置の構成を説明するためのブロック図である。

本実施形態に係る静脈撮像装置１０は、例えば図１２に示したように、撮像部、画像処理部、認証処理部の３つの部分からなる。ここで、本実施形態に係る撮像部および認証処理部は、本発明の第１の実施形態に係る静脈撮像装置１０の撮像部および認証処理部と同様の構成を有し、ほぼ同様の効果を奏するため、詳細な説明は省略する。

画像処理部は、例えば図１２に示したように、画素データ分割部１２３と、結像位置検出部１２５と、位置ズレ量推定部１２７と、警告部１２９と、画素選択部１３１と、静脈画像補間部１３３と、温度推定部１４１と、を主に備える。

ここで、本実施形態に係る画素データ分割部１２３、結像位置検出部１２５、画素選択部１３１、静脈画像補間部１３３は、本発明の第１の実施形態に係るそれぞれの処理部と同様の構成を有し、ほぼ同様の効果を奏するため、詳細な説明は省略する。

また、本実施形態に係る位置ズレ量推定部１２７は、推定の結果得られる位置ズレ情報を、警告部１２９ではなく温度推定部１４１に伝送する以外は、本発明の第１の実施形態に係る位置ズレ量推定部１２７と同様の構成を有し、ほぼ同様の効果を奏するため、詳細な説明は省略する。

温度推定部１４１は、例えば、ＣＰＵ、ＲＯＭ、ＲＡＭ等により実現される。温度推定部１４１は、位置ズレ量推定部１２７から伝送された位置ズレ情報に基づいて、自装置が撮像処理を行った際の温度を推定する。ここで、自装置が撮像処理を行った際の温度とは、自装置が設けられた場所における外気温であってもよく、自装置が到達している温度であってもよい。温度推定部１４１は、自装置で発生している位置ズレ量と、撮像処理を行った際の温度との対応関係が記載されているデータベースを有しており、このデータベースに基づいて位置ズレ量から温度を推定する。また、このデータベースは、位置ズレ量と温度との対応関係ではなく、位置ズレ量から算出される膨張率と、撮像処理を行った際の温度との対応関係であってもよい。また、これらの対応関係を表すデータベースは、これら２つのパラメータの間の関係を表した数式等であってもよい。このようなデータベースは、例えば、静脈撮像装置１０が製造された際に、温度を変化させながら位置ズレ量または膨張率等を計測しておくことで生成することができる。

温度推定部１４１は、推定の結果得られた温度を、警告部１２９に伝送する。また、温度推定部１４１は、推定の結果得られた温度を、駆動制御部１２１に伝送してもよい。駆動制御部１２１は、温度推定部１４１から伝送された温度に関する情報に基づいて、近赤外光照射光源１０５から射出される近赤外光の強度を制御したり、撮像素子１０９の受光時間やフレームレート等を制御したりすることが可能である。

本実施形態に係る警告部１２９は、位置ズレ量推定部１２７から伝送された位置ズレ情報ではなく、温度推定部１４１から伝送された温度に関する情報に基づいて警告を行う以外は、第１の実施形態に係る警告部１２９と同様の構成を有し、ほぼ同様の効果を奏する。従って、以下では詳細な説明は省略する。

以上、本実施形態に係る静脈撮像装置１０の機能の一例を示した。上記の各構成要素は、汎用的な部材や回路を用いて構成されていてもよいし、各構成要素の機能に特化したハードウェアにより構成されていてもよい。また、各構成要素の機能を、ＣＰＵ等が全て行ってもよい。従って、本実施形態を実施する時々の技術レベルに応じて、適宜、利用する構成を変更することが可能である。

なお、上述のような本実施形態に係る静脈撮像装置の各機能を実現するためのコンピュータプログラムを作製し、マイクロレンズアレイ、近赤外光照射光源、撮像素子等を備えた撮像装置を制御可能なパーソナルコンピュータ等に実装することが可能である。また、このようなコンピュータプログラムが格納された、コンピュータで読み取り可能な記録媒体も提供することができる。記録媒体は、例えば、磁気ディスク、光ディスク、光磁気ディスク、フラッシュメモリなどである。また、上記のコンピュータプログラムは、記録媒体を用いずに、例えばネットワークを介して配信してもよい。

また、本実施形態に係る静脈撮像装置において実施される位置ズレ補間方法は、本発明の第１の実施形態に係る静脈撮像装置で実施される位置ズレ補間方法とほぼ同一の流れを有し、ほぼ同様の効果を奏するものであるため、詳細な説明は省略する。

＜ハードウェア構成について＞
次に、図１３を参照しながら、本発明の各実施形態に係る静脈撮像装置１０のハードウェア構成について、詳細に説明する。図１３は、本発明の各実施形態に係る静脈撮像装置１０のハードウェア構成を説明するためのブロック図である。

静脈撮像装置１０は、マイクロレンズアレイ１０１、近赤外光照射光源１０５および撮像素子１０９以外に、ＣＰＵ９０１と、ＲＯＭ９０３と、ＲＡＭ９０５と、を備える。また、静脈撮像装置１０は、更に、ホストバス９０７と、ブリッジ９０９と、外部バス９１１と、インターフェース９１３と、入力装置９１５と、出力装置９１７と、ストレージ装置９１９と、ドライブ９２１と、接続ポート９２３と、通信装置９２５とを備える。

ＣＰＵ９０１は、演算処理装置および制御装置として機能し、ＲＯＭ９０３、ＲＡＭ９０５、ストレージ装置９１９、またはリムーバブル記録媒体９２７に記録された各種プログラムに従って、静脈撮像装置１０内の動作全般またはその一部を制御する。ＲＯＭ９０３は、ＣＰＵ９０１が使用するプログラムや演算パラメータ等を記憶する。ＲＡＭ９０５は、ＣＰＵ９０１の実行において使用するプログラムや、その実行において適宜変化するパラメータ等を一次記憶する。これらはＣＰＵバス等の内部バスにより構成されるホストバス９０７により相互に接続されている。

ホストバス９０７は、ブリッジ９０９を介して、ＰＣＩ（Ｐｅｒｉｐｈｅｒａｌ Ｃｏｍｐｏｎｅｎｔ Ｉｎｔｅｒｃｏｎｎｅｃｔ／Ｉｎｔｅｒｆａｃｅ）バスなどの外部バス９１１に接続されている。

入力装置９１５は、例えば、マウス、キーボード、タッチパネル、ボタン、スイッチおよびレバーなどユーザが操作する操作手段である。また、入力装置９１５は、例えば、赤外線やその他の電波を利用したリモートコントロール手段（いわゆる、リモコン）であってもよいし、静脈撮像装置１０の操作に対応した携帯電話やＰＤＡ等の外部接続機器９２９であってもよい。さらに、入力装置９１５は、例えば、上記の操作手段を用いてユーザにより入力された情報に基づいて入力信号を生成し、ＣＰＵ９０１に出力する入力制御回路などから構成されている。静脈撮像装置１０のユーザは、この入力装置９１５を操作することにより、静脈撮像装置１０に対して各種のデータを入力したり処理動作を指示したりすることができる。

出力装置９１７は、取得した情報をユーザに対して視覚的または聴覚的に通知することが可能な装置で構成される。このような装置として、ＣＲＴディスプレイ装置、液晶ディスプレイ装置、プラズマディスプレイ装置、ＥＬディスプレイ装置およびランプなどの表示装置や、スピーカおよびヘッドホンなどの音声出力装置や、プリンタ装置、携帯電話、ファクシミリなどがある。出力装置９１７は、例えば、静脈撮像装置１０が行った各種処理により得られた結果を出力する。具体的には、表示装置は、静脈撮像装置１０が行った各種処理により得られた結果を、テキストまたはイメージで表示する。他方、音声出力装置は、再生された音声データや音響データ等からなるオーディオ信号をアナログ信号に変換して出力する。

ストレージ装置９１９は、静脈撮像装置１０の記憶部の一例として構成されたデータ格納用の装置である。ストレージ装置９１９は、例えば、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）等の磁気記憶部デバイス、半導体記憶デバイス、光記憶デバイス、または光磁気記憶デバイス等により構成される。このストレージ装置９１９は、ＣＰＵ９０１が実行するプログラムや各種データ、および外部から取得した各種のデータなどを格納する。

ドライブ９２１は、記録媒体用リーダライタであり、静脈撮像装置１０に内蔵、あるいは外付けされる。ドライブ９２１は、装着されている磁気ディスク、光ディスク、光磁気ディスク、または半導体メモリ等のリムーバブル記録媒体９２７に記録されている情報を読み出して、ＲＡＭ９０５に出力する。また、ドライブ９２１は、装着されている磁気ディスク、光ディスク、光磁気ディスク、または半導体メモリ等のリムーバブル記録媒体９２７に記録を書き込むことも可能である。リムーバブル記録媒体９２７は、例えば、ＤＶＤメディア、ＨＤ−ＤＶＤメディア、Ｂｌｕ−ｒａｙメディア等である。また、リムーバブル記録媒体９２７は、コンパクトフラッシュ（登録商標）（ＣｏｍｐａｃｔＦｌａｓｈ：ＣＦ）、メモリースティック、または、ＳＤメモリカード（Ｓｅｃｕｒｅ Ｄｉｇｉｔａｌ ｍｅｍｏｒｙ ｃａｒｄ）等であってもよい。また、リムーバブル記録媒体９２７は、例えば、非接触型ＩＣチップを搭載したＩＣカード（Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ ｃａｒｄ）または電子機器等であってもよい。

接続ポート９２３は、機器を静脈撮像装置１０に直接接続するためのポートである。接続ポート９２３の一例として、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）ポート、ｉ．Ｌｉｎｋ等のＩＥＥＥ１３９４ポート、ＳＣＳＩ（Ｓｍａｌｌ Ｃｏｍｐｕｔｅｒ Ｓｙｓｔｅｍ Ｉｎｔｅｒｆａｃｅ）ポート等がある。接続ポート９２３の別の例として、ＲＳ−２３２Ｃポート、光オーディオ端子、ＨＤＭＩ（Ｈｉｇｈ−Ｄｅｆｉｎｉｔｉｏｎ Ｍｕｌｔｉｍｅｄｉａ Ｉｎｔｅｒｆａｃｅ）ポート等がある。この接続ポート９２３に外部接続機器９２９を接続することで、静脈撮像装置１０は、外部接続機器９２９から直接各種データを取得したり、外部接続機器９２９に各種データを提供したりする。

通信装置９２５は、例えば、通信網９３１に接続するための通信デバイス等で構成された通信インターフェースである。通信装置９２５は、例えば、有線または無線ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）、Ｂｌｕｅｔｏｏｔｈ、またはＷＵＳＢ（Ｗｉｒｅｌｅｓｓ ＵＳＢ）用の通信カード等である。また、通信装置９２５は、光通信用のルータ、ＡＤＳＬ（Ａｓｙｍｍｅｔｒｉｃ Ｄｉｇｉｔａｌ Ｓｕｂｓｃｒｉｂｅｒ Ｌｉｎｅ）用のルータ、または、各種通信用のモデム等であってもよい。この通信装置９２５は、例えば、インターネットや他の通信機器との間で、例えばＴＣＰ／ＩＰ等の所定のプロトコルに則して信号等を送受信することができる。また、通信装置９２５に接続される通信網９３１は、有線または無線によって接続されたネットワーク等により構成され、例えば、インターネット、家庭内ＬＡＮ、赤外線通信、ラジオ波通信または衛星通信等であってもよい。

以上、本発明の各実施形態に係る静脈撮像装置１０の機能を実現可能なハードウェア構成の一例を示した。上記の各構成要素は、汎用的な部材を用いて構成されていてもよいし、各構成要素の機能に特化したハードウェアにより構成されていてもよい。従って、本実施形態を実施する時々の技術レベルに応じて、適宜、利用するハードウェア構成を変更することが可能である。

＜まとめ＞
以上説明したように、本発明の各実施形態によれば、撮像領域の周辺画素を、マイクロレンズアレイと撮像素子との間の位置ズレ検出に用いることで、各温度における静脈撮像装置の最良のサンプリングや画像処理による補間を自動化することができる。

撮像時の温度に応じて静脈撮像装置内に設けられたマイクロレンズアレイに熱膨張が発生し、画質の低下やクロストークの発生といった問題が生じ、空間周波数の低下が生じるという問題が発生しうる。しかしながら、本発明の各実施形態に係る静脈撮像装置では、撮像素子の一部に設けた領域から得られるデータに基づいて位置ズレ量を推定し、位置ズレに基づいて画像の補間処理を行う。その結果、上述のような問題を解決することができる。また、本発明の各実施形態によれば、熱膨張による位置ズレの発生のみならず、製造時の組立て誤差等による位置ズレに対しても、対応することが可能である。

以上、添付図面を参照しながら本発明の好適な実施形態について詳細に説明したが、本発明はかかる例に限定されない。本発明の属する技術の分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本発明の技術的範囲に属するものと了解される。

１０ 静脈撮像装置
１０１ マイクロレンズアレイ
１０３ マイクロレンズ
１０５ 近赤外光照射光源
１０７ 指向性制御板
１０９ 撮像素子
１１１ 画素
１２１ 駆動制御部
１２３ 画素データ分割部
１２５ 結像位置検出部
１２７ 位置ズレ量推定部
１２９ 警告部
１３１ 画素選択部
１３３ 静脈画像補間部
１３５ 静脈パターン抽出部
１３７ 認証部
１３９ 記憶部
１４１ 温度推定部
１５１ 静脈撮像データ生成領域
１５３ 位置ズレ検出用データ生成領域
１５５ 開口部

Claims (7)

1. 複数の受光レンズがアレイ状に配設されたレンズアレイと、
   前記レンズアレイの端部に設けられ、生体の一部に対して近赤外光を照射する近赤外光照射光源と、
   一つの前記受光レンズに対して複数の画素が割り当てられており、前記レンズアレイによって集光された前記生体内で散乱され静脈を透過した近赤外光に基づいて前記静脈の撮像データを生成する静脈撮像データ生成領域と、前記画素が遮光された遮光部および前記画素が遮光されていない開口部からなり、前記開口部を介して受光した光に基づいて撮像温度に応じた結像位置の変化を検出する際に利用される位置ズレ検出用データを生成する位置ズレ検出用データ生成領域と、を有する撮像素子と、
   前記位置ズレ検出用データ生成領域から取得した前記位置ズレ検出用データに基づいて、撮像温度での結像位置を検出する結像位置検出部と、
   前記結像位置検出部により検出された前記結像位置と、位置ズレがない場合の結像位置と、に基づいて、撮像温度による結像位置のズレ量を推定する位置ズレ量推定部と、
   前記ズレ量に基づいて、一つの受光レンズに対応する複数の画素の中から静脈画像の生成に用いる前記静脈撮像データを生成する画素を選択する画素選択部と、
   前記静脈撮像データを用いて生成された前記静脈画像から、静脈パターンを抽出する静脈パターン抽出部と、
   前記静脈パターンを抽出する際の前記静脈画像に対して、前記位置ズレ量推定部によって推定された前記ズレ量に基づいて補間処理を行う静脈画像補間部と、
   を備え、
   前記静脈画像補間部は、一つの受光レンズに対応する複数の画素のうち前記画素選択部による画素選択の基準単位となる基準単位領域の周辺に位置する画素から得られる前記静脈撮像データを用いて、前記静脈画像の補間処理を行う、静脈撮像装置。
2. 前記近赤外光照射光源および前記撮像素子の少なくとも何れか一方の駆動制御を行う駆動制御部を更に備え、
   前記駆動制御部は、前記位置ズレ量推定部から伝送された前記ズレ量に基づいて、前記近赤外光照射光源及び／又は前記撮像素子の駆動制御を行う、請求項１に記載の静脈撮像装置。
3. 前記画素選択部は、一つの受光レンズに対応する複数の画素の中から、画素が検知した光量の総和が最大となる領域に含まれる画素を選択する、請求項１に記載の静脈撮像装置。
4. 前記位置ズレ量推定部から取得した前記ズレ量に基づいて前記撮像温度を推定する温度推定部を更に備える、請求項１に記載の静脈撮像装置。
5. 前記位置ズレ量推定部から出力された前記ズレ量または前記温度推定部から出力された前記撮像温度が所定の閾値以上であった場合に警告を発する警告部を更に備える、請求項１または４に記載の静脈撮像装置。
6. 複数の受光レンズがアレイ状に配設されたレンズアレイと、前記レンズアレイの端部に設けられ、生体の一部に対して近赤外光を照射する近赤外光照射光源と、一つの前記受光レンズに対して複数の画素が割り当てられており、前記レンズアレイによって集光された前記生体内で散乱され静脈を透過した近赤外光に基づいて前記静脈の撮像データを生成する静脈撮像データ生成領域と、前記画素が遮光された遮光部および前記画素が遮光されていない開口部からなり、前記開口部を介して受光した光に基づいて撮像温度に応じた結像位置の変化を検出する際に利用される位置ズレ検出用データを生成する位置ズレ検出用データ生成領域と、を有する撮像素子と、を備えた静脈撮像装置の前記位置ズレ検出量データ生成領域から取得した前記位置ズレ検出用データに基づいて、撮像温度での結像位置を検出するステップと、
   検出された前記結像位置と、位置ズレがない場合の結像位置と、に基づいて、撮像温度による結像位置のズレ量を推定するステップと、
   前記ズレ量に基づいて、一つの受光レンズに対応する複数の画素の中から静脈画像の生成に用いる前記静脈撮像データを生成する画素を選択するステップと、
   前記静脈撮像データを用いて生成された前記静脈画像から、静脈パターンを抽出するステップと、
   前記静脈パターンを抽出する際の前記静脈画像に対して、前記ズレ量の推定ステップにて推定された前記ズレ量に基づいて補間処理を行うステップと、
   を含み、
   前記補間処理を行うステップでは、一つの受光レンズに対応する複数の画素のうち前記画素を選択するステップでの画素選択の基準単位となる基準単位領域の周辺に位置する画素から得られる前記静脈撮像データを用いて、前記静脈画像の補間処理を行う、位置ズレ補間方法。
7. 複数の受光レンズがアレイ状に配設されたレンズアレイと、前記レンズアレイの端部に設けられ、生体の一部に対して近赤外光を照射する近赤外光照射光源と、一つの前記受光レンズに対して複数の画素が割り当てられており、前記レンズアレイによって集光された前記生体内で散乱され静脈を透過した近赤外光に基づいて前記静脈の撮像データを生成する静脈撮像データ生成領域と、前記画素が遮光された遮光部および前記画素が遮光されていない開口部からなり、前記開口部を介して受光した光に基づいて撮像温度に応じた結像位置の変化を検出する際に利用される位置ズレ検出用データを生成する位置ズレ検出用データ生成領域と、を有する撮像素子と、を備えた静脈撮像装置を制御するコンピュータに、
   前記位置ズレ検出用データ生成領域から取得した前記位置ズレ検出用データに基づいて、撮像温度での結像位置を検出する結像位置検出機能と、
   前記結像位置検出機能により検出された前記結像位置と、位置ズレがない場合の結像位置と、に基づいて、撮像温度による結像位置のズレ量を推定する位置ズレ量推定機能と、
   前記ズレ量に基づいて、一つの受光レンズに対応する複数の画素の中から静脈画像の生成に用いる前記静脈撮像データを生成する画素を選択する画素選択機能と、
   前記静脈撮像データを用いて生成された前記静脈画像から、静脈パターンを抽出する静脈パターン抽出機能と、
   前記静脈パターンを抽出する際の前記静脈画像に対して、前記位置ズレ量推定機能によって推定された前記ズレ量に基づいて補間処理を行う静脈画像補間機能と、
   を実現させ、
   前記静脈画像補間機能は、一つの受光レンズに対応する複数の画素のうち前記画素選択機能による画素選択の基準単位となる基準単位領域の周辺に位置する画素から得られる前記静脈撮像データを用いて、前記静脈画像の補間処理を行う、プログラム。
   
   

Images