JP4697283B2 - 静脈撮像装置およびサムネイル画像作製方法 - Google Patents

Description

本発明は、静脈撮像装置およびサムネイル画像作製方法に関する。

生体個人認証は今後のネットワーク社会において、権利を守る為に非常に重要な技術である。特に、他人が本人になりすまして、金銭やコンテンツ、権利などをネット越しに盗むことが可能であるインターネット上での商取引では、暗号だけでは解決できない領域を守る技術として注目されている。しかし、指紋やアイリスなどは、偽造の問題が解決できない。この点、静脈のパターンで外部から容易に撮像できない部位を用いた個人認証技術は、判定精度の高さや偽造、成りすましが困難であるため、次世代の生体個人認証として期待されている。

このような生体個人認証技術として、例えば、指紋認証技術と静脈認証技術とを挙げることができる。指紋認証技術は、登録不能なユーザが４％程度存在することや、残留指紋によるなりすまし攻撃への耐性などの問題点を有しているが、反面、ラインセンサやエリアセンサなどを利用したスキャン型でも容易に画像合成が可能であるため、センサを小型化できるという長所がある。他方、これらの問題点が少ない次世代認証技術として期待されている静脈認証技術は、センサが大きいためにモバイル機器などへの搭載が困難であり、特に、静脈の透過画像を利用した撮像方式においては、光源の位置の制限が大きいためデバイスの平面構造化が困難であった。

そこで、静脈認証技術を用いたデバイスの小型化を実現するために、以下の特許文献１では、マイクロレンズがアレイ状に配置されたマイクロレンズアレイを用いることが行われている。

特開２００８−３６０５８号公報

ここで、マイクロレンズアレイの各レンズに複数画素を配置する構成を採用する場合、各レンズの画像は、上下左右が逆になる。また、静脈画像の認証時には、各レンズの画像を反転、再合成する必要があり、レンズ間の連結での境界線処理は、高速演算も必要となる。そのため、従来のような認証の事前処理による高速化のためには、この問題を解決する必要がある。

また、応用範囲として期待されている光学タッチパッドなどとの兼用機能では、高速性が必要であり、生体認証の精度確保との兼用が困難であった。

そこで、本発明は、このような問題に鑑みてなされたもので、その目的は、実際に撮像した画像よりも解像度が低いサムネイル画像を高速に作製することで処理の高速化を実現することが可能な、新規かつ改良された静脈撮像装置およびサムネイル画像作製方法を提供することにある。

上記課題を解決するために、本発明のある観点によれば、複数の受光レンズがアレイ状に配設されたレンズアレイと、前記レンズアレイの対向する端部にそれぞれ設けられ、生体の一部に対して近赤外光を照射する複数の近赤外光照射光源と、前記レンズアレイによって集光された、前記生体内で散乱され静脈を透過した近赤外光に基づいて、前記静脈の撮像画像を生成するものであり、一つの前記受光レンズに対して複数の受光素子が割り当てられている撮像素子と、前記一つの受光レンズに割り当てられた複数の受光素子の中から、少なくとも一つの前記受光素子が受光した前記近赤外光に関する情報を取得して、前記一つの受光レンズに対応する画素情報とし、前記レンズアレイが有する全ての前記受光レンズにおける前記画素情報を取得するとともに、取得した前記画素情報に基づいてサムネイル画像を作製するサムネイル画像作製部と、を備える静脈撮像装置が提供される。

かかる構成によれば、レンズアレイには、複数の受光レンズがアレイ状に配設されており、レンズアレイの対向する端部には、生体の一部に対して近赤外光を照射する複数の近赤外光照射光源が設けられている。撮像素子は、レンズアレイによって集光された、生体内で散乱され静脈を透過した近赤外光に基づいて、静脈の撮像画像を生成するものであり、一つの受光レンズに対して複数の受光素子が割り当てられている。また、サムネイル画像作製部は、一つの受光レンズに割り当てられた複数の受光素子の中から、少なくとも一つの受光素子が受光した近赤外光に関する情報を取得して、一つの受光レンズに対応する画素情報とし、レンズアレイが有する全ての受光レンズにおける画素情報を取得するとともに、取得した画素情報に基づいてサムネイル画像を作製する。

前記サムネイル画像作製部は、前記全ての受光レンズにおける画素情報を取得する際に、それぞれの前記受光レンズについて、互いに同位相となる前記受光素子の前記画素情報を選択する。

前記サムネイル画像作製部は、選択した前記互いに同位相となる前記受光素子の前記画素情報を反転処理することなく合成し、前記サムネイル画像とすることが好ましい。

前記撮像素子の駆動制御を行う撮像素子制御部を更に備え、前記撮像素子制御部は、前記撮像素子の一の方向に沿った駆動制御を、前記撮像素子の前記一の方向に沿った前記受光素子数単位で分割して駆動する制御とすることが可能である。

前記撮像素子制御部は、前記一の方向に直交する他の方向に沿った複数の前記受光素子の前記画素情報を、平均値として出力してもよい。

複数のサムネイル画像に基づいて、前記生体の一部を撮像した際の視差に関する情報を取得する視差情報取得部を更に備え、前記サムネイル画像作製部は、前記全ての受光レンズにおける画素情報を取得する際に、それぞれの前記受光レンズについて、互いに同位相となる前記受光素子が受光した前記近赤外光に関する情報を複数種類取得して、複数種類のサムネイル画像を生成してもよい。

上記課題を解決するために、本発明の別の観点によれば、生体の一部に対して近赤外光を照射するステップと、前記生体内で散乱され静脈を透過した近赤外光を、複数の受光レンズがアレイ状に配設されたレンズアレイで集光するステップと、前記レンズアレイによって集光された、前記生体内で散乱され静脈を透過した近赤外光を、一つの前記受光レンズに対して複数の受光素子が割り当てられている撮像素子で撮像するステップと、前記一つの受光レンズに割り当てられた複数の受光素子の中から、少なくとも一つの前記受光素子が受光した前記近赤外光に関する情報を取得して、前記一つの受光レンズに対応する画素情報とし、前記レンズアレイが有する全ての前記受光レンズにおける前記画素情報を取得するとともに、取得した前記画素情報に基づいてサムネイル画像を作製するステップと、を含み、前記サムネイル画像を作製するステップでは、前記全ての受光レンズにおける画素情報を取得する際に、それぞれの前記受光レンズについて、互いに同位相となる前記受光素子の前記画素情報を選択するサムネイル画像作製方法が提供される。

本発明によれば、実際に撮像した画像よりも解像度が低いサムネイル画像を高速に作製することで処理の高速化を実現することが可能である。

以下に添付図面を参照しながら、本発明の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。

なお、説明は、以下の順序で行うものとする。
（１）第１の実施形態
（１−１）静脈撮像装置の構成について
（１−２）サムネイル画像の作製方法について
（２）本発明の各実施形態に係る静脈撮像装置のハードウェア構成について
（３）まとめ

本願発明者は、上記課題を解決するために検討を行い、以下のような知見に想到した。すなわち、従来の静脈撮像装置では、撮像装置と照明装置とをある程度離さないと、指静脈などの微細な静脈は撮像できなかった。これは、指内部に入射された近赤外光が、生体により大きく散乱されるために起こる。一般的に、生体に入射した近赤外光の７０％以上は、真皮層までしか到達しないと言われており、このため撮像装置側から照射する光は真皮までの反射光となり、背面からの散乱光の吸収による影である微細な静脈画像は、この反射光の妨害によってコントラストが著しく低下して、撮像が困難となる。このため、従来の静脈撮像装置は、手のひらや甲などの太い血管でしか利用できなかった。

本発明の各実施形態に係る静脈撮像装置は、後述するように、マイクロレンズアレイを用いたフラットセンサと、パネル近傍に設けられた一体型照明装置とによる撮像装置である。本発明の各実施形態では、マイクロレンズアレイと光源のそれぞれに、選択的な光のみを取り出すように配置された指向性制御板または絞りを設けることにより、静脈背面からの光のみを選択的に撮像可能とした。これにより、従来の光学系では不可能とされていた光源とセンサの一体化を実現している。

しかしその反面、従来のカメラを用いたデバイスでは必要とならない画像合成処理が必要となる欠点がある。その結果、撮像した静脈画像を認証する際のテンプレート検索、位置合わせなどのパフォーマンスにおいて、画像処理における演算の負荷が大きくなる。

従来の静脈撮像装置では、静脈撮像画像は連続した信号として出力される。しかしながら、マイクロレンズアレイでは各レンズの撮像画像として、上下左右が反転したものが出力される。そのため、（１）各レンズの撮像画像を反転する反転処理、（２）反転後の各撮像画像の合成時における境界処理、などの補正処理が必要となる。これらの補正処理をソフトウェア的に処理する場合には、従来よりもパフォーマンスが低下するという問題が生じる。

また、撮像した静脈画像を利用した静脈認証処理では、処理の高速化を図るために、登録画像よりも解像度が間引かれたサムネイル画像により、予め指の位置特定、サムネイル検索、位置合わせなどをする必要がある。

本願出願人は、これらの問題を解決するために、マイクロレンズアレイを用いた静脈画像の撮像に際して、処理の高速化を図ることが重要であるとの知見に想到した。そこで、本願発明者は、上記問題点を解決するために鋭意研究を行い、以下で説明するような、本発明の各実施形態に係る静脈撮像装置に想到した。

（第１の実施形態）
＜静脈撮像装置の構成について＞
まず、図１〜図３を参照しながら、本発明の第１の実施形態に係る静脈撮像装置の構成について、詳細に説明する。図１は、本実施形態に係る静脈撮像装置の構成を説明するためのブロック図である。また、図２は、本実施形態に係る静脈撮像装置の平面図であり、図３は、図２をＡ−Ａ切断線で切断した場合の断面図である。

本実施形態に係る静脈撮像装置１０は、例えば図１に示したように、マイクロレンズアレイ１０１と、近赤外光照射光源１０５と、撮像素子１０９と、撮像素子制御部１１３と、サムネイル画像作製部１１５と、視差情報取得部１１７と、記憶部１１９と、を主に備える。静脈撮像装置１０は、当該装置に載置された生体の一部（例えば、指）を撮像して、生体の内部に存在する静脈の撮像画像（静脈画像）を生成するとともに、生成した静脈画像よりも解像度の低いサムネイル画像を生成する。また、本実施形態に係る静脈撮像装置１０は、生成したサムネイル画像に基づいて、視差に関する情報（視差情報）を取得することが可能である。

マイクロレンズアレイ（Ｍｉｃｒｏ Ｌｅｎｓ Ａｒｒａｙ：ＭＬＡ）１０１は、後述する近赤外光照射光源１０５から生体の一部に対して照射され、生体内部の静脈を透過した近赤外光（以下、静脈透過光とも称する。）を、後述する撮像素子１０９へと集光する。このマイクロレンズアレイ１０１は、後述するように、複数の受光レンズから構成されている。

近赤外光照射光源１０５は、静脈撮像装置１０に載置された生体の一部に対して、所定の波長帯域を有する近赤外光を照射する。近赤外光は、身体組織に対して透過性が高い一方で、血液中のヘモグロビン（還元ヘモグロビン）に吸収されるという特徴を有するため、近赤外光を指や手のひらや手の甲に照射すると、指や手のひらや手の甲の内部に分布している静脈が影となって画像に現れる。画像に表れる静脈の影を、静脈パターンという。このような静脈パターンを良好に撮像するために、近赤外光照射光源１０５は、約６００ｎｍ〜１３００ｎｍ程度の波長、好ましくは、７００ｎｍ〜９００ｎｍ程度の波長を有する近赤外光を照射する。

ここで、近赤外光照射光源１０５が照射する近赤外光の波長が６００ｎｍ未満または１３００ｎｍ超過である場合には、血液中のヘモグロビンに吸収される割合が小さくなるため、良好な静脈パターンを得ることが困難となる。また、近赤外光照射光源１０５が照射する近赤外光の波長が７００ｎｍ〜９００ｎｍ程度である場合には、近赤外光は、脱酸素化ヘモグロビンと酸素化ヘモグロビンの双方に対して特異的に吸収されるため、良好な静脈パターンを得ることができる。

このような近赤外光照射光源１０５として、例えば、発光ダイオード（Ｌｉｇｈｔ Ｅｍｉｔｔｉｎｇ Ｄｉｏｄｅ：ＬＥＤ）を用いることが可能である。また、上述のような波長帯域を有する発光ダイオードを用いる代わりに、上述の波長帯域を含む光を射出可能な発光ダイオードと、射出された光を光学的に帯域制限するフィルタとを組み合わせたものを使用してもよい。

撮像素子１０９は、複数の受光素子１１１が格子状に配置された撮像面を有し、マイクロレンズアレイ１０１により結像された静脈透過光を基に、近赤外光による静脈画像を生成する。本実施形態に係る撮像素子１０９として、例えば、ＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅｓ：電荷結合素子）型画像センサや、ＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）型画像センサ等を利用することができる。撮像素子１０９は、生成された静脈画像（以下、撮像データとも称する。）を出力する。また、撮像素子１０９は、生成した静脈画像を、後述する記憶部１１９に記憶してもよい。

なお、本実施形態に係る静脈撮像装置１０においては、後述するように、マイクロレンズアレイ１０１の一つの受光レンズに対して、複数の受光素子１１１が割り当てられている。そのため、本実施形態に係る静脈撮像装置１０においては、一つの受光レンズによって集光された近赤外光（静脈透過光）は、複数の受光素子１１１によって撮像されることとなる。

この撮像素子１０９は、後述する撮像素子制御部１１３により、受光素子の走査タイミング等が制御される。

撮像素子制御部１１３は、例えば、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）等から構成されており、撮像素子１０９の駆動制御を行う。より詳細には、撮像素子制御部１１３は、所定の同期信号等に基づいて、撮像素子１０９を構成する受光素子１１１の走査タイミングや、どの受光素子１１１から情報を取得するかといった駆動の制御を行う。

より詳細には、撮像素子制御部１１３は、撮像素子１０９のある一つの方向に沿った駆動制御を、撮像素子１０９のある一つの方向に沿った受光素子数単位で分割して駆動する制御とする。すなわち、本実施形態に係る撮像素子１０９をある方向に沿って切断した切断図を考えた場合に、撮像素子１０９に、例えば７つの受光素子が存在したとする。この場合、撮像素子制御部１１３は、この切断線の方向に沿って受光素子を７つのグループに分けて分割して駆動制御を行う。

また、撮像素子制御部１１３は、上記ある一つの方向に直交する他の方向に沿った複数の受光素子１１１の画素情報を、平均値として出力してもよい。

ここで、撮像素子制御部１１３は、撮像素子１０９の制御を行うにあたり、後述する記憶部１１９に記録されている各種のパラメータやデータベース等を参照することが可能である。

なお、撮像素子制御部１１３が行う撮像素子１０９の駆動制御については、以下で改めて詳細に説明する。

サムネイル画像作製部１１５は、例えば、ＣＰＵ、ＲＯＭ、ＲＡＭ等から構成されている。サムネイル画像作製部１１５は、一つの受光レンズに割り当てられた複数の受光素子の中から、一つの受光素子が受光した静脈透過光に関する情報を取得して、一つの受光レンズに対応する画素情報とし、マイクロレンズアレイが有する全ての受光レンズにおける画素情報を取得する。また、サムネイル画像作製部１１５は、取得した画素情報に基づいて、サムネイル画像を作製する。

サムネイル画像作製部１１５は、サムネイル画像の作製に際して、後述する記憶部１１９に記録されている、各種のパラメータや、データベースや、プログラム等を利用することが可能である。

なお、サムネイル画像の作製方法については、以下で改めて詳細に説明する。

サムネイル画像作製部１１５は、作製したサムネイル画像を静脈撮像装置１０の外部に出力することが可能である。また、サムネイル画像作製部１１５は、作製したサムネイル画像を、後述する視差情報取得部１１７に出力する。さらに、サムネイル画像作製部１１５は、作製したサムネイル画像を、作製日時に関する情報等と関連付けて、後述する記憶部１１９に記録してもよい。

視差情報取得部１１７は、例えば、ＣＰＵ、ＲＯＭ、ＲＡＭ等から構成されており、サムネイル画像作製部１１５が作製したサムネイル画像に基づいて、生体の一部を撮像した際の視差に関する情報を視差情報として取得する。本実施形態に係る静脈撮像装置１０では、後述するように、一つの受光レンズに対して、複数の受光素子１１１が対応付けられている。そのため、同一の受光レンズにより集光された光から得られた画像であっても、受光素子１１１の配設位置に応じて、得られた画像には、視差が生じている。本実施形態に係る視差情報取得部１１７は、複数のサムネイル画像を解析することで、この視差に関する情報を取得して、物体（すなわち、生体の一部）への距離を算出することが可能である。また、このような視差情報は、画像上では焦点位置のズレとして現れるため、視差情報を利用して、撮像物体の外形検出を行うことが可能である。

例えば、視差情報取得部１１７は、得られたサムネイル画像を微分処理してエッジ検出し、エッジとして認識された部分の距離を比較することで、撮像物体の外形か否かを判断することが可能である。

視差情報取得部１１７は、取得した視差情報を、静脈撮像装置１０の外部に出力することが可能である。また、視差情報取得部１１７は、取得した視差情報を、取得した日時に関する情報等と関連付けて、後述する記憶部１１９に記録してもよい。

記憶部１１９は、静脈撮像装置１０が、何らかの処理を行う際に保存する必要が生じた様々なパラメータや処理の途中経過等、または、各種のデータベース等を、適宜記憶することが可能である。また、これらのデータ以外にも、撮像素子１０９が生成した静脈画像や、サムネイル画像作製部１１５が作製したサムネイル画像や、視差情報取得部１１７が取得した視差情報等を記憶することも可能である。この記憶部１１９は、撮像素子１０９、撮像素子制御部１１３、サムネイル画像作製部１１５、視差情報取得部１１７等が、自由に読み書きを行うことが可能である。

［静脈撮像装置の構造について］
次に、図２および図３を参照しながら、本実施形態に係る静脈撮像装置の構造について、詳細に説明する。

本実施形態に係る静脈撮像装置１０のマイクロレンズアレイ１０１は、例えば図２に示したように、受光レンズである複数のマイクロレンズ１０３から構成されており、マイクロレンズ１０３は、所定の基板上に格子状に配列されている。各マイクロレンズ１０３は、例えば図３に示したように、光入射面から当該マイクロレンズ１０３に入射した静脈透過光を、後述する撮像素子１０９（より詳細には、撮像素子１０９の受光素子１１１）に導光する。マイクロレンズアレイ１０１は、像面湾曲が少なく深さ方向のひずみがないレンズアレイであるため、このようなマイクロレンズアレイ１０１を用いることで、良好な画像データを得ることができる。マイクロレンズアレイ１０１を構成する各マイクロレンズ１０３の焦点位置は、静脈撮像装置１０の撮像対象となる静脈Ｖが存在する静脈層の位置となるように設定される。

人体の皮膚は、表皮層、真皮層および皮下組織層の３層構造となっていることが知られているが、上述の静脈層は、真皮層に存在している。真皮層は、指表面に対して０．１ｍｍ〜０．３ｍｍ程度の位置から２ｍｍ〜３ｍｍ程度の厚みで存在している層である。したがって、このような真皮層の存在位置（例えば、指表面から１．５ｍｍ〜２．０ｍｍ程度の位置）にマイクロレンズ１０３の焦点位置を設定することで、静脈層を透過した透過光を、効率よく集光することが可能となる。

なお、本実施形態に係るマイクロレンズアレイ１０１に配設されるマイクロレンズ１０３の個数は、図２に示した例に限定されるわけではない。本実施形態に係るマイクロレンズアレイ１０１に配設されるマイクロレンズ１０３の個数は、撮像したい生体の大きさや、撮像素子１０９の大きさに応じて、自由に設定することが可能である。

近赤外光照射光源１０５の一例である発光ダイオードは、例えば図２に示したように、マイクロレンズアレイ１０１の対向する端部に複数配置されている。発光ダイオードが配置される端部は、生体の一部（図２および図３に示した例では、指ＦＧ）の上端と下端に対応する縁部であることが好ましい。このように発光ダイオードを配置することで、指ＦＧの上下方向から、近赤外光を照射することが可能となる。

なお、本実施形態に係る近赤外光照射光源１０５の個数は、図２に示した例に限定されるわけではなく、マイクロレンズアレイ１０１の大きさや、近赤外光照射光源１０５の照射可能エリア等に応じて、自由に設定することが可能である。

また、マイクロレンズアレイ１０１と近赤外光照射光源１０５との間には、例えば図２および図３に示したように、指向性制御板１０７が設けられる。この指向性制御板１０７は、近赤外光照射光源１０５から射出された直接光１２の指向性を制御し、直接光１２が直接マイクロレンズアレイ１０１のマイクロレンズ１０３に入射しないようにする。

近赤外光照射光源１０５から射出された近赤外光は、例えば図３に示したように、指ＦＧの表面に向かって上方に伝搬し、直接光１２として、指ＦＧの内部に入射する。ここで、人体は良好な近赤外光の散乱体であるため、指ＦＧ内に入射した直接光１２は四方に散乱しながら伝搬する。これらの散乱光の一部は、背面散乱光１３として上述の静脈層を背面から指表面に向かって進行し、その途中で静脈Ｖを透過する。静脈を透過した静脈透過光は、マイクロレンズアレイ１０１を構成するそれぞれのマイクロレンズ１０３に入射することとなる。

ここで、相隣接するマイクロレンズ１０３の境界部には、指向性制御板１０７が設けられる。この指向性制御板１０７により、静脈透過光の指向性を制御することが可能となり、撮像素子１０９（より詳細には、受光素子１１１）に集光される静脈透過光を選択することが可能となる。

なお、図３において、一つのマイクロレンズ１０３に対応する受光素子１１１は、一つしか記載されていないが、実際には、後述するように、一つのマイクロレンズ１０３に対して、複数の受光素子１１１が対応付けられている。

［マイクロレンズアレイで得られる画像について］
次に、図４Ａおよび図４Ｂを参照しながら、マイクロレンズアレイによって得られる画像の特徴について、詳細に説明する。図４Ａおよび図４Ｂは、マイクロレンズアレイで撮像した画像について説明するための説明図である。

一般に、マイクロレンズアレイ（ＭＬＡ）を用いてある画像を撮像すると、例えば図４Ａに示したように、撮像画像は、元の画像に対して、上下および左右が逆転した像となる。また、実際には、一つの受光レンズ（マイクロレンズ１０３）に対して、複数の受光素子１１１が割り当てられているため、一つのマイクロレンズ１０３に割り当てられた全ての受光素子１１１について、上下左右の逆転した像が形成される。例えば、図４Ｂに示したように、一つのマイクロレンズ１０３に対して、例えば３×３＝９個の受光素子１１１が割り当てられているとすると、９個の受光素子それぞれには、上下左右の逆転した画像が形成される。

このため、マイクロレンズアレイを用いた撮像装置では、従来、一つのマイクロレンズ１０３に割り当てられている受光素子１１１から得られた全ての画像について、まず反転処理を行って上下の関係、および左右の関係を元に戻した後に、それぞれの画像を合成して、画像の解像度を上げることが行われていた。このように、従来の画像処理方法では、各受光素子で得られた画像の反転処理および合成処理が必要となるため、従来の画像処理方法等で用いられるようなサムネイル画像の作製方法を利用することができず、処理の高速化が困難であった。

しかしながら、本実施形態に係る静脈撮像装置１０では、以下で説明するようなマイクロレンズアレイの特徴を効果的に用いることで、サムネイル画像を簡単に作製することが可能となった。

［サムネイル画像作製部の機能について］
続いて、図５Ａおよび図５Ｂを参照しながら、マイクロレンズアレイの特徴を利用した、サムネイル画像の作製方法、すなわち、サムネイル画像作製部１１５の機能について、詳細に説明する。図５Ａおよび図５Ｂは、本実施形態に係るサムネイル画像作製部の機能を説明するための説明図である。

例えば、図５Ａに示したように、９個のマイクロレンズ１０３から構成されるマイクロレンズアレイを用いて、「Ｗ」の文字を撮像する場合を考える。ここで、１つのマイクロレンズ１０３には、図５Ａに示したように、９個の受光素子１１１が対応づけられており、９個の受光素子１１１が単位ブロック１２１を構成している。

９個のマイクロレンズ１０３で「Ｗ」の文字を撮像すると、「Ｗ」の文字のうち各単位ブロック１２１上に存在する部分が、それぞれのマイクロレンズ１０３によって撮像される。その結果、単位ブロック１２１上に存在する「Ｗ」の文字の一部分は、９個の受光素子１１１それぞれによって、上下左右が逆の状態で撮像されることとなる。

ここで、本実施形態に係るサムネイル画像作製部１１５は、各マイクロレンズ１０３に対応している９個の受光素子中の１つの受光素子１１１に着目すると、それぞれの画像は、順配列となっていることを利用し、サムネイル画像の作製を行う。

例えば、図５Ｂに示したように、各マイクロレンズ１０３に対応する単位ブロック１２１を構成する受光素子１１１の中から、互いに同位相となる受光素子１２３による撮像データを利用する。ここで、互いに同位相となる受光素子１２３とは、単位ブロック１２１内における受光素子の配設位置が、互いに同じ場所であるものを言う。例えば図５Ｂに示した例では、単位ブロック１２１の中で中央に位置する受光素子が、互いに同位相となる受光素子１２３となる。

このような、互いに同位相となる受光素子１２３から得られた撮像データは、マイクロレンズ１０３と受光素子１２３とが１対１で対応している。また、単位ブロック１２１を構成する全ての受光素子から得られた撮像データを合成しているわけではないため、受光素子１２３から得られた撮像データは、解像度が低いものとなっている。そのため、各単位ブロック１２１から取得した受光素子１２３からの撮像データをそのまま合成するだけで、図５Ｂに示したようにサムネイル画像を作製することができる。

本実施形態に係るサムネイル画像の作製方法では、従来のマイクロレンズアレイを用いた画像処理方法のように、サムネイル画像の作製に先立って、単位ブロック１２１を構成する各受光素子１１１から得られた撮像データを反転処理した後に合成するという処理を行う必要がない。その結果、サムネイル画像の作製処理を、高速化することができる。これにより、全体の処理そのものを高速化することが可能である。

また、各単位ブロック１２１の両端および中央画素において、この演算により独立したサムネイルを得ることで、本実施形態に係る視差情報取得部１１７は、直接の演算処理による視差情報を用いて、指の外形抽出が可能となる。この外形情報は、指静脈認証における事前処理である位置合わせや、有効領域の切り出し等に利用することが可能である。また、この視差情報は、光学タッチパッドにおける指の位置検出にも利用可能である。

なお、本実施形態に係るサムネイル画像の作製方法を、以下で説明するような撮像素子の駆動制御方法と組み合わせることで、サムネイル画像を、リアルタイムに連続して作製することが可能となる。

［撮像素子制御部の機能について］
続いて、図６Ａ〜図７を参照しながら、撮像素子制御部１１３による撮像素子１０９の駆動制御方法について、詳細に説明する。図６Ａおよび図６Ｂは、本実施形態に係る撮像素子制御部の機能を説明するための説明図である。図７は、本実施形態に係る撮像素子制御部の機能を説明するための説明図である。

本実施形態に係る静脈撮像装置１０の撮像素子１０９として用いられるＣＣＤ型撮像素子やＣＭＯＳ型撮像素子は、多層型の素子となっている。例えば図６Ａには、撮像素子１０９が３層からなる多層型素子である場合の例を示している。

本実施形態に係る静脈撮像装置１０では、撮像素子１０９は、指の長さ方向、すなわち、図中のｙ軸に沿った方向にライン走査を行う。以降、図中のｙ軸に沿った方向を、垂直方向と称することとし、垂直方向に対して直交する方向、すなわち、図中のｘ軸に沿った方向を、水平方向と称することとする。

図６Ａに示したように、本実施形態に係る静脈撮像装置１０では、撮像素子制御部１１３によって、水平ライン単位で、撮像データが、垂直同期の時間軸に沿って出力される。すなわち、ある水平方向に沿って配設された受光素子は、図６Ａに示した第１層にデータが同期して出力され、ある水平方向に沿って配設された受光素子は、第２層にデータが出力され、ある水平方向に沿って配設された受光素子は、第３層にデータが出力される。このように、撮像素子制御部１１１による制御によって、撮像素子１０９は、ＭＬＡの単位ブロック１２１間で同位相となる水平ライン同士で、多層化した出力を行うことができる。

そのため、本実施形態に係る撮像素子制御部１１３は、多層型素子のある層による出力を選択し、かつ、水平ライン上で、同一の位相となる画素（受光素子）のみをタイミング制御によって選択する。これにより、本実施形態に係る撮像素子１０９は、図５Ｂに示したような、互いに同位相となる受光素子１２３からの出力を、サムネイル画像作製部１１５へと出力することができる。

例えば、図６Ａにおいて斜線で示した受光素子１１１は、単位ブロック１２１内で中央に位置する素子であり、この素子からの出力は、図に示したように第２層へと出力される。また、ｘ軸に沿った水平ライン上に関して、撮像素子制御部１１３は、図６Ｂに示したような水平ラインイネーブル信号を用いてタイミング制御を行うことで、互いに同位相となる受光素子１２３からの出力を、サムネイル画像作製部１１５へと伝送することが可能となる。

また、ある一層からの出力のみを用いるだけでなく、各層から得られる出力を順次利用することにより、複数のサムネイル画像を、高フレームレートで連続して得ることができる。

なお、図６Ａおよび図６Ｂに示した例では、垂直同期ラインを分割駆動する方法について説明したが、図７に示したように、水平ライン内での回路的な分割駆動を行うことも可能である。

図７に示した例では、同一の水平ライン上に存在する受光素子１１１は、水平第１層にデータを出力するものと、水平第２層にデータを出力するものと、水平第３層にデータを出力するものの３種類が存在する。そのため、本実施形態に係る撮像素子制御部１１３は、多層型素子のある層による出力を選択することで、互いに同位相となる受光素子からの出力を、サムネイル画像作製部１１５へと出力することができる。

また、図６Ａ、図６Ｂに示した方法と、図７に示した方法とを組み合わせて用いることも可能である。

このように、撮像素子制御部１１３によって、撮像素子１０９の駆動制御を行うことで、信号処理による並び替え作業を経ることなく、直接サムネイル画像を、リアルタイムに連続して得ることが可能である。

また、本実施形態に係る撮像素子の駆動制御を、静脈認証装置へと適用することも可能である。この際に、駆動制御と一連の画像処理とを組み合わせることで、登録された静脈テンプレートの中から、認証用の画像と類似しているものを検索する処理や、位置を特定したり補正したりする処理や、認証処理そのものなど、静脈認証処理に必要となる一連の動作を高速化することが可能となる。

更に、サムネイル画像の作製自体も、上述のような多重化制御により、高フレームレートで実施することが可能となるため、静脈認証処理における認証の事前処理を、高速化することが可能となる。

以上、本実施形態に係る静脈撮像装置１０の機能の一例を示した。上記の各構成要素は、汎用的な部材や回路を用いて構成されていてもよいし、各構成要素の機能に特化したハードウェアにより構成されていてもよい。また、各構成要素の機能を、ＣＰＵ等が全て行ってもよい。従って、本実施形態を実施する時々の技術レベルに応じて、適宜、利用する構成を変更することが可能である。

なお、本実施形態に係る静脈撮像装置１０を、光学タッチパッドやタッチペン等と兼用で用いることも可能である。タッチパッドやタッチペン等における信号処理では、多重化された画像は、単位ブロック１２１を構成するピクセルの集合から選択された一画素として扱うことが可能となる。そのため、多層化を図ることで、タッチパッドやタッチペンでの分解能を、画像合成処理を経ることなく判定でき、演算処理の軽減を図ることが可能となる。

＜サムネイル画像の作製方法について＞
次に、図８を参照しながら、本実施形態に係るサムネイル画像の作製方法について、詳細に説明する。図８は、本実施形態に係るサムネイル画像の作製方法を説明するための流れ図である。

本実施形態に係るサムネイル画像の作製方法では、まず、近赤外光照射光源１０５により、静脈のサムネイル画像を作製したい生体の一部に近赤外光を照射し、マイクロレンズアレイ１０１および撮像素子１０９を用いて、生体の撮像を行う（ステップＳ１０１）。

この際、撮像素子１０９は、撮像素子制御部１１３によって駆動制御がなされており、サムネイル画像作製部１１５は、予め設定されている受光素子の情報（すなわち、互いに同位相となる受光素子１２３の情報）を取得することができる（ステップＳ１０３）。

サムネイル画像作製部１１５は、取得した受光素子１２３の情報を用いて、サムネイル画像を作製することができる（ステップＳ１０５）。

＜ハードウェア構成について＞
次に、図９を参照しながら、本発明の各実施形態に係る静脈撮像装置１０のハードウェア構成について、詳細に説明する。図９は、本発明の各実施形態に係る静脈撮像装置１０のハードウェア構成を説明するためのブロック図である。

静脈撮像装置１０は、主に、ＣＰＵ９０１と、ＲＯＭ９０３と、ＲＡＭ９０５と、ホストバス９０７と、ブリッジ９０９と、外部バス９１１と、インターフェース９１３と、入力装置９１５と、出力装置９１７と、ストレージ装置９１９と、ドライブ９２１と、接続ポート９２３と、通信装置９２５とを備える。

ＣＰＵ９０１は、演算処理装置および制御装置として機能し、ＲＯＭ９０３、ＲＡＭ９０５、ストレージ装置９１９、またはリムーバブル記録媒体９２７に記録された各種プログラムに従って、静脈撮像装置１０内の動作全般またはその一部を制御する。ＲＯＭ９０３は、ＣＰＵ９０１が使用するプログラムや演算パラメータ等を記憶する。ＲＡＭ９０５は、ＣＰＵ９０１の実行において使用するプログラムや、その実行において適宜変化するパラメータ等を一次記憶する。これらはＣＰＵバス等の内部バスにより構成されるホストバス９０７により相互に接続されている。

ホストバス９０７は、ブリッジ９０９を介して、ＰＣＩ（Ｐｅｒｉｐｈｅｒａｌ Ｃｏｍｐｏｎｅｎｔ Ｉｎｔｅｒｃｏｎｎｅｃｔ／Ｉｎｔｅｒｆａｃｅ）バスなどの外部バス９１１に接続されている。

入力装置９１５は、例えば、マウス、キーボード、タッチパネル、ボタン、スイッチおよびレバーなどユーザが操作する操作手段である。また、入力装置９１５は、例えば、赤外線やその他の電波を利用したリモートコントロール手段（いわゆる、リモコン）であってもよいし、静脈撮像装置１０の操作に対応した携帯電話やＰＤＡ等の外部接続機器９２９であってもよい。さらに、入力装置９１５は、例えば、上記の操作手段を用いてユーザにより入力された情報に基づいて入力信号を生成し、ＣＰＵ９０１に出力する入力制御回路などから構成されている。静脈撮像装置１０のユーザは、この入力装置９１５を操作することにより、静脈撮像装置１０に対して各種のデータを入力したり処理動作を指示したりすることができる。

出力装置９１７は、例えば、ＣＲＴディスプレイ装置、液晶ディスプレイ装置、プラズマディスプレイ装置、ＥＬディスプレイ装置およびランプなどの表示装置や、スピーカおよびヘッドホンなどの音声出力装置や、プリンタ装置、携帯電話、ファクシミリなど、取得した情報をユーザに対して視覚的または聴覚的に通知することが可能な装置で構成される。出力装置９１７は、例えば、静脈撮像装置１０が行った各種処理により得られた結果を出力する。具体的には、表示装置は、静脈撮像装置１０が行った各種処理により得られた結果を、テキストまたはイメージで表示する。他方、音声出力装置は、再生された音声データや音響データ等からなるオーディオ信号をアナログ信号に変換して出力する。

ストレージ装置９１９は、静脈撮像装置１０の記憶部の一例として構成されたデータ格納用の装置であり、例えば、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）等の磁気記憶部デバイス、半導体記憶デバイス、光記憶デバイス、または光磁気記憶デバイス等により構成される。このストレージ装置９１９は、ＣＰＵ９０１が実行するプログラムや各種データ、および外部から取得した各種のデータなどを格納する。

ドライブ９２１は、記録媒体用リーダライタであり、静脈撮像装置１０に内蔵、あるいは外付けされる。ドライブ９２１は、装着されている磁気ディスク、光ディスク、光磁気ディスク、または半導体メモリ等のリムーバブル記録媒体９２７に記録されている情報を読み出して、ＲＡＭ９０５に出力する。また、ドライブ９２１は、装着されている磁気ディスク、光ディスク、光磁気ディスク、または半導体メモリ等のリムーバブル記録媒体９２７に記録を書き込むことも可能である。リムーバブル記録媒体９２７は、例えば、ＤＶＤメディア、ＨＤ−ＤＶＤメディア、Ｂｌｕ−ｒａｙメディア、コンパクトフラッシュ（登録商標）（ＣｏｍｐａｃｔＦｌａｓｈ：ＣＦ）、メモリースティック、または、ＳＤメモリカード（Ｓｅｃｕｒｅ Ｄｉｇｉｔａｌ ｍｅｍｏｒｙ ｃａｒｄ）等である。また、リムーバブル記録媒体９２７は、例えば、非接触型ＩＣチップを搭載したＩＣカード（Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ ｃａｒｄ）または電子機器等であってもよい。

接続ポート９２３は、例えば、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）ポート、ｉ．Ｌｉｎｋ等のＩＥＥＥ１３９４ポート、ＳＣＳＩ（Ｓｍａｌｌ Ｃｏｍｐｕｔｅｒ Ｓｙｓｔｅｍ Ｉｎｔｅｒｆａｃｅ）ポート、ＲＳ−２３２Ｃポート、光オーディオ端子、ＨＤＭＩ（Ｈｉｇｈ−Ｄｅｆｉｎｉｔｉｏｎ Ｍｕｌｔｉｍｅｄｉａ Ｉｎｔｅｒｆａｃｅ）ポート等の、機器を静脈撮像装置１０に直接接続するためのポートである。この接続ポート９２３に外部接続機器９２９を接続することで、静脈撮像装置１０は、外部接続機器９２９から直接各種のデータを取得したり、外部接続機器９２９に各種のデータを提供したりする。

通信装置９２５は、例えば、通信網９３１に接続するための通信デバイス等で構成された通信インターフェースである。通信装置９２５は、例えば、有線または無線ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）、Ｂｌｕｅｔｏｏｔｈ、またはＷＵＳＢ（Ｗｉｒｅｌｅｓｓ ＵＳＢ）用の通信カード、光通信用のルータ、ＡＤＳＬ（Ａｓｙｍｍｅｔｒｉｃ Ｄｉｇｉｔａｌ Ｓｕｂｓｃｒｉｂｅｒ Ｌｉｎｅ）用のルータ、または、各種通信用のモデム等である。この通信装置９２５は、例えば、インターネットや他の通信機器との間で、例えばＴＣＰ／ＩＰ等の所定のプロトコルに則して信号等を送受信することができる。また、通信装置９２５に接続される通信網９３１は、有線または無線によって接続されたネットワーク等により構成され、例えば、インターネット、家庭内ＬＡＮ、赤外線通信、ラジオ波通信または衛星通信等であってもよい。

以上、本発明の各実施形態に係る静脈撮像装置１０の機能を実現可能なハードウェア構成の一例を示した。上記の各構成要素は、汎用的な部材を用いて構成されていてもよいし、各構成要素の機能に特化したハードウェアにより構成されていてもよい。従って、本実施形態を実施する時々の技術レベルに応じて、適宜、利用するハードウェア構成を変更することが可能である。

＜まとめ＞
以上説明したように、本発明の各実施形態に係る静脈撮像装置１０においては、マイクロレンズアレイを用いたフラットセンサを実現することが可能であり、サムネイル画像を高速に作製することが可能となる。このサムネイル画像の高速作製処理は、マイクロレンズアレイの特徴を利用した撮像素子の分割駆動制御によって得られるものである。このサムネイル画像の作製方法を、静脈認証装置へと応用することで、テンプレートの高速検索や、位置あわせなどの認証の事前処理などを、高速化することが可能となる。

また、高精度認証における高解像度撮像と、高フレームレートによるサムネイル画像とを必要に応じて切り替えることにより、本発明の各実施形態に係る静脈撮像装置を光学タッチパット等と兼用することが可能となる。

以上、添付図面を参照しながら本発明の好適な実施形態について説明したが、本発明はかかる例に限定されないことは言うまでもない。当業者であれば、特許請求の範囲に記載された範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、それらについても当然に本発明の技術的範囲に属するものと了解される。

本発明の第１の実施形態に係る静脈撮像装置の構成を説明するためのブロック図である。 同実施形態に係る静脈撮像装置の平面図である。 図２をＡ−Ａ切断線で切断した場合の断面図である。 マイクロレンズアレイで撮像した画像について説明するための説明図である。 マイクロレンズアレイで撮像した画像について説明するための説明図である。 同実施形態に係るサムネイル画像作製部の機能を説明するための説明図である。 同実施形態に係るサムネイル画像作製部の機能を説明するための説明図である。 同実施形態に係る撮像素子制御部の機能を説明するための説明図である。 同実施形態に係る撮像素子制御部の機能を説明するための説明図である。 同実施形態に係る撮像素子制御部の機能を説明するための説明図である。 同実施形態に係るサムネイル画像の作製方法を説明するための流れ図である。 本発明の各実施形態に係る静脈撮像装置のハードウェア構成を説明するためのブロック図である。

符号の説明

１０ 静脈撮像装置
１０１ マイクロレンズアレイ
１０３ マイクロレンズ
１０５ 近赤外光照射光源
１０７ 指向性制御板
１０９ 撮像素子
１１１ 受光素子
１１３ 撮像素子制御部
１１５ サムネイル画像作製部
１１７ 視差情報取得部
１１９ 記憶部
１２１ 単位ブロック
１２３ 互いに同位相となる受光素子

Claims (6)

1. 複数の受光レンズがアレイ状に配設されたレンズアレイと、
   前記レンズアレイの対向する端部にそれぞれ設けられ、生体の一部に対して近赤外光を照射する複数の近赤外光照射光源と、
   前記レンズアレイによって集光された、前記生体内で散乱され静脈を透過した近赤外光に基づいて、前記静脈の撮像画像を生成するものであり、一つの前記受光レンズに対して複数の受光素子が割り当てられている撮像素子と、
   前記一つの受光レンズに割り当てられた複数の受光素子の中から、少なくとも一つの前記受光素子が受光した前記近赤外光に関する情報を取得して、前記一つの受光レンズに対応する画素情報とし、前記レンズアレイが有する全ての前記受光レンズにおける前記画素情報を取得するとともに、取得した前記画素情報に基づいてサムネイル画像を作製するサムネイル画像作製部と、
   を備え、
   前記サムネイル画像作製部は、前記全ての受光レンズにおける画素情報を取得する際に、それぞれの前記受光レンズについて、互いに同位相となる前記受光素子の前記画素情報を選択する、静脈撮像装置。
2. 前記サムネイル画像作製部は、選択した前記互いに同位相となる前記受光素子の前記画素情報を反転処理することなく合成し、前記サムネイル画像とする、請求項１に記載の静脈撮像装置。
3. 前記撮像素子の駆動制御を行う撮像素子制御部を更に備え、
   前記撮像素子制御部は、前記撮像素子の一の方向に沿った駆動制御を、前記撮像素子の前記一の方向に沿った前記受光素子数単位で分割して駆動する制御とする、請求項１に記載の静脈撮像装置。
4. 前記撮像素子制御部は、前記一の方向に直交する他の方向に沿った複数の前記受光素子の前記画素情報を、平均値として出力する、請求項３に記載の静脈撮像装置。
5. 複数のサムネイル画像に基づいて、前記生体の一部を撮像した際の視差に関する情報を取得する視差情報取得部を更に備え、
   前記サムネイル画像作製部は、前記全ての受光レンズにおける画素情報を取得する際に、それぞれの前記受光レンズについて、互いに同位相となる前記受光素子が受光した前記近赤外光に関する情報を複数種類取得して、複数種類のサムネイル画像を生成する、請求項１に記載の静脈撮像装置。
6. 生体の一部に対して近赤外光を照射するステップと、
   前記生体内で散乱され静脈を透過した近赤外光を、複数の受光レンズがアレイ状に配設されたレンズアレイで集光するステップと、
   前記レンズアレイによって集光された、前記生体内で散乱され静脈を透過した近赤外光を、一つの前記受光レンズに対して複数の受光素子が割り当てられている撮像素子で撮像するステップと、
   前記一つの受光レンズに割り当てられた複数の受光素子の中から、少なくとも一つの前記受光素子が受光した前記近赤外光に関する情報を取得して、前記一つの受光レンズに対応する画素情報とし、前記レンズアレイが有する全ての前記受光レンズにおける前記画素情報を取得するとともに、取得した前記画素情報に基づいてサムネイル画像を作製するステップと、
   を含み、
   前記サムネイル画像を作製するステップでは、前記全ての受光レンズにおける画素情報を取得する際に、それぞれの前記受光レンズについて、互いに同位相となる前記受光素子の前記画素情報を選択する、サムネイル画像作製方法。
   

Images