JP6320277B2 - 生体認証装置 - Google Patents

Description

本発明は、生体を用いて個人を認証する生体認証装置に関する。

様々な生体認証技術の中でも、指静脈認証は高精度な認証を実現できるものとして知られている。指静脈認証は、指内部の血管パターンを使用して優れた認証精度を実現する。指静脈認証は、指紋認証に比べて偽造及び改ざんが困難であるため、高度なセキュリティを実現できる。

近年では、携帯電話機、ノート型ＰＣ（Personal Computer）、スマートフォンやタブレット端末などの携帯端末、ロッカー、金庫、プリンターなどの機器に生体認証装置を搭載し、各機器のセキュリティを確保する事例が増加している。

また、生体認証が適用される分野として、入退室管理、勤怠管理、コンピュータへのログインなどに加え、近年では決済などにも生体認証が利用されてきている。特に公共で利用される生体認証装置は、確実な個人認証を実現することが重要である。さらには、近年のタブレット型携帯端末の普及やウェアラブル・コンピューティングの潮流を鑑みると、上記のように利便性を担保しつつ、装置の小型化を実現することも重要な要件の一つとなる。

特許文献１は、血管では光が吸収され、脂肪組織では反射または散乱される傾向を利用し、レンズを通してセンサアレイ上に集束して撮影された皮下組織構造の三次元デジタル情報を獲得する皮下組織撮影装置と、当該装置を用いて撮影された映像の濃淡画像より個人を識別する技術が開示されている。

また、非特許文献１は、従来技術として、皮膚に白色の可視光を照射してカラーカメラでその反射光を撮影し、皮膚中のヘモグロビンとメラニンの分布をそれぞれ独立に獲得する技術を開示している。

特開２００７-０４４５３２号公報

「Image-based skin color and texture analysis/synthesis by extracting hemoglobin and melanin information in the skin」, in Proc. of SIGGRAPH, ACM Press, 770-779, 2003.

小型で使い勝手が良く、そして高精度な生体認証装置を実現するためには、狭い領域から個人認証に有効な生体特徴を抽出することが重要となる。

特許文献１には、映像中の濃淡は皮下組織構造に関連する様々な構造的特徴を表し、暗いピクセルは血管に、明るいピクセルは脂肪組織に対応することが開示されている。特許文献１において、画像プロセッサは、各ピクセルを、血液を有するピクセルと血液を有しないピクセルとに分類し、静脈周りの脂肪組織を識別に利用している。

しかしながら、特許文献１では、脂肪組織の撮影に関して、静脈以外の部分が脂肪組織に該当する部分であると記載されているため、静脈と脂肪組織とが重畳して存在することが考慮されていない。よって、特許文献１の技術では、重畳して存在する複数の生体組織を考慮した個人認証を行うことができない。

また、非特許文献１に記載の技術においては、白色の反射光を皮膚に照射してヘモグロビンとメラニンを分離することが可能である一方で、皮膚の生体組織に基づく個人認証に関する開示も示唆もなされていない。

そこで、本発明は、重畳して存在する複数の生体組織に関する情報を獲得することで高精度に認証を行うことができる技術を提供する。

上記課題を解決する為に、例えば特許請求の範囲に記載の構成を採用する。本願は上記課題を解決する手段を複数含んでいるが、その一例をあげるならば、指が載置される載置領域と、前記指に光を照射する少なくとも１つの光源と、前記光源からの光を撮影して少なくとも１つの画像を取得する撮像部と、前記画像を処理する認証部と、前記指の内部に重畳する複数の生体特徴のうち少なくとも１つに関する登録情報を記憶する記憶部と、を備える生体認証装置が提供される。当該生体認証装置において、前記認証部は、前記画像から、前記指の内部に重畳する複数の生体特徴に関する色素濃度の分布の情報を取得し、前記色素濃度の分布の情報から少なくとも１つの生体特徴に関する入力情報を取得し、前記入力情報と前記登録情報とを用いて類似度を算出し、前記類似度に基づいて認証を行う。

本発明によれば、重畳して存在する複数の生体組織に関する情報を獲得することで、小型で高精度に認証を行うことができる生体認証装置を提供できる。本発明に関連する更なる特徴は、本明細書の記述、添付図面から明らかになるものである。また、上記した以外の、課題、構成及び効果は、以下の実施例の説明により明らかにされる。

第１の実施例の生体認証システムの全体の構成を示す図である。 第１の実施例の生体認証システムの認証処理部の構成を示す図である。 第１の実施例の生体認証システムの入力装置の断面図である。 第１の実施例の生体認証システムの入力装置を上面から見た図である。 体表付近の生体組織を説明するための皮膚断面の模式図である。 第１の実施例の生体認証システムの入力装置を用いて脂肪紋を計測する処理フローの一例である。 色空間から生体組織の濃度を算出する手法を説明するための模式図である。 色空間から生体組織の濃度を算出する手法を説明するための模式図であり、図５Ａの一部の拡大図である。 色空間から生体組織の濃度を算出する手法を説明するための模式図である。 生体組織の色ベクトルを推定する方法の説明図である。 生体組織の色ベクトルを推定する方法の説明図である。 生体組織の色ベクトルを推定する方法の説明図である。 生体組織の色ベクトルを推定する方法の説明図である。 指の押し付け方が弱い場合の脂肪紋の変化を説明する図である。 指の押し付け方が強い場合の脂肪紋の変化を説明する図である。 第１の実施例の生体認証システムにおける登録データの登録手順の一実施例を説明するフローチャートである。 第１の実施例の生体認証システムにおける利用者から得た情報と登録データとの照合手順の一実施例を説明するフローチャートである。 重み付けによる脂肪紋のテンプレート照合の一手法で用いられる登録データの一例である。 重み付けによる脂肪紋のテンプレート照合の一手法で用いられる入力データの一例である。 重み付けによる脂肪紋のテンプレート照合の一手法で用いられる重みテーブルの一例である。 第２の実施例である、脂肪紋と指静脈とを用いた生体認証システムの一実施例である。 第２の実施例の生体認証システムを用いた認証の一実施例の処理フローである。 撮影された指静脈のパターンの模式図である。 撮影された脂肪紋のパターンの模式図である。 撮影された指静脈と脂肪紋のパターンの模式図である。 脂肪紋と指静脈の特徴量を組み合わせた特徴点照合方式で用いられる指静脈パターン画像の模式図である。 脂肪紋と指静脈の特徴量を組み合わせた特徴点照合方式で用いられる脂肪紋画像の模式図である。 図１４Ａの画像での特徴点の抽出を示す模式図である。 図１４Ｂの画像での特徴点の抽出を示す模式図である。 図１４Ｃの画像と図１４Ｄとの画像とを重ね合わせた特徴点合成画像の模式図である。 脂肪紋と指静脈とを独立に照合して相補的に位置補正を行う照合処理の一実施例を説明する図である。 指静脈と関節紋との重なり部分をコード化して認証する処理を説明する図である。 指静脈と関節紋との重なり部分をコード化して認証する処理を説明する図である。 指静脈と関節紋との重なり部分をコード化して認証する処理を説明する図である。 第３の実施例である、携帯端末に反射光照射用の可視光源とカラーカメラとを具備した生体認証装置の一実施例である。 第３の実施例である、携帯端末に反射光照射用の可視光源とカラーカメラとを具備した生体認証装置の一実施例である。 指をタップすることで認証を行うスマートフォン向け指先認証装置の操作の一例である。 指をタップすることで認証を行うスマートフォン向け指先認証装置の操作の一例である。

以下、添付図面を参照して本発明の実施例について説明する。なお、添付図面は本発明の原理に則った具体的な実施例を示しているが、これらは本発明の理解のためのものであり、決して本発明を限定的に解釈するために用いられるものではない。また、各図において共通の構成については同一の参照番号が付されている。

[第１実施例]
図１Ａは、第１の実施例の指の血管を用いた生体認証システムの全体の構成を示す図である。尚、本発明はシステムとしてではなく、全てまたは一部の構成を筐体に搭載した装置としての構成であってもよいことは言うまでも無い。装置は、認証処理を含めた生体認証装置としてもよい。また、認証処理は外部の装置で行ってもよく、装置は、血管画像の取得に特化した血管画像取得装置又は血管画像抽出装置としてもよい。したがって、以下で説明する機能は、ネットワーク上に存在する複数の装置で構成されてもよい。また、装置は、後述のように形態端末として実施されてもよい。

生体認証システムは、入力装置２と、認証処理部１０と、記憶装置１４と、表示部１５と、入力部１６と、スピーカ１７と、画像入力部１８とを含む。

入力装置２は、被認証者の生体から生体特徴を含む画像を取得する装置である。入力装置２は、筐体に設置された光源３と、その筐体内部に設置された撮像装置９とを含む。画像入力部１８は、入力装置２の撮像装置９で撮影された画像を取得し、取得した画像を認証処理部１０へ入力する。認証処理部１０は、画像入力部１８から入力された画像に対して画像処理し、認証処理を実行する。

なお、認証処理部１０の画像処理機能の部分、又は、この画像処理機能に画像入力部１８を含めて画像処理部という場合がある。いずれにしても、認証処理部１０は画像処理機能を備える。

光源３は、例えば、ＬＥＤ（Light Emitting Diode）などの発光素子であり、入力装置２の上に提示された指１に光を照射する。撮像装置９は、入力装置２に提示された指１の画像を撮影するものである。

図１Ａに示すように、認証処理部１０は、中央処理部（ＣＰＵ：Central Processing Unit）１１、メモリ１２及び種々のインターフェイス（ＩＦ）１３を含む。ＣＰＵ１１は、メモリ１２に記憶されているプログラムを実行することによって各種処理を行う。メモリ１２は、ＣＰＵによって実行されるプログラムを記憶する。また、メモリ１２は、画像入力部１８から入力された画像を一時的に記憶する。

図１Ｂは、認証処理部１０の機能ブロック図を示す。認証処理部１０は、認証部１０ａと、登録部１０ｂとを備える。認証部１０ａは、画像入力部１８から入力された入力データと、記憶装置１４に登録されている登録データとを照合し、利用者の認証を行う。登録部１０ｂは、入力装置２によって取得された画像から、登録データを作成し、記憶装置１４内に格納する。

上述の認証処理部１０の各処理部は、各種プログラムにより実現することができる。メモリ１２には、例えば記憶装置１４に格納されている各種プログラムが展開される。ＣＰＵ１１は、メモリ１２にロードされたプログラムを実行する。以下で説明する認証処理部１０を主体とする処理及び演算は、ＣＰＵ１１が実行する。

インターフェイス１３は、認証処理部１０と外部の装置とを接続する。具体的には、インターフェイス１３は、入力装置２、記憶装置１４、表示部１５、入力部１６、スピーカ１７及び画像入力部１８などと接続される。

記憶装置１４は、利用者の登録データを予め記憶している。登録データは、利用者を照合するための情報であり、例えば、指静脈パターンの画像等である。通常、指静脈パターンの画像は、主に指の掌側の皮下に分布する血管（指静脈）を暗い影のパターンとして撮像した画像である。

表示部１５は、例えば、液晶ディスプレイであり、認証処理部１０から受信した情報を表示する出力装置である。入力部１６は、例えば、キーボードであり、利用者から入力された情報を認証処理部１０に送信する。スピーカ１７は、認証処理部１０から受信した情報を、音響信号（例えば、音声）で発信する出力装置である。

図２Ａは、第１の実施例の生体認証システムの入力装置２の構造を説明する断面図である。図２Ｂは、入力装置２を上面から見た図である。入力装置２は、指先の皮膚の多層構造に含まれる生体特徴を撮影する。入力装置２は、各種機器を設置する筐体２１を備える。図２Ｂに示すように、筐体２１は円筒形状を有し、筐体２１は、開口部２２を有する。

開口部２２には透明アクリル板２３がはめ込まれ、指１の指先がその上に載置される。この透明アクリル板２３が、以下で説明する指１の載置領域となる。

光源３は、筐体２１の内側に具備されており、開口部２２を通じて指１に向けて可視光を投影することができる。本実施例における光源３はＬＥＤであるとし、１つのＬＥＤの素子から青、緑、赤の３種類の波長の可視光がそれぞれ任意の強度で照射できるものとする。具体的な波長の一例として、青が450nm、緑が550nm、赤が620nmの波長を選択する。ただし、各波長のＬＥＤ素子は一体となっていなくてもよい。またこれらの波長帯を含む連続的なスペクトルを持つ白色光源としてもよいが、波長ごとに個別に光量を調整できる方が望ましい。

本実施例では、４つの光源３が、撮像装置９の周囲に配置されており、開口部２２を介して被写体（指先）を一様に照らすことができる。また、光源３の照射する光がアクリル板２３に反射すると被写体が見えなくなるため、ここで示す４つの光源３を時系列的に点灯して被写体を連続撮影し、各画像をＨＤＲ(High dynamic range)技術により合成し、反射成分のない鮮明な被写体を獲得してもよい。

また、撮像装置９はカラーカメラであるものとし、可視光と赤外光の波長帯に感度を持つ複数の受光素子を有する。カラーカメラ９は、たとえば青（B）、緑（G）、赤（R）に感度を持つ３種類のＣＭＯＳ又はＣＣＤ素子を有し、これらが画像の画素ごとに格子状に配置されている。また、赤に感度を持つ受光素子は近赤外にも感度を有する。カラーカメラ９は受光感度のピーク波長が異なる３つの受光センサを持つ。各受光センサの受光感度は、たとえば青で450nm付近、緑で550nm付近、赤で620nm付近に受光感度のピークを持つセンサから構成され、それぞれの波長の感度より、生体から放射された光の空間的な色分布を獲得できる。また、撮影されるカラー画像は、RGBそれぞれの色プレーンが独立に獲得できるRGBカラー画像形式であるとする。なお、撮像装置９は、３波長を超えるマルチスペクトルカメラであってもよい。また、撮像装置９には光源３の出力するすべての光の波長を透過し、それ以外の帯域を遮断するフィルタが備えられており、不要な迷光を遮断して画質を高めている。

以上の構成により、入力装置２は、複数の可視光を照射することで指先の皮膚内に存在する様々な生体特徴を撮影することができる。ここで、皮膚内の生体組織について詳述する。

図３は、体表付近の生体組織を説明するための皮膚断面の模式図である。皮膚は多層構造を成しており、大別すると表皮３４、真皮層３５、皮下組織３６の３つに分類される。表皮３４は最も外側の層であり、表面には凹凸が存在し、これが皮膚のしわとして観察される。特に指先における凹凸は指紋３１として知られている。また、指の関節部や手のひらには、それぞれ関節紋、掌紋と呼ばれるしわが存在するが、この部分の表皮は薄く、真皮や更に深部の血液の赤色を呈する。また、表皮３４の奥側にはメラニンを生成する細胞組織が存在し、白色、黄色、茶褐色などの皮膚の色を呈すると共に、しみやほくろといった不均一な紋様を形成する。

表皮３４の奥に存在する層が真皮層３５である。真皮層３５は、線維芽細胞やコラーゲン、エラスチンなどの組織で形成され、その中には皮脂線、汗腺、神経、そして毛細血管３２や静脈３０が分布しており、場所によっては毛根も存在する。皮膚の赤み掛った色彩は、この真皮層３５の毛細血管３２により運ばれる血液によるものである。

最も奥に存在する層が皮下組織３６である。皮下組織３６には、比較的太い静脈３０や動脈が存在すると共に、皮下脂肪が存在している。皮下脂肪は、脂肪細胞が一つの塊を成した小葉構造となっており、この塊を脂肪小葉３３と呼ぶ。脂肪組織はこの脂肪小葉３３が多層に重なり合い、その隙間を微小血管や静脈３０が走行する構造となっている。すなわち、脂肪小葉３３の存在する部分は血液が存在せず、その隙間にのみ血液が分布している。

一般的に、皮膚に対して赤外線を透過または反射させて撮影した映像には静脈パターンが暗い影となって観測される。これは、赤外線が血液中のヘモグロビンに強く吸収されるため、静脈３０の部分の光量が低下することによる。一方、静脈３０よりも浅い層には毛細血管３２が存在しており、実際には毛細血管３２による光の吸収も生じている。それにもかかわらず、毛細血管３２の模様はほとんど観測されずに静脈３０の模様だけが観測される。その理由は、静脈３０が毛細血管３２よりも相対的に太く、それに伴い光の吸収率も毛細血管３２によるものより大きいためである。

これに対し、白色光などの可視光を透過または反射させてカラー撮影した皮膚の映像には、皮膚表面の凹凸による陰影や、表皮内のメラニンの白色あるいは黄褐色、真皮の毛細血管内の血液の赤、そして皮下組織３６に存在する静脈３０の青もしくは灰色など、皮膚内外に存在する様々な生体組織が呈する色彩が重畳された状態で観測される。特に表皮から真皮にかけての浅い皮膚層の色彩としては、血液が多く分布している部分は赤色を呈し、そうでない部分はメラニンの色素が支配的となって白あるいは黄色を呈する。

特に手指や手のひらにおいては、血液とメラニンによる皮膚の色彩は一様ではなく、不均一なまだら模様として観察される。これは主に血液の分布が不均一であることに起因する。血液の分布が不均一になる要因として、血管の走行の不均一性によるものと、血液が浸潤している層の厚みの不均一性によるものがある。前者に関し、真皮内の毛細血管３２は極めて細く、照射光の散乱の影響もあってその模様はほとんど観測できず、ほぼ一様な赤色として観測される。よって、後者の影響が主な要因となる。

血液の浸潤する層が不均一となる理由のひとつとして考えられるものは脂肪小葉３３の影響である。上述の通り、皮下組織３６に存在する脂肪小葉３３は脂肪の塊であり、その内部にはヘモグロビンを含まないため光の強い吸収は生じない。一方、脂肪小葉３３の隙間には血液が充満しているためヘモグロビンを含む。よって、脂肪小葉３３が存在する部分は真皮の毛細血管による光の吸収だけが生じ、脂肪小葉３３の隙間の部分は真皮層３５と皮下組織３６の両方の血液の層による光の吸収が生じる。そのため、脂肪小葉３３の分布の不均一性が血液の吸収率の差として観測される。また、脂肪小葉３３が皮膚の奥から外に向けて真皮層３５を圧迫し、脂肪小葉３３が存在する部分の真皮内の血液量が低減する影響もある。これも同様に脂肪小葉３３が存在する部分の血液による光の吸収量が低減し、その結果、不均一な模様として観察される。この２つの要因が複合して、脂肪小葉３３の模様がヘモグロビンとメラニンとのコントラストとして観測される。ここでは、このコントラストを脂肪紋と呼ぶ。

脂肪紋は、皮膚表面に何も触れていない非接触な状態だけではなく、接触状態においても観測される。たとえば指先を透明なアクリル板に押し付けた時、圧迫の力加減によって血液の量が変化するため血液とメラニンの色彩の模様は変化するものの、脂肪小葉３３の位置そのものは変化しないため、パターンとしての再現性は保たれる。したがって、圧迫の力加減による血流量の変動を吸収することができれば、パターンが同一なものであるかどうかを判定することが可能となる。

以上のように、皮膚では、指紋、ほくろなどのメラニン分布、脂肪紋、静脈、指関節など、多層に重畳した生体特徴が観測できる。これらの生体特徴は識別能力の高いものから低いものまで様々存在するが、少なくとも単体の認識成功率が0.5を上回るものであれば複数の生体特徴の融合により認証精度を高めることが可能となる。このような多層の生体情報を個人認証に活用する認証方式をマルチレイヤー生体認証と称する。この方式の利点として、（１）同時に多数の異なる生体情報が獲得できるため精度が高まる、（２）互いに重畳しているため位置補正用の情報として活用でき、さらに重なりの特徴を活用することでより精度が高まる、（３）脂肪紋などは密な特徴量であり、装置の小型化が実現しやすい、（４）偽造がより一層困難となる、などがある。

ここで、脂肪紋の情報を獲得する計測技術の一実施例を示す。図４は、上述の図２Ａ及び図２Ｂで示した入力装置２を用いて脂肪紋を計測する処理フローの一例である。

まず、利用者が指１を入力装置２の載置領域に載せたことを検知する（Ｓ４０１）。この検知方法としては、タッチセンサを入力装置２の開口部２２に具備してもよい。また、別の検知方法として、光源３を点滅させて画像を動画撮影し、光源３の点滅に同期して画像の輝度値の明暗が繰り返された場合は装置上部に被写体が存在すると判定してもよい。

次に、指１が入力装置２の載置領域にあるかを判定し（Ｓ４０２）、指１があると判定された場合は、ＬＥＤ（光源３）の青・緑・赤のそれぞれの波長の光を指に照射しながら光源３の照射強度を調整する（Ｓ４０３）。カメラ感度や光源３の出力強度の関係により画像の輝度値が飽和することがあるため、各波長で画像の輝度平均値が概ね一定になるように照射と撮影を繰り返し、光量値を収束させる。各波長の光量値が収束したら、その時の各波長の画像を撮影し、指表面のカラー画像を獲得する（Ｓ４０４）。入力装置２で獲得された画像は、画像入力部１８を介して認証処理部１０に入力される。

カラー画像として撮影された生体表面あるいは生体表面付近の内部組織の色彩情報には、指紋などの皮膚表面の凹凸や関節部分のしわなどの表皮３４の情報のほか、表皮３４に分布するメラニン色素、真皮層３５に存在する毛細血管３２、そしてその奥の皮下組織３６に存在する脂肪小葉３３や静脈３０など、様々な深さに存在する様々な色特性を持った生体組織の反射像が含まれている。たとえば、指の腹側はヘモグロビンに起因する赤み掛った血液の色と、メラニンに起因する白、黄色あるいはほくろなどの黒色の模様が見え、さらに真皮層３５あるいは皮下組織３６に分布する比較的太い静脈３０が青もしくは灰色に見える。このように、多波長の可視反射光を与えることで、様々な生体組織の色情報が重畳して１枚の反射画像として観測できる。

次に、認証処理部１０の認証部１０ａは、撮影されたカラー画像を用いてメラニンとヘモグロビンの色素濃度の分布を計測する（Ｓ４０５）。ここで、脂肪紋の情報を獲得するためにメラニンとヘモグロビンの色素量を計測する理由について述べる。個人認証に用いることのできる、たとえば指紋や静脈などの生体特徴は、ヘモグロビンやメラニンをはじめとする基本的な生体組織により構成されている。また、生体組織の存在する位置や生体組織の厚さなどの違いによっても生体特徴としては異なる部位となる。たとえば真皮層３５の毛細血管３２と皮下組織３６の静脈３０は共にヘモグロビンから形成されているが、真皮層３５の毛細血管３２は赤く、皮下組織３６の静脈３０は青く見えることから生体特徴としては異なるものであることが把握できる。さらに、関節紋は表皮が薄くなって赤みを呈する部位であり、基本的には真皮層３５の毛細血管３２と同じヘモグロビンの色彩ではあるが、その他の皮膚の部分に比べて表皮の厚み（凹凸の有無）が薄い。そのため、関節紋は、メラニン量が僅かであるという点において、真皮層３５の毛細血管３２とは異なる生体特徴として捉えられる。このように、特に皮膚の生体特徴を撮影して抽出する上では、ヘモグロビンとメラニンの色彩の強度を解析することが重要であり、メラニンとヘモグロビンの色素濃度の分布を計測することで、指の内部の複数の生体組織が呈する色彩が重畳した状態を考慮した情報を得ることができる。

そこで、本実施例では、反射画像の色彩情報より表皮のメラニンと真皮のヘモグロビンの空間的な濃度分布をそれぞれ独立に獲得し、それらに基づいて脂肪紋の画像を高精細に再構成する。なお、以下の例では、脂肪紋の計測として、メラニンとヘモグロビンの色素濃度の分布を計測するが、上述したように、メラニンとヘモグロビンの色素濃度の計測は、他の生体特徴、たとえば指紋、ほくろやしみ、静脈、関節紋などの計測にも適用可能である。

メラニンの濃度とヘモグロビンの濃度を独立に獲得する手法の一実施例は次の通りである。まず、Modified Lambert-beer則によると、画像の座標(x,y)におけるヘモグロビン濃度をρ_h(x,y)、メラニン濃度をρ_m(x,y)としたとき、これらと画像の色情報C^log(x,y)との関係は以下の式(1)で示されることが知られている。

C^log(x,y) = -ρ_m(x,y)σ_ml_m - ρ_h(x,y)σ_hl_h- p^log(x,y)1 + e^log ・・・(1)

ここで、C^log(x,y)は画像の座標(x,y)におけるRGBのカラー画像の各色要素の画素値に対数を施した値を３次元ベクトルで表現した値、σ_h、σ_mはそれぞれヘモグロビンとメラニンの色ベクトル、l_h、l_mはそれぞれヘモグロビンとメラニンの存在する層に到達して反射する光の平均移動距離、p^log(x,y)は座標(x,y)における影の強さ、1はノルムが１の３次元単位ベクトル、e^logは照射光の強度である。色ベクトルとは、単位濃度の生体組織を反射撮影したときに得られるRGBの各輝度値のベクトルであり、たとえばその生体組織が完全な赤であれば３次元ベクトルの赤を示す要素のみ値を持ち、青と緑の要素がゼロとなる。この式によると、観測画像の輝度値は、その対数を取ることによってヘモグロビン濃度とメラニン濃度の線形結合で表わせることが示されている。

ここで、式(1)からヘモグロビンとメラニンの濃度を推定する手法について述べる。前提として、ヘモグロビンとメラニンの色ベクトルを既知とし、ヘモグロビンとメラニンに到達する光の平均移動距離をそれぞれ、平均的な真皮と表皮の層の厚みの和、表皮層の厚み、とし、バイアス項を無視すると、未知数はヘモグロビンとメラニンの濃度と影情報の３つとなる。このとき、撮影画像の色空間はRGBの３次元であることから、カラー画像を撮影することで３つの方程式が得られる。よって、これらを連立方程式として解くことにより、ヘモグロビンとメラニン濃度、そして影の情報の３つの未知数を画素ごとに計算することができる。ただし、バイアス項を無視しているためそれぞれの相対的な濃度分布の情報となる。

以上より、ヘモグロビン、メラニンの濃度の相対的な分布の情報、すなわちこれらの模様を得ることができる。また、陰影の情報も得られることから、皮膚表面の凹凸による光の減衰や拡散により観測できる指紋パターンも獲得することが可能となる。しかしながら、指紋パターンはその空間的なピッチが概ね一定であることから、上記の影のパラメータからその模様を獲得する必要はなく、ガボールフィルタをはじめとするエッジ強調フィルタの適用により強調して獲得してもよい。

図５Ａ〜図５Ｃは、色空間から生体組織の濃度を算出する式(1)を説明するための模式図である。これらの図では、RGBの観測画像の輝度値の対数である３次元空間と、ある座標の輝度値として獲得された画素値とが式(1)の関係によって成り立つことが示されている。図５Ａでは、ある画素の画素値C^logが、３次元空間の１点としてプロットされている。ここで、σ_h、σ_mがそれぞれ図５Ｂの通りであったとする。ここで、影の方向を示す1ベクトルに沿ってσ_hとσ_mが成す平面に投影すると、図５Ｃのように、ヘモグロビン濃度ρ_hの相対値とメラニン濃度ρ_mの相対値を読み取ることができる。

上述の方法では、式(1)に含まれるヘモグロビンとメラニンの色ベクトルσ_h、σ_mは既知であるとした。これらの値は、各生体の吸光・散乱特性、光源の波長、センサの分光感度特性によって決定される。よって、生体の吸光・散乱特性とカメラの特性とを事前に調べておくことで、既知のパラメータとして扱うことはできる。

しかしながら、実用面を考慮すると、事前にカメラ感度や生体の色特性などを調査した上で色ベクトルのパラメータを決定することは困難である。そのため、ヘモグロビンとメラニンの濃度分布は互いに独立であることを仮定した上で、各生体組織の色ベクトルと濃度分布の両方が未知なままブラインド信号分離を行う独立成分分析(Independent Component Analysis; ICA)に基づく計算方法が提案されており、この方法を利用してもよい。一方、この方法は両濃度分布に相関がないことが前提であること、また物理的に正しい分離が行われる保証がないことから、用途としては限定的となる。

そこで本実施例では、指先の接触を利用した、生体の実測値に基づく色ベクトルの推定を実施する。図６Ａ〜図６Ｄは、上述の図５Ａ〜図５Ｃで示した色空間における、多数の座標の画素値の変化から生体組織の色ベクトルを推定する方法の説明図である。

図２Ａの入力装置２において指先をアクリル板２３に押し付けると、通常は赤色を呈する皮膚表面がメラニンに起因する黄色あるいは白に変色する。これは、接触の圧力によって血液量が減少する一方で、圧力を掛けてもメラニンは減少しないことから、ヘモグロビンが呈する赤色のみ薄くなるために生じる。すなわち、指先でアクリル板２３を押下したときの色情報の変化量を観測すると、その変化量からヘモグロビンが持つ色ベクトルを算出することができる。

図６Ａは、指を押し付ける前の画素値６０と、同じ座標における押し付けた後の画素値６１の変化を示している。押し付けることにより血流が低減し、多くの画素値において色空間上で同じ方向に移動する様子が分かる。この移動方向はヘモグロビンの低減の影響によるため、図６Ｂに示すように、移動方向の平均値を求めることでヘモグロビンの色ベクトルσ_hを推定することができる。

ヘモグロビンの色ベクトルが既知となったため、もうひとつの生体組織であるメラニンの色ベクトルσ_mを推定する。この一手法として、押し付け前後において色空間上で変動した距離の大きい画素の上位から所定の割合だけ取り出し、そのデータの押し付け後の画素値を直線近似した結果をそのままメラニンの色ベクトルとする方法がある。この方法は、指先の圧迫によりヘモグロビンがほぼ消失した場所が存在することを前提とした推定方法であり、誤差を含む可能性はあるが実用的には十分な近似解を得ることができる。図６Ｃは変動の大きい画素値を上位半数だけ残した状態を示し、図６Ｄはそのときの押し付け後の画素値６１より近似直線を獲得してメラニンの色ベクトルσ_mを獲得する様子を示している。このように、ヘモグロビンとメラニンの色ベクトルを推定することができるため、それぞれの濃度を算出できる。

上記のヘモグロビンの色特徴量の推定は物理的な変化を用いたものであるため、従来のICAに基づく手法に比べて信頼性の高い推定が可能となる。なお、上記で説明した推定方法は、指先でアクリル板２３を押下したときの色情報の変化量を観測できれば利用できるため、指先を入力装置２のアクリル板２３に接触させた又は押し付けたときの、少なくとも２つの異なる状態の画像が取得されればよい。

生体組織の色ベクトルを推定する別の方法として、生体特徴の形状に基づく推定方法を用いることもできる。この方法では、生体の形状より生体部位を推定し、その生体部位の色情報と一般的な生体部位が持つ生体組織の密度に関する事前知識から、生体組織の色ベクトルを推定するものである。たとえば、指の関節に見られる関節しわは、表皮が薄いためヘモグロビンに起因する赤色が周囲の表皮の色に比べて強く、メラニンに起因する色が薄い。よって指の関節しわの部分においては、ヘモグロビンの色特徴のみが強く表れ、メラニンの色特徴は少ないといえる。よって、指の輪郭線の形状より指の領域を特定し、そして指の方向と直交する赤みがかった線を関節しわとして位置を特定すれば、関節しわの部分の色情報をそのままヘモグロビンの色ベクトルとできる。このように、認証処理部１０の認証部１０ａは、画像内の色情報から指の特定の部位を特定し、その部位の色情報をある色素の色ベクトルとみなしてもよい。この情報をもとに、認証処理部１０の認証部１０ａは、ヘモグロビンの濃度分布の情報を得てもよい。

この方法は、上述の方法のように生体を圧迫することなく実施できるため、非接触の生体認証を実現する際に利用できるという利点を有する。なお、メラニンの色特徴量ついては、上述したように、ヘモグロビンの色特徴量が既知であるとして、ICAと同様の方法で推定してもよい。

上述のように獲得した生体組織の色特徴より、各画素においてヘモグロビンとメラニンとがどの程度の割合で存在しているかの情報を得ることができる。

図４の説明に戻り、最後に、認証処理部１０の認証部１０ａは、脂肪紋画像の再構成を行う（Ｓ４０６）。この例では、獲得した生体組織の量から個人に特有な生体特徴として、脂肪紋画像を得る。

上述で得たヘモグロビンとメラニンのパターンは、生体同士が多層に重なり合って観測されても独立に推定できるものである。そのため、たとえば毛細血管３２のパターンに重なって分布するメラニンのパターンも獲得される。よって、本来獲得したい生体特徴、ここでは脂肪紋であれば、ヘモグロビンとメラニンの分布をそのまま脂肪紋の情報として取得し、この情報をもとに再構成した画像を認証に利用することができる。上述したように脂肪小葉３３が存在する部分によってヘモグロビンとメラニンの分布が不均一になり、その分布の模様を脂肪紋とみなして利用できるためである。同様に、関節紋についても、この部分のメラニン量が僅かであるという観点から、ヘモグロビンの分布をそのまま関節紋の情報として用いることができる。ここでの関節紋は、指の関節の部分であって、表皮３４が薄くなって赤みを呈する部位を意味する。

ただし、脂肪紋と関節紋とを区別して抽出し、これらを同時に認証に利用する目的であれば、関節紋のメラニン分布が周囲より少ないという事前知識に基づき、脂肪紋と関節紋とを区別できる。つまり、ヘモグロビンの濃度分布の高い部分で構成される模様のうち、メラニンの濃度が相対的に高い部分が脂肪紋、低い部分が関節紋、として区別される。脂肪紋や関節紋だけでなく、たとえばほくろやしみなど他の生体特徴であっても、基本的な生体組織の組成比率が事前に把握できるのであれば、基本的な生体組織の濃度よりその生体特徴である確からしさを得ることができ、よりコントラストが高い生体特徴の画像再構成が実現できる。このように、認証処理部１０の認証部１０ａは、Ｓ４０５で計測したヘモグロビンとメラニンの濃度分布の情報を用いて複数の生体特徴（ここでは、脂肪紋と関節紋）を区別して抽出し、画像を再構成してもよい。

また、ヘモグロビンとメラニンのコントラストを撮影するだけであれば、青あるいは緑の可視光を照射し、その反射光または透過光をカラーカメラ９で撮影してもよい。真皮に存在する赤い色を呈するヘモグロビンは緑あるいは青の波長で強く光を吸収し、黄や赤においては相対的に吸収率が低下することから、可視光で赤く見えるヘモグロビンのパターンの観測は、緑あるいは青の照射で十分である。ただし、透過光での観測は生体の厚みと光強度との関係により光が透過しにくく、手指の付け根の水かき部分や耳などの比較的薄い部分以外では強い光を照射する必要がある。一方、反射光による撮影では比較的弱い光量で観察できる。ただし得られた画像のコントラストが低い場合も多く、アンシャープマスクなどの強調フィルタを施すことで、脂肪紋あるいは関節紋などの毛細血管３２に関わる生体特徴を鮮明に獲得できる。また同様に、赤の波長を照射することで深部に存在する静脈３０を観測できる。それは、青や緑のような短波長の光では深部の静脈に到達できないためである。

このように、本来では複数波長の映像解析により混色した各生体組織を分離することでより鮮明な生体組織の観察が可能となるが、ここで示したように、観察したい生体組織に合わせて単色の可視光を照射するだけでも、一定の画質で撮影が可能となる。この方法では複雑な画像再構成技術が不要となるため処理コストを低減することが可能となる。

続いて、図２Ａ及び図２Ｂに示した入力装置２を用いて上述の方法で撮影した生体特徴を精度良く照合する一手法について述べる。入力装置２は、指先を載置領域（透明アクリル板２３）に置くことが前提となるため、指先での圧迫による脂肪紋の変動が生じる。よって、この変動にロバストな照合処理を実施することが高精度化には必須となる。

図７Ａ及び図７Ｂは、押し付け方の違いによる脂肪紋の変化を説明する図である。図７Ａは、指１が入力装置２の載置領域に軽く接触している場合の脂肪紋の模様を示した図である。図７Ａでは、指１の押し付けが弱く、血液の消失が少ないことから、指先画像７０に映っている脂肪紋のうちの血液模様７１の部分が比較的大きく観測できる。

一方、図７Ｂに示す通り、押し付ける力が図７Ａに比べて強い場合は、血液模様７１が一部消失し、消失していない血液模様７２と消失した血液模様７３に分けられる。その理由としては、毛細血管３２や脂肪小葉３３の存在する位置、形、大きさ、深さなどの関係によって、圧力を強く掛けても消えにくい毛細血管３２と容易に消えてしまう毛細血管３２とが分布しているためである。一方、圧力を掛けても毛細血管３２や脂肪小葉３３の形状そのものは変わらないため、繰り返し指先を押し付けてその圧力を変えると、これまで見えていた血液模様７１が消失したり、逆に消失した血液模様７３が再び観測されたりすることもある。このように、パターンそのものは再現するが、置き方によって変動が生じる。また、脂肪小葉３３の位置や形状などの要因により、常に血液模様が観測される場所もあれば軽い圧力でも消失しやすい場所もあると考えられる。すなわち、血液模様が観測される確率分布を定量化することが可能となる。

そこで、本実施例においては、これまでに血液の分布が観測できた場所と消失していた場所の統計を取ることで、血液模様の観測確率分布を計算し、これを照合の重みテーブルとして登録する。そして、照合処理においては、この重みテーブルを用いてテンプレートマッチングを行う。

図８は、照合処理に用いる脂肪紋の登録データの登録処理手順の一実施例である。なお、図８の処理を行う前に、入力装置２において複数のカラー画像が撮影され、これらの画像が認証処理部１０に入力されているとする。重みテーブルは、指先でアクリル板２３を押下したときの色変化を観測できれば作成できるため、指先を入力装置２のアクリル板２３に接触させた又は押し付けたときの、少なくとも２つの異なる状態の画像が取得されていればよい。以下の処理の主体は、認証処理部１０の登録部１０ｂである。

はじめに、登録部１０ｂは、脂肪紋の登録データを生成する（Ｓ８０１）。登録データは、脂肪紋の血液部分と血液でない部分の２値データとなるように、上述の手法により獲得したメラニンとヘモグロビン濃度の分布に対して閾値処理を行い、ヘモグロビンの濃度の高い部分を血液部、それ以外を非血液部の２値へと変換されたデータである。さらに、登録部１０ｂは、複数回の指の撮影により得られた複数の画像を用いて、複数の同一指の脂肪紋の登録データを作成する。そして、登録部１０ｂは、これらのうち任意の１枚を、登録データとして記憶装置１４に保存する。登録データは、最初の１枚目や最後の１枚を選択してもよい。また、別の例として、撮影した複数の登録データ候補間で総当たり照合し、他の候補との類似性が最も高い結果となるものを登録データとして選んでもよい。また、登録データは、１枚の画像に限定されず、複数の画像を登録データとして保存してもよい。

次に、登録部１０ｂは、重みテーブルを初期化する（Ｓ８０２）。重みテーブルは、血液の観測確率の分布であり、後述の照合処理で利用する。具体的な初期化方法は、まず上記で撮影した複数の登録データ候補のすべてを最も類似性が高まる位置に重ね合わせ、各座標の画素値が血液と分類された頻度を確率として保持する。たとえば５枚の登録データ候補を獲得したとき、全画像を照合して重ね合わせ、ある座標の画素が３枚のデータで血液部となった場合、重みテーブルにおいてその座標は３という値を保存することになる。このように、重みテーブルの全画素において血液部の頻度数を埋め、これを重みテーブルの初期値とする。また、重みテーブルを作成する際に統計を取ったデータ数である、統計データ総数も初期化する。たとえば５枚の登録データを利用した場合、統計データ総数は５に初期化される。つまり、重みテーブルの値を統計データ総数で除算すると、その画素における血液の観測確率となる。したがって、重みテーブルは、画像中の各画素と、その画素における血液の観測頻度とが関連付けられたデータとなる。最終的に、登録部１０ｂは、初期化された重みテーブルを記憶装置１４に保存する。

次に、脂肪紋の照合処理手順の一実施例を図９を用いて説明する。図９は、利用者から得た入力データと登録データとの照合手順の一実施例である。

はじめに、図２Ａ及び図２Ｂに示す入力装置２によって、載置領域に置かれた利用者の指を撮影する（Ｓ９０１）。撮影された画像は、画像入力部１８を介して認証処理部１０に入力される。続いて、認証処理部１０の認証部１０ａは、上述の手法に基づき、入力された画像から脂肪紋のパターンを獲得する（Ｓ９０２）。その後、認証部１０ａは、脂肪紋の入力データを作成する。ここでは、登録データの生成と同様、血液部とそれ以外の２値データに変換しておく。

次に、脂肪紋の入力データと脂肪紋の登録データとの照合を実施するが、ここでは重みテーブルを用いた重み付け照合を実施する（Ｓ９０４〜Ｓ９０５）。

ここで、重み付けによる脂肪紋のテンプレート照合の一手法を図１０Ａ〜図１０Ｃで説明する。ここでは、図１０Ａの登録データ１００が指の接触圧力が小さい状態で撮影されたものであり、図１０Ｂの入力データ１０１が指の接触圧力が大きい状態で撮影されたものである。また、図１０Ｃは、上述した重みテーブルに格納された観測頻度の分布の情報を２次元平面上の濃淡で示した図である。

一般的なテンプレートマッチングでは、登録データ１００と、やや押し付け圧力の強い入力データ１０１の両データを重ね合わせ、位置や回転角をずらしながら最も一致する場所を探し、そのときの類似度を算出する。最も一致する場所の判定方法としては、両データを重ね合わせたとき、一方の血液部１０２ともう一方の非血液部１０３とが重なる相違画素の画素数を総和し、これを両データの血液部の総画素数で割った値を相違度とみなして、これが最も小さくなる重ね合わせ位置を探索する方法に基づく。そしてこのときの相違度を１から減算した値が両データの類似度を表す。

これに対し、本実施例のテンプレートマッチングでは、上述の相違画素の画素数と血液部１０２の総画素数の値を、重みテーブル１０４に基づいて変換する点が従来のテンプレート照合との相違である。まず、認証部１０ａは、上述の相違画素の画素数の重み付け合計値を、重みテーブル１０４を用いて計算する（Ｓ９０４）。

図１０Ｃに示すように、重みテーブル１０４は、血液の観測頻度の高い部分１０５を濃い色で、血液の観測頻度が低い部分１０６を薄い色で、血液が出現しない個所を白い色で表わしており、その値は空間的に連続的に変化している。まず、登録データ１００と入力データ１０１をある位置において重ね合わせ、さらに重みテーブル１０４を登録データ１００に一致するように重ねる。そして、登録データ１００と入力データ１０１とを重ね合わせた状態で、一方が血液の画素でもう一方が血液のない画素となる相違画素の数を数える。このとき、ある座標に対応する重みテーブル１０４に格納された値を前記の統計データ総数で割った具体値をＷｉとしたとき、従来は１画素と数えていたところ、本実施例においてはＷｉ画素と数える。なお、Ｗｉの値はその位置における血液部の出現確率を表しているから、０≦Ｗｉ≦１となる。

次に、認証部１０ａは、上述の相違画素の重み付け合計値を用いて、相違度を算出する（Ｓ９０５）。血液部の総画素数を数える際も同様に、同じ座標の重みテーブルの値から血液部の出現確率を計算し、この値を加えていく。そして最後に、重み付けられた相違画素数を、重み付けられた血液部の総画素数で割ることで、相違度を算出する。

次に、認証部１０ａは、類似度の大きさによって入力データ１０１と登録データ１００とが一致しているかを判定する（Ｓ９０６）。類似度は、例えば、相違度を１から減算した値である。一致するかの判定は、例えば、類似度が所定の閾値を超えるかどうかで行うことができる。

類似度が高いと判定された場合は認証成功となり（Ｓ９０７）、所定の認証処理を実施する。そして、認証部１０ａは、重みテーブル１０４を更新（Ｓ９０８）し、認証処理を終了する。重みテーブル１０４の更新は、現時点の重みテーブル１０４、統計データ総数、認証が成功したときの入力データ１０１、の３つを用いて実施する。つまり、登録データ１００と最も類似度が高まる重なりの位置において、入力データ１０１の血液部１０２となる画素に対応する重みテーブル１０４の値を１つインクリメントすると共に、統計データ総数も１つインクリメントする。これにより、血液の出現頻度が更新される。なお、重みテーブル１０４の更新は、入力中に押し付けている最中の映像を動画的に複数枚撮影し、これらから画素ごとに血液の観測される頻度を算出してもよい。

一方、類似度が所定の閾値より小さい場合は不一致となり、認証部１０ａは、指の撮影を開始してからのタイムアウトを判定する（Ｓ９０９）。タイムアウトでなければ再び指の撮影に戻り、タイムアウトであれば認証失敗となり（Ｓ９１０）、認証処理を終了する。

このように、相違画素数に血液の観測確率の重みを考慮することで、押し付け圧力によって変動しやすい部分の相違はほぼ無視でき、安定して観測されるパターンの相違はより大きなペナルティとして評価されるように照合処理を実施できる。これにより、押し付けによるパターンの変動の有無を吸収しながらパターンの形状の類似度を評価することが可能となる。

また、上述の照合手法は、登録データ１００と重みテーブル１０４を別途持たせているが、重みテーブル１０４は血液のパターンを反映している情報であるため、登録データ１００を保持せずに重みテーブル１０４を登録データ１００と見なして照合することもできる。しかしながら、重みテーブル１０４は徐々に更新されていくため、意図的に僅かにパターンを変化させることができるならば、最終的に別パターンに差し替わってしまう可能性もある。そこで上述のように、重みテーブル１０４とは別に登録データ１００を持たせ、これを基準に照合する方法が安全である。また、統計データ総数が十分大きい値となったときに、登録データ１００は非血液部だが重みテーブル１０４には高い頻度で血液部が出現しているという画素がある場合、登録データ１００の該当する画素の非血液部を血液部に変更してもよい。これは、登録データ１００を生成する際に血液部が欠落している場合もあるため、この変更により真のパターンを反映した登録データ１００を作成することが可能となり、認証精度を高めることができる。

なお、上述の実施例ではテンプレートマッチングをベースとした照合処理について説明したが、たとえば端点や分岐点や屈曲点を抽出してその周辺の輝度勾配などの情報によって照合を行う、特徴点マッチングをベースとした照合手法においても、同様の重みテーブルを用いて押し付けの変動にロバストな処理を実現できることはいうまでもない。

本実施例によれば、狭い範囲から人を特徴付ける多様な生体特徴の情報を取得し、高精度に認証を行うことができる。指先などの狭い範囲から、複数の生体組織が呈する色彩が重畳した状態を考慮した情報を抽出できるため、小型で使い勝手が良い、高精度な生体認証装置を提供できる。

[第２実施例]
図１１は、第２実施例である、脂肪紋と指静脈とを用いた生体認証装置の一実施例である。入力装置２の筐体２１には、指１を置くための指置き台１１３が設けられている。本実施例では、指を開口部２２のアクリル板２３に接触させない状態で画像を取得する。

また、入力装置２の筐体２１には、光源支持部１１２が設けられている。光源支持部１１２は、指１の載置領域の上方に延びるように設けられており、光源支持部１１２には、近赤外の透過光源１１０が取付けられている。近赤外の透過光源１１０は、指１の手の甲側を照射するように設置されている。

筐体２１の内部には、可視光の反射光源１１１が具備され、反射光源１１１は指１の手のひら側を照射する。撮像装置９は一般的なカラーカメラであり、近赤外線はカラーカメラ９の赤に感度のある受光素子によって受光される。これにより、透過光源１１０の光を透過した映像から指静脈パターンが、そして反射光源１１１の光を反射した映像から脂肪紋パターンが得られる。ただし、反射画像から得られる生体特徴は脂肪紋に限らず、指紋、関節紋、メラニン分布などを組み合わせられることは言うまでもない。

図１２は、本実施例の認証処理システムにおける、脂肪紋と指静脈とを用いた認証の一実施例の処理フローである。なお、以下の認証処理の前提として、記憶装置１４には、利用者の指静脈パターン（たとえば、図１４Ａのパターン）と脂肪紋パターン（たとえば、図１４Ｂのパターン）とがそれぞれ登録データとして記憶装置１４に格納されているとする。

まず、利用者が入力装置２の載置領域に指１を置くと、透過光源１１０が点灯すると共に反射光源１１１が消灯する。そして、カラーカメラ９によって赤外透過画像を撮影し、指静脈の画像を得る（Ｓ１２０１）。続いて、透過光源１１０を消灯した上で反射光源１１１が点灯し、カラーカメラ９によって、可視光の反射画像を撮影して脂肪紋の画像を得る（Ｓ１２０２）。ここで得られた指静脈の画像及び脂肪紋の画像は、画像入力部１８を介して認証処理部１０に入力される。

なお、これらの光源を同時に点灯しない理由は、赤外透過光と可視反射光は共に赤の波長に感度のある受光素子に反応するため、透過光と反射光を同時に受光すると赤成分の受光素子に到達した赤外光と赤色光とを分離できなくなるからである。そのため、これらの光源を瞬時に交互点灯する。すなわち、透過光を点灯した時と反射光を点灯した時の赤成分に感度を持つ受光素子は、それぞれ、赤外透過光、可視反射光を撮影することになる。このように、赤外光と赤色光の点灯を瞬時に切り替えながら時分割で受光することで、ほぼ同時刻の赤外透過画像と可視反射画像を一つのカラーカメラ９で受光できる。ほぼ同時刻の映像であるため、両画像における指の位置ずれはないものとみなせる。

なお、このカラーカメラ９を赤外波長に感度を持つセンサを具備したものに置き換える、あるいはプリズムなどで波長ごとに分光して受光したりする可視光・赤外カメラに置き換えれば、同時に赤外光と可視光を受光できることはいうまでもない。

次に、認証処理部１０の認証部１０ａは、撮影した赤外透過画像と可視反射画像より、それぞれ指静脈のパターンと脂肪紋のパターンを抽出する（Ｓ１２０３）。指静脈の抽出に関しては、一般的に知られている方法として、たとえば血管をマッチドフィルタやガボールフィルタで強調する方法や、血管の中心位置を検出するフィルタ処理などによって静脈パターンを獲得する。また、脂肪紋に関しては前述の実施例に記載の方法を用いることができる。なお、可視反射画像からは脂肪紋だけではなく、指紋や関節紋を同時に抽出してもよい。また、指輪郭が撮影できる場合においては、指輪郭に基づいて指の位置ずれ量を正規化してもよい。このような他の生体特徴を利用することにより、位置ずれにロバストな照合が実施できたり、認証精度を向上させたりすることが可能となる。

続いて、認証部１０ａは、登録された指静脈パターンと脂肪紋パターンに対し、入力された指静脈パターンと脂肪紋パターンを照合する（Ｓ１２０４）。そして、認証部１０ａは、両方の生体特徴の照合結果より、登録データと入力データの相違度を算出する（Ｓ１２０５）。照合処理と相違度の算出の具体的な実施例については後述する。

そして、認証部１０ａは、相違度を事前に設定された閾値と比較し、両データが一致するとみなせるかを判定する（Ｓ１２０６）。登録データと一致しているとみなせる場合は認証成功となり（Ｓ１２０７）、認証成功時の処理を実施して終了する。一方、一致ではないと判定された場合は指１の撮影開始からタイムアウトが生じているかどうかを判定し（Ｓ１２０８）、そうでなければ、入力装置２による指１の撮影に戻る。もしタイムアウトであれば認証失敗となり（Ｓ１２０９）、認証処理を終了する。

ここで、指静脈と脂肪紋の照合処理と相違度の算出の一実施例について述べる。図１３Ａ〜図１３Ｃは、それぞれ撮影された指静脈と脂肪紋のパターンの模式図を示す。

図１３Ａは、指の赤外透過画像１３０である。指の赤外透過画像１３０は、透過光源１１０の光が透過した指が映っており、ここには指静脈１３２が映し出される。図１３Ｂは、指の可視光反射画像１３１である。指の可視光反射画像１３１には反射光源１１１を照射したときの指が映っており、その中には脂肪紋１３３が分布している。

脂肪紋１３３は細かい斑点状の紋様を呈し、また指静脈１３２は線状の紋様を呈する。また、脂肪紋１３３と指静脈１３２は皮膚内の異なる層の生体特徴であるため、図１３Ｃに示すように、指静脈１３２と脂肪紋１３３の合成画像１３４を作成する。合成画像１３４に示すように、脂肪紋１３３と指静脈１３２はそれぞれが重畳することがある。その部分では脂肪紋１３３の斑点状の模様は指静脈１３２の線に重なって観測される。この両方のパターンは独立に獲得できるため、それぞれを独立に照合することもできるが、両者の重なり方を利用して照合した方がより高い認証精度を得ることができる。ここでは、その手法に関する２つの実施例について記載する。

一つ目の実施例は、指静脈１３２を特徴点に基づいて照合する際、脂肪紋１３３の紋様の位置から特徴点を抽出する方法である。

指静脈パターンについては、たとえばSIFT(Scale-invariant feature transform)などの特徴点や、あるいは指紋のマニューシャに相当する情報を用いることで、位置ずれや変形にロバストな照合を実現できるが、このとき指静脈１３２の形状として特徴的となる部分を自動検出することになる。指静脈１３２の特徴的な部分としては、端点、分岐点、屈曲点が安定して検出できる。しかしながら、たとえば指紋などの細かい線パターンにより構成される生体特徴の分岐点や端点の数に比べると比較的少ない。また、静脈の分布しない部分の面積も比較的大きく、疎なパターンであることも多い。よって、指静脈パターンだけからは多数の特徴点が抽出できず、認証精度が劣化する問題が生じやすい。そこで、脂肪紋１３３の斑点状のパターンを活用すれば、指静脈１３２の特徴量を相対的に増やすことができる。

具体的な処理手順は次のとおりである。以下の処理の主体は、上述の通り、認証部１０ａである。図１４Ａ〜図１４Ｅは、脂肪紋１３３と指静脈１３２の特徴量を組み合わせた特徴点照合方式を説明する模式図である。

まず、図１４Ａに示すように、認証部１０ａは、指静脈１３２の透過画像から指静脈パターン画像１４０を作成する。また、図１４Ｂに示すように、認証部１０ａは、脂肪紋１３３の反射画像から脂肪紋画像１４１を作成する。

次に、図１４Ｃに示すように、認証部１０ａは、指静脈パターン画像１４０の中から静脈の分岐点、端点、屈曲点などを検出し、図中では実線の丸印で示される指静脈１３２の特徴点１４３を得る。同様に、図１４Ｄに示すように、認証部１０ａは、脂肪紋画像１４１から脂肪紋の斑点状の模様の中心位置を検出し、図中の破線の丸印で示される脂肪紋の特徴点１４５を得る。

最終的に、図１４Ｅに示すように、特徴点１４３を得た指静脈パターン画像１４０と、特徴点１４５を得た脂肪紋画像１４１とを重ね合わせることにより、指静脈と脂肪紋の特徴点合成画像１４６を得る。これらの点を特徴点と見なし、上述のSIFTやマニューシャに基づく特徴点照合を実施する。このとき、特徴点の分類として、指静脈の特徴点１４３、脂肪紋の特徴点１４５のほか、指静脈のパターンに脂肪紋の点状の模様が重なったものを第三の特徴点と見なしてもよい。一般的に、マニューシャによる特徴点照合においては、その特徴点が端点か、あるいは分岐点かなどを分類することにより、誤対応を減らすことが行われるが、本実施例においても静脈か、脂肪紋か、静脈上の脂肪紋か、といった異なるラベルを付与することができる。より詳細には、本実施例では、特徴点を、生体特徴の種類及び特徴点の種類の観点で分類し、例えば、静脈上の端点、静脈上の分岐点、静脈上の屈曲点、脂肪紋、静脈上の脂肪紋のようなカテゴリーに分類できる。

特徴点が獲得できれば、それぞれの特徴点の周囲の特徴量を静脈と脂肪紋とでそれぞれ記述し、照合を行うことができる。特徴量としてはSIFTをはじめとする画像の輝度勾配特徴を用いることができる。認証部１０ａは、照合の際、同じカテゴリーに分類された特徴点同士の特徴量の類似度を計算する。そして、全特徴点のうち、類似したと判定できる特徴点の数の比率により、両データの最終的な類似度を得ることができる。

以上の処理により、従来では指静脈の特徴点として得ることができない部分（たとえば静脈が直線に走行している部分）などにおいても特徴点を得ることができるため、特徴量が増加し、指静脈の認証精度を高めることができるようになる。

二つ目の実施例は、脂肪紋と指静脈とを独立に照合する際、一方の照合で検出したパターン間の位置ずれ量を、もう一方の照合に活用するものである。

実運用の際、登録時の指の位置と認証時の指の位置は僅かに異なることが多い。そのため、一般的な指静脈の照合処理においては、登録データと入力データとを重ね合わせた上で位置をずらしながらパターンを比較し、パターンが最も類似する位置がその指の位置ずれ量であると推定する。これにより、位置ずれを含むデータ間の照合が正しくできることになる。

しかしながら、異なるパターン同士の照合の際も同様にパターンの類似性が高まる場所を探すことになるため、本来ならば類似性が低い別指パターン同士の照合においても類似性が高まってしまう傾向があった。これは、本質的な指の位置ずれ補正をする代わりに、パターンの類似性に基づいて位置ずれ量を推定しているために生じるものである。一方、真の指の位置ずれ量を検出するために、たとえば指の輪郭情報など、指の位置を特定できる情報を利用する方法もある。しかしながら、この方式では認証装置によっては指の輪郭が撮影できない場合もある。また、指の輪郭情報は２次元情報として獲得されるものであるが、実際の指のずれは３次元的に発生する場合もあり、２次元情報としての輪郭の位置を合わせても指のずれを正しく補正できるとは限らない。そのため、指の輪郭から指の絶対的な位置を特定することも困難であった。

この課題を解決するために、本実施例では、脂肪紋と指静脈とを独立に照合し、一方のパターンで類似性が最も高くなる位置ずれ量を算出したのち、もう一方のパターンで類似度を判定する。この手法を図１５を用いて説明する。以下の処理の主体は、上述の通り、認証処理部１０の認証部１０ａである。

まず、認証部１０ａは、登録された指静脈パターン１５０と入力された指静脈パターン１５１を重ね合わせ、静脈パターンが最も一致する位置ずれ量を探索する。次に、認証部１０ａは、その探索位置を利用し、その位置ずれ量の状態で登録された脂肪紋１５２と、入力された脂肪紋１５３とを重ね合わせて照合し、脂肪紋の類似度を算出する。ただし、このとき位置ずれ量の探索の誤差が含まれることを考慮し、脂肪紋を照合する際に僅かに位置をずらし、そのなかで最も類似度が高い結果を最終的な脂肪紋の類似度として獲得してもよい。

その後、指静脈での処理と脂肪紋での処理とを入れ替える。上述と同じように、認証部１０ａは、登録された脂肪紋１５２と、入力された脂肪紋１５３とを重ね合わせ、脂肪紋で類似性が最も高くなる位置ずれ量を求める。次に、認証部１０ａは、その位置ずれ量において、登録された指静脈パターン１５０と入力された指静脈パターン１５１を重ね合わせ、指静脈の類似度を算出する。最後に、認証部１０ａは、指静脈の類似度と脂肪紋の類似度を平均する、あるいは所定の重みに従って線形結合する、などの方法により、指静脈と脂肪紋の２つの類似度を合成し、最終的な類似度あるいは相違度を獲得する。

本実施例の方式においては、指の位置ずれ量の推定に用いる特徴量と類似度を算出する特徴量とが別の情報であるため、従来の課題である位置ずれ量の推定により別指同士の類似度が低下するという問題を回避しながら、位置ずれが生じている指同士の類似性を正しく判定することが可能となる。

図１６Ａ〜図１６Ｃは、指静脈１３２と関節紋との重なり部分をコード化して認証する処理を説明する図である。

関節紋は、手などの関節部にある皮膚のしわのことであり、表皮層や皮下組織が周囲より薄くなっている。関節紋の位置はほぼ不変であり、またその形状も指によって異なることから、位置ずれに頑健な認証に活用できる生体特徴の一つである。なお、以降で取り上げる関節紋は、指の手のひら側の指先に最も近い関節部分にあるしわであるとする。

関節紋はその表皮が薄いことから、メラニンに比べてヘモグロビンの色彩が優位となる部位である。ヘモグロビンの色を呈する部位であるため、図１１にて示した反射光と透過光を用いた認証装置では、脂肪紋だけでなく関節紋も撮影できる。このとき反射光を用いたヘモグロビンとメラニンの濃度分布の獲得手法において、ヘモグロビン濃度がメラニン濃度に比べて多い場所を関節紋の位置として特定できる。また、関節紋の奥側には指静脈１３２が走行しているが、これも図１１の透過光を用いてその模様を撮影できる。

図１６Ａは、入力装置２によって取得された指静脈と関節紋の重畳映像１６０を示す。重畳映像１６０において、指静脈１３２は指の長手方向に沿って走行する血管が支配的であり、その一方で関節紋１６１は指の長手方向とは直交する方向に走行することから、指静脈１３２と関節紋１６１とは概ね直交する。

そこで、図１６Ｂに示すように、認証処理部１０の認証部１０ａは、静脈パターンと関節紋とを上述の手法で抽出し、両パターンを重畳した画像１６２を作成する。このとき、指静脈１３２と関節紋１６１との交差点１６３は指によって固有の特徴量となる。また、関節紋１６１は指の表面の模様として鮮明に観測できる上に、ほとんどの指でほぼ同じ位置に存在するため、その位置を一意に特定しやすく、指の位置がずれた場合でも検出しやすいという特徴を持つ。また、指静脈１３２に関しても、関節紋１６１の位置は表皮が薄いため鮮明に観測できるという利点を持つ。ただし、関節紋１６１は複数あったり屈曲したりする場合がある。そのため、認証部１０ａは、関節紋１６１を最小二乗法により直線近似する。さらに、もし複数の関節紋が観測された場合、認証部１０ａは、最も指先に近い関節紋を利用するか、あるいはすべての関節紋の近似直線を獲得するなどにより、関節紋の近似直線を一意に決定する。

次に、認証部１０ａは、関節紋１６１の近似直線と指静脈１３２の交差点１６３を一次元の２値コード１６４に変換する。関節紋１６１の近似直線に沿って、１画素ずつ、その点が指静脈１３２と交差しているかを調べ、交差していない場合は０、交差している場合は１のいずれかをコードとして割り当て、上から下に向けてコードを埋め、全体として２値コード１６４を作成する。２値コード１６４の白い部分が指静脈１３２と交差している部分を表し、黒い部分がそれ以外の部分を表す。この例では、２値コード１６４の黒い部分が０、白い部分が１に割り当てられたビット列である。２つの交差点の間の距離が大きいほど、その間に挿入される０のビット列が長くなる。また、交差している点の静脈の幅が広いほど１のビット列が長くなる。

この２値コード１６４のビット列の長さは、上述のように撮影した画像の画素に対応させて１画素につき１ビットとして割り当ててもよく、ビット列をある係数だけ拡大・縮小したスケールに変換してもよい。ただし、指静脈１３２の幅は変動する可能性があるため静脈幅の正規化を実施することにより安定性が高められる。つまり、指静脈１３２の中心線を検出しておき、その中心線を一定の幅に太らせる処理を行ったうえで関節紋１６１の近似直線との交点を交差点１６３として獲得する。このようにすれば、１のビット列の長さはすべての交差点に対して同じとなる。以上のように、関節紋１６１と指静脈１３２との相対的な位置は不変であるため、関節紋を検出することができれば、スケールによる相違は生じるものの、この２値コードはほぼ位置に不変な情報として獲得できる。

この２値コード１６４の照合処理の一例を示すと次のようになる。図１６Ｃは、２値コードの照合処理を説明する図である。認証部１０ａは、入力された画像から得られた２値コード１６４と、上記と同様の手法で予め登録しておいた登録データである２値コード１６６とを照合し、類似度を算出する。一般的に２値コード同士の類似度の算出方法は、基本的にハミング距離やユークリッド距離に基づく方法を適用できるため、登録されている２値コードと入力された２値コードとの間の距離を相違度とみなすことができる。

ただし、指が中心軸に対して３次元的に回転した場合は図の上下方向に２値コード１６４がシフトする可能性がある。そのため、図１６Ｃの矢印で示すように、例えば、入力データである２値コード１６５を１ビットずつ上下方向にずらしながら、登録データである２値コード１６６を比較し、両方の２値コード１６５、１６６が最も類似する結果を最終的な類似度として獲得する。また、指の拡大率が異なる場合もあるため、登録データの２値コード１６６のスケールを空間的に何通りか伸縮させ、すべてのデータとの照合を実施した上で最も類似度の高い結果を最終結果とする。あるいは、伸縮に対応できるDP(Dynamic programming)マッチング法により、拡大の変動にロバストな照合処理を実施してもよい。

また、指輪郭が撮影できる場合は、関節紋１６１を直線近似したときの延長線と指輪郭線の交点が一定の画素数になるように画像の拡大率を正規化した上で２値コードを生成してもよい。これが可能であれば２値コードのスケールの伸縮を考慮する必要がなく、処理が簡略化できると共に高速化や高精度化にも寄与する。

本実施例によれば、指の位置ずれが生じた場合においても位置を補正あるいは検知することができ、小型で利便性に優れた認証精度の高い生体認証装置を提供することができる。

また、本実施例により、指の位置ずれに不変な認証を実施することが可能となる。さらに、位置ずれに不変なコードを生成する技術は、たとえば暗号化した状態でパターン同士の類似度を算出するといった、セキュアな生体認証システムの構築や生体情報の管理にも応用できることが知られており、たとえば公開鍵基盤をバイオメトリクスのデータで実現するための、テンプレート公開型生体認証基盤（PBI; Public Biometric Infrastructure)技術に応用可能である。

なお、上記の図１２の例では、重みテーブルを用いない認証処理のみを説明したが、第１実施例の内容を本実施例に組み入れて、重みテーブルを用いた認証処理も行ってもよい。

[第３実施例]
図１７Ａ及び図１７Ｂは、第３の実施例である生体認証装置の一実施例である。本実施例の生体認証装置は、上記の第１実施例に適用可能な構成であり、スマートフォンやタブレットなどの携帯端末に実装される。この例において、携帯端末は、入力装置として、反射光照射用の可視光源とカラーカメラとを具備する。

上述した入力装置２がスマートフォン１７０の筺体に搭載されている。入力装置２は、スマートフォン１７０のメインボタンを兼用しており、入力装置２を押下することでスマートフォン１７０の様々な操作を行うこともできる。

生体認証を行う場合、利用者は指１を入力装置２の上部の載置領域に接触するように置く。このとき、画面１７１に指を置く旨を表示することもできる。生体情報の撮影に関し、スマートフォン１７０などの小型端末に搭載できる入力装置２の大きさを鑑みると、入力装置の開口部２２は指先より小さくなることが多く、よって撮影できる生体の面積は限定的となる（図１７Ｂ）。たとえば入力装置２の開口部２２の大きさが直径10mmの円であれば、指先の直径10mmの範囲が撮影できる。しかしながら、指先の面積はそれよりも広いことが多く、指先全体の情報を撮影することができない。これに対し、指先を中空に浮かせた非接触の状態で指先全体を撮影すれば、カメラの画角に指先すべてを映し出すことができる。

非接触で指先を中空に提示させる一般的な方法として、たとえば指の位置をカメラで撮影しながら目的となる指の位置をスマートフォンの画面に表示し、利用者はそれに合わせて指先を微調整する方法がある。しかし、この方法では、片手操作が難しいことや、位置合わせが直感的にやりにくかったり位置合わせに時間が掛かったりなどで疲労を起こすなど、操作性の低下が生じやすい。

そこで、本実施例では、はじめに指１を所定の載置領域に置き、その位置で指１をタップ操作させるインターフェイスにより操作性を高める。図１８Ａ及び図１８Ｂは、指１をタップすることで認証を行うスマートフォン１７０用の指先認証装置の操作の一実施例である。

なお、本実施例では、上述した画像入力部１８及び認証処理部１０などの構成要素は、スマートフォン１７０にインストールされたソフトウェアとして実装されている。なお、これらの構成要素は、スマートフォン１７０とは別の外部の認証装置で実装されてもよく、スマートフォン１７０内の入力装置２で取得した画像をネットワークを介して外部の認証装置に送信し、その外部の認証装置で認証処理を実行してもよい。

まず、認証部１０ａは、スマートフォン１７０の画面１７１に「指をセンサに置いてください」と表示する。利用者はこれに合わせて親指１８０を入力装置２の載置領域上に置く。ただし、本実施例では、図１７Ａ、１７Ｂないしは図１８Ａ、１８Ｂに示す位置に入力装置２があるため親指１８０を載置領域に置くものとしたが、親指に限定されるものではない。たとえば、スマートフォン１７０の背面側に入力装置２を設け、人差し指ないしは中指を入力装置２に置かせるようにしても同様の操作性が実現できる。

次に、認証部１０ａは、スマートフォン１７０の画面１７１に「タップを開始してください」というガイダンスを表示する。これに合わせて利用者は親指１８０で入力装置２の開口部２２の位置（載置領域）をタップする。タップ操作とは、所定の位置を指先で軽く叩く操作である。このとき、指先は宙に浮いたり装置に接触したりと上下に動くことになる。本実施例においては、入力装置２の開口部２２を数回タップすることになる。図１８Ｂには、中空に浮いている親指１８１が描かれている。利用者は、親指１８０を入力装置２の開口部２２に接触させる動作（図１８Ａ）と、親指１８１を入力装置２の開口部２２から浮かせる動作（図１８Ｂ）とを繰り返す。

タップ操作の利点としては、はじめに指先を入力装置２に合わせて置く際の置き場所は容易に把握できるため置き場所で迷いにくいこと、タップ操作は指の移動範囲が限定されるためその軌道があまり大きくぶれないこと、さらには指の長さが一定であるため指を最も遠ざけたときの距離は概ね一定になるため拡大率が安定すること、片手操作が可能であること、などがある。

タップ操作中は、入力装置２内の可視光の光源３を親指に向けて照射し続けながら、カラーカメラ９により動画的に親指の反射光を撮影する。本実施例においては、脂肪紋が比較的鮮明に観測でき、かつ処理を簡単にするため、可視光源の波長を緑に限定し、撮影したカラー画像のうち緑のプレーンのみを利用するものとする。この利点は脂肪紋が観測しやすいだけでなく、色が緑に限定できるため指の領域を識別しやすいこともある。指がカメラに接している状態では画面全体が輝度飽和するが、指がカメラから遠ざかると指先全体が画角に入り、さらには周囲の背景画像も映り込む。タップした指が最も遠ざかった時点が最も指先が小さく見え、そして再びカメラに接近し、最後は指でカメラを覆う状態に戻る。この状態を数回繰り返す間にタップをしている最中の動画像が得られる。この動画像は、画像入力部１８を介して認証処理部１０に入力される。認証処理部１０の認証部１０ａは、この動画像から、適正と判断できる指先の画像を抽出する。

適正と判断できる指先の画像は、指のぶれが少なく、指先全体が撮影できている状態が望ましい。この状態は、タップ中で最も指先が入力装置２から離れた状態であると考えられる。照射している緑の光源３が指先に照射されたときの画像上の面積が小さくなっているときに指が最も遠ざかっていると推定できる。そのため、動画像の各フレームの画像に対し、緑成分が強い画素値を持つ画素のうち、空間的に連続している画素の画素数を算出し、それを時系列に並べた時の最小値となるフレームを指が最も遠ざかったときの画像として獲得できる。指が最も遠ざかっている状態は、指の移動速度が最も遅いため、映像のぶれが少なく、安定した画像を得ることが可能となる。もしくは、空間的に連続している緑成分の強い画素の数が所定の範囲にあるときの画像を最適画像として獲得してもよい。また、数回タップを促すことから、適正と判断した画像が複数枚得られることになる。ここではこれらすべてを認証に用いるものとする。

指画像の撮影が完了すると、認証部１０ａは、その画像から指先の領域を切り出す。指先は緑の光源３が照射されているため、緑色で連続した画素の塊を指先と見なす方法で実施できる。あるいは、グラフカットなどのセグメンテーションに基づいて指先の領域を決定してもよい。

続いて、認証部１０ａは、指先の領域内に存在する脂肪紋の模様を抽出し、そして照合を行う。この処理は上述の通り、アンシャープマスク処理による脂肪紋の強調処理と、脂肪紋の照合処理手法を利用することができる。ただし、複数枚の指先画像が得られているため、認証部１０ａは、複数枚の登録画像と複数枚の入力画像の総当たり照合を実施し、最も類似度が高い結果を最終的な類似度を算出する。この類似度が事前に決定した所定の値を上回る場合に、登録された指が提示されたとして認証を成功させる。その結果、たとえばスマートフォン１７０のロック解除やネットショッピングの際の本人確認が自動的に実施できる。

なお、指先の脂肪紋を活用するだけではなく、反射画像から指紋などの他の生体特徴を抽出して併用してもよい。これにより、より認証精度を高めることができる。

本実施例によれば、スマートフォンなどの小型の携帯端末において使い勝手が良い、高精度な個人認証を実行する生体認証装置を提供することができる。特に、生体を提示する際の自由度が高く保ちつつ、高精度な個人認証が可能である。

本発明は上記した実施例に限定されるものではなく、様々な変形例が含まれる。上記実施例は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。また、ある実施例の構成の一部を他の実施例の構成に置き換えることもできる。また、ある実施例の構成に他の実施例の構成を加えることもできる。また、各実施例の構成の一部について、他の構成を追加・削除・置換することもできる。

例えば、重畳して存在する複数の生体組織に関する情報を獲得するという観点において、本発明は、認証部を備えていない画像撮影装置として実施されてもよい。当該画像撮影装置は、指が載置される載置領域と、指に光を照射する少なくとも１つの光源と、光源からの光を撮影して少なくとも１つの画像を取得する撮像部とを備える。撮像部は、指を載置領域に接触させた又は押し付けたときの、複数の異なる状態の画像を取得してもよい。これにより、重畳して存在する複数の生体組織に関する情報を獲得することが可能となる。また、上述した実施例と同様に、撮像部は、透過光源による第１の画像と、反射光源による第２の画像を取得するように構成されてもよい。さらに、上述した実施例と同様に、撮像部は、指で前記載置領域を叩く操作中に複数の画像を取得するように構成されてもよい。なお、認証処理以外の上述した画像処理部の機能の一部又は全部が、適宜、当該画像撮影装置に実装されてもよい。

上記各構成、機能、処理部等は、それらの一部や全部を、例えば集積回路で設計する等によりハードウェアで実現してもよい。また、上記の各構成、機能等は、プロセッサがそれぞれの機能を実現するプログラムを解釈し、実行することによりソフトウェアで実現してもよい。各機能を実現するプログラム、テーブル、ファイル等の情報は、メモリ、ハードディスク、ＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）等の記録装置、ＩＣカード、ＳＤカード、ＤＶＤ等の記録媒体に格納することができる。

上述の実施例において、制御線や情報線は説明上必要と考えられるものを示しており、製品上必ずしも全ての制御線や情報線を示しているとは限らない。全ての構成が相互に接続されていてもよい。

本発明は、小型で利便性に優れた高精度な生体認証装置を実現することができ、個人認証装置として有用である。

１・・・指、２・・・入力装置、３・・・光源、９・・・撮像装置（カラーカメラ）、１０・・・認証処理部、１０ａ・・・認証部、１０ｂ・・・登録部、１１・・・ＣＰＵ（中央処理部）、１２・・・メモリ、１３・・・インターフェイス、１４・・・記憶装置、１５・・・表示部、１６・・・入力部、１７・・・スピーカ、１８・・・画像入力部、２１・・・筺体、２２・・・開口部、２３・・・アクリル板、３０・・・静脈、３１・・・指紋、３２・・・毛細血管、３３・・・脂肪小葉、３４・・・表皮、３５・・・真皮層、３６・・・皮下組織、６０・・・指を押し付ける前の画素値、６１・・・指を押し付けた後の画素値、７０・・・指先画像、７１・・・血液模様、７２・・・消失していない血液模様、７３・・・消失した血液模様、１００・・・登録データ、１０１・・・入力データ、１０２・・・血液部、１０３・・・非血液部、１０４・・・重みテーブル、１０５・・・血液の観測頻度の高い部分、１０６・・・血液の観測頻度が低い部分、１１０・・・透過光源、１１１・・・反射光源、１１２・・・透過光源支持部、１３０・・・指の赤外透過画像、１３１・・・指の可視光反射画像、１３２・・・指静脈、１３３・・・脂肪紋、１３４・・・静脈と脂肪紋の合成画像、１４０・・・指静脈パターン画像、１４１・・・脂肪紋画像、１４３・・・指静脈の特徴点、１４５・・・脂肪紋の特徴点、１４６・・・指静脈と脂肪紋の特徴点合成画像、１５０・・・登録指静脈パターン、１５１・・・入力指静脈パターン、１５２・・・登録脂肪紋、１５３・・・入力脂肪紋、１６０・・・指静脈と関節紋の重畳映像、１６１・・・関節紋、１６２・・・静脈パターンと関節紋の重畳画像、１６３・・・指静脈と関節紋との交差部、１６４，１６５，１６６・・・２値コード、１７０・・・スマートフォン、１７１・・・画面、１８０・・・親指、１８１・・・中空に浮いている親指

Claims (15)

1. 指が載置される載置領域と、
   前記指に光を照射する少なくとも１つの光源と、
   前記光源からの光を撮影して少なくとも１つの画像を取得する撮像部と、
   前記画像を処理する認証部と、
   前記指の内部に重畳する複数の生体特徴のうち少なくとも１つに関する登録情報を記憶する記憶部と、
   を備え、
   前記認証部は、
   前記画像から、前記指の内部に重畳する複数の生体特徴に関する色素濃度の分布の情報を取得し、
   前記色素濃度の分布の情報から少なくとも１つの生体特徴に関する入力情報を取得し、
   前記入力情報と前記登録情報とを用いて類似度を算出し、
   前記類似度に基づいて認証を行うことを特徴とする生体認証装置。
2. 請求項１に記載の生体認証装置において、
   前記色素濃度の分布の情報は、メラニンとヘモグロビンの濃度の分布の情報であることを特徴とする生体認証装置。
3. 請求項２に記載の生体認証装置において、
   前記入力情報及び前記登録情報は、前記メラニンと前記ヘモグロビンとのコントラストで表される脂肪紋に関する情報であることを特徴する生体認証装置。
4. 請求項１に記載の生体認証装置において、
   前記撮像部は、前記指を前記載置領域に接触させた又は押し付けたときの、複数の異なる状態の画像を取得し、
   前記認証部は、前記複数の異なる状態の画像での色情報の変化量をもとに、前記色素濃度の分布の情報を算出することを特徴とする生体認証装置。
5. 請求項１に記載の生体認証装置において、
   前記認証部は、前記画像内の色情報から前記指の特定の部位を特定し、前記部位の色情報から前記色素濃度の分布の情報を算出することを特徴とする生体認証装置。
6. 請求項１に記載の生体認証装置において、
   前記認証部は、前記色素濃度の分布の情報を用いて前記画像に含まれる複数の生体特徴を区別して抽出し、前記入力情報を取得することを特徴とする生体認証装置。
7. 請求項３に記載の生体認証装置において、
   前記入力情報は、前記脂肪紋に関する第１の画像であり、
   前記登録情報は、前記脂肪紋に関する第２の画像と、前記指を前記載置領域に接触させた又は押し付けたときの複数の異なる状態の画像における、血液の観測確率の分布を表す観測確率分布情報とを含み、
   前記認証部は、前記第１の画像と前記第２の画像とを重ね合わせたときの相違画素数を、前記観測確率分布情報を用いて変換することにより、前記類似度を算出することを特徴とする生体認証装置。
8. 請求項７に記載の生体認証装置において、
   前記複数の異なる状態の画像から前記観測確率分布情報を作成し、当該観測確率分布情報と、前記複数の異なる状態の画像から選択した前記第２の画像とを前記記憶部に格納する登録部をさらに備えることを特徴とする生体認証装置。
9. 請求項１に記載の生体認証装置において、
   前記光源は、前記指の上方に位置する近赤外の透過光源と、前記指の下方に位置する可視光の反射光源とを含み、
   前記撮像部は、前記透過光源による第１の画像と、前記反射光源による第２の画像を取得し、
   前記登録情報は、前記指の内部に重畳する第１の生体特徴の登録情報及び第２の生体特徴の登録情報を含み、
   前記認証部は、
   前記第１の画像から前記第１の生体特徴の入力情報を取得するとともに、前記第２の画像から前記第２の生体特徴の入力情報を取得し、
   前記第１の生体特徴の前記入力情報及び前記第２の生体特徴の前記入力情報と、前記第１の生体特徴の前記登録情報及び前記第２の生体特徴の前記登録情報とを照合し、認証を行うことを特徴とする生体認証装置。
10. 請求項９に記載の生体認証装置において、
    前記認証部は、前記第１の生体特徴における第１の特徴点と、前記第２の生体特徴における第２の特徴点と、前記第１の生体特徴と前記第２の生体特徴とが重なる点である第３の特徴点とを用いて前記照合を行うことを特徴とする生体認証装置。
11. 請求項１０に記載の生体認証装置において、
    前記第１の生体特徴は、指静脈であり、
    前記第２の生体特徴は、メラニンとヘモグロビンとのコントラストで表される脂肪紋であることを特徴とする生体認証装置。
12. 請求項９に記載の生体認証装置において、
    前記認証部は、前記照合の際、
    前記第１の生体特徴の前記入力情報と前記第１の生体特徴の前記登録情報とを重ね合わせたときの第１の位置ずれ量を求め、
    前記第１の位置ずれ量の状態で、前記第２の生体特徴の前記入力情報と前記第２の生体特徴の前記登録情報とを照合して第１の類似度を算出し、
    前記第２の生体特徴の前記入力情報と前記第２の生体特徴の前記登録情報とを重ね合わせたときの第２の位置ずれ量を求め、
    前記第２の位置ずれ量の状態で、前記第１の生体特徴の前記入力情報と前記第１の生体特徴の前記登録情報とを照合して第２の類似度を算出し、
    前記第１の類似度と前記第２の類似度から最終的な類似度を算出することを特徴とする生体認証装置。
13. 請求項９に記載の生体認証装置において、
    前記認証部は、前記照合の際、
    前記第１の生体特徴の前記入力情報と前記第２の生体特徴の前記入力情報とを重ね合わせたときの交差点をコード化したコード化入力情報を作成し、
    前記コード化入力情報と、前記第１の生体特徴の前記登録情報と前記第２の生体特徴の前記登録情報とを重ね合わせたときの交差点をコード化したコード化登録情報とを照合することを特徴とする生体認証装置。
14. 請求項１３に記載の生体認証装置において、
    前記第１の生体特徴は、指静脈であり、
    前記第２の生体特徴は、前記指の関節部位でのメラニンとヘモグロビンとのコントラストで表される関節紋であることを特徴とする生体認証装置。
15. 請求項１に記載の生体認証装置において、
    表示部を備える携帯端末をさらに備え、
    少なくとも前記載置領域と、前記光源と、前記撮像部とが前記携帯端末上に実装されており、
    前記認証部は、前記指で前記載置領域を叩く操作を行うことを前記表示部に表示し、
    前記撮像部は、前記指で前記載置領域を叩く操作中に複数の画像を取得し、
    前記認証部は、前記複数の画像から前記入力情報を取得することを特徴とする生体認証装置。

Images