JP6759142B2 - 生体認証装置、及び方法 - Google Patents

Description

本発明は、生体を用いて個人を認証する生体認証装置、及び方法に関する。

様々な生体認証技術の中でも、指静脈認証は高精度な認証を実現できるものとして知られている。指静脈認証は、指内部の血管パターンを使用して優れた認証精度を実現する。指静脈認証は、指紋認証に比べて偽造及び改ざんが困難であるため、高度なセキュリティを実現できる。

近年では、携帯電話機やノート型ＰＣ(Ｐｅｒｓｏｎａｌ Ｃｏｍｐｕｔｅｒ)、スマートフォン、タブレットなどの携帯端末に標準搭載されたカラーカメラで生体を撮影して生体認証を実施する事例が増加している。

特定の光源や専用のセンサを用いず、生体が存在する空間にある環境光の下で汎用のセンサを用いて個人認証を実施することができるため、自宅や外出先など場所を選ばず、個人のスマートフォンや公共のタブレットなど様々な機器での利用が期待される。さらに、スマートフォンで登録してタブレットで認証するなど、異なる撮像機器間の相互的な生体認証の実現も期待される。

特許文献１では、可視光に感度をもつカラーカメラと青・緑・赤色に発光する発光ダイオード（ＬＥＤ）光源からなる撮像装置で指を撮影した画像から指の静脈などを抽出し、個人認証を実施する技術を開示している。特許文献２では、認証時に動画的に取得した指静脈画像間の類似度を計算し、互いに類似度の高い指静脈画像のみを認証に用いることで、指の位置ずれや照明の影などの撮影条件の変動を回避する技術を開示している。

特開２０１６−０９６９８７公報 特開２０１０−２７７３１５公報

携帯電話機やノート型ＰＣ、スマートフォンやタブレットなどの携帯端末に標準搭載されたカラーカメラを利用し、高精度な生体認証を実施するためには、撮影時の照明変動や撮像装置の特性の変動に頑健な特徴量抽出技術が必要である。

特許文献１では、カメラの画角全体を指で覆う、もしくは屋根を用いることで外光の影響を低減している。そのため、カメラの位置に合わせて光源を配置することを前提とする装置構成となっている。よって、機器によってカメラと光源の位置関係が異なる、もしくは光源の存在しない携帯端末での認証が考慮されていない。また、カメラに個体差のある複数の機器で相互的に認証を実施する場合が考慮されていない。

特許文献２では、指の位置ずれや照明による影の度合いの変化といった認証中の撮影条件の変動を回避できる一方、登録時と認証時で周囲の照明や撮像装置の個体差などの撮影条件が異なる場合が考慮されていない。

そこで、本発明の目的は、登録時と認証時で照明環境や撮像装置などの撮影条件が異なっていても高精度に認証を行うことができる生体認証装置、及び方法を提供することにある。

上記の目的を達成するため、本発明においては、生体を撮影して生体画像を取得する画像入力部と、生体画像を処理する認証処理部と、生体から得られる生体特徴に関する登録情報を記憶する記憶部と、を備え、認証処理部は、登録情報を用い、登録時と認証時の生体画像間の色差を最小化する色変換を行い、色変換後の生体画像を用いて生体の認証を行う生体認証装置を提供する。

また、上記の目的を達成するため、本発明においては、認証処理部による生体認証方法であって、認証処理部は、生体を撮影して取得した生体画像を処理し、生体から得られる生体特徴に関する登録情報を用いて、登録時と認証時の生体画像間の色差を最小化する色変換を行い、色変換後の生体画像を用いて生体の認証を行う生体認証方法を提供する。

本発明によれば、登録時と認証時に生体を撮影して得られる各生体画像の色差を最小化することで、照明変動や機器間の個体差の影響を低減して高精度に認証を行うことができる。

実施例１の生体認証システム全体とその認証処理部の構成を示す図である。 実施例１の生体画像の登録時の色変換処理フロー例を示す図である。 実施例１の生体画像の認証時の色変換処理フロー例を示す図である。 実施例１の生体画像の登録時の処理フロー例の変形例を示す図である。 実施例１に係る、データセットのテーブル例を示す図である。 実施例１の生体画像の例を示す模式図である。 実施例１に係る、携帯端末のカラーカメラを用いて生体を撮影し、個人認証を実施する構成を示す模式図である。 実施例２の生体認証システムの色変換処理例を示す図である。 実施例２の生体画像の環境光成分の除去方法の説明図である。 実施例３の生体認証システムの認証処理フロー例を示す図である。 実施例３に係る、筺体の背面にあるカメラ位置を取得する機構の模式図である。 実施例３に係る、表示画面の裏側のカラーカメラを用いて生体を撮影し、個人認証を実施する構成を示す模式図である。

以下、添付図面を参照して本発明の種々の実施例について説明する。なお、添付図面は本発明の原理に則った具体的な実施例を示しているが、これらは本発明の理解のためのものであり、本発明を限定的に解釈されるために用いられるものではない。各図において共通の構成については、原則同一の参照番号が付されている。

実施例１は、生体を撮影して生体画像を取得する画像入力部と、生体画像を処理する認証処理部と、生体から得られる生体特徴に関する登録情報を記憶する記憶部と、を備え、認証処理部は、登録情報を用い、登録時と認証時の生体画像間の色差を最小化する色変換を行い、色変換後の生体画像を用いて生体の認証を行う生体認証システムの実施例である。特に、認証処理部は、登録情報を用いて、登録時と認証時の生体画像間の色差を最小化する色変換行列を生成し、生成した色変換行列と生体画像から変換画像を生成し、変換画像と登録情報との類似度を算出して認証を行う構成の実施例である。

なお、本実施例はシステムとしてではなく、全てまたは一部の構成を筺体に搭載した装置としての構成であっても良い。装置は、認証処理部を含めた生体認証装置としてもよいし、認証処理部は外部の装置で行ってもよく、装置は血管画像の取得に特化した血管画像取得装置又は血管画像抽出装置としてもよい。したがって、以下で説明する種々の機能はネットワーク上に存在する複数の装置で構成されてもよい。また、装置は携帯電話機やノート型ＰＣ、スマートフォンやタブレットなどの携帯端末として実施されてもよい。

図１は、実施例１の指の血管を用いた生体認証システムの全体とその認証処理部の一構成を示す図である。図１の（Ａ）に示す生体認証システムは、画像入力部１と、認証処理部２と、記憶部３と、表示部４と、入力部５とを含む。画像入力部１は被認証者の生体から生体特徴を含む画像を取得し、取得した画像を認証処理部２へ入力する。認証処理部２は画像入力部１から入力された画像に対して画像処理して認証処理を実行する。言い換えるなら、認証処理部２は画像認証処理機能を備える。

図１の（Ａ）に示すように、認証処理部２は、ＣＰＵ（ＣｅｎｔｒａｌＰｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）６、メモリ７及び種々のＩＦ（Ｉｎｔｅｒｆａｃｅ）８を含む。ＣＰＵ６は、メモリ７に記憶されているプログラムを実行することによって各種処理を行う。メモリ７は、ＣＰＵ６によって実行されるプログラムを記憶する。また、メモリ７は画像入力部１から入力された画像を一時的に記憶する。

図１の（Ｂ）は、認証処理部２の機能ブロック図を示す。画像認証処理機能を備える認証処理部２は、認証部９と、登録部１０とを備える。認証部９は、認証時に画像入力部１から入力された入力データである生体画像を画像処理し、記憶部３に登録されている登録情報と照合し、利用者の認証を行う。登録部１０は、登録時に画像入力部１によって取得された生体画像の登録情報を作成し、記憶部３内に格納する。

上述の認証処理部２の各処理は、各種プログラムにより実現することができる。メモリ７には、例えば記憶部３に格納されている各種プログラムが展開される。ＣＰＵ６は、メモリ７にロードされたプログラムを実行することにより、以下で説明する認証処理部２の処理及び演算を実行する。

ＩＦ８は、認証処理部２と外部の装置とを接続する。具体的には、ＩＦ８は、記憶部３、表示部４、入力部５及び画像入力部１などと接続される。記憶部３は、利用者の登録情報を予め記憶している。登録情報は、利用者を照合するための生体特徴に関する情報であり、例えば、指静脈パターンや脂肪紋パターンなどといった生体組織の画像情報などである。通常、指静脈パターンの画像は、主に指の掌側の皮下に分布する血管である指静脈を暗い影のパターンとして撮像した画像である。

表示部４は、例えば液晶ディスプレイであり、認証処理部２から受信した情報を表示する出力装置である。なお、表示部４に加え、図示を省略したスピーカーなどの音声出力部を出力装置として接続し、認証処理部２から受信した情報を音響信号、例えば音声で発信することもできる。入力部は、例えばタッチパネルであり、利用者から入力された情報を認証処理部２に送信する。

画像入力部１はカラーカメラを含み、可視光の波長帯に感度を持つ複数の受光センサを有する。カラーカメラは、例えば青（Ｂ）、緑（Ｇ）、赤（Ｒ）に感度を持つ三種類のＣＭＯＳ又はＣＣＤ素子を有し、これらが画像の画素ごとに格子状に配置されている。すなわち、カラーカメラは受光感度のピーク波長が異なる三つの受光センサを持つ。各受光センサの受光感度は、例えば青で４８０ｎｍ付近、緑で５５０ｎｍ付近、赤で６２０ｎｍ付近にピークを持ち、それぞれの波長の感度により生体から放射された光の空間的な色分布を取得できる。

以上の構成により、画像入力部１は異なる複数の受光感度にピークをもつ受光センサで生体から放射された光を計測することで、生体の複数の生体特徴を取得することができる。ここで、カラーカメラで生体を撮影して得られた画像から、個人認証に用いる生体特徴の情報を取得する方法について詳述する。

白色光などの可視光を透過または反射させてカラー撮影した皮膚の映像には、皮膚表面の凹凸による陰影や、表皮内のメラニンの白色あるいは黄褐色、真皮の毛細血管内の血液の赤、そして皮下組織に存在する静脈の青あるいは灰色など、皮膚内外に存在する様々な生体組織が呈する色彩が重畳された状態で観測される。特に表皮から真皮にかけての浅い皮膚層の色彩としては、血液が多く分布している部分は赤色を呈し、そうでない部分はメラニンの色素が支配的となって白あるいは黄色を呈する。

これらの生体組織のパターンは個人によって異なるため、その差異を利用して個人認証を実施することができる。そのためには、それぞれの生体組織のパターンを生体特徴の情報として独立に抽出する必要がある。一般に、生体組織のパターン抽出には生体組織間の色もしくは形状特徴の違いを利用する。この生体組織の一つとして指がある。指は複数の生体組織を同時に計測でき、複数の指各々からは静脈や指紋、関節紋、脂肪紋などといった生体組織が計測できる。そのため、個人認証に利用する生体情報を豊富に得ることができる。言い換えるなら、認証処理部が処理する生体画像として、生体の複数の指画像を用いることにより、豊富な生体情報を得ることができる。

静脈は青もしくは灰色の指先方向に流れるパターンであり、脂肪紋は白あるいは黄褐色のまだら模様である。静脈などの血管と脂肪紋のパターンの分離には、生体組織を構成するメラニンとヘモグロビンの色素濃度が静脈と脂肪紋で異なることに着目する。画像の色情報とメラニン、ヘモグロビン濃度の関係を独立成分分析（ＩＣＡ）などにより解くことにより、血管と脂肪紋のパターンを分離できる。

また、関節紋は赤みを呈する指先方向と直交する方向に流れる低周波のパターンであり、例えば青や緑に感度をもつ受光センサで取得した画像から二次元ガボールフィルタなどの方向強調処理により抽出することができる。なお、指先にある指紋は比較的高周波の渦状のパターンであり、例えば高周波成分強調処理などにより指紋パターンを得ることができる。

ここで、本実施例における画像入力部１を構成するカラーカメラは、スマートフォンやタブレットなどの携帯端末に標準的に搭載されているため、カラーカメラで生体を撮影して得られた画像による個人認証は、複数の機器間で相互的に実施されることが期待される。例えば、自宅で個人のスマートフォンで生体情報を登録し、公共の場で共用のタブレットで生体認証するといったことが期待される。このとき、生体を撮影する機器によってレンズの光学特性や受光センサの分光感度特性、内部信号処理の特性などが異なる。また、撮影時の照明光として、白色ＬＥＤ、蛍光灯、白熱灯など様々な光源が想定される。これらの分光感度と内部信号処理の特性の機器個体差、照明変動等による撮影条件の違いに基づき、生体の全体もしくは局所的な色合いが変化する。

このように撮影時の照明や撮像装置などの撮影条件の変動により生体を撮影して得られた生体画像の色合いが変動すると、上述の静脈や脂肪紋などの色情報に基づいた各生体組織のパターン抽出を精度よく行うことが困難となる。

この課題を解決するため、異なる機器や照明の下で同一の被写体を撮影して得られた画像を一定の色合いとする方法として、各機器で共通のカラーチャートを撮影し、得られた画像におけるカラーチャート内の各色に対応する画像信号値に基づき色変換行列を生成する方法がある。この方法は異なる機器や照明の組み合わせであっても一定な色味の画像を取得する代表的な方法であるが、機器と照明の組み合わせごとにカラーチャートを撮影する必要があり、本実施例で想定しているような自宅や公共の場など場所を問わずに生体認証を実施する場合には不適である。

そこで、本実施例では、異なる機器間・照明間の色校正をカラーチャートではなく、登録時と認証時のうち少なくとも一方の生体画像の複数部位の色情報に基づき色校正を実施する。すなわち、認証処理部において、記憶部に記憶した登録情報を用いて、登録時と認証時の生体画像間の色差を最小化する色変換行列を生成し、生成した色変換行列と生体画像から変換画像、すなわち変換後の生体画像を生成することで色校正を行う。

本実施例の生体画像の色校正では、登録時における生体画像の色と認証時の生体画像の色の両方を、基準となる生体画像の色と同様になるように変換する。基準となる生体画像は、生体特徴に関する登録情報として記憶部３に記憶されている。この基準となる生体画像としては、予め設定した一般的な生体画像を用いることができる。例えば、複数の機器や照明の組み合わせで生体を撮影して得られた生体画像を、基準となる生体画像とすることができる。あるいは登録時もしくは認証時の生体画像のどちらか一方を選択して、基準となる生体画像として用いてもよい。以下、基準となる生体画像として、一般的な生体画像を用いた本実施例の色校正法について詳述する。

図２Ａ、図２Ｂ、図２Ｃは本実施例の色校正法の処理の流れの一つとして、生体として指を用いた生体画像の登録時と認証時の色変換処理フロー例と、その変形例を示している。これらの色変換処理フローはそれぞれ認証処理部２のＣＰＵ６が主体として処理する。以下、図２Ａ、図２Ｂの色変換処理フローを使って順次説明する。まず、登録時或いは認証時に用いる生体を撮影して得られた画像から、背景などの生体領域以外の領域を除去したものを生体画像とする（Ｓ１００、Ｓ１０７）。

次に、検出した生体画像を複数の領域に領域分割する（Ｓ１０１、Ｓ１０８）。この領域の分割方法としては、図４に示すように、照明の変動や機器の個体差に比較的頑健に抽出できる生体情報である指１７の関節紋で、複数の指領域に分割してもよい。親指を除く指には一般に二つの関節紋があるので、それらの関節紋によって区切られる三つの指領域１２と、関節領域１１の計四つの領域に分割してもよい。

次に、生体画像を分割して得られた四つの領域各々の代表となる色、つまり代表色を獲得する（Ｓ１０２、Ｓ１０９）。代表色は、例えば各領域内の色の平均値としても良いし、中央値などとしてもよく、逆光などによる画像ノイズや照明による生体表面における鏡面反射、影の影響が極力小さくなるように決定する。

次に、基準となる生体画像と、登録時、或いは認証時の生体画像それぞれの領域ごとの代表色データをベクトル対にしたデータセットを作成する（Ｓ１０３、Ｓ１１０）。図３に、カラー撮影によりＲＧＢの３バンドで表わされる手の画像を取得し、この手の画像から４本の指を検出し、各指Ｎを４つの領域Ｒに分割した場合のデータセットの一例を示す。同図のテーブル１８に例示するように、Ｎ×Ｒ（＝１６）組の長さＢ（＝３）の色ベクトルを、基準となる生体画像と、登録時或いは認証時の生体画像とで対にしたデータセットを定義できる。

上述したように、複数の指の各指で初めに領域分割した場合、各指間の同一部位の代表色から更に代表色を再生成してもよい。例えば、４本の指の指先の各領域の代表色の平均値を代表色とするなどである。このとき、基準となる生体画像の代表色としては、例えば、複数の機器や照明の組み合わせで生体を撮影して得られた画像から求めた代表色の平均値などを用いることができる。いずれにしても、複数の領域毎に代表色を獲得し、獲得した代表色を用いて色変換行列を生成する。

求めたデータセットから登録時、あるいは認証時の生体画像の色変換行列を生成し、各生体画像に対して色変換を実施する（Ｓ１０４、Ｓ１１１）。言い換えるなら、認証処理部は、基準となる生体画像と生体画像とを用いて色変換行列を生成する。すなわち、色変換行列の生成は、例えば、登録時、あるいは認証時の生体画像である指ｎの領域ｒの代表色ベクトル（ｘ_ｒｎ）と、基準となる生体画像の代表色の色ベクトルの二乗誤差を小さく、好適には最小化するように求めることができる。色変換行列の一例を式１、式２に示した。ここで式１のＡは生体部位に依らない一様な色変換行列を示し、式２のＭ_ｒｎは、生体部位ごとに異なる色変換行列を示す。

式１、式２において、ｘ_ｒｎ ^ｅｎは登録時の生体画像の指ｎの領域ｒの代表色ベクトル（長さＢ）、ｘ_ｒｎ ^iｎは認証時の生体画像の指ｎの領域ｒの代表色ベクトル（長さＢ）、ｘ_１ｒｎ，，，，，ｘ_Ｂｒｎは、指ｎの領域ｒの代表色ベクトルの要素（ベクトルあたりＢ個存在する）をそれぞれ示している。
また、色変換行列の生成は、分割した領域ごとに実施してもよい。更に、色変換を実施するピクセルが指の第一関節と第二関節の間の領域に属するとき、指の第一関節と第二関節の間の領域と、その近傍領域のデータセットに重み付けをして、色変換行列を求めてもよい。そして、求めた色変換行列を用い、認証時の生体画像の各ピクセルの信号値を変換する。そして、色変換された生画像を用いて、その特徴量抽出を行い（Ｓ１０５、Ｓ１１２）、登録時おいては抽出した特徴量を記憶部３に登録し（Ｓ１０６）、終了する。一方、認証時には抽出した特徴量と登録されている特徴量の照合を行い（Ｓ１１３）、その結果の出力等を行って終了する。

このように、本実施例の構成おいては、認証処理部は、好適には指画像を指毎に複数の領域に分割し、分割した複数の領域毎に、色変換行列を生成して変換画像を生成し、この変換後の生体画像である変換画像と登録情報との類似度を算出して認証を行う。なお、以上説明した本実施例の色校正法では、予め作成した基準となる生体画像を使って登録時並びに認証時の生体画像に色変換を実施したが、上述したように基準となる生体画像として登録時の生体画像を用い、認証時の生体画像にのみ色変換を実施しても良い。すなわち、登録情報は、基準となる生体画像として、登録時の生体画像を含み、認証処理部は、この基準となる生体画像と、認証時の生体画像を用いて色変換行列を生成する。図２Ｃは、その場合の登録処理フローの一例を示している。図２Ｃに明らかなように、基準-登録色データセットの作成（Ｓ１１０）と生体画像の色変換（Ｓ１１１）が省略され、登録色データの作成（Ｓ１１７）が追加される点以外は、図２Ｂと同様であるので説明を省略する。逆に、基準となる生体画像を認証時の生体画像をとし、登録時の生体画像にのみ色変換を実施してもよい。本明細書においては、この場合も登録時と認証時の生体画像間の色差を最小化する色変換とする。

上述した本実施例の色変換行列を用いた色校正を実施する構成により、登録時の生体画像と認証時の生体画像の色差をできる限り小さくし、照明の変動や機器間の誤差などの撮影条件の違いに依らない安定な特徴量を抽出し、認証の高精度化を実現することができる。

実施例２は、カラーカメラに加えて、環境光と異なる光を発生する補助光源を更に備えた生体認証装置の実施例である。すなわち、装置はオン・オフ可能な補助光源を更に備え、画像入力部は補助光源のオン時とオフ時の生体画像をそれぞれ取得し、認証処理部は、オン時とオフ時の生体画像を用いて、環境光成分の除去を行うことができる生体認証装置の実施例である。

図５は、実施例２の装置による生体認証を示す模式図である。本実施例では、カラーカメラ１３と補助光源１４をもつ携帯端末１５を利用し、撮影時の照明変動に頑強な生体認証を実施する。なお、携帯端末１５として、携帯電話機やスマートフォンなどのような、カラーカメラ１３と補助光源１４を合わせ持つものを利用することができる。

図６に実施例２の装置の処理フローチャートの一例を示す。なお、同図の処理フローは図２Ａ−図２Ｃの処理フロー同様、認証処理部２のＣＰＵが主に処理する。まず、補助光源１４を消灯した状態で指を撮影し、得られた画像から指などの生体領域を検出する（Ｓ２００）。生体領域の検出には、肌特有の色や骨格などの形状などの特徴量を利用したルールベースの抽出処理を実施してもよい。あるいは、十分な数の生体を撮影した画像を用意し、畳み込みニューラルネットワーク（ＣＮＮ:Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋｓ）に代表されるような深層学習などを利用して画像から生体領域を抽出してもよい。

次に、実施例１同様、得られた生体画像を一つ以上の領域に分割し（Ｓ２０１）、各領域の代表色を獲得して（Ｓ２０２）、メモリ７上に一時的に保存する。生体画像の領域分割と代表色の獲得の詳細については、実施例１で述べたように、４本など複数の指の各指を領域分割した場合、各指間の同一部位の代表色から更に代表色を再生成してもよい。例えば、４本の指の指先の領域の代表色の平均値を当該領域の代表色とするなどである。このとき、基準となる生体画像の代表色としては、実施例１同様、複数の機器や照明の組み合わせで生体を撮影して得られた画像から求めた代表色の平均値などを用いてもよい。

次に、補助光源１４がオン・オフした状態それぞれで撮影が完了しているかを確認する（Ｓ２０３）。どちらか一方の撮影が済んでいない場合は、補助光源１４の点灯状態を切り替え（Ｓ２０４）、再度撮影から代表色の獲得（Ｓ２０２）までの処理を実施し、再度、補助光源１４がオン・オフした状態それぞれで撮影が完了しているかを確認する（Ｓ２０３）。

両撮影が終了（ＹＥＳ）したら、補助光源１４を点灯した状態で生体を撮影して得られる生体画像を上述のように分割した各領域に属する画素値と、補助光源１４を消灯した状態で生体を撮影して得られた生体画像を分割した各領域の代表色の値の差を求めることにより、環境光成分の除去を行う（Ｓ２０５）。この除去処理を各画素で実施して得られる画像は、補助光源のみが点灯されている環境下で生体を撮影して得られた画像と近似的にみなすことができる。

次に、このようにして環境光成分の除去により得られた生体画像の代表色を獲得し、実施例１同様、基準となる生体画像の代表色との色ベクトル対からなるデータセットを生成する（Ｓ２０６）。求めたデータセットより色変換行列を生成し、登録時、或いは認証時の生体画像の各ピクセルの色変換を実施する（Ｓ２０７）。

そして色変換後の生体画像を用いて特徴量抽出し、登録或いは照合を実施する。 上記のような本実施例の補助光源オン・オフ処理により、例えば登録時と認証時で環境光が異なる場合でも一定の照明下で撮影を実施しているような生体画像を取得することができる。

図７に本実施例の構成において、異なる照明下で生体１６を撮影して得られた生体画像の画素値が張る色空間の一例を示す。便宜上、Ｘ軸、Ｙ軸を備えた２次元空間で示したが、実際はＸ軸、Ｙ軸、Ｚ軸を備えた三次元空間となる。この色空間で、例えば登録時の環境光を環境光Ａとし、認証時の環境光を環境光Ｂとする。上述した本実施例の撮影処理により、登録時、環境光Ａの下で補助光源１４を点灯して生体を撮影して得られた生体画像の色空間２１と、環境光Ａの下で補助光源１４を消灯して生体を撮影して得られた生体画像を合成することで、補助光源１４の下で生体を撮影した生体画像の色空間２３を疑似的に生成することができる。同様に、認証時も、補助光源１４を点灯して生体を撮影した生体画像の色空間２２と、補助光源１４を消灯して生体を撮影した画像を合成することで、環境光Ｂの影響のない、補助光源の下で生体を撮影した生体画像２３を疑似的に生成することができる。

以上説明した補助光源オン・オフ切替を行う本実施例の構成により、登録時の環境光Ａと認証時の環境光Ｂの影響を受けることなく、生体認証を実施することが可能な生体認証装置を提供することが可能になる。

実施例３は、登録時と認証時で筺体の大きさやカメラの位置などの構造が異なる装置を利用したときに、色変換行列を安定かつ高精度に生成するための誘導機構として、ガイダンス表示を行う構成の生体認証装置の実施例である。すなわち、認証処理部は、画像入力部が生体画像を取得するためのガイダンスを表示部に表示するよう制御する。

個人が所有する携帯電話機やスマートフォンなどの携帯端末では、利用者はそれらの端末のカメラの位置を熟知していることが多く、カメラに容易に生体を呈示することができると考えられる。しかし、ＰＯＳ（Ｐｏｉｎｔ ｏｆ Ｓａｌｅｓ）端末などの公共の場に設置してある共用のタブレットなどでは、利用者はその端末のカメラの位置が分からず、カメラに生体を呈示するのに苦労し、利便性が低下する可能性がある。

認証に用いる生体の例として複数の指を利用する場合、比較的小型な装置である携帯電話機やスマートフォンなどの携帯端末であれば、図５に示すように、装置を持つ手とは異なる手を装置の背面にかざすことで、装置の背面に標準的に搭載されているアウトカメラで複数の指を撮影することができる。携帯電話機やスマートフォンなどの携帯端末はノートＰＣやタブレットと比べると比較的小型であり、一般に利用者が筺体を手で持つ位置とアウトカメラが干渉しないように設計されているため、アウトカメラはほとんどの筺体でその上部に配置されている。よって、利用者は図５に示すように手を携帯端末１５の筺体の背面にかざすことでほぼ一様に複数の指を撮影することができる。

次に、ノートＰＣやタブレットなどの比較的大型な端末で指を撮影する場合を考える。利用者は、表示画面と同じ側に配置されているインカメラが見えているため、手を画面に向けてかざすことで直観的に複数の指を呈示することができる。しかし、実際には最初にかざした手が小さく映っているもしくは大きく映りすぎている、手をかざす位置がずれているといった理由で手をかざす位置や向きの修正が必要となる。このとき、例えば画面に表示されている手の画像に従い、かざす手の位置や向きを修正しようとしても、表示画面とかざしている手が重なっているため、手の位置や向きの修正が難しい。また、インカメラでの撮影は逆光状態になることが多く、画像ノイズが増すなど生体画像の品質が低下しがちである。さらに、顔などの指と似た色の物体が背景として映り込むことが多く、撮影して得られた画像から指のみを検出することが難しくなる。

一方、タブレットなどの背面にあるアウトカメラを利用して指を撮影する場合、逆光状態になることや背景に手以外の生体が映ることは少なくなり、携帯電話機やスマートフォンなどの小型な装置で指を撮影する場合と似たような条件で撮影を実施することが可能である。しかし、公共の場に設置してあるタブレットなどのアウトカメラに手をかざす場合、利用者はタブレットの背面にあるアウトカメラの位置が分からず、どのように手をかざせばよいか分からないといった問題が発生すると考えられる。よって、タブレットなどの大型の装置にて携帯電話機やスマートフォンなどの小型な装置と同様の撮影条件で生体認証を実施するためには、利用者がタブレットの背面カメラであるアウトカメラに簡単に生体をかざせるような誘導機構を設計することが重要となる。

図８は、比較的大型な筺体、例えばタブレットのアウトカメラに手をかざすための誘導機構を備える本実施例の生体認証装置の認証処理フロー例を示している。本処理フローも認証処理部２のＣＰＵ６が主として表示部４の画面表示の制御を行うことにより実現可能である。本実施例では、まずアウトカメラ位置を取得し（Ｓ３００）、取得したアウトカメラ位置に基づき認証時のガイド画面を装置の表示部４に設定・表示し（Ｓ３０１）し、生体認証を実施する（Ｓ３０２）。

すなわち、本実施例の生体認証装置では、携帯電話機やスマートフォンと比べると比較的大型な筺体であるタブレットのアウトカメラの位置を取得する。このアウトカメラ位置の取得方法としては、例えば、ソフト開発者や運用管理者が筺体ごとのカメラ位置を事前に調査し、タブレット内のメモリに保存しておいてもよいが、本実施例では、筺体背面へのタッチ動作を利用してアウトカメラ位置を自動的に取得する方法を説明する。

図９は、アウトカメラ位置の取得のため、利用者２０にてタブレットの筺体１９の背面に触れるよう促すガイダンス表示の一例を示している。図９の例では、タブレットの筐体１９の背面の下段左を利用者２０に触れるように促しており、利用者２０がタブレットの筐体１９の背面の下段左を触れた状態でアウトカメラにて撮影する。図９に示すガイダンス画面は、筺体１９の特定部位を利用者２０に触れるように促す一例であり、図中の図や文字はその誘導のための誘導機構としてのガイダンスの表示例である。利用者２０が触れた位置にアウトカメラがあれば画角の一部もしくは全体が手などで遮られる画像が得られ、触れた位置にアウトカメラが無ければ、遮りの少ない画像が得られる。

タブレットの筐体１９の背面に触れられていることを、得られた画像を使って検知する方法としては、例えば、タブレットが固定されているのであればアウトカメラで撮影した動画の複数フレームを用いて背景差分法などを適用し、動体を検出してもよい。タブレットが固定されていないのであれば利用者２０である生体がタブレットを触れると仮定し、アウトカメラで撮影した画像に占める肌色や赤色の画素の割合を求め、その画素の割合の多いフレームを利用者２０がタブレットに触れている状態に撮影して得られた画像としてもよい。

利用者２０に触れてもらう位置を、例えばタブレットの筐体１９の背面の下段中央、下段右、上段左、上段中央、上段右と変更しながら撮影を繰り返し、各場合で得られた画像を比較することで、アウトカメラの大まかな位置を取得することができる。

図１０に、本実施例の構成において、図９のガイダンス画面表示を使って取得したアウトカメラの位置に基づき、認証時に利用者に生体１６を呈示するように誘導する画面表示例を示す。この例は、タブレットのアウトカメラ２４の位置が筐体１９の背面の下段左のエリア２５にあった場合の例である。

撮影して得られる画像をタブレットの撮影画面のアウトカメラ２４のある位置と同じ位置に表示することにより、利用者が生体１６をかざした位置と撮影画面で表示されている位置のずれが小さくなり、直観的に生体１６を呈示することが可能になる。

上述したアウトカメラ２４の位置を取得し、生体１６を筺体１９の背面に呈示するように誘導する画面表示例は、図９、図１０に示した横長の画面をもつ筺体に限定するものではなく、図５に示したように、タブレットなどの携帯端末１５を立てて利用した場合や携帯電話機やスマートフォンなどにも利用できる。

本発明は上述した実施例に限定されるものではなく、様々な変形例が含まれる。上記実施例は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定するものではない。例えば、実施例２の構成で、環境光の照度が補助光源の照度に比べて十分小さいとみなせるとき、補助光源を点灯して生体を撮影した画像を、環境光成分の除去後に得られる画像とみなしてもよい。また、ある実施例の構成の一部を他の実施例の構成に置き換えることもできる。また、ある実施例の構成に他の実施例の構成を加えることもできる。また、各実施例の構成の一部について、他の構成を追加・削除・置換することもできる。

上記各構成、機能、処理部等は、それらの一部や全部を、例えば集積回路で設計する等によりハードウェアで実現してもよい。また、上記の各構成、機能等は、プロセッサがそれぞれの機能を実現するプログラムを解釈し、実行することによりソフトウェアで実現してもよい。各機能を実現するプログラム、テーブル、ファイル等の情報は、メモリ、ハードディスク、ＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）等の記録装置、ＩＣカード、ＳＤカード、ＤＶＤ等の記録媒体に格納することができる。

上述の実施例の構成において、制御線や情報線は説明上必要と考えられるものを示しており、製品上必ずしも全ての制御線や情報線を示しているとは限らない。全ての構成が相互に接続されていてもよい。

本発明は、汎用のカラーカメラを用いた生体認証を異なる照明・機器で相互的に実施することができ、個人認証技術として有用である。

１ 画像入力部
２ 認証処理部
３ 記憶部
４ 表示部
５ 入力部
６ ＣＰＵ
７ メモリ
８ ＩＦ
９ 認証部
１０ 登録部
１１ 関節領域
１２ 関節領域以外の指領域
１３ カラーカメラ
１４ 補助光源
１５ 携帯端末
１６ 生体
１７ 指
１８ テーブル
１９ 筐体
２０ 利用者
２１、２２、２３ 色空間
２４ アウトカメラ
２５ エリア

Claims (15)

1. 生体を撮影して生体画像を取得する画像入力部と、
   前記生体画像を処理する認証処理部と、
   前記生体から得られる生体特徴に関する登録情報を記憶する記憶部と、を備え、前記認証処理部は、
   前記登録情報を用い、登録時と認証時の生体画像間の色差を最小化する色変換を行い、色変換後の生体画像を用いて前記生体の認証を行う、
   ことを特徴とする生体認証装置。
2. 請求項１に記載の生体認証装置であって、
   前記認証処理部は、
   前記登録情報を用いて、登録時と認証時の前記生体画像間の色差を最小化する色変換行列を生成し、生成した前記色変換行列と前記生体画像から変換画像を生成し、前記変換画像と前記登録情報との類似度を算出して認証を行う、
   ことを特徴とする生体認証装置。
3. 請求項１に記載の生体認証装置であって、
   前記画像入力部が取得する前記生体画像は、前記生体の指画像である、
   ことを特徴とする生体認証装置。
4. 請求項２に記載の生体認証装置であって、
   前記画像入力部が取得する前記生体画像は、前記生体の複数の指の画像であり、
   前記認証処理部は、
   前記指画像を指毎に複数の領域に分割し、
   分割した複数の領域毎に、前記色変換行列を生成して前記変換画像を生成する、
   ことを特徴とする生体認証装置。
5. 請求項４に記載の生体認証装置であって、
   前記認証処理部は、
   前記複数の領域毎に代表色を獲得し、前記代表色を用いて前記色変換行列を生成する、
   ことを特徴とする生体認証装置。
6. 請求項４に記載の生体認証装置であって、
   前記複数の領域は、指領域と指関節領域を含む、
   ことを特徴とする生体認証装置。
7. 請求項２に記載の生体認証装置であって、
   前記記憶部に記憶する前記登録情報は、基準となる生体画像を含み、
   前記認証処理部は、
   前記基準となる生体画像と前記生体画像とを用いて前記色変換行列を生成する、
   ことを特徴とする生体認証装置。
8. 請求項２に記載の生体認証装置であって、
   前記記憶部に記憶する前記登録情報は、基準となる生体画像として、登録時の前記生体画像を含み、
   前記認証処理部は、
   前記基準となる生体画像と、認証時の前記生体画像を用いて前記色変換行列を生成する、
   ことを特徴とする生体認証装置。
9. 請求項１に記載の生体認証装置であって、
   環境光とは異なる光を発生する、オン・オフ可能な補助光源を備え、
   前記画像入力部は前記補助光源のオン時とオフ時に前記生体画像を取得し、
   前記認証処理部は、
   オン時とオフ時の前記生体画像を用いて、環境光成分の除去を行う、
   ことを特徴とする生体認証装置。
10. 請求項１に記載の生体認証装置であって、
    前記画像入力部が取得する前記生体画像を表示可能な表示部を備え、
    前記認証処理部は、
    前記画像入力部が前記生体画像を取得するためのガイダンスを前記表示部に表示するよう制御する、
    ことを特徴とする生体認証装置。
11. 認証処理部による生体認証方法であって、
    前記認証処理部は、
    生体を撮影して取得した生体画像を処理し、前記生体から得られる生体特徴に関する登録情報を用いて、登録時と認証時の生体画像間の色差を最小化する色変換を行い、色変換後の生体画像を用いて前記生体の認証を行う、
    ことを特徴とする生体認証方法。
12. 請求項１１に記載の生体認証方法であって、
    前記認証処理部は、
    前記登録情報を用いて、登録時と認証時の前記生体画像間の色差を最小化する色変換行列を生成し、生成した前記色変換行列と前記生体画像から変換画像を生成し、前記変換画像と前記登録情報との類似度を算出して認証を行う、
    ことを特徴とする生体認証方法。
13. 請求項１２に記載の生体認証方法であって、
    前記認証処理部は、
    前記生体画像として、前記生体の複数の指画像を用い、
    前記指画像を指毎に複数の領域に分割し、
    分割した複数の領域毎に代表色を獲得して、前記代表色を用いて前記色変換行列を生成する、
    ことを特徴とする生体認証方法。
14. 請求項１１に記載の生体認証方法であって、
    前記認証処理部は、
    環境光とは異なる光を発生する補助光源をオン・オフ切替して取得された前記生体画像を用いて、環境光成分の除去を行う、
    ことを特徴とする生体認証方法。
15. 請求項１１に記載の生体認証方法であって、
    前記認証処理部は、前記生体画像を取得するためのガイダンスを表示部に表示するよう制御する、
    ことを特徴とする生体認証方法。

Images