JP7318793B2 - 生体認証装置、生体認証方法、及び、そのプログラム - Google Patents

Description

本開示は、生体認証装置、生体認証方法、及び、そのプログラムが格納されたコンピュータ可読媒体に関する。

従来、顔や、虹彩などのその一部を使って人物を認識する方式が数多く提案されている。これらの方式では、顔やその一部をカメラで撮影し、個人を識別可能な情報を抽出し、個人の照合を行う。その際、装置側に照明を配置し、照明で被写体を照らして撮影することがよく行われる。例えば、虹彩の場合は近赤外照明を照射して撮影する場合が多い。顔の場合も、環境光が十分でない状況下では、照明を当てながら撮影する。この場合、照明を適切に制御することが、高画質な映像取得で重要な課題となる。

照明を制御する方式として、例えば、特許文献１では、宴会場やホール等の照明空間内において照明対象となる人物（照射目標）が存在する座標を特定し、その座標に基づいて人物を照明するように照明空間内に配設された照明器具の照射方向、光量を制御する方式が開示されている。この方式では、照射目標となる人物に発信機を取り付け、発信機から発せられる信号に基づいて、該人物の照明空間内の座標位置が特定される。また、画像処理により人物の向きを求め、向きに応じた制御も行っている。

虹彩認証において近赤外照明を制御する方式として、例えば、特許文献２では、カメラの両側に配置した照明を制御する方式が開示されている。この方式では、カメラの両側の照明を同時点灯させて撮影する以外に、片側ずつ点灯させて撮影するようにしている。同時点灯は裸眼やハードコンタクト着用者の場合に照明が均一にあたるようにするためであり、片側点灯は、眼鏡着用者の場合に眼鏡のレンズ面での照明の反射が虹彩にかかることを避けるためである。

また、この方式では、被写体の顔領域に照射する光パルスや、２つのカメラで捉えた被写体の目間の距離に基づいて、カメラから被写体までの距離を求め、目位置が合焦範囲に入っているか否かを判定している。ただし、求めた距離は、被写体を合焦範囲に誘導することのみに用いられており、照明の制御には用いられていない。

特開２０００－２６０５７７号公報 特開２００７－３１９１７４号公報

特許文献１の方式では、照明対象となる人物の座標に応じて照明を制御しているが、その座標の測定には、人物に発信機を取り付ける必要があると同時に、発信機から発せられる信号を受信する受信機が必要となり、コストがかかるという問題がある。

また、特許文献２の方式では、カメラから被写体までの距離を測定しているものの、それを照明の制御には用いていない。カメラと被写体の距離が大きく変化する状況においては、照明の明るさが適切でなくなるという課題がある。

本開示の目的は、関連する技術を改善する生体認証装置、生体認証方法、及び、そのプログラムが格納されたコンピュータ可読媒体を提供することにある。

本開示に係る生体認証装置の一態様は、生体認証の対象となる被写体の画像情報を取得する画像情報取得手段と、前記画像情報取得手段で取得された画像情報から顔のランドマークとなる部位を検出し、その位置情報を生成する顔ランドマーク検出手段と、前記顔ランドマーク検出手段で生成されるランドマークの位置情報から、被写体の空間的な位置を推定し、被写体までの距離を表す被写体距離情報を含む推定位置情報を生成する被写体位置推定手段と、前記画像情報取得手段で取得された画像情報に基づいて、画像のピントが合っているか否かを判定し、ピントが合っているか否かを表す合焦情報を生成するとともに、前記推定位置情報に基づいて、前記画像情報取得手段の焦点を制御する焦点制御手段と、前記推定位置情報に基づいて、被写体を照らす照明の明るさを制御する照明手段と、前記合焦情報が、ピントが合っていることを示すときに、前記画像情報取得手段で取得された画像情報を用いて生体認証を行う生体認証手段とを有するものである。

本開示に係る生体認証方法の一態様は、生体認証の対象となる被写体の画像情報を取得し、取得された画像情報から顔のランドマークとなる部位を検出し、その位置情報を生成し、生成されるランドマークの位置情報から、被写体の空間的な位置を推定し、被写体までの距離を表す被写体距離情報を含む推定位置情報を生成し、取得された画像情報に基づいて、画像のピントが合っているか否かを判定し、ピントが合っているか否かを表す合焦情報を生成するとともに、前記推定位置情報に基づいて、画像情報を取得する手段の焦点を制御し、前記推定位置情報に基づいて、被写体を照らす照明の明るさを制御し、前記合焦情報が、ピントが合っていることを示すときに、取得された画像情報を用いて生体認証を行う。

本開示に係るプログラムが格納されたコンピュータ可読媒体の一態様は、生体認証の対象となる被写体の画像情報を取得し、取得された画像情報から顔のランドマークとなる部位を検出し、その位置情報を生成し、生成されるランドマークの位置情報から、被写体の空間的な位置を推定し、被写体までの距離を表す被写体距離情報を含む推定位置情報を生成し、取得された画像情報に基づいて、画像のピントが合っているか否かを判定し、ピントが合っているか否かを表す合焦情報を生成するとともに、前記推定位置情報に基づいて、画像情報を取得する手段の焦点を制御し、前記推定位置情報に基づいて、被写体を照らす照明の明るさを制御し、前記合焦情報が、ピントが合っていることを示すときに、取得された画像情報を用いて生体認証を行う処理をコンピュータに実行させるプログラムが格納されたコンピュータ可読媒体である。

実施の形態１に係る生体認証装置の構成を示すブロック図である。 生体認証装置におけるカメラ、照明、被写体の位置関係の例を示す図である。 生体認証装置におけるカメラ、照明、被写体の位置関係の例を示す図である。 実施の形態２に係る生体認証装置の構成を示すブロック図である。 実施の形態３に係る生体認証装置の構成を示すブロック図である。 実施の形態４に係る生体認証装置の構成を示すブロック図である。 実施の形態に係る生体認証装置のハードウェア構成を例示するブロック図である。

以下、図面を参照して本開示の実施の形態について説明する。説明の明確化のため、以下の記載及び図面は、適宜、省略、及び簡略化がなされている。実施の形態は、生体認証の対象となる被写体の検知結果に基づいて被写体までの距離を推定し、自動的に照明を制御して撮影し、取得された画像を用いて生体認証を行う技術に関する。

実施の形態１．
図１は、実施の形態１に係る生体認証装置の構成を示すブロック図である。図１を参照すると、生体認証装置１００は、画像情報取得手段１０１、顔ランドマーク検出手段１０２、被写体位置推定手段１０３、焦点制御手段１０４、照明手段１０５、生体認証手段１０６を備える。

画像情報取得手段１０１は、生体認証の対象となる被写体の画像情報を取得し、該画像情報を顔ランドマーク検出手段１０２、焦点制御手段１０４、生体認証手段１０６へ出力する。画像情報取得手段１０１は、例えば、被写体である人物の画像を撮影する。

顔ランドマーク検出手段１０２は、画像情報取得手段１０１から出力される画像情報から顔のランドマークとなる部位を検出してランドマーク位置情報を生成し、該ランドマーク位置情報を被写体位置推定手段１０３へ出力する。

被写体位置推定手段１０３は、顔ランドマーク検出手段１０２から出力されるランドマーク位置情報から、被写体の空間的な位置を推定し、被写体までの距離を表す被写体距離情報を含む推定位置情報を生成する。ここで、被写体の空間的な位置は、少なくとも、画像情報取得手段１０１から被写体までの距離を含み、空間上のある点からの水平方向及び垂直方向の位置を含んでいてもよい。生成された推定位置情報は、焦点制御手段１０４と照明手段１０５へ出力される。

焦点制御手段１０４は、被写体位置推定手段１０３から出力される推定位置情報に基づいて、画像情報取得手段１０１の焦点を制御する焦点制御情報を生成する。焦点制御情報は、画像情報取得手段１０１へ出力される。また、焦点制御手段１０４は、画像情報取得手段１０１から出力される画像情報に基づいて、画像のピントが合っているか否かを判定し、ピントが合っているか否かを表す合焦情報を生成して、生体認証手段１０６へ出力する。

照明手段１０５は、被写体位置推定手段１０３から出力される推定位置情報に基づいて、照明を制御する情報を生成し、その情報に基づいて被写体を照らす照明の明るさを調節する。なお、照明は最低１か所に設置されていればよいが、複数個所に設置されていてもよい。照明の一例はＬＥＤ（Light Emitting Diode）、近赤外光源、ランプ、又は、明るさを制御可能なその他の発光デバイスである。

生体認証手段１０６は、焦点制御手段１０４から出力される合焦情報が、ピントが合っていることを示すときに、画像情報取得手段１０１から出力される画像情報を用いて生体認証を行い、認証結果を生成する。生体認証としては、顔や頭部の全部、あるいは一部を用いた生体認証を対象にする。例えば、顔認証、虹彩認証、目の周囲領域での認証、耳認証などが対象に含まれる。

次に、図１の生体認証装置１００の各構成要素について詳細に説明する。
画像情報取得手段１０１としては、上述の生体認証に用いる部位が認証に可能な解像度、画質で撮影できるものであれば、どのようなものであってもよい。画像情報取得手段１０１としては、例えば、ＵＳＢカメラ、ＩＰカメラ、Ｗｅｂカメラ、ＣＣＴＶカメラ等を用いることができる。ただし、近赤外光を用いて生体認証を行う場合（虹彩認証など）には、画像情報取得手段１０１は、近赤外の領域の画像を、生体認証に必要な解像度、画質で撮影できるものである必要がある。

また、画像情報取得手段１０１は、被写体までの距離に応じて焦点を調節する仕組みを有する。この仕組みとしては、従来オートフォーカスで採用されている任意の機構を用いることができる。また、液体レンズなど、近年使われるようになってきた新しいデバイスを用いてもよい。

画像情報取得手段１０１は、外部からその焦点を制御できるようになっており、焦点制御手段１０４から入力される焦点制御情報に従って焦点を制御する。例えば、フォーカスリングを回転させて焦点を制御する方式の場合には、レンズの距離を調節するフォーカスリングの回転角、又は、フォーカスリングを回転させるのに用いるフォーカスモータの回転角が焦点制御情報に含まれる。また、液体レンズの場合、焦点制御情報は液体レンズの制御電圧情報を含む。画像情報取得手段１０１は、液体レンズの制御電圧を指定された値に変更し、画像を取得する。

顔ランドマーク検出手段１０２では、入力された画像情報を用いて、顔検出又は頭部検出を行い、顔や頭部に含まれる、ランドマークとなる部位の位置を求める。ここで、ランドマークとは、顔又は頭部に含まれる、特徴的な部位（以後、単に特徴点とも呼ぶ）のことを指す。一例では、ランドマークは、瞳、鼻の頭、又は目端でありえる。しかしながら、ランドマークは、これらの例に限定されない。

顔や頭部及びこれに含まれるランドマークとなる部位の検出には、顔、頭部及びその部位の特徴を学習させた検出器を用いて行うことができる。例えば、ＨＯＧ（Histograms of Oriented Gradients）特徴量を抽出し、抽出した特徴量に基づいて検出する検出器や、ＣＮＮ（Convolutional Neural Network）を用いて画像から直接検出する検出器を用いてもよい。

ここでは、複数のランドマークのうち、被写体位置推定手段１０３において被写体の位置を推定するのに用いられる特徴点のみの位置情報（画像上での位置座標）を求めればよい。ここで、推定される被写体の位置は、少なくとも、カメラから被写体までの距離（以後、被写体距離と述べる）を含む。

推定される被写体位置が被写体距離のみである場合は、顔ランドマーク検出手段１０２は、これを求めるのに必要なランドマークのみを検出するようになっていてもよい。例えば、顔ランドマーク検出手段１０２は、両目の瞳孔の間の距離である目間距離に基づいて被写体までの距離を推定する場合には、両目の瞳孔を特徴点とし、その位置を求める。あるいは、顔ランドマーク検出手段１０２は、瞳孔の位置の代わりに、目のほかの特徴点（内眼角や外眼角など）の位置を求め、これらの特徴点間の距離を目間距離の代わりに用いるようにしてもよい。あるいは、顔ランドマーク検出手段１０２は、目の代わりに鼻や口など、他の特徴点との距離を代わりに用いるようになっていてもよく、その場合は用いる特徴点の位置を求めるようにすればよい。

一方、推定される被写体位置が被写体距離以外に、空間上のある点（例えば、カメラの光軸中心）からの水平、垂直方向の位置も含む場合、顔ランドマーク検出手段１０２は、これらの値の算出に必要なランドマークのみを検出するようになっていてもよい。被写体位置推定手段１０３は、生成されたランドマークの位置情報から被写体の位置を推定する。

生成される被写体の位置情報のうち、被写体距離は、人の顔の大きさの個人差が大きくないと仮定すると、特徴点の位置間の距離から大まかに推定できる。特徴点としては、上述の通り、様々なものを用いることができる。以下では、特徴点として両目の瞳孔を用い、瞳孔間の距離である目間距離を用いて被写体までの距離を求める場合について述べる。

被写体位置推定手段１０３では、あらかじめ目間距離と被写体距離との関係式を求め、この関係式に基づいて、被写体までの距離を求めるようにすればよい。すなわち、目間距離をｄ、推定される被写体までの距離をＤ_Ｅとすると、関係式は式（１）のように表すことができる。

この関数ｆ（ｄ）をあらかじめ求めておき、被写体までの距離の推定に用いることができる。例えば、関数ｆ（ｄ）は線形回帰によって求めた直線で近似してもよいし、多項式やその他の数式を当てはめることによって求めるようにしてもよい。あるいは、関数ｆ（ｄ）は、区間ごとに近似したものを組み合わせて表現するようにしてもよい。このようにして求めた被写体距離が推定位置情報として出力される。

また、被写体位置推定手段１０３は、画像中心から顔がどれだけずれているかを求めるようになっていてもよい。これも顔のランドマークの位置情報を用いて求めることができる。例えば、被写体位置推定手段１０３は、画像上の目の瞳孔の座標から、顔の中心が画像上で水平、垂直方向にどれだけずれているかを求め、空間上の距離に換算し、被写体位置を求めることができる。

これは、顔のランドマーク間の距離（例えば、目間距離）は、個人差はあるものの大体決まった値（目間距離（瞳孔間の距離）の場合は、およそ６．５ｃｍ）であるためである。具体的には、被写体位置推定手段１０３は、目間距離の画素数から、１画素が実空間ではどの程度の長さに相当するかを求め、画像上の座標位置を空間上の位置のずれに換算できる。このようにして求めた実空間上での被写体の上下左右方向のずれ情報も推定位置情報に含めることができる。

被写体のずれ情報について、図２、３を参照して説明する。図２、３は、生体認証装置１００における画像情報取得手段１０１のカメラ１、照明手段１０５の照明２Ａ、２Ｂ、被写体Ｓの位置関係の例を示す図である。図２は、生体認証装置１００を上から見た図である。図２は、人物の顔の中心とカメラの光軸が一致している場合を示している。図３は、カメラの中心を原点とし、奥行き方向にＺ軸、それに垂直な平面の横方向にＸ軸、縦方向にＹ軸をもつ座標系を設定した図である。図３は、人物の顔の中心とカメラの光軸がずれている（すなわちカメラの光軸が人物の顔の中心を向いていない）場合を示している。

図２、３に示す例では、カメラ１の両側に照明２Ａ、２Ｂがそれぞれ配置されている。図３に示すように、例えば、生体認証装置１００は、顔の中心のＺ軸からのずれ（Ｘ_Ｐ，Ｙ_Ｐ）の値を推定し、被写体距離Ｄ_Ｅとともに推定位置情報に含めてもよい。求められた推定位置情報は、焦点制御手段１０４と照明手段１０５へ出力される。なお、図２、３に示す照明２Ａ、２Ｂの配置及び数は単なる一例である。図示しない一変形例では、カメラ１の両側に複数の照明が配置されていてよい。また、カメラ１の両側にそれぞれ配置された照明の数は同一でなくてもよい。

焦点制御手段１０４では、推定位置情報に含まれる被写体距離情報に基づいて、画像情報取得手段１０１の焦点を制御する焦点制御情報を生成し、画像情報取得手段１０１へ出力する。すなわち、焦点制御手段１０４は、推定された被写体距離で焦点が合うようにカメラ１のレンズを調節する情報を生成する。

ただし、目間距離など、顔のランドマーク（特徴点）間の距離には個人差があり、推定された被写体距離は実際の距離から少しずれている可能性がある。このため、焦点制御手段１０４は、撮影された画像の合焦位置を探索する探索モードのときには、推定された被写体距離を基準として、その前後で合焦する位置を探索してもよい。この際、焦点制御手段１０４は、撮影された画像の所定領域におけるピントがあっている度合いを表す合焦指標を算出する。そして、合焦指標が所定の条件を満たし、撮影された画像のピントが合っていると判定された場合、焦点制御手段１０４はその合焦位置でピントが合った状態を維持する合焦モードに移行する。

ここで、合焦指標は、例えば、画像の高周波成分の電力や、エッジ成分がどの程度あるかを評価した値であり、ピントが合っているときほど高い値になる。合焦指標を用いて焦点が合っているか否かを判定する方式は様々である。例えば、合焦指標が所定の閾値を超えたときに焦点が合っていると判定してもよいし、焦点を制御してピントをずらしながら撮影し、それぞれの合焦指標を求め、極大となる点を求めて合焦判定を行ってもよい。

なお、焦点制御手段１０４は、過去に入力された被写体の推定位置情報を保持しており、入力される推定位置情報が大きく変わった場合には、再度焦点を探索する探索モードに移行するように制御してもよい。これにより、被写体が移動しても適切に焦点を合わせることが可能となる。

取得された画像のピントが合っていると判定された場合、すなわち、合焦指標が所定の条件を満たした場合、焦点制御手段１０４は、合焦していることを表す合焦情報を出力する。なお、取得された画像のピントが合っていない場合は、合焦していないことを表す情報（すなわち、合焦位置を探索中であることを表す情報）を合焦情報として出力するようになっていてもよい。合焦情報は、生体認証手段１０６へ出力される。

照明手段１０５は、推定位置情報に基づいて、実空間上での被写体Ｓと照明２Ａ、２Ｂの位置関係を求め、その結果に応じて照明の明るさを制御する。照明手段１０５は、被写体距離に基づいて、被写体距離が大きくなるにつれて明るさが大きくなるように照明を制御することができる。例えば、単位面積あたりの照明の光量は、被写体距離の二乗に反比例するため、照明手段１０５は、式（２）に基づいて照明を制御する。

ここで、Ｉは照明の強度、Ａは定数である。また、Ｄ_Ｌは照明２Ｂから被写体Ｓの顔の中心までの距離であり、被写体距離Ｄ_Ｅと、カメラと照明間の距離Ｌによって定まる。図２に示すように、カメラ１から照明２Ｂまでの距離をＬとすると、Ｄ_Ｌは、式（３）で表される。

なお、図２に示す例では、照明２Ａから被写体Ｓの顔の中心までの距離は、照明２Ｂから被写体Ｓの顔の中心までの距離と等しい。

また、図３に示すように、推定位置情報にずれが含まれる場合は、照明手段１０５は、これも考慮してもよい。すなわち、照明手段１０５は、ずれ情報も考慮して、各照明から被写体までの距離を求め、その距離に応じて照明の明るさを制御するようにしてもよい。照明２Ｂの位置を（Ｘ_Ｌ，Ｙ_Ｌ，Ｚ_Ｌ）とすると、照明から顔までの距離は式（４）で表される。

照明手段１０５は、この距離に応じて、照明の明るさを制御する。具体的には、上述したように、照明手段１０５は、被写体距離に基づいて、照明の光源から被写体までの距離が長くなるにつれて、照明がより明るくなるように照明を制御する。これにより、被写体の位置が左右や上下にずれても適切に被写体を照らすことができる。

なお、照明の明るさを制御する方式は任意である。例えば、照明手段１０５は、照明に流す電流の量を変化させたり、照明を高周波でＯＮ／ＯＦＦし、ＯＮ／ＯＦＦの時間の幅を変化させることによって明るさを変化させたりしてもよい（ＰＷＤ（Pulse Width modulation）制御）。又は、複数の照明を同じ位置に配置する場合には、照明手段１０５は、点灯する照明の数を変えることによって明るさを変えるようにしてもよい。さらに、照明手段１０５は、照明の光源から被写体までの距離に応じて、リフレクタなどの補助部材を用いて、照明光の広角／狭角を制御してもよい。すなわち、照明手段１０５は、照明の光源から被写体までの距離が遠いほど、照明からの光の拡散を絞り、照明の光源から被写体までの距離が近づくほど、照明からの光の拡散を広げる。あるいは、照明手段１０５は、これらの組み合わせや、これ以外の任意の照明制御の方法を用いてもよい。

生体認証手段１０６では、画像情報取得手段１０１から出力される画像情報を用いて生体認証処理を行い、認証結果を生成する。具体的には、生体認証手段１０６は、入力される画像から、適用される生体認証の方式に応じた特徴量を抽出する。そして、生体認証手段１０６は、あらかじめ登録されている人物の特徴量と比較し、生体認証の対象となる人物が誰であるか、あるいは誰とも合致しないかを判定する。例えば、虹彩認証の場合には、生体認証手段１０６は、選択された画像から目領域を切り出し、虹彩の特徴量を抽出する。そして、生体認証手段１０６は、抽出された特徴量と、あらかじめ登録されている虹彩の特徴量の比較を実施し、認証結果を生成する。

このように、実施の形態１によれば、測距センサなどの他のデバイスを用いることなく、生体認証に用いる画像のみを用い、生体認証の対象となる被写体の顔の位置を推定することができる。被写体の推定位置に合わせて、カメラの焦点と照明の明るさを制御することで、顔の位置が前後上下左右に少しずれても、適切な明るさで照明された合焦画像を取得できるようになり、生体認証の精度を向上させることが可能となる。

実施の形態２．
図４は、実施の形態２に係る生体認証装置の構成を示すブロック図である。図２を参照すると、生体認証装置１００は、画像情報取得手段１０１、顔ランドマーク検出手段１０２、被写体位置推定手段１０３、焦点制御手段１０４、照明手段２０５、生体認証手段１０６を備える。図４では、図１と比較すると、照明手段１０５の代わりに照明手段２０５が設けられており、それ以外は同様である。

照明手段２０５には、被写体位置推定手段１０３から出力される推定位置情報と画像情報取得手段１０１から出力される画像情報とが入力される。照明手段２０５は、推定位置情報と画像情報に基づいて、照明を制御する情報を生成し、その情報に基づいて被写体を照らす照明の明るさを調節する。

次に、図４の生体認証装置１００の照明手段２０５について詳細に説明する。なお、照明手段２０５以外の構成要素は、図１と同様であるため説明を省略する。
照明手段２０５は、被写体位置推定手段１０３から出力される推定位置情報に加え、画像情報取得手段１０１から出力される画像情報も用いて、照明を制御する情報を生成する。最初は、図１の照明手段１０５と同様に、推定位置情報によって明るさを調節する。次に、その調節された照明下で撮影された画像情報が画像情報取得手段１０１から入力されると、照明手段１０５は、被写体の明るさを分析する。

そして、照明手段２０５は、分析した明るさと想定される明るさとを比較して、被写体が明るすぎるようであれば、明るさを減らすように照明を制御し、逆に暗すぎるようであれば、明るくするように制御する。明るさの判定は、例えば、画像の画素値の分布を求め、その代表値を想定値と比較して大きいか否かによって決定してもよい。代表値としては、平均値や最頻値、メディアン値、最大値、最小値、特定のパーセンタイル値など、様々な値を用いることができる。あるいは、照明手段２０５は、画像の画素値の分布そのものを想定される分布と比較し、これらの分布間の類似度が上がるように、照明を制御してもよい。

なお、顔ランドマーク検出手段１０２から出力されるランドマーク位置情報がさらに、照明手段２０５へ入力されるようになっていてもよい。照明手段２０５は、ランドマーク位置情報によって特定される被写体領域に限定して、上記の分析を行って照明の明るさを調節するようにしてもよい。これにより、生体認証装置１００は、より適切に、照明の明るさを制御し、高品質な生体特徴量を取得することが可能となる。

実施の形態３．
図５は、実施の形態３に係る生体認証装置１００の構成を示すブロック図である。図５を参照すると、生体認証装置１００は、画像情報取得手段１０１、顔ランドマーク検出手段１０２、被写体位置推定手段１０３、焦点制御手段１０４、照明手段３０５、生体認証手段１０６を備える。図５では、図４と比較すると、照明手段２０５の代わりに照明手段３０５が設けられており、それ以外は図４と同様である。

照明手段３０５には、被写体位置推定手段１０３から出力される推定位置情報と、画像情報取得手段１０１から出力される画像情報と、焦点制御手段１０４から出力される合焦情報とが入力される。照明手段３０５は、推定位置情報と画像情報と合焦情報とに基づいて、照明を制御する情報を生成し、その情報に基づいて被写体を照らす照明の明るさを調節する。なお、第３の実施の形態の場合は、例えば図２や図３に示すように、少なくとも２か所に照明が設置されているものとする。

次に、図５の生体認証装置１００の照明手段３０５について詳細に説明する。なお、照明手段３０５以外の構成要素は、図１と同様であるため説明を省略する。
照明手段３０５は、被写体位置推定手段１０３から出力される推定位置情報と画像情報取得手段１０１から出力される画像情報に加え、さらに焦点制御手段１０４から出力される合焦情報も用いて照明を制御する。具体的には、焦点制御手段１０４が合焦位置を探索する探索モードであるときと、焦点制御手段１０４が合焦位置を維持する合焦モードであるときとの間で、照明手段３０５は異なる制御を実施する。

より詳細には、焦点制御手段１０４が合焦位置を探索している状態で、合焦情報が合焦状態であることを示していないときは、照明手段３０５は照明手段２０５と同様の照明制御を実施する。すなわち、照明手段３０５は、両方の照明２Ａ、２Ｂを点灯させたまま、推定位置情報によって、これらの照明２Ａ、２Ｂの明るさを独立に又は非独立に調節する。一方、合焦情報が合焦状態であることを示しているときには、照明手段３０５は、以下で説明するように、所定の点灯パターンに従って複数の照明の点灯を制御して撮影する。

例えば、図２や図３に示すように、カメラ１の両側にそれぞれ照明２Ａ、２Ｂが配置されている場合、照明手段３０５は、照明を交互に点灯するようにしてもよい。すなわち、照明手段３０５は、あるタイミングで一方の照明２Ａを点灯させ、次のタイミングでは他方の照明２Ｂを点灯させる。このようにすることで、眼鏡等の反射が被写体の目にかかって目やその周囲の特徴が取得できなくなることを回避することができる。

この際、照明手段３０５は、被写体位置の画面中心からのずれを考慮し、照明の点灯パターンを制御するようにしてもよい。照明の光が斜めから眼鏡にあたるほうが、光の反射が目の領域にかかることを防ぐことができるようになるため、被写体位置の画面中心からずれた方向と逆の照明のみを点灯するようにしてもよい。

例えば、図３の例では、被写体Ｓの顔の位置が照明２Ｂ側にずれているため、照明２Ｂを消灯して、照明２Ａのみを点灯させるようにしてもよい。このように、合焦状態のときに点灯パターンを制御することで、眼鏡をかけた人の場合、眼鏡で反射された光が目の虹彩領域にかかるのを防ぐことができ、眼鏡をかけていても高品質な虹彩画像を撮影できる。また、照明の点灯パターンを意図的に変えて撮影することで、なりすましか否かの判定もしやすくなるというメリットもある。

実施の形態４．
図６は、実施の形態４に係る生体認証装置１００の構成を示すブロック図である。図６を参照すると、生体認証装置１００は、画像情報取得手段１０１、顔ランドマーク検出手段１０２、被写体位置推定手段４０３、焦点制御手段１０４、照明手段１０５、生体認証手段１０６、顔向き推定手段４０７を備える。図６では、図１と比較すると、被写体位置推定手段１０３の代わりに被写体位置推定手段４０３が設けられており、さらに、顔向き推定手段４０７が設けられている。それ以外は図１と同様である。

顔向き推定手段４０７には、画像情報取得手段１０１から出力される画像情報が入力される。顔向き推定手段４０７は、画像情報を解析して顔の向きを推定し、顔向き情報を被写体位置推定手段４０３へ出力する。被写体位置推定手段４０３は、顔ランドマーク検出手段１０２から出力されるランドマーク位置情報と、顔向き推定手段４０７から出力される顔向き情報に基づいて、推定位置情報を生成し、焦点制御手段１０４と照明手段１０５へ出力する。

次に、図６の生体認証装置１００の被写体位置推定手段４０３、顔向き推定手段４０７について詳細に説明する。なお、被写体位置推定手段４０３、顔向き推定手段４０７以外の構成要素は、図１と同様であるため説明を省略する。

顔向き推定手段４０７は、入力された画像を解析して、顔の向きを算出する。すなわち、正面向きに対して、縦方向、横方向にどの程度ずれた方向を向いているかを算出する。顔の向きは、あらかじめ顔の向きごとに学習させた判定器を用いて判定することが可能である。算出された顔向き情報は、被写体位置推定手段４０３へ出力される。

被写体位置推定手段４０３では、顔向き情報が正面を示している場合には、被写体位置推定手段１０３と同様にして推定位置情報を求める。一方、顔の向きが正面でない場合には、被写体位置推定手段４０３は、その向きを考慮してランドマーク位置情報を補正し、補正したランドマーク位置情報を用いて推定位置情報を求めることができる。

例えば、ランドマークとして目の位置を用い、目間距離から被写体距離を算出する場合には、被写体位置推定手段４０３は顔向き情報を用いて目間距離を補正する。例えば、顔が斜め横方向を向いている場合には、求められる目間距離は実際の距離より短くなる。この場合、被写体位置推定手段４０３は、顔の傾きによるランドマーク位置情報の補正を行う。

具体的には、横方向の回転角がθのとき、目間距離ｄの代わりに、式（５）に示す、補正した目間距離ｄ’を用いて、被写体までの距離値を求めることができる。

このように、顔の向きが正面でない場合であっても、そのことを考慮して補正を実施することで、より適切に照明を制御できるようになる。

また、顔向き推定手段４０７で求められた顔向き情報は、照明手段１０５に入力されるようになっていてもよい。顔の向きによって光の反射率が変わり、被写体の明るさが変わりえるため、顔の向きを考慮して照明の明るさを制御してもよい。

なお、上述の顔向き情報によるランドマーク位置情報の補正は、図４、図５の生体認証装置１００に対しても適用できる。すなわち、被写体位置推定手段１０３の代わりに被写体位置推定手段４０３を設け、顔向き推定手段４０７を追加すればよい。

図７は、実施の形態に係る生体認証装置のハードウェア構成を例示するブロック図である。図７を参照すると、実施の形態に係る生体認証装置１００は、計算機１０、カメラ１、照明２により実現される。計算機１０は、任意の計算機であり、例えば、Personal Computer（ＰＣ）、サーバマシン、タブレット端末、又はスマートフォンなどである。計算機１０は、生体認証装置１００を実現するために設計された専用の計算機であってもよいし、汎用の計算機であってもよい。

計算機１０は、入出力インタフェース１１、バス１２、プロセッサ１３、メモリ１４、ストレージデバイス１５、外部インタフェース１６を有する。バス１２は、プロセッサ１３、メモリ１４、ストレージデバイス１５、入出力インタフェース１１及び外部インタフェース１６は、相互にデータを送受信するためのデータ伝送路である。ただし、プロセッサ１３などを互いに接続する方法は、バス接続に限定されない。

プロセッサ１３は、ＣＰＵ（Central Processing Unit）、ＧＰＵ（Graphics Processing Unit）、又はＦＰＧＡ（Field-Programmable Gate Array）などの種々のプロセッサである。メモリ１４は、ＲＡＭ（Random Access Memory）などを用いて実現される主記憶装置である。ストレージデバイス１５は、ハードディスク、ＳＳＤ（Solid State Drive）、メモリカード、又はＲＯＭ（Read Only Memory）などを用いて実現される補助記憶装置である。

入出力インタフェース１１は、計算機１０と入出力デバイスとを接続するためのインタフェースである。例えば入出力インタフェース１１には、キーボードなどの入力装置や、ディスプレイ装置などの出力装置が接続される。

外部インタフェース１６は、計算機１０を他の機器と接続するためのインタフェースである。例えば、ＵＳＢ（Universal Serial Bus）やＩＥＥＥ１３９４などであり、カメラ１、照明２と接続されている。計算機１０は、外部インタフェース１６を介して、照明２を制御したり、カメラ１とデータを通信したりできるようになっている。照明２は、生体認証装置１００の照明手段１０５、２０５、３０５に該当し、カメラ１は、画像情報取得手段１０１に該当する。

ストレージデバイス１５は、生体認証装置１００の各手段を実現するプログラムモジュールを格納している。プロセッサ１３は、これら各プログラムモジュールをメモリ１４に読み出して実行することで、各プログラムモジュールに対応する機能を実現する。

なお、生体認証装置１００の一部の機能はカメラ１側で実行されていてもよい。すなわち、カメラ１の内部にプロセッサやストレージデバイス、メモリが格納されており、生体認証装置１００の各手段の処理の全部、あるいは一部をこれらの構成要素を用いて実行するようにしてもよい。

例えば、画像情報取得手段１０１、焦点制御手段１０４の処理をカメラ１側で実行し、それ以外の処理を計算機１０側で実行するようにしてもよい。あるいは、顔ランドマーク検出手段１０２の処理もカメラ１側で実行するようになっており、それ以外については、計算機１０側で実行するようになっていてもよい。又は、照明手段１０５、生体認証手段１０６以外の処理をすべてカメラ１側で実行するようになっていてもよい。

本実施の形態に係るプログラムは、コンピュータに上述の処理を実行させるプログラムであれば良い。上述の例において、プログラムは、様々なタイプの非一時的なコンピュータ可読媒体（non-transitory computer readable medium）を用いて格納され、コンピュータに供給することができる。非一時的なコンピュータ可読媒体は、様々なタイプの実体のある記録媒体（tangible storage medium）を含む。非一時的なコンピュータ可読媒体の例は、磁気記録媒体（例えばフレキシブルディスク、磁気テープ、ハードディスクドライブ）、光磁気記録媒体（例えば光磁気ディスク）、ＣＤ－ＲＯＭ（Read Only Memory）、ＣＤ－Ｒ、ＣＤ－Ｒ／Ｗ、半導体メモリ（例えば、マスクＲＯＭ、ＰＲＯＭ（Programmable ROM）、ＥＰＲＯＭ（Erasable PROM）、フラッシュＲＯＭ、ＲＡＭ（Random Access Memory））を含む。また、プログラムは、様々なタイプの一時的なコンピュータ可読媒体（transitory computer readable medium）によってコンピュータに供給されてもよい。一時的なコンピュータ可読媒体の例は、電気信号、光信号、及び電磁波を含む。一時的なコンピュータ可読媒体は、電線及び光ファイバ等の有線通信路、又は無線通信路を介して、プログラムをコンピュータに供給できる。

以上説明したように、各実施の形態によれば、生体認証の対象となる被写体までの距離を測るセンサがなくても、被写体の位置に合わせてカメラの焦点を合わせ、照明を適切に制御して生体認証を実行することが可能となる。

本開示によれば、測距センサなどの他のデバイスを用いることなく、生体認証の対象となる被写体の位置に合わせてカメラの焦点と照明を制御し、安価に高品質な生体特徴の取得が可能な生体認証装置、生体認証方法、及び、そのプログラムが格納されたコンピュータ可読媒体を提供することができる。

なお、本開示は上記実施の形態に限られたものではなく、趣旨を逸脱しない範囲で適宜変更することが可能である。係る変更又は改良を加えた新たな実施の形態も、本開示の技術的範囲に含まれ得る。このことは、請求の範囲に記載した事項から明らかである。

１００ 生体認証装置
１０１ 画像情報取得手段
１０２ 顔ランドマーク検出手段
１０３ 被写体位置推定手段
１０４ 焦点制御手段
１０５ 照明手段
１０６ 生体認証手段
２０５ 照明手段
３０５ 照明手段
４０３ 被写体位置推定手段
４０７ 顔向き推定手段
１０ 計算機
１１ 入出力インタフェース
１２ バス
１３ プロセッサ
１４ メモリ
１５ ストレージデバイス
１６ 外部インタフェース
１ カメラ
２、２Ａ、２Ｂ 照明
Ｓ 被写体

Claims (10)

1. 生体認証の対象となる被写体の画像情報を取得する画像情報取得手段と、
   前記画像情報取得手段で取得された画像情報から顔のランドマークとなる部位を検出し、その位置情報を生成する顔ランドマーク検出手段と、
   前記顔ランドマーク検出手段で生成されるランドマークの位置情報から、被写体の空間的な位置を推定し、被写体までの距離を表す被写体距離情報を含む推定位置情報を生成する被写体位置推定手段と、
   前記画像情報取得手段で取得された画像情報に基づいて、画像のピントが合っているか否かを判定し、ピントが合っているか否かを表す合焦情報を生成するとともに、前記推定位置情報に基づいて、前記画像情報取得手段の焦点を制御する焦点制御手段と、
   前記推定位置情報と前記合焦情報に基づいて、被写体を照らす照明を制御する照明手段と、
   前記合焦情報が、ピントが合っていることを示すときに、前記画像情報取得手段で取得された画像情報を用いて生体認証を行う生体認証手段と、
   を有する、
   生体認証装置。
2. 前記画像情報取得手段で取得された画像情報から被写体の顔向きを推定する顔向き推定手段をさらに有し、
   前記照明手段は、前記推定位置情報に含まれる被写体距離と前記顔向きに基づいて、照明を制御する、
   請求項１に記載の生体認証装置。
3. 前記推定位置情報は、被写体のずれを表すずれ情報をさらに含み、
   前記照明手段は、前記推定位置情報のずれ情報をさらに用いて照明の明るさを制御する、
   請求項２に記載の生体認証装置。
4. 前記被写体位置推定手段は、前記顔向き推定手段で求められた前記顔向きに基づいて、前記推定位置情報に含まれる被写体距離を補正する、
   請求項２又は３に記載の生体認証装置。
5. 前記照明手段は、前記画像情報取得手段で取得された画像情報の画素値の分布を求め、その代表値を想定値と比較することによって明るさを調節する、
   請求項１から４のいずれか１項に記載の生体認証装置。
6. 前記照明手段は複数の位置に配置された照明を含み、
   前記照明手段は、前記合焦情報をさらに用いて照明を制御し、前記合焦情報が合焦状態であることを示す場合には、所定の点灯パターンに従って複数の照明の点灯を制御する、
   請求項１から５のいずれか１項に記載の生体認証装置。
7. 前記照明手段は、前記推定位置情報に含まれる被写体の位置のずれ情報をさらに用いて、前記点灯パターンを制御する、
   請求項６に記載の生体認証装置。
8. 前記照明手段は、前記画像情報の中心から被写体の位置がずれた方向と逆の照明のみを点灯するよう制御する、
   請求項７に記載の生体認証装置。
9. 生体認証の対象となる被写体の画像情報を取得し、
   取得された画像情報から顔のランドマークとなる部位を検出し、その位置情報を生成し、
   生成されるランドマークの位置情報から、被写体の空間的な位置を推定し、被写体までの距離を表す被写体距離情報を含む推定位置情報を生成し、
   取得された画像情報に基づいて、画像のピントが合っているか否かを判定し、ピントが合っているか否かを表す合焦情報を生成するとともに、前記推定位置情報に基づいて、画像情報を取得する手段の焦点を制御し、
   前記推定位置情報と前記合焦情報に基づいて、被写体を照らす照明を制御し、
   前記合焦情報が、ピントが合っていることを示すときに、取得された画像情報を用いて生体認証を行う、
   生体認証方法。
10. 生体認証の対象となる被写体の画像情報を取得し、
    取得された画像情報から顔のランドマークとなる部位を検出し、その位置情報を生成し、
    生成されるランドマークの位置情報から、被写体の空間的な位置を推定し、被写体までの距離を表す被写体距離情報を含む推定位置情報を生成し、
    取得された画像情報に基づいて、画像のピントが合っているか否かを判定し、ピントが合っているか否かを表す合焦情報を生成するとともに、前記推定位置情報に基づいて、画像情報を取得する手段の焦点を制御し、
    前記推定位置情報と前記合焦情報に基づいて、被写体を照らす照明を制御し、
    前記合焦情報が、ピントが合っていることを示すときに、取得された画像情報を用いて生体認証を行う、
    処理をコンピュータに実行させるプログラム。

Images