一般に、心臓の拍動に対応して、肌表面に近い血管も脈動しており、血流量の変化に伴って、肌表面の色が変化することが知られている。これを利用して、対象物を撮影した連続画像の肌表面の色別の輝度値の変化を検出し、画像の輝度値の変化に基づいて脈波を検出できる。そして、対象物から脈波が検出されたときには、対象物が生体であると判定できる。なお、脈波とは、心臓の拍動に伴う血管の脈動を捉えた波形であり、脈圧や血流量の変化として捉えられる。
ここで、顔認証に伴う生体判定では、生体判定を短時間で行うことが要求されるため、必ずしも脈拍一周期分の輝度値のデータを取得できるとは限らない。そのため、脈拍一周期分の輝度値のデータが取得される前の時点で、画像の輝度値の変化の傾向を分析する必要がある。
この点、本発明の生体判定システム、生体判定方法、生体判定プログラムでは、対象物における所定の波長領域の輝度値の時系列データを複数取得し、取得した複数の時系列データ間の傾向を分析し、分析した傾向に基づき、対象物が生体であるか否かを判定する。すなわち、輝度値に関する時系列データを、時系列データの時間的な変化に基づいて分析するのではなく、複数の時系列データ間の傾向を分析する。複数の時系列データ間の傾向が、生体の脈波の傾向と同様ならば対象物は生体であり、生体の脈波の傾向と異なるならば対象物は生体ではなく、非生体である。
複数の時系列データ間の傾向は、必ずしも脈拍一周期分の時系列データが取得できなくても、複数の時系列データ間の傾向を示す程度の時系列データが取得できれば、分析可能である。そのため、脈拍一周期分の時系列データが取得される前の時点で、時系列データ間の傾向を分析して生体判定を行うことは可能である。もちろん、脈拍一周期分のデータが取得できた後、時系列データ間の相関度合いを分析して生体判定を行うことも可能である。本発明は、脈拍一周期分の脈波の検出の有無に関わらず実施できる。
以下の実施の形態では、複数の時系列データ間の傾向に基づき生体判定を行う例を開示する。具体的には、同一のエリアにおける異なる波長領域の輝度値の時系列データ間の傾向に基づく生体判定と、複数のエリアにおける同一の波長領域の輝度値の時系列データ間の傾向に基づく生体判定と、2つの生体判定を組み合わせた生体判定とを開示する。なお、本発明の実施形態は、以下の実施形態に限定されない。
(第1の実施の形態)
以下、生体判定システムの第1の実施の形態について図面を参照して説明する。
本実施の形態の生体判定システムは、対象物が含まれる連続画像から、同一のエリアにおける異なる波長領域の輝度値の時系列データを取得する。また、生体判定システムは、同一のエリアにおける異なる波長領域の輝度値の時系列データ間の傾向として、相関度合いを分析する。そして、これら複数の時系列データの間で負の相関が見られたときには、画像内の対象物が生体である旨を判定する。
具体的には、本実施の形態の生体判定システムは、対象物である人物の顔を含む連続画像において、顔の肌表面に分析の対象とする分析エリアを設定する。そして、生体判定システムは、このエリアに含まれる各画素について赤色成分と緑色成分と青色成分との輝度値を検出し、複数の波長成分の輝度値の時系列データを取得する。生体判定システムは、緑色成分の輝度値の時系列データと赤色成分の輝度値の時系列データとの相関度合いを分析し、負の相関があれば対象物は生体であると判定する。以下、詳細に説明する。
図1に示すように、生体判定システム100は、生体判定処理を制御する制御部200と、制御部200が生体判定処理の際に実行する生体判定プログラムを含めた各種のプログラムや当該プログラムの実行の際に制御部200が読み書きする各種のデータを保存する記憶部300とを有するコンピュータである。そして、制御部200は、記憶部300に保存された生体判定プログラムを実行することにより、顔検出部210、輝度値取得部220、脈波検出部230、傾向分析部240、生体判定部250、及び、出力部260として機能する。
顔検出部210は、カメラ10により撮影された動画像から画像フレームを取得する。また、顔検出部210は、取得した画像フレームから対象物である人物の顔を検出し、当該検出した顔の中に分析エリアを設定し、分析エリア内の各画素の輝度値のデータを輝度値取得部220に出力する。この分析エリアは、検出した顔の中で肌が露出しているエリアに設定する。例えば、図2に示すように、分析エリアであるエリアRAは、鼻の下部周辺とその両脇とを含むエリアである。顔検出部210が行う顔の検出は、公知の顔検出方法を用いることができる。顔検出部210は、検出した顔の輪郭や目、鼻、口などの顔パーツの位置に基づいて、エリアRAを設定する。
顔検出部210による顔の検出は、画像フレームを取得する毎に行なってもよいが、先の画像フレームで顔が検出されていれば、簡単な方法で代替することができる。例えば、先の画像フレームの鼻の下部周辺領域の画像を切出し、この画像をテンプレート画像とした画像照合により、後の画像フレームでの鼻の下部周辺領域の位置を検出することができる。顔検出部210は、検出した鼻の下部周辺領域の位置に基づいて、エリアRAを設定できる。この場合、画像照合による位置の検出の回数や位置の移動量に制限を設け、制限を超えた場合は顔の検出を再度行ってもよい。
輝度値取得部220は、顔検出部210から入力された分析エリアであるエリアRAの輝度値のデータに基づいて、人物の顔に設定したエリアRAに含まれる画素毎のデータとして、赤、緑、青の3色の色成分の輝度値を取得する。そして、輝度値取得部220は、取得した画素毎の輝度値からエリアRAの各色成分の輝度値の平均値を算出し、算出した各平均値をエリアRAの各色成分の輝度値の代表値とする。具体的には、輝度値取得部220は、赤色成分の輝度値の代表値R、緑色成分の輝度値の代表値G、青色成分の輝度値の代表値Bを算出する。輝度値取得部220は、こうして算出した各色成分の輝度値の代表値を脈波検出部230に出力する。なお、代表値は平均値に限定されず、中央値や最頻値を代表値としてもよい。
脈波検出部230は、データ取得処理として、各色成分の輝度値の代表値の相対比率を算出する。具体的には、脈波検出部230は、赤色成分の輝度値の代表値R、緑色成分の輝度値の代表値G、青色成分の輝度値の代表値Bを入力として、赤色成分の輝度値の代表値Rの相対比率Rr(=R/(R+G+B)、以下、比率Rr)、及び、緑色成分の輝度値の代表値Gの相対比率Gr(=G/(R+G+B)、以下、比率Gr)を算出する。各色成分の輝度値の代表値の相対比率を算出することにより、人物の顔に外乱光が入射した場合でも、赤色成分と緑色成分の輝度値に関する複数の時系列データ間の傾向は維持される。そして、脈波検出部230は、算出した比率Rr及び比率Grを記憶部300に記憶することを繰り返して、比率Rr及び比率Grの時系列データ310を形成する。この点で、脈波検出部230は、対象物の画像の所定のエリアにおいて、対象物の所定の波長領域における輝度値に関する複数の時系列データを取得するデータ取得部として機能する。
ここで、図3を用いて、生体における比率Rrと比率Grとの間の傾向と非生体における比率Rrと比率Grとの間の傾向を説明する。図3(a)は、生体である人物の顔から取得した比率Rr及び比率Grの時系列データ310と、動画像の撮影時に接触式の脈拍センサを用いて人物から検出した脈波の時系列データとを比較して示している。横軸は時間軸であり、縦軸は比率Rr及び比率Grについては比率であり、脈波については脈圧または血流量である。脈圧が高くなると、血管の容積が増加し、血流量も増加する。同図に示すように、脈波が周期的に変化する過程において、脈圧が上昇して血流量が増加している間に比率Rrが上昇し、脈圧が下降して血流量が減少している間に比率Rrが低下している。すなわち、比率Rrと脈波との間には正の相関がある。また、脈波が周期的に変化する過程において、脈圧が上昇して血流量が増加している間に比率Grが低下し、脈圧が下降して血流量が減少している間に比率Grが上昇している。すなわち、比率Grと脈波との間には負の相関がある。比率Rrと脈波との間には正の相関があり、比率Grと脈波との間には負の相関があるため、比率Rrと比率Grとの間には、一方が上昇すると他方が下降する傾向がある。一方、図3(b)は、非生体の対象物から取得した比率Rr及び比率Grの時系列データ310を示している。比率Rr及び比率Grの双方は不規則に変化し、比率Rrと比率Grとの間には明確な傾向がない。
さらに、図4を用いて、生体において脈波と比率Rr及び脈波と比率Grとに相関がある理由を説明する。図4は血中ヘモグロビンの吸光特性を示す。血中ヘモグロビンの吸光特性は、カメラ10の緑色フィルタの透光度が高くなる480nm~620nmの波長領域(第1の波長領域)にピークを持っている。この波長領域の光は皮膚の内部まで届いてから反射されるため、血中ヘモグロビンによって吸光される。そのため、顔表面にある毛細血管に流れる血流量が増加すると、血中ヘモグロビンの量も増加するため、顔表面での緑色光の吸光量が増加する。カメラ10は、顔表面で反射した光を受光するため、血中ヘモグロビンの量が増加しているときには比率Grが低下する。また逆に、血中ヘモグロビンの量が減少しているときには顔表面での緑色成分の吸光量が減少するため、比率Grが上昇する。
また、血中ヘモグロビンの吸光特性は、カメラ10の赤色フィルタの透光度が高くなる620nm~800nmの波長領域(第2の波長領域)では吸光量が低くなっている。この波長領域の光も皮膚の内部まで届いてから反射されるが、血中ヘモグロビンに吸光されにくく、血中ヘモグロビンから反射されやすい。そのため、顔表面の毛細血管に流れる血流量が増加すると、血中ヘモグロビンの量も増加するため、顔表面からの赤色光の反射量が増加する。カメラ10は、顔表面で反射した光を受光するため、血中ヘモグロビンの量が増加しているときには比率Rrが上昇する。また逆に、血中ヘモグロビンの量が減少しているときには顔表面からの赤色光の反射量が減少するため、比率Rrが低下する。
なお、血中ヘモグロビンの吸光特性は、カメラ10の青色フィルタの透光度が高くなる360nm~480nmの波長領域にもピークを持っている。ただし、この波長領域の光は、皮膚表面で反射しやすく、顔表面にある毛細血管まで届きにくい性質を有しているため、本実施の形態では脈波の検出には用いない。
脈波検出部230は、さらに、比率Rr及び比率Grの時系列データ310から低周波成分を除去する変換を行なってもよい。図5(a)に示すように、比率Rr及び比率Grの時系列データ310は、脈波による変動の他に、周囲の照明などの他の要因による変動を含んでいる。脈波検出部230は、図5(b)に示すように、時系列データ310の移動平均を算出し、その算出した移動平均の値を時系列データ310の対応するデータから減算し、図5(c)に示すように、減算して求めた値に時系列データ310の対応するデータを修正する。このようにして、一般的な脈波の周波数よりも低い周波数の変動である低周波成分を時系列データ310から除去する。
より詳細には、脈波検出部230は、時系列データ310について所定幅の区間を設定し、所定幅に対応する個数の比率Rr及び比率Grのデータが取得されると、区間内にある離散値データの平均値を算出し、算出した平均値を区間の中央のデータの移動平均とする。そして、脈波検出部230は、区間の中央のデータの値から対応する移動平均を減算し、減算して求めた値に区間の中央のデータの値を修正して、記憶部300に記憶する。比率Rr及び比率Grのデータについてこの修正が終わると、脈波検出部230は、所定幅の区間をデータ1個分時間軸方向にずらし、前述した、移動平均の算出と修正を行なう。脈波検出部230は、移動平均の算出と修正と区間の移動を繰り返すことにより、時系列データ230を脈波以外の要因による変動である低周波成分を除去した波形に変換する。なお、本実施例では、比率Rr及び比率Grのデータが取得される毎に変換を行なうが、所定個数のデータが取得されたときに変換を行なってもよい。このように、脈波検出部230は、変換後の比率Rr及び比率Grを、対象物の所定の波長領域における輝度値に関するデータとして、複数の時系列データを取得するデータ取得部として機能する。
傾向分析部240は、取得した複数の時系列データ間の傾向を分析する処理を行う。傾向分析処理は、複数の時系列データ間の相関度合いを算出する処理である。具体的には、比率Rrの時系列データ310及び比率Grの時系列データ310の、同時刻に取得された輝度値に基づく比率Rr及び比率Grを1セットとし、複数セットの比率Rrと比率Grを用いて、比率Rrと比率Grとの相関度合いを算出する。
傾向分析処理にあたり、必要なデータは脈波に基づくデータであるが、傾向分析処理に用いるデータ数は、脈波一周期分のデータ数に関わらず、任意に定めることができる。算出した相関度合いの有意性はデータ数が多いほど高まる一方、データ数が少ないほど取得に要する時間が短くなる。
ここでは、傾向分析部240は、同時刻に取得された輝度値に基づくエリアRAのnセットの比率Rrと比率Gr(以下、このnセットのデータをn個のデータとして数える)を用いて、傾向分析処理を行う。傾向分析部240は、時系列データ310のデータ数が所定のデータ数に到達すると、傾向分析処理を開始する。後述のように、時系列データ310に前処理を行う場合、所定のデータ数は、傾向分析処理に必要なデータ数(n個)と前処理に必要なデータ数から決される。なお、前処理を行わない場合は、所定のデータ数はn個である。
傾向分析部240は、傾向分析処理の前処理として、脈波検出部230により検出された時系列データ310と記憶部300に保存された基準関数データ320との合成積(畳み込み演算)を算出する。本実施の形態では、傾向分析部240は、基準関数データ320の一例として、以下の[数1]にて示される一階微分ガウス関数を用いた微分演算を行なう。
図6は、一階微分ガウス関数を座標平面にプロットしたグラフである。同図に示すように、この関数は、変数tを横軸としたときに出力値が一つの波形を示す関数となっており、同図に示す例では、関数の窓幅が「25」に設定されている。すなわち、1個の合成積を算出するために、時系列データが25個必要であり、n個の合成積を算出するためには、時系列データがさらにn-1個必要である。なお、関数の窓幅は、時系列データ310の波形の一周期よりも短くなるように設定されている。傾向分析部240は、この関数において窓幅に対応してプロットされる25個の点を離散値データとして定義する。また、傾向分析部240は、時系列データ310のデータ数が所定のデータ数(25+n-1個)に到達したことを条件に、関数の離散値データと時系列データ310における関数の窓幅に対応する区間内にあるデータとの合成積を算出する。具体的には、傾向分析部240は、比率Rrと比率Grについて、時系列データ310の13個目のデータを中心とした25個のデータの区間に対して畳み込み演算を行なって合成積を算出した後、時系列データ310の区間をデータ1個分時間軸方向にずらして同様に合成積を算出する処理をn-1回繰り返す。そして、傾向分析部240は、そのn個の算出結果を微分値データ330(図1参照)として記憶部300に保存する。関数の窓幅は、任意に決めることができる。窓幅が大きいほど脈波の検出精度が高くなる一方で、窓幅が小さいほど脈波の検出開始までの時間が短くなる。
図7は、前処理前の時系列データ310を破線で示すとともに、前処理後の時系列データ310を実線で示している。同図に示すように、前処理前の時系列データ310は、移動平均を減算することでは除去できなかった低周波成分を含んでおり、時間軸と直交する方向において波形の振幅の中心が原点からずれている。その一方で、前処理後の時系列データ310である微分値データ330は、低周波成分が除去されており、時間軸方向において波形の振幅の中心が原点と一致している。傾向分析部240は、この前処理を比率Rr及び比率Grの時系列データ310に対して行い、比率Rr及び比率Grの微分値データ330を算出する。
図8(a)は、生体の対象物から取得した、同一のエリアにおける前処理後の比率Rr及び比率Grの時系列データ310を比較して示している。生体の対象物から取得した時系列データ310は、同図に示すように、比率Rrの波形と比率Grの波形との振幅方向における正負が反転しており、波形の位相がπ[rad]ずれている。一方、図8(b)は、非生体の対象物から取得した、同一のエリアにおける前処理後の比率Rr及び比率Grの時系列データ310を比較して示している。非生体の対象物から取得した時系列データ310は、同図に示すように、比率Rr及び比率Grの双方は不規則に変化するため、図8(a)に示した時系列データ310の特徴は見られない。
傾向分析部240は、対象物の画像の所定のエリアにおいて、脈波検出部230が検出した複数の時系列データ間の傾向を分析する。具体的には、傾向分析部240は、同一のエリアにおける、比率Rrの時系列データ310と比率Grの時系列データ310との相関度合いを算出する。より詳細には、傾向分析部240は、同一の時間帯の区間内の比率Rrの微分値データ330と比率Grの微分値データ330との相関係数を算出する。この相関係数は、比率Rrの時系列データ310と比率Grの時系列データ310が共通の傾向を示すときには正の値となり、反対の傾向を示すときには負の値となる。また、比率Rrの時系列データ310と比率Grの時系列データ310との関連性が見られないときには「0(零)」に近い値となる。なお、相関係数を算出するときの区間は、任意に決めることができる。時系列データ310の一部を区間とし、区間を変えて複数の相関係数を算出してもよく、時系列データ310の全体あるいは所定個数を区間として1つの相関係数を算出してもよい。
傾向分析部240による相関係数の算出は、微分値データ330を用いて行なったが、前処理前の時系列データ310を用いてもよい。微分値データ330を用いると、比率Rrと比率Grの増減方向の傾向分析となる。時系列データ310を用いると、比率Rrと比率Grの絶対値の傾向分析となる。
生体判定部250は、生体判定処理として、傾向分析部240が分析した複数の時系列データ310間の傾向に基づき、対象物が生体であるか否かについての判定を行なう。具体的には、生体判定部250は、傾向分析部240により算出された相関係数と所定の閾値とを比較し、少なくとも相関係数が閾値を下回るとき、対象物が生体であると判定する。閾値は任意に設定することができるが、非生体を含まないような値を設定する。
図9を用いて、閾値を「0(零)」に設定し、相関係数が閾値以下のとき、対象物が生体であると判定する例を説明する。この例では、区間を移動しながら複数の相関係数を算出している。図9(a)に示すように、相関係数が「0(零)」以下であって負の値となるときには、比率Rr及び比率Grの時系列データ310が反対の傾向を示すことから、対象物が生体であると判定する。一方、図9(b)に示すように、生体判定部250は、傾向分析部240により算出された相関係数が「0(零)」より大きく正の値を示すときには、比率Rr及び比率Grの時系列データ310が共通の傾向を示すことから、対象物が生体ではないと判定する。なお、図9(b)に示したように、時系列データ310の時間軸方向におけるばらつきに起因して、相関係数が一時的に負の値を示すこともある。そのため、生体判定部250は、傾向分析部240により算出された相関係数が一定の期間に亘って負の値に維持されることを条件に、対象物が生体であると判定する。
上述したように、相関係数は1つでもよい。この場合、傾向分析部240は、時系列データ310あるいは微分値データ330の、所定個数n個の離散値を用いて1つの相関係数を算出する。そして、生体判定部250は、相関係数が「0(零)」以下であって負の値となるときは対象物が生体であると判定し、相関係数が「0(零)」より大きく正の値を示すときは対象物が非生体であると判定する。
図8と図9とを見比べると分かるように、脈拍一周期分の脈波を検出しなくても、対象物が生体か非生体かによって相関係数に差が有り、生体判定を行なうことができる。
出力部260は、生体判定部250の判定結果を出力する。出力先は、顔認証システムなどの生体認証システムのほか、生体判定結果を利用する装置やシステムである。
なお、脈波検出部230は、比率Rr及び比率Grの時系列データ310から低周波成分を除去する変換を行なうが、この変換は必須ではなく、低周波成分を除去せずに傾向分析部240の分析を行なうことができる。
なお、傾向分析部240は、前処理後の時系列データ310を用いて、比率Rrと比率Grとの相関度合いを算出したが、相関度合いの算出に前処理は必須ではなく、前処理前の時系列データ310を用いて相関度合いを算出してもよい。ただし、傾向分析部240は、前処理を行うことにより、時系列データ310における比率Rrと比率Grとの相関度合いをより明確に算出することができる。
次に、本実施の形態の生体判定システム100が実行する生体判定処理について、その具体的な処理内容を説明する。
図10に示すように、この生体判定処理ではまず、顔検出部210は、カメラ10により撮影された動画像の画像フレームを取得する(ステップS10)。そして、顔検出部210は、先のステップS10において取得した画像フレームから顔を検出し、検出した顔の位置に基づいて分析エリアであるエリアRAを設定する(ステップS11)。
輝度値取得部220は、顔検出部210により設定されたエリアRAの画素毎に各色成分の輝度値を取得し、エリアRAの赤色成分の輝度値の代表値R、緑色成分の輝度値の代表値G、青色成分の輝度値の代表値Bを算出する。脈波検出部230は、輝度値取得部220により算出された各色成分の輝度値の代表値R,G,Bから比率Rr,Grを算出し、時系列データ310を形成する(ステップS12)。
脈波検出部230は、先のステップS12において形成した比率Rr,Grの時系列データ310の移動平均を算出する。また、脈波検出部230は、移動平均の値を元のデータから減算して時系列データ310から低周波成分を除去する(ステップS13)。また、脈波検出部230は、低周波成分が除去された時系列データ310を記憶部300に保存する。そして、脈波検出部230は、記憶部300に保存されている時系列データ310のデータ数が、所定のデータ数に到達していないときには(ステップS14=NO)、ステップS10以降の処理を繰り返し、所定のデータ数に到達しているときには(ステップS14=YES)、ステップS15の処理に移る。
傾向分析部240は、時系列データ310と基準関数データ320としての一階微分ガウス関数との合成積を算出する(ステップS15)。また、傾向分析部240は、合成積による算出結果を微分値データ330として記憶部300に保存する(ステップS16)。
傾向分析部240は、記憶部300に保存されている微分値データ330を読み出す。また、傾向分析部240は、緑色成分に関する微分値データ330と赤色成分に関する微分値データ330との相関係数を算出する(ステップS17)。
生体判定部250は、先のステップS17において算出された相関係数が閾値である「0(零)」以下であるか否かを判定する(ステップS18)。そして、生体判定部250は、相関係数が「0(零)」以下であると判定したときには(ステップS18=YES)、画像フレームに含まれる対象物が生体であると判定する(ステップS19)。一方、生体判定部250は、相関係数が「0(零)」よりも大きいと判定したときには(ステップS18=NO)、画像フレームに含まれる対象物が生体ではないと判定する(ステップS20)。
以上のような処理を繰り返し実行し、生体判定を継続して実行する。継続して実行することにより、生体判定をリアルタイムに行うことができるが、用途に応じて一回のみの判定としたり、随時判定を停止したりしてもよい。また、時系列データ310が所定のデータ数に到達した後、時系列データ310が新たに取得される毎に生体判定を行なうようにしてもよい。
次に、本実施の形態の生体判定システム100の作用について説明する。
一般に、顔認証端末において、写真や静止画による成りすましを防止するために、脈拍による顔表面の血流量の変化を各色成分の輝度値の変化として捉えることが提案されている。ただし、顔認証に伴う生体判定では、生体判定を短時間で行うことが要求されるため、必ずしも脈拍一周期分の判定時間が確保できるとは限らない。
この点、本実施の形態では、顔の中の同一のエリアから検出された赤色成分及び緑色成分の輝度値の傾向を分析し、その分析結果に基づいて生体判定を実行する。このとき、輝度値の傾向の分析は、各色成分の輝度値に関する時系列データ310の相関的関係を求めることで行われる。相関的関係は、直接の因果関係のある相関関係と、直接の因果関係のない疑似相関関係とを含む概念であり、各色成分の輝度値の傾向と生体の脈拍の有無との間にも相関的関係は認められる。そして、この相関的関係が認められるときには、相関係数の絶対値が大きくなる傾向を示す。この相関係数の特性は、脈拍一周期分よりも短い区間内の輝度値のデータからでも求めることができる。そこで、本実施の形態では、脈拍一周期分よりも短い区間内における時系列データ310同士の相関係数を算出し、相関係数の値が一定期間に亘って「0(零)」以下に維持されたことを条件に、動画像に含まれる対象物が生体である旨を判定する。これにより、生体判定の判定時間を脈拍一周期分よりも短縮することも可能となる。
以上説明したように、上記第1の実施の形態によれば、以下に列挙する効果を得ることができる。
(1)輝度値に関する複数の時系列データ310の傾向を分析することにより、脈拍一周期分に相当する時系列データ310を取得できなくても、生体判定を行うことができる。
(2)輝度値に関する複数の時系列データ310の相関度合いを分析することにより、脈拍一周期分に相当する時系列データ310を取得できなくても、生体判定を行うことができる。
(3)輝度値に関する複数の時系列データ310についての同一の時間帯の増減方向を分析することにより、脈拍一周期分に相当する時系列データ310を取得できなくても、生体判定を行うことができる。
(4)生体の血液成分に対する吸光特性が互いに異なる複数の波長領域に対応する時系列データ310の傾向に基づいて生体の脈拍の有無を判定し、その判定結果に基づいて対象物が生体であるか否かを判定する。そのため、脈拍一周期分に相当する時系列データ310を取得することなく生体判定を行うときの判定精度を向上することができる。
(5)時系列データ310を時間軸方向に平均化し、その平均化した値を元のデータから減算することにより、時系列データ310の脈波以外の要因による変動である低周波成分が抑えられ、生体判定を行うときの判定精度をより一層向上することができる。
(6)生体の脈拍と相関のある赤色成分及び緑色成分の波長領域に対応する時系列データ310に基づき、対象物が生体であるか否かを好適に判定することができる。
(第2の実施の形態)
次に、生体判定システムの第2の実施の形態について図面を参照して説明する。なお、第2の実施の形態は、輝度値に関する時系列データに基づいて生体判定を行う方法が第1の実施の形態と異なる。したがって、以下の説明においては、第1の実施の形態と相違する構成について主に説明し、第1の実施の形態と同一の又は相当する構成については重複する説明を省略する。
本実施の形態の生体判定システムは、対象物が含まれる連続画像から、複数のエリアにおける同一の波長領域の輝度値の時系列データを取得する。また、生体判定システムは、複数のエリアにおける同一の波長領域の輝度値の時系列データ間の傾向として、相関度合いを分析する。そして、これら複数の時系列データの間で正の相関が見られたときには、画像内の対象物が生体であると判定する。
具体的には、本実施の形態の生体判定システムは、対象物である人物の顔を含む連続画像において、顔の肌表面に分析の対象とする分析エリアを複数設定する。そして、生体判定システムは、複数の分析エリアに含まれる各画素について赤色成分と緑色成分と青色成分との輝度値を検出し、複数の分析エリアにおいて輝度値の時系列データを取得する。生体判定システムは、分析エリアの異なる複数の緑色成分の輝度値の時系列データ間の相関度合いを分析し、正の相関があれば対象物は生体であると判定する。以下、詳細に説明する。
本実施の形態の生体判定システムでは、図11に示すように、顔検出部210は、人物の顔の中から複数の分析エリアを設定する。同図に示す例では、顔検出部210は、人物の鼻元を含む第1のエリアR1、人物の一方側の頬を含む第2のエリアR2、人物の他方側の頬を含む第3のエリアR3を分析エリアとして設定する。
輝度値取得部220は、顔検出部210から入力された分析エリアであるエリアR1,R2,R3の輝度値のデータに基づいて、人物の顔に設定した各エリアR1,R2,R3に含まれる画素毎のデータとして、赤、緑、青の3色の色成分の輝度値を取得する。そして、輝度値取得部220は、取得した画素毎の輝度値から各エリアR1,R2,R3の各色成分の輝度値の平均値を算出し、算出した各平均値を各エリアR1,R2,R3の各色成分の代表値とする。具体的には、輝度値取得部220は、赤色成分の輝度値の代表値R、緑色成分の輝度値の代表値G、青色成分の輝度値の代表値BをエリアR1,R2,R3毎に算出する。輝度値取得部220は、こうして算出した各エリアR1,R2,R3の各色成分の輝度値の代表値を脈波検出部230に出力する。なお、代表値は平均値に限定されず、中央値や最頻値を代表値としてもよい。
脈波検出部230は、データ取得処理として、各エリアR1,R2,R3の緑色成分の輝度値の代表値Gの相対比率Gr(=G/(R+G+B)、以下、比率Gr)を算出する。各エリアR1,R2,R3の緑色成分の輝度値の代表値の相対比率を算出することにより、人物の顔に外乱光が入射した場合でも、緑色成分の輝度値に関する各エリアの時系列データ間の傾向は維持される。そして、脈波検出部230は、算出した比率Grを記憶部300に記憶することを繰り返して、各エリアR1,R2,R3における比率Grの時系列データ310を形成する。
ここで、図12を用いて、生体におけるエリアR1,R2,R3毎の比率Grの傾向と非生体におけるエリアR1,R2,R3毎の比率Grの傾向を説明する。図12(a)は、生体である人物の顔の各エリアR1,R2,R3から取得した比率Grの時系列データ310と、動画像の撮影時に接触式の脈拍センサを用いて人物から検出した脈波の時系列データとを比較して示している。横軸は時間軸で、縦軸は比率Grについては比率、脈波については脈圧または血流量である。脈圧が高くなると、血管の容積が増加し、血流量も増加する。同図に示すように、いずれのエリアR1,R2,R3においても、脈波が周期的に変化する過程において、脈圧が上昇して血流量が増加している間に比率Grが低下し、脈圧が下降して血流量が減少している間に比率Grが上昇している。すなわち、いずれのエリアR1,R2,R3においても、比率Grと脈波との間には負の相関がある。一方、図12(b)は、非生体の対象物から取得した各エリアR1,R2,R3の比率Grの時系列データ310を示している。各エリアR1,R2,R3の比率Grは不規則に変化し、比率Grと脈波との間には明確な傾向がない。
傾向分析部240は、取得した複数の時系列データ間の傾向を分析する処理を行う。具体的には、エリアR1の比率Grの時系列データ310とエリアR2の比率Grの時系列データ310とエリアR3の比率Grの時系列データ310の、同時刻に取得された輝度値に基づく比率Rr及び比率Grを1セットとし、複数セットの比率Rrと比率Grを用いて、比率Rrと比率Grとの相関度合いを算出する。
傾向分析部240は、同時刻に取得された輝度値に基づくnセットのエリアR1の比率GrとエリアR2の比率GrとエリアR3の比率Gr(以下、このnセットのデータをn個のデータとして数える)を用いて、傾向分析処理を行う。傾向分析部240は、時系列データ310のデータ数が所定のデータ数に到達すると、傾向分析処理を開始する。後述のように、時系列データ310に前処理を行う場合、所定のデータ数は、傾向分析処理に必要なデータ数(n個)と前処理に必要なデータ数から決される。なお、前処理を行わない場合は、所定のデータ数はn個である。
傾向分析部240は、傾向分析処理の前処理として、脈波検出部230により検出された時系列データ310と記憶部300に保存された基準関数データ320との合成積(畳み込み演算)を算出する。本実施形態では、傾向分析部240は、基準関数データ320の一例として、一階微分ガウス関数を用いた微分演算を行なう。
図13(a)は、生体の対象物から取得した、複数のエリアR1,R2,R3における前処理後の比率Grの時系列データ310を比較して示している。生体の対象物から取得した時系列データ310は、同図に示すように、各エリアR1,R2,R3における比率Grの波形は正負が一致しており、同様の傾向を有する。一方、図13(b)は、非生体の対象物から取得した、複数のエリアR1,R2,R3における前処理後の比率Grの時系列データ310を比較して示している。非生体の対象物から取得した時系列データ310は、同図に示すように、各エリアR1,R2,R3における比率Grは不規則に変化するため、図13(a)に示した時系列データ310の特徴は見られない。
傾向分析部240は、対象物の画像の複数のエリアR1,R2,R3において、脈波検出部230が検出した複数の時系列データ間の傾向を分析する。具体的には、傾向分析部240は、複数のエリアR1,R2,R3における比率Grの相関度合いを算出する。より詳細には、傾向分析部240は、複数のエリアR1,R2,R3における同一の時間帯の区間内の比率Grの微分値データ330を用いて、エリアR1の比率GrとR2の比率Gr、エリアR1の比率GrとR3の比率Gr、エリアR2の比率GrとR3の比率Grの組み合わせについて3パターンの相関係数を算出する。この3パターンの相関係数は、複数のエリアR1,R2,R3における比率Grの時系列データ310が共通の傾向を示すときには正の値となり、反対の傾向を示すときには負の値となる。また、複数のエリアR1,R2,R3における時系列データ310の関連性が見られないときには「0(零)」に近い値となる。
傾向分析部240による相関係数の算出は、微分値データ330を用いて行なったが、前処理前の時系列データ310を用いてもよい。微分値データ330を用いると、比率Grの増減方向の傾向分析となる。時系列データ310を用いると、比率Grの絶対値の傾向分析となる。また、3パターンの相関係数を求めたが、パターン数を増減してもよい。例えば、分析エリアを2つにして、1パターンの相関係数を求めてもよい。
生体判定部250は、生体判定処理として、傾向分析部240が分析した複数の時系列データ310間の傾向に基づき、対象物が生体であるか否かについての判定を行なう。具体的には、生体判定部250は、傾向分析部240により算出された相関係数と所定の閾値とを比較し、少なくとも相関係数が閾値を上回るとき、対象物が生体であると判定する。閾値は任意に設定することができるが、非生体を含まないような値を設定する。
図14を用いて、閾値を「0.5」に設定し、相関係数が閾値以上のとき、対象物が生体であると判定する例を説明する。この例では、区間を移動しながら複数の相関係数を算出している。図14(a)に示すように、相関係数が「0.5」以上であるときには、複数のエリアR1,R2,R3における比率Grの時系列データ310が共通の傾向を示すことから、対象物が生体であると判定する。一方、図14(b)に示すように、相関係数が「0.5」未満であるときには、複数のエリアR1,R2,R3における比率Grの時系列データ310が共通の傾向を示さないことから、対象物が生体ではないと判定する。なお、図14(b)に示したように、時系列データ310の時間軸方向におけるばらつきに起因して、相関係数が一時的に閾値以上の値を示すこともある。そのため、生体判定部250は、傾向分析部240により算出された相関係数が一定の期間に亘って閾値以上に維持されることを条件に、対象物が生体であると判定してもよい。
上述したように、相関係数は1つでもよい。この場合、傾向分析部240が、時系列データ310あるいは微分値データ330の、所定個数n個の離散値を用いて1つの相関係数を算出し、生体判定部250は、相関係数と閾値とを比較して生体判定を行う。ここでは、生体判定部250は、相関係数が閾値以上であるときには対象物が生体であると判定し、相関係数が閾値未満であるときには対象物が非生体であると判定する。
次に、本実施の形態の生体判定システム100が実行する生体判定処理について、その具体的な処理内容を説明する。
図15に示すように、この生体判定処理ではまず、顔検出部210は、カメラ10により撮影された動画像の画像フレームを取得する(ステップS30)。また、顔検出部210は、先のステップS30において取得した画像フレームから顔を検出する(ステップS31)。そして、顔検出部210は、先のステップS31において検出した顔の位置に基づいて、顔の中から分析エリアである複数のエリアR1~R3を設定する(ステップS32)。
輝度値取得部220は、顔検出部210により設定された各エリアR1~R3の画素毎に各色成分の輝度値を取得し、各エリアR1~R3毎に各色成分の輝度値の代表値を算出する。脈波検出部230は、輝度値取得部220により算出された各エリアR1~R3の各色成分の輝度値の代表値からエリアR1~R3毎に比率Grを算出し、時系列データ310を形成する(ステップS33)。
脈波検出部230は、先のステップS33において検出した比率Grの時系列データ310の移動平均を算出する。また、脈波検出部230は、移動平均の値を元のデータから減算して時系列データ310から低周波成分を除去する(ステップS34)。そして、脈波検出部230は、低周波成分が除去された時系列データ310を記憶部300に保存する。そして、脈波検出部230は、記憶部300に保存されている時系列データ310のデータ数が、所定のデータ数に到達していないときには(ステップS35=NO)、ステップS30以降の処理を繰り返し、所定のデータ数に到達しているときには(ステップS35=YES)、ステップS36の処理に移る。
傾向分析部240は、エリアR1~R3毎に、時系列データ310と基準関数データ320としての一階微分ガウス関数との合成積をn個算出する(ステップS36)。また、傾向分析部240は、合成積による算出結果を微分値データ330として記憶部300に保存する(ステップS37)。
傾向分析部240は、記憶部300に保存されている微分値データ330を読み出す。また、傾向分析部240は、各エリアR1~R3間の比率Grの微分値データ330の相関係数を算出する(ステップS38)。
生体判定部250は、先のステップS38において算出された相関係数が閾値である「0.5」以上であるか否かを判定する(ステップS39)。そして、生体判定部250は、相関係数が「0.5」以上であると判定したときには(ステップS39=YES)、画像フレームに含まれる対象物が生体であると判定する(ステップS40)。一方、生体判定部250は、相関係数が「0.5」未満であると判定したときには(ステップS39=NO)、画像フレームに含まれる対象物が生体ではないと判定する(ステップS41)。
以上のような処理を繰り返し実行し、生体判定を継続して実行する。継続して実行することにより、生体判定をリアルタイムに行うことができるが、用途に応じて一回のみの判定としたり、随時判定を停止したりしてもよい。また、時系列データ310が所定のデータ数に到達した後、時系列データ310が新たに取得される毎に生体判定を行なうようにしてもよい。
以上説明したように、上記第2の実施の形態によれば、第1の実施の形態の効果(1)~(3)、(5)、(6)に加えて、以下に列挙する効果を得ることができる。
(7)対象物に含まれる複数のエリアR1~R3に対応する時系列データ31の傾向に基づいて対象物が生体であるか否かを判定する。そのため、脈拍一周期分に相当する時系列データ310を取得することなく生体判定を行うときの判定精度を向上することもできる。
(第3の実施の形態)
次に、生体判定システムの第3の実施の形態について図面を参照して説明する。なお、第3の実施の形態は、輝度値に関する時系列データに基づいて生体判定を行う方法が第1の実施の形態と第2の実施の形態とを組み合わせたものである。したがって、以下の説明においては、第1の実施の形態および第2の実施の形態と相違する構成について主に説明し、第1の実施の形態および第2の実施の形態と同一の又は相当する構成については重複する説明を省略する。
本実施の形態の生体判定システムは、対象物が含まれる連続画像から、同一のエリアにおける複数の色成分の時系列データ310を取得する。また、生体判定システムは、同一のエリアにおける複数の色成分の時系列データ310間の傾向として、第1の相関度合いを分析する。また、生体判定システムは、複数のエリアR1~R3に対応する各色成分の時系列データ310を取得する。また、生体判定システムは、複数のエリアR1~R3に対応する緑色成分の時系列データ310間の傾向として、第2の相関度合いを分析する。そして、生体判定システムは、第1の相関度合いと第2の相関度合いとを組み合わせて用いることにより、対象物が生体であるか否かについての判定を行なう。
具体的には、本実施の形態の生体判定システムは、対象物である人物の顔を含む連続画像において、顔の肌表面に分析の対象とする分析エリアを設定する。例えば、図2に示すエリアRAである。そして、生体判定システムは、このエリアに含まれる各画素について赤色成分と緑色成分と青色成分との輝度値を検出し、複数の波長成分の輝度値の時系列データを取得する。生体判定システムは、緑色成分の輝度値に基づく時系列データと赤色成分に基づく輝度値の時系列データとの相関度合いを第1の相関度合いとして分析する。また、本実施の形態の生体判定システムは、対象物である人物の顔を含む連続画像において、顔の肌表面に分析の対象とする分析エリアを複数設定する。例えば、図11に示すエリアR1~R3である。そして、生体判定システムは、複数の分析エリアに含まれる各画素について赤色成分と緑色成分と青色成分との輝度値を検出し、複数の分析エリアにおいて輝度値の時系列データを取得する。生体判定システムは、分析エリアの異なる複数の緑色成分の輝度値に基づく時系列データ間の相関度合いを第2の相関度合いとして分析する。そして、生体判定システムは、第1の相関度合いに負の相関があり、かつ、第2の相関度合いに正の相関があれば、対象物は生体であると判定する。なお、第1の相関度合いの分析に用いる分析エリアと、第2の相関度合いの分析に用いる分析エリアは重複してもよい。
ここでは、傾向分析部240が、同時刻に取得された輝度値に基づくエリアRAのn個の比率Rrとn個の比率Gr、エリアR1のn個の比率Gr、エリアR2のn個の比率Gr、及びエリアR3のn個の比率Grを(以下、このnセットのデータをn個のデータとして数える)を用いて、傾向分析処理を行う例を示す。傾向分析部240は、時系列データ310のデータ数が所定のデータ数に到達すると、傾向分析処理を開始する。
次に、本実施の形態の生体判定システム100が実行する生体判定処理について、その具体的な処理内容を説明する。ここでは、エリアRAを第1の相関度合いの分析に用い、エリアR1~R3を第2の相関度合いの分析に用いる例を示す。
図16に示すように、この生体判定処理ではまず、顔検出部210は、カメラ10により撮影された動画像の画像フレームを取得する(ステップS50)。また、顔検出部210は、先のステップS50において取得した画像フレームから顔を検出する(ステップS51)。そして、顔検出部210は、先のステップS51において検出した顔の位置に基づいて、顔の中から分析エリアである複数のエリアR1~R3を設定する(ステップS52)。
輝度値取得部220は、顔検出部210により設定されたエリアRA及びエリアR1~R3の画素毎に各色成分の輝度値を取得し、エリアRA及びエリアR1~R3の赤色成分の輝度値の代表値R、緑色成分の輝度値の代表値G、青色成分の輝度値の代表値Bを算出する。脈波検出部230は、輝度値取得部220により算出された各エリアの各色成分の輝度値の代表値R,G,Bからエリア毎に比率Rr,Grを算出し、時系列データ310を形成する(ステップS53)。
脈波検出部230は、エリア毎に先のステップS53において検出した比率Rr,Grの時系列データ310の移動平均を算出する。また、脈波検出部230は、エリア毎に移動平均の値を元のデータから減算して時系列データ310から低周波成分を除去する(ステップS54)。そして、脈波検出部230は、低周波成分が除去された時系列データ310を記憶部300に保存する。そして、脈波検出部230は、記憶部300に保存されている時系列データ310のデータ数が、所定のデータ数に到達していないときには(ステップS55=NO)、ステップS50の処理を繰り返し、所定のデータ数に到達しているときには(ステップS55=YES)、ステップS56の処理に移る。
傾向分析部240は、エリア毎に時系列データ310と基準関数データ320としての一階微分ガウス関数との合成積を算出する(ステップS56)。また、傾向分析部240は、合成積による算出結果を微分値データ330として記憶部300に保存する(ステップS57)。
傾向分析部240は、記憶部300に保存されているエリアRAの微分値データ330を読み出す。また、傾向分析部240は、エリアRAの比率Grの微分値データ330と比率Rrの微分値データ330との相関係数(第1の相関係数)を算出する(ステップS58)。
生体判定部250は、先のステップS58において算出された第1の相関係数が閾値である「0(零)」以下であるか否かを判定する(ステップS59)。生体判定部250は、第1の相関係数が「0(零)」以下であると判定したときには(ステップS59=YES)、ステップS60の処理に移る。
傾向分析部240は、記憶部300に保存されているエリアR1~R3毎の微分値データ330を読み出す。また、傾向分析部240は、各エリアR1~R3毎の比率Grの微分値データ330の3パターンの相関係数(第2の相関係数)を算出する(ステップS60)。
生体判定部250は、先のステップS60において算出された第2の相関係数が閾値である「0.5」以上であるか否かを判定する(ステップS61)。そして、生体判定部250は、第2の相関係数が「0.5」以上であると判定したときには(ステップS61=YES)、画像フレームに含まれる対象物が生体であると判定する(ステップS62)。一方、生体判定部250は、第2の相関係数が「0.5」未満であると判定したときには(ステップS61=NO)、画像フレームに含まれる対象物が生体ではないと判定する(ステップS63)。
また、生体判定部250は、先のステップS58において算出された第1の相関係数が「0(零)」よりも大きいと判定したときにも(ステップS59=NO)、画像フレームに含まれる対象物が生体ではないと判定する(ステップS63)。
以上のような処理を繰り返し実行し、生体判定を継続して実行する。継続して実行することにより、生体判定をリアルタイムに行うことができるが、用途に応じて一回のみの判定としたり、随時判定を停止したりしてもよい。また、時系列データ310が所定のデータ数に到達した後、時系列データ310が新たに取得される毎に生体判定を行なうようにしてもよい。
次に、本実施の形態の生体判定システム100の作用について説明する。
図17は、画像フレームに含まれる対象物が生体又は非生体であるときの第1の相関係数及び第2の相関係数の組み合わせを、横軸を第1の相関係数とし、縦軸を第2の相関係数とした座標平面にプロットした図である。同図に示すように、第1の相関係数が「0(零)」以下であっても対象物が非生体であることもある。また、同図に示すデータには含まれないものの、第2の相関係数が「0.5」以下であっても対象物が生体であることもある。これは、本実施の形態では、相関係数の値が一定の期間に亘って所定の条件を満たすことを条件に生体判定を行っているものの、顔認証に伴う生体判定では、生体判定を短時間で行うことが要求されることから、上述した一定の期間の長さに制約があるためである。
そこで、本実施の形態では、第1の相関係数及び第2の相関係数の双方が所定の条件を満たすことを条件に生体判定を行っている。これにより、いずれか一方の相関係数を用いて生体判定を行う場合と比較して、生体判定の判定時間を延ばすことなく、その判定精度を高めることができる。
以上説明したように、上記第3の実施の形態によれば、第1の実施の形態の効果(1)~(6)に加えて、以下に列挙する効果を得ることができる。
(8)複数の相関係数を用いて生体判定を行っているため、単一の相関係数を用いる場合と比較して、生体判定の判定時間を延ばすことなく、その判定精度を高めることができる。
(第4の実施の形態)
次に、生体判定システムの第4の実施の形態について図面を参照して説明する。なお、第4の実施の形態は、生体判定を行うときにカメラ10の撮影条件を維持する点が第1の実施の形態と異なる。したがって、以下の説明においては、第1の実施の形態と相違する構成について主に説明し、第1の実施の形態と同一の又は相当する構成については重複する説明を省略する。
図18に示すように、本実施の形態では、生体判定システム100Aの制御部200は、記憶部300に保存された生体判定プログラムを実行することにより、顔検出部210、輝度値取得部220、脈波検出部230、傾向分析部240、生体判定部250、出力部260に加え、撮像制御部270としても機能する。
撮像制御部270は、顔検出部210により顔が検出されたことを条件に、カメラ10における露出制御の制御値が生体判定に適した状態となったと判定し、当該制御値を維持するようにカメラ10に対して指示する。この露出制御の制御値としては、例えば、カメラ10のゲイン、ホワイトバランス、露光時間、絞り値などの制御値が挙げられる。これにより、以降の処理で生体判定を行うときに、カメラ10の撮影条件の変化が各色成分の輝度値の時系列データ310に影響を及ぼして生体判定の精度を低下させることが回避される。
以上説明したように、上記第4の実施の形態によれば、第1の実施の形態の効果(1)~(6)に加えて、以下に列挙する効果を得ることができる。
(9)カメラ10における露出制御の動作が生体判定に適した状態となった時点で、露出制御の制御値が維持される。そのため、露出制御の制御値の変更に伴って、時系列データ310に基づく生体判定の精度が低下することが抑えられる。
(第5の実施の形態)
次に、生体認証システムの第5の実施の形態について図面を参照して説明する。なお、第5の実施の形態は、第1の実施の形態における生体判定に加え、生体判定の判定結果に基づいて生体認証を行う点が第1の実施の形態と異なる。したがって、以下の説明においては、第1の実施の形態と相違する構成について主に説明し、第1の実施の形態と同一の又は相当する構成については重複する説明を省略する。
図19に示すように、本実施の形態の生体認証システム100Bは、生体認証処理を制御する制御部200と、制御部200が生体認証処理の際に実行する生体認証プログラムを含めた各種のプログラムや当該プログラムの実行の際に制御部200が読み書きする各種のデータを保存する記憶部300とを有するコンピュータである。そして、制御部200は、記憶部300に保存された生体認証プログラムを実行することにより、顔検出部210、輝度値取得部220、脈波検出部230、傾向分析部240、生体判定部250、照合処理部280、認証処理部290、及び、出力部260として機能する。なお、動画像において顔を検出してから生体判定を行うまでの処理の流れは第1の実施の形態と同様である。
照合処理部280は、生体判定部250により画像フレームに含まれる対象物が生体であると判定されたことを条件に、記憶部300に格納されている顔テンプレートデータ340との照合処理を行う。このとき、照合処理部280は、顔検出部210により検出された顔の輝度値のデータと、顔テンプレートデータ340として予め登録された複数の人物の顔の輝度値のデータとを比較し、それらの類似度を照合スコアとして算出する。
認証処理部290は、顔テンプレートデータ340として登録されている複数の人物のデータの中に、照合処理部280により算出された照合スコアが所定の閾値以上となる人物のデータが含まれるか否かを判定する。そして、認証処理部290は、照合スコアが所定の閾値以上となる人物のデータが含まれるときには、照合スコアが最大となる人物を画像フレームに含まれる人物として生体認証を行い、その認証結果を出力部260により出力する。一方、認証処理部290は、照合スコアが所定の閾値以上となる人物のデータが含まれないときには、認証エラーと判定し、その認証結果を出力部260により出力する。
以上説明したように、上記第5の実施の形態によれば、第1の実施の形態の効果(1)~(6)に加えて、以下に列挙する効果を得ることができる。
(10)生体判定により対象物が生体である旨が判定されたことを条件に、生体認証が行われる。そのため、対象物が生体ではないにも関わらず、生体認証が不必要に行われる頻度を低減することができる。
(その他の実施の形態)
なお、上記各実施の形態は、以下のような形態にて実施することもできる。
・上記第5の実施の形態においては、生体判定により対象物が生体である旨が判定されたことを条件に、生体認証を行うようにした。これに代えて、生体判定の判定精度を評価し、その評価値が所定の条件を満たすことを条件に、生体認証を行うようにしてもよい。この場合、生体判定の判定精度は、複数の時系列データ310の相関係数に基づいて評価してもよいし、その他のパラメータに基づいて評価してもよい。
・上記第4の実施の形態においては、カメラ10における露出制御の動作が生体判定に適した状態となった時点で、露出制御の制御値を維持するようにした。これに代えて、カメラ10における露出制御の動作が生体判定に適した状態となったとしても、露出制御の制御値を変更可能に設定してもよい。この場合、露出制御の制御値が変化する数値範囲に制限を設けてもよい。
・上記第3の実施の形態においては、第1の相関係数及び第2の相関係数に判定閾値を設定し、各々の相関係数と判定閾値との大小の比較に基づき、生体判定を行うようにした。これに代えて、図17に示した座標平面において、画像フレームに含まれる対象物が生体であるときのデータ群についての基準点(例えば、データ群の平均値や中央値など)を設定し、新たなデータを取得したときに、座標平面における基準点からの距離に基づいて生体判定を行うようにしてもよい。また、各々の相関係数に基づく生体判定の判定結果を評価値に換算し、各々の評価値を合算して生体判定を行ってもよい。この場合、各々の相関係数に基づく評価値に重み付けを行った上で生体判定を行ってもよい。
・上記第3の実施の形態においては、エリアR1における複数の色成分の時系列データ310の相関度合いを示す第1の相関係数と、対象物に含まれる複数のエリアR1~R3に対応する緑色成分の時系列データ310の相関度合いを示す第2の相関係数とを組み合わせて用いることにより、生体判定を行うようにした。ただし、生体判定に用いる相関係数はこれらに限らず、例えば、複数のエリアR1~R3に対応する複数の色成分の時系列データ310の相関度合いを示す相関係数を生体判定に用いてもよい。また、生体判定に用いる相関係数の数は、必ずしも2つである必要はなく、3つ以上の相関係数を組み合わせて生体判定を行ってもよい。
・上記各実施の形態においては、エリアに含まれる各色成分の輝度値の代表値(例えば、平均値や中央値など)に基づいてエリア同士の相関係数を算出し、算出した相関係数に基づいてエリア同士の相関度合いを評価するようにした。これに代えて、エリアに含まれる画素毎に、エリア同士の各色成分の輝度値の相関係数を算出し、画素毎の相関係数の代表値(例えば、平均値や中央値など)に基づいてエリア同士の相関度合いを評価してもよい。
・上記各実施の形態においては、複数の時系列データ310の時間の経過に伴う増減方向の比較に基づいて生体の脈拍の有無を判定し、その判定結果に基づいて生体判定を行うようにした。これに代えて、複数の時系列データ310の増減方向を算出することなく、時系列データ310の波形の形状の相関度合いに基づいて生体判定を行ってもよい。
・上記第1の実施の形態においては、生体の脈拍と相関のある赤色成分及び緑色成分の波長領域に対応する時系列データ310に基づいて生体判定を行うようにした。ただし、生体判定に用いる波長領域は、必ずしも赤色成分及び緑色成分の波長領域である必要はなく、青色成分の波長領域に対応する光が顔表面の脈拍を検出できるのであれば、赤色成分及び青色成分の波長領域に対応する時系列データ310、又は、緑色成分及び青色成分の波長領域に対応する時系列データ310に基づいて生体判定を行ってもよい。また、生体判定に用いる波長領域は、色成分毎に区切られた波長領域の組み合わせである必要はなく、比較の対象となる波長領域が部分的に重畳してもよい。要は、血中ヘモグロビンの吸光特性が大きく異なる波長領域の組み合わせであれば、生体判定に用いることは可能である。
・上記各実施の形態においては、時系列データ310を時間軸方向に平均化し、その平均化した値を元のデータから減算した上で生体判定を行うようにした。ただし、時系列データ310の脈波以外の要因による変動である低周波成分を抑える方法はこれに限らず、例えば、時系列データ310と基準波形データとの合成積を算出してもよい。
・上記各実施の形態においては、画素毎の輝度値に関する時系列データ310との合成積に用いる基準関数データ320として、一階微分ガウス関数を適用する場合を例に挙げて説明した。ただし、基準関数データ320としてはその他にも、ガウス関数やsin関数やcos関数を適用してもよい。例えば、基準関数データ320としてガウス関数を用いる場合には、時系列データ310とガウス関数との合成積により時系列データ310の平滑化処理を行った後、微分処理を行って時系列データ310の時間の経過に伴う増減方向を求めてもよい。
・上記第1の実施の形態においては、各色に対応する時系列データ310の相関係数が「0(零)」以下であるか否かに基づいて生体判定を行うようにした。ただし、生体判定に用いる判定閾値は必ずしも「0(零)」である必要はなく、負の値であればよい。
・上記第2の実施の形態においては、各エリアR1~R3に対応する時系列データ310の相関係数が「0.5」以上であるか否かに基づいて生体判定を行うようにした。ただし、生体判定に用いる判定閾値は必ずしも「0.5」である必要はなく、正の値であればよい。
・上記各実施の形態においては、全色の輝度値の合計値に対する赤色成分又は緑色成分の輝度値の相対比率Rr,Grに基づいて生体判定を行うようにした。ただし、生体判定に用いる輝度値としては、例えば、赤色成分の輝度値に対する緑色成分の輝度値の相対比率であってもよいし、緑色成分の輝度値に対する赤色成分の輝度値の相対比率であってもよいし、青色成分の輝度値に対する赤色成分又は緑色成分の輝度値の相対比率であってもよい。また、赤色成分及び青色成分の輝度値の合計値に対する緑色成分の輝度値の相対比率であってもよいし、緑色成分及び青色成分の輝度値の合計値に対する赤色成分の輝度値の相対比率であってもよい。
・上記各実施の形態においては、人物の顔の画素毎に時系列データ310を解析するようにした。ただし、時系列データ310を解析する際の単位領域は、必ずしも一つの画素である必要はなく、複数の画素により単位領域を構成してもよい。
・上記各実施の形態においては、生体判定に用いる対象領域が人物の顔である場合を例に挙げて説明した。ただし、生体判定に用いる対象領域としてはその他にも、横顔や手足等、人物の肌が露出している他の身体部位を適用することも可能である。
・上記各実施の形態においては、動画像の撮影時に生体判定を行う場合を例に挙げて説明した。これに代えて、動画像を事前に撮影しておき、撮影した動画像を読み込んで生体判定を行うようにしてもよい。この場合、例えば、動画像において人物が含まれる画像フレームを検索することも可能となる。