JP6728699B2

JP6728699B2 - 生体認証装置、生体認証方法および生体認証プログラム

Info

Publication number: JP6728699B2
Application number: JP2016006593A
Authority: JP
Inventors: 登樹安部
Original assignee: Fujitsu Ltd
Current assignee: Fujitsu Ltd
Priority date: 2016-01-15
Filing date: 2016-01-15
Publication date: 2020-07-22
Anticipated expiration: 2036-01-15
Also published as: US20170206411A1; DE102017200426A1; JP2017126295A; US10878238B2

Description

本件は、生体認証装置、生体認証方法および生体認証プログラムに関する。

生体認証の１つとして、眼球の動きを用いた認証がある。例えば、画面に表示された文字や数字を予め決められた順番で注視したか否かをもって認証可否を判断する技術が開示されている（例えば、特許文献１参照）。

特開２００７−１４１００２号公報

しかしながら、上記技術では、ユーザに特定のタスクを実行させなくてはならない。すなわち、ユーザの負担が大きくなる。

１つの側面では、本発明は、ユーザ負担を軽減することができる生体認証装置、生体認証方法および生体認証プログラムを提供することを目的とする。

１つの態様では、生体認証装置は、ユーザの視線情報を取得する取得部と、所定の周期で、前記視線情報から認知特性に基づく第１視線特徴を抽出する第１抽出部と、前記所定の周期で、前記視線情報から眼球運動特性に基づく第２視線特徴を抽出する第２抽出部と、予め登録された前記第１視線特徴と前記第１抽出部が抽出した前記第１視線特徴とを照合し、予め登録された前記第２視線特徴と前記第２抽出部が抽出した前記第２視線特徴とを照合することで、予め登録された特徴と前記第１抽出部が抽出した前記第１視線特徴および前記第２抽出部が抽出した前記第２視線特徴との類似度が第１閾値以上であるか否かを判定する照合部と、前記類似度が前記第１閾値よりも小さくない場合において、前記類似度が前記第１閾値よりも大きい第２閾値よりも小さくなったか否かを判定し、小さくなったと判定された場合に、前記第１抽出部が抽出した直前の前記第１視線特徴を前記予め登録された前記第１視線特徴として再登録し、前記第２抽出部が抽出した直前の前記第２視線特徴を前記予め登録された前記第２視線特徴として再登録する再登録部と、を備える。

ユーザ負担を軽減することができる。

（ａ）は実施例１に係る生体認証装置の全体構成を例示するブロック図であり、（ｂ）は処理部のハードウェア構成を例示する図である。登録処理および照合処理の際の処理部の機能ブロック図である。登録処理を表すフローチャートを例示する図である。認証処理を表すフローチャートを例示する図である。（ａ）〜（ｃ）は認証処理に含まれる逐次照合処理の概略を表す図である。認証処理に含まれる逐次照合処理を表すフローチャートを例示する図である。（ａ）は実施例２に係る生体認証装置の全体構成を例示するブロック図であり、（ｂ）は処理部のハードウェア構成を例示する図である。継続認証処理の際の機能ブロック図である。継続認証処理を表すフローチャートを例示する図である。（ａ）は実施例３に係る生体認証装置の全体構成を例示するブロック図であり、（ｂ）は処理部のハードウェア構成を例示する図である。継続認証処理の際の機能ブロック図である。継続認証処理を表すフローチャートを例示する図である。

以下、図面を参照しつつ、実施例について説明する。

図１（ａ）は、実施例１に係る生体認証装置１００の全体構成を例示するブロック図である。図１（ａ）で例示するように、生体認証装置１００は、表示装置１０、操作装置２０、視線情報取得装置３０、処理部４０などを備える。処理部４０は、制御部４１、第１特徴抽出部４２、第２特徴抽出部４３、重み推定部４４、視線情報登録部４５、照合部４６などとして機能する。

表示装置１０は、液晶ディスプレイ、エレクトロルミネッセンスパネル等の表示装置であり、処理部４０の処理結果などを表示する。操作装置２０は、ユーザが生体認証装置１００を操作するために指示を入力するための装置であり、キーボード、マウス、タッチパネルなどである。視線情報取得装置３０は、ユーザの視線を取得する装置であり、カメラなどの撮像装置である。処理部４０は、操作装置２０および視線情報取得装置３０からの信号に応じて登録処理および認証処理を行う装置である。

図１（ｂ）は、処理部４０のハードウェア構成を例示する図である。図１（ｂ）で例示するように、処理部４０は、ＣＰＵ１０１、ＲＡＭ１０２、記憶装置１０３、インタフェース１０４などを備える。これらの各機器は、バスなどによって接続されている。

ＣＰＵ（ＣｅｎｔｒａｌＰｒｏｃｅｓｓｉｎｇＵｎｉｔ）１０１は、中央演算処理装置である。ＣＰＵ１０１は、１以上のコアを含む。ＲＡＭ（ＲａｎｄｏｍＡｃｃｅｓｓＭｅｍｏｒｙ）１０２は、ＣＰＵ１０１が実行するプログラム、ＣＰＵ１０１が処理するデータなどを一時的に記憶する揮発性メモリである。

記憶装置１０３は、不揮発性記憶装置である。記憶装置１０３として、例えば、ＲＯＭ（ＲｅａｄＯｎｌｙＭｅｍｏｒｙ）、フラッシュメモリなどのソリッド・ステート・ドライブ（ＳＳＤ）、ハードディスクドライブに駆動されるハードディスクなどを用いることができる。本実施例に係る生体認証プログラムは、記憶装置１０３に記憶されている。インタフェース１０４は、処理部４０と他の機器とのインタフェースである。

記憶装置１０３に記憶されている生体認証プログラムは、ＲＡＭ１０２に展開される。ＣＰＵ１０１は、ＲＡＭ１０２に展開された生体認証プログラムを実行する。それにより、処理部４０の各部が実現される。図２は、以下の登録処理および照合処理の際の処理部４０の機能ブロック図である。

（登録処理）
以下、図２および図３を参照しつつ、登録処理について説明する。図３は、登録処理を表すフローチャートを例示する図である。登録処理の際には、図３で例示するように、視線情報取得装置３０は、ユーザの視線情報を登録視線情報として取得する（ステップＳ１）。具体的には、視線情報取得装置３０は、所定の時間範囲で、ユーザの眼球の角膜反射を利用して登録視線情報を取得する。または、視線情報取得装置３０は、所定の時間範囲で、ユーザの眼球周辺の筋線維の信号を読み取って眼球の回転角度を測定し、注視点座標を算出することで、登録視線情報を取得する。登録視線情報は、所定のｘｙ平面に対して視線が到達する座標（ｘ（ｔ），ｙ（ｔ））として得られる。（ｔ）は、経過時間を表す。

次に、第１特徴抽出部４２は、視線情報取得装置３０が取得した登録視線情報から、眼球運動特徴量を抽出する（ステップＳ２）。眼球運動特徴量は、眼球の持つ運動能力に起因した特徴量である。具体的には、対象物を注視している間の眼球の振動に関する情報や、眼球の移動方向別の最大回転速度などが挙げられる。例えば、登録視線情報内にあらわれる振動を特徴量化する場合、登録視線情報からケプストラム情報を抽出するものが知られている。

ケプストラムを抽出するには、まず、得られた登録視線情報（ｘ（ｔ），ｙ（ｔ））に対して、下記式（１）および下記式（２）に従って、それぞれ離散フーリエ変換を施す。Ｎは、データ要素数を表す。

パワースペクトルは、下記式（３）および下記式（４）に従って算出される。

さらに、算出したパワースペクトルに対して、下記式（５）および下記式（６）に従った離散コサイン変換を利用してスペクトル情報を算出する。

低周波をあらわす最初のＫ個の係数を単純なベクトル列として表現して特徴量とする。

次に、第２特徴抽出部４３は、視線情報取得装置３０が取得した登録視線情報から、認知特徴量を抽出する（ステップＳ３）。認知特徴量は、対象物の認知に起因する特徴量である。具体的には、注視するときの継続注視時間の平均や分散、注視点を移動させる時の移動速度の平均や分散などが挙げられる。それらの統計的な値をそれぞれ正規化して単純なベクトル列として表現する。なお、当該ベクトル列に対してさらに主成分分析を施して得られる上位の主成分を特徴量としてもよい。

次に、制御部４１は、現在時刻を取得する（ステップＳ４）。次に、制御部４１は、ステップＳ２で抽出した眼球運動特徴量、ステップＳ３で抽出した認知特徴量、およびステップ４で取得した現在時刻を、利用者ＩＤと関連付けて視線情報登録部４５に登録する（ステップＳ５）。以上の処理により、登録処理が完了する。

（認証処理）
以下、図２、図４〜図６参照しつつ、認証処理について説明する。認証処理は、登録処理の後に、ユーザがログインなどを要求する場合などに実行される。図４は、認証処理を表すフローチャートを例示する図である。図５（ａ）〜図５（ｃ）は、認証処理に含まれる逐次照合処理の概略を表す図である。図６は、認証処理に含まれる逐次照合処理を表すフローチャートを例示する図である。

図４で例示するように、視線情報取得装置３０は、所定の時間範囲でユーザの視線情報を照合用視線情報として取得する（ステップＳ１１）。この場合の時間範囲は、登録処理の際に視線情報取得装置３０が登録視線情報を取得した際の時間範囲と同じである。次に、第１特徴抽出部４２は、視線情報取得装置３０が取得した照合用視線情報から、眼球運動特徴量を抽出する（ステップＳ１２）。次に、第２特徴抽出部４３は、視線情報取得装置３０が取得した照合用視線情報から、認知特徴量を抽出する（ステップＳ１３）。次に、制御部４１は、現在時刻を取得する（ステップＳ１４）。

次に、重み推定部４４は、ステップＳ１４で取得した現在時刻に応じて、重みを推定する（ステップＳ１５）。この場合の重みは、認知特徴量および眼球運動特徴量を用いて類似度を算出する際の当該特徴量の重みである。具体的には、重み推定部４４は、登録視線情報の登録日時からの経過時間ＥＴに基づいて、下記式（７）に従って、重みを推定する。

次に、照合部４６は、逐次照合を行う（ステップＳ１６）。図５（ａ）は、ステップＳ１１で取得された照合用視線情報を例示する図である。図５（ａ）で例示するように、照合用視線情報は、経過時間ｔに対するｘ座標（ｘ（ｔ））およびｙ座標（ｙ（ｔ））として取得されている。

次に、照合部４６は、図５（ｂ）で例示するように、照合用視線情報を局所的なデータ窓に分割し、各データ窓から、第１特徴抽出部４２が抽出した認知特徴量および第２特徴抽出部４３が抽出した眼球運動特徴量を取得する。まず、照合部４６は、照合用視線情報をデータ長Ｗのデータパッチｐｉに分割する。ここで、Ｌをｘ（ｔ）およびｙ（ｔ）のデータ長（≠０）とし、ｒ_ｏｌを各データ窓間の重畳率（０≦ｒ_ｏｌ＜１）とする。この場合、データパッチの個数Ｎｐは、下記式（８）で表される。

次に、照合部４６は、データパッチｐｉから、認知特徴量および眼球運動特徴量を取得する。登録視線情報から得られる認知特徴量をｃｆｔ（ｉ）とし、登録視線情報から得られる眼球運動特徴量をｅｍｔ（ｉ）とする。照合用視線情報から得られる認知特徴量をｃｆｖ（ｊ）とし、照合用視線情報から得られる眼球運動特徴量をｅｍｖ（ｊ）とする。照合部４６は、これらの特徴量を用いて、登録視線情報と照合用視線情報との類似度ＦＳを、下記式（９）および下記式（１０）に従って算出する。なお、下記式（９）において、Ｌ１_ｎｏｒｍ（，）は、ベクトル間のＬ１ノルムの算出結果である。なお、下記式（９）および下記式（１０）は、照合視線情報の各データパッチの認知特徴量および眼球運動特徴量と、登録視線情報の各データパッチの認知特徴量および眼球運動特徴量との類似度の総和を算出する式である。Ｎ_ｓは、類似度を正規化するための係数である。

次に、図６を参照しつつ、以上の逐次照合処理をフローチャートに沿って説明する。まず、照合部４６は、視線情報登録部４５に登録されている登録視線情報の眼球運動特徴量および認知特徴量を取得する（ステップＳ２１）。次に、照合部４６は、変数ｋにゼロを代入する（ステップＳ２２）。次に、照合部４６は、上記式（９）に従って、Ｓ（ｋ）を算出する（ステップＳ２３）。次に、照合部４６は、変数ｋがデータパッチの個数Ｎ_ｐと等しくなったか否かを判定する（ステップＳ２４）。ステップＳ２４で「Ｎｏ」と判定された場合、照合部４６は、変数ｋに１を足す（ステップＳ２５）。次に、ステップＳ２３が再度実行される。ステップＳ２４で「Ｙｅｓ」と判定された場合、照合部４６は、上記式（１０）に従って、Ｓ（ｋ）の総和を類似度ＦＳとして算出する（ステップＳ２６）。その後、フローチャートの実行が終了する。

再度図４を参照し、ステップＳ１６の実行後、照合部４６は、類似度ＦＳが閾値ｔｈ１以上であるか否かを判定する（ステップＳ１７）。ステップＳ１７で「Ｙｅｓ」と判定された場合、照合部４６は、認証成功に係る情報を出力する（ステップＳ１８）。ステップＳ１７で「Ｎｏ」と判定された場合、照合部４６は、認証失敗に係る情報を出力する（ステップＳ１９）。ステップＳ１８またはステップＳ１９の実行後、フローチャートの実行が終了する。

本実施例によれば、認知特徴量および眼球運動特徴量の両方を用いて認証が行われる。この場合、ユーザが何らかの視線認知をしている場合の認知特徴量に加えて、眼球運動特徴量を用いて認証が行われる。それにより、特定のタスクをユーザに要求しなくても、認証を行うことができる。その結果、ユーザの負担を軽減することができる。例えば、認証が成功してログインなどが行われた後に、特定のタスクをユーザに要求することなく継続的に認証を行うこともできる。

上記式（７）で例示したように、登録視線情報の認知特徴量と照合用視線情報の認知特徴量との類似度と、登録視線情報の眼球運動特徴量と照合用視線情報の眼球運動特徴量との類似度との間に、重みづけを設定してもよい。例えば、眼球運動特徴量は、経過時間とともに変化する傾向にあることから、経過時間とともに登録視線情報の眼球運動特徴量と照合用視線情報の眼球運動特徴量との類似度の反映度合を低下させることが好ましい。その他、一日における時間帯に応じて、登録視線情報の眼球運動特徴量と照合用視線情報の眼球運動特徴量との類似度の反映度合を低下させてもよい。

図７（ａ）は、実施例２に係る生体認証装置１００ａの全体構成を例示する図である。図７（ａ）で例示するように、生体認証装置１００ａが実施例１に係る生体認証装置１００と異なる点は、処理部４０の代わりに処理部４０ａを備える点である。処理部４０ａが処理部４０と異なる点は、さらに再認証判定部４７を備える点である。図７（ｂ）で例示するように、処理部４０ａのハードウェア構成は処理部４０と同様である。生体認証装置１００ａの登録処理および認証処理は、実施例１と同様である。実施例２においては、認証処理において認証成功した後に、所定の時間間隔で認証を継続する継続認証処理が実行される。図８は、継続認証処理の際の機能ブロック図である。以下、実施例２に係る継続認証処理について説明する。

（継続認証処理）
以下、図８および図９を参照しつつ、継続認証処理について説明する。図９は、継続認証処理を表すフローチャートを例示する図である。図９で例示するように、ステップＳ３１〜ステップＳ３６は、図４のステップＳ１１〜ステップＳ１６と同様である。次に、再認証判定部４７は、類似度ＦＳが閾値ｔｈ１未満であるか否かを判定する（ステップＳ３７）。ステップＳ３７で「Ｎｏ」と判定された場合、所定の時間後にステップＳ３１から再度実行される。ステップＳ３７で「Ｙｅｓ」と判定された場合、再認証判定部４７は、表示装置１０の表示をロックし、ユーザに再認証を促す表示をさせる（ステップＳ３８）。その後、フローチャートの実行が終了する。

本実施例によれば、特定のタスクをユーザに要求しなくても、継続認証処理を行うことができる。継続認証処理を行うことで、認証に成功した後も認証の可否を判断することができる。それにより、セキュリティ精度が向上する。なお、ステップＳ３７の閾値ｔｈ１は、ステップＳ１７の閾値ｔｈ１と異なる値であってもよい。

図１０（ａ）は、実施例３に係る生体認証装置１００ｂの全体構成を例示する図である。図１０（ａ）で例示するように、生体認証装置１００ｂが実施例２に係る生体認証装置１００ａと異なる点は、処理部４０ａの代わりに処理部４０ｂを備える点である。処理部４０ｂが処理部４０ａと異なる点は、さらに自動再登録判定部４８を備える点である。処理部４０ｂのハードウェア構成は、処理部４０ａと同様である。生体認証装置１００ｂの登録処理および認証処理は、実施例１と同様である。実施例３においては、認証処理に認証成功した後に、所定の時間間隔で照合を継続する継続認証処理が実行される。図１１は、継続認証処理の際の機能ブロック図である。以下、実施例３に係る継続認証処理について説明する。

（継続認証処理）
以下、図１１および図１２を参照しつつ、継続認証処理について説明する。図１２は、継続認証処理を表すフローチャートを例示する図である。図１２で例示するように、ステップＳ４１〜ステップＳ４８は、図９のステップＳ３１〜ステップＳ３８と同様である。ステップＳ４７で「Ｎｏ」と判定された場合、自動再登録判定部４８は、類似度ＦＳが閾値ｔｈ２未満であるか否かを判定する（ステップＳ４９）。閾値ｔｈ２は、閾値ｔｈ１よりも大きい値である。

ステップＳ４９で「Ｙｅｓ」と判定された場合、直前の継続認証処理または認証処理において抽出された認知特徴量および眼球運動特徴量を登録視線情報として視線情報登録部４５に再登録する（ステップＳ５０）。その後、所定の時間が経過後にステップＳ４１から再度実行される。ステップＳ４９で「Ｎｏ」と判定された場合においても、所定の時間が経過後にステップＳ４１から再度実行される。

本実施例によれば、特定のタスクをユーザに要求しなくても、継続認証処理を行うことができる。継続認証処理を行うことで、認証に成功した後も認証の可否を判断することができる。それにより、セキュリティ精度が向上する。なお、ステップＳ４７の閾値ｔｈ１は、ステップＳ３７の閾値ｔｈ１と異なる値であってもよい。

上記各例において、視線情報取得装置３０が、ユーザの視線情報を取得する取得部の一例として機能する。第１特徴抽出部４２が、視線情報から認知特性に基づく第１視線特徴を抽出する第１抽出部の一例として機能する。第２特徴抽出部４３が、視線情報から眼球運動特性に基づく第２視線特徴を抽出する第２抽出部の一例として機能する。照合部４６が、予め登録された第１視線特徴と第１抽出部が抽出した第１視線特徴とを照合し、予め登録された第２視線特徴と第２抽出部が抽出した第２視線特徴とを照合する照合部の一例として機能する。

以上、本発明の実施例について詳述したが、本発明は係る特定の実施例に限定されるものではなく、特許請求の範囲に記載された本発明の要旨の範囲内において、種々の変形・変更が可能である。

１０表示装置
２０操作装置
３０視線情報取得装置
４０処理部
４１制御部
４２第１特徴抽出部
４３第２特徴抽出部
４４重み推定部
４５視線情報登録部
４６照合部
４７再認証判定部
４８自動再登録判定部
１００生体認証装置

Claims

ユーザの視線情報を取得する取得部と、
所定の周期で、前記視線情報から認知特性に基づく第１視線特徴を抽出する第１抽出部と、
前記所定の周期で、前記視線情報から眼球運動特性に基づく第２視線特徴を抽出する第２抽出部と、
予め登録された前記第１視線特徴と前記第１抽出部が抽出した前記第１視線特徴とを照合し、予め登録された前記第２視線特徴と前記第２抽出部が抽出した前記第２視線特徴とを照合することで、予め登録された特徴と前記第１抽出部が抽出した前記第１視線特徴および前記第２抽出部が抽出した前記第２視線特徴との類似度が第１閾値以上であるか否かを判定する照合部と、
前記類似度が前記第１閾値よりも小さくない場合において、前記類似度が前記第１閾値よりも大きい第２閾値よりも小さくなったか否かを判定し、小さくなったと判定された場合に、前記第１抽出部が抽出した直前の前記第１視線特徴を前記予め登録された前記第１視線特徴として再登録し、前記第２抽出部が抽出した直前の前記第２視線特徴を前記予め登録された前記第２視線特徴として再登録する再登録部と、を備えることを特徴とする生体認証装置。
第１視線特徴は、注視物への理解認知に関する視線特徴であることを特徴とする請求項１記載の生体認証装置。
第２視線特徴は、眼球の運動能力に関する視線特徴であることを特徴とする請求項１または２記載の生体認証装置。
前記照合部は、前記予め登録された前記第１視線特徴と前記第１抽出部が抽出した前記第１視線特徴との第１照合結果および前記予め登録された前記第２視線特徴と前記第２抽出部が抽出した前記第２視線特徴との第２照合結果に応じた照合結果を前記類似度として出力することを特徴とする請求項１〜３のいずれか一項に記載の生体認証装置。
前記照合部は、前記照合結果を出力する際に、前記第１照合結果および前記第２照合結果に重みづけを設定することを特徴とする請求項４記載の生体認証装置。
前記照合部は、前記予め登録した前記第１視線特徴および前記第２視線特徴の登録後の経過時間を、前記重みづけに反映させることを特徴とする請求項５記載の生体認証装置。
前記照合部は、前記経過時間に伴って、前記第２照合結果の重みを低下させることを特徴とする請求項６記載の生体認証装置。
ユーザの視線情報を取得部が取得し、
所定の周期で、前記視線情報から認知特性に基づく第１視線特徴を第１抽出部が抽出し、
前記所定の周期で、前記視線情報から眼球運動特性に基づく第２視線特徴を第２抽出部が抽出し、
予め登録された前記第１視線特徴と前記第１抽出部が抽出した前記第１視線特徴との照合と、予め登録された前記第２視線特徴と前記第２抽出部が抽出した前記第２視線特徴とを照合することで、予め登録された特徴と前記第１抽出部が抽出した前記第１視線特徴および前記第２抽出部が抽出した前記第２視線特徴との類似度が第１閾値以上であるか否かを照合部が判定し、
前記類似度が前記第１閾値よりも小さくない場合において、再登録部が、前記類似度が前記第１閾値よりも大きい第２閾値よりも小さくなったか否かを判定し、小さくなったと判定された場合に、前記第１抽出部が抽出した直前の前記第１視線特徴を前記予め登録された前記第１視線特徴として再登録し、前記第２抽出部が抽出した直前の前記第２視線特徴を前記予め登録された前記第２視線特徴として再登録する、ことを特徴とする生体認証方法。
コンピュータに、
ユーザの視線情報を取得する処理と、
所定の周期で、前記視線情報から認知特性に基づく第１視線特徴を抽出する処理と、
前記所定の周期で、前記視線情報から眼球運動特性に基づく第２視線特徴を抽出する処理と、
予め登録された前記第１視線特徴と抽出された前記第１視線特徴とを照合し、予め登録された前記第２視線特徴と抽出された前記第２視線特徴とを照合することで、予め登録された特徴と第１抽出部が抽出した前記第１視線特徴および第２抽出部が抽出した前記第２視線特徴との類似度が第１閾値以上であるか否かを判定する処理と、
前記類似度が前記第１閾値よりも小さくない場合において、前記類似度が前記第１閾値よりも大きい第２閾値よりも小さくなったか否かを判定し、小さくなったと判定された場合に、前記第１抽出部が抽出した直前の前記第１視線特徴を前記予め登録された前記第１視線特徴として再登録し、前記第２抽出部が抽出した直前の前記第２視線特徴を前記予め登録された前記第２視線特徴として再登録する処理と、を実行させることを特徴とする生体認証プログラム。