JP4765575B2 - 個人認証方法、個人認証プログラムおよび個人認証装置 - Google Patents

Description

本発明は、秘密情報や重要物件管理場所にアクセスする個人を認証する技術に関するものであり、特に、アクセスする個人の視線を追跡して当該個人を認証する個人認証技術に関するものである。

個人認証技術としては秘密のパスワードを打鍵入力させて登録済みのパスワードと照合する技術が最も簡便で最も広く用いられているが、これは盗み見や漏洩の危険が高く、そのセキュリティレベルは決して高いとはいえない。そこで、下記の特許文献１および特許文献２のように、利用者にディスプレイ画面を注視させ、その画面上の視線を追跡して個人認証を行う技術が開発された。

以下には、下記特許文献１の開示例をもとに従来の個人認証方法を説明する。特許文献１の実施例では、例えば図17に示すように複数のアイテムからなる画像を利用者に提示する。個々のアイテムは花や動物の絵やアイコンのようなものでも良いが、図17では簡単のためＡからＬの12個のアルファベット文字とした。

従来の個人認証装置の認証方法を図16で説明する。図16(a)は動作フローであり、まず、ステップS1601でGUI画面に例えば「登録ボタン」と「入力ボタン」を表示する。「登録ボタン」は利用者がこれから装置に新たに認証情報を登録したい場合にクリックする。「入力ボタン」は装置にアクセスするための認証を実行してほしいので、認証情報を入力する場合にクリックする。

ステップS1602でクリック結果が「認証情報の登録」であるか否かを調べ、yesの場合、ステップS1603で認証情報の登録を行い、noの場合、ステップS1604で認証情報の入力を行う。ここでいう認証情報のデータ構造とは例えば図16(b)に示すような2つの識別子のタプルを要素とするリスト構造｛(k1,j1),(k2,j2),・・・・・,(km,jm)｝である。

すなわち、装置は最初に図17のような複数アイテムからなる表示画像(画像識別子gid=k1)を提示し、利用者の視線を追跡し、画像(gid=k1)内のアイテム(アイテム識別子iid=j1)を利用者が注視したことを検出してタプル(k1,j1)を記録する。次に複数アイテム表示画像(gid=k2)を提示し、画像(gid=k2)内のアイテム(iid=j2)を注視したことを検出してタプル(k2,j2)を記録する。次々とこれを繰り返し、最後に複数アイテム表示画像(gid=kｍ)を提示し、画像(gid=kｍ)内のアイテム(iid=jｍ)を注視したことを検出してタプル(km,jm)を記録する。以上によって装置は認証情報｛(k1,j1),(k2,j2),・・・・・,(km,jm)｝を得る。

特許文献１の実施例では、装置はクライアントサーバ構成のため、クライアントで得られた上記認証情報はステップS1605でサーバに送信され、サーバがステップS1606で該認証情報を登録済みの認証情報と照合して、一致すれば認証成功であり、そうでなければ認証失敗とする。

このように特許文献１の個人認証装置では、用意された複数のアイテムからなる提示画像への利用者の視線を検出することにより、利用者がどのアイテムを注視して選択したかを検出し、これを複数回繰り返して得られた認証情報により該利用者の個人認証を行なうものである。したがって、本開示の認証情報は言わば画面による仮想キーボード上を視線によって打鍵して得られる文字列と変わりがなく、この認証方法では従来の文字列によるパスワードと同等のセキュリティレベルでしかない。

また、下記特許文献２には、虹彩位置を追跡し取得された視線移動データと予め登録された視線移動基準データとを照合し、照合結果を機器の制御装置に出力する技術が開示されている。しかし、ここでいう視線移動データおよび予め登録された視線移動基準データについては同文献の実施例によれば画面に表示するマーカのＩＤを移動順に列挙したデータ列が想定されている、とされている。したがって、本開示の視線移動データとは、やはり画面による仮想キーボード上を視線によって打鍵していった文字列と変わりがなく、この認証方法でも従来の文字列によるパスワードと同等のセキュリティレベルでしかない。
特開２００４−２２０３７６号公報 特開２００５−１４９３２６号公報

上記のように、利用者の視線を追跡して当該利用者を認証する従来の個人認証方法では、確かに入力の盗み見による漏洩は防がれる。しかし、視線移動データをいわば画面上の仮想キーボードを視線によって打鍵して得られた文字列とみなして扱うため、この認証方法では従来の文字列によるパスワードと同等のセキュリティレベルでしかなく、例えばしらみつぶし的なパスワード攻撃に対して万全とはいえない、という課題があった。

利用者の視線を追跡して当該利用者を認証する従来の個人認証方法では、視線移動データをいわば画面上の仮想キーボードを視線によって打鍵して得られた文字列とみなして扱うため、この認証方法では従来の文字列によるパスワードと同等のセキュリティレベルでしかない、という前記課題は、図１に示す如く、利用者に画像を提示し、前記画像上を移動する利用者の視線を追跡して当該利用者を認証する個人認証方法であって、前記利用者の視線移動をその移動速度指標と移動位置の時系列データを含む動的視線パターンとして捉え、これを当該利用者の識別子と対応付けて基準動的視線パターンとして蓄積保管する基準動的視線パターン登録ステップ（図１のステップS103）と、認証対象である利用者の動的視線パターンを認証対象動的視線パターンとして取得する認証対象動的視線パターン取得ステップ（図１のステップS104）と、前記認証対象動的視線パターンと前記基準動的視線パターンとを照合してそのパターン一致度を評価する一致度評価ステップ（図１のステップS105）と、を有する個人認証方法によって解決される。

すなわち、本発明の個人認証装置における認証情報は、利用者の視線移動をその移動速度指標と移動位置の時系列データを含む動的視線パターンであるので、従来例のように文字列に帰着する認証情報に比べてはるかに複雑であり、しらみつぶし的攻撃は事実上不可能といえる。

また、前記課題は、図１に示すごとく、さらに前記移動速度指標に基づいて特徴点データを抽出する特徴点データ抽出ステップ（図１のステップS111）と、前記認証対象動的視線パターン中の前記抽出された特徴点データと前記基準動的視線パターン中の前記抽出された特徴点データとを照合する特徴点データ照合ステップ（図１のステップS105.1）と、を有することで効率よく解決される。

すなわち、動的視線パターンの照合において、その全データの中から特徴点データを抽出してこれに着目した照合方法をとることにより、照合ロジックが簡素で再現性がよい、という利点がある。

また、前記課題は、さらに、図６(a)に示すごとく、前記画像は複数種類あり、前記基準動的視線パターン登録ステップは、前記画像ごとの画像識別子に対して、利用者の動的視線パターンを当該利用者の識別子と対応付けた基準動的視線パターンとして蓄積保管する基準動的視線パターン登録ステップ（図６(a)のステップS603から607）であり、前記認証対象動的視線パターン取得ステップは、前記複数の画像から所定の方法で選択されたひとつの画像を認証対象利用者に提示し、認証対象利用者の動的視線パターンを認証対象動的視線パターンとして取得する認証対象動的視線パターン取得ステップ（図９のステップS903から906）である個人認証方法により、より強固なセキュリティレベルで解決される。

すなわち、複数の画像の中から認証に用いる画像を指定することで、また、画像指定情報を秘匿することでしらみつぶし攻撃がさらに困難となる、という利点がある。

また、前記課題は、図15に示すごとく、前記認証対象動的視線パターン取得ステップは、前記複数の画像を所定の順番で一定時間間隔で認証対象利用者に順次提示し、個々の画像に対応する認証対象利用者の動的視線パターンの順列を認証対象動的視線パターンとして取得する認証対象動的視線パターン取得ステップ（図15のステップS1504から1511）である個人認証方法、によってより強固なセキュリティレベルで解決される。

すなわち、複数の画像を使用することで、また、使用順番を秘匿することでしらみつぶし攻撃はさらに困難となる、という利点がある。

本発明の個人認証方法では認証情報の入力を盗み見されて漏洩する危険がなく、またしらみつぶし的な攻撃が不可能であるため、他人によるなりすましが不可能である、という効果がある。

本発明の個人認証方法の実施例を図１〜図17により説明する。なお、本発明におけるコンピュータ処理は、当該コンピュータの主記憶装置上に展開されたコンピュータプログラムにより実行されるが、このコンピュータプログラムの提供形態は、当該コンピュータに接続された補助記憶装置をはじめ、ＣＤ−ＲＯＭ等の可搬型記憶装置やネットワーク接続された他のコンピュータの主記憶装置及び補助記憶装置等の各記録媒体に格納されて提供されるもので、このコンピュータプログラムの実行に際しては、当該コンピュータの主記憶装置上にローディングされ実行されるものである。

本発明では認証情報として動的視線パターンを用いるので、最初に図３および図４を用いて動的視線パターンについて説明する。図３は本発明の提示画像例と視線移動例および取得された視線移動データのデータ形式例を説明する図である。

提示画像は図17の従来例と同じものを用いる。図３(a)にはこの画像上の視線移動の軌跡の一例を線で描いている。これは図３(b)に示すように、利用者が、
（１）Ｃの斜め右上に視線を置いてスタートし、
（２）Ｊの少し左をじっと見る。

（３）Ｇの少し上を見てすぐに
（４）Ｂの真ん中を見て終わる。
というように意識して視線を移動した軌跡である。図３(a)の軌跡では視線移動速度の変化がわからないので、図３(b)に時間軸と視線位置の関係を示した。本実施例の個人認証装置では画像提示に伴って0.5秒刻みのメトロノーム音をガイドとして流し、これに合わせて利用者は開始を指示し、３秒後に視線取り込みを終了する。利用者はこの0.5秒刻みのメトロノームに合わせて視線移動を行うリズムを意識することができる。図の例では、0.5秒後および２秒後のあたりで視線の急速な移動を行っている。

本実施例の個人認証装置では0.1秒間隔で視線取り込みを行うので、図３(c)に示すように、時刻値ｔ＝1〜30の計30ポイントの視線位置データが取られる。各ポイントのx座標、y座標から各ポイントの移動速度指標値ｖｉが例えばvi(i)=(x(i+1)-x(i))**2+(y(i+1)-y(i))**2として求められる。このようにして図３(c)に示す視線移動データｓｄが取得される。

また図３(c)の移動速度指標値ｖｉが所定閾値（例えば30）より大きいポイントに三角マークを付したが、本明細書ではこのように移動速度指標値ｖｉが大きいポイントをその出現順にならべて取得し、これを特徴点データｔｄと呼ぶ。また、本明細書では、ひとつの画像（画像識別子ｇｉｄ）で取得した視線移動データｓｄと特徴点データｔｄとを合わせて単位の画像対応動的視線パターンと定義し、一人の利用者（利用者識別子ｕｉｄ）のもとで複数の単位画像対応動的視線パターンｔｇｄを束ねたデータを認証情報として用いる動的視線パターンと定義する。

このように認証情報として用いられる動的視線パターンを利用者が基準として登録した情報を本明細書では基準動的視線パターンｋｄｓｐと呼び、認証を行う際に利用者が入力する動的視線パターンを認証対象動的視線パターンｎｄｓｐと呼ぶこととする。

基準動的視線パターンｋｄｓｐを例にとって、単位画像対応動的視線パターンｔｇｄ、視線移動データｓｄ、特徴点データｔｄ、移動速度指標値ｖｉの関係を図４で説明する。図４(a)は基準動的視線パターンｋｄｓｐのデータ構造例で、利用者識別子ｕｉｄのもとにn個の単位画像対応動的視線パターンｔｇｄがリンクする。そのひとつの単位画像対応動的視線パターンｔｇｄ-ｋは、図４(b)のように時刻値ｔ、x座標、y座標、移動速度指標値ｖｉからなる30ポイントの配列である視線移動データｓｄ-ｋと、図４(c)のように抽出された時刻値ｔ、x座標、y座標、移動速度指標値ｖｉからなるｄポイントの配列である特徴点データｔｄ-ｋを含む。

本発明の個人認証装置の構成例を図２に示す。視線検出装置1は、例えば特許文献２に示すように、利用者の目を連続撮影するカメラを含み、撮影像をリアルタイムに解析して虹彩を検出し、ディスプレイデバイス3上の視線位置をリアルタイムでCPU装置2に入力する装置である。ディスプレイデバイス3はGUI用画面でもあり、音声出力デバイス4とともに利用者へ情報を出力し、指示入力デバイス5はマウスのように利用者の指示入力に用いられるデバイスである。

CPU装置2は、全体制御手段21の制御のもとで、単位画像対応動的視線パターンｔｇｄを取得する単位画像対応動的視線パターン取得手段22、これを用いて先に説明したような基準動的視線パターンｋｄｓｐを取り込みこれを基準動的視線パターンデータベース26に格納する基準動的視線パターン登録手段23、認証対象動的視線パターンｎｄｓｐを取り込みこれを認証対象動的視線パターン格納エリア27に取り込む認証対象動的視線パターン取得手段24、基準動的視線パターンｋｄｓｐと認証対象動的視線パターンｎｄｓｐの一致度を評価する一致度評価手段25を有する。また、画像格納エリア28に利用者に提示する画像のファイルを格納する。また、単位画像対応動的視線パターン取得手段22は視線座標時刻入力部221と視線移動速度指標算出部222と特徴点データ抽出部223を有し、また、一致度評価手段25は特徴点データ照合部251を有するが、これらの動作は後に詳述する。

図１に本発明の第１実施例の個人認証方法の動作フロー図を示す。まず、ステップS101で全体制御手段21はディスプレイデバイス3のGUI画面に例えば「登録ボタン」と「入力ボタン」を表示する。「登録ボタン」は利用者がこれから装置に新たに動的視線パターンを登録したい場合に指示入力デバイス5をクリックする。「入力ボタン」は装置にアクセスするための認証を実行してほしいので、動的視線パターンを入力する場合にクリックする。

ステップS102で全体制御手段21はクリック結果が「動的視線パターンの登録」であるか否かを調べ、yesの場合、ステップS103で単位画像対応動的視線パターン取得手段22を起動して基準動的視線パターンｋｄｓｐの登録を行い、noの場合、ステップS104で認証対象動的視線パターン取得手段24を起動して認証対象動的視線パターンｎｄｓｐの取得を行う。前記ステップS103、104のいずれにおいてもステップS111の特徴点データの抽出ルーチンを使用する。

次いで全体制御手段21はステップS105で一致度評価手段25を起動して、認証対象動的視線パターンｎｄｓｐの基準動的視線パターンｋｄｓｐとの一致度を評価する。このステップでは、両動的視線パターン中の特徴点データｔｄ同士を照合して一致度を評価するステップS105.1の特徴点データの照合ルーチンをも適用する。以上の各ステップの詳細については逐次説明する。

まず、図５によって単位画像対応動的視線パターン取得手段22が単位画像対応動的視線パターンｔｇｄを取得するルーチンの動作を説明する。基準動的視線パターン登録手段23や認証対象動的視線パターン取得手段24は単位画像対応動的視線パターン取得手段22に動作依頼をする場合に、図５(a)のステップS501のように、表示すべき画像の画像識別子ｇｉｄを第1パラメータとし、返却用ワーク領域名を第2パラメータとして単位画像対応動的視線パターンｔｇｄ取得ルーチンをコールする。これによって、単位画像対応動的視線パターン取得手段22の動作結果として、ステップS502のように、指定の返却用ワーク領域に単位画像対応動的視線パターンｔｇｄが書き込まれている。

単位画像対応動的視線パターン取得手段22の動作は図５(b)のフローの動作を行う。まずステップS500.1で単位画像対応動的視線パターン取得手段22はディスプレイデバイス3に指定された画像を表示して、「ただいまから視線取り込みを行います。準備完了後開始キーを押してください。3秒間の視線取り込みとなります。」と表示し、音声出力デバイス4でもアナウンスする。

次いで単位画像対応動的視線パターン取得手段22はステップS500.2で音声出力デバイス4に0.5秒間隔のメトロノーム音を鳴らし、ステップS500.3で利用者が指示入力デバイス5で開始キーを押すのを待つ。利用者はディスプレイデバイス3上の画像に対して、自分が登録した動的視線パターンのリズムを再現すべく、自分の視線を開始場所においた状態で視線移動態勢を整えて、ディスプレイデバイス3上の開始キーを指示入力デバイス5でクリックする。なおこのとき、ディスプレイデバイス3上に視線検出装置1が検出している視線位置を表示するモードを選ぶことも可能であり、これによって自分の意図した視線位置がシステムに入力されていることを確認できる。

開始キーが押されると、単位画像対応動的視線パターン取得手段22はステップS500.4 でディスプレイデバイス3を視線取り込み中の画面とし（例えば画面枠を違う色に着色する）、視線座標時刻入力部221は0.1秒間隔で3秒間にわたり計30点での視線座標を取得し、視線移動速度指標算出部222は各ポイントの移動速度指標値を、例えばvi(i)=(x(i+1)-x(i))**2+(y(i+1)-y(i))**2と算出し、これらのデータ配列からなる視線移動データｓｄを返却用視線移動データワーク領域の所定場所に書き込む。

次いでステップS500.5で単位画像対応動的視線パターン取得手段22の特徴点データ抽出部223は前記30ポイントの移動速度指標値ｖｉを調べ、移動速度指標値ｖｉが所定の移動速度指標閾値Ｖｉｔを越える点を特徴点として抽出し、これらのデータ配列からなる特徴点データｔｄを返却用特徴点データワーク領域の所定場所に書き込む。次いで単位画像対応動的視線パターン取得手段22はステップS500.6で開始後3秒で視線取り込みを終了し、ディスプレイデバイス3上に「視線取り込みを終了しました。」と表示し、音声出力デバイス4によってアナウンスする。

次に図６(a)によって第１実施例の基準動的視線パターン登録の手順を説明する。基準動的視線パターン登録手段23はステップS601で利用者識別子ｕｉｄの入力を受け登録資格をチェックする。利用者識別子ｕｉｄの入力方法は図２には図示しないが接続されたキーボードやカードリーダから入力してもよい。基準動的視線パターン登録手段23は図示しない登録資格者リストを参照し、入力された利用者識別子ｕｉｄが登録資格を有するかをチェックし、OKであればステップS602に進む。基準動的視線パターン登録手段23は基準動的視線パターンデータベース26を検索し、利用者識別子ｕｉｄレコードが存在しない場合、新規登録として、基準動的視線パターンデータベース26に当該利用者識別子のレコードを作成する。

次いで基準動的視線パターン登録手段23はステップS603で画像格納エリア28の画像サムネールをディスプレイデバイス3上に表示し、利用者に登録対象画像を選択させる。利用者は選択する代わりに新規追加を行うこともでき、例えば可搬媒体で画像ファイルを持ち込み、基準動的視線パターン登録手段23と対話的に該画像ファイルを登録し画像格納エリア28に格納する。

次いで基準動的視線パターン登録手段23はステップS604で前記選択または新規追加された画像を表示し、ディスプレイデバイス3や音声出力デバイス4を用いて視線移動登録開始を利用者に促す。ステップS605では利用者が視線準備して開始キーを押して画像上の視線移動を行う。ステップS606で基準動的視線パターン登録手段23は前記開始キーにより、選択された画像を指定して、先に図５で説明した単位画像対応動的視線パターンｔｇｄ取得ルーチンを起動する。

次に基準動的視線パターン登録手段23はステップS607でワーク領域に返された単位画像対応動的視線パターンｔｇｄを基準動的視線パターンデータベース26の所定エリアに書き込む。そのデータフォーマットは先に図４で説明したとおりである。

次に図６(b)によって第１実施例の認証対象動的視線パターン取得の動作を説明する。まずステップS611で利用者が利用者識別子ｕｉｄを入力後、ディスプレイデバイス3上の認証要求キーを押す（指示入力デバイス5でクリックする）。認証対象動的視線パターン取得手段24はステップS612で基準動的視線パターンデータベース26から当該利用者識別子ｕｉｄを検索する。当該利用者識別子ｕｉｄが存在する場合は次ステップS613に進むが、利用者識別子ｕｉｄが存在しない場合はステップS616で認証対象動的視線パターン取得手段24はディスプレイデバイス3および音声出力デバイス4で「利用者識別子が登録されていません。終了します。」と表示し終了する。

本実施例ではステップS613で認証対象動的視線パターン取得手段24は最初の画像を画像格納エリア28からランダムに選択する。そしてステップS614で選択された画像（画像識別子ｇｉｄ）を指定して単位画像対応動的視線パターンｔｇｄ取得ルーチンを起動する。ステップS615で認証対象動的視線パターン取得手段24はワーク領域に返された単位画像対応動的視線パターンｔｇｄを認証対象動的視線パターン格納エリア27の所定エリアに認証対象動的視線パターンｎｄｓｐとして書き込む。

以上の手順で得られた認証対象動的視線パターンｎｄｓｐのデータ構造は図７(a)に示すように、利用者識別子ｕｉｄのもとに画像識別子ｇｉｄと視線移動データｓｄと特徴点データｔｄとを束ねたひとつの単位画像対応動的視線パターンｔｇｄをもつ構造である。なお、視線移動データｓｄ、特徴点データｔｄはそれぞれ図７(b)(c)に示す配列である。

次に図８によって、第１実施例の一致度評価の動作を説明する。一致度評価手段25はまず、ステップS801で認証対象動的視線パターン格納エリア27にある認証対象動的視線パターンｎｄｓｐ中の視線移動データｓｄを認識対象視線データ配列Ｎｓｄ｛ｘ（ｉ），ｙ（ｉ），ｖｉ（ｉ）｝（ｉ＝1，2，...，30）にセットする。また、ステップS802で認証対象動的視線パターンｎｄｓｐ中の特徴点データｔｄを認識対象特徴点データ配列Ｎｔｄ｛ｔ（ｉ），ｘ（ｉ），ｙ（ｉ），ｖｉ（ｉ）｝（ｉ＝1，2，...，ｎｄ）にセットする。

次いで一致度評価手段25はステップS803で認証対象動的視線パターンｎｄｓｐ中の利用者識別子ｕｉｄおよび画像識別子ｇｉｄをキーとして、基準動的視線パターンデータベース26を検索し、基準動的視線パターンｋｄｓｐの中から該当する単位画像対応動的視線パターンｔｇｄを決定する。そしてステップS804で前記決定された単位画像対応動的視線パターンｔｇｄ中の視線移動データｓｄを基準視線データ配列Ｋｓｄ｛ｘ（ｉ），ｙ（ｉ），ｖｉ（ｉ）｝（ｉ＝1，2，...，30）にセットする。また、ステップS805で前記決定された単位画像対応動的視線パターンｔｇｄ中の特徴点データｔｄを基準特徴点データ配列Ｋｔｄ｛ｔ（ｉ），ｘ（ｉ），ｙ（ｉ），ｖｉ（ｉ）｝（ｉ＝1，2，...，ｋｄ）にセットする。

次に一致度評価手段25はステップS806で一致度評価値ＬＥＶの初期値を設定する。ここに一致度評価値ＬＥＶとは、評価対象の2つの動的視線パターンの一致度を点数で表すもので、この点数がある一致度閾値ＬＴＨ以上であればその2つの動的視線パターンは同一とみなすとするものである。ステップS806では一致度評価値ＬＥＶ＝Σstatic(i)、（ただしΣはｉ＝1,5,10,15,20,25,30の和）を算出設定する。すなわち、視線取得開始時および0.5秒ごとの視線位置の計７ポイントについて下記static値を求めその和を一致度評価値ＬＥＶとするのである。static値とは一致度評価対象の2つの動的視線パターンの同時刻点での座標位置の近さを評価する値である。例えば、
if |Nsdx(i)-Ksdx(i)|<5 and |Nsdy(i)-Ksdy(i)|<5 then static(i)=5
すなわち、x座標差およびｙ座標差がともに５未満なら5点を与える、というように設定する。

次に一致度評価手段25は2つの動的視線パターンの特徴点データ同士を比較して、その近さが妥当であればペアリングが成功したボーナス点を与え、逆に近くない特徴点データ同士であればペアリング失敗の減点をする。ペアリング判定は認証対象動的視線パターンｎｄｓｐの特徴点データの時刻値ｔを基準として、それが基準動的視線パターンｋｄｓｐの特徴点データの時刻値ｔと近い場合の成功ボーナス点、遠い場合の失敗減点、を与える。時刻値ｔの小さい順に比較して、ペアリング成功すれば次の特徴点同士の比較を行う。

以上の特徴点比較戦略を具体化すると、ステップS807で認証対象動的視線パターンｎｄｓｐの時刻値ｔ変数のuと、基準動的視線パターンｋｄｓｐの時刻値ｔ変数のrを用いて、初期化（ｕ＝0，ｒ＝0）し、ステップS808（ｕ＝ｕ+1）、ステップS809（ｒ＝ｒ+1）でそれぞれインクリメントする。ステップS810（u>nd判定）は認証対象動的視線パターンｎｄｓｐの特徴点データｔｄの最終判定、ステップS811（r>kd判定）は基準動的視線パターンｋｄｓｐ の特徴点データｔｄの最終判定である。

ステップS812はペアリングテストで、両特徴点時刻値差が0.2秒未満なら成功ボーナス点15点、そうでなければ失敗減点-5点とした。ステップS813でペアリング成功の場合は ステップS814でその両者の位置座標の近さ、移動速度指標値ｖｉの近さに対してボーナス点を、そうでなければ減点をしている。

全特徴点データ同士の比較ごとに、ステップS815で一致度評価値ＬＥＶは上記のpair(u,r)の加点減点を行い、全比較が終了するとステップS816で最終の一致度評価値ＬＥＶが得られ、これが一致度閾値ＬＴＨより大きいかを比較する。大きければステップS817で認証成功とし、そうでなければステップS818で認証失敗とする。

本実施例の個人認証装置は実施例１に類似し、図１のハードウェア構成、図２の装置動作フロー、図３の画像例、図４の基準動的視線パターンｋｄｓｐのデータ構造、図５の単位画像対応動的視線パターンｔｇｄ取得手順、図６の基準動的視線パターンｋｄｓｐ登録手順、はいずれも本実施例でも適用するので、これらの説明は省略する。

実施例１の認証対象動的視線パターンｎｄｓｐは認証対象動的視線パターン取得手段24がランダムに選択したひとつの画像に対応する単位画像対応動的視線パターンｔｇｄであるのに対し、本実施例２では認証対象動的視線パターンｎｄｓｐは利用者が指定する画像を選択してこれに対応する単位画像対応動的視線パターンｔｇｄである。本実施例では、利用者は自分の選ぶ画像についての情報を例えば「月水金曜日はgsk.jpg、火木土日曜日はkmdn.jpg」などと決めて、あらかじめ図４(a)の「その他情報」項目に登録しておくものとする。本情報を秘匿することにより他人のなりすましをさらにガードする効果がある。

そのため、本実施例では図６(b)の第１実施例の認証対象動的視線パターンｎｄｓｐ取得手順とは少し異なり、図９に示す認証対象動的視線パターンｎｄｓｐ取得手順をとる。両者を比較すればわかるように、本実施例２では図６(b)の第１実施例のステップS613に変わり、ステップS903,904,908の動作をする。

すなわち、ステップS903では、認証対象動的視線パターン取得手段24は基準動的視線パターンデータベース26に登録されている利用者識別子ｕｉｄレコード中の全画像を番号付けたサムネール表示し、「今回の認証に使用する画像をクリックしてください。」と表示しアナウンスする。これに対し利用者が指示入力デバイス5によって特定のサムネールをクリックすると、認証対象動的視線パターン取得手段24はステップS904で前記利用者がクリックした画像の画像識別子ｇｉｄを基準動的視線パターンデータベース26の該当情報（「その他の情報」項目の内容）と照合する。そして、現在の利用者の画像選択が正しい選択であった場合は、認証対象動的視線パターン取得手段24はステップS905に進み単位画像対応動的視線パターンｔｇｄ取得ルーチンを起動するが、該選択が事前登録の「その他情報」項目に違反している場合は、認証対象動的視線パターン取得手段24はステップS908に進み、ディスプレイデバイス3と音声出力デバイス4で「指定する画像が違います。終了します。」と表示し終了する。

以上の動作以外の本実施例の動作は第１実施例の場合と同じであり、図７の認証対象動的視線パターンｎｄｓｐの構造および図８の一致度評価手段25の動作手順も第１実施例の場合と同じであるので説明を省略する。

本実施例の個人認証装置は実施例１に類似し、図１のハードウェア構成、図２の装置動作フロー、図３の画像例、図４の基準動的視線パターンｋｄｓｐのデータ構造、図５の単位画像対応動的視線パターンｔｇｄ取得手順、図６の基準動的視線パターンｋｄｓｐ登録手順、はいずれも本実施例でも適用するので、これらの説明は省略する。

実施例１の認証対象動的視線パターンｎｄｓｐは認証対象動的視線パターン取得手段24がランダムに選択したひとつの画像に対応する単位画像対応動的視線パターンｔｇｄであるのに対し、本実施例３では認証対象動的視線パターン取得手段24がランダムに選択したひとつの画像に対応する単位画像対応動的視線パターンｔｇｄを取得する手順を複数回繰り返して、得られた複数個の単位画像対応動的視線パターンｔｇｄからなる認証対象動的視線パターンｎｄｓｐを取得するのである。これによって他人のなりすましをさらにガードすることができる。

以上の動作を図10の認証対象動的視線パターンｎｄｓｐ取得手順によって説明する。まずステップS1001で利用者が利用者識別子ｕｉｄを入力後認証要求キーを押す。認証対象動的視線パターン取得手段24はステップS1002で基準動的視線パターンデータベース26から当該利用者識別子ｕｉｄを検索し、当該利用者識別子が存在する場合、ステップS1003に進み、認証対象動的視線パターン取得手段24は一枚の画像を画像格納エリア28からランダムに選択してその画像識別子ｇｉｄを指定して単位画像対応動的視線パターンｔｇｄ取得ルーチンをコールする。本ルーチンは図５ですでに説明したものである。ステップS1004で認証対象動的視線パターン取得手段24はワーク領域に返された単位画像対応動的視線パターンｔｇｄを認証対象動的視線パターン格納エリア27の所定エリアに書き込む。

次いで認証対象動的視線パターン取得手段24はステップS1005で所定の画面回数が終了したかを調べ、まだ所定回数に達していない場合はステップS1006に進み、ディスプレイデバイス3および音声出力デバイス4により「20秒後に次の画像に変わります。」と表示しアナウンスし、再びステップS1003に帰る。一方所定回数に達した場合はステップS1007で「すべての視線取り込みを終了します」と表示しアナウンスして終了する。

以上のようにして取得された認証対象動的視線パターンｎｄｓｐのデータ構造は図11に示すように複数個の単位画像対応動的視線パターンｔｇｄの順列形式となる。この認証対象動的視線パターンｎｄｓｐとすでに図４で述べた基準動的視線パターンｋｄｓｐとが一致度評価手段25によって照合される。その動作を図12によって説明する。

まず、一致度評価手段25はステップS1201で「認証対象動的視線パターン格納エリア27中の単位画像対応動的視線パターンｔｇｄの個数」を変数ｌｏｏｐに設定する。次いでステップS1202で一致度評価値ＬＥＶ＝0、ステップS1203でループ変数ｉ＝0の初期化とステップS1204のｉ＝ｉ+1インクリメントとステップS1205の終了判定（ｉ＞ｌｏｏｐ）を行う。

終了でなければステップS1206で一致度評価手段25はｉ番目の単位画像対応動的視線パターンｔｇｄｉに関する単位視線一致度ｔｌｖ（ｔｇｄｉ）＝ｖ（ｉ）を求める。これはすでに図８で説明した「単位画像対応動的視線パターンｔｇｄの一致度評価値ＬＥＶ算出ルーチン」をコールして実行させることで行う。ステップS1207では得られたi番目の単位視線一致度ｔｌｖ（ｔｇｄｉ）＝ｖ（ｉ）を現在のＬＥＶに加算してステップS1204に帰る。ステップS1205の終了判定（ｉ＞ｌｏｏｐ）でｙｅｓとなった場合、一致度評価手段25はステップS1208で現在のＬＥＶをｌｏｏｐで除算して平均値を求め、これを一致度評価値ＬＥＶとして採用する。すなわち、ステップS1209で一致度評価値ＬＥＶが一致度閾値ＬＴＨ以上であるかの判定を行い、ｙｅｓの場合ステップS1210で認証成功とし、noの場合ステップS1211で認証失敗とする。

本実施例の個人認証装置は実施例３に類似し、図１のハードウェア構成、図２の装置動作フロー、図３の画像例、図４の基準動的視線パターンｋｄｓｐのデータ構造、図５の単位画像対応動的視線パターンｔｇｄ取得手順、はいずれも本実施例でも適用するので、これらの説明は省略する。

実施例３の認証対象動的視線パターンｎｄｓｐは認証対象動的視線パターン取得手段24がランダムに選択した複数の画像に対応する複数の単位画像対応動的視線パターンｔｇｄの順列であったが、本実施例４では認証対象動的視線パターンｎｄｓｐは利用者が指定する順番に画像を選択してこれに対応する単位画像対応動的視線パターンｔｇｄの順列として取得する。利用者が指定する順番はあらかじめ基準動的視線パターン登録手段23が取得しておいて基準動的視線パターンデータベース26に登録しておく。この部分について図13の基準動的視線パターンｋｄｓｐ登録手順で以下に説明する。なお、本実施例の利点は、利用者が指定する順番を秘匿することにより他人のなりすましをさらにガードするところにある。

図13は先に説明した図６(a)の基準動的視線パターンｋｄｓｐ登録フローに追加部分を設けたものである。すなわち、図13におけるステップS1301からS1307はすでに説明した図６(a)のステップS601からS607と同じであり、その説明は省略する。本実施例ではステップS1308,1309が追加されており、これについて以下に説明する。

基準動的視線パターン登録手段23はステップS1308でディスプレイデバイス3を用いて 利用者が指定する順番の変更または新規登録があるかを問いかける。利用者が指示入力デバイス5でyesと答えた場合、ステップS1309で基準動的視線パターン登録手段23は画像格納エリア28から当該利用者識別子ｕｉｄに属する全画像を取り出し、そのサムネールをディスプレイデバイス3に表示し、利用者は指示入力デバイス5を用いて、利用者が指定する順番の変更または新規登録の情報を入力する。基準動的視線パターン登録手段23はこれを受け取り、基準動的視線パターンデータベース26の所定位置に書き込む。

ここに本実施例における基準動的視線パターンｋｄｓｐのデータ構造は図14(a)のごとくであり、上記で登録された利用者が指定する順番は基準動的視線パターンｋｄｓｐの「利用者が指定する順番」項目の値である。図14(a)の例ではその値（3,5,2,6,1）は基準動的視線パターンｋｄｓｐ内の単位画像対応動的視線パターンｔｇｄの順列の3番目の画像,5番目の画像,2番目の画像,6番目の画像,1番目の画像の順番を指定している。

これに対応して認証対象動的視線パターンｎｄｓｐを取得する手順は図15に示すようになる。まず、ステップS1501で利用者が利用者識別子ｕｉｄを入力後認証要求キーを押す。認証対象動的視線パターン取得手段24はこれを受け、ステップS1502で基準動的視線パターンデータベース26から当該利用者識別子ｕｉｄを検索し、存在したならばステップS1503に進み、基準動的視線パターンデータベース26から当該利用者識別子ｕｉｄのレコードを取り出す。

次に認証対象動的視線パターン取得手段24はステップS1504で基準動的視線パターンデータベース26に登録されている利用者識別子ｕｉｄレコードに属する全画像を番号付けたサムネール表示し、ディスプレイデバイス3および音声出力デバイス4によって「このうち認証に使用する5枚の画像を正しい順序でクリックしてください。」と表示しアナウンスする。利用者が入力した順番を受けて認証対象動的視線パターン取得手段24はステップS1505で当該の利用者が指定する順番を基準動的視線パターンデータベース26の該当情報（「利用者が指定する順番」項目の値）と照合する。

その結果、利用者が入力した順番が正しい順序でなかったならば、認証対象動的視線パターン取得手段24はステップS1513でディスプレイデバイス3および音声出力デバイス4によって「指定する順番が違います。終了します。」と表示し終了してしまう。利用者が入力した順番が正しい順序であれば、認証対象動的視線パターン取得手段24はステップS1506 からS1511の単位画像対応動的視線パターンｔｇｄを取得するループにはいる。この部分は先に図10の第３実施例の認証対象動的視線パターンｎｄｓｐ取得手順で説明したステップS1003からS1007に相当するものであるので説明を省略する。このようにして得られた認証対象動的視線パターンｎｄｓｐのデータ構造は第３実施例の場合と同じであり、図11に示される。また、本実施例の一致度評価手段25の動作手順も第３実施例の場合と同じであり図12に示される。よってこれらの説明については省略する。

以上の実施形態に関し、更に以下の付記を開示する。
（付記１）利用者に画像を提示し、前記画像上を移動する利用者の視線を追跡して当該利用者を認証する個人認証方法であって、
前記利用者の視線移動をその移動速度指標と移動位置の時系列データを含む動的視線パターンとして捉え、これを当該利用者の識別子と対応付けて基準動的視線パターンとして蓄積保管する基準動的視線パターン登録ステップと、
認証対象である利用者の動的視線パターンを認証対象動的視線パターンとして取得する認証対象動的視線パターン取得ステップと、
前記認証対象動的視線パターンと前記基準動的視線パターンとを照合してそのパターン一致度を評価する一致度評価ステップと、
を有することを特徴とする個人認証方法。
（付記２）前記移動速度指標に基づいて特徴点データを抽出する特徴点データ抽出ステップと、
前記認証対象動的視線パターン中の前記抽出された特徴点データと前記基準動的視線パターン中の前記抽出された特徴点データとを照合する特徴点データ照合ステップと、
を有することを特徴とする付記１記載の個人認証方法。
（付記３）前記画像は複数種類あり、前記基準動的視線パターン登録ステップは、前記画像ごとの画像識別子に対して、利用者の動的視線パターンを当該利用者の識別子と対応付けた基準動的視線パターンとして蓄積保管する基準動的視線パターン登録ステップであり、
前記認証対象動的視線パターン取得ステップは、前記複数の画像から所定の方法で選択されたひとつの画像を認証対象利用者に提示し、認証対象利用者の動的視線パターンを認証対象動的視線パターンとして取得する認証対象動的視線パターン取得ステップである、
ことを特徴とする付記１ないし付記２記載の個人認証方法。
（付記４）利用者に画像を提示し、前記画像上を移動する利用者の視線を追跡して当該利用者を認証する個人認証をコンピュータに実行させる個人認証プログラムであって、
前記利用者の視線移動をその移動速度指標と移動位置の時系列データを含む動的視線パターンと捉え、当該利用者の識別子と対応付けて基準動的視線パターンとして蓄積保管する基準動的視線パターン登録ステップと、
認証対象である利用者の動的視線パターンを認証対象動的視線パターンとして取得する認証対象動的視線パターン取得ステップと、
前記認証対象動的視線パターンと前記基準動的視線パターンとを照合してそのパターン一致度を評価する一致度評価ステップと、
をコンピュータに実行させることを特徴とする個人認証プログラム
（付記５）利用者に画像を提示し、前記画像上を移動する利用者の視線を追跡して当該利用者を認証する個人認証装置であって、
前記利用者の視線移動をその移動速度指標と移動位置の時系列データを含む動的視線パターンと捉え、当該利用者の識別子と対応付けて基準動的視線パターンとして蓄積保管する動的視線パターン登録手段と、
認証対象である利用者の動的視線パターンを認証対象動的視線パターンとして取得する認証対象動的視線パターン取得手段と、
前記認証対象動的視線パターンと前記基準動的視線パターンとを照合してそのパターン一致度を評価する一致度評価手段と、
を有することを特徴とする個人認証装置。
（付記６）利用者に画像を提示し、前記画像上を移動する利用者の視線を追跡して当該利用者を認証する個人認証をコンピュータに実行させる個人認証プログラムを記録したコンピュータ読み取り可能な記録媒体であって、
前記利用者の視線移動をその移動速度指標と移動位置の時系列データを含む動的視線パターンと捉え、当該利用者の識別子と対応付けて基準動的視線パターンとして蓄積保管する基準動的視線パターン登録ステップと、
認証対象である利用者の動的視線パターンを認証対象動的視線パターンとして取得する認証対象動的視線パターン取得ステップと、
前記認証対象動的視線パターンと前記基準動的視線パターンとを照合してそのパターン一致度を評価する一致度評価ステップと、
をコンピュータに実行させることを特徴とする個人認証プログラムを記録したコンピュータ読み取り可能な記録媒体。
（付記７）さらに、前記認証対象動的視線パターン取得ステップにおいて、認証対象利用者に提示するためのひとつの画像を前記複数の画像から選択する選択方法として、システムがランダムに選択することを特徴とする付記３記載の個人認証方法。
（付記８）さらに、前記認証対象動的視線パターン取得ステップにおいて、認証対象利用者に提示するためのひとつの画像を前記複数の画像から選択する選択方法として、利用者が指定する画像を選択することを特徴とする付記３記載の個人認証方法。
（付記９）前記画像は複数種類あり、前記基準動的視線パターン登録ステップは、前記画像ごとの画像識別子に対して、利用者の動的視線パターンを当該利用者の識別子と対応付けた基準動的視線パターンとして蓄積保管する基準動的視線パターン登録ステップであり、
前記認証対象動的視線パターン取得ステップは、前記複数の画像を所定の順番で一定時間間隔で認証対象利用者に順次提示し、個々の画像に対応する認証対象利用者の動的視線パターンの順列を認証対象動的視線パターンとして取得する認証対象動的視線パターン取得ステップである、
ことを特徴とする付記１ないし付記２記載の個人認証方法。
（付記１０）さらに、前記認証対象動的視線パターン取得ステップにおいて、認証対象利用者に前記複数の画像を一定時間間隔で順次提示するための順番は、システムがランダムに決定する順番であることを特徴とする付記９記載の個人認証方法。
（付記１１）さらに、前記認証対象動的視線パターン取得ステップにおいて、認証対象利用者に前記複数の画像を一定時間間隔で順次提示するための順番は、利用者が指定する順番であることを特徴とする付記９記載の個人認証方法。

本発明の個人認証方法は従来の方法に比べ若干高価であり、また認証情報の入力に訓練を必要とするが、認証情報の入力を盗み見されて漏洩する危険がなく、またしらみつぶし的な攻撃が不可能であるため、他人によるなりすましが事実上不可能である。従って、例えば少々の本人拒否率があっても再試行でカバーするが決して不正アクセスは許さないという極度に高いセキュリティを必要とするビジネスで有用である。よって、極度に高いセキュリティガ求められる情報データベースや金庫や部屋の施錠方法として有用であり、広く個人ユースやビジネスユースを対象とするセキュリティベンダを含むITビジネスにおいて利用される可能性がある。

本発明の第１実施例の個人認証装置の認証動作フロー図 本発明の第１実施例の個人認証装置の構成ブロック図 本発明の提示画像例と視線移動例および取得された視線移動データｓｄのデータ形式例 第１実施例の基準動的視線パターンｋｄｓｐのデータ構造例 単位画像対応動的視線パターンｔｇｄ取得の動作フロー図 第１実施例の基準動的視線パターン登録および認証対象動的視線パターン取得の手順例 第１実施例の認証対象動的視線パターンｎｄｓｐのデータ構造例 第１実施例の一致度評価の動作フロー図 第２実施例の認証対象動的視線パターン取得の動作フロー図 第３実施例の認証対象動的視線パターン取得の動作フロー図 第３実施例の認証対象動的視線パターンｎｄｓｐのデータ構造例 第３実施例の一致度評価の動作フロー図 第４実施例の基準動的視線パターン登録の手順例 第４実施例の基準動的視線パターンｋｄｓｐのデータ構造例 第４実施例の認証対象動的視線パターン取得の動作フロー図 従来の個人認証装置の認証方法 従来の個人認証装置の提示画像例

符号の説明

１ 視線検出装置
２ CPU装置
３ ディスプレイデバイス
４ 音声出力デバイス
５ 指示入力デバイス
21 全体制御手段
22 単位画像対応動的視線パターン取得手段
23 基準動的視線パターン登録手段
24 認証対象動的視線パターン取得手段
25 一致度評価手段
26 基準動的視線パターンデータベース
27 認証対象動的視線パターン格納エリア
28 画像格納エリア
221 視線座標時刻入力部
222 視線移動速度指標算出部
223 特徴点データ抽出部
251 特徴点データ照合部
ｓｄ 視線移動データ
ｋｄｓｐ 基準動的視線パターン
ｕｉｄ 利用者識別子
ｔｇｄ 単位画像対応動的視線パターン
ｔｄ 特徴点データ
ｖｉ 移動速度指標値
ｔ 時刻値
ｎｄｓｐ 認証対象動的視線パターン
ＬＥＶ 一致度評価値
Ｖｉｔ 移動速度指標閾値
ＬＴＨ 一致度閾値

Claims (5)

1. 利用者に画像を提示し、前記画像上を移動する利用者の視線を追跡して当該利用者を認証する個人認証方法であって、
   前記利用者の視線移動に基づいて、前記利用者の視線移動に対応する移動速度指標と移動位置の時系列データを含む動的視線パターンとして検出し、
   前記移動速度指標のうち所定値よりも大きい移動速度指標に基づいて特徴点データを抽出し、
   検出した前記動的視線パターンを当該利用者の識別子と対応付けて基準動的視線パターンとして蓄積保管し、
   認証対象である利用者の動的視線パターンを認証対象動的視線パターンとして取得し、
   前記認証対象動的視線パターン中の前記抽出された特徴点データに対応する特徴点データと前記基準動的視線パターン中の前記抽出された特徴点データとを照合して、前記認証対象動的視線パターンと前記基準動的視線パターンとのパターン一致度を評価する、
   ことを特徴とする個人認証方法。
2. 前記画像は複数種類あり、前記画像ごとの画像識別子に対して、利用者の動的視線パターンを当該利用者の識別子と対応付けた基準動的視線パターンとして蓄積保管し、前記複数の画像から所定の方法で選択されたひとつの画像を認証対象利用者に提示し、認証対象利用者の動的視線パターンを認証対象動的視線パターンとして取得することを特徴とする請求項１記載の個人認証方法。
3. 前記画像は複数種類あり、前記画像ごとの画像識別子に対して、利用者の動的視線パターンを当該利用者の識別子と対応付けた基準動的視線パターンとして蓄積保管し、前記複数の画像を所定の順番で一定時間間隔で認証対象利用者に順次提示し、個々の画像に対応する認証対象利用者の動的視線パターンの順列を認証対象動的視線パターンとして取得することを特徴とする請求項１記載の個人認証方法。
4. 利用者に画像を提示し、前記画像上を移動する利用者の視線を追跡して当該利用者を認
   証する個人認証をコンピュータに実行させる個人認証プログラムであって、
   前記コンピュータに、
   前記利用者の視線移動に基づいて、前記利用者の視線移動に対応する移動速度指標と移動位置の時系列データを含む動的視線パターンとして検出し、
   前記移動速度指標のうち所定値よりも大きい移動速度指標に基づいて特徴点データを抽出し、
   検出した前記動的視線パターンを当該利用者の識別子と対応付けて基準動的視線パターンとして蓄積保管し、
   認証対象である利用者の動的視線パターンを認証対象動的視線パターンとして取得し、
   前記認証対象動的視線パターン中の前記抽出された特徴点データに対応する特徴点データと前記基準動的視線パターン中の前記抽出された特徴点データとを照合して、前記認証対象動的視線パターンと前記基準動的視線パターンとのパターン一致度を評価する、
   処理を実行させることを特徴とする個人認証プログラム。
5. 利用者に画像を提示し、前記画像上を移動する利用者の視線を追跡して当該利用者を認証する個人認証装置であって、
   前記利用者の視線移動に基づいて、前記利用者の視線移動に対応する移動速度指標と移動位置の時系列データを含む動的視線パターンとして検出し、前記移動速度指標のうち所定値よりも大きい移動速度指標に基づいて特徴点データを抽出し、検出した前記動的視線パターンを当該利用者の識別子と対応付けて基準動的視線パターンとして蓄積保管する動的視線パターン登録手段と、
   認証対象である利用者の動的視線パターンを認証対象動的視線パターンとして取得する認証対象動的視線パターン取得手段と、
   前記認証対象動的視線パターン中の前記抽出された特徴点データに対応する特徴点データと前記基準動的視線パターン中の前記抽出された特徴点データとを照合して、前記認証対象動的視線パターンと前記基準動的視線パターンとのパターン一致度を評価する一致度評価手段と、
   を有することを特徴とする個人認証装置。

Images