JP6401120B2 - 視標追跡手順に基づくネットワーク認証方法およびシステム - Google Patents

Description

本発明は、視標追跡（eye tracking）技術に関するものであり、特に、視標追跡手順に基づくネットワーク認証方法およびシステムに関するものである。

現在、視標追跡技術は、主に、侵襲性（invasive）視標追跡技術と非侵襲性（non-invasive）視標追跡技術の２種類に分けられる。侵襲性視標追跡技術は、眼球内に探りコイル（search coil）を設置するか、電気眼球図（electrooculogram）を使用する技術である。非侵襲性視標追跡技術は、さらに、頭部非装着型（head-free）または頭部装着型（head-mount）視標追跡技術に分けられる。技術の発展とともに、視標追跡技術は、神経科学、心理学、生産管理工学、人間工学、マーケティング広告、コンピューターサイエンス等の様々な分野に広く応用されるようになった。

視標追跡技術は、会話の不自由な人や身体的に困難な人のコミュニケーションを補助し、このような運動機能に制限のある人に対してさらなる便利性を提供することができる。例えば、視標追跡電子製品を利用して、マウスの代わりに目を使うことによって、コミュニケーション、ネットサーフィン、エンターテイメント等の活動を完結させることができる。

会話の不自由な人や身体的に困難な人は、コミュニケーションをとるのが不便である。

本発明の目的は、眼球運動入力メカニズムを提供し、その操作をさらに多様化することのできる視標追跡手順に基づくネットワーク認証方法およびシステムを提供することである。

本発明の視標追跡手順に基づくネットワーク認証方法は、以下のステップを含む。ネットワークを介してユーザー端末が認証インターフェース情報を受信し、ユーザー端末の表示ユニットに表示させる。ユーザー端末の撮像ユニットによりユーザー端末の使用者の顔画像列を取り込む。ユーザー端末は、サーバー端末に顔画像列を送信し、サーバー端末が、顔画像列に基づいてユーザー端末の認証手順を実行する。ユーザー端末はサーバー端末から認証結果を受信する。認証結果が認証成功（verified and passed）の時、ユーザー端末の表示ユニットに認証インターフェース情報を表示させ、ユーザー端末の撮像ユニットがユーザー端末の使用者の眼画像列を取り込む。ユーザー端末は、眼画像列に基づいて視標追跡手順を実行し、視標追跡手順を介して使用者の操作情報を入力する。認証インターフェース情報は、緊急モードを有し、眼画像列に基づいて視標追跡手順を行っている間に使用者が緊急モードをトリガー（trigger）したとユーザー端末が判断した場合、ユーザー端末がサーバー端末に緊急信号を送信する。

本発明の視標追跡手順に基づくネットワーク認証システムは、サーバー端末とユーザー端末とを含む。ユーザー端末は、ネットワークを介してサーバー端末に接続される。ユーザー端末は、通信ユニットと、表示ユニットと、撮像ユニットと、制御ユニットとを含む。通信ユニットは、ネットワークに接続される。表示ユニットは、サーバー端末から受信した認証インターフェース情報を表示する。撮像ユニットは、使用者の顔画像列を取り込む。制御ユニットは、通信ユニット、表示ユニットおよび撮像ユニットに結合される。制御ユニットは、通信ユニットによりサーバー端末に顔画像列を送信するため、サーバー端末は、顔画像列に基づいてユーザー端末の認証手順を実行するとともに、通信ユニットによりサーバー端末から認証結果を受信し、制御ユニットは、認証結果が認証成功の時に眼球運動検出モジュールを駆動して、視標追跡手順を実行する。認証結果が認証成功の時、表示ユニットに認証インターフェース情報を表示するとともに、撮像ユニットによりユーザー端末の使用者の眼画像列を取り込んで、眼球運動検出モジュールが眼画像列に基づいて視標追跡手順を実行することにより、視標追跡手順を介して使用者の操作情報を入力する。認証インターフェース情報は、緊急モードを有し、眼画像列に基づいて視標追跡手順を行っている間に使用者が緊急モードをトリガーしたと眼球運動検出モジュールが判断した場合、制御ユニットは、通信ユニットによりサーバー端末に緊急信号を送信する。

サーバー端末に適した本発明の視標追跡手順に基づくネットワーク認証方法は、以下のステップを含む。ユーザー端末に認証インターフェース情報を送信して、ユーザー端末の表示ユニットに表示する。認証インターフェース情報は、緊急モードを有する。ユーザー端末の撮像ユニットにより取り込まれたユーザー端末の使用者の顔画像列をユーザー端末から受信する。顔画像列に基づいてユーザー端末の認証手順を実行する。ユーザー端末に認証結果を送信する。ユーザー端末から眼画像列を受信する。認証結果が認証成功の時、ユーザー端末の撮像ユニットにより眼画像列を取り込み、ユーザー端末の表示ユニットに認証インターフェース情報を表示する。眼画像列に基づいて視標追跡手順を実行し、視標追跡手順を介して使用者の操作情報を入力する。視標追跡手順を実行するプロセスにおいて、眼画像列に基づいて視標追跡手順を行っている間に使用者が緊急モードをトリガーしたと判断された時、緊急信号を生成する。

以上のように、使用者は、眼球運動により認証手順を行っている間に視標追跡手順を実行することができるため、操作がより多様化される。

本発明の上記および他の目的、特徴、および利点をより分かり易くするため、図面と併せた幾つかの実施形態を以下に説明する。

本発明の１つの実施形態に係る視標追跡手順に基づくネットワーク認証システムを示すブロック図 本発明の１つの実施形態に係る視標追跡手順に基づくネットワーク認証方法を示すフローチャート 本発明の１つの実施形態に係る金融取引システムのブロック図 本発明の１つの実施形態に係る金融取引装置のブロック図 本発明の１つの実施形態に係る反射点位置を示す概略図 本発明の１つの実施形態に係る視標追跡手順に基づく金融取引方法を示すフローチャート 本発明の１つの実施形態に係る金融取引インターフェースを示す概略図 本発明の別の実施形態に係る金融取引装置のブロック図 本発明の別の実施形態に係るハンドヘルド入力装置の操作を示す概略図 本発明の１つの実施形態に係るサーバー端末に適用される視標追跡手順に基づくネットワーク認証方法を示すフローチャート

以下、添付の図面を例として、本発明の実施形態を詳細に説明する。各図面および関連説明において、同一または類似する構成要素には、同一の参照番号を使用する。

図１は、本発明の１つの実施形態に係る視標追跡手順に基づくネットワーク認証システムを示すブロック図である。図１を参照すると、ネットワーク認証システムＡは、ユーザー端末１と、サーバー端末２とを含む。ユーザー端末１は、ネットワーク３を介してサーバー端末２に接続される。ユーザー端末１は、通信ユニット１４０と、表示ユニット１８０と、撮像ユニット１２０と、制御ユニット１１０とを含む。通信ユニット１４０は、ネットワーク３に接続される。表示ユニット１８０は、サーバー端末２から受信した認証インターフェース情報を表示する。撮像ユニット１２０は、使用者の顔画像列を取り込む。制御ユニット１１０は、通信ユニット１４０、表示ユニット１８０および撮像ユニット１２０に結合される。制御ユニット１１０は、眼球運動検出モジュール１６０を駆動して、視標追跡手順を実行する。

図２は、本発明の１つの実施形態に係る視標追跡手順に基づくネットワーク認証方法を示すフローチャートである。図１および図２を参照すると、ステップＳ２１において、ユーザー端末１は、ネットワーク３を介してサーバー端末２から認証インターフェース情報を受信し、ユーザー端末１の表示ユニット１８０に認証インターフェース情報を表示する。ここで、認証インターフェース情報は、例えば、認証インターフェースを提供して表示ユニット１８０に表示し、認証インターフェース情報は、緊急モードを含む。

ステップＳ２２において、ユーザー端末１の撮像ユニット１２０により使用者の顔画像列を取り込む。さらに、ステップＳ２３において、ユーザー端末１を介してサーバー端末２に顔画像列を送信し、顔画像列に基づいてサーバー端末２が使用者の認証手順を実行する。

ステップＳ２４において、ユーザー端末１は、サーバー端末２から認証結果を受信する。ステップＳ２５において、認証結果が認証成功の時、ユーザー端末１の表示ユニット１８０に認証インターフェース情報を表示し、撮像ユニット１２０により使用者の眼画像列を取り込む。例えば、ユーザー端末１は、サーバー端末２から顔認識結果を受信する。顔認識結果が認証成功の時、ユーザー端末１の表示ユニット１８０に認証インターフェース情報を表示し、ユーザー端末１の撮像ユニット１２０によりユーザー端末１の使用者の眼画像列を取り込む。あるいは、ユーザー端末１がサーバー端末２から眼認識結果（虹彩認識結果および強膜導管パターン認識結果を含む）を受信する。眼認識結果が認証成功の時、ユーザー端末１の表示ユニット１８０に認証インターフェース情報を表示し、ユーザー端末１の撮像ユニット１２０によりユーザー端末１の使用者の眼画像列を取り込む。

ステップＳ２６において、眼画像列に基づいて視標追跡手順を実行し、使用者の入力命令を判断する。ここで、認証インターフェース情報は、緊急モードを有し、眼画像列に基づいて視標追跡手順を行っている間に使用者が緊急モードをトリガーしたとユーザー端末１が判断した場合、ユーザー端末１は、サーバー端末２に緊急信号を送信する。

以下、上述したネットワーク認証システムＡを金融取引システムに適用した場合の例についてさらに説明する。図３は、本発明の１つの実施形態に係る金融取引システムのブロック図である。図３を参照すると、金融取引システム１０は、金融取引装置１００と、証明機関１１と、承継銀行１２と、ペイメントゲートウェイ（payment gateway）１３と、発行銀行１４と、電子店１５と、安全設備１６とを含む。ここで、金融取引装置１００は、ユーザー端末として使用される。サーバー端末は、証明機関１１と、承継銀行１２と、ペイメントゲートウェイ１３と、発行銀行１４と、電子店１５と、安全設備１６とを含む。

金融取引装置１００、証明機関１１、承継銀行１２、電子店１５および安全設備１６は、ネットワークＮ１（例えば、インターネット）を介して、互いに通信する。承継銀行１２および発行銀行１４は、金融ネットワークＮ２を介して通信する。金融ネットワークＮ２は、クレジットカード取引をオンラインで行う時に必要なプライベートネットワーク、例えば、既存のＶｉｓａＮｅｔ等である。

本実施形態において、購入者は、まず、カード会社で正規のクレジットカードを申し込まなければならない。その後、金融取引装置１００を介してクレジットカードを証明機関１１に登録して、電子商取引の関連取引を行えるようにしなければならない。図４は、本発明の１つの実施形態に係る金融取引装置のブロック図である。図４を参照すると、金融取引装置１００は、制御ユニット１１０と、撮像ユニット１２０と、カード処理ユニット１３０と、通信ユニット１４０と、表示ユニット１８０と、記憶ユニット１９０とを含む。記憶ユニット１９０は、複数のモジュールを記憶し、モジュールは、金融取引モジュール１５０と、眼球運動検出モジュール１６０と、パスワード認証モジュール１７０とを含む。制御ユニット１１０は、撮像ユニット１２０、カード処理ユニット１３０、通信ユニット１４０、表示ユニット１８０、および上述した全てのモジュールに結合される。

撮像ユニット１２０は、使用者を含む画像列（顔画像列および眼画像列のうちの少なくとも１つを含む）を取り込むよう構成される。カード処理ユニット１３０は、例えば、金融取引装置１００に外部接続されたカードリーダー、または金融取引装置１００に内蔵されたカードリーダーであり、金融取引カードを受信し、且つ金融取引カードからデータを読み取るよう構成される。通信ユニット１４０は、選択的に、金融取引装置１００内に配置される。金融取引装置１００は、様々な金融機関（電子店１５、承継銀行１２、証明機関１１）または安全設備１６に接続することができる。

制御ユニット１１０は、例えば、中央処理装置（central processing unit, CPU）または他のプログラム可能なマイクロプロセッサ（microprocessor）である。金融取引モジュール１５０、眼球運動検出モジュール１６０およびパスワード認証モジュール１７０のそれぞれは、例えば、複数のプログラムコードセクションからなり、記憶ユニット１９０に記憶される。あるいは、別の実施形態において、金融取引モジュール１５０、眼球運動検出モジュール１６０およびパスワード認証モジュール１７０のそれぞれは、複数のデジタル論理ゲートからなるチップセット（chip set）であってもよい。制御ユニット１１０は、金融取引モジュール１５０、眼球運動検出モジュール１６０およびパスワード認証モジュール１７０を駆動および実行して、金融取引手順を実行する。

より好ましい実施形態において、眼球運動検出モジュール１６０は、撮像ユニット１２０に対し、前もって校正手順を実行することができる。例えば、眼球の位置を検出する前に、撮像ユニット１２０から複数の校正画像を順番に受信することができる。ここで、校正画像は、使用者が表示ユニット１８０の複数の校正点を見ている時にそれぞれ得られた使用者を含む画像である。例えば、表示ユニット１８０の４つの点（左上、右上、左下、右下）を校正点として使用することができる。校正手順の間、表示ユニット１８０は、上述した４つの校正点を見るよう使用者を促し、４つの校正画像を取得する。眼球運動検出モジュール１６０は、各校正画像における眼域の２つの反射点位置に基づいて、基準校正パラメータを取得する。２つの反射点位置は、撮像ユニット１２０内に配置された射光ユニットを使用して、眼球に形成される。基準校正パラメータは、各校正画像における２つの反射点位置に基づいて取得される。

例えば、図５は、本発明の１つの実施形態に係る反射点位置を示す概略図である。図５に示すように、眼域Ｅは、２つの反射点位置Ｇ１およびＧ２を含む。基準校正パラメータは、例えば、反射点位置Ｇ１およびＧ２に基づくベクトル（vector）である。さらに、校正画像に基づいて、透視変換（perspective transformation）法により座標変換マトリクス（matrix）を生成する。座標変換マトリクスは、眼域の座標位置を表示ユニット１８０の座標位置に変換するよう構成される。

眼球運動検出モジュール１６０は、画像列の現画像中の眼域を検出し、現画像中の瞳孔位置と２つの反射点（以下、反射点Ｇ１’およびＧ２’と称す）を取得する。さらに、眼球運動検出モジュール１６０は、反射点位置Ｇ１’およびＧ２’に基づいて、比較校正パラメータを取得し、さらに、基準校正パラメータ（Ｃ１）および比較校正パラメータ（Ｃ２）に基づいて、動的補正パラメータ（Ｃ３）を取得する。例えば、動的補正パラメータは、基準校正パラメータと比較校正パラメータの比率、つまり、Ｃ３＝Ｃ２／Ｃ１である。その後、眼球運動検出モジュール１６０は、反射点位置Ｇ１’（または反射点位置Ｇ２’）、瞳孔位置（例えば、瞳孔の中心にある座標を用いて計算された位置）および動的補正パラメータに基づいて、眼球運動座標を計算する。例えば、眼球運動座標は、（Ｘ’，Ｙ’）である。眼球運動検出モジュール１６０は、座標変換マトリクスを使用して、眼球運動座標（Ｘ’，Ｙ’）を表示ユニット１８０の視線位置座標（例えば、視線位置座標は、（Ｘｓ，Ｙｓ）である）に変換する。その後、視線位置座標（Ｘｓ，Ｙｓ）を記録する。したがって、記録された複数の視線位置座標に基づいて、眼球の動作軌道を得ることができ、視線位置座標に基づいて、使用者が現在注視している方向を得ることができる。

金融取引モジュール１５０は、登録サービスと金融取引サービスを提供する。購入者は、金融取引装置１００によって提供された登録サービスを使用して、証明機関１１に登録することができる。金融取引手順は、登録が完了した後にのみ、金融取引装置１００によって提供された金融取引を使用して、実行することができる。

再度図３を参照すると、証明機関１１は、購入者の身分（identity）を証明する機能を有する。さらに詳しく説明すると、証明機関１１は、ネットワーク上の全ての取引対象者（購入者、電子店１５および承継銀行１２を含む）に登録サービスを提供し、登録されたデジタル証明書（digital certificate）を登録者に送信する。購入者、電子店１５および承継銀行１２が登録動作を終えた時、デジタル証明書を身分証明として使用することができる。しかし、上述した実施形態は単なる例であるため、本発明はこれに限定されない。

承継銀行１２は、ペイメントゲートウェイ１３を提供し、ペイメントゲートウェイ１３を介してネットワーク上の認証および支払サービスを提供する（主に、クレジットカード支払い取引のサービスを提供する）。

図６は、本発明の１つの実施形態に係る視標追跡手順に基づく金融取引方法を示すフローチャートである。以下、上述した金融取引装置１００を参照しながら、詳細について説明する。本実施形態において、使用者は、金融取引装置１００を使用して、前もって権利機関１１に登録済みである。

図６を参照すると、ステップＳ４０５において、撮像ユニット１２０により使用者の顔画像列を取り込む。次に、ステップＳ４１０において、制御ユニット１１０は、眼球運動検出モジュール１６０を使用して、顔画像列に対し視標追跡手順を実行し、表示ユニット１８０に使用者の眼の動作軌道と眼球運動状態を取得する。ここで、制御ユニット１１０は、顔画像列から前もって眼画像列を取得して、眼画像列に対し視標追跡手順を実行することができる。例えば、眼球運動状態は、瞬き運動（瞬きの回数、瞬きしたかどうか等を含む）、注視時間、瞳孔変位量および視線方向のうちの少なくとも１つを含む。

例えば、眼球運動検出モジュール１６０は、眼画像列における使用者の瞳孔位置および反射点位置を検出し、瞳孔位置および反射点位置に基づいて、眼の視線位置を判断する。ここで、反射点位置は、射光ユニットで使用者の眼に光ビームを出射することによって形成された反射点である。詳しく説明すると、顔画像列から前もって顔オブジェクトを取得した後、眼球運動検出モジュール１６０は、さらに顔オブジェクトにおいて鼻孔領域を検索して、鼻孔位置情報を取得することができる。続いて、鼻孔位置情報に基づいて眼検索フレームを推定し、眼検索フレーム内の眼域を検出する。つまり、眼と比較して、鼻孔は、画像内で認識しやすい。そのため、鼻孔を見つけた後、鼻孔の上方に眼検索フレームを推定することができるため、眼検索フレーム内で眼域を見つけることによって、眼を検索するための検索範囲を減らすことができる。眼域を取得した後、眼球運動検出モジュール１６０は、眼域から瞳孔位置および反射点位置を取得することができる。その後、眼球運動検出モジュール１６０は、瞳孔位置と反射点位置の位置間の対応関係に基づいて、表示ユニット１８０の金融取引インターフェース上の眼の視線位置を判断することができる。

そして、ステップＳ４１５〜ステップＳ４３０に示すように、眼の動作軌道および眼球運動状態に基づいて、制御ユニット１１０は、金融取引装置１００において金融取引手順を実行することができる。ステップＳ４１５において、金融取引モジュール１５０は、金融取引装置１００の表示ユニット１８０に金融取引インターフェースを提供する。例えば、図７（ａ）〜図７（ｂ）は、本発明の１つの実施形態に係る金融取引インターフェースを示す概略図である。図７（ａ）は、オンライン取引に関する金融取引インターフェースを示し、現在表示されている入力メニューは、パスワード入力画面Ｆ１である。

さらに、使用者が強迫されている場合には、金融取引インターフェースに緊急モードを表示して、眼球運動検出モジュール１６０により使用者の眼球運動状態を検出し、眼球運動状態に基づいて、緊急モードをイネーブル（enable）にするかどうかを判断することもできる。例えば、パスワード入力画面Ｆ１に緊急モード５１０が表示される。使用者の眼が所定時間（例えば、１．５秒〜２秒）の後に緊急モード５１０を注視していることを眼球運動検出モジュール１６０が検出した時、緊急モード５１０がイネーブルになる。緊急モード５１０がイネーブルになった時、金融取引装置１００は、通信ユニット１４０により安全設備１６に緊急信号を送信する。その後、ステップＳ４２０〜ステップＳ４３０を繰り返し実行する。つまり、使用者により緊急モード５１０が選択された場合、金融取引装置１００は、安全設備１６に通知している間、後続の取引手順を実行し続ける。

続いて、ステップＳ４２０において、眼球運動検出モジュール１６０は、使用者の眼が注視している金融取引インターフェース上の複数の注視位置を検出して、パスワードストリング（password string）を確認する。例えば、金融取引インターフェースのパスワード入力画面Ｆ１に複数の数字（例えば、図７（ａ）の数字キーボード５２０）を表示する。数字の１つを注視している使用者の眼の注視時間が予め設定された時間（例えば、２秒）を超えている、あるいは、使用者の眼がその数字を注視した後に使用者が２回瞬きした場合、現在の注視位置に対応する数字が入力したい数字であると確認することができる。類推によって、パスワードストリングを１つずつ入力することができる。パスワードストリングを受信した後、制御ユニット１１０は、パスワード認証モジュール１７０を使用して、パスワードストリングが予め設定されたパスワードと一致するかどうかを判断することができる。

ステップＳ４２５において、パスワードストリングが予め設定されたパスワードと一致した時、金融取引インターフェース上の眼の動作軌道および眼球運動状態に基づいて、複数の操作機能に対して選択を行う。図７（ｂ）に示すように、パスワードストリングが予め設定されたパスワードと一致した時、金融取引インターフェースに表示される入力メニューは、例えば、メニュー選択画面Ｆ２である。眼球運動検出モジュール１６０は、その後、瞬き等の他の動作と一緒に確認信号として使用者の眼の視線位置を検出し、操作機能に対して選択を行うことができる。その後、視標追跡手順により使用者の操作情報を入力することができる。つまり、ステップＳ４３０において、制御ユニット１１０は、選択された１つの操作機能に基づいて、対応する取引を実行する。

例えば、眼球運動検出モジュール１６０は、視線位置が「振替」機能にあることを検出し、瞬きが２回すばやく行われた時、制御ユニット１１０は、表示画面を振替画面に切り替えて、振替動作を行うことができる。振替画面は、一般のＡＴＭ（automatic teller machine）ウェブページに表示される画面に類似しているため、ここではその関連説明を省略する。振替画面（別の入力メニュー）に入った後、眼球運動検出モジュール１６０は、上述したように、視標追跡手順（例えば、視線位置の判断、瞬きが視線位置で行われたかどうか等の動作）を実行して、視線位置に対応する機能をイネーブルにする。

「支払」および「残高」の機能も一般のＡＴＭウェブページの機能に類似しているため、ここではその関連説明を省略する。

金融取引カードが電子財布の機能を含む場合、使用者は、金融取引カードの電子財布を使用して、取引を行うこともできる。例えば、使用者は、金融取引装置１００のブラウザを用いて電子店１５によって提供されたホームページを開くことができる。そして閲覧、購入を行い、清算手順に入った後、電子財布で注文手順を開始する。電子財布を使用する前に、使用者は、上述した視標追跡手順を使用して、電子財布のパスワードを入力することができる。確認ボタンがイネーブルになると、パスワードがチェックされる。パスワードが認証成功した場合、証明機関１１は、デジタル証明書を確認する。デジタル証明書が認証成功した後、証明機関１１は、それを承継銀行１２に通知して、支払の動作を完了することができる。上述した取引プロセスは、例えば、セキュアトランザクション（secure transaction）技術として知られている。

さらに、眼画像列に対して眼画像列手順を実行する前（すなわち、ステップＳ４１０の前）に、顔認証、虹彩認識、強膜導管パターン認識またはこれらの組み合わせを使用して、使用者の身分をさらに識別してもよい。例えば、図８は、本発明の別の実施形態に係る金融取引装置のブロック図である。図８と図４の相違点は、本実施形態において、金融取引装置１００は、さらに、識別認証モジュール６１０（プログラムコードセグメントで構成され、記憶ユニットに記憶されたもの、または、１つまたはそれ以上のデジタル論理ゲートで構成されたチップセットであってもよい）をさらに含み、識別認証モジュール６１０により顔認証および虹彩認識を実行することができる。つまり、顔画像列から現在の顔特徴および現在の眼特徴を取得することができる。そして、現在の顔特徴が予め設定された顔特徴と一致するかどうかを比較し、且つ現在の眼特徴が予め設定された眼特徴と一致するかどうかを比較する。制御ユニット１１０は、金融取引モジュール１５０を駆動して、現在の顔特徴が予め設定された顔特徴と一致し、且つ現在の眼特徴が予め設定された眼特徴と一致した時にのみ、金融取引装置１００の表示ユニット１８０に金融取引インターフェースを提供する。

さらに、別の実施形態において、金融取引装置１００は、顔画像列をサーバー端末の証明機関１１に転送してもよく、証明機関１１は、顔画像列に基づいて、金融取引装置１００（ユーザー端末）の認証手順を実行することができる。つまり、登録された使用者に対応する予め設定された顔特徴および予め設定された眼特徴を前もって証明機関１１に確立することができる。

本実施形態において、撮像ユニット１２０は、例えば、ハンドヘルド入力装置に配置され、使用者は、ハンドヘルド入力装置を保持し、撮像ユニット１２０を使用者の顔に向けることによって、顔を含む画像列を取り込むことができる。図９（ａ）〜図９（ｃ）は、本発明の別の実施形態に係るハンドヘルド入力装置の操作を示す概略図である。図９（ａ）に占めすように、使用者は、ハンドヘルド入力装置を持って、撮像ユニット１２０を使用者の顔に向ける。ここで、ハンドヘルド入力装置の撮像ユニット１２０は、さらに、表示ユニット７１０を含む。その間に、表示ユニット７１０は、図９（ｂ）に示すように、取り込んだ顔画像を表示するか、あるいは、図９（ｃ）に示すように、眼画像を表示する。

ここで、使用者の予め設定された顔特徴および予め設定された眼特徴は、前もって金融取引カードに確立することができる。あるいは、使用者の予め設定された顔特徴および予め設定された眼特徴をクラウド（cloud）データベースに保存して、比較を行いたい時にだけ金融取引装置１００が通信ユニット１４０によりクラウドデータベースから金融取引カードの使用者の予め設定された顔特徴および予め設定された眼特徴を取得してもよい。別の例として、使用者の予め設定された顔特徴および予め設定された眼特徴を証明機関１１に保存して、金融取引装置１００が直接サーバー端末の証明機関１１に顔画像列を送信して、認証手順を行ってもよい。強調すべきこととして、上述した例は、本発明を限定する意図はない。したがって、現在の使用者が金融取引カードの認証された使用者であるかどうかは、予め設定された顔特徴および予め設定された眼特徴に基づいて決定される。

また、撮像ユニット１２０は、第１レンズ７２０と、第２レンズ７３０とを含む。第１レンズ７２０は、顔画像列を取り込むよう構成され、第２レンズ７３０（例えば、虹彩撮像レンズ）は、眼画像を取り込むよう構成される。

例えば、撮像ユニット１２０により複数の顔画像列を取り込むことができる。その後、制御ユニット１１０は、識別認証モジュール６１０を駆動して画像列を分析し、現在の顔特徴を取得するとともに、現在の顔特徴が予め設定された顔特徴と一致するかどうかを判断することができる。識別認証モジュールは、アダブースト（AdaBoost）アルゴリズムまたは他の既存の顔認識アルゴリズム（例えば、Haar-like特徴を用いて顔認識を実行する）を使用して、画像列の顔オブジェクトを取得し、顔オブジェクトから現在の顔特徴を取り込むことができる。

現在の顔特徴が予め設定された顔特徴と一致する場合、第２レンズ７３０は、眼画像を含む画像列を取り込む。それにより、制御ユニット１１０は、さらに、識別認証モジュール６１０により画像列から使用者の現在の眼特徴を取り込み、現在の眼特徴が予め設定された眼特徴と一致するかどうかを判断することができる。より好ましい実施形態において、上述した眼特徴は、虹彩特徴または強膜導管パターン特徴であってもよい。現在の眼特徴が予め設定された眼特徴と一致する場合、識別認証モジュール６１０は、現在の使用者が認証された使用者であるかどうかを判断することができる。あるいは、まず、第２レンズ７３０が眼画像を取り込み、現在の眼特徴が予め設定された眼特徴と一致する時のみ、第１レンズ７２０が顔画像を取り込んで、現在の顔特徴が予め設定された顔特徴と一致するかどうかを比較してもよい。

一般的に、虹彩／強膜導管パターンは、人間の眼を明確に識別するために量化されることのできる特徴が多くあり、識別認証モジュール６１０は、特徴のモードやそれらの空間的関係を分析することによって、認識を実行することができる。識別認証モジュール６１０は、前もって眼域から場所（例えば、まぶたにより覆われた場所、深い影（deep shadow）、正反射（specular reflection）等）を除去し、適切且つ適用可能なブロックを迅速に定めることができるため、ブロックから眼特徴を取り込み、分析することができる。

一方、現在の顔特徴および現在の眼特徴が予め設定された顔特徴および予め設定された眼特徴と一致しないと識別認証モジュール６１０が判断した場合、現在の使用者が認証された使用者ではないことを示す。この場合、認証手順が終了し、金融取引は表示ユニット１８０に提供されない。また、現在の顔特徴は予め設定された顔特徴と一致するが、現在の眼特徴が予め設定された眼特徴と一致しない時も、使用者が認証された使用者ではないと判断されるため、認証手順が終了する。

サーバー端末２の操作上の観点において、図１のネットワーク認証システムＡについてさらに詳しく説明する。図１０は、本発明の１つの実施形態に係るサーバー端末に適用される視標追跡手順に基づくネットワーク認証方法を示すフローチャートである。図１および図１０を同時に参照すると、ステップＳ１００１において、サーバー端末２は、ユーザー端末１に認証インターフェース情報を送信し、その認証インターフェース情報をユーザー端末１の表示ユニット１８０に表示する。ここで、認証インターフェース情報は、緊急モードを有する。

続いて、ステップＳ１００３において、サーバー端末２は、撮像ユニット１２０により取り込まれた使用者の顔画像列を受信する。

その後、ステップＳ１００５において、サーバー端末２は、顔画像列に基づいて使用者の認証手順を実行する。例えば、サーバー端末２は、証明機関を含み、証明機関は、認証された使用者に関する生体特徴（例えば、予め設定された顔特徴および予め設定された眼特徴）を記憶する。サーバー端末２が顔画像列を受信した時、証明機関は、顔画像列に対して顔認証または眼認証を行い、ユーザー端末１の認証手順を実行することができる。その後、ステップＳ１００７において、サーバー端末２は、ユーザー端末１の認証結果を送信する。認証結果は、例えば、認証手順が認証成功であるか、または認証失敗であるかを含む。

そして、ステップＳ１００９において、サーバー端末２は、ユーザー端末１から眼画像列を受信する。本実施形態において、眼画像列の分析は、サーバー端末２により実行される。つまり、眼球運動検出モジュールは、サーバー端末２にインストールされる。眼画像列は、認証結果が認証成功であり、且つ認証インターフェース情報がユーザー端末１の表示ユニット１８０に表示された時にユーザー端末１の撮像ユニット１２０により取り込まれた１つの眼画像列である。

そして、ステップＳ１０１１において、ユーザー端末１は、眼画像列に基づいて視標追跡手順を実行し、使用者の入力命令を判断する。例えば、サーバー端末２は、ユーザー端末１に眼画像列に基づいて実行された視標追跡手順の操作情報を送信するため、ユーザー端末１は、受信した操作情報に基づいて、対応する機能を実行することができる。

さらに、ステップＳ１０１３において、視標追跡手順を実行するプロセスにおいて、眼画像列に基づいて視標追跡手順が行われている間に使用者により緊急モードがトリガーされたとサーバー端末２が判断した場合、サーバー端末２は、自動的に緊急信号を生成する。

以上のように、使用者は、眼球運動により認証手順を行っている間に視標追跡手順を実行することができるため、操作がより多様化される。さらに、眼球運動状態によりネットワーク認証システムを操作することもできるため、金融取引装置の操作がより多様化される。ネットワーク認証システムは、手の不自由な人でも容易に操作することができるため、そのような人々の使用上の便利性を大幅に向上させることができる。

以上、上述した実施形態を参照しながら本発明を説明してきたが、当業者には、本発明の精神を逸脱することなくこれらの実施形態を変更してもよいことが明らかであろう。本発明の範囲は、添付した特許請求の範囲によって定義されるものであって、上述した詳細説明により定義されるものではない。

以上のごとく、この発明を実施形態により開示したが、もとより、この発明を限定するためのものではなく、当業者であれば容易に理解できるように、この発明の技術思想の範囲内において、適当な変更ならびに修正が当然なされうるものであるから、その特許権保護の範囲は、特許請求の範囲および、それと均等な領域を基準として定めなければならない。

１ ユーザー端末
２ サーバー端末
３、Ｎ１ ネットワーク
１０ 金融取引システム
１１ 証明機関
１２ 承継銀行
１３ ペイメントゲートウェイ
１４ 発行銀行
１５ 電子店
１６ 安全設備
１００ 金融取引装置
１２０ 撮像ユニット
１３０ カード処理ユニット
１４０ 通信ユニット
１５０ 金融取引モジュール
１６０ 眼球運動検出モジュール
１７０ パスワード認証モジュール
１８０、７１０ 表示ユニット
１９０ 記憶ユニット
５１０ 緊急モード
５２０ 数字キーボード
６１０ 識別認証モジュール
７２０ 第１レンズ
７３０ 第２レンズ
Ａ ネットワーク認証システム
Ｆ１ パスワード入力画面
Ｆ２ メニュー選択画面
Ｇ１、Ｇ２ 反射点位置
Ｎ２ 金融取引ネットワーク
Ｓ２１〜Ｓ２６、Ｓ４０５〜Ｓ４３０、Ｓ１００１〜Ｓ１０１３ ステップ

Claims (11)

1. ネットワークを介してユーザー端末が認証インターフェース情報を受信し、前記認証インターフェース情報を前記ユーザー端末の表示ユニットに表示するステップと、
   前記ユーザー端末の撮像ユニットにより使用者の顔画像列を取り込むステップと、
   前記ユーザー端末を介してサーバー端末に前記顔画像列を送信し、前記サーバー端末が、前記顔画像列に基づいて前記ユーザー端末の認証手順を実行するステップと、
   前記ユーザー端末が前記サーバー端末から認証結果を受信するステップと、
   前記認証結果が認証成功の時、前記認証インターフェース情報に基づいて、前記ユーザー端末の前記表示ユニットに金融取引インターフェースを表示し、前記金融取引インターフェースが、前記使用者が視標追跡手順を介してパスワードストリングを入力するために用いる入力メニューを含むステップと、
   前記撮像ユニットにより前記使用者の眼画像列を取り込むステップと、
   前記入力メニューに表示された複数の数字のうち１つを注視している時に、前記使用者の眼の眼球運動状態を判断し、前記眼球運動状態が、瞬き運動、注視時間、瞳孔変位量および視線方向の少なくとも１つを含み、前記眼球運動状態に基づいて出力したい前記数字のうちの１つを判断することを含む、前記ユーザー端末が前記眼画像列に基づいて前記パスワードストリングを取得するステップと、
   前記眼画像列に基づいて前記視標追跡手順を実行し、前記使用者の入力命令を判断し、金融取引手順を実行するステップと、
   を含む視標追跡手順に基づくネットワーク認証方法。
2. 前記認証インターフェース情報が、緊急モードを有し、前記視標追跡手順を行っている間に前記使用者により前記緊急モードがトリガーされた場合、前記ユーザー端末が、前記サーバー端末に緊急信号を送信する請求項１に記載の視標追跡手順に基づくネットワーク認証方法。
3. 前記視標追跡手順を実行する前記ステップの前に、前記ネットワーク認証方法が、
   前記ユーザー端末が前記サーバー端末から顔認識結果を受信するステップを含み、
   前記顔認識結果が認証成功の時、前記ユーザー端末の前記表示ユニットに前記金融取引インターフェースを表示するとともに、前記ユーザー端末の前記撮像ユニットにより前記使用者の前記眼画像列を取り込む請求項１または２に記載の視標追跡手順に基づくネットワーク認証方法。
4. 前記視標追跡手順を実行する前記ステップの前に、前記ネットワーク認証方法が、
   前記ユーザー端末が前記サーバー端末から虹彩認識結果または強膜導管パターン認識結果を含む眼認識結果を受信するステップを含み、
   前記眼認識結果が認証成功の時、前記表示ユニットに前記金融取引インターフェースを表示するとともに、前記ユーザー端末の前記撮像ユニットにより前記使用者の前記眼画像列を取り込む請求項１〜３のいずれか１項に記載の視標追跡手順に基づくネットワーク認証方法。
5. 前記視標追跡手順を実行する前記ステップが、さらに、
   前記眼画像列において前記使用者の顔オブジェクトを取得するステップと、
   前記顔オブジェクトにおいて鼻孔領域を検索し、鼻孔位置情報を取得するステップと、
   前記鼻孔位置情報に基づいて眼検索フレームを推定し、前記眼検索フレーム内の眼域を検出するステップと、
   前記眼域内の前記使用者の瞳孔位置および反射点位置を取得し、前記瞳孔位置および前記反射点位置に基づいて、前記金融取引インターフェース上の前記使用者の視線位置を判断するステップと、
   を含む請求項１〜４のいずれか１項に記載の視標追跡手順に基づくネットワーク認証方法。
6. 前記ユーザー端末から前記サーバー端末に身分証明としてデジタル証明書を送信するステップ
   をさらに含む請求項１〜５のいずれか１項に記載の視標追跡手順に基づくネットワーク認証方法。
7. サーバー端末と、
   ネットワークを介して前記サーバー端末に接続されたユーザー端末と、
   を含み、
   前記ユーザー端末が、
   前記ネットワークに接続された通信ユニットと、
   前記サーバー端末から受信した認証インターフェース情報を表示する表示ユニットと、
   使用者の顔画像列を取り込む撮像ユニットと、
   前記通信ユニット、前記表示ユニットおよび前記撮像ユニットに結合された制御ユニットと、
   を含み、
   前記制御ユニットが、前記通信ユニットにより前記サーバー端末に前記顔画像列を送信するため、前記サーバー端末が、前記顔画像列に基づいて前記ユーザー端末の認証手順を実行するとともに、前記通信ユニットにより前記サーバー端末から認証結果を受信し、
   前記制御ユニットが、前記認証結果が認証成功の時に、眼球運動検出モジュールを駆動して視標追跡手順を実行し、
   前記認証結果が認証成功の時、前記認証インターフェース情報に基づいて、前記ユーザー端末の前記表示ユニットに金融取引インターフェースを表示し、前記金融取引インターフェースが、前記使用者が前記視標追跡手順を介してパスワードストリングを入力するために用いる入力メニューを含み、
   前記撮像ユニットにより前記ユーザー端末の前記使用者の眼画像列を取り込み、前記ユーザー端末の前記撮像ユニットが、前記入力メニューを注視している前記使用者の前記眼画像列を取り込むことにより、前記眼球運動検出モジュールが、前記眼画像列に基づいて前記パスワードストリングを取得することは、前記入力メニューに表示された複数の数字のうち１つを注視している時に、前記使用者の眼の眼球運動状態を判断し、前記眼球運動状態が、瞬き運動、注視時間、瞳孔変位量および視線方向の少なくとも１つを含み、前記眼球運動状態に基づいて出力したい前記数字のうちの１つを判断することを含み、
   前記眼球運動検出モジュールが前記眼画像列に基づいて前記視標追跡手順を実行することにより、前記視標追跡手順を介して前記使用者の操作情報を入力し、金融取引手順を実行する視標追跡手順に基づくネットワーク認証システム。
8. 前記認証インターフェース情報が、緊急モードを有し、前記眼画像列に基づいて前記視標追跡手順を行っている間に前記使用者により前記緊急モードがトリガーされたと前記眼球運動検出モジュールが判断した場合、前記制御ユニットが、前記通信ユニットにより前記サーバー端末に緊急信号を送信し、
   前記制御ユニットが、前記サーバー端末から顔認識結果または眼認識結果を受信し、前記顔認識結果または前記眼認識結果が認証成功の時、前記ユーザー端末の前記撮像ユニットが、前記ユーザー端末の前記使用者の前記眼画像列を取り込み、
   前記眼認識結果が、虹彩認識結果および強膜導管パターン認識結果を含む請求項７に記載の視標追跡手順に基づくネットワーク認証システム。
9. 前記視標追跡手順を実行する際に、前記眼球運動検出モジュールが、
   前記眼画像列において前記使用者の顔オブジェクトを取得する動作と、前記顔オブジェクトにおいて鼻孔領域を検索し、鼻孔位置情報を取得する動作と、前記鼻孔位置情報に基づいて眼検索フレームを推定し、前記眼検索フレーム内の眼域を検出する動作と、前記眼域内の前記使用者の瞳孔位置および反射点位置を取得し、前記瞳孔位置および前記反射点位置に基づいて前記金融取引インターフェース上の前記使用者の視線位置を判断する動作と、を実行する請求項７または８に記載の視標追跡手順に基づくネットワーク認証システム。
10. 前記ネットワーク認証システムが、金融取引システムであり、
    前記サーバー端末が
    前記ユーザー端末の前記認証手順を実行する証明機関と、
    前記ユーザー端末から緊急信号を受信する安全設備と、
    を含み、
    前記ユーザー端末が、さらに、
    金融取引カードを読み取るカード処理ユニットと、
    前記眼球運動検出モジュール、金融取引モジュールおよびパスワード認証モジュール
    を含む記憶ユニットと、
    を含み、
    前記制御ユニットが、前記金融取引モジュールおよび前記パスワード認証モジュールを駆動して、前記金融取引手順を実行し、
    前記認証インターフェース情報に基づいて、前記ユーザー端末の前記表示ユニットに前記金融取引インターフェースを表示するとともに、前記眼球運動検出モジュールにより前記使用者が注視した前記金融取引インターフェース上の複数の注視位置を検出して、前記パスワードストリングを確認し、
    前記パスワード認証モジュールが、前記パスワードストリングが前記金融取引カードに対応する予め設定されたパスワードと一致するかどうかを検証し、前記パスワードストリングが前記予め設定されたパスワードと一致する時、前記金融取引モジュールが、前記金融取引インターフェースの前記眼の動作軌道および眼球運動状態に基づいて、複数の操作機能に対して選択を行うとともに、前記金融取引モジュールが、選択された前記操作機能のうちの１つに基づいて、対応する取引動作を実行する請求項７〜９のいずれか１項に記載の視標追跡手順に基づくネットワーク認証システム。
11. サーバー端末に適し、
    ユーザー端末に緊急モードを有する認証インターフェース情報を送信して、前記ユーザー端末の表示ユニットに表示するステップと、
    前記ユーザー端末の撮像ユニットにより取り込まれた前記ユーザー端末の使用者の顔画像列を前記ユーザー端末から受信するステップと、
    前記顔画像列に基づいて前記ユーザー端末の認証手順を実行するステップと、
    前記ユーザー端末に認証結果を送信するステップと、
    前記ユーザー端末から眼画像列を受信し、前記認証結果が認証成功の時、前記ユーザー端末の前記撮像ユニットにより前記眼画像列を取り込むとともに、前記ユーザー端末の前記表示ユニットに金融取引インターフェースを表示するステップと、
    前記使用者がパスワードストリングを入力するために用いる入力メニューに表示された複数の数字のうち１つを注視している時に、前記使用者の眼の眼球運動状態を判断し、前記眼球運動状態が、瞬き運動、注視時間、瞳孔変位量および視線方向の少なくとも１つを含み、前記眼球運動状態に基づいて出力したい前記数字のうちの１つを判断することを含む、前記ユーザー端末が前記眼画像列に基づいて前記パスワードストリングを取得するステップと、
    前記眼画像列に基づいて視標追跡手順を実行し、前記視標追跡手順を介して前記使用者の操作情報を入力し、金融取引手順を実行するステップと、
    前記視標追跡手順を実行するプロセスにおいて、前記眼画像列に基づいて前記視標追跡手順を行っている間に前記使用者が前記緊急モードをトリガーしたと判断した時、緊急信号を生成するステップと、
    を含む視標追跡手順に基づくネットワーク認証方法。

Images