JP6565230B2 - ユーザ認証方法、システム、及びプログラム - Google Patents

ユーザ認証方法、システム、及びプログラム Download PDF

Info

Publication number
JP6565230B2
JP6565230B2 JP2015045103A JP2015045103A JP6565230B2 JP 6565230 B2 JP6565230 B2 JP 6565230B2 JP 2015045103 A JP2015045103 A JP 2015045103A JP 2015045103 A JP2015045103 A JP 2015045103A JP 6565230 B2 JP6565230 B2 JP 6565230B2
Authority
JP
Japan
Prior art keywords
gesture
user
samples
average
distance
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2015045103A
Other languages
English (en)
Other versions
JP2015201174A (ja
Inventor
クラッツ スベン
クラッツ スベン
イスラム タンバー
イスラム タンバー
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Business Innovation Corp
Original Assignee
Fuji Xerox Co Ltd
Fujifilm Business Innovation Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fuji Xerox Co Ltd, Fujifilm Business Innovation Corp filed Critical Fuji Xerox Co Ltd
Publication of JP2015201174A publication Critical patent/JP2015201174A/ja
Application granted granted Critical
Publication of JP6565230B2 publication Critical patent/JP6565230B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017Gesture based interaction, e.g. based on a set of recognized hand gestures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/30Authentication, i.e. establishing the identity or authorisation of security principals
    • G06F21/31User authentication
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/30Authentication, i.e. establishing the identity or authorisation of security principals
    • G06F21/31User authentication
    • G06F21/32User authentication using biometric data, e.g. fingerprints, iris scans or voiceprints
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/751Comparing pixel values or logical combinations thereof, or feature values having positional relevance, e.g. template matching
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20Movements or behaviour, e.g. gesture recognition
    • G06V40/28Recognition of hand or arm movements, e.g. recognition of deaf sign language
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00Machine learning
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04WWIRELESS COMMUNICATION NETWORKS
    • H04W12/00Security arrangements; Authentication; Protecting privacy or anonymity
    • H04W12/60Context-dependent security
    • H04W12/68Gesture-dependent or behaviour-dependent

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Security & Cryptography (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Software Systems (AREA)
  • Human Computer Interaction (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Computer Hardware Design (AREA)
  • Medical Informatics (AREA)
  • Evolutionary Computation (AREA)
  • Databases & Information Systems (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Collating Specific Patterns (AREA)
  • Image Analysis (AREA)
  • User Interface Of Digital Computer (AREA)

Description

開示技術は、ユーザ認証方法、システム、及びプログラムに関する。
パスワードや個人認証番号(PIN)は、パーソナルコンピュータやモバイルコンピューティングデバイス、オンラインアカウントへのアクセスを獲得する最も広く用いられている方法である。広く用いられている方法であるため、ユーザに十分に理解されている。
タリ(TARI)、「アルファニューメリックとグラフィカルパスワードの知覚と現実のショルダーハックリスクについての比較(A Comparison of Perceived and Real Shoulder−Surfing Risks between Alphanumeric and Graphical Passwords)」、メリーランドボルティモアカウンティ大学情報システム部(Dept.of Information Systems,UMBC)、2006年7月12日〜14日、頁11 アヴィヴ(AVIV)、「スマートフォンタッチスクリーンでのスマッジアタック(Smudge Attacks on Smartphone Touch Screens)」、ペンシルバニア大学コンピュータ・情報科学部(Dept.of Computer and Information Science,University of Pennsylvania)、2010年8月9日、頁12 サコエ(SAKOE)、「発話音声認識の動的プログラミングアルゴリズム最適化(Dynamic Programming Algorithm Optimization for Spoken Word Recognition)」、アメリカ電気電子技術者協会、音響・音声・信号処理装置(IEEE Transactions on Acoustics,Speech,and Signal Processing)、1987年2月、ASSP−26、No.1 ティアン(TIAN)、キンライト(KinWrite)、「キネクトを用いた手書きベース認証(Handwriting−Based Authentication Using Kinect)」、ネットワークと分散システムセキュリティ20周年シンポジウム(Proceedings of the 20th Annual Network & Distributed System Security Symposium(NDSS)、San Diego)、2013年4月24日、頁19 マウラー(MAURER)、ブロース(BroAuth)、「3Dジェスチャベースの認証についての視覚フィードバックの様々なレベルの評価(Evaluating Different Levels of Visual Feedback for 3D Gesture−Based Authentication)」、ミュンヘン大学メディア情報グループ(University of Munich,Media Informatics Group)、2012年5月21日〜25日、頁4 シュクラン(SHUKRAN)、「キネクトベースのジェスチャパスワード認識(Kinect−Based Gesture Password Recognition)」、基礎・応用科学オーストラリアジャーナル(Australian Journal of Basic and Applied Sciences)、2012年、6(8):492−499、頁8 サエ‐バエ(SAE−BAE)、「マルチタッチディスプレイの認証についての新規アプローチ(A Novel Approach to Authentication on Multi−Touch Devices)」、コンピュータヒューマンインタラクション、ニューヨーク大学(NYU−Poly、Session:I I am How I Touch:Authenticating Users、CHI)、2012年5月5日〜10日、頁10
しかしながら、知識ベースのシステムには欠点がある。例えば、あるシステムは、適切なセキュリティを確保するため、ユーザに複雑なパスワードを覚えることを求める。また、多くのパスワード保護デバイスやアカウントが進化するにつれ、ユーザは、複数のパスワードやパスワード変形を覚える必要があり、ログオンプロセスの心理的負担が増える。場合によっては、ユーザはセキュリティを無視して、パスワードのすべてを書き留める。
従前のパスワード入力はまた、“ショルダーハック”による攻撃に陥りやすい。この問題は、公衆の監視システムやモバイルデバイスの使用増加により悪化している。更には、従前のタッチベースのPIN入力スキームは、(攻撃者が他人のモバイルデバイスの近くに存在する場合、)攻撃者がタッチスクリーンの汚れによってPINや他のアクセスコードを推測することができる “スマッジアタック”による攻撃に陥りやすい。
ある生体認証システムは近距離では動作しないので、モバイルデバイスや人が座っている間は上手く動作しない。また、単一基準点を用いる生体認証は、セキュアで十分な一意性を提供することができない。ある生体認証システムはタッチスクリーンのジェスチャを用いる。そのようなシステムは2次元でのジェスチャに限られ、スクリーン内の動作に限られる。これは、小さなモバイルデバイスにおいてとりわけ制限される。また、そのようなシステムはスマッジアタックの影響を受けやすい。
本発明は、関連する知識ベースまたはジェスチャベースの認証スキームよりも高い正確性を持ち、ショルダーハック攻撃やスマッジアタックに対して対応可能な3D(3次元)空中ハンドジェスチャを用いた生体ユーザ認証方法、システム、及びプログラムを提供する。
本発明の第1の態様は、ユーザ認証方法であって、深度センサ、1つもしくは複数のプロセッサ及びメモリを含み、前記メモリには前記1つもしくは複数のプロセッサによって実行される1つもしくは複数のプログラムが記憶されたコンピューティングデバイスが、第一ユーザによる複数の3次元ジェスチャサンプルを記録し、前記3次元ジェスチャサンプルは前記第一ユーザにより選択されたジェスチャに対応し、其々記録された前記3次元ジェスチャサンプルの各々には、複数の特定身体部位について其々位置の時間変化を含み、前記3次元ジェスチャサンプルから平均ジェスチャTを計算し、前記平均ジェスチャTに対応するエラー許容値εを選択し、前記第一ユーザに対するジェスチャテンプレートとして前記平均ジェスチャT及び前記エラー許容値εを記憶し、認証のためにユーザから3次元ジェスチャをキャプチャし、前記キャプチャされた3次元ジェスチャには、複数の身体部位について位置の時間変化を含み、前記キャプチャされた3次元ジェスチャと平均ジェスチャTとの間の距離dを計算し、前記距離dがε以下であるとき前記ユーザを前記第一ユーザとして認証することにより前記ユーザはコンピュータデバイスのセキュアな機能へのアクセスを獲得し、前記距離dがεよりも大きいとき前記ユーザを認証しない。
本発明の第2の態様は、第1の態様のユーザ認証方法であって、前記平均ジェスチャTは前記3次元ジェスチャサンプルの平均として算出される。
本発明の第3の態様は、第1の態様のユーザ認証方法であって、前記平均ジェスチャTは前記3次元ジェスチャサンプルの加重平均として算出される。
本発明の第4の態様は、第1の態様のユーザ認証方法であって、前記平均ジェスチャTは前記3次元ジェスチャサンプルの真部分集合に基づき算出される。
本発明の第5の態様は、第1〜第4の何れかの態様のユーザ認証方法であって、前記エラー許容値の選択は、前記3次元ジェスチャサンプルの拡散度を測定する分散値を計算することを含み、前記エラー許容値を前記計算された分散値に設定することをさらに含む。
本発明の第6の態様は、第5の態様のユーザ認証方法であって、前記3次元ジェスチャサンプルの拡散度の測定は距離計量を用い、前記分散値の計算は前記距離計量を用いて、3次元ジェスチャサンプルのペア間の最大距離を計算することを含む。
本発明の第7の態様は、第6の態様のユーザ認証方法であって、前記距離計量に動的時間伸縮を用いる。
本発明の第8の態様は、第5の態様のユーザ認証方法であって、前記3次元ジェスチャサンプルの拡散度の測定は距離計量を用い、前記分散値の計算は、距離計量を用いて、3次元ジェスチャサンプルと前記平均ジェスチャTとの間の最大距離を計算することを含む。
本発明の第9の態様は、第5〜第8の何れかの態様のユーザ認証方法であって、前記エラー許容値の前記計算された分散値への設定は、前記分散値が予め定められた最小の分散値よりも大きく、かつ、予め定められた最大の分散値よりも小さいことを決定することをさらに含む。
本発明の第10の態様は、第1〜第9の何れかの態様のユーザ認証方法であって、前記エラー許容値εの選択は、前記3次元ジェスチャサンプルの拡散度を計算することを含み、前記拡散度が予め定められた最小の拡散値よりも小さいとき、追加ジェスチャサンプルを記録し、前記追加ジェスチャサンプルを用いて前記平均ジェスチャTを再計算する、ことをさらに含む。
本発明の第11の態様は、第10の態様のユーザ認証方法であって、前記平均ジェスチャTの再計算は、前記追加ジェスチャサンプルと同様に、少なくとも前記3次元ジェスチャサンプルの部分集合を用いる。
本発明の第12の態様は、第1〜第9の何れかの態様のユーザ認証方法であって、前記エラー許容値εの選択は、前記3次元ジェスチャサンプルの拡散度を計算することを含み、前記拡散度が予め定められた最大の拡散値よりも大きいとき、追加ジェスチャサンプルを記録し、前記追加ジェスチャサンプルを用いて前記平均ジェスチャTを再計算する、ことをさらに含む。
本発明の第13の態様は、第1〜第12の何れかの態様のユーザ認証方法であって、前記距離dがエラー許容値ε以下であるとき、前記キャプチャされた3次元ジェスチャと少なくとも前記3次元ジェスチャサンプルの部分集合とに基づき計算された新たな平均T′による前記3次元ジェスチャサンプルを更新する、ことをさらに含む。
本発明の第14の態様は、第1〜第13の何れかの態様のユーザ認証方法であって、其々のジェスチャサンプルの各々と其々身体部位の位置が記録された各々について、前記其々の位置の時間変化について平均位置を計算し、前記其々の時間変化における各位置から前記平均位置を除去することにより前記其々の場所における時間変化を修正し、前記其々のジェスチャサンプルについて前記修正された時間変化を用いる、ことをさらに含む。
本発明の第15の態様は、第1〜第13の何れかの態様のユーザ認証方法であって、其々のジェスチャサンプルの各々と其々身体部位の位置が記録された各々について、前記其々の時間変化についてすべての位置を含む最小限の境界枠を認識し、変換された位置の時間変化についての境界枠が予め定められたサイズを有するように、前記其々の時間変化において位置を変換することにより前記其々の位置の時間変化を修正し、前記其々のジェスチャサンプルについて前記修正された時間変化を用いる、ことをさらに含む。
本発明の第16の態様は、第1〜第15の何れかの態様のユーザ認証方法であって、其々のジェスチャサンプルの各々と其々身体部位の位置が記録された各々について、位置の予め定められた数Nを持つよう前記位置の時間変化を標準化し、前記時間変化について最初及び最後の位置を用い、中間位置N−2を計算して補間する、ことをさらに含む。
本発明の第17の態様は、第1〜第16の何れかの態様のユーザ認証方法であって、前記ユーザがキャプチャされた3次元ジェスチャによって認証されなかったとき、前記セキュアな機能への前記ユーザへのアクセスを拒否する、ことをさらに含む。
本発明の第18の態様は、第1〜第16の何れかの態様のユーザ認証方法であって、前記ユーザがキャプチャされた3次元ジェスチャによって認証されなかったとき、代替の認証オプションを前記ユーザに与える。
本発明の第19の態様は、ユーザ認証システムであって、深度センサと、1つもしくは複数のプロセッサと、メモリと、前記メモリに記憶された前記1つもしくは複数のプロセッサによって実行される1つもしくは複数のプログラムと、を含み、少なくとも1つの前記プログラムは、第一ユーザによる複数の3次元ジェスチャサンプルを記録し、前記3次元ジェスチャサンプルは前記第一ユーザにより選択されたジェスチャに対応し、其々記録された前記3次元ジェスチャサンプルの各々には、複数の特定身体部位について其々位置の時間変化を含み、前記3次元ジェスチャサンプルから平均ジェスチャTを計算し、前記平均ジェスチャTに対応するエラー許容値εを選択し、前記第一ユーザに対するジェスチャテンプレートとして前記平均ジェスチャT及び前記エラー許容値εを記憶し、認証のためにユーザから3次元ジェスチャをキャプチャし、前記キャプチャされた3次元ジェスチャには、複数の身体部位について位置の時間変化を含み、前記キャプチャされた3次元ジェスチャと平均ジェスチャTとの間の距離dを計算し、前記距離dがε以下であるとき前記ユーザを前記第一ユーザとして認証することにより前記ユーザはコンピュータデバイスのセキュアな機能へのアクセスを獲得し、前記距離dがεよりも大きいとき前記ユーザを認証しない、命令を含む。
本発明の第20の態様は、ユーザ認証プログラムであって、第一ユーザによる複数の3次元ジェスチャサンプルを記録し、前記3次元ジェスチャサンプルは前記第一ユーザにより選択されたジェスチャに対応し、其々記録された前記3次元ジェスチャサンプルの各々には、複数の特定身体部位について其々位置の時間変化を含み、前記3次元ジェスチャサンプルから平均ジェスチャTを計算し、前記平均ジェスチャTに対応するエラー許容値εを選択し、前記第一ユーザに対するジェスチャテンプレートとして前記平均ジェスチャT及び前記エラー許容値εを記憶し、認証のためにユーザから3次元ジェスチャをキャプチャし、前記キャプチャされた3次元ジェスチャには、複数の身体部位について位置の時間変化を含み、前記キャプチャされた3次元ジェスチャと平均ジェスチャTとの間の距離dを計算し、前記距離dがε以下であるとき前記ユーザを前記第一ユーザとして認証することにより前記ユーザはコンピュータデバイスのセキュアな機能へのアクセスを獲得し、前記距離dがεよりも大きいとき前記ユーザを認証しない処理を、コンピュータに実行させる。
関連する知識ベースまたはジェスチャベースの認証スキームよりも高い正確性を持ち、ショルダーハック攻撃やスマッジアタックに対して対応が可能となる。
開示技術の動作についてある実装環境を示す。 ある実装によるコンピューティングデバイスを示すブロック図である。 ある実装による身体ジェスチャを用いた認証について全体的なプロセスを示すフローチャートである。 ある実装による未処理のジェスチャをどのように標準化フォーマットに適合させるかを示すフローチャートである。 ある実装による空中ジェスチャによりユーザを認証するプロセスを示す。 ある実装による空中ジェスチャによりユーザを認証するプロセスを示す。 ある実装による空中ジェスチャによりユーザを認証するプロセスを示す。 ある実装による空中ジェスチャによりユーザを認証するプロセスを示す。
本開示は、短距離深度カメラによって追跡され、コンピューティングデバイス付近で行われた空中ボディジェスチャ(例えば、ハンドジェスチャ)を用いた新規認証システムについて説明する。ユーザの手の特定箇所(例えば、指先や手中央)を追跡することにより、ユーザは個人認証ジェスチャを生成し、それを生体セキュリティレイヤとして用いることができる。開示システムは、認証について高い正確性を期すため、説明するユーザの生体(例えば、どのようにユーザが現われるか)、ユーザの動作スタイル(例えば、どのようにユーザが振る舞うか)、ジェスチャベースの認証秘匿(例えば、ユーザは何を知るか)を統合する。ジェスチャベースの認証は、知識ベースの認証の標準に加えまたはその代わりに用いることができる。多くの実装は片手のジェスチャを利用するが、他の実装は、手に加えまたはその代わりに(例えば、両手、手と腕、顔等)他の身体部位を利用する。
ある実装は、関連する知識ベースまたはジェスチャベースの認証スキームよりも高い正確性を持つ。また、開示の実装はショルダーハック攻撃に対してより対応できる。さらに、開示の認証技術はタッチレスであるため、スマッジアタックに対して本質的に対応ができる。
本開示には、(1)深度センサを用いたジェスチャ入力データのセグメント化、(2)、ジェスチャデータの前処理と特徴ベクトルの生成(3)登録データのジェスチャテンプレートの構成、(4)ジェスチャ入力の時間変化によるジェスチャテンプレートの更新、の技術を含む。
ある実装では、深度センサはコンピューティングデバイスに備っている。ある実装では、深度センサはコンピューティングデバイスの一部として統合されている。ここで用いられる通り、深度センサは、関連付けられたドライバソフトウエアを用いてオブジェクトの3D位置を決定するために、用いられるデータを生成するどのようなデバイスであってもよい。適切なドライバソフトウエアを用いるときには、例えば、ビデオカメラやビデオセンサまたはイメージセンサが、深度センサであってよい。コンピューティングデバイスには、デスクトップコンピュータやラップトップコンピュータ、スマートフォン等を含む。深度センサは、デバイス付近でユーザが行ったハンドジェスチャを観測することができる。ユーザは平均化された複数のサンプルを用いて“ジェスチャパスワード”を一般に生成し、ジェスチャパスワードは後にユーザ認証に用いられる。
ある実装では、ユーザはジェスチャパスワードの生成を選択し、ジェスチャの記録が開始されると特定の振る舞いを行う。ある実装では、記録はユーザの手中央がデバイスから予め定められた閾値距離Dを通過したときに開始する。ある実装では、記録は、閾値Dを交差したユーザの手を表すポイントクラウドの回数が予め定められた回数qを上回ったときに開始する。ある実装では、ジェスチャの記録は、例えば最初に開くといった、特定の手形状に基づき開始する。実装に応じて、ジェスチャの記録は、一般に類似の方法で停止する。例えば、ジェスチャの記録は、上述の状況がユーザによって続行が終了したときに停止する。実装は、一般にジェスチャに対して時間制限を課す。記録は、特定の手のポイント(例えば、指先、手中央や関節)の3D位置の時間変化を記憶する。
ジェスチャベースの認証を許可するために、ユーザは最初にシステムで登録する必要がある。登録時に、ユーザは自身で選択した認証ジェスチャについて複数のジェスチャサンプルを入力する。ある実装は3回要求するが、他の実装はそれ以上要求する。ある実装では、サンプル数はサンプル供給のバリエーションに依存する(より一貫したサンプルであるほど要求されるサンプル数は少なくなる)。各登録ジェスチャは、後述する図4に示される標準的なフォーマットに適合される。登録プロセスは、認証時の比較で後に用いられるだろうジェスチャテンプレートを構築するために、サンプルジェスチャを用いる。ある実装は、記憶されたテンプレートを用いて認証時に実行されるジェスチャと比較するため、距離関数を用いる。ある実装は、動的時間伸縮(DTW)距離関数を用いる。ある実装は、ロジスティック回帰、サポートベクタマシン(SVM)、隠れマルコフモデル(HMM)またはニューラルネットワークといった機械学習への入力としてジェスチャサンプルを用いる。この場合、“距離”関数は、実行されたジェスチャがサンプルジェスチャから構成されたモデルとマッチする確率を効率的に決定するモデルコスト関数として定義することができる。
記憶されたテンプレートには、ターゲットジェスチャT(例えば、登録時に実行されたジェスチャの平均)と、マッチすると数えるべき実行されたジェスチャがどれくらいターゲットに近いかを特定する最大許容値εの両方を含む。ある実装は、サンプルの拡散または分散に基づき許容値εを計算する。すなわち、サンプルがより信頼できるときには許容値には小さな値が設定されるが、サンプルの変化が大きいと認証時の許容値は同様に大きくなる。
ある実装では、許容値はジェスチャサンプルのどれか2つの間の最大距離と等しく設定される。ある実装では、許容値はサンプルのどれかと平均Tとの間の最大値である。ある例において、与えられたサンプルが互いにとても近いと、小さすぎる許容値εが導かれることになる。小さすぎる許容値は認証時により多くの誤った拒否を導くため、実装は、一般的にユーザにジェスチャの再実行(または異なるジェスチャの選択)を促す。他の例では、サンプルは分散しすぎており、大きすぎる許容値εになる。しかしながら、大きすぎる許容値は、他人にとって適切な認証を得る“偽造”ジェスチャの実行がとても容易になる。それゆえ、実装は一般的に許容値が小さすぎる場合と同様にジェスチャの再実行を要求する。
機械学習分類を用いるある実装では、記憶されたテンプレートはモデルを含むが、そのモデルには特定のジェスチャターゲットTまたは許容値εのどちらも含まなくてもよい。特定の機械学習分類に依存したモデルはいくつかのパラメタを含んでもよい(例えば、5または10のパラメタ)。ある実装では、機械学習モデルは標準化されたジェスチャサンプルから構成されており、図4に関して以下に述べる技術を用いる。ある実装では、機械学習モデルの構築には、図4に示された適合作業のすべてを用いない。一旦モデルが構成されると、各実行されたジェスチャは、マッチする確率を決定するために、モデルと比較される。その確率が閾値を超えると、実行されたジェスチャはマッチしたと示される。ある実装では、機械学習モデルは認証のために実行された新たなジェスチャサンプルに基づき定期的に更新される。
ジェスチャ入力の時間変化を処理するために、ある実装は、追加サンプルを用いて定期的にユーザのジェスチャテンプレートを更新する。例えば、ターゲットTと許容値εは認証時に入力されたジェスチャを用いて更新することができる(例えば、良くマッチングするジェスチャ入力を用いる)。ある実装では、新たなジェスチャサンプルが、認証時に記憶されたジェスチャサンプルのセットに追加され、サンプルセットは時間が経つにつれだんだん大きくなる。ある実装では、最も古いジェスチャサンプルは、新たなサンプルが追加されたときに取り除かれる。
ある実装では、ユーザを認証するために、ユーザはジェスチャを実行し、ジェスチャはジェスチャとターゲットTとの間の距離dを計算することによってテンプレート(T、ε)と比較がされる。d<εであるときジェスチャは認証に受け入られ、そうでないときジェスチャは拒否される。ある実装では、実行されたジェスチャは、実行されたジェスチャがマッチする確率を推定するために、サンプルジェスチャから構成された機械学習モデルと比較される。その確率が予め定められたある閾値を超えると、ジェスチャは認証に受け入られる。
ジェスチャ入力の試みが繰り返されることによる認証システムのセキュリティ破壊の招来を防ぐために、ある実装は連続するジェスチャ試みの失敗数を制限する。例えば、ジェスチャ認証の失敗が3回連続したら、ある実装はパスワードやPIN入力といったより従来の認証メカニズムに戻す。
ある実装に従って、方法はユーザを認証する。その方法は深度センサ、1つもしくは複数のプロセッサ及びメモリを具備するコンピューティングデバイスで実行される。ユーザ認証時に、デバイスは、第一ユーザによって実行され深度センサにキャプチャされた複数の3Dジェスチャサンプルを記録する。ジェスチャサンプルは第一ユーザに選択された空中ジェスチャに対応する。記録されたジェスチャサンプルの各々は、特定の身体部位(例えば、指先や手中央)の複数に対する位置の時間変化を含む。デバイスはジェスチャサンプルから平均ジェスチャTを計算し、Tに対応するエラー許容値εを選択する。デバイスは平均ジェスチャTとエラー許容値εとを第一ユーザのジェスチャテンプレートとして記憶する。
次に、第二ユーザが認証のためにジェスチャを実行し、コンピューティングデバイスのデータやセキュアな機能へアクセスする。第二ユーザは第一ユーザであるかもしれないしそうでないかもしれない。深度センサは第二ユーザから3Dジェスチャをキャプチャし、キャプチャされた3Dジェスチャは複数の身体部位に対する位置の時間変化を含む。デバイスは、キャプチャされた3Dジェスチャと平均ジェスチャTとの間の距離dを計算する。距離dがε以下であるとき、第二ユーザは第一ユーザとして認証され、コンピューティングデバイスは、第二ユーザに、コンピューティングデバイスの1つもしくは複数のデータまたはセキュアな機能へのアクセスを与える。一方、距離dがεよりも大きいとき、第二ユーザは認証されず、従ってコンピューティングデバイスのデータまたはセキュアな機能へのアクセスが拒否される。
ある実装では、エラー許容値はジェスチャサンプルの拡散を表す分散値を計算することにより選択され、設定されたエラー許容値は計算された分散値になる。ある実装では、測定されるジェスチャサンプルの拡散に距離計量を用いる。ある実装では、距離計量に動的時間伸縮を用いる。ある実装では、距離計量に、機械学習モデルに基づきモデルコスト機能を用いる。ある実装では、分散値はジェスチャサンプルのペア間の最大距離である。ある実装では、分散値はジェスチャサンプルと平均ジェスチャTとの間の最大距離である。
ある実装では、分散値が計算されるエラー許容値の設定には、更に分散値が予め定められた最小分散よりも大きく、予め定められた最大分散以下であることの決定を含む。
ある実装では、ジェスチャサンプルのセットは分散が特定範囲外であるとき拒否される。ある実装は、最小の分散値を特定し、サンプルセットは、分散値がその最小値を下回るとき拒否される。ある実装は、最大分散値を特定し、分散値が特定した最大値よりも大きいときにサンプルセットを拒否する。サンプルセットが拒否されたとき、ある実装はすべてのサンプルを処分し、ユーザにジェスチャサンプルの再入力(新たなジェスチャのためになる)を促す。他のある実装では、ユーザは同じジェスチャのために追加のジェスチャサンプルの入力を試みる。それら実装のいくつかにおいて、1または複数のオリジナルのジェスチャサンプルは廃棄されてもよい。追加のジェスチャサンプルがキャプチャされた後、平均ジェスチャが再計算される。
ある実装では、記憶されたジェスチャテンプレートが認証時にユーザによって実行されたジェスチャに基づき定期的に更新される。
開示の実装は、他の認証システム以上に多くの利点を有する。その利点には同時に複数の区別できる身体部位の追跡(単一センサーを用いて)を含み、それは単体の身体部位を追跡するよりもより一層セキュアである。また、3Dで行われた動きは、選択されたジェスチャに多くの変化を与えるため、よりセキュアである。さらに、ジェスチャ認証の動きであるため、処理はシンプルな身体認証よりもより動的である(例えば、人には1つの顔しかないが、人は多くの可変なジェスチャ実行の選択が可能である)。上述の通り、空中でジェスチャを実行するため、スマッジアタックの対象となることはない。デバイスに接触しないことは、高度な技術開発向けのクリーンルーム環境、衛生が重要な関心である医療施設、台所または、人の手が汚れていてコンピューティングデバイスに触ることができないワークショップで他の利点がある。
認証に空中3Dジェスチャを用いることは、(例えば、網膜スキャンと比較して)無侵襲である事実を含むことでも利点がある。あるユーザはまた他の認証技術よりも楽しめるジェスチャ実行を見つける。あるユーザはまたパスワードやPINを入力するよりもより自然なジェスチャを見つける。またあるユーザは簡単に覚えることのできるジェスチャを見つける。これはセキュアなパスワードを要求する環境においては特に重要である。一般的に、セキュアなパスワード(例えば、シンプルな言葉を使えない、大文字や特別な文字、数字を含む必要がある)を要求することは覚えることを難しくする。パスワードでない、空中でのジェスチャはまた生体計測である。例えば、人の身体部位の関連する位置は人のユニークな身体に基づく。本質的にジェスチャを用いることは、人の身体固有の生物計測の特性やユニークな動きを構成する人の創造性を組み合わせる。
図1は、本発明の動作についてある実装環境を例示する。図1では、ユーザは深度センサ102を含むコンピューティングデバイス100を用いる。ある実装では、深度センサ102は例示されているコンピューティングデバイス100に備わっているが、他の実装では深度センサ102はコンピューティングデバイスの内蔵部品である。ある実装では、デバイスのシングルイメージセンサが、写真や動画を撮影するため、及び深度センサとして、の両方の機能を有する。ある実装は、認証にハンドジェスチャを用いるので、深度センサ102はユーザの手106の空中での動作を追跡する。特に、ある実装は、ユーザの手中央108及び指先位置104の動きを追跡する。ある実装は、同様に1つもしくは複数の関節位置110を追跡する。もちろん、これは図1に示される関節や親指や人差し指の接合部に限られるものではない。つまり、識別可能な関節や接合部であれば認証ジェスチャに用いることができる。ある実装は、ホクロやタトゥーのような独特の身体特徴を追跡することもできる。
ある実装では、ジェスチャは、手106がコンピューティングデバイス100(またはセンサ102)から予め定められた閾値距離D112を交差したときに開始し、終了する。ある実装では、閾値Dの交差はユーザの手中央108に基づく。ある実装では、閾値Dの交差は、閾値Dを交差する追跡された身体位置の数に基づく。例えば、手中央108と5本の指先104を追跡する認証システムでは、ジェスチャはその6つの追跡ポイントのうち4つが閾値を交差したときに開始し終了してもよい。他の実装では、ジェスチャは、拳を握る、開くといった特定の身体形状に基づき開始し、終了する。一般的には、同様の開始や終了のトリガーは、登録や認証において用いられる。しかしながら、ある実装は、認証時に長いジェスチャパタンを追跡し、記憶されたテンプレートと部分集合のマッチングを実行する。
図2は、ある実装によるコンピューティングデバイス100を例示するブロック図である。コンピューティングデバイス100は、デスクトップコンピュータやラップトップコンピュータ、深度センサ102を備えたモバイルデバイス、深度センサ102が搭載もしくは内蔵された他のコンピューティングデバイスである。コンピューティングデバイス100は、一般的には1つもしくは複数の処理ユニット(CPU)202、1つもしくは複数のネットワークや他の通信インターフェイス204、メモリ214、及びこれらの構成要素を相互に接続する1つもしくは複数の通信バス212を含む。通信バス212は、システム構成要素間の通信を相互に接続し制御する回路(チップセットともいう)を含んでいてもよい。コンピューティングデバイス100は、ディスプレイデバイス208及び入力デバイス/機構210(例えば、キーボード、マウス、タッチスクリーン、物理的なボタンなど)から構成されるユーザインターフェイス206を備える。コンピューティングデバイスは、身体動作の追跡やキャプチャに用いられる深度センサ102を含む。
メモリ214は、DRAM、SRAM、DDR RAMもしくは他のランダムアクセスソリッドステートメモリデバイスなどの高速ランダムアクセスメモリを含む。すなわち、1つもしくは複数の磁気ディスクストレージデバイス、光ディスクストレージデバイス、フラッシュメモリデバイスもしくは他の不揮発性ソリッドステートストレージデバイスなどの不揮発性メモリを含んでもよい。メモリ214は、CPU202から離隔して配置される1つもしくは複数のストレージデバイスを含んでいてもよいが、必須ではない。メモリ214、もしくは、代替的に、メモリ214の不揮発性メモリデバイスは、コンピュータ可読記録媒体を含む。ある実装では、メモリ214は以下のプログラム、モジュール及びデータ構造もしくはプログラム、モジュール及びデータ構造のサブセットを記憶する。
●オペレーティングシステム216。オペレーティングシステム216は、様々な基本システムサービスを扱うためのプロシージャ及びハードウェア依存タスクを実行するためのプロシージャを含む。
●通信モジュール218。通信モジュール218は、(有線もしくは無線の)1つもしくは複数の通信インターフェイス204及びインターネット、他のワイドエリアネットワーク、ローカルエリアネットワーク、メトロポリタンネットワークなどの1つもしくは複数の通信ネットワークを介して他のコンピュータシステムとコンピューティングデバイス100とを接続するために使用される。
●ユーザインターフェイスモジュール220。ユーザインターフェイスモジュール220は、入力デバイス210を介してユーザからコマンドを受信し、ディスプレイデバイス208のユーザインターフェイスオブジェクトを生成する。
●ウェブブラウザ222。ウェブブラウザ222は、リソース、ウェブページ及びウェブアプリケーションへの通信ネットワークを介したユーザのアクセスを可能とする。
●深度センサドライバ224。深度センサドライバ224は、深度センサ102から未処理のデータを収集する様々なハードウェアの特定のプロシージャを含み、そのデータを、有意なフォーマットで、他のプロシージャまたはプログラムに提供する。
●距離計算モジュール226。距離計算モジュール226は、2つの記録されたジェスチャ間(例えば、身体部位の位置における時間変化)の“距離”(例えば、差異)を計算する。ある実装では、距離計算モジュール226は、動的時間伸縮(DTW)アルゴリズムを実行する距離計量を用いる。ある実装では、距離計量は、単体の身体部位に対する位置の時間変化を比較し、様々な追跡された身体部位の距離を後に結合(例えば、追加)する。他の実装では、距離計量は、単体の集合計算の一部として複数の時間変化間の距離を計算する。
●ジェスチャキャプチャモジュール228。ジェスチャキャプチャモジュール228は、深度センサ102(もしくは深度センサドライバ224)からデータを受信し、データを例えばデータベース238に記憶する。ある実装では、ジェスチャキャプチャモジュール228は記憶する前に適合モジュール230に1つもしくは複数のプロシージャを呼び出す。ある実装では、ジェスチャキャプチャモジュール228は未処理キャプチャデータ240を記憶し、適合モジュール230を呼び出した後に適合したジェスチャデータ242を記憶する。
●適合モジュール230。適合モジュール230は、未処理のジェスチャデータを標準化したフォーマットに適合させる。詳細は、図4を用いて以下に記載される。
●登録モジュール232。登録モジュール232は認証に用いられるジェスチャをユーザに設定させる。登録モジュール232の詳細は、図3を用いて以下に記載される。
●認証モジュール234。認証モジュール234は、ユーザジェスチャを受信し、実行されたジェスチャが記憶されたテンプレート244とマッチするかどうかを決定する。ユーザが認証されたとき、認証モジュール234は、コンピューティングデバイス100の1つもしくは複数のセキュアな機能またはデータ236へのアクセスをユーザに許可する(例えば、一般的なコンピューティングデバイスへのアクセスまたは特定のセキュアな文書へのアクセスを許可する)。認証モジュール234の詳細は、図3を用いて以下に記載される。
●1つまたは複数のデータベース238。データベース238は、ソフトウェアモジュール226、230、232そして234によって用いられるデータが記憶される。
●データベース238は、認証から、標準化したフォーマットには適合していない未処理のジェスチャデータ240を記憶する。
●データベース238は、認証から、標準化したフォーマットにある適合したジェスチャデータ242を記憶する。詳細は、図4を用いて、以下に記載される。
●データベース238は、適合したジェスチャデータ242に基づき計算した、ジェスチャサンプルの拡散または変化を表す分散値243を記憶する。
●データベース238は、登録時に構築され、認証時に実行されたジェスチャと比較される、1つまたは複数のジェスチャテンプレート244を記憶する。ジェスチャテンプレートにはユーザID246を含んでもよく、2人またはそれ以上の別ユーザが同じコンピューティングデバイス100にアクセスするときに用いられることができる。各テンプレート244はジェスチャターゲット248を含み、認証時に実行されたジェスチャと比較される。パスワードとは異なり、ジェスチャにはある固有変化があるため、各テンプレート244は、どれほどターゲットから距離があり、マッチングに資するかを特定するエラー許容値250を含む。エラー許容値250は、一般には計算された分散値243に基づく(例えば、エラー許容値250=分散243)。ターゲットからの距離は、距離計算モジュール226によって計測される。
●データベース238は、認証ログ252を含み、各認証の試みを追跡する。各認証の試みでは、ログ252は実行されたジェスチャ254を記憶し、実行されたジェスチャ254は、未処理のジェスチャデータ、標準化されたフォーマット、及びその両方で記憶されてもよい。ある実装は、ユーザが認証のために実行したジェスチャの日付/時間256を記憶する。ログはまた、ユーザが認証されたかどうかを示す“認証取得”フラグ258も含んでもよい。ログはまた認証の試みのためにユーザID260を記憶する。ある実装では、ユーザIDは認証の試みが成功したときにのみログに出現させ、その場合のログでのユーザID260はマッチングテンプレートのユーザID246である。ある実装では、ターゲットユーザは認証ジェスチャが実行される前に特定され、ターゲットユーザのユーザID260は、認証の試みが成功したか否かに関わらずログに記憶される。
上記識別された各構成要素は、1つもしくは複数の上記メモリデバイスに記憶されていてもよい。また、上記識別された各構成要素は、上記機能を実行するための命令セットに対応してもよい。命令セットは、1つもしくは複数のプロセッサによって実行され得る(例えば、CPU202)。上記識別されたモジュールもしくはプログラム(すなわち、命令セット)は別個のソフトウェアプログラム、プロシージャ、もしくはモジュールとして実装されなくてもよい。これらのモジュールの様々なサブセットが結合されてもよいし、様々な実装において再構成されてもよい。ある実装では、メモリ214は上記識別されたモジュール及びデータ構造のサブセットを記憶する。さらに、メモリ214は、さらに、上記されていないモジュール及びデータ構造を記憶していてもよい。
図2はコンピューティングデバイス100を示しているが、図2は、ここで記述される実装の構造的な概要というよりは、1つもしくは複数のコンピューティングデバイスに存在してよい様々な特徴の機能的な記述を意図している。実用的には、また、当業者によって認識されるだろうように、別個に示されるアイテムは結合されてもよいし、アイテムのいくつかは別個にされてもよい。例えば、データ及びプロセスの全ては単一のデバイス100(例えば、ユーザのコンピュータ)に存在してもよいし、プロセスは2つ以上のコンピューティングデバイス100(例えば、未処理データを収集するために主に動作するユーザデバイス及びそのデータや距離の計算等を行うバックエンドサーバ)に別個に存在してもよい。
図3は登録プロセス(左)及び認証プロセス(右)の両方を例示する。ある実装では、点線340によって示される通り、認証プロセスから登録プロセスへのフィードバックがある。
ユーザは、認証時にこれからの利用に向け身体ジェスチャを確認するプロセスを開始する(302)。ある実装では、ユーザはどの身体部位をジェスチャとして追跡するかを選択してもよい。ある実装では、追跡された身体部位のセットは、指先104及びユーザの手中央108がデフォルトである。ある実装では、同時に両手の身体部位の追跡ができる。
実装はジェスチャの最初及び最後を特定する様々な方法を用いる。ある実装では、その最初及び最後は、深度センサ102またはコンピューティングデバイス100からの距離に基づく。例えば、ある実装では、人が深度センサ102に手106を接近し始め、その人の手中央108がセンサ102もしくはデバイス100から予め決められた距離112に達したときにジェスチャの記録を開始する。再び手中央108が閾値の距離112を交差したときにその記録は停止する。他の実装は閾値の距離112を用いるが、最初及び最後は追跡された複数の身体部位に基づく(例えば、3つの身体部位が閾値112を交差したとき)。他の実装は、最初及び最後の認識に、拳を握るといった特定の身体形状を用いる。ある実装は、著しい動きの欠如を伴う予め定められた一定時間に基づき、最初及び最後を認識する。ある実装では、記録の開始や停止のために、(キーボードやマウスのような)入力デバイス210を利用する(例えば、ENTERキーを押す、マウスのボタンをクリックする)。他の実装(マイクロフォンのあるデバイス)は、“開始”や“停止”のコマンドのような音声コマンドを用いる。
ユーザは、ジェスチャを選択しジェスチャを実行し(304)、ジェスチャから未処理のデータがジェスチャサンプルとしてキャプチャ(306)される。各追跡された身体部位のキャプチャされた未処理のデータは、それら身体部位に対する3次元位置の時間変化を含む。例えば、6つの身体部位が追跡されると、追跡されたデータは時間変化の一定時間毎の各点に6つの(x、y、z)座標を含んでもよい。これは、18次元ベクトルの時間変化として見ることができる(図4参照)。ある実装では、位置の測定は10ミリ秒毎に記録されるので、ジェスチャは、1秒間に100の記録された点を持ち、各点は18座標を有する。他の実装は、多くまたは少なくデータを記憶する(例えば、5ミリ秒毎や20ミリ秒毎)。実装は、一般的に一定周期でジェスチャポイントを記録するが、他の実装は、他の要因に基づきデータを記録してもよい。例えば、決められたジェスチャを正確に認識するために、早い動きはサンプリングを多く要求してもよい。ある実装では、未処理のデータは測定エラーを低減するために“平滑化”され、身体部位の動きが滑らかである(例えば、連続導関数を持つ)ということを説明する。
実行されたジェスチャにはいくつかの変化が内在しているため、殆どの実装では複数のサンプルが必要である。異なったサンプルは、異なる空間位置で生じ(例えば、あるサンプルは前サンプルの2インチ右)、異なるサイズかもしれない(例えば、異なる直径で同じ基本形の2つのサークルジェスチャ)、また異なる速度で実行されるかもしれない(例えば、最初はゆっくり実行されるが、ユーザがジェスチャに慣れるにつれ徐々に早くなる)。そのため、実装は、図4で詳細に説明される通り、様々な方法のサンプルを適合する(308)。
ある実装では、最初サンプル後の各ジェスチャサンプルは、前サンプルに十分に近いかを決定するために前サンプルと比較して確認する(例えば、ユーザが偶然に何か違った実行をしたサンプルを識別する)。比較には距離計算モジュール226を用いる。距離が予め定められた最大値を超えたとき、そのジェスチャサンプルは拒否され、ユーザは再びサンプルを入力することを試みる(そして、ある実装では、ユーザに最初から登録プロセスを再スタートするオプションを与える)。確認にはキャプチャされた未処理のデータ240または適合したデータ242のどちらか一方に適用させてもよい。
各ジェスチャサンプルを記録した後、登録モジュール232は十分なサンプルがあるかどうかを決定する(310)。十分なサンプルがまだ無いときには、登録モジュール232はユーザに他のサンプルを実行する(304)ことを促す。
十分なサンプルが集まったとき、登録モジュール232は、ジェスチャターゲット248とエラー許容値250を含むジェスチャテンプレート244の構築を進める。ジェスチャターゲット248はサンプルの平均(312)である。ある実装では、平均はすべてのサンプルにおけるシンプルな数学的平均である。ある実装では、平均はサンプルの部分集合に基づいて計算される(例えば、1つもしくは複数の異常値を除外するもしくはいくつかの古いサンプルを除外する)。ある実装では、平均は加重平均である。例えば、最新のサンプルは、古いサンプルよりもより重みを付けてもよい。これは、週あるいは月期間のジェスチャサンプルのセットが生成されるので、認証時に新たなサンプルが追加されるときに特に有用になる。数学的には、あるサンプルの除外は、あるサンプルが重み0を得る、重みの特別な場合と考えられる。
また、登録モジュールは、サンプルの拡散や変化を測定し、サンプルの分散値243を計算(314)する。ある実装では、分散値243は、距離計算モジュール226によって計算された通り、ジェスチャサンプル間での最大距離である。ある実装は、上記された確認ステップで異常値を取り除く。ある実装では、分散値243は、ジェスチャサンプルとジェスチャサンプルの計算された平均との最大距離である。図3には、分散値243を計算(314)する前にサンプルの平均の計算(312)することが示されているが、ある実装は、逆の順序でまたは同時にそれらを計算する。
ある実装では、登録モジュール232は大きすぎないかまたは小さすぎないかを確認するために、分散値243をチェック(316)する。ある実装では、分散値243が上限値よりも大きくまたは下限値よりも小さい場合、登録モジュールは、ユーザに追加のジェスチャサンプルを入力するよう促す(304)。ある実装では、前サンプルのすべてが破棄され、ユーザは最初から新たなジェスチャサンプルを再入力する。ある実装では、前サンプルは維持され、新たなサンプルがリクエストされる(例えば、ユーザに2つ以上のサンプルを実行するよう促す)。ある実装では、1つまたは複数のオリジナルのサンプルは異常値と認識され(例えば、他のサンプルからの距離によって)、除外される。ある実装では、登録モジュール232がユーザにより多くのジェスチャサンプルを促した(304)とき、ユーザは最初から始めるオプションを持つ。
ある実装では、分散値243が下限値よりも小さいときには、登録モジュールは分散値として下限値を直ちに置換する。
受け入れ可能な分散値243(または下限値に置き換えられた)を持つジェスチャサンプルのセットがあると、分散値243に基づきエラー許容値250が選択される(318)。ある実装では、エラー許容値250は分散値243と等しい。ある実装では、エラー許容値250は、複数の分散値243の倍数として(例えば、0.9または1.1が掛け合わされた値として)設定される。ジェスチャサンプルと分散値の平均は、ジェスチャテンプレート244として記憶(318)される。ある実装では、記憶されたテンプレート244が適切に動作することを確認するために、1つまたは複数の疑似認証を実行する最終テストフェーズがある。ある実装では、最初にユーザにジェスチャを正しく実行するよう依頼され、また次にはジェスチャを不正確に(しかし類似して)実行するよう依頼される。テストフェーズが成功しなければ、登録プロセスはサンプルジェスチャの入力に戻り、最初から、1または複数の前サンプルが破棄された後に新たなジェスチャサンプルを追加するか、または単に新たなサンプルを追加するかのどちらか一方を行う。
テンプレート244の記憶(そしてある実装ではテスト)の後に、登録プロセスが完了する(320)。
登録後、ユーザは認証について確認されたジェスチャの実行が可能となる。様々なアクションが認証プロセスで開始する。ある実装では、コンピューティングデバイス100が起動したときに認証プロセスが開始(322)される。ある実装では、入力デバイスのボタンを押すことで認証が開始(322)する。ある実装では、ディスプレイデバイス208がユーザに適切な方法で(例えばスクリーンがロックされる)認証ジェスチャを実行することを促す。ユーザはそしてジェスチャを実行(324)する。深度センサ102は、登録時に用いたプロセスと同様に、実行したジェスチャをキャプチャ(326)する。特に、ジェスチャの開始及び終了を認識するために、実行は一般的に登録時に用いた同じ方法を用いる。実行されたジェスチャがキャプチャ(326)された後、認証モジュール234は、未処理の記憶されたジェスチャを標準化フォーマットに適合させる(328)適合モジュール230を呼ぶ。未処理のジェスチャまたは/及び適合されたジェスチャは一般に、実行されたジェスチャ254として認証ログ252に記憶される。
認証モジュール234はその後、実行されたジェスチャ254と記憶されたジェスチャターゲット248間の距離を計算する(330)距離計算モジュール226を呼ぶ。ある実装では、実行されたジェスチャ254は1つのジェスチャターゲット248(例えば、デバイス100が唯一の認証されたユーザを保持しているまたはターゲットユーザがジェスチャを実行(324)する前に特定されている場合)と比較される。ある実装では、単一デバイスは多数の認証されたユーザを保持してもよく、各々別々にジェスチャテンプレート244に記憶されている。ある実装では、実行されたジェスチャ254は、記憶されたテンプレート244の各々におけるジェスチャターゲット248と比較される。
実行されたジェスチャ254が1つのジェスチャターゲット248と比較されたとき、実行されたジェスチャ254とターゲット248との間の距離が、エラー許容値250と比較(332)される。その距離がエラー許容値250と同等かそれ以下であるとき、ユーザは認証(338)され、デバイス100や特定のセキュアな機能またはデータ236へのアクセスを獲得(338)する。一方、その距離がエラー許容値250よりも大きいとき、認証は失敗する。ある実装は、連続する失敗試み数を追跡し、ユーザにある試みの数(例えば3)を許す。ある実装では、失敗試みの後、認証モジュール234は失敗数を1つ増加させ、他の試みが許可されるかどうかを決定する(334)。そうであれば、ユーザは再びジェスチャを実行(324)するよう試みる。試み数が制限に到達すると、認証モジュールはユーザを拒否(336)し、デバイス100またはセキュアな機能236へのユーザのアクセスを拒否(336)する。ある実装では、ユーザが実行するジェスチャに基づきアクセスを拒否された後、ユーザはキーボード210からパスワードを入力するといった他の方法で認証のオプションが与えられる。
ある実装では、ユーザは、異なる機能へのアクセスあるいは異なるアクセスレベルのために別々のジェスチャを準備してもよい。ある実装では、ユーザはデバイスへのアクセスのために“汎用アクセス”ジェスチャを準備し、また特定の機能へのアクセスのために追加のジェスチャを準備することができる。例えば、ユーザは家のコンピュータへのアクセスのために1つのジェスチャを準備してもよいが、ある高セキュアなデータ(例えば、医療や税金の記録)へのアクセスを得るために追加のジェスチャを準備してもよい。
実行されたジェスチャは複数のジェスチャターゲット248と比較したとき、少なくとも理論上は、より良い結果をもたらす。各ジェスチャターゲット248について、距離はそのターゲット248のためのエラー閾値250と比較される。各ジェスチャターゲット248の距離が対応するエラー許容値250よりも大きいとき、実行されたジェスチャは失敗し、その次のプロセスは、1つのジェスチャテンプレート244とのマッチングに失敗することと同じである。実行されたジェスチャ254間の距離について正確な一つのジェスチャテンプレート244があり、またジェスチャターゲット248がそれに対応するエラー許容値255と同等またはそれ以下であるなら、ユーザはそのテンプレートの認証を受ける(例えば、ユーザID246がそのテンプレートに関連付けられる)。獲得したアクセス権(338)はそのマッチしたテンプレート244のユーザID236に基づく。
ある実装では、2つまたは複数のテンプレート244をマッチするジェスチャ254を持つことが可能である。ある実装は、実行されたジェスチャ254の各エラー許容値250内にあるターゲットの中から最も近いジェスチャターゲット248を選択することによりこの問題を扱う。ある実装は各エラー許容値250に関連する各ターゲットの“近さ”を測定する(例えば、各ターゲット248の距離を計算し、各エラー許容値で割る)。ある実装は、近すぎる状態から別々のユーザに対するジェスチャテンプレートを防ぐことによりこの問題を避ける。例えば、テンプレート(T,ε)は既に記憶されており二番目のユーザが登録プロセスを作動(302)させると仮定する。二番目のユーザは選択されたジェスチャを実行し、登録プロセスは二番目のユーザに対してテンプレート(T,ε)を記憶すると仮定する。TとTとの距離はdだと仮定する。ある実装は、d≦ε+εのときに2つのテンプレートはとても近いと決定する。言い替えれば、二番目のユーザのテンプレートはd>ε+εのときには問題ない。距離計量が三角不等式を満足する限りは、d≦ε+εであることは、Tのε範囲内であって、同時に、Tのε範囲内である点がないことを保証する。
ユーザのアクセスの試みが認められる(338)か、拒否される(336)のどちらか一方の後に、認証処理は終了(342)する。
図3に示される通り、ある実装は認証から登録へのフィードバックループ340を含む。フィードバック340は認証時に実行されたジェスチャ254に基づき登録データを定期的に更新する(したがってユーザのテンプレート244を更新する)。ある実装では、ユーザが認証に成功する度に定期的な更新が生じる。ある実装では、ユーザが認証に成功し、(かろうじてマッチする実行されたジェスチャ254に基づきテンプレート244が更新されるのを避けるために)実行されたジェスチャ254がジェスチャターゲット248に十分に近接する度に定期的な更新が生じる。ある実装では、特定時間(例えば、1週間または1か月)が経過した後に、最初に成功した認証で定期的な更新が生じる。ある実装は、エラー許容値に関連してあるいは絶対的な期間のどちらか一方について、認証ログ252で認証試みの精度を追跡する。それらのある実装では、定期的な更新はその精度が予め定められたレベルを下回ったときに(例えば、精度が予め定められた期間を超えて閾値レベルを下回るまたは予め定められた期間を超えて低い傾向の精度を下回る)トリガーされる。一般には、単なる単体の精度の低い認証ジェスチャではなく、誤った一貫したパターンがあるときのみに生じる低い精度に基づいて更新される。
ユーザの記憶されたジェスチャテンプレート244の定期更新時に、ある実装は過去に用いられたサンプルのすべてを保持し、また実行されたジェスチャ254を追加のサンプルとして含む。ある実装では、ジェスチャサンプルは順番に記憶され(例えば、タイムスタンプや他の単調増加機能を用いる)、新たなサンプル(例えば、認証時に実行されたジェスチャ254)を含むとき、最も古いサンプルは削除されまたはテンプレートの更新において非包含としてマークされる。ある実装は、古いサンプル(例えば、平均のジェスチャから最も逸脱するサンプル)の処分を決定する他の基準を用いる。
テンプレートが認証で実行されたジェスチャ254を用いて更新されるとき、登録では一般的に同じステップが適用される。つまり、新たな平均が計算され(312)、新たな分散値が計算され(314)、新たな分散値は上限値、下限値と比較され(316)、そして新たな平均と新たな分散値が修正されたテンプレートとして記憶される(318)。1つの違いは比較(316)の扱いである。一般に“良い”サンプルだけが包含するものとして選択されるので、比較(316)は上限を超えた分散値を見つけ出すべきでない。一方で、実行されたジェスチャ254が前ターゲット248にとても近く、古くて不十分なサンプルは計算から取り除かれたとすると、新たに計算された分散値は下限値よりも低くなるだろう。これが生じたとき、ある実装は単に新たなエラー許容値250として下限値を用いる(しかし新たなターゲット248として更新された平均を用いる)。他の実装は、分散値が下限値よりも下回ったとき、現状のまま(まったく更新しない)単に古いテンプレート244を保持する。
図4はある実装がどのようにジェスチャを標準フォーマットに適合させるかを示す。プロセスは未処理のジェスチャデータで始まる(402)。数式420で示される通り、キャプチャされたジェスチャGは連続した“位置”からなる。位置の数はジェスチャが実行される時間により変化する。ある実装では、位置データは一定の時間間隔でキャプチャされる(例えば、5ミリ秒毎、10ミリ秒毎)が、他の実装では動きの速度のような他の要因に基づきキャプチャレートを可変にする。ジェスチャと位置データがキャプチャされた周期により、位置の数は一般的に50から500で変動する。
数式422で示される通り、各々の“位置”は、3m要素の行列またはベクトルであり、mは追跡される個々の身体部位の数である。各身体部位について、x、y、z座標が追跡される。ある実装では、追跡された身体部位は、1つの手106の5本の指先104に加え、その手中央108である。6つの身体部位と各身体部位の3座標を用いるので、各位置は18項目の行列またはベクトルである。
ある実装では、データ適合の最初のステップは、座標系がキャプチャされたジェスチャ全体の中央になるよう位置データを移動(404)する。例えば、ジェスチャが単純な円であるときは、座標系はその円の中央に移動される。これは、各座標値をその座標の平均値分移動させるため、“平均移動”と呼ばれる。この平均移動は、一般的には各座標別々に適用される(例えば、18項目の位置行列であれば、各18項目の平均移動は他の項目とは独立して適用される)。数式424と426は、j番目の身体部位のx座標についての平均移動を実行することを示す。
数式424が示す通り、その平均は通常、対応する項目のすべてを合算し、合算に含まれる位置の合計数で割ることにより計算される。数式424で示す通り、一旦平均が計算されると、その平均は平均移動項目xij’を得るために対応する項目xijの各々から引き算される。同じ方法が他の位置要素の各々にも適用される。
キャプチャされた各ジェスチャは平均移動されるため、ジェスチャが実行された正確な位置は問題にならない。例えば、ユーザが、センサのすぐ前でジェスチャを実行するか、または、2インチ右か左で、ジェスチャを実行するかは問題にならない。
ある実装では、キャプチャしたデータ適合についての2番目のステップは、キャプチャしたジェスチャのサイズを正規化(406)する。概念的には、ユーザはジェスチャの全体的な形状を認識するが、サイズの異なるジェスチャを実行するかもしれないので、サイズを標準化することでサイズに関わらず形状でのマッチングが可能になる。ある実装では、最大の絶対値を一定に固定するので(例えば1)、位置要素のすべては調整される。ある実装では、すべての身体部位のすべての寸法が1つの最大の全体値に基づき共に調整される。例えば、Mはキャプチャされたジェスチャのうちすべての位置のすべての入力で最も絶対値が大きく、その入力はすべての入力をMで割ることによって正規化することができる。
数式428と430は、各位置要素が他の要素から独立して正規化(406)される、代わりの標準化プロセスを示す。数式428と430は、以前に平均移動したデータを用いて、j番目の身体部位のX座標の標準化について示す。数式428は、キャプチャされたジェスチャのうち、すべての位置を交差する特定の要素について、最大の絶対値を計算する。数式430に示す通り、(この要素についての)各々の値は、最大値によって調整される。数式の値Cは、通常1が設定され、入力について調整された最大値となる。
ある実装では、適合プロセスの最後のステップは、キャプチャされたジェスチャの位置個数を標準化(408)する。例えば、ある実装は200個の位置を標準化する。測定が通常の時間間隔で記録されているとすると、標準化は最初及び最後にキャプチャした測定を取得し、中間点の推定を計算するために補間を用いることで、実行できる。元データが周期的に(例えば、5または10ミリ秒毎)キャプチャされているために、補間は多くのエラーを引き起こさない。標準化された点の数が元のキャプチャされたデータ個数よりも大きい例や、標準化された点の数が元のキャプチャされたデータ個数よりも少ない例もいくつかある。
位置順序432は、最初の身体部位についてのx座標の順序である。図4の例には、n個のキャプチャされた位置の例がある。標準化された位置順序434にはS要素があり、Sは特定の標準化された要素数である。この場合、X11=x11”、XS1=xn1”、また各中間要素は補間によって計算されている。例えば、S=201、n=301と仮定する。そしてX21はx21”とx31”との中間であるため、X21=(0.5)x21”+(0.5)x31”である。S=201、n=301も同じシナリオであるため、次の標準化点はX31=x41”となる。最初の身体部位のx座標に適用された同様の標準化プロセスは、各身体部位の各座標と同じ方法で適用される。
適合プロセスは同じジェスチャの複数のサンプルを平均化できるのでとても役立つ。平均移動404は異なる位置で実行されたジェスチャを説明する。正規化406は異なるサイズで実行されたジェスチャを説明する。そして、個数の標準化408は、異なる速度で実行されたジェスチャを説明する。適合されたジェスチャサンプルを持つことで、各サンプルは同じ位置の個数を持ち、各々の値(位置順序番号、座標、身体部位)は平均化される。例えば、4つのジェスチャサンプルがあると仮定し、各々100個の位置順序位置が標準化され、7つの身体部位が追跡されたと仮定する。3D追跡により各サンプルについて100×7×3個のデータがあり、各4つのサンプルは同様に2100データ要素を有することになる。それら各2100データ要素に対して、4つのサンプルに対する値が平均化され、平均したジェスチャが構築される。
図5A−図5Dは、ある実装によるハンドジェスチャのような3Dジェスチャを用いてユーザを認証する(502)プロセスを示す。このプロセスは、深度センサ102を備えたコンピューティングデバイス100、1つまたは複数のプロセッサ、1つまたは複数のプロセッサによって実行される1つまたは複数のプログラムが記憶されたメモリによって実行される。登録プロセス時に、ユーザはジェスチャを選択(508)し、ユーザは対応するジェスチャを複数回実行(508)する。ジェスチャキャプチャモジュール(228)はキャプチャ(508)し、ユーザによって実行されたジェスチャサンプルを記録(506)する。記録されたジェスチャサンプルの各々には、複数の特定身体部位に対する位置其々の時間変化を含む(510)。例えば、身体部位は、指先104、関節110、ユーザの手中央108、その他、区別可能な身体部位または特徴であってよい。ある実装では、位置の時間変化は定期的に取得される(例えば、5ミリ秒毎、10ミリ秒毎または25ミリ秒毎)。
図4について上述の通り、ある実装は、ある方法で各身体部位についての位置の時間変化を適合する。ある実装では、適合モジュール230は、ジェスチャが実行された特定位置を除去するために、平均移動を適用する。これは、其々のジェスチャサンプルの各々と位置が追跡された身体部位の各々に対して適用(512)される。ある実装では、位置の時間変化のため平均位置を計算(514)し、其々の時間変化について各位置から平均位置を減算することによって其々の位置の時間変化を修正(516)することにより成し遂げられる。これは、3D座標システムの原点(0,0,0)にジェスチャの重心または中心を変換するのと本質的に同等である。このプロセス500はそのとき、其々のジェスチャサンプルに対して修正された時間変化を用いる(518)。
ある実装では、プロセス500は各ジェスチャサンプルの外形サイズを正規化する。サイズの正規化はジェスチャ全体として適用してもよいし、大きさをベースに適用してもよい。ある実装では、正規化サイズは1.0で、ジェスチャサンプルの境界枠の最大寸法が3.75であるとき、各測定値は、そのファクタ(1/3.75)によって変換される。大きさをベースに変換される実装において、境界枠の最大寸法が、X座標で2.0、Y座標で3.0、Z座標で4.0であると仮定する。そして、時間変化の各位置について、X座標は(1/2.0)で変換され、Y座標は(1/3.0)で変換され、Z座標は(1/4.0)で変換される。ある実装または実例において、サイズは拡大される。例えば、正規化されたサイズは前例で3.0と選択されると、X座標は拡大され、Y座標は全く変換されず、Z座標は縮小される。
サイズが正規化されるある実装では、適合モジュールは、位置が追跡された身体部位の各々やジェスチャサンプルの各々を正規化する(524)。ある実装は、其々の時間変化におけるすべての位置を含む最小限の境界枠を認識する(526)。位置が変換された時間変化についての最小限の境界枠は予め定められたサイズを持つため、適合モジュールはそのとき、其々の時間変化における位置を変換することにより位置其々の時間変化を修正する(528)。ある実装では、変換された位置の時間変化についての最小限の境界枠は立方体である。プロセス500はそのとき、其々のジェスチャサンプルについて修正された時間変化を用いる(530)。ある実装では、平均移動や正規化は順次適用される。特に、正規化は既に平均移動されたデータに適用される。
ある実装では、適合モジュール230は、各時間変化が同じ数の位置を持つように、データを標準化する。それらの実行では、標準化プロセスは、ジェスチャサンプルの各々と、位置が追跡され記録された身体部位の各々に適用される(520)。ある実装では、適合モジュール230は、時間変化において最初及び最後の位置を用い、N−2の中間位置を計算して挿入することで、予め定められた位置の数Nを持つように各位置の時間変化を標準化する(522)。このようにして、ユーザが異なる速度でジェスチャしたとしても、それらは同じジェスチャとして扱われる。
この標準化プロセスは、ジェスチャの特徴である速度を除去するには効果的であるが、ある実装は他の方法で速度を追跡し用いる。例えば、ある実装はジェスチャサンプルを実行するために費やす平均時間を計算し、認証の試みにおける比較のためにその平均時間を記憶する(ジェスチャテンプレートの一部のように記憶する)。また、ある標準技術は全体として速度のみに適用される。それゆえ、ユーザが異なる速度で異なる部分のジェスチャを実行したときには、それらの関連する速度はある実装において関連がある。
ジェスチャテンプレートを作成するために、プロセス500は、ジェスチャサンプルから平均ジェスチャTを計算する(532)。ある実装では、平均ジェスチャTはジェスチャサンプルの平均を計算する(534)。一方、ある実装は、ジェスチャサンプルの加重平均を計算する(536)。ある実装では、新たなジェスチャサンプルは、古いジェスチャサンプルよりも重く重み付けされる。サンプル間の重みの相違は、追加サンプルが認証プロセスから追加されたとき、大きいかもしれない。例えば、オリジナル登録の間に、複数のサンプルはとても短い時間(例えば、2分)内に実行されるが、サンプルが認証から追加されると、そのサンプルは週または月の期間を超えて実行されてもよい。ある実装では、平均ジェスチャTは、適切なジェスチャサンプルの部分集合に基づき計算される(538)。換言すると、サンプルのいくつかは全くその計算に含まれていない。ある実行において、ジェスチャサンプルは、時間により(例えば、1月よりも古いジェスチャサンプルが削除される)、またはそれらが他のジェスチャサンプルから必要以上に異なることにより(例えば、ジェスチャサンプルのほとんどがお互いにかなり近いが、ユーザが偶然に異なった実行をしたとき)、除外される。
平均ジェスチャTに加え、プロセスは平均ジェスチャTに対応するエラー許容値εを選択(540)する。ある実装では、エラー許容値εの選択は、ジェスチャサンプルの拡散度を評価する分散値の計算に依存する(542)。換言すると、登録時にサンプルに多くの値があるとき、認証は同様に大きな変化について許容が必要になる。逆に言えば、ユーザが変化の小さいジェスチャを選択して実行すると、認証の許容値は小さい値が設定される。ある実装では、エラー許容値は計算された分散値が設定される(544)。ある実装では、登録モジュール232は、その分散値が予め定められた最小の分散値よりも大きく、また予め定められた最大の分散値よりも小さいことを決定した(546)後に、エラー許容値として分散値を設定する。これは、図3のテスト316に関して上述されている。
実行には、ジェスチャサンプルの拡散度を測定する様々な方法がある。ある実装は、距離計量を用いて(548)ジェスチャサンプルの拡散度を測定する。ある実装では、距離計量は、動的時間伸縮を用いる(552)。ある実装では、距離計量は、機械学習(例えば、ロジスティック回帰、サポートベクタマシン、隠れマルコフモデル、ニューラルネットワーク)に基づいて構築されたモデルとジェスチャサンプルとをマッチングする“コスト”を決定するモデルコスト機能である。ある実装では、分散値を計算するために、距離計量を用いて、ジェスチャサンプルのペア間で最大距離を計算する(550)。ある実装では、分散値の計算するために、距離計量を用いて平均ジェスチャTとジェスチャサンプルとの間の最大距離を計算する(554)。
いくつかの実行において、図3のテスト316に関して上述に示された通り、ジェスチャサンプルの拡散度(偏差)は小さすぎるか、または大きすぎる。ある実行では、ジェスチャサンプルの拡散度が予め定められた最大の拡散値より小さい(556)とき、認証モジュール234は追加のジェスチャサンプルを記録し(558)、追加のジェスチャサンプルを用いて平均ジェスチャTを再計算する(560)。ある実装では、再計算は新たに実行された追加のジェスチャサンプルのみを用いる。ある実装では、再計算は、以前に記録されたジェスチャサンプルのいくつかと同様に、新たに実行された追加のジェスチャサンプルを用いる(562)。ある実装では、拡散度が予め定められた最小の拡散値より小さいとき、認証モジュール232は、デフォルト値をその拡散値として代わりに用いる(例えば、予め定められた最小の拡散値)。
同様に、拡散値が予め定められた最大の拡散値よりも大きい(564)とき、登録モジュール232は追加のジェスチャサンプルを記録(566)し、追加のジェスチャサンプルを用いて平均ジェスチャTを再計算(568)する。再計算は同様に以前に記録されたジェスチャサンプルのすべてまたはいくつかを含んでもよい。
平均ジェスチャTが追加のジェスチャサンプルに基づき再計算されるとき、分散値が同様に再計算される。再計算された分散値は、最小値より下回ってもあるいは最大値より上回っても良い。そのような場合、追加のジェスチャサンプルが記録されてもよい。ある実装は、ユーザが新たなジェスチャをやり直そうとする前に、反復の再計算数の制限を課してもよい。
登録モジュール232は、ユーザのジェスチャテンプレートとして、平均ジェスチャT及びエラー許容値εを記憶(570)し、オリジナルの登録プロセスを完了する。
その後、ユーザがデバイス100(またはデバイスの特定の機能)へのアクセスを望むときに、ユーザは認証に同じジェスチャの実行を試みる。デバイス100は認証のためにユーザにより実行された3Dジェスチャをキャプチャ(572)する。キャプチャされた3Dは、複数の身体部位についての位置の時間変化を含む(574)。認証モジュール234は、キャプチャされた3Dジェスチャと平均ジェスチャTとの間の距離dを計算する(576)。ある実装では、距離は、動的時間伸縮のような距離計量を用いて計算される。ある実装では、距離はモデルコスト機能を用いて計算される。
距離がεと同等またはそれ以下であるとき、プロセス500はユーザを認証(582)しない。ある実装では、ユーザはジェスチャを再度実行するよう試み、その試みは制限された回数(例えば、3回)繰り返されても良い。ある実装では、ユーザがジェスチャを実行することによって認証されなかったとき、認証モジュール234は、ユーザに、キーボードからパスワードを入力するといった代替の認証オプションを提供する。ある実装では、ユーザが認証されなかったとき、ユーザはセキュアな機能へのアクセスを拒否される(584)。ある実装では、ユーザがジェスチャベースの認証に失敗し、代替の認証オプションに失敗したときのみアクセスが拒否される。
上述の記述は、説明を目的としており、特定の実行において参照するよう記述されている。しかしながら、上述の例示的な説明は、網羅的であること、または、精密な形態で発明を制限すること、を意図したものではない。多くの修正や変更が、上述の教示により可能である。例えば、より正確な認証を提供するために、ある実装は、他のデータを用いてジェスチャベースの認証を組み合わせる。他のデータは、音(例えば、ジェスチャと同時の音声)や、ジェスチャ実行前後のデータ入力、指紋や顔分析のような他の生体データを含むことができる。他の実装は、センサからの距離、センサがなす角度、変化の割合(例えば、図4に示されるすべての適合ステップは適用しない)といった追加のジェスチャパラメータを追跡する。実装は、発明の原理及び実際的な応用を最も適切に説明し、これにより、当業者が、発明及び考えられる特定の使用に適するように、様々な変更がされた様々な実装を最も適切に利用することを可能とするために、選択され記述されている。
100 コンピューティングデバイス
102 深度センサ
202 CPU
214 メモリ
238 データベース

Claims (12)

  1. 深度センサ、1つもしくは複数のプロセッサ及びメモリを含み、前記メモリには前記1つもしくは複数のプロセッサによって実行される1つもしくは複数のプログラムが記憶されたコンピューティングデバイスが、
    第一ユーザによる複数の3次元ジェスチャサンプルを記録し、前記3次元ジェスチャサンプルは前記第一ユーザにより選択されたジェスチャに対応し、其々記録された前記3次元ジェスチャサンプルの各々には、複数の特定身体部位について其々位置の時間変化を含み、
    前記3次元ジェスチャサンプルから平均ジェスチャTを計算し、
    前記平均ジェスチャTに対応するエラー許容値εを選択し、
    前記第一ユーザに対するジェスチャテンプレートとして前記平均ジェスチャT及び前記エラー許容値εを記憶し、
    認証のためにユーザから3次元ジェスチャをキャプチャし、前記キャプチャされた3次元ジェスチャには、複数の身体部位について位置の時間変化を含み、
    前記キャプチャされた3次元ジェスチャと平均ジェスチャTとの間の距離dを計算し、
    前記距離dがε以下であるとき前記ユーザを前記第一ユーザとして認証することにより前記ユーザはコンピュータデバイスのセキュアな機能へのアクセスを獲得し、前記距離dがεよりも大きいとき前記ユーザを認証しない、
    ユーザ認証方法であって、
    前記エラー許容値の選択は、前記3次元ジェスチャサンプルの拡散度を測定する分散値を計算することを含み、
    前記エラー許容値を前記計算された分散値に設定することをさらに含み、
    前記3次元ジェスチャサンプルの拡散度の測定は距離計量を用い、
    前記分散値の計算は前記距離計量を用いて、3次元ジェスチャサンプルのペア間の最大距離を計算することを含む、
    ユーザ認証方法。
  2. 深度センサ、1つもしくは複数のプロセッサ及びメモリを含み、前記メモリには前記1つもしくは複数のプロセッサによって実行される1つもしくは複数のプログラムが記憶されたコンピューティングデバイスが、
    第一ユーザによる複数の3次元ジェスチャサンプルを記録し、前記3次元ジェスチャサンプルは前記第一ユーザにより選択されたジェスチャに対応し、其々記録された前記3次元ジェスチャサンプルの各々には、複数の特定身体部位について其々位置の時間変化を含み、
    前記3次元ジェスチャサンプルから平均ジェスチャTを計算し、
    前記平均ジェスチャTに対応するエラー許容値εを選択し、
    前記第一ユーザに対するジェスチャテンプレートとして前記平均ジェスチャT及び前記エラー許容値εを記憶し、
    認証のためにユーザから3次元ジェスチャをキャプチャし、前記キャプチャされた3次元ジェスチャには、複数の身体部位について位置の時間変化を含み、
    前記キャプチャされた3次元ジェスチャと平均ジェスチャTとの間の距離dを計算し、
    前記距離dがε以下であるとき前記ユーザを前記第一ユーザとして認証することにより前記ユーザはコンピュータデバイスのセキュアな機能へのアクセスを獲得し、前記距離dがεよりも大きいとき前記ユーザを認証しない、
    ユーザ認証方法であって、
    前記エラー許容値の選択は、前記3次元ジェスチャサンプルの拡散度を測定する分散値を計算することを含み、
    前記エラー許容値を前記計算された分散値に設定することをさらに含み、
    前記3次元ジェスチャサンプルの拡散度の測定は距離計量を用い、
    前記分散値の計算は、距離計量を用いて、3次元ジェスチャサンプルと前記平均ジェスチャTとの間の最大距離を計算することを含む、
    ユーザ認証方法。
  3. 深度センサ、1つもしくは複数のプロセッサ及びメモリを含み、前記メモリには前記1つもしくは複数のプロセッサによって実行される1つもしくは複数のプログラムが記憶されたコンピューティングデバイスが、
    第一ユーザによる複数の3次元ジェスチャサンプルを記録し、前記3次元ジェスチャサンプルは前記第一ユーザにより選択されたジェスチャに対応し、其々記録された前記3次元ジェスチャサンプルの各々には、複数の特定身体部位について其々位置の時間変化を含み、
    前記3次元ジェスチャサンプルから平均ジェスチャTを計算し、
    前記平均ジェスチャTに対応するエラー許容値εを選択し、
    前記第一ユーザに対するジェスチャテンプレートとして前記平均ジェスチャT及び前記エラー許容値εを記憶し、
    認証のためにユーザから3次元ジェスチャをキャプチャし、前記キャプチャされた3次元ジェスチャには、複数の身体部位について位置の時間変化を含み、
    前記キャプチャされた3次元ジェスチャと平均ジェスチャTとの間の距離dを計算し、
    前記距離dがε以下であるとき前記ユーザを前記第一ユーザとして認証することにより前記ユーザはコンピュータデバイスのセキュアな機能へのアクセスを獲得し、前記距離dがεよりも大きいとき前記ユーザを認証しない、
    ユーザ認証方法であって、
    前記エラー許容値εの選択は、前記3次元ジェスチャサンプルの拡散度を計算することを含み、
    前記拡散度が予め定められた最小の拡散値よりも小さいとき、
    追加ジェスチャサンプルを記録し、
    前記追加ジェスチャサンプルを用いて前記平均ジェスチャTを再計算する、
    ことをさらに含む、
    ユーザ認証方法。
  4. 深度センサ、1つもしくは複数のプロセッサ及びメモリを含み、前記メモリには前記1つもしくは複数のプロセッサによって実行される1つもしくは複数のプログラムが記憶されたコンピューティングデバイスが、
    第一ユーザによる複数の3次元ジェスチャサンプルを記録し、前記3次元ジェスチャサンプルは前記第一ユーザにより選択されたジェスチャに対応し、其々記録された前記3次元ジェスチャサンプルの各々には、複数の特定身体部位について其々位置の時間変化を含み、
    前記3次元ジェスチャサンプルから平均ジェスチャTを計算し、
    前記平均ジェスチャTに対応するエラー許容値εを選択し、
    前記第一ユーザに対するジェスチャテンプレートとして前記平均ジェスチャT及び前記エラー許容値εを記憶し、
    認証のためにユーザから3次元ジェスチャをキャプチャし、前記キャプチャされた3次元ジェスチャには、複数の身体部位について位置の時間変化を含み、
    前記キャプチャされた3次元ジェスチャと平均ジェスチャTとの間の距離dを計算し、
    前記距離dがε以下であるとき前記ユーザを前記第一ユーザとして認証することにより前記ユーザはコンピュータデバイスのセキュアな機能へのアクセスを獲得し、前記距離dがεよりも大きいとき前記ユーザを認証しない、
    ユーザ認証方法であって、
    前記エラー許容値εの選択は、前記3次元ジェスチャサンプルの拡散度を計算することを含み、
    前記拡散度が予め定められた最大の拡散値よりも大きいとき、
    追加ジェスチャサンプルを記録し、
    前記追加ジェスチャサンプルを用いて前記平均ジェスチャTを再計算する、
    ことをさらに含む、
    ユーザ認証方法。
  5. 深度センサと、
    1つもしくは複数のプロセッサと、
    メモリと、
    前記メモリに記憶された前記1つもしくは複数のプロセッサによって実行される1つもしくは複数のプログラムと、
    を含み、少なくとも1つの前記プログラムは、
    第一ユーザによる複数の3次元ジェスチャサンプルを記録し、前記3次元ジェスチャサンプルは前記第一ユーザにより選択されたジェスチャに対応し、其々記録された前記3次元ジェスチャサンプルの各々には、複数の特定身体部位について其々位置の時間変化を含み、
    前記3次元ジェスチャサンプルから平均ジェスチャTを計算し、
    前記平均ジェスチャTに対応するエラー許容値εを選択し、
    前記第一ユーザに対するジェスチャテンプレートとして前記平均ジェスチャT及び前記エラー許容値εを記憶し、
    認証のためにユーザから3次元ジェスチャをキャプチャし、前記キャプチャされた3次元ジェスチャには、複数の身体部位について位置の時間変化を含み、
    前記キャプチャされた3次元ジェスチャと平均ジェスチャTとの間の距離dを計算し、
    前記距離dがε以下であるとき前記ユーザを前記第一ユーザとして認証することにより前記ユーザはコンピュータデバイスのセキュアな機能へのアクセスを獲得し、前記距離dがεよりも大きいとき前記ユーザを認証しない、
    命令を含み、
    前記エラー許容値の選択は、前記3次元ジェスチャサンプルの拡散度を測定する分散値を計算することを含み、
    前記エラー許容値を前記計算された分散値に設定することをさらに含み、
    前記3次元ジェスチャサンプルの拡散度の測定は距離計量を用い、
    前記分散値の計算は前記距離計量を用いて、3次元ジェスチャサンプルのペア間の最大距離を計算することを含む、
    ユーザ認証システム。
  6. 深度センサと、
    1つもしくは複数のプロセッサと、
    メモリと、
    前記メモリに記憶された前記1つもしくは複数のプロセッサによって実行される1つもしくは複数のプログラムと、
    を含み、少なくとも1つの前記プログラムは、
    第一ユーザによる複数の3次元ジェスチャサンプルを記録し、前記3次元ジェスチャサンプルは前記第一ユーザにより選択されたジェスチャに対応し、其々記録された前記3次元ジェスチャサンプルの各々には、複数の特定身体部位について其々位置の時間変化を含み、
    前記3次元ジェスチャサンプルから平均ジェスチャTを計算し、
    前記平均ジェスチャTに対応するエラー許容値εを選択し、
    前記第一ユーザに対するジェスチャテンプレートとして前記平均ジェスチャT及び前記エラー許容値εを記憶し、
    認証のためにユーザから3次元ジェスチャをキャプチャし、前記キャプチャされた3次元ジェスチャには、複数の身体部位について位置の時間変化を含み、
    前記キャプチャされた3次元ジェスチャと平均ジェスチャTとの間の距離dを計算し、
    前記距離dがε以下であるとき前記ユーザを前記第一ユーザとして認証することにより前記ユーザはコンピュータデバイスのセキュアな機能へのアクセスを獲得し、前記距離dがεよりも大きいとき前記ユーザを認証しない、
    命令を含み、
    前記エラー許容値の選択は、前記3次元ジェスチャサンプルの拡散度を測定する分散値を計算することを含み、
    前記エラー許容値を前記計算された分散値に設定することをさらに含み、
    前記3次元ジェスチャサンプルの拡散度の測定は距離計量を用い、
    前記分散値の計算は、距離計量を用いて、3次元ジェスチャサンプルと前記平均ジェスチャTとの間の最大距離を計算することを含む、
    ユーザ認証システム。
  7. 深度センサと、
    1つもしくは複数のプロセッサと、
    メモリと、
    前記メモリに記憶された前記1つもしくは複数のプロセッサによって実行される1つもしくは複数のプログラムと、
    を含み、少なくとも1つの前記プログラムは、
    第一ユーザによる複数の3次元ジェスチャサンプルを記録し、前記3次元ジェスチャサンプルは前記第一ユーザにより選択されたジェスチャに対応し、其々記録された前記3次元ジェスチャサンプルの各々には、複数の特定身体部位について其々位置の時間変化を含み、
    前記3次元ジェスチャサンプルから平均ジェスチャTを計算し、
    前記平均ジェスチャTに対応するエラー許容値εを選択し、
    前記第一ユーザに対するジェスチャテンプレートとして前記平均ジェスチャT及び前記エラー許容値εを記憶し、
    認証のためにユーザから3次元ジェスチャをキャプチャし、前記キャプチャされた3次元ジェスチャには、複数の身体部位について位置の時間変化を含み、
    前記キャプチャされた3次元ジェスチャと平均ジェスチャTとの間の距離dを計算し、
    前記距離dがε以下であるとき前記ユーザを前記第一ユーザとして認証することにより前記ユーザはコンピュータデバイスのセキュアな機能へのアクセスを獲得し、前記距離dがεよりも大きいとき前記ユーザを認証しない、
    命令を含み、
    前記エラー許容値εの選択は、前記3次元ジェスチャサンプルの拡散度を計算することを含み、
    前記拡散度が予め定められた最小の拡散値よりも小さいとき、
    追加ジェスチャサンプルを記録し、
    前記追加ジェスチャサンプルを用いて前記平均ジェスチャTを再計算する、
    ことをさらに含む、
    ユーザ認証システム。
  8. 深度センサと、
    1つもしくは複数のプロセッサと、
    メモリと、
    前記メモリに記憶された前記1つもしくは複数のプロセッサによって実行される1つもしくは複数のプログラムと、
    を含み、少なくとも1つの前記プログラムは、
    第一ユーザによる複数の3次元ジェスチャサンプルを記録し、前記3次元ジェスチャサンプルは前記第一ユーザにより選択されたジェスチャに対応し、其々記録された前記3次元ジェスチャサンプルの各々には、複数の特定身体部位について其々位置の時間変化を含み、
    前記3次元ジェスチャサンプルから平均ジェスチャTを計算し、
    前記平均ジェスチャTに対応するエラー許容値εを選択し、
    前記第一ユーザに対するジェスチャテンプレートとして前記平均ジェスチャT及び前記エラー許容値εを記憶し、
    認証のためにユーザから3次元ジェスチャをキャプチャし、前記キャプチャされた3次元ジェスチャには、複数の身体部位について位置の時間変化を含み、
    前記キャプチャされた3次元ジェスチャと平均ジェスチャTとの間の距離dを計算し、
    前記距離dがε以下であるとき前記ユーザを前記第一ユーザとして認証することにより前記ユーザはコンピュータデバイスのセキュアな機能へのアクセスを獲得し、前記距離dがεよりも大きいとき前記ユーザを認証しない、
    命令を含
    前記エラー許容値εの選択は、前記3次元ジェスチャサンプルの拡散度を計算することを含み、
    前記拡散度が予め定められた最大の拡散値よりも大きいとき、
    追加ジェスチャサンプルを記録し、
    前記追加ジェスチャサンプルを用いて前記平均ジェスチャTを再計算する、
    ことをさらに含む、
    ユーザ認証システム。
  9. 第一ユーザによる複数の3次元ジェスチャサンプルを記録し、前記3次元ジェスチャサンプルは前記第一ユーザにより選択されたジェスチャに対応し、其々記録された前記3次元ジェスチャサンプルの各々には、複数の特定身体部位について其々位置の時間変化を含み、
    前記3次元ジェスチャサンプルから平均ジェスチャTを計算し、
    前記平均ジェスチャTに対応するエラー許容値εを選択し、
    前記第一ユーザに対するジェスチャテンプレートとして前記平均ジェスチャT及び前記エラー許容値εを記憶し、
    認証のためにユーザから3次元ジェスチャをキャプチャし、前記キャプチャされた3次元ジェスチャには、複数の身体部位について位置の時間変化を含み、
    前記キャプチャされた3次元ジェスチャと平均ジェスチャTとの間の距離dを計算し、
    前記距離dがε以下であるとき前記ユーザを前記第一ユーザとして認証することにより前記ユーザはコンピュータデバイスのセキュアな機能へのアクセスを獲得し、前記距離dがεよりも大きいとき前記ユーザを認証しない、
    処理をコンピュータに実行させるためのユーザ認証プログラムであって、
    前記エラー許容値の選択は、前記3次元ジェスチャサンプルの拡散度を測定する分散値を計算することを含み、
    前記エラー許容値を前記計算された分散値に設定することをさらに含み、
    前記3次元ジェスチャサンプルの拡散度の測定は距離計量を用い、
    前記分散値の計算は前記距離計量を用いて、3次元ジェスチャサンプルのペア間の最大距離を計算することを含む、
    ユーザ認証プログラム。
  10. 第一ユーザによる複数の3次元ジェスチャサンプルを記録し、前記3次元ジェスチャサンプルは前記第一ユーザにより選択されたジェスチャに対応し、其々記録された前記3次元ジェスチャサンプルの各々には、複数の特定身体部位について其々位置の時間変化を含み、
    前記3次元ジェスチャサンプルから平均ジェスチャTを計算し、
    前記平均ジェスチャTに対応するエラー許容値εを選択し、
    前記第一ユーザに対するジェスチャテンプレートとして前記平均ジェスチャT及び前記エラー許容値εを記憶し、
    認証のためにユーザから3次元ジェスチャをキャプチャし、前記キャプチャされた3次元ジェスチャには、複数の身体部位について位置の時間変化を含み、
    前記キャプチャされた3次元ジェスチャと平均ジェスチャTとの間の距離dを計算し、
    前記距離dがε以下であるとき前記ユーザを前記第一ユーザとして認証することにより前記ユーザはコンピュータデバイスのセキュアな機能へのアクセスを獲得し、前記距離dがεよりも大きいとき前記ユーザを認証しない、
    処理をコンピュータに実行させるためのユーザ認証プログラムであって、
    前記エラー許容値の選択は、前記3次元ジェスチャサンプルの拡散度を測定する分散値を計算することを含み、
    前記エラー許容値を前記計算された分散値に設定することをさらに含み、
    前記3次元ジェスチャサンプルの拡散度の測定は距離計量を用い、
    前記分散値の計算は、距離計量を用いて、3次元ジェスチャサンプルと前記平均ジェスチャTとの間の最大距離を計算することを含む、
    ユーザ認証プログラム。
  11. 第一ユーザによる複数の3次元ジェスチャサンプルを記録し、前記3次元ジェスチャサンプルは前記第一ユーザにより選択されたジェスチャに対応し、其々記録された前記3次元ジェスチャサンプルの各々には、複数の特定身体部位について其々位置の時間変化を含み、
    前記3次元ジェスチャサンプルから平均ジェスチャTを計算し、
    前記平均ジェスチャTに対応するエラー許容値εを選択し、
    前記第一ユーザに対するジェスチャテンプレートとして前記平均ジェスチャT及び前記エラー許容値εを記憶し、
    認証のためにユーザから3次元ジェスチャをキャプチャし、前記キャプチャされた3次元ジェスチャには、複数の身体部位について位置の時間変化を含み、
    前記キャプチャされた3次元ジェスチャと平均ジェスチャTとの間の距離dを計算し、
    前記距離dがε以下であるとき前記ユーザを前記第一ユーザとして認証することにより前記ユーザはコンピュータデバイスのセキュアな機能へのアクセスを獲得し、前記距離dがεよりも大きいとき前記ユーザを認証しない、
    処理をコンピュータに実行させるためのユーザ認証プログラムであって、
    前記エラー許容値εの選択は、前記3次元ジェスチャサンプルの拡散度を計算することを含み、
    前記拡散度が予め定められた最小の拡散値よりも小さいとき、
    追加ジェスチャサンプルを記録し、
    前記追加ジェスチャサンプルを用いて前記平均ジェスチャTを再計算する、
    ことをさらに含む、
    ユーザ認証プログラム。
  12. 第一ユーザによる複数の3次元ジェスチャサンプルを記録し、前記3次元ジェスチャサンプルは前記第一ユーザにより選択されたジェスチャに対応し、其々記録された前記3次元ジェスチャサンプルの各々には、複数の特定身体部位について其々位置の時間変化を含み、
    前記3次元ジェスチャサンプルから平均ジェスチャTを計算し、
    前記平均ジェスチャTに対応するエラー許容値εを選択し、
    前記第一ユーザに対するジェスチャテンプレートとして前記平均ジェスチャT及び前記エラー許容値εを記憶し、
    認証のためにユーザから3次元ジェスチャをキャプチャし、前記キャプチャされた3次元ジェスチャには、複数の身体部位について位置の時間変化を含み、
    前記キャプチャされた3次元ジェスチャと平均ジェスチャTとの間の距離dを計算し、
    前記距離dがε以下であるとき前記ユーザを前記第一ユーザとして認証することにより前記ユーザはコンピュータデバイスのセキュアな機能へのアクセスを獲得し、前記距離dがεよりも大きいとき前記ユーザを認証しない、
    処理をコンピュータに実行させるためのユーザ認証プログラムであって、
    前記エラー許容値εの選択は、前記3次元ジェスチャサンプルの拡散度を計算することを含み、
    前記拡散度が予め定められた最大の拡散値よりも大きいとき、
    追加ジェスチャサンプルを記録し、
    前記追加ジェスチャサンプルを用いて前記平均ジェスチャTを再計算する、
    ことをさらに含む、
    ユーザ認証プログラム。
JP2015045103A 2014-04-03 2015-03-06 ユーザ認証方法、システム、及びプログラム Expired - Fee Related JP6565230B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US14/244,839 2014-04-03
US14/244,839 US9355236B1 (en) 2014-04-03 2014-04-03 System and method for biometric user authentication using 3D in-air hand gestures

Publications (2)

Publication Number Publication Date
JP2015201174A JP2015201174A (ja) 2015-11-12
JP6565230B2 true JP6565230B2 (ja) 2019-08-28

Family

ID=54552330

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2015045103A Expired - Fee Related JP6565230B2 (ja) 2014-04-03 2015-03-06 ユーザ認証方法、システム、及びプログラム

Country Status (2)

Country Link
US (1) US9355236B1 (ja)
JP (1) JP6565230B2 (ja)

Families Citing this family (31)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9836896B2 (en) 2015-02-04 2017-12-05 Proprius Technologies S.A.R.L Keyless access control with neuro and neuro-mechanical fingerprints
US9577992B2 (en) * 2015-02-04 2017-02-21 Aerendir Mobile Inc. Data encryption/decryption using neuro and neuro-mechanical fingerprints
US9590986B2 (en) * 2015-02-04 2017-03-07 Aerendir Mobile Inc. Local user authentication with neuro and neuro-mechanical fingerprints
US10235507B1 (en) * 2015-04-20 2019-03-19 Intensity Analytics Corporation Authentication via typing cadence, gestures, and QR codes
US10137777B2 (en) 2015-11-03 2018-11-27 GM Global Technology Operations LLC Systems and methods for vehicle system control based on physiological traits
US11893147B2 (en) 2016-03-11 2024-02-06 Limbic Life Ag Occupant support device and system for controlling objects
EP3226182A1 (en) 2016-03-29 2017-10-04 Locatee AG Device, system and method for monitoring usage of functional facilities
CN108351708B (zh) * 2016-10-14 2020-04-03 华为技术有限公司 三维手势解锁方法、获取手势图像的方法和终端设备
CH713061B1 (de) 2016-10-19 2021-03-31 Smart Secure Id Ag System und Verfahren zur berührungslosen biometrischen Authentifizierung.
DE102016225644A1 (de) * 2016-12-20 2018-06-21 Bundesdruckerei Gmbh Verfahren und System zur verhaltensbasierten Authentifizierung eines Nutzers
US10417402B2 (en) * 2017-02-10 2019-09-17 International Business Machines Corporation Supplemental hand gesture authentication
JP6266833B1 (ja) 2017-07-28 2018-01-24 京セラ株式会社 電子機器、プログラムおよび制御方法
US10225737B1 (en) * 2017-10-31 2019-03-05 Konica Minolta Laboratory U.S.A., Inc. Method and system for authenticating a user using a mobile device having plural sensors
US10680823B2 (en) * 2017-11-09 2020-06-09 Cylance Inc. Password-less software system user authentication
US10599824B2 (en) * 2017-11-16 2020-03-24 Bank Of America Corporation Authenticating access to a computing resource using pattern-based facial recognition
DE102017220545A1 (de) * 2017-11-17 2019-05-23 Bundesdruckerei Gmbh Verhaltensbasierte Authentifizierung mit Rückfallposition
JP2019028973A (ja) * 2017-12-20 2019-02-21 京セラ株式会社 電子機器、プログラムおよび制御方法
WO2019120290A1 (zh) * 2017-12-22 2019-06-27 北京市商汤科技开发有限公司 动态手势识别方法和装置、手势交互控制方法和装置
US10628667B2 (en) * 2018-01-11 2020-04-21 Futurewei Technologies, Inc. Activity recognition method using videotubes
SG10201801145QA (en) * 2018-02-09 2019-09-27 Mastercard Asia Pacific Pte Ltd System and method for conducting a transaction
CN110415386A (zh) 2018-04-27 2019-11-05 开利公司 基于姿势的进入控制系统的预编程场景数据的建模
US10986087B2 (en) * 2018-07-17 2021-04-20 International Business Machines Corporation Motion based authentication
US11580002B2 (en) 2018-08-17 2023-02-14 Intensity Analytics Corporation User effort detection
US11295026B2 (en) * 2018-11-20 2022-04-05 Forcepoint, LLC Scan, detect, and alert when a user takes a photo of a computer monitor with a mobile phone
US10877568B2 (en) * 2018-12-19 2020-12-29 Arizona Board Of Regents On Behalf Of Arizona State University Three-dimensional in-the-air finger motion based user login framework for gesture interface
US10739864B2 (en) * 2018-12-31 2020-08-11 International Business Machines Corporation Air writing to speech system using gesture and wrist angle orientation for synthesized speech modulation
US11120255B2 (en) * 2019-02-06 2021-09-14 Arizona Board Of Regents On Behalf Of Arizona State University Systems and methods for a multifactor user identification and authentication framework for in-air-handwriting with hand geometry and deep hashing
US11138609B2 (en) 2019-04-08 2021-10-05 Mastercard International Incorporated Methods, systems and computer program products for identity authentication for payment card based payment transactions
CN110677390B (zh) * 2019-09-10 2023-03-24 中国平安财产保险股份有限公司 异常账号识别的方法、装置、电子设备和存储介质
US11977611B2 (en) 2020-10-20 2024-05-07 Mastercard International Incorporated Digital rights management platform
WO2024027940A1 (en) * 2022-08-03 2024-02-08 Das-Gate Access Control Solutions S.L. System and method for determining the update of a reference credential

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI246028B (en) * 2001-06-28 2005-12-21 Trek 2000 Int Ltd A portable device having biometrics-based authentication capabilities
JP2004046697A (ja) * 2002-07-15 2004-02-12 Omron Corp 個人認証装置
US20050212760A1 (en) * 2004-03-23 2005-09-29 Marvit David L Gesture based user interface supporting preexisting symbols
JP4709065B2 (ja) * 2006-05-18 2011-06-22 Necカシオモバイルコミュニケーションズ株式会社 指紋認証機能付き携帯端末装置及びプログラム
US7971156B2 (en) * 2007-01-12 2011-06-28 International Business Machines Corporation Controlling resource access based on user gesturing in a 3D captured image stream of the user
JP2009009280A (ja) * 2007-06-27 2009-01-15 Toyota Infotechnology Center Co Ltd 3次元署名認証システム
US8539550B1 (en) * 2008-05-29 2013-09-17 Intuit Inc. Multi-pattern authentication gestures
US8824749B2 (en) * 2011-04-05 2014-09-02 Microsoft Corporation Biometric recognition
US9965107B2 (en) * 2011-10-28 2018-05-08 Atmel Corporation Authenticating with active stylus
US20130111580A1 (en) * 2011-11-01 2013-05-02 Checco Services, Inc. Method for providing computer-based authentication utilizing gesture biometrics
ES2577149T3 (es) * 2011-12-15 2016-07-13 Orange Sistema de seguridad de gesto privado/público y método de funcionamiento del mismo
EP2605172A3 (en) * 2011-12-15 2015-07-08 Orange Multi-person gestural authentication and authorization system and method of operation thereof
US9147059B2 (en) * 2012-02-22 2015-09-29 Polytechnic Institute Of New York University Biometric-rich gestures for authentication on multi-touch devices
US9571816B2 (en) * 2012-11-16 2017-02-14 Microsoft Technology Licensing, Llc Associating an object with a subject
US9589120B2 (en) * 2013-04-05 2017-03-07 Microsoft Technology Licensing, Llc Behavior based authentication for touch screen devices
US20150177842A1 (en) * 2013-12-23 2015-06-25 Yuliya Rudenko 3D Gesture Based User Authorization and Device Control Methods
US9223955B2 (en) * 2014-01-30 2015-12-29 Microsoft Corporation User-authentication gestures

Also Published As

Publication number Publication date
JP2015201174A (ja) 2015-11-12
US9355236B1 (en) 2016-05-31

Similar Documents

Publication Publication Date Title
JP6565230B2 (ja) ユーザ認証方法、システム、及びプログラム
US10200360B2 (en) Authentication using physical interaction characteristics
EP3862897B1 (en) Facial recognition for user authentication
EP3100152B1 (en) User-authentication gestures
US10509943B2 (en) Method of processing fingerprint information
TWI595374B (zh) 使用生物運動輸入的使用者識別
US9251407B2 (en) Security system utilizing gesture recognition
KR20170025802A (ko) 지문 인식 기반 인증 방법 및 장치
US11537693B2 (en) Keyboard and mouse based behavioral biometrics to enhance password-based login authentication using machine learning model
US10586031B2 (en) Biometric authentication of a user
US10878071B2 (en) Biometric authentication anomaly detection
JP6394323B2 (ja) 生体認証方法、生体認証プログラム、生体認証装置
WO2016045225A1 (zh) 基于鼠标行为的密码容错方法
Lu et al. Multifactor user authentication with in-air-handwriting and hand geometry
Burgbacher et al. A behavioral biometric challenge and response approach to user authentication on smartphones
JP7305183B2 (ja) ペン入力個人認証方法、ペン入力個人認証方法をコンピュータに実行させるためのプログラム、及びコンピュータ読み取り可能な記憶媒体
Pilankar et al. Multi-phase mouse dynamics authentication system using behavioural biometrics
Nakamura et al. Tablet owner authentication based on behavioral characteristics of multi-touch actions
Eremin et al. A concept of continuous user authentication based on behavioral biometrics
US9405891B1 (en) User authentication
Oh et al. Research on Implementation of User Authentication Based on Gesture Recognition of Human
Gorke et al. SMAUG: Secure Mobile Authentication Using Gestures
KR20230113942A (ko) 인공 지능에 기반한 필기 입력에 따른 사용자 인증 수행 방법 및 인공 지능에 기반한 필기 입력에 따른 사용자 인증 수행 장치
Pisupati Exploring Pressure and Stroke Curvature as Critical Features for User Authentication on Touch-screen Mobile Handheld Devices
Lee et al. A skeleton and gesture based user authentication system

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20180129

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20190125

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20190205

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190402

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20190702

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20190715

R150 Certificate of patent or registration of utility model

Ref document number: 6565230

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

S533 Written request for registration of change of name

Free format text: JAPANESE INTERMEDIATE CODE: R313533

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

LAPS Cancellation because of no payment of annual fees