JP2024049979A - 認証システムおよび認証方法 - Google Patents

Abstract

【課題】高精度に生体情報を取得し、本人確認の認証の誤動作を防止する。
【解決手段】認証システムは、端末装置に表示するガイド映像を出力する出力部と、ガイド映像に基づく被認証者の手指の動きを所定時間撮像した画像情報を取得する取得部と、画像情報から手指の先端または手指の関節の位置を検出する検出部と、検出した手指の先端または手指の関節の位置を用いて、被認証者を認証する認証部と、を備え、出力部は、初期状態として少なくとも１本の指を開いた状態を被認証者に促すガイド映像を出力する。
【選択図】図１

Description

本開示は、認証システムおよび認証方法に関する。

特許文献１には、指の屈伸運動計測を利用した個人認証方法が開示されている。個人認証方法は、被認証者の指の屈伸運動を撮像した連続画像であって、指の側面を撮像した複数のデジタル画像を取得する。個人認証方法は、指の側面の複数のデジタル画像ごとに、指の輪郭線を抽出し、抽出した輪郭線について曲率のプロフィールを求め、曲率のプロフィールを指の曲げ角度と対応付けて記憶する。個人認証方法は、被認証者の曲率のプロフィールを所定の指の曲げ角度ごとに照合することによって認証を行うことを特徴とする。

特開２００９－２４５２３１号公報

特許文献１に開示された個人認証方法では、１本の指の屈伸運動を指の側面から撮像し、指の側面の撮像画像から曲率のプロフィールを求め、指の曲げ角度ごとに照合し被認証者の認証を実行する。このため、被認証者の手指を１本でなく複数本を対象として広範囲に撮像することで得られる生体情報を用いて、本人確認の認証をすることで高精度な認証が可能になると考えることができる。しかしながら、複数本の手指を撮像デバイスにかざすことで認証装置が生体情報を取得する場合、手指の取り得るポーズの自由度が多いため、手指から得られる生体情報を高精度に検出することが難しく認証処理の誤動作が発生するという課題がある。

本開示は、上述した従来の状況に鑑みて案出され、高精度に生体情報を取得し、本人確認の認証の誤動作を防止することを目的とする。

本開示は、端末装置に表示するガイド映像を出力する出力部と、前記ガイド映像に基づく被認証者の手指の動きを所定時間撮像した画像情報を取得する取得部と、前記画像情報から前記手指の先端または前記手指の関節の位置を検出する検出部と、検出した前記手指の先端または前記手指の関節の位置を用いて、前記被認証者を認証する認証部と、を備え、前記出力部は、初期状態として少なくとも１本の指を開いた状態を前記被認証者に促すガイド映像を出力する、認証システムを提供する。

また、本開示は、端末装置に表示するガイド映像を出力し、前記ガイド映像に基づく被認証者の手指の動きを所定時間撮像した画像情報を取得し、前記画像情報から前記手指の先端または前記手指の関節の位置を検出し、検出した前記手指の先端または前記手指の関節の位置を用いて、前記被認証者を認証し、初期状態として少なくとも１本の指を開いた状態を前記被認証者に促すガイド映像を出力する、認証方法を提供する。

なお、これらの包括的または具体的な態様は、システム、装置、方法、集積回路、コンピュータプログラム、または、記録媒体で実現されてもよく、システム、装置、方法、集積回路、コンピュータプログラムおよび記録媒体の任意な組み合わせで実現されてもよい。

本開示によれば、高精度に生体情報を取得し、本人確認の認証の誤動作を防止することができる。

本実施の形態に係る端末装置と認証装置とのそれぞれの内部構成例を示すブロック図 第１の角度の定義を説明する図 第２の角度の定義を説明する図 第３の角度の定義を説明する図 認証に使用するため切り出される期間について説明する図 角度の時系列データを用いて認証を実行する処理を表すフローチャート 特徴画像について説明する図 角度のデータを蓄積し認証を行う処理について説明する図 被認証者が端末装置に手をかざした際の認証装置の状態遷移について説明する図 手を端末装置にかざす前に端末装置に表示させる画面例を説明する図 認証装置がポーズの遷移を取得中に端末装置に表示させる画面例を説明する図 認証結果を示す画面例を説明する図 カメラと手との適切な距離について説明する図 カメラと手との距離が不適切な場合に表示する画面例を説明する図 カメラと手との距離が不適切な場合に表示する画面例を説明する図 変形例に係る端末装置と認証装置とクラウドサーバとのそれぞれの内部構成例を説明するブロック図 クラウドサーバによる認証処理のシーケンス図

以下、図面を適宜参照して、本開示に係る認証装置および認証方法を具体的に開示した実施の形態について、詳細に説明する。ただし、必要以上に詳細な説明は省略する場合がある。例えば、すでによく知られた事項の詳細説明および実質的に同一の構成に対する重複説明を省略する場合がある。これは、以下の説明が不必要に冗長になるのを避け、当業者の理解を容易にするためである。なお、添付図面および以下の説明は、当業者が本開示を十分に理解するために提供されるのであって、これらにより特許請求の記載の主題を限定することは意図されていない。

図１を参照して、本実施の形態に係る端末装置と認証装置とのそれぞれの内部構成例を説明する。図１は、本実施の形態に係る端末装置と認証装置とのそれぞれの内部構成例を示すブロック図である。

認証システム１００は、例えば、複数の人物が出入りする場所に設置され、入場規制を行う目的で、展示会、スタジアム、遊園地、または観光地等で用いられる。なお、認証システム１００が用いられる目的および場所は一例でありこれらに限られず、銀行等のＡＴＭ（Ａｕｔｏｍａｔｉｃ Ｔｅｌｌｅｒ Ｍａｃｈｉｎｅ）、クリーンルーム、食品工場またはコインロッカ等で本人確認の認証のために用いられてもよい。なお、認証システムを区別する場合は、数字の後にアルファベットを付けて説明する。また、認証システムを区別しない場合は、数字のみを付けて説明する。

認証システム１００および認証システム１００Ａは、端末装置２０と認証装置３０とを少なくとも含む。

端末装置２０は、認証装置３０において実行される認証処理に使用される被認証者の生体情報を取得する。端末装置２０は、手かざし面２３、カメラ２１および表示デバイス２２を含む。端末装置２０は、例えば、直方体の形状の筐体、直方体の一部が切り取られた形状の筐体、タブレットまたはパーソナルコンピュータ等である。直方体の一部が切り取られた形状の筐体とは、例えば、直方体から直方体の少なくとも１つの辺を含む三角柱を切り欠かれた形状である。つまり、図１の端末装置２０の示す斜面（対向面２４）を有する形状の筐体である。なお、端末装置２０の例は一例でありこれらに限られない。

カメラ２１は、被認証者の手指を撮像するカメラである。カメラ２１は、例えば、赤外線カメラである。カメラ２１が赤外線カメラである場合、カメラ２１は、撮像対象の３次元情報を取得する。カメラ２１は、少なくとも光学素子としてのレンズ（不図示）と赤外線センサ（不図示）とを有して構成される。レンズは、カメラ２１の撮像領域である画角内からの撮像対象により反射された光を入射して赤外線センサの受光面（言い換えると、撮像面）に撮像対象の光学像を結像する。カメラ２１は、撮像対象の光学像に基づく光電変換によって得られる電気信号である画像データ（映像データ）を認証装置３０の通信Ｉ／Ｆ３１に出力する。ここで、Ｉ／Ｆとは、インターフェースのことを表す。カメラ２１は、ある時間に撮像した画像データを都度認証装置３０に送信してもよいし、所定の時間間隔で撮像した画像データを映像データとして認証装置３０に送信してもよい。以下、カメラ２１で撮像した画像データ（映像データ）のことを撮像データと称する。また、カメラ２１は、赤外線カメラに限られず可視光カメラでもよい。カメラ２１が可視光カメラの場合、認証装置３０の手指関節位置検出部３３Ａにおいて撮像データをディープラーニング等の公知技術を用いて解析することで、手指関節位置検出部３３Ａは３次元情報を取得する。

表示デバイス２２は、被認証者に対する指示の内容を含む画像データもしくは映像データを表示する。被認証者に対する指示とは、例えば、手かざし面２３に手１０をかざすことを促す指示、または手かざし面２３にかざす手指のポーズを指定する指示等である。以下、被認証者に対する指示の内容を含む画像データもしくは映像データのことを「ガイド映像」と称する。ガイド映像は、例えば、手を開いた画像またはテキストによる指示等である。表示デバイス２２は、例えば、ディスプレイまたはタッチパネルディスプレイ等である。なお、表示デバイス２２は、例えば端末装置２０の筐体（上述参照）の対向面２４の上部側に配置される。これにより、被認証者は、自ら端末装置２０の筐体に対面して位置している時に、表示デバイス２２の内容を視認し易くなる。

手かざし面２３は、被認証者が手のひらを対向させるように手指をかざす領域であり、端末装置２０は手かざし面２３にかざされた被認証者の手１０を撮像対象としてカメラ２１で撮像する。手かざし面２３は、例えば、ガラス等の透明な材質で構成される。なお、手かざし面２３は、端末装置２０から省略されてもよく、端末装置２０が被認証者の手指をカメラ２１で直接撮像できる構成であってもよい。なお、手かざし面２３は、例えば端末装置２０の筐体（上述参照）の対向面２４の表示デバイス２２よりも下部側（言い換えると、被認証者の手前側）に配置される。これにより、被認証者は、表示デバイス２２の表示内容（例えば上述したガイド映像）の表示を自身の手指で遮ることなく手指を簡易に手かざし面２３に近づけることができる。

認証装置３０は、通信Ｉ／Ｆ３１、メモリ３２、プロセッサ３３およびデータベース３４を含む。認証装置３０は、端末装置２０から取得した撮像データを解析するプロセッサ３３を備えた筐体等である。認証装置３０は、タブレット、ＰＣ（Ｐｅｒｓｏｎａｌ Ｃｏｍｐｕｔｅｒ）、携帯端末等であってもよい。

通信Ｉ／Ｆ３１は、端末装置２０と認証装置３０との間で無線または有線で通信を行うネットワークインターフェース回路である。通信Ｉ／Ｆ３１での通信に使用される通信方式は、例えば、ＷＡＮ（Ｗｉｄｅ Ａｒｅａ Ｎｅｔｗｏｒｋ）、ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）、ＬＴＥ（Ｌｏｎｇ Ｔｅｒｍ Ｅｖｏｌｕｔｉｏｎ）、５Ｇ等の移動体通信、電力線通信、近距離無線通信（例えばＢｌｏｏｔｏｏｔｈ（登録商標）通信）、携帯電話用の通信等である。

メモリ３２は、例えばプロセッサ３３が行う各種の処理を規定したプログラムとそのプログラムの実行中に使用するデータとを格納するＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）と、プロセッサ３３が行う各種の処理を実行する際に用いるワークメモリとしてのＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）と、を少なくとも有する。ＲＯＭには、プロセッサ３３が行う各種の処理を規定したプログラムとそのプログラムの実行中に使用するデータとが書き込まれている。ＲＡＭには、プロセッサ３３により生成あるいは取得されたデータもしくは情報（例えば、被認証者の手指の関節の位置情報等）が一時的に保存される。なお、ＲＯＭは、例えば、フラッシュメモリ、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）、あるいはＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）などの記憶媒体または認証装置３０外部のサーバ装置などに置き替えて、装置起動時にデータを読み込むように処理してもよい。

プロセッサ３３は、手指関節位置検出部３３Ａ、角度算出部３３Ｂ、時系列データ切り出し部３３Ｃ、認証部３３Ｄ、および出力制御部３３Ｅを含む。例えばＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＤＳＰ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ）、ＧＰＵ（Ｇｒａｐｈｉｃａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）等の電子デバイスのうち少なくとも１つが実装された半導体チップを用いられる。プロセッサ３３は、認証装置３０の全体的な動作を司るコントローラとして機能し、認証装置３０の各部の動作を統括するための制御処理、認証装置３０の各部との間のデータの入出力処理、データの演算処理および、データの記憶処理を行う。

プロセッサ３３は、メモリ３２のＲＯＭに記憶されたプログラムおよびデータを用いることで、手指関節位置検出部３３Ａ、角度算出部３３Ｂ、時系列データ切り出し部３３Ｃ、認証部３３Ｄ、および出力制御部３３Ｅのそれぞれの機能を実現する。プロセッサ３３は、動作中にメモリ３２のＲＡＭを使用し、プロセッサ３３および各部が生成あるいは取得したデータもしくは情報をメモリ３２のＲＡＭに一時的に保存する。

検出部の一例としての手指関節位置検出部３３Ａは、通信Ｉ／Ｆ３１から取得した３次元情報を含む撮像データを解析し、撮像データに映る被認証者の指の先端の位置、手のひらの中の骨の端点および手指の関節の位置の３次元座標を検出する。

算出部の一例としての角度算出部３３Ｂは、手指関節位置検出部３３Ａから取得した被認証者の指の先端の位置、手のひらの中の骨の端点の位置および手指の関節の位置の３次元情報を基に、各種角度を算出する。各種角度とは、例えば、指の先端の位置と指の先端の位置とを結ぶ仮想線の交わる角度、関節の位置と関節の位置とを結ぶ仮想線の交わる角度または骨の端点の位置と骨の端点の位置とを結ぶ仮想線の交わる角度である。仮想線は、例えば３次元座標系でのベクトルで表される。角度算出部３３Ｂは、指が伸びる方向に接続された関節の角度（図２参照）、左右隣接する指の先端および関節をつなぐ角度（図３参照）および各指の開く角度（図４参照）の３種類の角度を算出する。角度算出部３３Ｂが算出する３種類の角度については図２、図３および図４の説明で詳述する。

手指関節位置検出部３３Ａおよび角度算出部３３Ｂは、端末装置２０から送られてくる撮像データを都度解析してもよいし、第１の所定時間間隔で撮像データを解析してもよい。角度算出部３３Ｂは、解析により得られた第１の所定時間分の角度のデータを時系列に並べたデータ（以下、時系列データと称する）を時系列データ切り出し部３３Ｃに出力する。

切り出し部の一例としての時系列データ切り出し部３３Ｃは、角度算出部３３Ｂから取得した角度の時系列データから被認証者の本人確認の認証に使用する特定の期間で切り出す。時系列データ切り出し部３３Ｃは、切り出す開始のタイミングとして例えば、被認証者の手指がカメラ２１に映り始めてから特定の手指の形（例えば、手指を「パー」の形に開いた状態）を取った後から角度の時系列データを切り出す。以下、特定の手指の形のことを「ポーズ」と称する。時系列データ切り出し部３３Ｃは、切り出す特定の期間として例えば、「パー」、「チョキ」、「グー」の順番で手指の形の変化が完了するまでの期間の角度の時系列データを切り出す。なお、時系列データ切り出し部３３Ｃが角度の時系列データを切り出し始めるタイミングおよび切り出す特定の期間は、これらは一例であり限られない。時系列データ切り出し部３３Ｃが角度の時系列データを切り出す期間は、予め決められたポーズの中から、認証装置３０の管理者もしくは被認証者がポーズ、ポーズの順番およびポーズの数を決めてもよい。また、時系列データ切り出し部３３Ｃは、関節の角度情報の組み合わせでポーズを判定する。

時系列データ切り出し部３３Ｃは、手指関節位置検出部３３Ａが検出した関節の３次元座標を用いて、カメラ２１と被認証者の手との距離を測定する。

時系列データ切り出し部３３Ｃは、出力制御部３３Ｅに対し被認証者の手指の状態の通知を行う。時系列データ切り出し部３３Ｃは、被認証者の手指の状態の通知として、「被認証者の手指が検出された」、「データ取得開始時のポーズを検出した」または「データ取得終了の条件を満たした」等の通知を行う。また、時系列データ切り出し部３３Ｃは、「手指を検出してから所定時間経過してもデータ取得開始時のポーズを検出できない」、「データ取得開始時のポーズから所定時間経過してもデータ取得終了の条件を満たさない」、「手指が検出されなくなった」、「手指を所定時間未検出である」、「手指の距離がカメラ２１に対し近い」または「手指の距離がカメラ２１に対し遠い」等の場合、データ取得にエラーが発生したことを通知する。

認証部の一例としての認証部３３Ｄは、時系列データ切り出し部３３Ｃから取得した切り出された角度の時系列データから、被認証者の認証コードを算出するために用いる特徴画像を生成する。認証コードとは、１２８個の文字、数字または記号の少数の組で構成される各個人に特有のコードである。被認証者の特徴画像とは、その被認証者に対応して算出された角度と時間との情報を含む画像であり、図７で詳述する。認証部３３Ｄは、例えば、被認証者の特徴画像をディープラーニングを用いて解析することで被認証者の認証コードを算出する。認証部３３Ｄは、算出された被認証者の認証コードをデータベース３４に保存されてある複数の認証コードと照合することで被認証者の認証を実行する。認証部３３Ｄは、認証の結果を出力制御部３３Ｅに出力する。

出力部の一例としての出力制御部３３Ｅは、表示デバイス２２に表示させるガイド映像を生成し、表示デバイス２２に生成したガイド映像を出力する。また、出力制御部３３Ｅは、音による通知を行ってもよい。音による通知とは、アラーム音を鳴らすまたはエラーを通知するメッセージを含む音声を流す等である。なお、これらの音による通知は一例でありこれらに限られない。出力制御部３３Ｅは、時系列データ切り出し部３３Ｃからエラーの通知を取得した場合、エラーの内容に応じた通知を実行し、例えば、ガイド映像の制御または音の制御を行う。

データベース３４は、記憶媒体（例えばフラッシュメモリ、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）、あるいはＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ））を用いて構成される。データベース３４は、複数の認証コードを記憶している。

次に、図２、図３および図４を参照して、手指の関節の角度の定義について説明する。図２は、第１の角度の定義を説明する図である。図２では、指が伸びる方向に接続された関節の角度の定義を説明する。図２では、手の皮膚（表皮）の図示が省略されている。

手ｈｎは、右手の骨を表している。指ｔｈｕは親指の骨、指ｉｎｄは人差し指の骨、指ｍｉｄは中指の骨、指ｒｉｎは薬指の骨および指ｌｉｔは小指の骨である。以下、各指の骨および関節の定義は指ｌｉｔを代表して説明し、指ｔｈｕ、指ｉｎｄ、指ｍｉｄおよび指ｒｉｎの骨および関節の定義は指ｌｉｔと同様である。

骨Ｆ１は、中手骨である。骨Ｆ２は、基節骨である。骨Ｆ３は、中節骨である。骨Ｆ４は末節骨である。

骨Ｆ１の関節Ｃ０から関節Ｃ１までを結ぶベクトルをベクトルＶ１とする。以下、ベクトルは３次元ベクトルとして表される。関節Ｃ１から関節Ｃ２までを結ぶベクトルをベクトルＶ２とする。関節Ｃ２から関節Ｃ３までを結ぶベクトルをベクトルＶ３とする。関節Ｃ３から指先Ｋ１までを結ぶベクトルをベクトルＶ４とする。

指が伸びる方向に接続された関節の角度として、関節Ｃ１の角度をベクトルＶ１とベクトルＶ２とのなす角と定義する。

指が伸びる方向に接続された関節の角度として、関節Ｃ２の角度をベクトルＶ２とベクトルＶ３とのなす角と定義する。

指が伸びる方向に接続された関節の角度として、関節Ｃ３の角度をベクトルＶ３とベクトルＶ４とのなす角と定義する。

このように、手指関節位置検出部３３Ａは、第１の角度として定義された指が伸びる方向に接続された関節の角度（例えば、関節Ｃ１、関節Ｃ２および関節Ｃ３の角度）を、指ｔｈｕ、指ｉｎｄ、指ｍｉｄ、指ｒｉｄおよび指ｌｉｔの全ての指について算出する。つまり、手指関節位置検出部３３Ａは、同じ手指の隣り合う関節を結ぶ仮想線（つまり、ベクトル）により形成された角度を算出する。

次に、図３を参照して、第２の角度の定義を説明する。図３は、第２の角度の定義を説明する図である。図３では、左右隣接する手指の関節を繋ぐ角度の定義を説明する。図３では、手の皮膚（表皮）の図示が省略されている。

指ｌｉｔの中手骨である骨Ｆ１と、指ｌｉｔの基節骨である骨Ｆ２との間の関節を関節Ｃ４とする。指ｒｉｎについても同様に、中手骨である骨Ｆ５と基節骨である骨Ｆ６との間の関節を関節Ｃ５とする。指ｍｉｄについても同様に、中手骨である骨Ｆ７と基節骨である骨Ｆ８との間の関節を関節Ｃ６とする。指ｉｎｄについても同様に、中手骨である骨Ｆ９と基節骨である骨Ｆ１０との間の関節を関節Ｃ７とする。指ｔｈｕに関しては指ｌｉｔ、指ｒｉｎ、指ｍｉｄおよび指ｉｎｄとは関節の定義が異なるため後述する。

関節Ｃ４から関節Ｃ５までを結ぶベクトルをベクトルＶ５とする。関節Ｃ５から関節Ｃ６までを結ぶベクトルをベクトルＶ６とする。関節Ｃ６から関節Ｃ７までをも結ぶベクトルをベクトルＶ７とする。

左右隣接する手指の関節を仮想的に繋ぐ角度として、関節Ｃ５の角度をベクトルＶ５とベクトルＶ６とのなす角と定義する。

左右隣接する手指の関節を仮想的に繋ぐ角度として、関節Ｃ６の角度をベクトルＶ６とベクトルＶ７とのなす角と定義する。

なお、左右隣接する中手骨と基節骨との間の関節を結ぶベクトルによる角度（つまり、ベクトルＶ５とベクトルＶ６とのなす角度またはベクトルＶ６とベクトルＶ７とのなす角度）について代表して説明した。左右隣接する基節骨と中節骨との間の関節（指ｌｉｔの骨Ｆ２と骨Ｆ３との間の関節、指ｒｉｎの骨Ｆ６と骨Ｆ１６との間の関節、指ｍｉｄの骨Ｆ８と骨Ｆ１８との間の関節、および指ｉｎｄの骨Ｆ１０と骨Ｆ２０との間の関節を結ぶベクトルによる角度についても同様の定義であり説明を省略する。また、左右隣接する中節骨と末節骨との間の関節（指ｌｉｔの骨Ｆ３と骨Ｆ４との間の関節、指ｒｉｎの骨Ｆ１６と骨Ｆ１７との間の関節、指ｍｉｄの骨Ｆ１８と骨Ｆ１９との間の関節、および指ｉｎｄの骨Ｆ２０と骨Ｆ２１との間の関節を結ぶベクトルによる角度についても同様の定義であり説明を省略する。

次に指ｔｈｕの関節と指ｉｎｄの関節とからなる角度の定義を説明する。指ｔｈｕの指先を指先Ｋ２、基節骨である骨Ｆ１２と末節骨である骨Ｆ１３との間の関節を関節Ｃ９および中手骨である骨Ｆ１１と基節骨である骨Ｆ１２との間の関節を関節Ｃ１０とする。

関節Ｃ７から指先Ｋ２までを結ぶベクトルをベクトルＶ８とする。関節Ｃ７から関節Ｃ９までを結ぶベクトルをベクトルＶ９とする。関節Ｃ７から関節Ｃ１０までを結ぶベクトルをベクトルＶ１０とする。

左右隣接する手指の関節を仮想的に繋ぐ角度として、関節Ｃ７の角度は、ベクトルＶ７とベクトルＶ８とのなす角、ベクトルＶ７とベクトルＶ９とのなす角、およびベクトルＶ７とベクトルＶ１０とのなす角の３つの角度で定義される。

このように、手指関節位置検出部３３Ａは、第２の角度として定義された左右隣接する手指の関節を仮想的につなぐ角度（例えば、ベクトルＶ５とベクトルＶ６で計算する関節Ｃ５の角度や、ベクトルＶ６とベクトルＶ７で計算する関節Ｃ６の角度）を算出する。つまり、手指関節位置検出部３３Ａは、異なる手指の関節を結ぶ仮想線（つまり、ベクトル）により形成された角度を算出する。

次に、図４を参照して、第３の角度の定義を説明する。図４は、第３の角度の定義を説明する図である。図４では、指の開く角度の定義を説明する。図４では、手の皮膚（表皮）の図示が省略されている。

まず、ケースＣＡの指ｌｉｔ、指ｒｉｎ、指ｍｉｄおよび指ｉｎｄの開く角度の定義について説明する。

指ｌｉｔの中手骨である骨Ｆ１と基節骨である骨Ｆ２との間の関節と基節骨である骨Ｆ２と中節骨である骨Ｆ３との間の関節とを結ぶベクトル（つまり、基節骨の長手方向の端から端を結ぶベクトル）をベクトルＶ１１とする。指ｒｉｎの中手骨である骨Ｆ５と基節骨である骨Ｆ６との間の関節と基節骨である骨Ｆ６と中節骨である骨Ｆ１６との間の関節とを結ぶベクトル（つまり、基節骨の長手方向の端から端を結ぶベクトル）をベクトルＶ１２とする。

指の開く角度として、指ｌｉｔと指ｒｉｎとの開く角度はベクトルＶ１１とベクトルＶ１２とのなす角度の角度Ｄｅｇ１と定義する。なお、指ｒｉｎと指ｍｉｄとの開く角度および指ｍｉｄと指ｉｎｄとの開く角度の定義は、指ｌｉｔと指ｒｉｎとの開く角度の定義と同様であり説明は省略する。また、隣り合う手指のそれぞれの基節骨の長手方向の端から端を結ぶベクトルのなす角に限られず、隣り合う手指のそれぞれの中節骨の長手方向の端から端を結ぶベクトルのなす角、または隣り合う手指のそれぞれの末節骨の長手方向の端から端を結ぶベクトルのなす角で指の開く角度を定義してもよい。

このように、手指関節位置検出部３３Ａは、第３の角度として定義された指を開く角度（例えば、角度Ｄｅｇ１）を指ｔｈｕ、指ｉｎｄ、指ｍｉｄ、指ｒｉｄおよび指ｌｉｔの全ての指で算出する。つまり、手指関節位置検出部３３Ａは、同じ手指に含まれる関節のうち隣り合う１組の関節を結ぶ第１の仮想線（つまり、ベクトル）と、隣の手指に含まれる関節のうち隣り合う１組の関節を結ぶ第２の仮想線とを用いて、第１の仮想線と第２の仮想線とにより形成された角度を算出する。

次にケースＣＢの指ｉｎｄと指ｔｈｕとの開く角度の定義について説明する。

指ｉｎｄの中手骨である骨Ｆ９の長手方向の端から端を結ぶベクトルをベクトルＶ１３とする。指ｔｈｕの末節骨である骨Ｆ１３の長手方向の端から端を結ぶベクトルをＶ１４、基節骨である骨Ｆ１２の長手方向の端から端を結ぶベクトルをＶ１５、また中手骨であるＦ１１の長手方向の端から端を結ぶベクトルをＶ１６とする。

指の開く角度として、指ｉｎｄと指ｔｈｕとの開く角度は、ベクトルＶ１３とベクトルＶ１４とのなす角度、ベクトルＶ１３とベクトルＶ１５とのなす角度、およびベクトルＶ１３とベクトルＶ１６とのなす角度の３つの角度で定義される。

次に、図５を参照して、認証に使用するため切り出される期間について説明する。図５は、認証に使用するため切り出される期間について説明する図である。

図５の横軸の矢印は時間軸を表し、矢印の方向にいくほど時間が進むことを表している。

手Ｈ１は「パー」のポーズ、手Ｈ２は「チョキ」のポーズ、また手Ｈ３は「グー」のポーズである。なお、手のポーズは「パー」、「チョキ」、「グー」に限られず他のポーズでもよい。また、手のポーズの数は３つに限られず２つ以上の複数でもよい。

時刻ｔ１は、時系列データ切り出し部３３Ｃが切り出しを開始する時刻である。時系列データ切り出し部３３Ｃは、切り出しを開始するのに予め決められた開始のポーズ（以下、開始ポーズと称する）を検出した時に時系列データの切り出しを開始する。開始ポーズは、少なくとも１本の指を開いた状態のポーズとし、例えば図５に示す「パー」のポーズは該当する。また、指を開いた状態には、指を伸ばすことも含まれる。

時刻ｔ２は、ポーズが手Ｈ１から手Ｈ２へ遷移が完了した時刻である。

時刻ｔ３は、時系列データ切り出し部３３Ｃが切り出しを終了する時刻である。時系列データ切り出し部３３Ｃは、切り出しを終了するのに予め決められた終了のポーズ（以下、終了ポーズと称する）を検出した時に時系列データの切り出しを開始する。例えば図５に示す「グー」のポーズは終了ポーズとして該当する。

時系列データ切り出し部３３Ｃは、被認証者がポーズをとったあと、角度算出部３３Ｂが算出している各種角度の変化の合計値が第１の所定時間より短い第２の所定時間の間予め定められた閾値以下に収まったことを角度算出部３３Ｂから取得することで、被認証者の手指のポーズ（例えば、開始ポーズまたは終了ポーズ）を検出する。角度の変化の合計値とは、ポーズが変化する際、算出されている角度（例えば、第１の角度、第２の角度および第３の角度）が変化するが、単位時間当たりの各算出されている角度の変化の値を合計した値である。

時系列データ切り出し部３３Ｃは、開始ポーズを検出した時刻ｔ１から終了ポーズを検出した時刻ｔ３までの期間を認証に用いる期間として切り出す。以下、時系列データ切り出し部３３Ｃが切り出す時刻ｔ１から時刻ｔ３までの時間を第３の所定時間と称する。第３の所定時間は、第１の所定時間よりも短く、第２の所定時間よりも長い。

次に、図６を参照して、角度の時系列データを用いて認証を実行する処理について説明する。図６は、角度の時系列データを用いて認証を実行する処理を表すフローチャートである。図６の各処理は、認証部３３Ｄによって実行される。

認証部３３Ｄは、時系列データ切り出し部３３Ｃから第３の所定時間で切り出された角度の時系列データを取得する（ステップＳｔ１００）。

認証部３３Ｄは、ステップＳｔ１００の処理で取得した第３の所定時間で切り出された角度の時系列データを用いて被認証者の特徴画像を生成する（ステップＳｔ１０１）。

認証部３３Ｄは、ステップＳｔ１０１の処理で生成した特徴画像をディープラーニングを用いて個人を識別可能な被認証者の認証コードを算出する（ステップＳｔ１０２）。

認証部３３Ｄは、ステップＳｔ１０２の処理で算出した被認証者の認証コードをデータベース３４に保存されている複数の認証コードと照合する（ステップＳｔ１０３）。

認証部３３Ｄは、ステップＳｔ１０３の処理の結果に基づき認証結果（認証成功もしくは認証失敗）を算出する（ステップＳｔ１０４）。認証成功とは、認証部３３ＤがステップＳｔ１０２の処理で算出した被認証者の認証コードがデータベース３４に保存されている複数の認証コードのうち一致するものがあったことを示す。認証失敗とは、認証部３３ＤがステップＳｔ１０２の処理で算出した被認証者の認証コードがデータベース３４に保存されている複数の認証コードのうち一致するものがなかったことを示す。認証部３３Ｄは、ステップＳｔ１０４の処理で算出した認証結果を出力制御部３３Ｅに出力する。

次に、図７を参照して、特徴画像について説明する。図７は、特徴画像について説明する図である。

画像ＩＭ１は、被認証者の特徴画像である。画像ＩＭ１は、画像ＩＭＧ１を構成する画素の画素値として、算出された角度から生成された特徴を縦方向に並べるように格納している。画像ＩＭ１の横方向は時間軸を表す。つまり、画像ＩＭＧ１は、特徴画像を生成するための開始時間に相当するタイミングに算出された角度から生成された特徴を縦方向に並べるように格納し、かつ、その縦方向の特徴（画素値）を所定期間の間横方向にも並べるように格納することにより構成されている。

画像ＩＭ１に格納された特徴は、図２、図３および図４で定義した第１の角度、第２の角度および第３の角度の情報を含む。また、画像ＩＭ１に格納された特徴は、第１の角度、第２の角度および第３の角度のそれぞれが変化する速度および加速度の情報を含む。つまり、画像ＩＭ１は、角度の情報、角度が変化する速度、および角度が変化する加速度の３つの情報を含む。画像ＩＭ１は、ＲＧＢで表現される。例えば、Ｂ（Ｂｌｕｅ）が角度、Ｇ（Ｇｒｅｅｎ）が速度、およびＲ（Ｒｅｄ）が加速度として設定される。Ｒ（Ｒｅｄ）の値は加速度の値に応じて０から２５５までの２５６段階で表現される。Ｇ（Ｇｒｅｅｎ）の値は、速度の値に応じて０から２５５までの２５６段階で表現される。Ｂ（Ｂｌｕｅ）の値は、角度の値に応じて０から２５５までの２５６段階で表現される。このＲ、ＧおよびＢの値の比率が色として表現される。なお、ＲＧＢの色と角度、速度および加速度との組み合わせはこれらに限られない。

次に、図８を参照して、角度のデータを蓄積し認証を行う処理について説明する。図８は、角度のデータを蓄積し認証を行う処理について説明する図である。図８のフローチャートの各処理は、プロセッサ３３によって実行される。

まず、時系列データ切り出し部３３Ｃは、現在蓄積している角度のデータを初期化し、データを蓄積中であることを示すフラグ（以下、蓄積中フラグと称する）を０に設定する（ステップＳｔ２００）。

手指関節位置検出部３３Ａは、通信Ｉ／Ｆ３１から取得した撮像データから手指の関節の位置を検出する（ステップＳｔ２０１）。なお、手指関節位置検出部３３Ａは、手指の関節だけでなく、指先の位置および手のひらの中の骨の端点の位置も検出してもよい。手指関節位置検出部３３Ａは、検出した手指の関節の位置を角度算出部３３Ｂに出力する。

角度算出部３３Ｂは、手指関節位置検出部３３Ａから取得した関節の位置の情報を用いて、関節間を結ぶ仮想線の作る角度を算出する（ステップＳｔ２０２）。角度算出部３３Ｂは、被認証者の認証コードの算出とポーズの判定とに用いるために必要な角度を算出する。角度算出部３３Ｂは、算出した角度の情報を時系列データ切り出し部３３Ｃに出力する。

時系列データ切り出し部３３Ｃは、角度算出部３３Ｂから取得した角度の情報から被認証者の手指のポーズを特定する（ステップＳｔ２０３）。

時系列データ切り出し部３３Ｃは、蓄積中フラグが１であるか否かを判定する（ステップＳｔ２０４）。

時系列データ切り出し部３３Ｃは、ステップＳｔ２０４の処理で蓄積中フラグが１でないと判定した場合（ステップＳｔ２０４、ＮＯ）、被認証者の手指のポーズが開始ポーズであるか否かを判定する（ステップＳｔ２０５）。

時系列データ切り出し部３３Ｃは、ステップＳｔ２０５の処理で被認証者の手指のポーズが開始ポーズでないと判定した場合（ステップＳｔ２０５、ＮＯ）、プロセッサ３３の処理はステップＳｔ２０１の処理に戻る。

時系列データ切り出し部３３Ｃは、ステップＳｔ２０５の処理で被認証者の手指のポーズが開始ポーズであると判定した場合（ステップＳｔ２０５、ＹＥＳ）、蓄積中フラグを１に設定し（ステップＳｔ２０６）、プロセッサ３３の処理はステップＳｔ２０７の処理に進む。

時系列データ切り出し部３３Ｃは、ステップＳｔ２０４の処理で蓄積中フラグが１であると判定した場合（ステップＳｔ２０４、ＹＥＳ）、角度のデータを蓄積することを開始あるいは継続する（ステップＳｔ２０７）。

時系列データ切り出し部３３Ｃは、データの取得の条件を満たすか否かを判定する（ステップＳｔ２０８）。データの取得の条件とは、例えば、被認証者の手が検出されているか否か、または開始ポーズを被認証者がとってから、第４の所定時間以内か否か等である。第４の所定時間とは、ユーザ（例えば、認証システム１００の管理者等）によって任意に決められた認証を実行するのに適切と考えられる時間である。例えば、第４の所定時間は、１０分である。なお、第４の所定時間は１０分に限られない。第４の所定時間は、第１の所定時間よりも長い。

時系列データ切り出し部３３Ｃは、ステップＳｔ２０８の処理でデータの取得の条件を満たさないと判定すると（ステップＳｔ２０８、ＮＯ）、プロセッサ３３の処理はステップＳｔ２００の処理に戻り、プロセッサ３３は最初から認証の処理を実行する。

時系列データ切り出し部３３Ｃは、ステップＳｔ２０８の処理でデータの取得の条件を満たすと判定すると（ステップＳｔ２０８、ＹＥＳ）、データの取得の終了の条件を満たすか否かを判定する（ステップＳｔ２０９）。データの取得の終了の条件とは、例えば、ポーズの変更を規定の回数行う等である。

時系列データ切り出し部３３Ｃは、ステップＳｔ２０９の処理でデータの取得の終了の条件を満たさないと判定した場合（ステップＳｔ２０９、ＮＯ）、プロセッサ３３の処理はステップＳｔ２０１の処理に戻る。

時系列データ切り出し部３３Ｃは、ステップＳｔ２０９の処理でデータの取得の終了の条件を満たすと判定した場合（ステップＳｔ２０９、ＹＥＳ）、時系列データ切り出し部３３Ｃは、蓄積した角度のデータを認証部３３Ｄに出力する。認証部３３Ｄは、取得した蓄積した角度のデータから被認証者の認証コードを算出する（ステップＳｔ２１０）。

認証部３３Ｄは、ステップＳｔ２１０の処理で算出した被認証者の認証コードをデータベース３４に保存されている認証コードと照合する（ステップＳｔ２１１）。プロセッサ３３の処理は、ステップＳｔ２１１の処理が終了すると再びステップＳｔ２００の処理に戻る。

次に、図９を参照して、被認証者が端末装置に手をかざした際の認証装置の状態遷移について説明する。図９は、被認証者が端末装置に手をかざした際の認証装置の状態遷移について説明する図である。

状態Ａ１００は、被認証者が端末装置２０（つまり、本実施の形態では手かざし面２３）に手をかざす前の状態である。時系列データ切り出し部３３Ｃは、被認証者が端末装置２０の手かざし面２３に手をかざしているか否かを判定する。手かざし面２３に手をかざしているか否かは、例えばカメラ２１からの撮像データに手の形状が撮像されているか否かにより簡易に判定可能である。時系列データ切り出し部３３Ｃは、被認証者が端末装置２０に手をかざしていないと判定すると、出力制御部３３Ｅに被認証者が端末装置２０に手をかざしていない旨の信号を送信する。出力制御部３３Ｅは、手をかざすことを通知するガイド映像もしくは音データを端末装置２０に出力する。

被認証者が端末装置２０に手をかざす（イベントＡ１０１）と、手をかざした状態である状態Ａ１０２に状態が遷移する。

時系列データ切り出し部３３Ｃは、開始ポーズを検出する（状態Ａ１０３）。状態Ａ１０３の時、出力制御部３３Ｅは端末装置２０に開始ポーズを被認証者に促す通知を行う。出力制御部３３Ｅは、開始ポーズ（つまり、初期状態）として少なくとも１本の指を開いた状態を被認証者に促すガイド映像を端末装置２０に出力する。また、出力制御部３３Ｅは、開始ポーズとして被認証者の手のひらが見える状態を促すガイド映像を端末装置２０に出力してもよい。

時系列データ切り出し部３３Ｃは、状態Ａ１０３において、所定時間開始ポーズ（ここでは「パー」とする）が検出できなかった場合、開始ポーズが検出できない旨の通知を出力制御部３３Ｅに送る。出力制御部３３Ｅは、時系列データ切り出し部３３Ｃから開始ポーズが検出できない旨の通知を受け取ると、「パーを出してください」と音声での通知を端末装置２０に出力する。また、出力制御部３３Ｅは、「パー」についてのより詳細な説明をしてもよい。例えば、出力制御部３３Ｅは、「画面に手のひらをむけて開き、パーのポーズをとってください」という音声と共に、手のひらを画面にかざすガイド映像を端末装置２０に出力してもよい。

時系列データ切り出し部３３Ｃは、開始ポーズが検出されない場合エラーが発生したとして出力制御部３３Ｅに通知する（イベントＡ１０４）。エラーとみなされるケースとして、時系列データ切り出し部３３Ｃは、カメラと手との距離が適当でない場合、出力制御部３３Ｅにエラーの旨の通知を行う。出力制御部３３Ｅは、時系列データ切り出し部３３Ｃからカメラと手との距離が所定の距離よりも近い旨の通知を取得した場合、端末装置２０に、手を端末装置２０から離すことを被認証者に促す旨の通知を行う。出力制御部３３Ｅは、時系列データ切り出し部３３Ｃからカメラと手との距離が所定の距離よりも遠い旨の通知を取得した場合、端末装置２０に、手を端末装置２０に近づけることを被認証者に促す旨の通知を行う。

時系列データ切り出し部３３Ｃは、イベントＡ１０４で開始ポーズを検出すると、ポーズの遷移を取得する状態Ａ１０５に状態が遷移する。時系列データ切り出し部３３Ｃが開始ポーズを検出した旨の信号を出力制御部３３Ｅに出力すると、出力制御部３３Ｅは、開始ポーズを正しく捉えることができ認証の準備状態になったことを表示する。また、出力制御部３３Ｅは、これから認証するために被認証者にポーズを切り替えてもらう旨の通知を行う。

状態Ａ１０５で、時系列データ切り出し部３３Ｃは、ポーズの遷移を取得する。状態Ａ１０５の時、出力制御部３３Ｅは、現在ポーズを蓄積中であることがわかるように通知を行ってもよい。また、出力制御部３３Ｅはポーズの切り替えが起こるタイミングを、「ポーズを切り替えるタイミングで次のポーズを表示するガイド映像を出力する」、「メトロノームの動画を出力する」または「音信号を出力する」等の方法で通知してもよい。

状態Ａ１０５で、時系列データ切り出し部３３Ｃでエラーが発生していると判定した場合（イベントＡ１０６）、時系列データ切り出し部３３Ｃの処理は、再び状態Ａ１０３の処理に戻る。時系列データ切り出し部３３Ｃは、例えば、「開始ポーズを検出後に所定時間経過しても遷移するポーズの取得が完了しない」、「手が検出されなくなった」または「端末装置２０と手との距離が適当ではない」と判定した場合エラーの状態とみなす。

時系列データ切り出し部３３Ｃは、全てのポーズの取得を完了すると、取得したデータを認証部３３Ｄに出力する。認証部３３Ｄは、取得したデータを基に認証を行う（状態Ａ１０７）。状態Ａ１０７では、出力制御部３３Ｅは、端末装置２０に対し認証結果を通知する。出力制御部３３Ｅは、認証が失敗した旨の信号を認証部３３Ｄから取得した場合、被認証者に対し最初（状態Ａ１００）から再度入力を促す通知を端末装置２０に出力する。

時系列データ切り出し部３３Ｃは、状態Ａ１０２の際手が所定時間未検出であると判定した場合（イベントＡ１０８）、時系列データ切り出し部３３Ｃの状態は再び状態Ａ１００の状態に戻る。

次に、図１０を参照して、手を端末装置にかざす前に端末装置に表示させる画面例を説明する。図１０は、手を端末装置にかざす前に端末装置に表示させる画面例を説明する図である。

画面ＩＭ２は、被認証者が端末装置２０に手をかざす前に表示デバイス２２に表示される画面の一例である。

画面ＩＭ２には、開始ポーズとしてポーズＨ４が表示される。ポーズＨ４は、「パー」のポーズであるが、画面ＩＭ２に描かれる開始ポーズは「パー」に限られず少なくとも１本の指を開いた状態であればよい。

画面ＩＭ２には、テキストＴＥ１が表示される。テキストＴＥ１は、例えば、「下のセンサ（ここでは、手かざし面２３）上に手を開いてかざしてください」である。テキストＴＥ１は、「下のセンサに、表示されたポーズで手をかざしてください」でもよい。

次に、図１１を参照して、認証装置がポーズの遷移を取得中に端末装置に表示させる画面例を説明する。図１１は、認証装置がポーズの遷移を取得中に端末装置に表示させる画面例を説明する図である。

画面ＩＭ３は、時系列データ切り出し部３３Ｃがポーズの遷移を取得している際に表示される画面の一例である。

画面ＩＭ３には、３つポーズとしてポーズＨ５、ポーズＨ６およびポーズＨ７が表示される。現在認証装置３０が被認証者に対し取得を促しているポーズがポーズＨ５であり中央に表示される。ポーズＨ５の次に被認証者に対して認証装置３０が促すポーズがポーズＨ６である。ポーズＨ６の次に被認証者に対して認証装置３０が促すポーズがポーズＨ７である。ポーズＨ６は、ポーズＨ５よりも小さくポーズＨ５の右上に表示し、ポーズＨ７は、ポーズＨ６よりも小さくポーズＨ６の右上に表示する。このように、ポーズＨ５、ポーズＨ６およびポーズＨ７は、次にどのポーズがくるか被認証者にわかりやすくするために時系列順に並べられる。ポーズＨ５、ポーズＨ６およびポーズＨ７の並べる方向は斜め右上に限られない。

出力制御部３３Ｅは、被認証者が次に取るポーズが奥から中央へ近寄ってきて、現在中央に表示されているポーズと入れ替わるガイド映像を表示デバイス２２に表示し、被認証者にポーズの切り替えのタイミングの際に生じるストレスをできるだけ与えずに認証できるようにしてもよい。つまり、画面ＩＭ３の例では、ポーズＨ６が奥から中央へ近寄ってきて最終的にポーズＨ５と入れ替わる。ポーズＨ６が中央に表示された後、ポーズＨ７が奥から中央へ近寄ってきて最終的にポーズＨ６と入れ替わる。また、出力制御部３３Ｅは、ポーズが切り替わるタイミングで音を鳴らす制御をおこなってもよい。

画面ＩＭ３には、テキストＴＥ２が表示される。テキストＴＥ２は、例えば、「中央に表示しているポーズをしてください」である。

次に、図１２を参照して、認証結果を示す画面例を説明する。図１２は、認証結果を示す画面例を説明する図である。

画面ＩＭ４は、認証部３３Ｄが認証した結果を被認証者に通知する画面である。

テキストＴＥ３は、認証の結果を表示するテキストである。認証が成功した場合は、例えば、テキストＴＥ３は「認証ＯＫ」となる。認証が失敗した場合は、例えば、テキストＴＥ３は「認証ＮＧ」となる。

なお、画面ＩＭ４は、テキストによる表示に限られず、絵文字等でもよい。

図１０、図１１および図１２より、認証したいタイミングやその時の手の形状を指示するためや、時系列データ切り出し部３３Ｃが検出した被認証者の手の状態に応じて、出力制御部３３Ｅは表示する画面（つまり、ガイド映像）を変更する。

次に、図１３を参照して、カメラと手との適切な距離について説明する。図１３は、カメラと手との適切な距離について説明する図である。

図１３は、カメラ２１と被認証者の手との距離を模式的に表した図である。

範囲Ｄｉｓ１は、カメラ２１と手Ｈ８との距離が第１の所定値よりも小さい範囲を表す。範囲Ｄｉｓ１に手Ｈ８が存在する場合、カメラ２１と手Ｈ８との距離が近すぎカメラ２１の画角から手Ｈ８がはみ出てしまう。そのため、時系列データ切り出し部３３Ｃは、手が範囲Ｄｉｓ１に存在すると判定すると、出力制御部３３Ｅにカメラ２１と手Ｈ８との距離が近すぎる旨の信号を出力する。出力制御部３３Ｅは、時系列データ切り出し部３３Ｃからカメラ２１と手Ｈ８との距離が近すぎる旨の信号を取得すると、端末装置２０に手をカメラ２１から遠ざける旨のガイド映像もしくは音声を出力する。

範囲Ｄｉｓ２は、カメラ２１と手Ｈ９との距離が第１の所定値以上で第１の所定値よりも大きい第２の所定値以下である範囲を表す。範囲Ｄｉｓ２は、カメラ２１と手Ｈ９との距離が適切である範囲である。

範囲Ｄｉｓ３は、カメラ２１と手Ｈ１０との距離が第２の所定値よりも大きい範囲を表す。範囲Ｄｉｓ３に手が存在する場合、カメラ２１と手Ｈ１０との距離が遠すぎ認証装置３０は精度よく関節の位置を検出することができない。そのため、時系列データ切り出し部３３Ｃは、手が範囲Ｄｉｓ３に存在すると判定すると、出力制御部３３Ｅにカメラ２１と手Ｈ１０との距離が遠すぎる旨の信号を出力する。出力制御部３３Ｅは、時系列データ切り出し部３３Ｃからカメラ２１と手との距離が遠すぎる旨の信号を取得すると、端末装置２０に手Ｈ１０をカメラ２１から近づける旨のガイド映像もしくは音声を出力する。

次に、図１４を参照して、カメラと手との距離が不適切な場合に表示する画面例を説明する。図１４は、カメラと手との距離が不適切な場合に表示する画面例を説明する図である。

画面ＩＭ５は、カメラと手との距離が第２の所定値よりも大きく遠すぎる場合に表示デバイス２２に表示される画面（つまり、ガイド映像）の一例である。

画面ＩＭ５は、現在取得しているポーズの模式図とテキストＴＥ４を含む。なお、画面ＩＭ５に含まれる内容としてポーズの模式図とテキストＴＥ４は一例でありこれらに限られない。

テキストＴＥ４は、例えば、「手の位置が遠すぎます。センサに近づけてください」である。なお、テキストＴＥ４の内容は一例であり、これに限られない。

次に、図１５を参照して、カメラと手との距離が不適切な場合に表示する画面例を説明する。図１５は、カメラと手との距離が不適切な場合に表示する画面例を説明する図である。

画面ＩＭ６は、カメラと手との距離が第１の所定値よりも小さく近すぎる場合に表示デバイス２２に表示される画面（つまり、ガイド映像）の一例である。

画面ＩＭ６は、現在取得しているポーズの模式図とテキストＴＥ５を含む。なお、画面ＩＭ６に含まれる内容としてポーズの模式図とテキストＴＥ５は一例でありこれらに限られない。

テキストＴＥ５は、例えば、「手の位置が近すぎます。センサから遠ざけてください」である。なお、テキストＴＥ５の内容は一例であり、これに限られない。

＜変形例＞
次に、図１６を参照して、変形例に係る端末装置と認証装置とクラウドサーバとのそれぞれの内部構成例を説明する。図１６は、変形例に係る端末装置と認証装置とクラウドサーバとのそれぞれの内部構成例を説明するブロック図である。図１６では、図１で説明した構成と同一のものは同一符合を付記し説明を省略する。

本実施の形態の変形例では、実施の形態１とは異なり、クラウドサーバを新たに配置し、認証装置ではなくクラウトサーバが認証処理を実行する。

認証システム１００Ｂは、端末装置２０と認証装置３０とクラウドサーバ４０とを少なくとも含む。

クラウドサーバ４０は、認証装置３０と通信可能に接続されている。

プロセッサ３５は、認証装置３０の全体的な動作を司るコントローラとして機能し、認証装置３０の各部の動作を統括するための制御処理、認証装置３０の各部との間のデータの入出力処理、データの演算処理および、データの記憶処理を行う。プロセッサ３５は、例えば、ＣＰＵ、ＤＳＰ、ＧＰＵ、ＦＰＧＡ等の電子デバイスのうち少なくとも１つが実装された半導体チップを用いられる。プロセッサ３５は、手指関節位置検出部３３Ａ、角度算出部３３Ｂ、時系列データ切り出し部３３Ｃおよび出力制御部３３Ｅを含む。

プロセッサ４１は、クラウドサーバ４０の全体的な動作を司るコントローラとして機能し、クラウドサーバ４０の各部の動作を統括するための制御処理、クラウドサーバ４０の各部との間のデータの入出力処理、データの演算処理および、データの記憶処理を行う。プロセッサ４１は、例えば、ＣＰＵ、ＤＳＰ、ＧＰＵ、ＦＰＧＡ等の電子デバイスのうち少なくとも１つが実装された半導体チップを用いられる。プロセッサ４１は、認証部４１Ａを含む。

認証部の一例としての認証部４１Ａは、認証装置３０の時系列データ切り出し部３３Ｃから角度の時系列データを取得する。認証部４１Ａは、取得した角度の時系列データから、被認証者の認証コードを算出するために用いる被認証者の特徴画像を生成する。認証部４１Ａは、被認証者の特徴画像からディープラーニングを用いて解析することで被認証者の認証コードを算出する。認証部４１Ａは、算出された被認証者の認証コードをデータベース４２に保存されている複数の認証コードと照合することで被認証者の認証を実行する。認証部４１Ａは、認証の結果を認証装置３０に出力する。

データベース４２は、記憶媒体（例えばフラッシュメモリ、ＨＤＤ、あるいはＳＳＤ）を用いて構成される。データベース４２は、複数の認証コードを記憶している。

次に、図１７を参照して、クラウドサーバによる認証処理を説明する。図１７は、クラウドサーバによる認証処理のシーケンス図である。

認証装置３０は、時系列データ切り出し部３３Ｃが切り出した角度の時系列データをクラウドサーバに送信する（ステップＳｔ４００）。なお、認証装置３０とクラウドサーバ４０との間の通信は暗号化されているものとする。

クラウドサーバ４０は、ステップＳｔ４００の処理で取得した角度の時系列データを用いて被認証者の特徴画像の生成処理を実行する（ステップＳｔ４０１）。

クラウドサーバ４０は、ステップＳｔ４０１の処理で算出した被認証者の特徴画像を用いて被認証者の認証コードの算出処理を実行する（ステップＳｔ４０２）。

クラウドサーバ４０は、ステップＳｔ４０２の処理で算出した被認証者の認証コードを用いてデータベース４２に保存されてある認証コードと照合処理を実行する（ステップＳｔ４０３）。

クラウドサーバ４０は、ステップＳｔ４０３の処理の照合の結果に基づき認証結果を算出する（ステップＳｔ４０４）。

クラウドサーバ４０は、認証装置３０に認証結果を送信する（ステップＳｔ４０５）。

以上により、本実施の形態の認証システム（例えば、認証システム１００、１００Ａ、１００Ｂ）は、端末装置に表示するガイド映像を出力する出力部（例えば、出力制御部３３Ｅ）と、ガイド映像に基づく被認証者の手指の動きを所定時間撮像した画像情報を取得する取得部（例えば、カメラ２１）とを備える。また、認証システムは、画像情報から手指の先端または手指の関節の位置を検出する検出部（例えば、手指関節位置検出部３３Ａ）と、検出した手指の先端または手指の関節の位置を用いて、被認証者を認証する認証部（例えば、認証部３３Ｄ）と、を備える。出力部は、初期状態として少なくとも１本の指を開いた状態を被認証者に促すガイド映像を出力する。

これにより、認証システムは、手指の関節位置を高精度に取得することが可能なポーズを初期状態として取得することができるため、その後の関節位置の変化および関節位置から算出される角度の変化を高精度に取得することができる。つまり、認証システムは、認証に必要な角度の時系列データを高精度に取得することができる。以上により、認証システムは、高精度に生体情報を取得し、本人確認の認証の誤動作を防止することができる。

また、本実施の形態の認証システムの出力部は、初期状態として被認証者の手のひらが見える状態を促すガイド映像を出力する。これにより、認証システムは、初期状態としてより多くの関節位置を取得することができ、その後の関節位置の変化および関節位置から算出される角度の変化を高精度に取得することができる。つまり、認証システムは、認証に必要な角度の時系列データを高精度に取得することができる。以上により、認証システムは、高精度に生体情報を取得し、本人確認の認証の誤動作を防止することができる。

また、本実施の形態の認証システムは、所定時間撮像した画像情報の時系列データを所定の期間で切り出す切り出し部（例えば、時系列データ切り出し部３３Ｃ）を、さらに備える。これにより、認証システムは、算出された角度の時系列データを認証に必要な期間のみ切り出すことで、認証に必要のない期間の情報を排除することができるのでより高精度な認証を行うことができる。

また、本実施の形態の認証システムの切り出し部は、被認証者の手の状態を検出し、出力部は、検出された手の状態に基づきガイド映像を変更する。これにより、認証システムは、被認証者の手の状態つまりデータ取得の進行状況に基づきガイド映像を変更することができる。認証システムは、データ取得の進行状況に応じて被認証者に適切なガイド映像を表示し被認証者の認証動作を補助することができ、本人確認の認証の誤動作を防止することができる。

また、本実施の形態の認証システムの出力部は、切り出し部から被認証者の手指が検出されていない旨の信号を取得した場合、手指を取得部にかざすことを被認証者に指示するガイド映像を出力する。これにより、認証システムは、被認証者の手指が検出されていない場合、取得部に手指をかざすことを指示することができるので、被認証者に対してスムーズな認証を提供することができる。

また、本実施の形態の認証システムの切り出し部は、取得部と被認証者の手指との距離を検出し、出力部は、距離が第１の所定値よりも小さい場合、手指を取得部から遠ざける旨のガイド映像を出力し、距離が第１の所定値よりも大きい第２の所定値よりも大きい場合、手指を取得部に近づける旨のガイド映像を出力する。これにより、認証システムは、取得部と被認証者の手指との距離が適切でない場合、被認証者に対して適切な位置に手指を移動させることを支援することができる。これにより、認証システムは、取得部と被認証者の手指との距離が適切な状態でデータを取得することができるため、本人確認の認証を高精度に行うことができる。

また、本実施の形態の認証システムの切り出し部は、被認証者の手のポーズを検出し、出力部は、被認証者に促す複数の手のポーズを被認証者に促す順に並べたガイド映像を出力する。これにより、認証システムは、予め次に被認証者に取得を促すポーズを被認証者に対して表示できるため、被認証者がスムーズに認証を行うことを支援することができる。

また、本実施の形態の認証システムの出力部は、認証部からの認証の結果の信号に基づき、認証が成功した旨のガイド映像もしくは認証が失敗した旨のガイド映像を出力する。これにより、認証システムは、認証の結果を速やかに被認証者に通知することができる。

以上、添付図面を参照しながら実施の形態について説明したが、本開示はかかる例に限定されない。当業者であれば、特許請求の範囲に記載された範疇内において、各種の変更例、修正例、置換例、付加例、削除例、均等例に想到し得ることは明らかであり、それらについても本開示の技術的範囲に属すると了解される。また、発明の趣旨を逸脱しない範囲において、上述した実施の形態における各構成要素を任意に組み合わせてもよい。

本開示の技術は、高精度に生体情報を取得し、本人確認の認証の誤動作を防止する認証システムおよび認証方法として有用である。

１０、ｈｎ、Ｈ１、Ｈ２、Ｈ３、Ｈ８、Ｈ９、Ｈ１０ 手
２０ 端末装置
２１ カメラ
２２ 表示デバイス
２３ 手かざし面
２４ 対向面
３０ 認証装置
３１ 通信Ｉ／Ｆ
３２ メモリ
３３、３５、４１ プロセッサ
３３Ａ 手指関節位置検出部
３３Ｂ 角度算出部
３３Ｃ 時系列データ切り出し部
３３Ｄ、４１Ａ 認証部
３３Ｅ 出力制御部
３４、４２ データベース
４０ クラウドサーバ
ｌｉｔ、ｒｉｎ、ｍｉｄ、ｉｎｄ、ｔｈｕ 指
Ｆ１、Ｆ２、Ｆ３、Ｆ４、Ｆ５、Ｆ６、Ｆ７、Ｆ８、Ｆ９、Ｆ１０、Ｆ１１、Ｆ１２、Ｆ１３、Ｆ１６、Ｆ１７、Ｆ１８、Ｆ１９、Ｆ２０、Ｆ２１ 骨
Ｃ０、Ｃ１、Ｃ２、Ｃ３、Ｃ４、Ｃ５、Ｃ６、Ｃ７、Ｃ９、Ｃ１０ 関節
Ｋ１、Ｋ２ 指先
Ｖ１、Ｖ２、Ｖ３、Ｖ４、Ｖ５、Ｖ６、Ｖ７、Ｖ８、Ｖ９、Ｖ１０、Ｖ１１、Ｖ１２、Ｖ１３、Ｖ１４、Ｖ１５、Ｖ１６ ベクトル
Ｄｅｇ１ 角度
ｔ１、ｔ２、ｔ３ 時刻
ＩＭ１ 画像
Ａ１００、Ａ１０２、Ａ１０３、Ａ１０５、Ａ１０７ 状態
Ａ１０１、Ａ１０４、Ａ１０６、Ａ１０８ イベント
ＩＭ２、ＩＭ３、ＩＭ４、ＩＭ５、ＩＭ６ 画面
Ｈ４、Ｈ５、Ｈ６、Ｈ７ ポーズ
ＴＥ１、ＴＥ２、ＴＥ３、ＴＥ４、ＴＥ５ テキスト
Ｄｉｓ１、Ｄｉｓ２、Ｄｉｓ３ 範囲

Claims (9)

1. 端末装置に表示するガイド映像を出力する出力部と、
   前記ガイド映像に基づく被認証者の手指の動きを所定時間撮像した画像情報を取得する取得部と、
   前記画像情報から前記手指の先端または前記手指の関節の位置を検出する検出部と、
   検出した前記手指の先端または前記手指の関節の位置を用いて、前記被認証者を認証する認証部と、を備え、
   前記出力部は、初期状態として少なくとも１本の指を開いた状態を前記被認証者に促すガイド映像を出力する、
   認証システム。
2. 前記出力部は、初期状態として前記被認証者の手のひらが見える状態を促すガイド映像を出力する、
   請求項１に記載の認証システム。
3. 前記所定時間撮像した前記画像情報の時系列データを所定の期間で切り出す切り出し部を、さらに備える、
   請求項１に記載の認証システム。
4. 前記切り出し部は、前記被認証者の手の状態を検出し、
   前記出力部は、検出された前記手の状態に基づき前記ガイド映像を変更する、
   請求項３に記載の認証システム。
5. 前記出力部は、前記切り出し部から前記被認証者の前記手指が検出されていない旨の信号を取得した場合、前記手指を前記取得部にかざすことを前記被認証者に指示するガイド映像を出力する、
   請求項３に記載の認証システム。
6. 前記切り出し部は、前記取得部と前記被認証者の前記手指との距離を検出し、
   前記出力部は、
   前記距離が第１の所定値よりも小さい場合、前記手指を前記取得部から遠ざける旨のガイド映像を出力し、
   前記距離が前記第１の所定値よりも大きい第２の所定値よりも大きい場合、前記手指を前記取得部に近づける旨のガイド映像を出力する、
   請求項３に記載の認証システム。
7. 前記切り出し部は、前記被認証者の手のポーズを検出し、
   前記出力部は、前記被認証者に促す複数の前記手のポーズを前記被認証者に促す順に並べたガイド映像を出力する、
   請求項３に記載の認証システム。
8. 前記出力部は、前記認証部からの認証の結果の信号に基づき、前記認証が成功した旨のガイド映像もしくは前記認証が失敗した旨のガイド映像を出力する、
   請求項１に記載の認証システム。
9. 端末装置に表示するガイド映像を出力し、
   前記ガイド映像に基づく被認証者の手指の動きを所定時間撮像した画像情報を取得し、
   前記画像情報から前記手指の先端または前記手指の関節の位置を検出し、
   検出した前記手指の先端または前記手指の関節の位置を用いて、前記被認証者を認証し、
   初期状態として少なくとも１本の指を開いた状態を前記被認証者に促すガイド映像を出力する、
   認証方法。

Images