JP6194327B2 - Authentication system, authentication method and program - Google Patents

Authentication system, authentication method and program Download PDF

Info

Publication number
JP6194327B2
JP6194327B2 JP2015038276A JP2015038276A JP6194327B2 JP 6194327 B2 JP6194327 B2 JP 6194327B2 JP 2015038276 A JP2015038276 A JP 2015038276A JP 2015038276 A JP2015038276 A JP 2015038276A JP 6194327 B2 JP6194327 B2 JP 6194327B2
Authority
JP
Japan
Prior art keywords
authentication
authentication information
user
unit
feature
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2015038276A
Other languages
Japanese (ja)
Other versions
JP2016162057A (en
Inventor
省吾 阿形
省吾 阿形
一凡 張
一凡 張
徹 尾形
徹 尾形
大典 徳永
大典 徳永
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nippon Telegraph and Telephone West Corp
Original Assignee
Nippon Telegraph and Telephone West Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nippon Telegraph and Telephone West Corp filed Critical Nippon Telegraph and Telephone West Corp
Priority to JP2015038276A priority Critical patent/JP6194327B2/en
Publication of JP2016162057A publication Critical patent/JP2016162057A/en
Application granted granted Critical
Publication of JP6194327B2 publication Critical patent/JP6194327B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Collating Specific Patterns (AREA)
  • Image Input (AREA)
  • Position Input By Displaying (AREA)

Description

本発明は、認証システム、認証方法及びプログラムに関する。   The present invention relates to an authentication system, an authentication method, and a program.

インターネット上で様々なサービスが提供され、多くのユーザが複数のサービスを利用する機会が増えている。ユーザは、利便性のために、サービスを利用する際に用いるユーザＩＤとパスワードとを複数のサービスで使い回したり、一度設定したパスワードを長期間に亘り使い続けたり、強度の低いパスワードを使用したりしている。このような不適切なパスワード管理がなされているため、ユーザＩＤとパスワードとが一旦いずれかのサービス提供者から漏洩すると、漏洩したユーザＩＤとパスワードとを用いて他のサービスへ不正アクセスが行われるパスワードリスト攻撃が増加している。   Various services are provided on the Internet, and the opportunity for many users to use a plurality of services is increasing. For convenience, the user can use the user ID and password used when using the service for multiple services, continue to use the password once set for a long time, or use a weak password. It is. Due to such inappropriate password management, once the user ID and password are leaked from one of the service providers, unauthorized access to other services is performed using the leaked user ID and password. Password list attacks are increasing.

そこで、パスワードを用いた認証技術に代えて、ユーザによる署名などに基づいた二次元パターンを用いた認証技術が検討されている（特許文献１、２）。   In view of this, an authentication technique using a two-dimensional pattern based on a user's signature or the like instead of an authentication technique using a password has been studied (Patent Documents 1 and 2).

特開２００９−００９２８０号公報JP 2009-009280 A 特開２０１４−１３０５５４号公報JP, 2014-130554, A

しかしながら、認証に用いる二次元パターンにおいて抽出する特徴点が少ない場合や、署名を第三者にのぞき見られた場合には、利用資格を有するユーザに対して認証が成功しないことや、利用資格を有していないユーザに対して認証が成功してしまうことがあった。   However, if there are few feature points to be extracted from the two-dimensional pattern used for authentication, or if the signature is seen by a third party, the user who has the usage qualification will not be authenticated successfully, Authentication may succeed for users who do not have it.

上記事情に鑑み、本発明は、認証精度を向上させ誤認証率を低減させることができる認証システム、認証方法及びプログラムを提供することを目的としている。   In view of the above circumstances, an object of the present invention is to provide an authentication system, an authentication method, and a program that can improve authentication accuracy and reduce an erroneous authentication rate.

本発明の一態様は、ユーザの手において指先を含む少なくとも２箇所の特徴点を検出する三次元モーションセンサと、前記特徴点の軌跡を含む認証情報を予め記憶する認証情報記憶部と、前記三次元モーションセンサにより検出された前記特徴点の軌跡と、前記認証情報に含まれる前記特徴点の軌跡との類似度に基づいて、前記ユーザに対する認証を行う認証部とを備えることを特徴とする認証システムである。   One aspect of the present invention is a three-dimensional motion sensor that detects at least two feature points including a fingertip in a user's hand, an authentication information storage unit that stores in advance authentication information including a trajectory of the feature points, and the tertiary An authentication unit that authenticates the user based on a similarity between the trajectory of the feature point detected by the original motion sensor and the trajectory of the feature point included in the authentication information; System.

本発明の一態様は、上記の認証システムにおいて、前記認証情報は、前記特徴点間の距離に基づいて算出される特徴量を更に含み、前記認証部は、前記三次元モーションセンサにより検出された前記特徴点の距離に基づいて特徴量を算出し、算出した特徴量と前記認証情報に含まれる特徴量との類似度に基づいて、前記ユーザに対する認証を行うことを特徴とする。   One aspect of the present invention is the authentication system, wherein the authentication information further includes a feature amount calculated based on a distance between the feature points, and the authentication unit is detected by the three-dimensional motion sensor. A feature amount is calculated based on the distance between the feature points, and the user is authenticated based on the similarity between the calculated feature amount and the feature amount included in the authentication information.

本発明の一態様は、上記の認証システムにおいて、前記特徴点には、指の関節が含まれ、前記特徴量は、指の長さであることを特徴とする。   One aspect of the present invention is characterized in that, in the authentication system, the feature point includes a finger joint, and the feature amount is a finger length.

本発明の一態様は、上記の認証システムにおいて、前記特徴点には、複数の指先が含まれ、前記認証情報は、複数の指先の軌跡を含み、前記認証部は、前記三次元モーションセンサにより検出された各指先の軌跡と、前記認証情報に含まれる各指先の軌跡との類似度をそれぞれ算出し、算出した複数の類似度に基づいて、前記ユーザに対する認証を行うことを特徴とする。   According to one aspect of the present invention, in the authentication system, the feature point includes a plurality of fingertips, the authentication information includes a plurality of fingertip trajectories, and the authentication unit is configured by the three-dimensional motion sensor. The degree of similarity between each detected fingertip trajectory and each fingertip trajectory included in the authentication information is calculated, and the user is authenticated based on the calculated plurality of similarities.

本発明の一態様は、上記の認証システムにおいて、前記三次元モーションセンサにより検出された前記特徴点の軌跡を二次元平面に投影した二次元画像を生成する認証情報生成部を更に備え、前記認証情報には、二次元画像が前記特徴点の軌跡として含まれ、前記認証部は、前記認証情報生成部が生成する二次元画像と前記認証情報に含まれる二次元画像との類似度を、前記特徴点の軌跡に対する類似度として算出することを特徴とする。   One aspect of the present invention is the authentication system described above, further including an authentication information generation unit configured to generate a two-dimensional image obtained by projecting a trajectory of the feature point detected by the three-dimensional motion sensor onto a two-dimensional plane. The information includes a two-dimensional image as a trajectory of the feature point, and the authentication unit calculates the similarity between the two-dimensional image generated by the authentication information generation unit and the two-dimensional image included in the authentication information. It is characterized in that it is calculated as a similarity to the trajectory of feature points.

本発明の一態様は、上記の認証システムにおいて、前記認証情報は、前記ユーザが手を前記三次元モーションセンサにかざして軌跡を描く際に要する時間を含み、前記認証部は、前記ユーザが手を前記三次元モーションセンサにかざして軌跡を描く際に要する時間を計測し、計測した時間と前記認証情報に含まれる時間とに基づいて、前記ユーザに対する認証を行うことを特徴とする。   In one embodiment of the present invention, in the authentication system, the authentication information includes a time required for the user to draw a trajectory while holding the hand over the three-dimensional motion sensor. The time required to draw a trajectory over the three-dimensional motion sensor is measured, and the user is authenticated based on the measured time and the time included in the authentication information.

本発明の一態様は、三次元モーションセンサで検出される、ユーザの手において指先を含む少なくとも２箇所の特徴点の軌跡を取得する第１のステップと、第１のステップにおいて取得した前記特徴点の軌跡と、認証情報記憶部に記憶されている前記特徴点の軌跡との類似度に基づいて、前記ユーザに対する認証を行う第２のステップとを含むことを特徴とする認証方法である。   One aspect of the present invention is a first step of acquiring trajectories of at least two feature points including a fingertip in a user's hand, which is detected by a three-dimensional motion sensor, and the feature points acquired in the first step. And a second step of authenticating the user based on the similarity between the trajectory and the trajectory of the feature point stored in the authentication information storage unit.

本発明の一態様は、三次元モーションセンサで検出される、ユーザの手において指先を含む少なくとも２箇所の特徴点の軌跡を取得する第１のステップと、第１のステップにおいて取得した前記特徴点の軌跡と、認証情報記憶部に記憶されている前記特徴点の軌跡との類似度に基づいて、前記ユーザに対する認証を行う第２のステップとをコンピュータに実行させるためのプログラムである。   One aspect of the present invention is a first step of acquiring trajectories of at least two feature points including a fingertip in a user's hand, which is detected by a three-dimensional motion sensor, and the feature points acquired in the first step. And a second step of authenticating the user based on the similarity between the trajectory and the trajectory of the feature point stored in the authentication information storage unit.

本発明によれば、認証精度を向上させ誤認証率を低減させることが可能となる。   According to the present invention, it is possible to improve the authentication accuracy and reduce the false authentication rate.

第１の実施形態における認証システムの構成例を示すブロック図である。It is a block diagram which shows the structural example of the authentication system in 1st Embodiment. 認証情報記憶部が有する認証情報テーブルの構成例を示す図である。It is a figure which shows the structural example of the authentication information table which an authentication information storage part has. 認証システムにおける認証情報の登録処理を示すフローチャートである。It is a flowchart which shows the registration process of the authentication information in an authentication system. 三次元の軌跡を二次元画像に変換する際の概要を示す図である。It is a figure which shows the outline | summary at the time of converting a three-dimensional locus | trajectory into a two-dimensional image. 認証システムにおけるユーザの認証処理を示すフローチャートである。It is a flowchart which shows the authentication process of the user in an authentication system. 第２の実施形態における認証システムの構成例を示すブロック図である。It is a block diagram which shows the structural example of the authentication system in 2nd Embodiment.

本発明に係る実施形態における認証システムでは、ユーザが手で宙に署名を描くなどの所定のジェスチャを行う際における手の各指先又は関節などの特徴点の軌跡を三次元モーションセンサで取得し、特徴点から得られる身体的な特徴量と軌跡とを組み合わせてユーザに対する認証を行う。以下に説明する認証システムは、特徴量と特徴点の軌跡とを組み合わせた認証を行うことにより、誤認証の発生を低減させて、認証精度を向上させる。以下、図面を参照して、実施形態における認証システム、認証方法及びプログラムを説明する。   In the authentication system according to the embodiment of the present invention, when a user performs a predetermined gesture such as drawing a signature in the air with a hand, a trajectory of a feature point such as each fingertip or joint of the hand is acquired by a three-dimensional motion sensor, The user is authenticated by combining the physical feature amount obtained from the feature point and the trajectory. The authentication system described below performs authentication by combining a feature amount and a trajectory of a feature point, thereby reducing the occurrence of erroneous authentication and improving authentication accuracy. Hereinafter, an authentication system, an authentication method, and a program according to an embodiment will be described with reference to the drawings.

（第１の実施形態）
図１は、第１の実施形態における認証システムの構成例を示すブロック図である。同図に示すように、第１の実施形態における認証システムは、ユーザが利用する端末装置１と、端末装置１に接続された三次元モーションセンサ２とを備える。 (First embodiment)
FIG. 1 is a block diagram illustrating a configuration example of an authentication system according to the first embodiment. As shown in the figure, the authentication system in the first embodiment includes a terminal device 1 used by a user and a three-dimensional motion sensor 2 connected to the terminal device 1.

端末装置１は、制御部１１、入力部１２、出力部１３、認証情報記憶部１４及び認証処理部１５を備える。制御部１１は、端末装置１に備えられる各部を制御し、入力部１２が入力するユーザの操作情報に応じた制御を行う。制御部１１は、例えば演算処理装置と揮発性の記憶領域と不揮発性の記憶領域とを備え、不揮発性の記憶領域に記憶されているプログラムを実行することにより、各部に対する制御を行う。入力部１２は、ユーザの操作を受け付けることにより、当該操作に応じた操作情報を入力する。入力部１２は、例えばキーボードやマウス、タッチパネルなどの入力デバイスである。出力部１３は、制御部１１における制御結果などをユーザに対して出力する。出力部１３は、例えばディスプレイやスピーカ、プリンタなどの出力デバイスである。   The terminal device 1 includes a control unit 11, an input unit 12, an output unit 13, an authentication information storage unit 14, and an authentication processing unit 15. The control part 11 controls each part with which the terminal device 1 is provided, and performs control according to the user's operation information which the input part 12 inputs. The control unit 11 includes, for example, an arithmetic processing unit, a volatile storage area, and a nonvolatile storage area, and controls each unit by executing a program stored in the nonvolatile storage area. The input unit 12 receives operation of the user and inputs operation information corresponding to the operation. The input unit 12 is an input device such as a keyboard, a mouse, or a touch panel. The output unit 13 outputs a control result or the like in the control unit 11 to the user. The output unit 13 is an output device such as a display, a speaker, or a printer.

認証情報記憶部１４は、認証処理部１５がユーザに対する認証を行う際に利用する認証情報を記憶する。図２は、認証情報記憶部１４が有する認証情報テーブルの構成例を示す図である。認証情報テーブルは、「ユーザＩＤ」と「指の長さ」と「軌跡画像」と「署名時間」との項目の列を有している。ユーザＩＤは、ユーザを識別するための識別子である。指の長さは、ユーザの手の特徴量として用いられる。軌跡画像は、ユーザが手を動かして所定の動作、例えば署名を行う動作における指先の軌跡を示す画像である。「指の長さ」と「軌跡画像」とには、ぞれぞれ「親指」、「人差指」、「中指」、「薬指」及び「小指」の項目の列が設けられている。認証情報テーブルにおいて、各行はユーザごとに存在する。認証情報テーブルにおける各行は、「ユーザＩＤ」と「指の長さ」と「軌跡画像」と「署名時間」との情報を含む認証情報である。認証情報テーブルでは、ユーザを識別するユーザＩＤを検索キーにすることで、当該ユーザに対応する認証情報を特定することができる。なお、各指の長さの組み合わせでユーザを特定してもよい。   The authentication information storage unit 14 stores authentication information used when the authentication processing unit 15 authenticates a user. FIG. 2 is a diagram illustrating a configuration example of an authentication information table included in the authentication information storage unit 14. The authentication information table has columns of items of “user ID”, “finger length”, “trajectory image”, and “signature time”. The user ID is an identifier for identifying the user. The length of the finger is used as a feature amount of the user's hand. The trajectory image is an image showing the trajectory of the fingertip in a predetermined operation, for example, an operation of signing, by moving the hand of the user. The “finger length” and “trajectory image” are provided with columns of items of “thumb”, “index finger”, “middle finger”, “ring finger”, and “little finger”, respectively. In the authentication information table, each row exists for each user. Each row in the authentication information table is authentication information including information of “user ID”, “finger length”, “trajectory image”, and “signature time”. In the authentication information table, by using a user ID for identifying a user as a search key, authentication information corresponding to the user can be specified. In addition, you may identify a user with the combination of the length of each finger.

図１に戻り、認証システムの構成の説明を続ける。認証処理部１５は、特徴位置取得部１５１、認証情報生成部１５２、メモリ部１５３、認証情報登録部１５４及び認証部１５５を備える。特徴位置取得部１５１は、三次元モーションセンサ２から、ユーザの手における複数の特徴点の位置情報を取得する。ここで、ユーザの手における複数の特徴点は、各指の指先及び関節などを含む箇所である。三次元モーションセンサ２が取得する複数の特徴点の位置情報は、例えば三次元モーションセンサ２が設置される位置に応じて一意に定まる三次元座標空間における三次元座標値である。   Returning to FIG. 1, the description of the configuration of the authentication system will be continued. The authentication processing unit 15 includes a feature position acquisition unit 151, an authentication information generation unit 152, a memory unit 153, an authentication information registration unit 154, and an authentication unit 155. The feature position acquisition unit 151 acquires position information of a plurality of feature points in the user's hand from the three-dimensional motion sensor 2. Here, the plurality of feature points in the user's hand are locations including the fingertips and joints of each finger. The position information of the plurality of feature points acquired by the 3D motion sensor 2 is a 3D coordinate value in a 3D coordinate space that is uniquely determined according to the position where the 3D motion sensor 2 is installed, for example.

認証情報生成部１５２は、特徴位置取得部１５１が三次元モーションセンサ２から取得する各特徴点の位置情報に基づいて、ユーザの手が所定の動作をしているか否かを検出する。所定の動作には、署名の開始を示す動作と、署名の終了を示す動作とが含まれる。なお、署名の開始を示す動作と署名の終了を示す動作とは、同じ動作であってもよい。このような動作としては、例えば５本の指を全て内側にまげて握る動作（じゃんけんのグーの動作）を２秒間継続させる動作や、５本の指を全て伸ばす動作（じゃんけんのパーの動作）を３秒間継続させる動作などが用いられる。署名の開始を示す動作と署名の終了を示す動作とには、事前に定められた動作が用いられる。   The authentication information generation unit 152 detects whether the user's hand is performing a predetermined operation based on the position information of each feature point acquired by the feature position acquisition unit 151 from the three-dimensional motion sensor 2. The predetermined operation includes an operation indicating the start of the signature and an operation indicating the end of the signature. The operation indicating the start of the signature and the operation indicating the end of the signature may be the same operation. Examples of such actions include the action of holding all five fingers inward (Janken Goo's movement) for 2 seconds and the action of extending all five fingers (Janken's par action). For example, an operation of continuing for 3 seconds is used. Predetermined operations are used for the operation indicating the start of the signature and the operation indicating the end of the signature.

また、認証情報生成部１５２は、特徴位置取得部１５１が三次元モーションセンサ２から取得する各特徴点の位置情報に基づいて、ユーザの手の特徴量を算出する。ユーザの手の特徴量としては、前述のように各指の長さが用いられる。なお、指の長さに代えて所定の関節間の長さが用いられてもよい。指の長さが特徴量として用いられる場合、指先から第１関節までの長さ、第１関節から第２関節までの長さ、第２関節から第３関節までの長さを各特徴点の位置情報から算出し、算出した長さの総和を指の長さとして算出する。   Further, the authentication information generation unit 152 calculates the feature amount of the user's hand based on the position information of each feature point acquired by the feature position acquisition unit 151 from the 3D motion sensor 2. As described above, the length of each finger is used as the feature amount of the user's hand. In addition, it may replace with the length of a finger | toe and the length between predetermined joints may be used. When the length of the finger is used as the feature amount, the length from the fingertip to the first joint, the length from the first joint to the second joint, and the length from the second joint to the third joint are set for each feature point. It is calculated from the position information, and the sum of the calculated lengths is calculated as the finger length.

また、認証情報生成部１５２は、特徴位置取得部１５１が三次元モーションセンサ２から取得する各特徴点の位置情報をメモリ部１５３に逐次記憶させる。認証情報生成部１５２は、署名の開始から署名の終了までの期間に亘り、特徴位置取得部１５１により取得された各特徴点の位置情報から、署名が行われた期間における指先の軌跡を示す軌跡画像を指ごとに生成する。   Further, the authentication information generation unit 152 causes the memory unit 153 to sequentially store the position information of each feature point acquired by the feature position acquisition unit 151 from the 3D motion sensor 2. The authentication information generation unit 152, from the start of the signature to the end of the signature, from the position information of each feature point acquired by the feature position acquisition unit 151, the locus indicating the trajectory of the fingertip in the period when the signature was performed Generate an image for each finger.

メモリ部１５３は、特徴位置取得部１５１により取得される位置情報、認証情報生成部１５２により算出される特徴量、認証情報生成部１５２により生成される軌跡画像を一時的に記憶する。   The memory unit 153 temporarily stores the position information acquired by the feature position acquisition unit 151, the feature amount calculated by the authentication information generation unit 152, and the trajectory image generated by the authentication information generation unit 152.

認証情報登録部１５４は、認証情報を登録する要求を制御部１１又は外部の装置から受け付けると、特徴位置取得部１５１、認証情報生成部１５２、メモリ部１５３、及び三次元モーションセンサ２を制御して認証情報を取得する。認証情報登録部１５４は、取得した認証情報を認証情報記憶部１４に記憶させる。   Upon receiving a request for registering authentication information from the control unit 11 or an external device, the authentication information registration unit 154 controls the feature position acquisition unit 151, the authentication information generation unit 152, the memory unit 153, and the three-dimensional motion sensor 2. To obtain authentication information. The authentication information registration unit 154 stores the acquired authentication information in the authentication information storage unit 14.

認証部１５５は、認証を実行する要求を制御部１１又は外部の装置から受け付けると、特徴位置取得部１５１、認証情報生成部１５２、メモリ部１５３及び三次元モーションセンサ２を制御して認証情報を取得する。認証部１５５は、取得した認証情報と、認証情報記憶部１４に記憶されている認証情報との類似度を算出し、算出した類似度が予め定められた範囲内にあるか否かを判定する。認証部１５５は、類似度が範囲内にある場合に、ユーザに対する認証が成功したと判定し、類似度が範囲内にない場合に、ユーザに対する認証が失敗したと判定する。   When the authentication unit 155 receives a request to execute authentication from the control unit 11 or an external device, the authentication unit 155 controls the feature position acquisition unit 151, the authentication information generation unit 152, the memory unit 153, and the three-dimensional motion sensor 2 to obtain authentication information. get. The authentication unit 155 calculates the similarity between the acquired authentication information and the authentication information stored in the authentication information storage unit 14, and determines whether the calculated similarity is within a predetermined range. . The authentication unit 155 determines that the authentication for the user has succeeded when the similarity is within the range, and determines that the authentication for the user has failed when the similarity is not within the range.

三次元モーションセンサ２は、三次元センサ２１と特徴位置検出部２２とを備える。三次元センサ２１は、例えば複数の撮像素子を備え、複数の撮像素子で撮像して得られる複数の画像に基づいて、被写体までの距離や動きを検出する。なお、複数の撮像素子には、可視光を検出して画像を生成する撮像素子に加えて、赤外光を検出して画像を生成する撮像素子が含まれていてもよい。その場合、三次元モーションセンサは、赤外光を被写体に向けて照射する発光素子を備えていてもよい。   The three-dimensional motion sensor 2 includes a three-dimensional sensor 21 and a feature position detection unit 22. The three-dimensional sensor 21 includes, for example, a plurality of image sensors, and detects the distance and movement to the subject based on a plurality of images obtained by imaging with the plurality of image sensors. Note that the plurality of imaging elements may include an imaging element that detects infrared light and generates an image in addition to an imaging element that detects visible light and generates an image. In that case, the three-dimensional motion sensor may include a light emitting element that irradiates infrared light toward the subject.

特徴位置検出部２２は、三次元センサ２１により得られた複数の画像と被写体までの距離や動きとに基づいて、被写体における特徴点を検出する。特徴位置検出部２２が検出する特徴点は、例えばユーザの手における各指先と各関節である。特徴位置検出部２２は、検出した特徴点ごとに、特徴点の三次元座標値を算出する。特徴位置検出部２２は、算出した各特徴点の三次元座標値を位置情報として認証処理部１５へ逐次出力する。各特徴点の位置情報は、特徴位置検出部２２において単位時間あたりに処理されるフレーム数に応じて逐次出力される。   The feature position detection unit 22 detects feature points in the subject based on a plurality of images obtained by the three-dimensional sensor 21 and distances and movements to the subject. The feature points detected by the feature position detection unit 22 are, for example, each fingertip and each joint in the user's hand. The feature position detector 22 calculates a three-dimensional coordinate value of the feature point for each detected feature point. The feature position detection unit 22 sequentially outputs the calculated three-dimensional coordinate value of each feature point to the authentication processing unit 15 as position information. The position information of each feature point is sequentially output according to the number of frames processed per unit time in the feature position detection unit 22.

図３は、第１の実施形態の認証システムにおける認証情報の登録処理を示すフローチャートである。例えば、ユーザに対応する認証情報を認証情報記憶部１４へ記憶させる要求が、制御部１１又は外部の装置から認証処理部１５へ入力されると登録処理が開始される。   FIG. 3 is a flowchart showing a registration process of authentication information in the authentication system of the first embodiment. For example, when a request for storing authentication information corresponding to the user in the authentication information storage unit 14 is input to the authentication processing unit 15 from the control unit 11 or an external device, the registration process is started.

認証処理部１５において、認証情報登録部１５４は、三次元モーションセンサ２に対して、特徴点を検出する処理と特徴点の三次元座標値を逐次出力する処理との開始を要求する。三次元モーションセンサ２において、特徴位置検出部２２は、三次元センサ２１により撮像される複数の画像に基づいて、三次元モーションセンサ２の検出範囲にかざされるユーザの手における特徴点を検出する。特徴位置検出部２２は、検出した各特徴点の三次元座標値を認証処理部１５へ出力する（ステップＳ１０１）。このとき、認証情報登録部１５４は、三次元モーションセンサ２の検出範囲に手をかざした状態で「グー」と「パー」との動作を交互に繰り返し行うことを要求するメッセージをユーザに対して出力させる制御を、出力部１３に対して行うようにしてもよい。ユーザに対して「グー」と「パー」とを繰り返す動作を、三次元モーションセンサ２の検出範囲において行わせることにより、特徴点の検出が容易になる。   In the authentication processing unit 15, the authentication information registration unit 154 requests the 3D motion sensor 2 to start processing for detecting feature points and processing for sequentially outputting 3D coordinate values of feature points. In the three-dimensional motion sensor 2, the feature position detection unit 22 detects a feature point on the user's hand held over the detection range of the three-dimensional motion sensor 2 based on a plurality of images captured by the three-dimensional sensor 21. The feature position detection unit 22 outputs the detected three-dimensional coordinate value of each feature point to the authentication processing unit 15 (step S101). At this time, the authentication information registration unit 154 sends a message to the user requesting that the operations of “Goo” and “Par” be repeated alternately while holding the hand over the detection range of the 3D motion sensor 2. The output control may be performed on the output unit 13. By allowing the user to repeat “goo” and “par” within the detection range of the three-dimensional motion sensor 2, the feature points can be easily detected.

特徴位置取得部１５１は、ユーザの手における各特徴点の三次元座標値が特徴位置検出部２２から入力されているか否かに基づいて、特徴位置検出部２２が各特徴点を検出した否かを判定する（ステップＳ１０２）。なお、各特徴点を検出したことを示す信号を特徴位置検出部２２が別途出力し、特徴位置取得部１５１が当該信号に基づいて判定を行ってもよい。特徴位置取得部１５１は、特徴位置検出部２２から各特徴点の三次元座標が入力されるまで待機する（ステップＳ１０２：ＮＯ）。   The feature position acquisition unit 151 determines whether or not the feature position detection unit 22 has detected each feature point based on whether or not the three-dimensional coordinate value of each feature point in the user's hand is input from the feature position detection unit 22. Is determined (step S102). The feature position detection unit 22 may separately output a signal indicating that each feature point has been detected, and the feature position acquisition unit 151 may make a determination based on the signal. The feature position acquisition unit 151 stands by until the three-dimensional coordinates of each feature point are input from the feature position detection unit 22 (step S102: NO).

特徴位置取得部１５１は、各特徴点の三次元座標値が特徴位置検出部２２から入力されると（ステップＳ１０２：ＹＥＳ）、各特徴点の検出が完了したことを認証情報登録部１５４へ通知する。また、特徴位置取得部１５１は、特徴位置検出部２２から取得する各特徴点の三次元座標値を認証情報生成部１５２へ逐次出力する。認証情報登録部１５４は、認証情報に対応するユーザＩＤを入力部１２から取得する（ステップＳ１０３）。   When the three-dimensional coordinate value of each feature point is input from the feature position detection unit 22 (step S102: YES), the feature position acquisition unit 151 notifies the authentication information registration unit 154 that the detection of each feature point has been completed. To do. The feature position acquisition unit 151 sequentially outputs the three-dimensional coordinate values of the feature points acquired from the feature position detection unit 22 to the authentication information generation unit 152. The authentication information registration unit 154 acquires a user ID corresponding to the authentication information from the input unit 12 (step S103).

認証情報生成部１５２は、特徴位置取得部１５１を介して、各特徴点の三次元座標値を取得し（ステップＳ１０４）、署名の開始を示す動作が行われているか否かを判定する（ステップＳ１０５）。認証情報生成部１５２は、署名の開始を示す動作を検出できない場合（ステップＳ１０５：ＮＯ）、処理をステップＳ１０４へ戻し、署名の開始を示す動作が検出されるまでステップＳ１０４及びステップＳ１０５の処理を繰り返し行う。このとき、認証情報生成部１５２は、三次元モーションセンサ２の検出範囲に手をかざした状態で署名の開始を示す動作の後に宙に署名を行う動作を要求するメッセージをユーザに対して出力させる制御を、出力部１３に対して行うようにしてもよい。   The authentication information generation unit 152 acquires the three-dimensional coordinate value of each feature point via the feature position acquisition unit 151 (step S104), and determines whether or not the operation indicating the start of the signature is performed (step S104). S105). When the operation indicating the start of the signature cannot be detected (step S105: NO), the authentication information generation unit 152 returns the process to step S104, and performs the processing of steps S104 and S105 until the operation indicating the start of the signature is detected. Repeat. At this time, the authentication information generation unit 152 causes the user to output a message requesting an operation for signing in the air after the operation indicating the start of the signature with the hand held over the detection range of the three-dimensional motion sensor 2. Control may be performed on the output unit 13.

認証情報生成部１５２は、署名の開始を示す動作を検出した場合（ステップＳ１０５：ＹＥＳ）、各特徴点の三次元座標値に基づいて、ユーザの手の特徴量を算出する（ステップＳ１０６）。認証情報生成部１５２は、算出した特徴量をメモリ部１５３へ記憶させる。また、認証情報生成部１５２は、ユーザが署名に要する時間を計測するためのタイマを起動させる。ユーザは、署名の開始を示す動作を行った後に、三次元モーションセンサ２の検出範囲に手をかざして宙に署名を行う動作と、署名の動作を行った後に署名の終了を示す動作を行う。   When the authentication information generation unit 152 detects an operation indicating the start of a signature (step S105: YES), the authentication information generation unit 152 calculates a feature amount of the user's hand based on the three-dimensional coordinate value of each feature point (step S106). The authentication information generation unit 152 stores the calculated feature amount in the memory unit 153. Also, the authentication information generation unit 152 starts a timer for measuring the time required for the user to sign. After performing the operation indicating the start of the signature, the user holds the hand over the detection range of the 3D motion sensor 2 and performs the operation indicating the end of the signature after performing the signature operation. .

認証情報生成部１５２は、特徴位置取得部１５１を介して、各特徴点の三次元座標値を取得し（ステップＳ１０７）、取得した各特徴点の三次元座標値をメモリ部１５３へ逐次記憶させる（ステップＳ１０８）。認証情報生成部１５２は、署名の終了を示す動作が行われているか否かを判定する（ステップＳ１０９）。認証情報生成部１５２は、署名の終了を示す動作を検出できない場合（ステップＳ１０９：ＮＯ）、処理をステップＳ１０７へ戻し、署名の終了を示す動作が検出されるまで、ステップＳ１０７、ステップＳ１０８及びステップＳ１０９の処理を繰り返し行う。   The authentication information generation unit 152 acquires the three-dimensional coordinate value of each feature point via the feature position acquisition unit 151 (step S107), and sequentially stores the acquired three-dimensional coordinate value of each feature point in the memory unit 153. (Step S108). The authentication information generation unit 152 determines whether an operation indicating the end of the signature has been performed (step S109). If the operation indicating the end of the signature cannot be detected (step S109: NO), the authentication information generation unit 152 returns the process to step S107, and continues to step S107, step S108, and step until the operation indicating the end of the signature is detected. The process of S109 is repeated.

認証情報生成部１５２は、署名の終了を示す動作を検出すると（ステップＳ１０９：ＹＥＳ）、タイマのカウント値に基づいて、ユーザが署名に要した時間を算出し、算出した時間を署名時間としてメモリ部１５３に記憶させる（ステップＳ１１０）。認証情報生成部１５２は、メモリ部１５３に記憶させた各特徴点の三次元座標値から各指先の軌跡を示す軌跡画像を生成し、生成した各軌跡画像をメモリ部１５３に記憶させる（ステップＳ１１１）。   When the authentication information generation unit 152 detects an operation indicating the end of the signature (step S109: YES), the authentication information generation unit 152 calculates the time required for the signature by the user based on the count value of the timer, and stores the calculated time as the signature time. The data is stored in the unit 153 (step S110). The authentication information generation unit 152 generates a trajectory image indicating the trajectory of each fingertip from the three-dimensional coordinate value of each feature point stored in the memory unit 153, and stores the generated trajectory image in the memory unit 153 (step S111). ).

認証情報登録部１５４は、認証情報生成部１５２がユーザの手の特徴量と署名時間と各指先の軌跡画像とをメモリ部１５３に記憶させると、ユーザの手の特徴量と署名時間と各指先の軌跡画像との組み合わせにユーザＩＤを対応付けた認証情報を、認証情報記憶部１４に記憶させ（ステップＳ１１２）、登録処理を終了させる。   When the authentication information generation unit 152 stores the feature amount, signature time, and locus image of each fingertip of the user in the memory unit 153, the authentication information registration unit 152 stores the feature amount, signature time, and each fingertip of the user hand. The authentication information in which the user ID is associated with the combination of the locus image is stored in the authentication information storage unit 14 (step S112), and the registration process is terminated.

ここで、軌跡画像の生成方法について説明する。認証情報生成部１５２は、ステップＳ１０８においてメモリ部１５３に蓄積された三次元座標値を、指先ごとに時系列に隣接する座標値を直線で接続することにより、各指先の三次元の軌跡を得ることができる。三次元の軌跡を軌跡画像として用いる際には、軌跡の開始点を原点とする座標変換を行うなどして、ＸＹ平面、ＹＺ平面及びＺＸ平面に射影した３枚の二次元画像の組み合わせを用いてもよい。   Here, a method for generating a trajectory image will be described. The authentication information generation unit 152 obtains the three-dimensional trajectory of each fingertip by connecting the three-dimensional coordinate values accumulated in the memory unit 153 in step S108 with the coordinate values adjacent in time series for each fingertip with a straight line. be able to. When a three-dimensional trajectory is used as a trajectory image, a combination of three two-dimensional images projected on the XY plane, YZ plane, and ZX plane is used, for example, by performing coordinate transformation with the starting point of the trajectory as the origin. May be.

また、三次元の軌跡を二次元平面に投影して得られる二次元画像を軌跡画像として用いてもよい。図４は、三次元の軌跡を二次元画像に変換する際の概要を示す図である。認証情報生成部１５２は、図４（Ａ）に示すように、ＸＹＺの三次元座標空間でユーザが署名を描いた際に得られた指先の軌跡において、距離が最も長い方向を検出し、検出した方向をＸ’方向とする。続いて、認証情報生成部１５２は、Ｘ’方向に直交する平面のうち、Ｘ’方向に直交する方向において署名の軌跡が最も長くなる平面を検出し、検出した平面におけるＸ’方向に直交する方向をＹ’方向とする。認証情報生成部１５２は、Ｘ’方向及びＹ’方向を決定すると、図４（Ｂ）に示すように、Ｘ’方向とＹ’方向とで張られる平面に三次元の軌跡を射影して得られた二次元平面上の軌跡を軌跡画像とする。なお、軌跡画像の横幅又は高さの両方又はいずれか一方が予め定められたサイズ（例えば８００ピクセル）となるように軌跡画像を縮小又は拡大してもよい。   Further, a two-dimensional image obtained by projecting a three-dimensional locus onto a two-dimensional plane may be used as the locus image. FIG. 4 is a diagram showing an outline when a three-dimensional trajectory is converted into a two-dimensional image. As shown in FIG. 4A, the authentication information generation unit 152 detects the direction with the longest distance in the trajectory of the fingertip obtained when the user draws a signature in the XYZ three-dimensional coordinate space. This direction is taken as the X ′ direction. Subsequently, the authentication information generation unit 152 detects a plane having the longest signature trajectory in the direction orthogonal to the X ′ direction among the planes orthogonal to the X ′ direction, and is orthogonal to the X ′ direction in the detected plane. Let the direction be the Y ′ direction. When the authentication information generation unit 152 determines the X ′ direction and the Y ′ direction, as shown in FIG. 4B, the authentication information generation unit 152 obtains the three-dimensional trajectory by projecting onto a plane stretched between the X ′ direction and the Y ′ direction. The trajectory on the two-dimensional plane is used as a trajectory image. Note that the trajectory image may be reduced or enlarged so that either or both of the horizontal width and height of the trajectory image have a predetermined size (for example, 800 pixels).

なお、三次元の軌跡を二次元画像へ変換する上記の方法以外にも、例えば、三次元の軌跡を二次元平面上に投影した際に、二次元平面上の軌跡を囲む最小の矩形の面積が最も大きくなる二次元平面を検出し、検出した二次元平面上に三次元の軌跡を投影して得られる軌跡を軌跡画像としてもよい。   In addition to the above method for converting a three-dimensional trajectory into a two-dimensional image, for example, when a three-dimensional trajectory is projected onto a two-dimensional plane, the minimum rectangular area surrounding the trajectory on the two-dimensional plane A trajectory image may be obtained by detecting a two-dimensional plane having the largest value and projecting a three-dimensional trajectory on the detected two-dimensional plane.

また、三次元の軌跡を二次元画像へ変換する上記の方法以外の方法を用いてもよい。例えば、三次元の軌跡と接する平行な２つの平面であって当該軌跡を挟む２つの平面のうち、平面間の距離が最も短くなる２つの平面を検出し、検出した２つの平面のいずれか一方の平面をｘ’ｙ’平面とする。続いてｘ’ｙ’平面と直交する軸をｚ’軸とし、ｘ’ｙ’平面に三次元の軌跡をz’軸方向に投影して得られる平面上の軌跡を軌跡画像としてもよい。   A method other than the above method for converting a three-dimensional trajectory into a two-dimensional image may be used. For example, two parallel planes in contact with a three-dimensional trajectory that detect the two planes having the shortest distance between the planes and sandwich one of the two planes are detected. Is the x′y ′ plane. Subsequently, an axis orthogonal to the x′y ′ plane may be used as the z ′ axis, and a trajectory on the plane obtained by projecting a three-dimensional trajectory onto the x′y ′ plane in the z ′ axis direction may be used as the trajectory image.

図５は、第１の実施形態の認証システムにおけるユーザの認証処理を示すフローチャートである。例えば、ユーザに対する認証を実行する要求が、制御部１１又は外部の装置から認証処理部１５へ入力されると認証処理が開始される。   FIG. 5 is a flowchart illustrating user authentication processing in the authentication system according to the first embodiment. For example, when a request for executing authentication for a user is input from the control unit 11 or an external device to the authentication processing unit 15, the authentication processing is started.

認証処理部１５において、認証部１５５は、三次元モーションセンサ２に対して、特徴点を検出する処理と特徴点の三次元座標値を逐次出力する処理との開始を要求する。三次元モーションセンサ２において、特徴位置検出部２２は、三次元センサ２１により撮像される複数の画像に基づいて、三次元モーションセンサ２の検出範囲にかざされるユーザの手における特徴点を検出する。特徴位置検出部２２は、検出した各特徴点の三次元座標値を認証処理部１５へ出力する（ステップＳ２０１）。   In the authentication processing unit 15, the authentication unit 155 requests the 3D motion sensor 2 to start processing for detecting feature points and processing for sequentially outputting 3D coordinate values of feature points. In the three-dimensional motion sensor 2, the feature position detection unit 22 detects a feature point on the user's hand held over the detection range of the three-dimensional motion sensor 2 based on a plurality of images captured by the three-dimensional sensor 21. The feature position detection unit 22 outputs the detected three-dimensional coordinate value of each feature point to the authentication processing unit 15 (step S201).

特徴位置取得部１５１は、ユーザの手における各特徴点の三次元座標値が特徴位置検出部２２から入力されているか否かに基づいて、特徴位置検出部２２が各特徴点を検出した否かを判定する（ステップＳ２０２）。特徴位置取得部１５１は、特徴位置検出部２２から各特徴点の三次元座標が入力されるまで待機する（ステップＳ２０２：ＮＯ）。   The feature position acquisition unit 151 determines whether or not the feature position detection unit 22 has detected each feature point based on whether or not the three-dimensional coordinate value of each feature point in the user's hand is input from the feature position detection unit 22. Is determined (step S202). The feature position acquisition unit 151 stands by until the three-dimensional coordinates of each feature point are input from the feature position detection unit 22 (step S202: NO).

特徴位置取得部１５１は、各特徴点の三次元座標値が特徴位置検出部２２から入力されると（ステップＳ２０２：ＹＥＳ）、各特徴点の検出が完了したことを認証部１５５へ通知する。また、特徴位置取得部１５１は、特徴位置検出部２２から取得する各特徴点の三次元座標値を認証情報生成部１５２へ逐次出力する。認証部１５５は、認証対象となるユーザを示すユーザＩＤを入力部１２から取得する（ステップＳ２０３）。   When the three-dimensional coordinate value of each feature point is input from the feature position detection unit 22 (YES in step S202), the feature position acquisition unit 151 notifies the authentication unit 155 that the detection of each feature point is completed. The feature position acquisition unit 151 sequentially outputs the three-dimensional coordinate values of the feature points acquired from the feature position detection unit 22 to the authentication information generation unit 152. The authentication unit 155 acquires a user ID indicating a user to be authenticated from the input unit 12 (step S203).

認証情報生成部１５２は、特徴位置取得部１５１を介して、各特徴点の三次元座標値を取得し（ステップＳ２０４）、署名の開始を示す動作が行われているか否かを判定する（ステップＳ２０５）。認証情報生成部１５２は、署名の開始を示す動作を検出できない場合（ステップＳ２０５：ＮＯ）、処理をステップＳ２０４へ戻し、署名の開始を示す動作が検出されるまでステップＳ２０４及びステップＳ２０５の処理を繰り返し行う。   The authentication information generation unit 152 acquires the three-dimensional coordinate value of each feature point via the feature position acquisition unit 151 (step S204), and determines whether an operation indicating the start of the signature is performed (step S204). S205). If the operation that indicates the start of the signature cannot be detected (step S205: NO), the authentication information generation unit 152 returns the processing to step S204, and performs the processing of steps S204 and S205 until the operation that indicates the start of the signature is detected. Repeat.

認証情報生成部１５２は、署名の開始を示す動作を検出した場合（ステップＳ２０５：ＹＥＳ）、各特徴点の三次元座標値に基づいて、ユーザの手の特徴量を算出する（ステップＳ２０６）。認証情報生成部１５２は、算出した特徴量をメモリ部１５３へ記憶させる。また、認証情報生成部１５２は、ユーザが署名に要する時間を計測するためのタイマを起動させる。   When the authentication information generation unit 152 detects an operation indicating the start of a signature (step S205: YES), the authentication information generation unit 152 calculates the feature amount of the user's hand based on the three-dimensional coordinate value of each feature point (step S206). The authentication information generation unit 152 stores the calculated feature amount in the memory unit 153. Also, the authentication information generation unit 152 starts a timer for measuring the time required for the user to sign.

認証情報生成部１５２は、特徴位置取得部１５１を介して、各特徴点の三次元座標値を取得し（ステップＳ２０７）、取得した各特徴点の三次元座標値をメモリ部１５３へ逐次記憶させる（ステップＳ２０８）。認証情報生成部１５２は、署名の終了を示す動作が行われているか否かを判定する（ステップＳ２０９）。認証情報生成部１５２は、署名の終了を示す動作を検出できない場合（ステップＳ２０９：ＮＯ）、処理をステップＳ２０７へ戻し、署名の終了を示す動作が検出されるまで、ステップＳ２０７、ステップＳ２０８及びステップＳ２０９の処理を繰り返し行う。   The authentication information generation unit 152 acquires the three-dimensional coordinate value of each feature point via the feature position acquisition unit 151 (step S207), and sequentially stores the acquired three-dimensional coordinate value of each feature point in the memory unit 153. (Step S208). The authentication information generation unit 152 determines whether an operation indicating the end of the signature has been performed (step S209). If the operation indicating the end of the signature cannot be detected (step S209: NO), the authentication information generation unit 152 returns the processing to step S207, and continues to step S207, step S208, and step until the operation indicating the end of the signature is detected. The process of S209 is repeated.

認証情報生成部１５２は、署名の終了を示す動作を検出すると（ステップＳ２０９：ＹＥＳ）、タイマのカウント値に基づいて、ユーザが署名に要した時間を算出し、算出した時間を署名時間としてメモリ部１５３に記憶させる（ステップＳ２１０）。認証情報生成部１５２は、メモリ部１５３に記憶させた各特徴点の三次元座標値から各指先の軌跡を示す軌跡画像を生成し、生成した各軌跡画像をメモリ部１５３に記憶させる（ステップＳ２１１）。   When the authentication information generation unit 152 detects an operation indicating the end of the signature (step S209: YES), the authentication information generation unit 152 calculates the time required for the signature by the user based on the count value of the timer, and stores the calculated time as the signature time. The data is stored in the unit 153 (step S210). The authentication information generation unit 152 generates a trajectory image indicating the trajectory of each fingertip from the three-dimensional coordinate value of each feature point stored in the memory unit 153, and stores the generated trajectory image in the memory unit 153 (step S211). ).

認証部１５５は、認証情報生成部１５２がユーザの手の特徴量と署名時間と各指先の軌跡画像とをメモリ部１５３に記憶させると、ステップＳ２０３において取得したユーザＩＤで特定される認証情報を認証情報記憶部１４から読み出す（ステップＳ２１２）。認証部１５５は、読み出した認証情報に含まれるユーザの手の特徴量、署名時間及び各指先の軌跡画像と、メモリ部１５３に記憶されているユーザの手の特徴量、署名時間及び各指先の軌跡画像との類似度を算出する（ステップＳ２１３）。   The authentication unit 155 stores the authentication information specified by the user ID acquired in step S203 when the authentication information generation unit 152 stores the feature amount of the user's hand, the signature time, and the trajectory image of each fingertip in the memory unit 153. Read from the authentication information storage unit 14 (step S212). The authentication unit 155 includes the feature value of the user's hand, the signature time, and the trajectory image of each fingertip included in the read authentication information, and the feature value, signature time, and each fingertip of the user's hand stored in the memory unit 153. The similarity with the trajectory image is calculated (step S213).

ユーザの手の特徴量（各指の長さ）に関する類似度には、例えば、認証情報記憶部１４に記憶されている特徴量に対するメモリ部１５３に記憶されている特徴量の比（（メモリ部１５３の特徴量）／（認証情報記憶部１４の特徴量））を用いる。各指の長さの類似度は、指ごとに算出する。同様に、署名時間に関する類似度にも、認証情報記憶部１４に記憶されている署名時間に対する、メモリ部１５３に記憶されている特徴量の比を用いる。また、軌跡画像の類似度には、画像間の類似度を算出する公知の技術を利用して、認証情報記憶部１４に記憶されている軌跡画像と、メモリ部１５３に記憶されている軌跡画像と間の画像としての類似度を用いる。公知の技術として、例えばＯｐｅｎＣＶなどに用意されている画像類似度を算出する関数を用いることができる。   For the similarity regarding the feature amount (the length of each finger) of the user's hand, for example, the ratio of the feature amount stored in the memory unit 153 to the feature amount stored in the authentication information storage unit 14 ((memory unit 153 feature amount) / (feature amount of authentication information storage unit 14)). The similarity of the length of each finger is calculated for each finger. Similarly, the ratio of the feature amount stored in the memory unit 153 with respect to the signature time stored in the authentication information storage unit 14 is also used for the similarity regarding the signature time. Further, for the similarity of the trajectory images, the trajectory image stored in the authentication information storage unit 14 and the trajectory image stored in the memory unit 153 using a known technique for calculating the similarity between the images. The similarity as an image is used. As a known technique, for example, a function for calculating an image similarity degree prepared in OpenCV or the like can be used.

認証部１５５は、ユーザの手の特徴量、署名時間及び各軌跡画像それぞれの類似度が予め定められた認証範囲内に含まれるか否かを判定する（ステップＳ２１４）。認証部１５５は、全ての類似度が認証範囲内に含まれている場合（ステップＳ２１４：ＹＥＳ）、ユーザに対する認証が成功したことを示す信号を制御部１１又は外部の装置へ出力し（ステップＳ２１５）、認証処理を終了する。認証部１５５は、いずれかの類似度が認証範囲内に含まれていない場合（ステップＳ２１４：ＮＯ）、ユーザに対する認証が失敗したことを示す信号を制御部１１又は外部の装置へ出力し（ステップＳ２１６）、認証処理を終了する。なお、認証範囲を示す数値（しきい値）は、事前に登録処理及び認証処理を繰り返しユーザに実施してもらい、得られた認証結果に基づいて定めてもよい。   The authentication unit 155 determines whether the feature amount of the user's hand, the signature time, and the similarity of each trajectory image are included in a predetermined authentication range (step S214). If all the similarities are included in the authentication range (step S214: YES), the authentication unit 155 outputs a signal indicating that the user has been successfully authenticated to the control unit 11 or an external device (step S215). ), And ends the authentication process. If any similarity is not included in the authentication range (step S214: NO), the authentication unit 155 outputs a signal indicating that the authentication for the user has failed to the control unit 11 or an external device (step S214). S216), the authentication process is terminated. Note that the numerical value (threshold value) indicating the authentication range may be determined based on the obtained authentication result after the user repeatedly performs registration processing and authentication processing in advance.

なお、ステップＳ２１４の判定において、認証部１５５は、認証範囲内に含まれる類似度の数が所定数以上である場合に認証成功と判定し、認証範囲内に含まれる類似度の数が所定数未満である場合に認証失敗と判定するようにしてもよい。また、ステップＳ２０３におけるユーザＩＤの取得を行わずに、ステップＳ２０６において算出する各指の長さを検索キーにして組み合わせが一致する認証情報をステップＳ２１２で読み出すようにしてもよい。   In the determination in step S214, the authentication unit 155 determines that the authentication is successful when the number of similarities included in the authentication range is equal to or greater than a predetermined number, and the number of similarities included in the authentication range is the predetermined number. If it is less than the value, it may be determined that the authentication has failed. Further, instead of acquiring the user ID in step S203, authentication information with a matching combination may be read in step S212 using the length of each finger calculated in step S206 as a search key.

（第２の実施形態）
図６は、第２の実施形態における認証システムの構成例を示すブロック図である。同図に示すように、第２の実施形態における認証システムは、ユーザが利用する端末装置１Ａと、端末装置１Ａに接続された三次元モーションセンサ２と、ネットワーク３を介して端末装置１Ａに接続された認証連携サーバ４とを備える。なお、第２の実施形態の認証システムにおいて、第１の実施形態の認証システムにおける構成と同じ構成に対しては同じ符号を付して重複する説明を省略する。 (Second Embodiment)
FIG. 6 is a block diagram illustrating a configuration example of the authentication system according to the second embodiment. As shown in the figure, the authentication system in the second embodiment is connected to the terminal device 1A used by the user, the three-dimensional motion sensor 2 connected to the terminal device 1A, and the terminal device 1A via the network 3. The authentication cooperation server 4 is provided. Note that in the authentication system of the second embodiment, the same components as those in the authentication system of the first embodiment are denoted by the same reference numerals, and redundant description is omitted.

端末装置１Ａは、制御部１１、入力部１２、出力部１３及び転送部１８を備える。転送部１８は、三次元モーションセンサ２と通信可能に接続されている。また、転送部１８は、ネットワーク３を介して認証連携サーバ４と通信可能に接続されている。転送部１８は、三次元モーションセンサ２から取得する情報を認証連携サーバ４へ送信し、認証連携サーバ４から受信する三次元モーションセンサ２宛の制御情報を三次元モーションセンサ２へ出力する。   The terminal device 1A includes a control unit 11, an input unit 12, an output unit 13, and a transfer unit 18. The transfer unit 18 is communicably connected to the 3D motion sensor 2. The transfer unit 18 is connected to the authentication cooperation server 4 via the network 3 so as to be communicable. The transfer unit 18 transmits information acquired from the 3D motion sensor 2 to the authentication collaboration server 4, and outputs control information addressed to the 3D motion sensor 2 received from the authentication collaboration server 4 to the 3D motion sensor 2.

認証連携サーバ４は、認証情報記憶部１４、認証処理部１５及び通信部４１を備える。通信部４１は、ネットワーク３を介して端末装置１Ａと通信可能に接続されている。通信部４１は、認証処理部１５から入力される制御情報を端末装置１へ送信し、端末装置１Ａから受信する情報を認証処理部１５へ出力する。   The authentication collaboration server 4 includes an authentication information storage unit 14, an authentication processing unit 15, and a communication unit 41. The communication unit 41 is communicably connected to the terminal device 1A via the network 3. The communication unit 41 transmits control information input from the authentication processing unit 15 to the terminal device 1 and outputs information received from the terminal device 1A to the authentication processing unit 15.

第２の実施形態における認証システムは、認証処理部１５と三次元モーションセンサ２とが、転送部１８とネットワーク３と通信部４１とを介して接続された構成となっており、図３に示した登録処理と図５に示した認証処理とが主に認証連携サーバ４において行われる構成になっている。認証処理部１５と三次元モーションセンサ２との間で行われる情報の伝送が転送部１８とネットワーク３と通信部４１とを介して行われること以外の構成及び処理は、第１の実施形態における認証システムと同様であり、登録処理と認証処理とは、ネットワーク３を介して行うことも可能である。なお、認証連携サーバ４におけるユーザの認証だけでなく、サービスを提供するサーバ装置のログインにおけるユーザの認証に利用することも可能である。   The authentication system in the second embodiment has a configuration in which the authentication processing unit 15 and the three-dimensional motion sensor 2 are connected via the transfer unit 18, the network 3, and the communication unit 41, as shown in FIG. The registration process and the authentication process shown in FIG. 5 are mainly performed in the authentication cooperation server 4. Configurations and processes other than the transmission of information performed between the authentication processing unit 15 and the three-dimensional motion sensor 2 via the transfer unit 18, the network 3, and the communication unit 41 are the same as those in the first embodiment. Similar to the authentication system, the registration process and the authentication process can be performed via the network 3. In addition to the user authentication in the authentication cooperation server 4, it can be used for the user authentication in the login of the server device that provides the service.

各実施形態における認証システムでは、三次元モーションセンサ２を利用して署名の動作における三次元座標を取得することにより、タッチパネルやタッチパッド上における署名の二次元パターンより多くの情報量を用いた認証を行うことができ、認証精度を向上させるとともに誤認証率を低減させることができる。   In the authentication system in each embodiment, the three-dimensional motion sensor 2 is used to acquire the three-dimensional coordinates in the signature operation, thereby authenticating using a larger amount of information than the two-dimensional pattern of the signature on the touch panel or touch pad. Thus, it is possible to improve the authentication accuracy and reduce the false authentication rate.

また、各指先の軌跡画像を組み合わせた認証を行うことにより、他のユーザの署名を盗み見た第三者が当該署名を真似たとしても全ての指先の動作を真似ること困難であるため、誤認証の危険性を低くでき、ユーザＩＤの不正利用を防ぐことができる。また、ユーザの手の特徴量、例えば各指の長さの組み合わせを用いているため、各ユーザに固有の情報に基づいた認証を行うことができ、認証精度を高くすることができる。   In addition, by performing authentication that combines the trajectory images of each fingertip, even if a third party who stole the signature of another user imitated the signature, it is difficult to imitate the operation of all the fingertips. Can be reduced, and unauthorized use of the user ID can be prevented. In addition, since a feature amount of a user's hand, for example, a combination of the lengths of the fingers, is used, authentication based on information unique to each user can be performed, and authentication accuracy can be increased.

また、三次元モーションセンサ２を利用して抽出した三次元座標値に基づいた軌跡を二次元平面上の軌跡画像として扱うことにより、認証に用いる情報量を増やしつつ認証における演算負荷を低減させた上で、認証精度を向上させ誤認証率を低下させることができる。また、署名に要する時間も組み合わせて認証を行っているため、認証精度を高くすることができ、誤認証率を低減させることができる。   In addition, by handling the trajectory based on the three-dimensional coordinate value extracted using the three-dimensional motion sensor 2 as a trajectory image on a two-dimensional plane, the calculation load in authentication is reduced while increasing the amount of information used for authentication. In the above, the authentication accuracy can be improved and the false authentication rate can be reduced. In addition, since authentication is performed in combination with the time required for signature, the authentication accuracy can be increased and the false authentication rate can be reduced.

また、各指先の軌跡画像を認証に用いるため、署名を行う指先だけでなく他の指の曲がり具合なども反映されているため、署名の不正利用を防ぎ、個人を特定するユーザの認証には好適である。   In addition, since the trajectory image of each fingertip is used for authentication, it reflects not only the fingertip that performs the signature but also the bending of other fingers, etc., thus preventing unauthorized use of the signature and authenticating the user who identifies the individual Is preferred.

なお、各実施形態における認証システムでは、各指の長さと、各指先の軌跡と、署名時間とを組み合わせた認証を行っているが、いずれかの指の長さと当該指の軌跡との２つの事項の組み合わせを最小の構成として、任意の組み合わせを用いた認証が可能である。また、２本の指先の軌跡を組み合わせた認証も可能である。また、指先の軌跡を軌跡画像として用いたが、指先以外の特徴点（例えば関節など）の軌跡を軌跡画像として用いてもよい。   In the authentication system in each embodiment, authentication is performed by combining the length of each finger, the trajectory of each fingertip, and the signature time. Authentication using any combination is possible with a combination of items as a minimum configuration. Authentication combining two fingertip trajectories is also possible. Further, although the trajectory of the fingertip is used as the trajectory image, the trajectory of a feature point (for example, a joint) other than the fingertip may be used as the trajectory image.

上述した各実施形態における認証システムの全て又は一部をコンピュータで実現するようにしてもよい。例えば、認証処理部１５が有する構成要素それぞれを実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することによって実現してもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。更に「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間の間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含んでもよい。また上記プログラムは、前述した構成要素の一部を実現するためのものであってもよく、更に前述した構成要素をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであってもよく、ＰＬＤ（Programmable Logic Device）やＦＰＧＡ（Field Programmable Gate Array）等のハードウェアを用いて実現されるものであってもよい。   You may make it implement | achieve all or one part of the authentication system in each embodiment mentioned above with a computer. For example, it is realized by recording a program for realizing each component included in the authentication processing unit 15 on a computer-readable recording medium, causing the computer system to read and execute the program recorded on the recording medium. May be. Here, the “computer system” includes an OS and hardware such as peripheral devices. The “computer-readable recording medium” refers to a storage device such as a flexible medium, a magneto-optical disk, a portable medium such as a ROM and a CD-ROM, and a hard disk incorporated in a computer system. Further, the “computer-readable recording medium” is a program that dynamically holds a program for a short time, like a communication line when a program is transmitted via a network such as the Internet or a communication line such as a telephone line. In this case, a volatile memory inside a computer system serving as a server or a client in that case may be included and a program held for a certain period of time. Further, the program may be for realizing a part of the above-described constituent elements, and may be realized by combining the above-described constituent elements with a program already recorded in a computer system. It may be realized by using hardware such as PLD (Programmable Logic Device) or FPGA (Field Programmable Gate Array).

以上、この発明の実施形態について図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も含まれる。   The embodiment of the present invention has been described in detail with reference to the drawings. However, the specific configuration is not limited to this embodiment, and includes designs and the like that do not depart from the gist of the present invention.

ユーザに対する認証が不可欠な用途にも適用できる。   It can also be applied to applications where user authentication is essential.

１，１Ａ…端末装置、２…三次元モーションセンサ、３…ネットワーク、４…認証連携サーバ、１１…制御部、１２…入力部、１３…出力部、１４…認証情報記憶部、１５…認証処理部、１８…転送部、２１…三次元センサ、２２…特徴位置検出部、４１…通信部、１５１…特徴位置取得部、１５２…認証情報生成部、１５３…メモリ部、１５４…認証情報登録部、１５５…認証部   DESCRIPTION OF SYMBOLS 1,1A ... Terminal device, 2 ... Three-dimensional motion sensor, 3 ... Network, 4 ... Authentication cooperation server, 11 ... Control part, 12 ... Input part, 13 ... Output part, 14 ... Authentication information storage part, 15 ... Authentication process , 18 ... Transfer unit, 21 ... 3D sensor, 22 ... Feature position detection unit, 41 ... Communication unit, 151 ... Feature position acquisition unit, 152 ... Authentication information generation unit, 153 ... Memory unit, 154 ... Authentication information registration unit 155 ... Authentication unit

Claims (7)

ユーザの手において複数の指先を含む特徴点を検出する三次元モーションセンサと、
前記特徴点それぞれの軌跡を含む認証情報を予め記憶する認証情報記憶部と、
前記三次元モーションセンサにより検出された前記特徴点の軌跡と、前記認証情報に含まれる前記特徴点の軌跡との類似度に基づいて、前記ユーザに対する認証を行う認証部と
を備え、
前記認証部は、前記三次元モーションセンサにより検出された複数の前記特徴点の軌跡と、前記認証情報に含まれる複数の前記特徴点の軌跡との類似度を前記特徴点ごとに算出し、算出した複数の前記類似度のうち予め定められた認証範囲に含まれる前記類似度の数が所定数以上であるか否かに基づいて、前記ユーザに対する認証を行う、
ことを特徴とする認証システム。 A three-dimensional motion sensor for detecting feature points including a plurality of fingertips in a user's hand;
An authentication information storage unit that stores in advance authentication information including a trajectory of each of the feature points;
An authentication unit that authenticates the user based on a similarity between the trajectory of the feature point detected by the three-dimensional motion sensor and the trajectory of the feature point included in the authentication information;
The authentication unit calculates, for each feature point, a similarity between a plurality of feature point trajectories detected by the three-dimensional motion sensor and a plurality of feature point trajectories included in the authentication information. The user is authenticated based on whether the number of similarities included in a predetermined authentication range among the plurality of similarities is a predetermined number or more.
An authentication system characterized by that. 請求項１に記載の認証システムにおいて、
前記認証情報は、前記特徴点間の距離に基づいて算出される特徴量を更に含み、
前記認証部は、前記三次元モーションセンサにより検出された前記特徴点の距離に基づいて特徴量を算出し、算出した特徴量と前記認証情報に含まれる特徴量との類似度に基づいて、前記ユーザに対する認証を行う
ことを特徴とする認証システム。 The authentication system according to claim 1 ,
The authentication information further includes a feature amount calculated based on a distance between the feature points,
The authentication unit calculates a feature amount based on the distance between the feature points detected by the three-dimensional motion sensor, and based on the similarity between the calculated feature amount and the feature amount included in the authentication information, An authentication system characterized by authenticating users. 請求項２に記載の認証システムにおいて、
前記特徴点には、指の関節が含まれ、
前記特徴量は、指の長さである
ことを特徴とする認証システム。 The authentication system according to claim 2 ,
The feature points include finger joints,
The authentication system is characterized in that the feature amount is a length of a finger. 請求項１から請求項３のいずれか一項に記載の認証システムにおいて、
前記三次元モーションセンサにより検出された前記特徴点の軌跡を二次元平面に投影した二次元画像を生成する認証情報生成部を更に備え、
前記認証情報には、二次元画像が前記特徴点の軌跡として含まれ、
前記認証部は、前記認証情報生成部が生成する二次元画像と前記認証情報に含まれる二次元画像との類似度を、前記特徴点の軌跡に対する類似度として算出する
ことを特徴とする認証システム。 In the authentication system according to any one of claims 1 to 3 ,
An authentication information generating unit that generates a two-dimensional image obtained by projecting the trajectory of the feature point detected by the three-dimensional motion sensor onto a two-dimensional plane;
The authentication information includes a two-dimensional image as a locus of the feature points,
The authentication unit calculates a similarity between the two-dimensional image generated by the authentication information generation unit and the two-dimensional image included in the authentication information as a similarity to the trajectory of the feature point. . 請求項１から請求項４のいずれか一項に記載の認証システムにおいて、
前記認証情報は、前記ユーザが手を前記三次元モーションセンサにかざして軌跡を描く際に要する時間を含み、
前記認証部は、前記ユーザが手を前記三次元モーションセンサにかざして軌跡を描く際に要する時間を計測し、計測した時間と前記認証情報に含まれる時間とに基づいて、前記ユーザに対する認証を行う
ことを特徴とする認証システム。 In the authentication system according to any one of claims 1 to 4 ,
The authentication information includes a time required for the user to draw a trajectory by holding a hand over the 3D motion sensor,
The authentication unit measures the time required for the user to draw a trajectory while holding the hand over the 3D motion sensor, and authenticates the user based on the measured time and the time included in the authentication information. An authentication system characterized by performing. 三次元モーションセンサで検出される、ユーザの手において複数の指先を含む特徴点の軌跡を取得する第１のステップと、
第１のステップにおいて取得した複数の前記特徴点の軌跡と、認証情報記憶部に記憶されている認証情報に含まれる複数の前記特徴点の軌跡との類似度に基づいて、前記ユーザに対する認証を行う第２のステップと、
を含み、
前記第２のステップでは、前記三次元モーションセンサにより検出された複数の前記特徴点の軌跡と、前記認証情報に含まれる複数の前記特徴点の軌跡との類似度を前記特徴点ごとに算出し、算出した複数の前記類似度のうち予め定められた認証範囲に含まれる前記類似度の数が所定数以上であるか否かに基づいて、前記ユーザに対する認証を行う、
ことを特徴とする認証方法。 A first step of acquiring a trajectory of a feature point including a plurality of fingertips in a user's hand, which is detected by a three-dimensional motion sensor;
Based on the similarity between the trajectories of the plurality of feature points acquired in the first step and the trajectories of the feature points included in the authentication information stored in the authentication information storage unit, authentication for the user is performed. A second step to perform;
Including
In the second step, the similarity between the trajectories of the plurality of feature points detected by the three-dimensional motion sensor and the trajectories of the feature points included in the authentication information is calculated for each feature point. The user is authenticated based on whether or not the number of similarities included in a predetermined authentication range among the plurality of calculated similarities is a predetermined number or more.
An authentication method characterized by that. 三次元モーションセンサで検出される、ユーザの手において複数の指先を含む特徴点の軌跡を取得する第１のステップと、
第１のステップにおいて取得した複数の前記特徴点の軌跡と、認証情報記憶部に記憶されている認証情報に含まれる複数の前記特徴点の軌跡との類似度に基づいて、前記ユーザに対する認証を行う第２のステップと、
をコンピュータに実行させ、
前記第２のステップでは、前記三次元モーションセンサにより検出された複数の前記特徴点の軌跡と、前記認証情報に含まれる複数の前記特徴点の軌跡との類似度を前記特徴点ごとに算出し、算出した複数の前記類似度のうち予め定められた認証範囲に含まれる前記類似度の数が所定数以上であるか否かに基づいて、前記ユーザに対する認証を行う、
プログラム。 A first step of acquiring a trajectory of a feature point including a plurality of fingertips in a user's hand, which is detected by a three-dimensional motion sensor;
Based on the similarity between the trajectories of the plurality of feature points acquired in the first step and the trajectories of the feature points included in the authentication information stored in the authentication information storage unit, authentication for the user is performed. A second step to perform;
To the computer,
In the second step, the similarity between the trajectories of the plurality of feature points detected by the three-dimensional motion sensor and the trajectories of the feature points included in the authentication information is calculated for each feature point. The user is authenticated based on whether or not the number of similarities included in a predetermined authentication range among the plurality of calculated similarities is a predetermined number or more.
program.
JP2015038276A 2015-02-27 2015-02-27 Authentication system, authentication method and program Active JP6194327B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2015038276A JP6194327B2 (en) 2015-02-27 2015-02-27 Authentication system, authentication method and program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2015038276A JP6194327B2 (en) 2015-02-27 2015-02-27 Authentication system, authentication method and program

Publications (2)

Publication Number Publication Date
JP2016162057A JP2016162057A (en) 2016-09-05
JP6194327B2 true JP6194327B2 (en) 2017-09-06

Family

ID=56847160

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2015038276A Active JP6194327B2 (en) 2015-02-27 2015-02-27 Authentication system, authentication method and program

Country Status (1)

Country Link
JP (1) JP6194327B2 (en)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
NO347923B1 (en) * 2017-09-15 2024-05-13 Elliptic Laboratories Asa User Authentication Control
US10675760B2 (en) * 2018-06-14 2020-06-09 International Business Machines Corporation Robot identification manager
JP7280682B2 (en) 2018-10-24 2023-05-24 東芝テック株式会社 Signature input device, payment terminal, program, signature input method

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2795921B2 (en) * 1989-09-21 1998-09-10 株式会社東芝 Personal authentication device
JPH10307919A (en) * 1997-05-01 1998-11-17 Omron Corp Personal identity specifying device
JP2001034764A (en) * 1999-05-18 2001-02-09 Sanyo Electric Co Ltd Dynamic image processing method, dynamic image processor and medium
JP2009009280A (en) * 2007-06-27 2009-01-15 Toyota Infotechnology Center Co Ltd Three-dimensional signature authentication system
JP5569062B2 (en) * 2010-03-15 2014-08-13 オムロン株式会社 Gesture recognition device, method for controlling gesture recognition device, and control program
JP5641970B2 (en) * 2011-02-18 2014-12-17 シャープ株式会社 Operating device, playback device, and television receiver

Also Published As

Publication number Publication date
JP2016162057A (en) 2016-09-05

Similar Documents

Publication Publication Date Title
US11863554B2 (en) Systems and methods for authenticating a user based on a biometric model associated with the user
KR101898636B1 (en) Fingerprint authentication using template update
US10126935B2 (en) Terminal apparatus, biometric authentication method, and computer-readable storage medium
US9298996B2 (en) Biometric authentication device and method
KR20170025802A (en) Method and apparatus for authentication based on fingerprint recognition
US9514351B2 (en) Processing a fingerprint for fingerprint matching
US9785863B2 (en) Fingerprint authentication
JP6194327B2 (en) Authentication system, authentication method and program
JP2016091457A (en) Input device, fingertip-position detection method, and computer program for fingertip-position detection
EP4262151A2 (en) Biometric public key system providing revocable credentials
JP2018097637A (en) Image processing apparatus, image processing method, and image processing program
JP2016177491A (en) Input device, fingertip position detection method, and fingertip position detection computer program
WO2018198500A1 (en) Collation device, collation method and collation program
JP2017084065A (en) Identity theft detection device
EP3364339B1 (en) Device, method, and non-transitory computer-readable storage medium for biometric authentication
JP2018128785A (en) Biometric authentication apparatus, biometric authentication method, and biometric authentication program
JP6672073B2 (en) Authentication device, authentication method, and program
KR20130085754A (en) Method and apparatus for providing of content and ce device
WO2023007730A1 (en) Information processing system, information processing device, information processing method, and recording medium
TWI674536B (en) Fingerprint navigation method and electronic device
JP2014081877A (en) Information processing apparatus, signature information acquisition method, and program
WO2014001598A1 (en) A method, an apparatus and a computer program product for biometric identification
JP2015045921A (en) Subject recognition device, subject recognition method, and subject recognition program
JP2010108374A (en) Individual authentication system and method using physical feature point
CN112115454A (en) Single sign-on method, first server and electronic equipment

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20160613

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20161108

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20161220

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20170523

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20170713

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20170724

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20170808

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20170814

R150 Certificate of patent or registration of utility model

Ref document number: 6194327

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250