JP6765657B2 - 認証装置、認証方法及びコンピュータプログラム - Google Patents

認証装置、認証方法及びコンピュータプログラム Download PDF

Info

Publication number
JP6765657B2
JP6765657B2 JP2017124730A JP2017124730A JP6765657B2 JP 6765657 B2 JP6765657 B2 JP 6765657B2 JP 2017124730 A JP2017124730 A JP 2017124730A JP 2017124730 A JP2017124730 A JP 2017124730A JP 6765657 B2 JP6765657 B2 JP 6765657B2
Authority
JP
Japan
Prior art keywords
waveform data
user
electrocardiographic
authentication
similarity
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2017124730A
Other languages
English (en)
Other versions
JP2019005305A (ja
Inventor
文西 陳
文西 陳
エイ 陳
エイ 陳
裕次 濱田
裕次 濱田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Simplex Quantum Inc
Original Assignee
Simplex Quantum Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Simplex Quantum Inc filed Critical Simplex Quantum Inc
Priority to JP2017124730A priority Critical patent/JP6765657B2/ja
Priority to PCT/JP2018/024397 priority patent/WO2019004291A1/ja
Publication of JP2019005305A publication Critical patent/JP2019005305A/ja
Priority to US16/725,916 priority patent/US11500975B2/en
Application granted granted Critical
Publication of JP6765657B2 publication Critical patent/JP6765657B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/30—Authentication, i.e. establishing the identity or authorisation of security principals
    • G06F21/31—User authentication
    • G06F21/32—User authentication using biometric data, e.g. fingerprints, iris scans or voiceprints
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/117—Identification of persons
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/316—Modalities, i.e. specific diagnostic methods
    • A61B5/318—Heart-related electrical modalities, e.g. electrocardiography [ECG]
    • A61B5/346—Analysis of electrocardiograms
    • A61B5/349—Detecting specific parameters of the electrocardiograph cycle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • G06F18/24133—Distances to prototypes
    • G06F18/24143—Distances to neighbourhood prototypes, e.g. restricted Coulomb energy networks [RCEN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2218/00—Aspects of pattern recognition specially adapted for signal processing
    • G06F2218/12—Classification; Matching
    • G06F2218/16—Classification; Matching by matching signal segments

Description

本発明は、個人の心電波形を用いて、その個人を認証する認証装置、認証方法及びそれをコンピュータ装置に実行させるためのコンピュータプログラムに関する。
個人の生体情報を用いた認証手段として、個人の心電信号を測定し、その心電信号から抽出される心拍毎の心電波形を用いて個人を識別する認証方法がさまざまに提案されている（特許文献１乃至７）。
心電波形は、心拍毎にＰ波、Ｑ波、Ｒ波、Ｓ波、Ｔ波などの特徴的な波形が現れることが知られており、測定された心電信号の原波形と微分波形の特徴情報（振幅、時間幅、各波間間隔、傾きなど）を抽出し、その認証対象の特徴情報とあらかじめ登録されている個人毎の特徴情報とを照合し、その相関関係を判定することで、個人の認証が行われる。
特開２０１２−１７６１０６号公報 特開２０１６−１７１９８３号公報 特開２０１４−２３９７３７号公報 特開２０１６−１２６７７５号公報 特開２０１６−０４９４４９号公報 特開２０１６−０４５９３９号公報 特開２０１２−０３８９１３号公報
心電波形は、同一の個人であっても、心拍毎に変動し、また、個人の体調や姿勢、運動状態（安静状態なのか運動をしているのか）も変動要因となり、さらに、経時的にも変化する。心電波形におけるＰ波、Ｑ波、Ｒ波、Ｓ波、Ｔ波を個人を識別しうる程度に高精度に抽出するには、複数の心電波形のばらつきを解析し、複雑な処理が必要である。
例えば、特許文献３は、心電信号から数種類の特徴量を抽出し、ばらつきを考慮してその特徴量が取りうる可能性が高い範囲（特徴量範囲）を決定し、その特徴量範囲内であれば本人と認証する手法について開示している。しかしながら、その特徴量範囲を広げれば（すなわち閾値を下げれば）、本人拒否率は低く維持できるものの、他人を誤認証してしまうリスクも高まるおそれがある。また、経時変化による特徴量範囲の更新も困難である。
そこで、本発明の目的は、新規な手法により本人拒否率と他人受入率を共に低くして高精度に個人認証を行うことができる認証装置、認証方法及びそれをコンピュータ装置に実行させるコンピュータプログラムを提供することにある。
上記目的を達成するための本発明の認証装置は、複数のユーザの心電信号から心拍毎に抽出した複数の心電波形データを作成する心電波形データ作成部と、ユーザ毎の心電波形データそれぞれと、ユーザ毎に心電波形データを平均化して作成されるテンプレート波形データとの類似度を算出する類似度演算部と、ユーザ全員についての同一ユーザ同士の心電波形データとテンプレート波形データとの類似度及び異なるユーザ同士の心電波形データとテンプレート波形データとの類似度を用いて第一のニューラルネットワークモデルを学習作成し、一人のユーザについての当該ユーザの心電波形データとテンプレート波形データとの類似度及び当該ユーザの心電波形データと当該ユーザと異なる他のユーザのテンプレート波形データとの類似度を用いてユーザ毎の複数の第二のニューラルネットワークモデルを学習作成するニューラルネットワークモデル作成部と、認証時において、認証対象ユーザの心電信号から作成される認証用の心電波形データとテンプレート波形データを用いて算出された類似度を、あらかじめ学習作成された第一のニューラルネットワークモデルに入力して第一段階の認証処理を実行し、且つあらかじめ学習作成された第二のニューラルネットワークモデルに入力して第二段階の認証処理を実行する認証部とを備えることを特徴とする。
また、本発明の認証方法は、複数のユーザの心電信号から心拍毎に抽出した複数の心電波形データを作成する工程と、ユーザ毎の心電波形データそれぞれと、ユーザ毎に心電波形データを平均化して作成されるテンプレート波形データとの類似度を算出する工程と、ユーザ全員についての同一ユーザ同士の心電波形データとテンプレート波形データとの類似度及び異なるユーザ同士の心電波形データとテンプレート波形データとの類似度を用いて第一のニューラルネットワークモデルを学習作成し、一人のユーザについての当該ユーザの心電波形データと前記テンプレート波形データとの類似度及び当該ユーザの心電波形データと当該ユーザと異なる他のユーザのテンプレート波形データとの類似度を用いてユーザ毎の複数の第二のニューラルネットワークモデルを学習作成する工程と、認証時において、認証対象ユーザの心電信号から作成される認証用の心電波形データとテンプレート波形データを用いて算出された類似度を、あらかじめ学習作成された第一のニューラルネットワークモデルに入力して第一段階の認証処理を実行し、且つあらかじめ学習作成された前記第二のニューラルネットワークモデルに入力して第二段階の認証処理を実行する工程とを備えることを特徴とする。
本発明の認証装置及び認証方法によれば、短時間で高精度に個人認証を行うことができる。心電信号の経時変化を考慮し、テンプレート波形データの更新とニューラルネットワークモデルの更新を行うことで、長期持続的な個人認証が可能となる。
本発明の実施の形態における認証装置の構成例を示す。 本実施の形態における認証装置の機能を示す機能ブロック図を示す。 測定された心電信号の前処理を実行するフローチャートである。 QRST波及びQRS波分離処理を説明する図である。 テンプレート波形データ作成処理のフローチャートである。 テンプレートQRST波及びテンプレートQRS波から抽出される特徴量を説明する図である。 特徴量抽出処理のフローチャートである。 ＮＮモデル作成処理のフローチャートを示す。 特徴量類似度ベクトルの本人クラスと他人クラスを説明する図である。 平均ＮＮモデルの学習作成過程を示す図である。 個人別ＮＮモデルの学習作成過程を示す図である。 二段階認証処理のフローチャートである。 ＮＮモデルによる認証処理を模式的に示す図である。 個人別ＮＮモデルの更新処理のフローチャートである。 平均ＮＮモデルの更新処理のフローチャートである。
以下、図面を参照して本発明の実施の形態について説明する。しかしながら、かかる実施の形態例が、本発明の技術的範囲を限定するものではない。
図１は、本発明の実施の形態における認証装置の構成例を示す。認証装置は、コンピュータ装置であって、汎用的なパーソナルコンピュータであってもよく、据置型、ノートブック型、タブレット型などの形態を問わない。個人認証装置は、汎用的なコンピュータ装置のハードウェア構成を有し、一例として、バス１１１には、ＣＰＵ１１２、ＲＯＭ１１３、ＲＡＭ１１４、ネットワークインタフェース１１５、入力装置１１６、出力装置１１７及び記憶装置１１８が接続されている。
ＣＰＵ１１２は、データの処理又は演算を行うと共に、バス１１１を介して接続された各種構成要素を制御するものであり、設定手段、演算手段、出力手段として機能する。ＲＯＭ１１３には、予めＣＰＵ１１２の制御手順（コンピュータプログラム）を記憶させておき、このコンピュータプログラムをＣＰＵ１１２が実行することにより、コンピュータ装置は起動する。記憶装置１１８は、例えばハードディスク記憶装置やＣＤ−ＲＯＭ等の光ディスク媒体などの記憶媒体であり、本実施の形態における認証処理を実行するためのコンピュータプログラム及び心電信号などの波形データなどを記憶するデータベースである。コンピュータプログラムはＲＡＭ１１４に読み出されてＣＰＵ１１２により実行される。ＣＰＵ１１２が、このコンピュータプログラムを実行することにより、後述する本実施の形態における各種認証処理を実行する。ＲＡＭ１１４は、データの入出力、送受信のためのワークメモリ、各構成要素の制御のための一時記憶として用いられる。
ネットワークインタフェース１１５は、インターネットに接続するためのインターフェースである。入力装置１１６は、心電信号を測定する測定装置（図示せず）と有線又は無線により接続し、測定装置により測定された心電信号が入力される。出力装置１１７は、ディスプレイなどの表示手段であり、プリントアウトする場合は、プリンタが表示装置として機能する。
図２は、本実施の形態における認証装置の機能を示す機能ブロック図を示す。認証装置の機能は、登録フェーズ、認証フェーズ、更新フェーズの処理を有し、これらの機能は、コンピュータプログラムをＣＰＵが実行することにより実現される。
登録フェーズは、登録時の処理であって、登録時において個人（以下、ユーザと称する）の心電信号を取得し、その取得した心電信号に前処理を施す前処理（S100）、前処理した波形データから各ユーザのテンプレート波形データ作成処理（S200）、テンプレート波形データの特徴量を抽出しデータベースとして登録する特徴量抽出処理（S300）、特徴量を用いて後述する「平均モデル」及び「個人別モデル」と称する２種類のニューラルネットワーク（ＮＮ）モデルを学習作成し登録するＮＮモデル作成処理（S400）を有する。
認証フェーズは、認証時の処理であって、認証時においてユーザの心電信号を取得し、その取得した心電信号に前処理を施す前処理（S500）、前処理した波形データの特徴量を抽出する特徴量抽出処理（S600）、S600で抽出された特徴量とS300で登録されたテンプレート波形データの特徴量の類似度を求め、その類似度を２種類のＮＮモデルに入力して第一段階の認証処理と第二段階の認証処理を行う二段階認証処理（S700）を有する。二段階認証処理により、２種類のＮＮモデルによる認証処理の両方ともに本人と判定された場合、本人と判定する。
更新フェーズは、登録フェーズにおいて作成され登録されているテンプレート波形データ、ニューラルネットワークモデル（ＮＮモデル）に対して、認証時において追加的に取得されるユーザの心電信号を用いて随時又は定期的に更新する更新処理（S800）を有する。以下、図２に示す個人認証装置の各機能について説明する。
＜登録フェーズ＞
登録フェーズは、認証のために必要なユーザの心電信号に関する情報などを事前に登録する処理を実行する。
［前処理（S100）］
図３は、測定された心電信号の前処理を実行するフローチャートである。登録対象のユーザの心電信号が測定装置により測定され、その測定された心電信号が個人認証装置に入力されると、その品質確認処理が行われる（S102）。入力される心電信号は３０秒、もしくは、３０拍分になると、品質確認処理を行う。信号品質は、式（１）で定義される心電信号の尖度kを求め、その尖度kが閾値範囲内であるかどうかを判定される。尖度ｋは、分布の突起傾向を示す尺度である。また、μはxの平均値であり、σはxの標準偏差であり、E(x)はxの期待値を表す。
Figure 0006765657
Figure 0006765657
品質確認処理の結果、心電信号の品質が所定基準を満たさない場合（すなわち、尖度ｋが閾値範囲外である場合）、所定時間（例えば３秒）を待機し、別の時間に測定される心電信号が再度入力され、上述の品質確認処理が行われ（S102）、尖度ｋが閾値範囲内の心電信号が取得されるまで心電信号の取得を繰り返す。
S102の品質基準を満たす心電信号が取得されると、その心電信号に対して、基線動揺除去処理を実行する（S104）。基線動揺除去処理は、ウェーブレット分解により心電信号の基線動揺を抑える処理である。
続いて、ノッチフィルタ及びローパスフィルタによりノイズ除去処理（S106）が行われ、さらに、移動平均フィルタにより平滑化処理が行われてもよい。
各種フィルタ処理された心電信号の各心拍波形からR波（Rピークとも称する）を検出し（S108）、R波（Rピーク）に基づいて、心拍波形毎にQRST波及びQRS波を分離し、正規化処理する（S110）。
図４は、QRST波及びQRS波分離処理を説明する図であり、R波の位置を基準に前後所定時間幅の波形を切り出すことで、心拍毎のQRST波及びQRS波（以下、「心電波形データ」と総称する場合がある）を分離・抽出することができる。分離されたQRST波及びQRS波である各心電波形データxiは、Rピークを中心に以下の式（２）により正規化処理され、正規化されたQRST波及びQRS波が作成される。ここで、μxは分離された各波形データの平均値であり、nはxの長さである。
Figure 0006765657
作成されたQRST波及びQRS波（心電波形データ）を用いてテンプレートQRST波及びテンプレートQRS波（以下、「テンプレート波形データ）と総称される場合がある）が作成される。次にテンプレート波形データ作成処理（S200）について説明する。
［テンプレート波形データ作成処理（S200）］
図５は、テンプレート波形データ作成処理のフローチャートである。上述の前処理（S100）で作成された心拍毎のQRST波及びQRS波（心電波形データ）をデータベース（ＤＢ）に保存する（S202）。例えば、心電信号から30拍分のQRST波及びQRS波が分離された場合、30個のQRST波及び30個のQRS波がデータベースに登録される。
例えば30個のQRST波の平均波である平均QRST波及び例えば30個のQRS波の平均波である平均QRS波を算出し（S204）、さらに、各QRST波と平均QRST波との類似度、及び各QRS波と平均QRS波との類似度を算出する（S206）。平均波（平均QRST波と平均QRS波を総称して「平均波」と称する場合がある）との類似度は、例えば比較する2つの波形のユークリッド距離を演算し、その合計値に基づいて判定することができる。そして、求められた類似度に基づいて、平均波に最も近い例えば70％のQRST波及びQRS波を選択する（S208）。例えば30個のQRST波及び例えば30個のQRS波が記憶される場合、それぞれ平均波に近い順に（類似度が高い順に）21個のQRST波及びQRS波が選択される。選択するQRST波及びQRS波の割合（又は数）は70％に限らず、適宜最適な値が設定される。
S208で選択されたQRST波及びQRS波の平均波をさらに算出し、それをテンプレートQRST波及びテンプレートQRS波とする（S210）。テンプレートQRST波及びテンプレートQRS波は、心電信号を測定されたユーザ個人の心拍波形として登録される波形データであり、ユーザ認証の基になる波形データである。
テンプレートQRST波及びテンプレートQRS波からその特徴量が抽出される。次に特徴量抽出処理（S300）について説明する。
［特徴量抽出処理（S300）］
図６は、テンプレートQRST波及びテンプレートQRS波から抽出される特徴量を説明する図である。特徴量は、（１）テンプレートQRST波の時系列データ、（２）テンプレートQRS波の時系列データ、（３）テンプレートQRST波の差分波の時系列データ、（４）テンプレートQRS波の差分波の時系列データ、（５）テンプレートQRST波の尖度、（６）テンプレートQRS波の尖度、（７）R波の縦幅である。これら７種類の特徴量の組み合わせは特徴量セットを構成し、特徴量の種類は、これら７つに限らず、別の特徴量が採用されてもよく、また、その数も７つに限らず、それより多くとも少なくともよく、最適な数及び種類の特徴量が選択され得る。
主に、QRST波及びQRS波から特徴量を抽出することで、Q波、S波、T波を検出する必要がなく、特徴量の抽出が容易であり、信頼性の高い値を得ることができる。また、心拍毎の波形データから特徴量を抽出することができ、連続的な複数の心拍が不要であり、心拍数変動による影響を小さくし、高精度な特徴量を抽出することができる。
図７は、特徴量抽出処理のフローチャートである。テンプレートQRST波及びテンプレートQRS波より、上述の各特徴量を抽出し（S302）、それを保存・登録する（S304）。特徴量は、（１）テンプレートQRST波の時系列データ、（２）テンプレートQRS波の時系列データを含んで、特徴量をデータベースに登録する。さらに、S110で求められたQRST波及びQRS波である各心電波形データについても、上述の各特徴量を抽出し（S306）、それを保存・登録する（S308）。これにより、ユーザ各々について、テンプレート波形データの特徴量が抽出・登録され、さらに、ユーザ各々について、テンプレート波形データを求めるのに用いられた各心電波形データの特徴量が抽出・登録される。次に、ニューラルネットワークモデル作成処理（S400）について説明する。
［ニューラルネットワークモデル（ＮＮモデル）作成処理］
図８は、ニューラルネットワークモデル作成処理のフローチャートを示す。図７のS304で登録されたユーザすべてのテンプレート波形データの特徴量が読み出される（S402）。そして、S308で登録されたユーザすべての心電波形データ（QRST波及びQRS波）の特徴量が読み出される（S404）。
各ユーザのテンプレート波形データの特徴量と、心電波形データの特徴量との特徴量類似度ベクトルを演算する（S406）。
心電波形データの特徴量xiとテンプレート波形データの特徴量μxの類似度dは、以下の式（３−１）、（３−２）により算出する。特徴量は、上述の７種類であり、（１）テンプレートQRST波の時系列データ、（２）テンプレートQRS波の時系列データ、（３）テンプレートQRST波の差分波の時系列データ、（４）テンプレートQRS波の差分波の時系列データ、（５）テンプレートQRST波の尖度、（６）テンプレートQRS波の尖度、（７）R波の縦幅についての類似度をそれぞれd1、d2、d3、d4、d5、d6、d7とする。類似度d1、d2、d3、d4の演算については、ユークリッド距離を用い、類似度d5、d6、d7の演算についてはマンハッタン距離が用いられる。
Figure 0006765657
Figure 0006765657
上述の式（３−１）、（３−２）で算出された類似度d1、d2、d3、d4、d5、d6、d7から、特徴量類似度ベクトルは、式（４）として表される。
Figure 0006765657
特徴量類似度ベクトルの演算処理（S406）では、ユーザ全員について、同一ユーザ同士の心電波形データとテンプレート波形データの特徴量類似度ベクトル（「本人クラス」の特徴量類似度ベクトルと称する）が求められ、さらに、異なるユーザ同士の心電波形データとテンプレート波形データの特徴量類似度ベクトル（「他人クラス」の類似度ベクトルと称する）も求められる。「本人クラス」の特徴量類似度ベクトルと「他人クラス」の特徴量類似度ベクトルの組み合わせを異ならせて、平均ニューラルネットワークモデル（ＮＮモデル）と個人別にＮＮモデルの２種類のＮＮモデルを学習作成する（S408）。
図９は、特徴量類似度ベクトルの本人クラスと他人クラスを説明する図である。図９（ａ）は平均ＮＮモデルに用いる本人クラス及び他人クラスの特徴量類似度ベクトルを示し、図９（ｂ）は個人別ＮＮモデルに用いる本人クラス及び他人クラスの特徴量類似度ベクトルを示す。
ユーザＡ、Ｂ、・・・、Ｚ（２６人）までいる場合に、本人クラスの特徴量類似度ベクトルは、例えば、ユーザＡの心電波形データとユーザＡのテンプレート波形データの特徴量類似度ベクトル（AvsA）であり、ユーザＢの心電波形データとユーザＢのテンプレート波形データの特徴量類似度ベクトル(BvsB)であり、さらには、ユーザＺの心電波形データとユーザＺのテンプレート波形データの特徴量類似度ベクトル（ZvsZ）等であり、同一ユーザ同士の心電波形データとテンプレート波形データの特徴量類似度ベクトルである。
一方、他人クラスの特徴量類似度ベクトルは、例えば、ユーザＡの心電波形データとユーザＢのテンプレート波形データの特徴量類似度ベクトル（AvsB）であり、ユーザＢの心電波形データとユーザＡのテンプレート波形データの特徴量類似度ベクトル（BvsA）であり、さらには、ユーザＺの心電波形データとユーザＡのテンプレート波形データの特徴量類似度ベクトル（ZvsA）、ユーザＺの心電波形データとユーザＹのテンプレート波形データの特徴量類似度ベクトル（ZvsY）等であり、すなわち、異なるユーザ同士の心電波形データとテンプレート波形データの特徴量類似度ベクトルである。
平均ＮＮモデルは、一つのみ作成され、ユーザＡ、Ｂ、・・・、Ｚまでいる場合において、本人クラスの特徴量類似度ベクトル全て（AvsA、・・・、ZvsZ）と、他人クラスの特徴量類似度ベクトル（本人クラスの特徴量類似度ベクトルを除く異なるユーザ同士の特徴量類似度ベクトル）とを用いて作成される。
個人別ＮＮモデルは、ユーザ毎にユーザ人数分作成され、例えば、ユーザＡの個人別ＮＮモデル（モデルＡ）は、ユーザＡの本人クラスの特徴量類似度ベクトル（AvsA）と、ユーザＡの心電波形データとユーザＡ以外のユーザＢ〜Ｚのテンプレート波形データの特徴量類似度ベクトル（AvsB、・・・、AvsZ）を用い、ユーザＢの個人別ＮＮモデル（モデルＢ）は、ユーザＢの本人クラスの特徴量類似度ベクトル（BvsB）と、ユーザＢの心電波形データとユーザＢ以外のユーザＡ、Ｃ〜Ｚのテンプレート波形データの特徴量類似度ベクトル（BvsA、BvsC、・・・、BvsZ）を用いて作成され、さらに、ユーザＺの個人別ＮＮモデル（モデルＺ）は、ユーザＺの本人クラスの特徴量類似度ベクトル（ZvsZ）と、ユーザＺの心電波形データとユーザＺ以外のユーザＡ〜Ｙのテンプレート波形データの特徴量類似度ベクトル（ZvsA、・・・、ZvsY）を用いて作成される。
図１０は、平均ＮＮモデルの学習作成（トレーニング）過程を示す図である。入力される特徴量類似度ベクトルは、図９（ａ）に示したように、ユーザ全員の本人クラスの特徴量類似度ベクトルと異なるユーザ同士の他人クラスの特徴量類似度ベクトルである。
なお、他人クラスの特徴量類似度ベクトルの最大数は、本人クラスの特徴量類似度ベクトル数と比較して膨大（ユーザ数が２６人であれば、２５倍）であり、ＮＮモデルに入力する学習データのバランス（他人クラスと本人クラスの特徴量類似度ベクトルの数の比例関係）を図るため、他人クラスの特徴量類似度ベクトル数を、本人クラスの特徴量類似度ベクトル数の２〜３倍程度になるように適宜間引いて選択してもよい。
入力される特徴量類似度ベクトルに対して、本人クラスの特徴量類似度ベクトルの入力に対しては、本人の出力（１、０）、他人クラスの特徴量類似度ベクトルの入力に対しては他人の出力（０、１）となるように、平均ＮＮモデルが学習作成される。
図１１は、個人別ＮＮモデルの学習作成（トレーニング）過程を示す図である。入力される特徴量類似度ベクトルは、図９（ｂ）に示したように、ユーザ毎にそのユーザの本人クラスの特徴量類似度ベクトルと、そのユーザと別のユーザ同士の他人クラスの特徴量類似度ベクトルである。
なお、他人クラスの特徴量類似度ベクトル数は、本人クラスの特徴量類似度ベクトル数と比較して膨大（ユーザ数が２６人であれば、２５倍）であり、個人別ＮＮモデルの場合も同様に、ＮＮモデルに入力する学習データのバランスを図るため、他人クラスの特徴量類似度ベクトル数を、本人クラスの特徴量類似度ベクトル数の２〜３倍程度になるように適宜間引いて選択してもよい。
入力される特徴量類似度ベクトルに対して、本人クラスの特徴量類似度ベクトルの入力に対しては、本人の出力（１、０）、他人クラスの特徴量類似度ベクトルの入力に対しては他人の出力（０、１）となるように、ユーザ毎に個人別ＮＮモデルが学習作成される。
作成された平均ＮＮモデル及び個人別ＮＮモデルはデータベースに登録される（S400）。次に、認証フェーズの処理について説明する。
＜認証フェーズ＞
認証フェーズは、認証対象のユーザの心電信号を測定し、その測定された心電信号が上述の登録フェーズで登録されているユーザであるかどうか（本人であるか否か）を判定する処理を実行する。
［前処理（S500）］
認証対象のユーザの心電信号を測定し、その測定された信号に対する前処理であって、図２に示す登録フェーズの前処理（S100）と同様の処理が実行される。これにより、認証対象のユーザの心電信号の原波形データ（QRST波及びQRS波）が取得される。
［特徴量抽出処理（S600）］
認証対象ユーザの心電波形データについての図６に示す各特徴量が、登録フェーズの特徴量抽出処理（S300）と同様の処理により抽出される。
［二段階認証処理（S700）］
図１２は、二段階認証処理のフローチャートである。認証対象ユーザの心拍毎の心電波形データの特徴量セットが一つずつ順次に選択されて入力され（S702）、また、登録されているユーザ毎のテンプレート波形データの特徴量セットが一つずつ順次に選択されて入力され（S704）、これらの特徴量類似度ベクトルが算出される（S706）。
算出された特徴量類似度ベクトルは、登録フェーズで作成された（又は、後述の更新フェーズで更新された）平均ＮＮモデルと個人別ＮＮモデルの両方に入力され、平均ＮＮモデルによる第一段階の認証処理(S708)と個人別ＮＮモデルによる第二段階の認証処理が行われる（S710）。一つの心電波形データについて、一つの平均ＮＮモデルによる一つの認証と、登録ユーザ数分の個人別ＮＮモデルすべてによる認証が行われる。
図１３は、ＮＮモデルによる認証処理を模式的に示す図である。ＮＮモデルは、平均ＮＮモデル又は個人別ＮＮモデルであり、心電波形データの特徴量セットの特徴量類似度ベクトルがＮＮモデルに入力され、その出力値があらかじめ設定された閾値以上の場合、「本人」、閾値未満の場合、「他人」と判断される。
第一段階の認証処理における平均ＮＮモデルにより「本人」と認証され、且つ第二段階の認証処理における個人別ＮＮモデルよる認証によっても、「本人」と認証される個人別ＮＮモデルがある場合、すなわち、両方のＮＮモデルともに「本人」と認証された場合に、まず「本人」と判断し、少なくとも一方のＮＮモデルにより「他人」と認証された場合は「他人」と判断する（S712）。平均ＮＮモデルと個人別ＮＮモデルの出力結果による認証判断は、以下の表１の通りである。
Figure 0006765657
なお、両方のＮＮモデルによる認証において、「本人」と判断されるユーザが複数ある場合、出力値が高い平均ＮＮモデルを「本人」と認証するユーザとする。
上記S702乃至S712までの処理を、認証対象ユーザのすべての心電波形データについて行い、例えば、半数以上の心電波形データについてのS712の判断が、同一ユーザの「本人」であるかどうか判定し、そうであれば、その登録ユーザであると決定する（S714）。
平均ＮＮモデルと個人別ＮＮモデルの両方を用いた二段階認証処理を行うことで、認証精度を高めることができる。平均ＮＮモデルは、ある程度のユーザ数の心電信号データから本人クラスと他人クラスの特徴量類似度に存在する確率分布の特徴に基づいて本人か他人かの２値関係を識別するためのモデルであって、初期スクリーニングすることができる。個人別ＮＮモデルは、ユーザ毎にその本人であるか他人であるかを判断するが、個人の心電信号データの変動やばらつきによって、本人と判断しても、実際には他人クラスである可能性があるので、従来個人別ＮＮモデルの出力値に対する閾値を比較的高く設定せざるを得ず、そのため、本人拒否率（FRR）が高くなりがちである。平均ＮＮモデルは、複数のユーザ数の心電信号データを用いて学習したものであり、変化に対する許容範囲が広く、個人間のずれをある程度吸収して他人受入率（FAR）を低くすることができる。そして、平均ＮＮモデルにより本人と判断する場合、個人別ＮＮモデルの閾値をある程度下げることができ、これにより、本人と判断する精度が高まり、本人拒否率（FRR）を低くすることができる。
＜更新フェーズ＞
更新フェーズは、データベースに登録されているテンプレート波形データの特徴量を更新する処理である。データベースに登録されているユーザ毎のテンプレート波形データ（又はその特徴量）及び個人別ＮＮモデルは、測定によって得られたユーザ毎の複数の心電波形データから作成される（登録フェーズにおける「特徴量抽出処理」及び「ＮＮモデル作成処理」）。心電信号パターンの経時変化に対応するため、テンプレート波形データを最新の心電波形データにより更新することで、高い認証精度を維持することができる。そのため、認証フェーズにおいて「本人」と判定された心電波形データを追加登録し、それを用いてテンプレート波形データ、個人別ＮＮモデルと平均ＮＮモデルを更新する。
［更新処理（S800）］
図１４は、個人別ＮＮモデルの更新処理のフローチャートである。上述の二段階認証処理（S700）において、「本人」と判定された認証対象ユーザの心電波形データを取得し（S802）、それをデータベースに追加的に登録する（S804）。なお、ユーザ毎に心電波形データの登録数に上限を設け、登録数がすでに上限に達している場合は、最も古い心電波形データを消去し、直近に「本人」と認証された今回取得の心電波形データを登録する。これにより、登録される心電波形データを、より新しい心電波形データに更新される。
登録されている心電波形データを用いて、テンプレート波形データを作成し、さらにその特徴量を抽出し、データベースに登録されている古いデータは、新たに作成・抽出されたテンプレート波形データ及び特徴量セットに更新される（S806）。さらに、更新されたテンプレート波形データと更新された心電波形データを用いて、個人別ＮＮモデルを学習作成し、更新する（S808）。ユーザの心電パターンの経時変化に対応した個人別ＮＮモデルを作成することができる。
図１５は、平均ＮＮモデルの更新処理のフローチャートである。新規ユーザの心電波形データが追加された場合、その新規ユーザの心電波形データをデータベースに追加し、また、上述の二段階認証処理（S700）において、「本人」と判定された認証対象ユーザ（既存の登録ユーザ）の心電波形データを取得し、それをデータベースに追加的に登録する（S810）。既存の登録ユーザの心電波形の追加登録は、上述したように、ユーザ毎に心電波形データの登録数に上限を設け、登録数がすでに上限に達している場合は、最も古い心電波形データを消去し、直近に「本人」と認証された今回取得の心電波形データを登録する。これにより、登録される心電波形データを、より新しい心電波形データに更新される。
追加登録すなわち更新された心電波形データを用いて、登録ユーザ全員のテンプレート波形データを作成し、さらにその特徴量を抽出し、データベースに登録されている古いデータは、登録ユーザ全員について、新たに作成・抽出されたテンプレート波形データ及び特徴量セットに更新される（S812）。そして、更新されたテンプレート波形データと更新された心電波形データを用いて、平均ＮＮモデルを学習作成し、更新する（S814）。新規ユーザの追加、又は既存ユーザの心電パターンの経時変化に対応した平均ＮＮモデルを作成することができる。
更新処理は、定期的（例えば日毎、週毎、月毎など）又は随時行われる。随時更新は、所定の条件を満たす場合に行われる。例えば適宜のメンテナンス処理において、認証時の入力される特徴量セットと登録されているテンプレート波形データの特徴量セットとの差が大きいと判断された場合、新規ユーザの増加数が所定数に達した場合などである。
本発明は、例えば、スマートフォンやパソコンのログインやアプリケーションの認証、玄関ドアの鍵認証、自動車のドアロックやエンジンスタートの認証、銀行カードやクレジットカードの認証、銀行ATMや各種端末装置の本人確認、入退室認証（金庫、金融機関、集合住宅などにおける入退室）、図書館における利用者認証、空港などにおける出入国管理の本人確認、医療機関における本人確認などさまざまな認証場面にて利用することができる。また、本発明は、１対１照合、１対Ｎ（複数）照合のいずれにも採用することができる。
本発明は、前記実施の形態に限定されるものではなく、本発明の分野における通常の知識を有する者であれば想到し得る各種変形、修正を含む要旨を逸脱しない範囲の設計変更があっても、本発明に含まれることは勿論である。
１１１：バス、１１２：ＣＰＵ、１１３：ＲＯＭ、１１４：ＲＡＭ、１１５：ネットワークインタフェース、１１６：入力装置、１１７：出力装置、１１８：記憶装置

Claims (8)

  1. 複数のユーザの心電信号から心拍毎に抽出した複数の心電波形データを作成する心電波形データ作成部と、
    ユーザ毎の前記心電波形データそれぞれと、ユーザ毎に前記心電波形データを平均化して作成されるテンプレート波形データとの類似度を算出する類似度演算部と、
    ユーザ全員についての同一ユーザ同士の前記心電波形データと前記テンプレート波形データとの類似度及び異なるユーザ同士の心電波形データとテンプレート波形データとの類似度を用いて第一のニューラルネットワークモデルを学習作成し、一人のユーザについての当該ユーザの前記心電波形データと前記テンプレート波形データとの類似度及び当該ユーザの心電波形データと当該ユーザと異なる他のユーザの前記テンプレート波形データとの類似度を用いてユーザ毎の複数の第二のニューラルネットワークモデルを学習作成するニューラルネットワークモデル作成部と、
    認証時において、認証対象ユーザの心電信号から作成される認証用の前記心電波形データと前記テンプレート波形データを用いて算出された前記類似度を、あらかじめ学習作成された前記第一のニューラルネットワークモデルに入力して第一段階の認証処理を実行し、且つあらかじめ学習作成された前記第二のニューラルネットワークモデルに入力して第二段階の認証処理を実行する認証部とを備えることを特徴とする認証装置。
  2. 前記心電波形データ及び前記テンプレート波形データは、心拍毎のQRST波及びQRS波を含むことを特徴とする請求項１に記載の認証装置。
  3. 前記心電波形データ及び前記テンプレート波形データは、さらに、心拍毎のQRST波の差分波、QRS波の差分波、QRST波の尖度、QRS波の尖度、R波の縦幅の少なくとも１つを有することを特徴とする請求項２に記載の認証装置。
  4. 前記認証部は、前記第一段階の認証処理に成功し、且つ前記第二段階の認証処理に成功した場合に本人と認証することを特徴とする請求項１乃至３のいずれかに記載の認証装置。
  5. 前記認証部により認証時に本人と認証された心電波形データを用いて、当該本人に対応するユーザの前記テンプレート波形データを更新し、さらに、当該更新されたテンプレート波形データにより当該ユーザの前記第二のニューラルネットワークモデルを更新する更新部を備えることを特徴とする請求項１乃至４のいずれかに記載の認証装置。
  6. 前記心電波形データ作成部は、認証時に入力される心電信号に基づいて認証用の前記心電波形データを作成し、前記類似度演算部は、当該認証用の心電波形データに基づいて前記類似度を算出することを特徴とする請求項１乃至５に記載の認証装置。
  7. 複数のユーザの心電信号から心拍毎に抽出した複数の心電波形データを作成する心電波形データ作成する工程と、
    ユーザ毎の前記心電波形データそれぞれと、ユーザ毎に前記心電波形データを平均化して作成されるテンプレート波形データとの類似度を算出する工程と、
    ユーザ全員についての同一ユーザ同士の前記心電波形データと前記テンプレート波形データとの類似度及び異なるユーザ同士の心電波形データとテンプレート波形データとの類似度を用いて第一のニューラルネットワークモデルを学習作成し、一人のユーザについての当該ユーザの前記心電波形データと前記テンプレート波形データとの類似度及び当該ユーザの心電波形データと当該ユーザと異なる他のユーザの前記テンプレート波形データとの類似度を用いてユーザ毎の複数の第二のニューラルネットワークモデルを学習作成する工程と、
    認証時において、認証対象ユーザの心電信号から作成される認証用の前記心電波形データと前記テンプレート波形データを用いて算出された前記類似度を、あらかじめ学習作成された前記第一のニューラルネットワークモデルに入力して第一段階の認証処理を実行し、且つあらかじめ学習作成された前記第二のニューラルネットワークモデルに入力して第二段階の認証処理を実行する工程とを備えることを特徴とする認証方法。
  8. 複数のユーザの心電信号から心拍毎に抽出した複数の心電波形データを作成する心電波形データ作成する工程と、
    ユーザ毎の前記心電波形データそれぞれと、ユーザ毎に前記心電波形データを平均化して作成されるテンプレート波形データとの類似度を算出する工程と、
    ユーザ全員についての同一ユーザ同士の前記心電波形データと前記テンプレート波形データとの類似度及び異なるユーザ同士の心電波形データとテンプレート波形データとの類似度を用いて第一のニューラルネットワークモデルを学習作成し、一人のユーザについての当該ユーザの前記心電波形データと前記テンプレート波形データとの類似度及び当該ユーザの心電波形データと当該ユーザと異なる他のユーザの前記テンプレート波形データとの類似度を用いてユーザ毎の複数の第二のニューラルネットワークモデルを学習作成する工程と、
    認証時において、認証対象ユーザの心電信号から作成される認証用の前記心電波形データと前記テンプレート波形データを用いて算出された前記類似度を、あらかじめ学習作成された前記第一のニューラルネットワークモデルに入力して第一段階の認証処理を実行し、且つあらかじめ学習作成された前記第二のニューラルネットワークモデルに入力して第二段階の認証処理を実行する工程とをコンピュータに実行させるコンピュータプログラム。
JP2017124730A 2017-06-27 2017-06-27 認証装置、認証方法及びコンピュータプログラム Active JP6765657B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2017124730A JP6765657B2 (ja) 2017-06-27 2017-06-27 認証装置、認証方法及びコンピュータプログラム
PCT/JP2018/024397 WO2019004291A1 (ja) 2017-06-27 2018-06-27 認証装置、認証方法及びコンピュータプログラム
US16/725,916 US11500975B2 (en) 2017-06-27 2019-12-23 Authentication device, authentication method, and computer program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2017124730A JP6765657B2 (ja) 2017-06-27 2017-06-27 認証装置、認証方法及びコンピュータプログラム

Publications (2)

Publication Number Publication Date
JP2019005305A JP2019005305A (ja) 2019-01-17
JP6765657B2 true JP6765657B2 (ja) 2020-10-07

Family

ID=64741657

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017124730A Active JP6765657B2 (ja) 2017-06-27 2017-06-27 認証装置、認証方法及びコンピュータプログラム

Country Status (3)

Country Link
US (1) US11500975B2 (ja)
JP (1) JP6765657B2 (ja)
WO (1) WO2019004291A1 (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPWO2020254913A1 (ja) * 2019-06-21 2020-12-24
WO2023188981A1 (ja) * 2022-03-29 2023-10-05 東レ株式会社 心電信号解析システム
CN114648048B (zh) * 2022-04-01 2022-10-25 山东省人工智能研究院 基于变分自编码和PixelCNN模型的心电信号降噪方法

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002175515A (ja) * 2000-12-06 2002-06-21 Glory Ltd パターン認証装置
US20060136744A1 (en) * 2002-07-29 2006-06-22 Lange Daniel H Method and apparatus for electro-biometric identity recognition
WO2006048701A2 (en) * 2004-11-08 2006-05-11 Idesia Ltd. Method and apparatus for electro-biometric indentity recognition
US8970569B2 (en) * 2005-03-01 2015-03-03 Eyesmatch Ltd Devices, systems and methods of virtualizing a mirror
JP4965162B2 (ja) * 2006-05-10 2012-07-04 トヨタ自動車株式会社 車両用不整脈監視装置
GB0624081D0 (en) * 2006-12-01 2007-01-10 Oxford Biosignals Ltd Biomedical signal analysis method
GB0624085D0 (en) * 2006-12-01 2007-01-10 Oxford Biosignals Ltd Biomedical signal analysis method
JP2012038913A (ja) 2010-08-06 2012-02-23 Seiko Instruments Inc 半導体装置の製造方法
JP2012176106A (ja) 2011-02-25 2012-09-13 Sony Corp 認証装置及び認証方法、電子機器、並びにコンピューター・プロクラム
JP2014239737A (ja) 2013-06-11 2014-12-25 株式会社ジェイテクト 個人認証装置および車両用個人認証システム
JP6389888B2 (ja) * 2013-08-04 2018-09-12 アイズマッチ エルティーディー．ＥｙｅｓＭａｔｃｈ Ｌｔｄ． 鏡における仮想化の装置、システム、及び方法
KR102257289B1 (ko) 2014-08-26 2021-05-27 삼성전자주식회사 심전도 신호를 이용한 사용자 인증 방법 및 장치
KR102257300B1 (ko) 2014-09-01 2021-05-27 삼성전자주식회사 심전도 신호를 이용한 사용자 인증 방법 및 장치
KR102299819B1 (ko) * 2014-12-30 2021-09-08 삼성전자주식회사 생체 신호를 이용한 사용자 인증 방법 및 장치
JP6655794B2 (ja) * 2015-03-17 2020-02-26 パナソニックＩｐマネジメント株式会社 個人認証装置、個人認証方法、およびプログラム
KR20170001490A (ko) * 2015-06-26 2017-01-04 삼성전자주식회사 전자 장치 및 생체 센서를 이용한 전자 장치의 기능 제어 방법
WO2017084546A1 (zh) * 2015-11-17 2017-05-26 安徽华米信息科技有限公司 基于可穿戴设备的用户关注信息确定方法、装置和可穿戴设备
US10130307B2 (en) * 2016-01-06 2018-11-20 Samsung Electronics Co., Ltd. Electrocardiogram (ECG) authentication method and apparatus
KR102501838B1 (ko) * 2016-02-01 2023-02-23 삼성전자주식회사 심전도 신호를 이용한 인증 장치 및 방법
KR101788803B1 (ko) * 2016-10-12 2017-10-20 조선대학교 산학협력단 심전도를 이용한 개인 식별 정보 생성방법 및 그 개인 식별 정보를 이용한 개인 식별 방법

Also Published As

Publication number Publication date
JP2019005305A (ja) 2019-01-17
WO2019004291A1 (ja) 2019-01-03
US11500975B2 (en) 2022-11-15
US20200134152A1 (en) 2020-04-30

Similar Documents

Publication Publication Date Title
US9646261B2 (en) Enabling continuous or instantaneous identity recognition of a large group of people based on physiological biometric signals obtained from members of a small group of people
US9875425B2 (en) Individual identification device, and identification threshold setting method
CN107437074B (zh) 一种身份认证方法和装置
KR102367481B1 (ko) 생체 인증 장치 및 방법
US20180068193A1 (en) Method, Apparatus And System For Biometric Identification
JP5121681B2 (ja) 生体認証システム、認証クライアント端末、及び生体認証方法
US7913090B2 (en) Authentication systems and authentication method
JP6765657B2 (ja) 認証装置、認証方法及びコンピュータプログラム
US20050281439A1 (en) Method and apparatus for electro-biometric identity recognition
AU2004324705A1 (en) Method and apparatus for electro-biometric indentity recognition
US11494474B2 (en) Brain activity-based authentication
JP2012176106A (ja) 認証装置及び認証方法、電子機器、並びにコンピューター・プロクラム
JP5642210B2 (ja) 電子バイオメトリック識別認識のための方法及び装置
WO2018152711A1 (zh) 一种基于心电认证的门禁系统及其认证方法
Hussein et al. An IoT real-time biometric authentication system based on ECG fiducial extracted features using discrete cosine transform
KR20180082948A (ko) 심전도 신호를 사용한 사용자의 신분 인증 방법 및 신분 인증 장치.
KR101986241B1 (ko) 생체신호를 이용한 멀티 모달 기반의 사용자 인증 장치 및 방법
CN113221086A (zh) 离线人脸认证方法、装置、电子设备及存储介质
JP7067061B2 (ja) 生体認証装置、生体認証方法および生体認証プログラム
CN112766292A (zh) 身份认证的方法、装置、设备及存储介质
CN112989937B (zh) 用户身份验证的方法和装置
Chen et al. Finger ECG-based authentication for healthcare data security using artificial neural network
Farid et al. Biometric authentication for dementia patients with recurrent neural network
CN107615299A (zh) 用于评估指纹模板的方法和系统
KR101587874B1 (ko) 단일 채널 심전도를 이용한 생체 인식 장치 및 그 방법

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200409

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20200901

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20200909

R150 Certificate of patent or registration of utility model

Ref document number: 6765657

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250