WO2019004291A1 - 認証装置、認証方法及びコンピュータプログラム - Google Patents

認証装置、認証方法及びコンピュータプログラム Download PDF

Info

Publication number
WO2019004291A1
WO2019004291A1 PCT/JP2018/024397 JP2018024397W WO2019004291A1 WO 2019004291 A1 WO2019004291 A1 WO 2019004291A1 JP 2018024397 W JP2018024397 W JP 2018024397W WO 2019004291 A1 WO2019004291 A1 WO 2019004291A1
Authority
WO
WIPO (PCT)
Prior art keywords
waveform data
user
authentication
similarity
template
Prior art date
Application number
PCT/JP2018/024397
Other languages
English (en)
French (fr)
Inventor
文西 陳
エイ 陳
裕次 濱田
Original Assignee
公立大学法人会津大学
Simplex Quantum株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 公立大学法人会津大学, Simplex Quantum株式会社 filed Critical 公立大学法人会津大学
Publication of WO2019004291A1 publication Critical patent/WO2019004291A1/ja
Priority to US16/725,916 priority Critical patent/US11500975B2/en

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/30Authentication, i.e. establishing the identity or authorisation of security principals
    • G06F21/31User authentication
    • G06F21/32User authentication using biometric data, e.g. fingerprints, iris scans or voiceprints
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/117Identification of persons
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/24Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/316Modalities, i.e. specific diagnostic methods
    • A61B5/318Heart-related electrical modalities, e.g. electrocardiography [ECG]
    • A61B5/346Analysis of electrocardiograms
    • A61B5/349Detecting specific parameters of the electrocardiograph cycle
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/22Matching criteria, e.g. proximity measures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/24Classification techniques
    • G06F18/241Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • G06F18/24133Distances to prototypes
    • G06F18/24143Distances to neighbourhood prototypes, e.g. restricted Coulomb energy networks [RCEN]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2218/00Aspects of pattern recognition specially adapted for signal processing
    • G06F2218/12Classification; Matching
    • G06F2218/16Classification; Matching by matching signal segments

Definitions

  • the present invention relates to an authentication device, an authentication method, and a computer program for causing a computer device to execute the authentication device that authenticates an individual using an electrocardiogram waveform of the individual.
  • Patent documents 1 to 7 Various authentication methods have been proposed for measuring an electrocardiogram signal of an individual and identifying the individual using an electrocardiogram waveform for each heartbeat extracted from the electrocardiogram signal as an authentication means using biometric information of the individual.
  • JP 2012-176106 A JP, 2016-171983, A JP 2014-239737 A JP, 2016-126775, A JP, 2016-049449, A JP, 2016-045939, A JP, 2012-038913, A
  • the electrocardiographic waveform fluctuates with each heartbeat, even in the same individual, and the physical condition and posture of the individual and the state of exercise (rest or exercise) also become a variable factor, and further, temporally It also changes.
  • the P wave, Q wave, R wave, S wave and T wave in the electrocardiogram waveform with high accuracy to the extent that the individual can distinguish the individual, it is necessary to analyze the variations of a plurality of electrocardiogram waveform and to perform complicated processing It is.
  • Patent Document 3 extracts several types of feature quantities from an electrocardiogram signal, determines the range (feature quantity range) in which the possibility of the feature quantity can be taken in consideration of variations, and determines the range of the feature quantity If there is, we disclose how to authenticate with the person. However, if the feature amount range is expanded (that is, if the threshold value is lowered), although the false rejection rate can be maintained low, there is a possibility that the risk of misidentifying another person may be increased. In addition, it is also difficult to update the feature amount range due to temporal change.
  • an object of the present invention is to provide an authentication device capable of performing personal authentication with high accuracy by lowering both the person rejection rate and the other person acceptance rate by a novel method, an authentication method, and a computer program for causing a computer device to execute the same. It is to provide.
  • the first neural network model is learned and created using the similarity between the user and the electrocardiographic waveform data between different users and the template waveform data, and the electrocardiographic waveform data and template waveform of the user for one user Similarity to data and similarity between the user's ECG waveform data and template waveform data of other users different from the user
  • a neural network model creation unit that learns and creates a plurality of second neural network models for each user using a template, and an electrocardiogram waveform data for authentication created from an electrocardiogram signal of an authentication target user during authentication and a template waveform
  • a step of creating a plurality of electrocardiogram waveform data extracted for each heart beat from a plurality of user electrocardiogram signals, each of the electrocardiogram waveform data for each user, and an electrocardiogram waveform for each user Calculating similarity with template waveform data created by averaging data, similarity between electrocardiographic waveform data between the same users for all users and template waveform data, and electrocardiographic waveform data between different users
  • the first neural network model is learned and created using the similarity between template and template waveform data, and the similarity between the user's electrocardiogram waveform data for one user and the template waveform data and the user's electrocardiogram waveform
  • the similarity calculated using the ECG waveform data for authentication created from the ECG signal of the authentication target user and the template waveform data is Performing a first step of authentication processing by inputting
  • personal authentication can be performed with high accuracy in a short time.
  • updating template waveform data and updating a neural network model in consideration of temporal change of an electrocardiogram signal long-lasting personal authentication can be performed.
  • the structural example of the authentication apparatus in embodiment of this invention is shown.
  • the functional block diagram which shows the function of the authentication apparatus in this Embodiment is shown. It is a flowchart which performs pre-processing of the measured electrocardiogram signal. It is a figure explaining a QRST wave and a QRS wave separation processing. It is a flowchart of a template waveform data creation process. It is a figure explaining the feature-value extracted from a template QRST wave and a template QRS wave. It is a flowchart of a feature-value extraction process.
  • the flowchart of a NN model creation process is shown. It is a figure explaining the principal class and others class of a feature-value similarity vector. It is a figure which shows the learning preparation process of an average NN model.
  • FIG. 1 shows an example of the configuration of an authentication apparatus according to an embodiment of the present invention.
  • the authentication device is a computer device, and may be a general-purpose personal computer, and may be a stationary type, a notebook type, a tablet type, or the like.
  • the personal identification device has a general-purpose computer device hardware configuration, and as one example, CPU 112, ROM 113, RAM 114, network interface 115, input device 116, output device 117, and storage device 118 are connected to bus 111 ing.
  • the CPU 112 performs data processing or calculation, controls various components connected via the bus 111, and functions as setting means, calculation means, and output means.
  • the control procedure (computer program) of the CPU 112 is stored in advance in the ROM 113, and the computer device is activated by the CPU 112 executing this computer program.
  • the storage device 118 is a storage medium such as an optical disk medium such as a hard disk storage device or a CD-ROM, for example, and stores a computer program for executing the authentication process in the present embodiment and waveform data such as an electrocardiogram signal. It is a database.
  • the computer program is read out to the RAM 114 and executed by the CPU 112.
  • the CPU 112 executes the computer program to execute various authentication processes in the present embodiment described later.
  • the RAM 114 is used as a work memory for data input / output and transmission / reception, and as a temporary storage for control of each component.
  • the network interface 115 is an interface for connecting to the Internet.
  • the input device 116 is connected by wire or wirelessly to a measurement device (not shown) that measures an electrocardiogram signal, and the electrocardiogram signal measured by the measurement device is input.
  • the output device 117 is a display means such as a display, and when printing out, the printer functions as a display device.
  • FIG. 2 shows a functional block diagram showing functions of the authentication device in the present embodiment.
  • the functions of the authentication device include processing of a registration phase, an authentication phase, and an update phase, and these functions are realized by the CPU executing a computer program.
  • the registration phase is a process at the time of registration, which acquires an electrocardiogram signal of an individual (hereinafter referred to as a user) at the time of registration, and preprocesses the acquired electrocardiogram signal (S100), preprocess
  • NN neural network
  • the authentication phase is a process at the time of authentication, acquires an electrocardiogram signal of the user at the time of authentication, and preprocesses the acquired electrocardiogram signal (S500), and the feature value of the preprocessed waveform data
  • the feature extraction process (S600) to extract, the similarity of the feature extracted in S600 and the feature of the template waveform data registered in S300 is determined, and the similarity is input to two types of NN models to obtain the first
  • It has a two-step authentication process (S700) that performs a two-step authentication process and a second-step authentication process. If it is determined in the two-step authentication process that both of the authentication processes based on the two types of NN models are the person, the person is determined to be the person.
  • the template waveform data created and registered in the registration phase and the neural network model (NN model) are used as needed or regularly using the user's electrocardiogram signal additionally acquired at the time of authentication. It has the update process (S800) to update.
  • S800 update process
  • the registration phase executes a process of pre-registering information on the user's electrocardiogram signal required for authentication.
  • FIG. 3 is a flowchart for performing pre-processing of the measured electrocardiogram signal.
  • the quality confirmation process is performed (S102).
  • the input electrocardiogram signal reaches 30 seconds or 30 beats, quality confirmation processing is performed.
  • the signal quality determines the kurtosis k of the electrocardiogram signal defined by equation (1), and it is determined whether the kurtosis k is within the threshold range.
  • the kurtosis k is a measure that indicates the projection tendency of the distribution.
  • is an average value of x
  • is a standard deviation of x
  • E (x) represents an expected value of x.
  • the quality confirmation processing when the quality of the electrocardiogram signal does not meet the predetermined standard (ie, when the kurtosis k is outside the threshold range), it waits for a predetermined time (for example, 3 seconds) and measures at another time.
  • a predetermined time for example, 3 seconds
  • An electrocardiogram signal is input again, the above-mentioned quality confirmation processing is performed (S102), and acquisition of electrocardiogram signals is repeated until an electrocardiogram signal having a kurtosis k within a threshold range is acquired.
  • the baseline oscillation removal process is a process for suppressing baseline oscillation of an electrocardiogram signal by wavelet decomposition.
  • the noise removal process (S106) may be performed by the notch filter and the low pass filter, and the smoothing process may be further performed by the moving average filter.
  • R wave (also referred to as R peak) is detected from each heartbeat waveform of variously filtered electrocardiogram signal (S 108), and QRST wave and QRS wave are separated for each heartbeat waveform based on R wave (R peak) , Normalization processing (S110).
  • FIG. 4 is a diagram for explaining the QRST wave and QRS wave separation processing, and by cutting out a waveform having a predetermined time width before and after the position of the R wave, the QRST wave and the QRS wave for each heartbeat (hereinafter referred to as “card Can be separated and extracted).
  • Each electrocardiographic waveform data x i which is the separated QRST wave and QRS wave is normalized by the following equation (2) around the R peak to generate a normalized QRST wave and a QRS wave.
  • ⁇ x is an average value of the separated waveform data
  • n is the length of x.
  • template QRST wave and a template QRS wave are created using the created QRST wave and QRS wave (electrocardiographic waveform data).
  • template waveform data (hereinafter sometimes collectively referred to as “template waveform data”) are created using the created QRST wave and QRS wave (electrocardiographic waveform data).
  • the creation process (S200) will be described.
  • FIG. 5 is a flowchart of template waveform data creation processing.
  • the QRST wave and QRS wave electrocardiographic waveform data
  • DB database
  • QRST wave and QRS wave of 30 beats are separated from the electrocardiogram signal
  • 30 QRST waves and 30 QRS waves are registered in the database.
  • an average QRST wave which is an average wave of 30 QRST waves
  • an average QRS wave which is an average wave of 30 QRS waves, for example
  • the similarity with the average wave is determined based on, for example, the Euclidean distance between two waveforms to be compared. can do.
  • the calculated degree of similarity for example, 70% QRST wave and QRS wave closest to the average wave are selected (S208).
  • QRST waves and 30 QRS waves are stored, 21 QRST waves and QRS waves are selected in the order close to the average wave (in order of high similarity).
  • the proportion (or number) of the QRST wave and the QRS wave to be selected is not limited to 70%, and an optimal value is appropriately set.
  • the average wave of the QRST wave and the QRS wave selected in S208 is further calculated, and is used as a template QRST wave and a template QRS wave (S210).
  • the template QRST wave and the template QRS wave are waveform data registered as a heartbeat waveform of a user who has measured an electrocardiogram signal, and is waveform data that is a basis of user authentication.
  • the feature quantities are extracted from the template QRST wave and the template QRS wave. Next, the feature amount extraction process (S300) will be described.
  • FIG. 6 is a diagram for explaining feature quantities extracted from the template QRST wave and the template QRS wave.
  • the feature quantities are (1) time series data of template QRST wave, (2) time series data of template QRS wave, (3) time series data of differential wave of template QRST wave, and (4) differential wave of template QRS wave Time series data, (5) kurtosis of template QRST wave, (6) kurtosis of template QRS wave, and (7) longitudinal width of R wave.
  • the combination of these seven types of feature amounts constitutes a feature amount set, and the types of feature amounts are not limited to these seven, and other feature amounts may be adopted, and the number thereof is not limited to seven. More or less at most, and an optimal number and type of feature quantities may be selected.
  • feature quantities can be extracted from waveform data for each heartbeat, a plurality of continuous heartbeats are not necessary, the influence of heart rate fluctuation can be reduced, and feature quantities can be extracted with high accuracy.
  • FIG. 7 is a flowchart of the feature amount extraction process.
  • Each of the above-described feature quantities is extracted from the template QRST wave and the template QRS wave (S302), and is stored and registered (S304).
  • the feature amount includes (1) time-series data of the template QRST wave and (2) time-series data of the template QRS wave, and the feature amount is registered in the database. Further, the above-mentioned respective feature quantities are extracted also for each of the electrocardiographic waveform data which are the QRST wave and the QRS wave determined in S110 (S306), and stored and registered (S308).
  • FIG. 8 shows a flowchart of neural network model creation processing.
  • the feature quantities of the template waveform data of all the users registered in S304 of FIG. 7 are read out (S402).
  • the feature quantities of the electrocardiographic waveform data (QRST wave and QRS wave) of all the users registered in S308 are read out (S404).
  • a feature amount similarity vector is calculated between the feature amount of template waveform data of each user and the feature amount of electrocardiographic waveform data (S406).
  • the similarity d between the feature amount x i of the electrocardiogram waveform data and the feature amount ⁇ x of the template waveform data is calculated by the following equations (3-1) and (3-2).
  • the feature quantities are the seven types described above, (1) time series data of template QRST wave, (2) time series data of template QRS wave, (3) time series data of differential wave of template QRST wave, (4) Time series data of differential wave of template QRS wave, (5) kurtosis of template QRST wave, (6) kurtosis of template QRS wave, and (7) similarity of vertical width of R wave respectively d1, d2, d3 , D4, d5, d6, d7.
  • the Euclidean distance is used for the calculation of the similarities d1, d2, d3 and d4, and the Manhattan distance is used for the calculation of the similarities d5, d6 and d7.
  • the feature amount similarity vector (referred to as a "feature class similarity vector of the person class") of the electrocardiographic waveform data and the template waveform data between the same users for all the users. Further, a feature amount similarity vector (referred to as a "others class” similarity vector) of electrocardiographic waveform data of different users and template waveform data is also determined. The combination of the feature amount similarity vector of “person's class” and the feature amount similarity vector of “others class” is made different, and two kinds of NN models of the average neural network model (NN model) and the individual NN model are created (S408).
  • NN model average neural network model
  • FIG. 9 is a diagram for explaining the principal class and the other class of the feature quantity similarity vector.
  • FIG. 9 (a) shows feature quantity similarity vectors of the principal class and the other class used for the average NN model
  • FIG. 9 (b) shows feature quantity similarity vectors of the principal class and the other class used for the individual NN model. .
  • the feature amount similarity vector of the user class is, for example, the feature amount similarity of the electrocardiogram waveform data of user A and the template waveform data of user A It is a vector (AvsA), is a feature quantity similarity vector (BvsB) of the electrocardiographic waveform data of the user B and the template waveform data of the user B, and further, the electrocardiographic waveform data of the user Z and the template waveform data of the user Z Feature amount similarity vector (Z vs Z) etc., and is a feature amount similarity vector of the electrocardiographic waveform data between the same users and the template waveform data.
  • the feature amount similarity vector of the other class is, for example, the feature amount similarity vector (AvsB) of the electrocardiographic waveform data of the user A and the template waveform data of the user B, and the electrocardiographic waveform data of the user B and the user A
  • the feature amount similarity vector (ZvsY) of the template waveform data of the user Y that is, the feature amount similarity vector of the electrocardiogram waveform data between different users and the template waveform data.
  • the individual-specific NN model is created for each user, for example, the individual-specific NN model (model A) of user A is the feature amount similarity vector (AvsA) of the user A's principal class and the mind of the user A
  • the personal NN model (model B) of the user B is the user B's individual using the radio wave shape data and the feature quantity similarity vector (AvsB,..., AvsZ) of the template waveform data of the users B to Z other than the user A.
  • the individual NN model (model Z) of the user Z is created using BvsZ), and the feature quantity similarity vector (ZvsZ) of the user class of the user Z, and the electrocardiogram waveform data of the user Z and the user Z other than Yu
  • the A ⁇ Y template waveform data of the feature quantity similarity vector (ZvsA, ⁇ , ZvsY) is created using a.
  • FIG. 10 is a diagram showing a learning creation (training) process of the average NN model.
  • the feature amount similarity vector to be input is a feature amount similarity vector of another user's class different from the feature amount similarity vector of the principal class of all the users.
  • the maximum number of feature quantity similarity vectors in the other class is enormous (25 times if the number of users is 26) compared to the number of feature quantity similarity vectors in the person class, and is input to the NN model
  • the number of feature quantity similarity vectors of the other class is 2 to 3 of the number of feature quantity similarity vectors of the person class. It may be appropriately thinned and selected so as to be about double.
  • FIG. 11 is a diagram showing a learning preparation (training) process of the individual NN model.
  • the feature amount similarity vector to be input is, for each user, a feature amount similarity vector of the user's own class and a feature amount of another class between the user and another user. It is a similarity vector.
  • the number of feature quantity similarity vectors in the other class is enormous (25 times if the number of users is 26) in comparison with the number of feature quantity similarity vectors in the person class, and the individual NN model is also used.
  • the number of feature quantity similarity vectors in the other class is appropriately decimated and selected so as to be about 2 to 3 times the number of feature quantity similarity vectors in the person class. You may
  • the created average NN model and individual NN model are registered in the database (S400). Next, the process of the authentication phase will be described.
  • the authentication phase measures an electrocardiogram signal of a user to be authenticated, and determines whether the measured electrocardiogram signal is a user registered in the above-mentioned registration phase (whether or not the user is the person) Run.
  • Pre-processing (S500) The electrocardiogram signal of the user to be authenticated is measured, and the same processing as the pre-processing (S100) of the registration phase shown in FIG. 2 is performed on the measured signal. Thus, raw waveform data (QRST wave and QRS wave) of the electrocardiogram signal of the user to be authenticated is acquired.
  • FIG. 12 is a flowchart of the two-step authentication process.
  • a set of feature quantities of electrocardiographic waveform data for each heartbeat of the user to be authenticated is sequentially selected one by one (S702), and one set of feature quantities of template waveform data for each registered user is also entered These are sequentially selected and input (S704), and these feature amount similarity vectors are calculated (S706).
  • the calculated feature quantity similarity vector is input to both the average NN model created in the registration phase (or updated in the update phase described later) and the individual NN model, and the first stage of the average NN model
  • the authentication process (S 708) and the second-step authentication process by the individual NN model are performed (S 710).
  • one authentication by one average NN model and authentication by all individual NN models for the number of registered users are performed.
  • FIG. 13 is a diagram schematically showing an authentication process based on the NN model.
  • the NN model is an average NN model or an individual NN model, and when the feature quantity similarity vector of the feature quantity set of the electrocardiographic waveform data is input to the NN model and the output value is equal to or more than a preset threshold, If the person is less than the threshold value, it is judged as "other".
  • the average NN model having a high output value is regarded as the user who certifies as “principal”.
  • the above-described processing from S702 to S712 is performed for all electrocardiogram waveform data of the authentication target user, and it is determined, for example, whether or not the determination of S712 for more than half of the electrocardiogram waveform data is the "user" of the same user. If so, it is determined that it is the registered user (S714).
  • the accuracy of authentication can be improved by performing two-step authentication processing using both the average NN model and the individual NN model.
  • the average NN model is a model for identifying the binary relationship between the person or the other based on the characteristics of probability distribution existing in the feature amount similarity between the person's class and the other class from the electrocardiogram data of a certain number of users. And can be screened initially.
  • the individual NN model determines whether the user is the person or another person for each user, but even if it is determined to be the person due to fluctuations or variations in the individual's electrocardiogram signal data, it may actually be the other person's class Due to the nature, the threshold value for the output value of the conventional individual NN model has to be set relatively high, and hence the false rejection rate (FRR) tends to be high.
  • the average NN model is learned by using ECG signal data of a plurality of users, and the tolerance to changes is wide, and it is possible to absorb an inter-individual gap to some extent and reduce the false acceptance rate (FAR) it can. Then, when it is determined that the person is the person according to the average NN model, the threshold value of the individual NN model can be lowered to some extent, whereby the accuracy of the person determination can be increased and the person rejection rate (FRR) can be lowered.
  • the update phase is a process of updating the feature amount of template waveform data registered in the database.
  • Template waveform data (or its feature value) for each user registered in the database and an individual-specific NN model are created from a plurality of electrocardiographic waveform data for each user obtained by measurement (“feature value in the registration phase Extraction process "and” NN model creation process "). Since the template waveform data is updated with the latest electrocardiogram waveform data, high authentication accuracy can be maintained in order to cope with temporal changes in the electrocardiogram signal pattern. Therefore, the electrocardiographic waveform data determined to be "the person" in the authentication phase is additionally registered, and template waveform data, the individual NN model and the average NN model are updated using it.
  • FIG. 14 is a flowchart of the process of updating the individual NN model.
  • the electrocardiographic waveform data of the authentication target user who is determined to be the "person” is acquired (S802), and additionally registered in the database (S804).
  • an upper limit is set for the number of registered electrocardiographic waveform data for each user, and if the number of registrations has already reached the upper limit, the oldest electrocardiographic waveform data is erased, and the current acquisition recently identified as the "person" Register the ECG waveform data of Thereby, the registered electrocardiogram waveform data is updated to more recent electrocardiogram waveform data.
  • Template waveform data is created using registered electrocardiogram waveform data, and further feature quantities are extracted, and old data registered in the database are newly created and extracted template waveform data and feature quantities
  • the set is updated (S806).
  • the personal NN model is learned and created using the updated template waveform data and the updated electrocardiogram waveform data (S808). It is possible to create an individualized NN model corresponding to the temporal change of the user's electrocardiogram pattern.
  • FIG. 15 is a flowchart of the updating process of the average NN model.
  • the electrocardiographic waveform data of the new user is added to the database, and the authentication target user who is determined as "the person" in the above-described two-step authentication process (S700)
  • the electrocardiographic waveform data of (existing registered user) is acquired, and it is additionally registered in the database (S810).
  • additional registration of the electrocardiographic waveform of the existing registered user has an upper limit on the number of registered electrocardiographic waveform data for each user, and the oldest electrocardiographic waveform when the number of registrations has already reached the upper limit.
  • the data is erased, and the electrocardiographic waveform data acquired this time, which has recently been certified as "the person", is registered. Thereby, the registered electrocardiogram waveform data is updated to more recent electrocardiogram waveform data.
  • Template waveform data of all registered users is created using additional registration, ie, updated electrocardiogram waveform data, and further feature quantities are extracted, and old data registered in the database is newly added to all registered users.
  • the template waveform data created and extracted is updated to the feature value set (S812).
  • the average NN model is learned and created using the updated template waveform data and the updated electrocardiogram waveform data (S814). It is possible to create an average NN model corresponding to the addition of a new user or the temporal change of an electrocardiographic pattern of an existing user.
  • the update process is performed periodically (for example, daily, weekly, monthly, etc.) or at any time.
  • the occasional updating is performed when a predetermined condition is satisfied. For example, when it is determined that the difference between the feature amount set input at the time of authentication and the feature amount set of the registered template waveform data is large in the appropriate maintenance process, the number of new users has reached a predetermined number And so on.
  • the present invention is, for example, login of smart phone or PC and authentication of application, key authentication of entrance door, authentication of automobile door lock and engine start, authentication of bank card and credit card, identification of bank ATM and various terminal devices, It can be used in various authentication situations such as entry and exit authentication (entry and exit in a safe, financial institution, apartment complex, etc.), user authentication at a library, identity verification of entry and exit control at an airport etc., identity verification at a medical institution. Also, the present invention can be employed for either one-to-one matching or one-to-N (multiple) matching.
  • 111 bus
  • 112 CPU
  • 113 ROM
  • 114 RAM
  • 115 network interface
  • 116 input device
  • 117 output device
  • 118 storage device

Abstract

高精度に個人認証を行うことができる認証装置を提供する。認証装置は、複数のユーザの心電信号から心拍毎に抽出した複数の心電波形データを作成する心電波形データ作成部と、ユーザ毎の心電波形データそれぞれと、ユーザ毎に心電波形データを平均化して作成されるテンプレート波形データとの類似度を算出する類似度演算部と、ユーザ全員についての同一ユーザ同士の心電波形データとテンプレート波形データとの類似度及び異なるユーザ同士の心電波形データとテンプレート波形データとの類似度を用いて第一のニューラルネットワーク(NN)モデルを学習作成し、一人のユーザについての当該ユーザの心電波形データとテンプレート波形データとの類似度及び当該ユーザの心電波形データと当該ユーザと異なる他のユーザのテンプレート波形データとの類似度を用いてユーザ毎の複数の第二のNNモデルを学習作成するNNモデル作成部と、認証時において、認証対象ユーザの心電信号から作成される認証用の心電波形データとテンプレート波形データを用いて算出された類似度を、あらかじめ学習作成された第一のNNモデルに入力して第一段階の認証処理を実行し、且つあらかじめ学習作成された第二のNNモデルに入力して第二段階の認証処理を実行する認証部とを備える。

Description

認証装置、認証方法及びコンピュータプログラム
 本発明は、個人の心電波形を用いて、その個人を認証する認証装置、認証方法及びそれをコンピュータ装置に実行させるためのコンピュータプログラムに関する。
 個人の生体情報を用いた認証手段として、個人の心電信号を測定し、その心電信号から抽出される心拍毎の心電波形を用いて個人を識別する認証方法がさまざまに提案されている(特許文献1乃至7)。
 心電波形は、心拍毎にP波、Q波、R波、S波、T波などの特徴的な波形が現れることが知られており、測定された心電信号の原波形と微分波形の特徴情報(振幅、時間幅、各波間間隔、傾きなど)を抽出し、その認証対象の特徴情報とあらかじめ登録されている個人毎の特徴情報とを照合し、その相関関係を判定することで、個人の認証が行われる。
特開2012-176106号公報 特開2016-171983号公報 特開2014-239737号公報 特開2016-126775号公報 特開2016-049449号公報 特開2016-045939号公報 特開2012-038913号公報
 心電波形は、同一の個人であっても、心拍毎に変動し、また、個人の体調や姿勢、運動状態(安静状態なのか運動をしているのか)も変動要因となり、さらに、経時的にも変化する。心電波形におけるP波、Q波、R波、S波、T波を個人を識別しうる程度に高精度に抽出するには、複数の心電波形のばらつきを解析し、複雑な処理が必要である。
 例えば、特許文献3は、心電信号から数種類の特徴量を抽出し、ばらつきを考慮してその特徴量が取りうる可能性が高い範囲(特徴量範囲)を決定し、その特徴量範囲内であれば本人と認証する手法について開示している。しかしながら、その特徴量範囲を広げれば(すなわち閾値を下げれば)、本人拒否率は低く維持できるものの、他人を誤認証してしまうリスクも高まるおそれがある。また、経時変化による特徴量範囲の更新も困難である。
 そこで、本発明の目的は、新規な手法により本人拒否率と他人受入率を共に低くして高精度に個人認証を行うことができる認証装置、認証方法及びそれをコンピュータ装置に実行させるコンピュータプログラムを提供することにある。
 上記目的を達成するための本発明の認証装置は、複数のユーザの心電信号から心拍毎に抽出した複数の心電波形データを作成する心電波形データ作成部と、ユーザ毎の心電波形データそれぞれと、ユーザ毎に心電波形データを平均化して作成されるテンプレート波形データとの類似度を算出する類似度演算部と、ユーザ全員についての同一ユーザ同士の心電波形データとテンプレート波形データとの類似度及び異なるユーザ同士の心電波形データとテンプレート波形データとの類似度を用いて第一のニューラルネットワークモデルを学習作成し、一人のユーザについての当該ユーザの心電波形データとテンプレート波形データとの類似度及び当該ユーザの心電波形データと当該ユーザと異なる他のユーザのテンプレート波形データとの類似度を用いてユーザ毎の複数の第二のニューラルネットワークモデルを学習作成するニューラルネットワークモデル作成部と、認証時において、認証対象ユーザの心電信号から作成される認証用の心電波形データとテンプレート波形データを用いて算出された類似度を、あらかじめ学習作成された第一のニューラルネットワークモデルに入力して第一段階の認証処理を実行し、且つあらかじめ学習作成された第二のニューラルネットワークモデルに入力して第二段階の認証処理を実行する認証部とを備えることを特徴とする。
 また、本発明の認証方法は、複数のユーザの心電信号から心拍毎に抽出した複数の心電波形データを作成する工程と、ユーザ毎の心電波形データそれぞれと、ユーザ毎に心電波形データを平均化して作成されるテンプレート波形データとの類似度を算出する工程と、ユーザ全員についての同一ユーザ同士の心電波形データとテンプレート波形データとの類似度及び異なるユーザ同士の心電波形データとテンプレート波形データとの類似度を用いて第一のニューラルネットワークモデルを学習作成し、一人のユーザについての当該ユーザの心電波形データと前記テンプレート波形データとの類似度及び当該ユーザの心電波形データと当該ユーザと異なる他のユーザのテンプレート波形データとの類似度を用いてユーザ毎の複数の第二のニューラルネットワークモデルを学習作成する工程と、認証時において、認証対象ユーザの心電信号から作成される認証用の心電波形データとテンプレート波形データを用いて算出された類似度を、あらかじめ学習作成された第一のニューラルネットワークモデルに入力して第一段階の認証処理を実行し、且つあらかじめ学習作成された前記第二のニューラルネットワークモデルに入力して第二段階の認証処理を実行する工程とを備えることを特徴とする。
 本発明の認証装置及び認証方法によれば、短時間で高精度に個人認証を行うことができる。心電信号の経時変化を考慮し、テンプレート波形データの更新とニューラルネットワークモデルの更新を行うことで、長期持続的な個人認証が可能となる。
本発明の実施の形態における認証装置の構成例を示す。 本実施の形態における認証装置の機能を示す機能ブロック図を示す。 測定された心電信号の前処理を実行するフローチャートである。 QRST波及びQRS波分離処理を説明する図である。 テンプレート波形データ作成処理のフローチャートである。 テンプレートQRST波及びテンプレートQRS波から抽出される特徴量を説明する図である。 特徴量抽出処理のフローチャートである。 NNモデル作成処理のフローチャートを示す。 特徴量類似度ベクトルの本人クラスと他人クラスを説明する図である。 平均NNモデルの学習作成過程を示す図である。 個人別NNモデルの学習作成過程を示す図である。 二段階認証処理のフローチャートである。 NNモデルによる認証処理を模式的に示す図である。 個人別NNモデルの更新処理のフローチャートである。 平均NNモデルの更新処理のフローチャートである。
 以下、図面を参照して本発明の実施の形態について説明する。しかしながら、かかる実施の形態例が、本発明の技術的範囲を限定するものではない。
 図1は、本発明の実施の形態における認証装置の構成例を示す。認証装置は、コンピュータ装置であって、汎用的なパーソナルコンピュータであってもよく、据置型、ノートブック型、タブレット型などの形態を問わない。個人認証装置は、汎用的なコンピュータ装置のハードウェア構成を有し、一例として、バス111には、CPU112、ROM113、RAM114、ネットワークインタフェース115、入力装置116、出力装置117及び記憶装置118が接続されている。
 CPU112は、データの処理又は演算を行うと共に、バス111を介して接続された各種構成要素を制御するものであり、設定手段、演算手段、出力手段として機能する。ROM113には、予めCPU112の制御手順(コンピュータプログラム)を記憶させておき、このコンピュータプログラムをCPU112が実行することにより、コンピュータ装置は起動する。記憶装置118は、例えばハードディスク記憶装置やCD-ROM等の光ディスク媒体などの記憶媒体であり、本実施の形態における認証処理を実行するためのコンピュータプログラム及び心電信号などの波形データなどを記憶するデータベースである。コンピュータプログラムはRAM114に読み出されてCPU112により実行される。CPU112が、このコンピュータプログラムを実行することにより、後述する本実施の形態における各種認証処理を実行する。RAM114は、データの入出力、送受信のためのワークメモリ、各構成要素の制御のための一時記憶として用いられる。
 ネットワークインタフェース115は、インターネットに接続するためのインターフェースである。入力装置116は、心電信号を測定する測定装置(図示せず)と有線又は無線により接続し、測定装置により測定された心電信号が入力される。出力装置117は、ディスプレイなどの表示手段であり、プリントアウトする場合は、プリンタが表示装置として機能する。
 図2は、本実施の形態における認証装置の機能を示す機能ブロック図を示す。認証装置の機能は、登録フェーズ、認証フェーズ、更新フェーズの処理を有し、これらの機能は、コンピュータプログラムをCPUが実行することにより実現される。
 登録フェーズは、登録時の処理であって、登録時において個人(以下、ユーザと称する)の心電信号を取得し、その取得した心電信号に前処理を施す前処理(S100)、前処理した波形データから各ユーザのテンプレート波形データ作成処理(S200)、テンプレート波形データの特徴量を抽出しデータベースとして登録する特徴量抽出処理(S300)、特徴量を用いて後述する「平均モデル」及び「個人別モデル」と称する2種類のニューラルネットワーク(NN)モデルを学習作成し登録するNNモデル作成処理(S400)を有する。
 認証フェーズは、認証時の処理であって、認証時においてユーザの心電信号を取得し、その取得した心電信号に前処理を施す前処理(S500)、前処理した波形データの特徴量を抽出する特徴量抽出処理(S600)、S600で抽出された特徴量とS300で登録されたテンプレート波形データの特徴量の類似度を求め、その類似度を2種類のNNモデルに入力して第一段階の認証処理と第二段階の認証処理を行う二段階認証処理(S700)を有する。二段階認証処理により、2種類のNNモデルによる認証処理の両方ともに本人と判定された場合、本人と判定する。
 更新フェーズは、登録フェーズにおいて作成され登録されているテンプレート波形データ、ニューラルネットワークモデル(NNモデル)に対して、認証時において追加的に取得されるユーザの心電信号を用いて随時又は定期的に更新する更新処理(S800)を有する。以下、図2に示す個人認証装置の各機能について説明する。
 <登録フェーズ>
 登録フェーズは、認証のために必要なユーザの心電信号に関する情報などを事前に登録する処理を実行する。
 [前処理(S100)]
 図3は、測定された心電信号の前処理を実行するフローチャートである。登録対象のユーザの心電信号が測定装置により測定され、その測定された心電信号が個人認証装置に入力されると、その品質確認処理が行われる(S102)。入力される心電信号は30秒、もしくは、30拍分になると、品質確認処理を行う。信号品質は、式(1)で定義される心電信号の尖度kを求め、その尖度kが閾値範囲内であるかどうかを判定される。尖度kは、分布の突起傾向を示す尺度である。また、μはxの平均値であり、σはxの標準偏差であり、E(x)はxの期待値を表す。
Figure JPOXMLDOC01-appb-M000001
Figure JPOXMLDOC01-appb-M000002
 品質確認処理の結果、心電信号の品質が所定基準を満たさない場合(すなわち、尖度kが閾値範囲外である場合)、所定時間(例えば3秒)を待機し、別の時間に測定される心電信号が再度入力され、上述の品質確認処理が行われ(S102)、尖度kが閾値範囲内の心電信号が取得されるまで心電信号の取得を繰り返す。
 S102の品質基準を満たす心電信号が取得されると、その心電信号に対して、基線動揺除去処理を実行する(S104)。基線動揺除去処理は、ウェーブレット分解により心電信号の基線動揺を抑える処理である。
 続いて、ノッチフィルタ及びローパスフィルタによりノイズ除去処理(S106)が行われ、さらに、移動平均フィルタにより平滑化処理が行われてもよい。
 各種フィルタ処理された心電信号の各心拍波形からR波(Rピークとも称する)を検出し(S108)、R波(Rピーク)に基づいて、心拍波形毎にQRST波及びQRS波を分離し、正規化処理する(S110)。
 図4は、QRST波及びQRS波分離処理を説明する図であり、R波の位置を基準に前後所定時間幅の波形を切り出すことで、心拍毎のQRST波及びQRS波(以下、「心電波形データ」と総称する場合がある)を分離・抽出することができる。分離されたQRST波及びQRS波である各心電波形データxiは、Rピークを中心に以下の式(2)により正規化処理され、正規化されたQRST波及びQRS波が作成される。ここで、μxは分離された各波形データの平均値であり、nはxの長さである。
Figure JPOXMLDOC01-appb-M000003
 作成されたQRST波及びQRS波(心電波形データ)を用いてテンプレートQRST波及びテンプレートQRS波(以下、「テンプレート波形データ)と総称される場合がある)が作成される。次にテンプレート波形データ作成処理(S200)について説明する。
 [テンプレート波形データ作成処理(S200)]
 図5は、テンプレート波形データ作成処理のフローチャートである。上述の前処理(S100)で作成された心拍毎のQRST波及びQRS波(心電波形データ)をデータベース(DB)に保存する(S202)。例えば、心電信号から30拍分のQRST波及びQRS波が分離された場合、30個のQRST波及び30個のQRS波がデータベースに登録される。
 例えば30個のQRST波の平均波である平均QRST波及び例えば30個のQRS波の平均波である平均QRS波を算出し(S204)、さらに、各QRST波と平均QRST波との類似度、及び各QRS波と平均QRS波との類似度を算出する(S206)。平均波(平均QRST波と平均QRS波を総称して「平均波」と称する場合がある)との類似度は、例えば比較する2つの波形のユークリッド距離を演算し、その合計値に基づいて判定することができる。そして、求められた類似度に基づいて、平均波に最も近い例えば70%のQRST波及びQRS波を選択する(S208)。例えば30個のQRST波及び例えば30個のQRS波が記憶される場合、それぞれ平均波に近い順に(類似度が高い順に)21個のQRST波及びQRS波が選択される。選択するQRST波及びQRS波の割合(又は数)は70%に限らず、適宜最適な値が設定される。
 S208で選択されたQRST波及びQRS波の平均波をさらに算出し、それをテンプレートQRST波及びテンプレートQRS波とする(S210)。テンプレートQRST波及びテンプレートQRS波は、心電信号を測定されたユーザ個人の心拍波形として登録される波形データであり、ユーザ認証の基になる波形データである。
 テンプレートQRST波及びテンプレートQRS波からその特徴量が抽出される。次に特徴量抽出処理(S300)について説明する。
 [特徴量抽出処理(S300)]
 図6は、テンプレートQRST波及びテンプレートQRS波から抽出される特徴量を説明する図である。特徴量は、(1)テンプレートQRST波の時系列データ、(2)テンプレートQRS波の時系列データ、(3)テンプレートQRST波の差分波の時系列データ、(4)テンプレートQRS波の差分波の時系列データ、(5)テンプレートQRST波の尖度、(6)テンプレートQRS波の尖度、(7)R波の縦幅である。これら7種類の特徴量の組み合わせは特徴量セットを構成し、特徴量の種類は、これら7つに限らず、別の特徴量が採用されてもよく、また、その数も7つに限らず、それより多くとも少なくともよく、最適な数及び種類の特徴量が選択され得る。
 主に、QRST波及びQRS波から特徴量を抽出することで、Q波、S波、T波を検出する必要がなく、特徴量の抽出が容易であり、信頼性の高い値を得ることができる。また、心拍毎の波形データから特徴量を抽出することができ、連続的な複数の心拍が不要であり、心拍数変動による影響を小さくし、高精度な特徴量を抽出することができる。
 図7は、特徴量抽出処理のフローチャートである。テンプレートQRST波及びテンプレートQRS波より、上述の各特徴量を抽出し(S302)、それを保存・登録する(S304)。特徴量は、(1)テンプレートQRST波の時系列データ、(2)テンプレートQRS波の時系列データを含んで、特徴量をデータベースに登録する。さらに、S110で求められたQRST波及びQRS波である各心電波形データについても、上述の各特徴量を抽出し(S306)、それを保存・登録する(S308)。これにより、ユーザ各々について、テンプレート波形データの特徴量が抽出・登録され、さらに、ユーザ各々について、テンプレート波形データを求めるのに用いられた各心電波形データの特徴量が抽出・登録される。次に、ニューラルネットワークモデル作成処理(S400)について説明する。
 [ニューラルネットワークモデル(NNモデル)作成処理]
 図8は、ニューラルネットワークモデル作成処理のフローチャートを示す。図7のS304で登録されたユーザすべてのテンプレート波形データの特徴量が読み出される(S402)。そして、S308で登録されたユーザすべての心電波形データ(QRST波及びQRS波)の特徴量が読み出される(S404)。
 各ユーザのテンプレート波形データの特徴量と、心電波形データの特徴量との特徴量類似度ベクトルを演算する(S406)。
 心電波形データの特徴量xiとテンプレート波形データの特徴量μxの類似度dは、以下の式(3-1)、(3-2)により算出する。特徴量は、上述の7種類であり、(1)テンプレートQRST波の時系列データ、(2)テンプレートQRS波の時系列データ、(3)テンプレートQRST波の差分波の時系列データ、(4)テンプレートQRS波の差分波の時系列データ、(5)テンプレートQRST波の尖度、(6)テンプレートQRS波の尖度、(7)R波の縦幅についての類似度をそれぞれd1、d2、d3、d4、d5、d6、d7とする。類似度d1、d2、d3、d4の演算については、ユークリッド距離を用い、類似度d5、d6、d7の演算についてはマンハッタン距離が用いられる。
Figure JPOXMLDOC01-appb-M000004
Figure JPOXMLDOC01-appb-M000005
 上述の式(3-1)、(3-2)で算出された類似度d1、d2、d3、d4、d5、d6、d7から、特徴量類似度ベクトルは、式(4)として表される。
Figure JPOXMLDOC01-appb-M000006
 特徴量類似度ベクトルの演算処理(S406)では、ユーザ全員について、同一ユーザ同士の心電波形データとテンプレート波形データの特徴量類似度ベクトル(「本人クラス」の特徴量類似度ベクトルと称する)が求められ、さらに、異なるユーザ同士の心電波形データとテンプレート波形データの特徴量類似度ベクトル(「他人クラス」の類似度ベクトルと称する)も求められる。「本人クラス」の特徴量類似度ベクトルと「他人クラス」の特徴量類似度ベクトルの組み合わせを異ならせて、平均ニューラルネットワークモデル(NNモデル)と個人別にNNモデルの2種類のNNモデルを学習作成する(S408)。
 図9は、特徴量類似度ベクトルの本人クラスと他人クラスを説明する図である。図9(a)は平均NNモデルに用いる本人クラス及び他人クラスの特徴量類似度ベクトルを示し、図9(b)は個人別NNモデルに用いる本人クラス及び他人クラスの特徴量類似度ベクトルを示す。
 ユーザA、B、・・・、Z(26人)までいる場合に、本人クラスの特徴量類似度ベクトルは、例えば、ユーザAの心電波形データとユーザAのテンプレート波形データの特徴量類似度ベクトル(AvsA)であり、ユーザBの心電波形データとユーザBのテンプレート波形データの特徴量類似度ベクトル(BvsB)であり、さらには、ユーザZの心電波形データとユーザZのテンプレート波形データの特徴量類似度ベクトル(ZvsZ)等であり、同一ユーザ同士の心電波形データとテンプレート波形データの特徴量類似度ベクトルである。
 一方、他人クラスの特徴量類似度ベクトルは、例えば、ユーザAの心電波形データとユーザBのテンプレート波形データの特徴量類似度ベクトル(AvsB)であり、ユーザBの心電波形データとユーザAのテンプレート波形データの特徴量類似度ベクトル(BvsA)であり、さらには、ユーザZの心電波形データとユーザAのテンプレート波形データの特徴量類似度ベクトル(ZvsA)、ユーザZの心電波形データとユーザYのテンプレート波形データの特徴量類似度ベクトル(ZvsY)等であり、すなわち、異なるユーザ同士の心電波形データとテンプレート波形データの特徴量類似度ベクトルである。
 平均NNモデルは、一つのみ作成され、ユーザA、B、・・・、Zまでいる場合において、本人クラスの特徴量類似度ベクトル全て(AvsA、・・・、ZvsZ)と、他人クラスの特徴量類似度ベクトル(本人クラスの特徴量類似度ベクトルを除く異なるユーザ同士の特徴量類似度ベクトル)とを用いて作成される。
 個人別NNモデルは、ユーザ毎にユーザ人数分作成され、例えば、ユーザAの個人別NNモデル(モデルA)は、ユーザAの本人クラスの特徴量類似度ベクトル(AvsA)と、ユーザAの心電波形データとユーザA以外のユーザB~Zのテンプレート波形データの特徴量類似度ベクトル(AvsB、・・・、AvsZ)を用い、ユーザBの個人別NNモデル(モデルB)は、ユーザBの本人クラスの特徴量類似度ベクトル(BvsB)と、ユーザBの心電波形データとユーザB以外のユーザA、C~Zのテンプレート波形データの特徴量類似度ベクトル(BvsA、BvsC、・・・、BvsZ)を用いて作成され、さらに、ユーザZの個人別NNモデル(モデルZ)は、ユーザZの本人クラスの特徴量類似度ベクトル(ZvsZ)と、ユーザZの心電波形データとユーザZ以外のユーザA~Yのテンプレート波形データの特徴量類似度ベクトル(ZvsA、・・・、ZvsY)を用いて作成される。
 図10は、平均NNモデルの学習作成(トレーニング)過程を示す図である。入力される特徴量類似度ベクトルは、図9(a)に示したように、ユーザ全員の本人クラスの特徴量類似度ベクトルと異なるユーザ同士の他人クラスの特徴量類似度ベクトルである。
 なお、他人クラスの特徴量類似度ベクトルの最大数は、本人クラスの特徴量類似度ベクトル数と比較して膨大(ユーザ数が26人であれば、25倍)であり、NNモデルに入力する学習データのバランス(他人クラスと本人クラスの特徴量類似度ベクトルの数の比例関係)を図るため、他人クラスの特徴量類似度ベクトル数を、本人クラスの特徴量類似度ベクトル数の2~3倍程度になるように適宜間引いて選択してもよい。
 入力される特徴量類似度ベクトルに対して、本人クラスの特徴量類似度ベクトルの入力に対しては、本人の出力(1、0)、他人クラスの特徴量類似度ベクトルの入力に対しては他人の出力(0、1)となるように、平均NNモデルが学習作成される。
 図11は、個人別NNモデルの学習作成(トレーニング)過程を示す図である。入力される特徴量類似度ベクトルは、図9(b)に示したように、ユーザ毎にそのユーザの本人クラスの特徴量類似度ベクトルと、そのユーザと別のユーザ同士の他人クラスの特徴量類似度ベクトルである。
 なお、他人クラスの特徴量類似度ベクトル数は、本人クラスの特徴量類似度ベクトル数と比較して膨大(ユーザ数が26人であれば、25倍)であり、個人別NNモデルの場合も同様に、NNモデルに入力する学習データのバランスを図るため、他人クラスの特徴量類似度ベクトル数を、本人クラスの特徴量類似度ベクトル数の2~3倍程度になるように適宜間引いて選択してもよい。
 入力される特徴量類似度ベクトルに対して、本人クラスの特徴量類似度ベクトルの入力に対しては、本人の出力(1、0)、他人クラスの特徴量類似度ベクトルの入力に対しては他人の出力(0、1)となるように、ユーザ毎に個人別NNモデルが学習作成される。
 作成された平均NNモデル及び個人別NNモデルはデータベースに登録される(S400)。次に、認証フェーズの処理について説明する。
 <認証フェーズ>
 認証フェーズは、認証対象のユーザの心電信号を測定し、その測定された心電信号が上述の登録フェーズで登録されているユーザであるかどうか(本人であるか否か)を判定する処理を実行する。
 [前処理(S500)]
 認証対象のユーザの心電信号を測定し、その測定された信号に対する前処理であって、図2に示す登録フェーズの前処理(S100)と同様の処理が実行される。これにより、認証対象のユーザの心電信号の原波形データ(QRST波及びQRS波)が取得される。
 [特徴量抽出処理(S600)]
 認証対象ユーザの心電波形データについての図6に示す各特徴量が、登録フェーズの特徴量抽出処理(S300)と同様の処理により抽出される。
 [二段階認証処理(S700)]
 図12は、二段階認証処理のフローチャートである。認証対象ユーザの心拍毎の心電波形データの特徴量セットが一つずつ順次に選択されて入力され(S702)、また、登録されているユーザ毎のテンプレート波形データの特徴量セットが一つずつ順次に選択されて入力され(S704)、これらの特徴量類似度ベクトルが算出される(S706)。
 算出された特徴量類似度ベクトルは、登録フェーズで作成された(又は、後述の更新フェーズで更新された)平均NNモデルと個人別NNモデルの両方に入力され、平均NNモデルによる第一段階の認証処理(S708)と個人別NNモデルによる第二段階の認証処理が行われる(S710)。一つの心電波形データについて、一つの平均NNモデルによる一つの認証と、登録ユーザ数分の個人別NNモデルすべてによる認証が行われる。
 図13は、NNモデルによる認証処理を模式的に示す図である。NNモデルは、平均NNモデル又は個人別NNモデルであり、心電波形データの特徴量セットの特徴量類似度ベクトルがNNモデルに入力され、その出力値があらかじめ設定された閾値以上の場合、「本人」、閾値未満の場合、「他人」と判断される。
 第一段階の認証処理における平均NNモデルにより「本人」と認証され、且つ第二段階の認証処理における個人別NNモデルよる認証によっても、「本人」と認証される個人別NNモデルがある場合、すなわち、両方のNNモデルともに「本人」と認証された場合に、まず「本人」と判断し、少なくとも一方のNNモデルにより「他人」と認証された場合は「他人」と判断する(S712)。平均NNモデルと個人別NNモデルの出力結果による認証判断は、以下の表1の通りである。
Figure JPOXMLDOC01-appb-T000007
 なお、両方のNNモデルによる認証において、「本人」と判断されるユーザが複数ある場合、出力値が高い平均NNモデルを「本人」と認証するユーザとする。
 上記S702乃至S712までの処理を、認証対象ユーザのすべての心電波形データについて行い、例えば、半数以上の心電波形データについてのS712の判断が、同一ユーザの「本人」であるかどうか判定し、そうであれば、その登録ユーザであると決定する(S714)。
 平均NNモデルと個人別NNモデルの両方を用いた二段階認証処理を行うことで、認証精度を高めることができる。平均NNモデルは、ある程度のユーザ数の心電信号データから本人クラスと他人クラスの特徴量類似度に存在する確率分布の特徴に基づいて本人か他人かの2値関係を識別するためのモデルであって、初期スクリーニングすることができる。個人別NNモデルは、ユーザ毎にその本人であるか他人であるかを判断するが、個人の心電信号データの変動やばらつきによって、本人と判断しても、実際には他人クラスである可能性があるので、従来個人別NNモデルの出力値に対する閾値を比較的高く設定せざるを得ず、そのため、本人拒否率(FRR)が高くなりがちである。平均NNモデルは、複数のユーザ数の心電信号データを用いて学習したものであり、変化に対する許容範囲が広く、個人間のずれをある程度吸収して他人受入率(FAR)を低くすることができる。そして、平均NNモデルにより本人と判断する場合、個人別NNモデルの閾値をある程度下げることができ、これにより、本人と判断する精度が高まり、本人拒否率(FRR)を低くすることができる。
 <更新フェーズ>
 更新フェーズは、データベースに登録されているテンプレート波形データの特徴量を更新する処理である。データベースに登録されているユーザ毎のテンプレート波形データ(又はその特徴量)及び個人別NNモデルは、測定によって得られたユーザ毎の複数の心電波形データから作成される(登録フェーズにおける「特徴量抽出処理」及び「NNモデル作成処理」)。心電信号パターンの経時変化に対応するため、テンプレート波形データを最新の心電波形データにより更新することで、高い認証精度を維持することができる。そのため、認証フェーズにおいて「本人」と判定された心電波形データを追加登録し、それを用いてテンプレート波形データ、個人別NNモデルと平均NNモデルを更新する。
 [更新処理(S800)]
 図14は、個人別NNモデルの更新処理のフローチャートである。上述の二段階認証処理(S700)において、「本人」と判定された認証対象ユーザの心電波形データを取得し(S802)、それをデータベースに追加的に登録する(S804)。なお、ユーザ毎に心電波形データの登録数に上限を設け、登録数がすでに上限に達している場合は、最も古い心電波形データを消去し、直近に「本人」と認証された今回取得の心電波形データを登録する。これにより、登録される心電波形データを、より新しい心電波形データに更新される。
 登録されている心電波形データを用いて、テンプレート波形データを作成し、さらにその特徴量を抽出し、データベースに登録されている古いデータは、新たに作成・抽出されたテンプレート波形データ及び特徴量セットに更新される(S806)。さらに、更新されたテンプレート波形データと更新された心電波形データを用いて、個人別NNモデルを学習作成し、更新する(S808)。ユーザの心電パターンの経時変化に対応した個人別NNモデルを作成することができる。
 図15は、平均NNモデルの更新処理のフローチャートである。新規ユーザの心電波形データが追加された場合、その新規ユーザの心電波形データをデータベースに追加し、また、上述の二段階認証処理(S700)において、「本人」と判定された認証対象ユーザ(既存の登録ユーザ)の心電波形データを取得し、それをデータベースに追加的に登録する(S810)。既存の登録ユーザの心電波形の追加登録は、上述したように、ユーザ毎に心電波形データの登録数に上限を設け、登録数がすでに上限に達している場合は、最も古い心電波形データを消去し、直近に「本人」と認証された今回取得の心電波形データを登録する。これにより、登録される心電波形データを、より新しい心電波形データに更新される。
 追加登録すなわち更新された心電波形データを用いて、登録ユーザ全員のテンプレート波形データを作成し、さらにその特徴量を抽出し、データベースに登録されている古いデータは、登録ユーザ全員について、新たに作成・抽出されたテンプレート波形データ及び特徴量セットに更新される(S812)。そして、更新されたテンプレート波形データと更新された心電波形データを用いて、平均NNモデルを学習作成し、更新する(S814)。新規ユーザの追加、又は既存ユーザの心電パターンの経時変化に対応した平均NNモデルを作成することができる。
 更新処理は、定期的(例えば日毎、週毎、月毎など)又は随時行われる。随時更新は、所定の条件を満たす場合に行われる。例えば適宜のメンテナンス処理において、認証時の入力される特徴量セットと登録されているテンプレート波形データの特徴量セットとの差が大きいと判断された場合、新規ユーザの増加数が所定数に達した場合などである。
 本発明は、例えば、スマートフォンやパソコンのログインやアプリケーションの認証、玄関ドアの鍵認証、自動車のドアロックやエンジンスタートの認証、銀行カードやクレジットカードの認証、銀行ATMや各種端末装置の本人確認、入退室認証(金庫、金融機関、集合住宅などにおける入退室)、図書館における利用者認証、空港などにおける出入国管理の本人確認、医療機関における本人確認などさまざまな認証場面にて利用することができる。また、本発明は、1対1照合、1対N(複数)照合のいずれにも採用することができる。
 本発明は、前記実施の形態に限定されるものではなく、本発明の分野における通常の知識を有する者であれば想到し得る各種変形、修正を含む要旨を逸脱しない範囲の設計変更があっても、本発明に含まれることは勿論である。
 111:バス、112:CPU、113:ROM、114:RAM、115:ネットワークインタフェース、116:入力装置、117:出力装置、118:記憶装置

Claims (8)

  1.  複数のユーザの心電信号から心拍毎に抽出した複数の心電波形データを作成する心電波形データ作成部と、
     ユーザ毎の前記心電波形データそれぞれと、ユーザ毎に前記心電波形データを平均化して作成されるテンプレート波形データとの類似度を算出する類似度演算部と、
     ユーザ全員についての同一ユーザ同士の前記心電波形データと前記テンプレート波形データとの類似度及び異なるユーザ同士の心電波形データとテンプレート波形データとの類似度を用いて第一のニューラルネットワークモデルを学習作成し、一人のユーザについての当該ユーザの前記心電波形データと前記テンプレート波形データとの類似度及び当該ユーザの心電波形データと当該ユーザと異なる他のユーザの前記テンプレート波形データとの類似度を用いてユーザ毎の複数の第二のニューラルネットワークモデルを学習作成するニューラルネットワークモデル作成部と、
     認証時において、認証対象ユーザの心電信号から作成される認証用の前記心電波形データと前記テンプレート波形データを用いて算出された前記類似度を、あらかじめ学習作成された前記第一のニューラルネットワークモデルに入力して第一段階の認証処理を実行し、且つあらかじめ学習作成された前記第二のニューラルネットワークモデルに入力して第二段階の認証処理を実行する認証部とを備えることを特徴とする認証装置。
  2.  前記心電波形データ及び前記テンプレート波形データは、心拍毎のQRST波及びQRS波を含むことを特徴とする請求項1に記載の認証装置。
  3.  前記心電波形データ及び前記テンプレート波形データは、さらに、心拍毎のQRST波の差分波、QRS波の差分波、QRST波の尖度、QRS波の尖度、R波の縦幅の少なくとも1つを有することを特徴とする請求項2に記載の認証装置。
  4.  前記認証部は、前記第一段階の認証処理に成功し、且つ前記第二段階の認証処理に成功した場合に本人と認証することを特徴とする請求項1乃至3のいずれかに記載の認証装置。
  5.  前記認証部により認証時に本人と認証された心電波形データを用いて、当該本人に対応するユーザの前記テンプレート波形データを更新し、さらに、当該更新されたテンプレート波形データにより当該ユーザの前記第二のニューラルネットワークモデルを更新する更新部を備えることを特徴とする請求項1乃至4のいずれかに記載の認証装置。
  6.  前記心電波形データ作成部は、認証時に入力される心電信号に基づいて認証用の前記心電波形データを作成し、前記類似度演算部は、当該認証用の心電波形データに基づいて前記類似度を算出することを特徴とする請求項1乃至5に記載の認証装置。
  7.  複数のユーザの心電信号から心拍毎に抽出した複数の心電波形データを作成する心電波形データ作成する工程と、
     ユーザ毎の前記心電波形データそれぞれと、ユーザ毎に前記心電波形データを平均化して作成されるテンプレート波形データとの類似度を算出する工程と、
     ユーザ全員についての同一ユーザ同士の前記心電波形データと前記テンプレート波形データとの類似度及び異なるユーザ同士の心電波形データとテンプレート波形データとの類似度を用いて第一のニューラルネットワークモデルを学習作成し、一人のユーザについての当該ユーザの前記心電波形データと前記テンプレート波形データとの類似度及び当該ユーザの心電波形データと当該ユーザと異なる他のユーザの前記テンプレート波形データとの類似度を用いてユーザ毎の複数の第二のニューラルネットワークモデルを学習作成する工程と、
     認証時において、認証対象ユーザの心電信号から作成される認証用の前記心電波形データと前記テンプレート波形データを用いて算出された前記類似度を、あらかじめ学習作成された前記第一のニューラルネットワークモデルに入力して第一段階の認証処理を実行し、且つあらかじめ学習作成された前記第二のニューラルネットワークモデルに入力して第二段階の認証処理を実行する工程とを備えることを特徴とする認証方法。
  8.  複数のユーザの心電信号から心拍毎に抽出した複数の心電波形データを作成する心電波形データ作成する工程と、
     ユーザ毎の前記心電波形データそれぞれと、ユーザ毎に前記心電波形データを平均化して作成されるテンプレート波形データとの類似度を算出する工程と、
     ユーザ全員についての同一ユーザ同士の前記心電波形データと前記テンプレート波形データとの類似度及び異なるユーザ同士の心電波形データとテンプレート波形データとの類似度を用いて第一のニューラルネットワークモデルを学習作成し、一人のユーザについての当該ユーザの前記心電波形データと前記テンプレート波形データとの類似度及び当該ユーザの心電波形データと当該ユーザと異なる他のユーザの前記テンプレート波形データとの類似度を用いてユーザ毎の複数の第二のニューラルネットワークモデルを学習作成する工程と、
     認証時において、認証対象ユーザの心電信号から作成される認証用の前記心電波形データと前記テンプレート波形データを用いて算出された前記類似度を、あらかじめ学習作成された前記第一のニューラルネットワークモデルに入力して第一段階の認証処理を実行し、且つあらかじめ学習作成された前記第二のニューラルネットワークモデルに入力して第二段階の認証処理を実行する工程とをコンピュータに実行させるコンピュータプログラム。
PCT/JP2018/024397 2017-06-27 2018-06-27 認証装置、認証方法及びコンピュータプログラム WO2019004291A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US16/725,916 US11500975B2 (en) 2017-06-27 2019-12-23 Authentication device, authentication method, and computer program

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2017124730A JP6765657B2 (ja) 2017-06-27 2017-06-27 認証装置、認証方法及びコンピュータプログラム
JP2017-124730 2017-06-27

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US16/725,916 Continuation US11500975B2 (en) 2017-06-27 2019-12-23 Authentication device, authentication method, and computer program

Publications (1)

Publication Number Publication Date
WO2019004291A1 true WO2019004291A1 (ja) 2019-01-03

Family

ID=64741657

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2018/024397 WO2019004291A1 (ja) 2017-06-27 2018-06-27 認証装置、認証方法及びコンピュータプログラム

Country Status (3)

Country Link
US (1) US11500975B2 (ja)
JP (1) JP6765657B2 (ja)
WO (1) WO2019004291A1 (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113892114A (zh) * 2019-06-21 2022-01-04 株式会社半导体能源研究所 电子设备的识别系统
WO2023188981A1 (ja) * 2022-03-29 2023-10-05 東レ株式会社 心電信号解析システム
CN114648048B (zh) * 2022-04-01 2022-10-25 山东省人工智能研究院 基于变分自编码和PixelCNN模型的心电信号降噪方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002175515A (ja) * 2000-12-06 2002-06-21 Glory Ltd パターン認証装置
JP2008518709A (ja) * 2004-11-08 2008-06-05 イデシア・リミテッド 電子バイオメトリック識別認識のための方法及び装置
JP2010510850A (ja) * 2006-12-01 2010-04-08 オックスフォード バイオシグナルズ リミテッド 改良された自動セグメント分割を含む生物医学信号解析方法
JP2010510851A (ja) * 2006-12-01 2010-04-08 オックスフォード バイオシグナルズ リミテッド 生物医学的信号形態分析手法
JP2016532197A (ja) * 2013-08-04 2016-10-13 アイズマッチ エルティーディー.EyesMatch Ltd. 鏡における仮想化の装置、システム、及び方法

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060136744A1 (en) * 2002-07-29 2006-06-22 Lange Daniel H Method and apparatus for electro-biometric identity recognition
US8970569B2 (en) * 2005-03-01 2015-03-03 Eyesmatch Ltd Devices, systems and methods of virtualizing a mirror
JP4965162B2 (ja) * 2006-05-10 2012-07-04 トヨタ自動車株式会社 車両用不整脈監視装置
JP2012038913A (ja) 2010-08-06 2012-02-23 Seiko Instruments Inc 半導体装置の製造方法
JP2012176106A (ja) 2011-02-25 2012-09-13 Sony Corp 認証装置及び認証方法、電子機器、並びにコンピューター・プロクラム
JP2014239737A (ja) 2013-06-11 2014-12-25 株式会社ジェイテクト 個人認証装置および車両用個人認証システム
KR102257289B1 (ko) * 2014-08-26 2021-05-27 삼성전자주식회사 심전도 신호를 이용한 사용자 인증 방법 및 장치
KR102257300B1 (ko) 2014-09-01 2021-05-27 삼성전자주식회사 심전도 신호를 이용한 사용자 인증 방법 및 장치
KR102299819B1 (ko) * 2014-12-30 2021-09-08 삼성전자주식회사 생체 신호를 이용한 사용자 인증 방법 및 장치
JP6655794B2 (ja) 2015-03-17 2020-02-26 パナソニックIpマネジメント株式会社 個人認証装置、個人認証方法、およびプログラム
KR20170001490A (ko) * 2015-06-26 2017-01-04 삼성전자주식회사 전자 장치 및 생체 센서를 이용한 전자 장치의 기능 제어 방법
WO2017084546A1 (zh) * 2015-11-17 2017-05-26 安徽华米信息科技有限公司 基于可穿戴设备的用户关注信息确定方法、装置和可穿戴设备
US10130307B2 (en) * 2016-01-06 2018-11-20 Samsung Electronics Co., Ltd. Electrocardiogram (ECG) authentication method and apparatus
KR102501838B1 (ko) * 2016-02-01 2023-02-23 삼성전자주식회사 심전도 신호를 이용한 인증 장치 및 방법
KR101788803B1 (ko) * 2016-10-12 2017-10-20 조선대학교 산학협력단 심전도를 이용한 개인 식별 정보 생성방법 및 그 개인 식별 정보를 이용한 개인 식별 방법

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002175515A (ja) * 2000-12-06 2002-06-21 Glory Ltd パターン認証装置
JP2008518709A (ja) * 2004-11-08 2008-06-05 イデシア・リミテッド 電子バイオメトリック識別認識のための方法及び装置
JP2010510850A (ja) * 2006-12-01 2010-04-08 オックスフォード バイオシグナルズ リミテッド 改良された自動セグメント分割を含む生物医学信号解析方法
JP2010510851A (ja) * 2006-12-01 2010-04-08 オックスフォード バイオシグナルズ リミテッド 生物医学的信号形態分析手法
JP2016532197A (ja) * 2013-08-04 2016-10-13 アイズマッチ エルティーディー.EyesMatch Ltd. 鏡における仮想化の装置、システム、及び方法

Also Published As

Publication number Publication date
JP6765657B2 (ja) 2020-10-07
JP2019005305A (ja) 2019-01-17
US11500975B2 (en) 2022-11-15
US20200134152A1 (en) 2020-04-30

Similar Documents

Publication Publication Date Title
US9646261B2 (en) Enabling continuous or instantaneous identity recognition of a large group of people based on physiological biometric signals obtained from members of a small group of people
KR102367481B1 (ko) 생체 인증 장치 및 방법
Gamboa et al. A behavioral biometric system based on human-computer interaction
US7689833B2 (en) Method and apparatus for electro-biometric identity recognition
CN107437074B (zh) 一种身份认证方法和装置
US20080040614A1 (en) Authentication Systems and Authentication Method
WO2018082011A1 (zh) 活体指纹识别方法及装置
AU2004324705A1 (en) Method and apparatus for electro-biometric indentity recognition
MX2012010637A (es) Procesador de informacion biologica.
CN107980151B (zh) 一种基于心电认证的门禁系统及其认证方法
WO2019004291A1 (ja) 認証装置、認証方法及びコンピュータプログラム
JP5642210B2 (ja) 電子バイオメトリック識別認識のための方法及び装置
US20200151308A1 (en) Brain activity-based authentication
Keshishzadeh et al. Improved EEG based human authentication system on large dataset
Hussein et al. An IoT real-time biometric authentication system based on ECG fiducial extracted features using discrete cosine transform
CN113221086A (zh) 离线人脸认证方法、装置、电子设备及存储介质
Adhau et al. Iris recognition methods of a blinked eye in nonideal condition
Singh et al. FKP and Iris based multimodal biometric system using PCA with NFNN
Danlami et al. A framework for iris partial recognition based on Legendre wavelet filter
Sidek et al. The study of ppg and apg signals for biometric recognition
Biran et al. ECG bio-identification using Fréchet classifiers: A proposed methodology based on modeling the dynamic change of the ECG features
CN108304746B (zh) 更新用于心电身份认证的认证参考信息的方法及设备
Indi et al. Person identification based on multi-biometric characteristics
Khatri et al. Application of Machine Learning Algorithms to Biometric Systems—The Traits Based Performance Analytic Survey
Siddiqui et al. Development of Secure Multimodal Biometric System for Person Identification Using Feature Level Fusion: Fingerprint and Iris

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 18825069

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 18825069

Country of ref document: EP

Kind code of ref document: A1