WO2026014642A1 - 근전도 신호와 관성 측정 장치 신호를 이용한 휴식 상태 기반 사용자 인증 장치 및 그 방법 - Google Patents

근전도 신호와 관성 측정 장치 신호를 이용한 휴식 상태 기반 사용자 인증 장치 및 그 방법

Info

Publication number
WO2026014642A1
WO2026014642A1 PCT/KR2025/001079 KR2025001079W WO2026014642A1 WO 2026014642 A1 WO2026014642 A1 WO 2026014642A1 KR 2025001079 W KR2025001079 W KR 2025001079W WO 2026014642 A1 WO2026014642 A1 WO 2026014642A1
Authority
WO
WIPO (PCT)
Prior art keywords
signal
inertial measurement
measurement device
user
electromyography
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
PCT/KR2025/001079
Other languages
English (en)
French (fr)
Inventor
황한정
이형탁
유다영
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Korea University Research and Business Foundation
Original Assignee
Korea University Research and Business Foundation
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Korea University Research and Business Foundation filed Critical Korea University Research and Business Foundation
Publication of WO2026014642A1 publication Critical patent/WO2026014642A1/ko
Pending legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/25—Bioelectric electrodes therefor
    • A61B5/279—Bioelectric electrodes therefor specially adapted for particular uses
    • A61B5/296—Bioelectric electrodes therefor specially adapted for particular uses for electromyography [EMG]
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/30—Input circuits therefor
    • A61B5/307—Input circuits therefor specially adapted for particular uses
    • A61B5/313—Input circuits therefor specially adapted for particular uses for electromyography [EMG]
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/30—Authentication, i.e. establishing the identity or authorisation of security principals
    • G06F21/31—User authentication
    • G06F21/32—User authentication using biometric data, e.g. fingerprints, iris scans or voiceprints
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/30—Authentication, i.e. establishing the identity or authorisation of security principals
    • G06F21/45—Structures or tools for the administration of authentication
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer

Definitions

  • the present invention relates to a technology for authenticating a user based on a resting state using an electromyography signal and an inertial measurement device signal, and more particularly, to a device and method for authenticating a user based on a resting state using an electromyography signal and an inertial measurement device signal, which extracts a user's individual electromyography signal and an inertial measurement device signal during a resting state in which a specific movement is not performed, and inputs the extracted signal into a linear discriminant analysis and an ensemble classifier to identify and authenticate the user.
  • Biometrics technology is a technology that authenticates individuals by utilizing unique characteristics such as fingerprints and irises. It is attracting attention as an information security technology that provides high reliability and convenience while complementing the shortcomings of existing identification methods such as one-time passwords and security cards.
  • ECG electrocardiography
  • EEG electroencephalography
  • EMG electromyogram
  • Electrical biometric signals can provide more robust security compared to fingerprint and iris-based biometrics because they are difficult to synthesize and imitate due to their hidden characteristics.
  • electromyography is a noninvasive electrical signal that detects muscle activity by placing surface electrodes on the skin, measuring motor nerve activity induced by muscle contraction.
  • EMG electromyography
  • Human muscles have different muscle activity levels for each individual, just like fingerprints, and the electromyography and muscle activity patterns induced during a resting state also differ from person to person.
  • the technical problem to be achieved by the present invention is to provide a resting state-based user authentication device and method using electromyography signals and inertial measurement device signals, which can extract a user's individual electromyography signal and inertial measurement device signal during a resting state in which no specific movement is performed, and input the extracted signal into a linear discriminant analysis and an ensemble classifier to identify and authenticate the user.
  • the technical problem to be achieved by the present invention is to provide a resting state-based user authentication device and method using electromyography signals and inertial measurement device signals, which can improve convenience and practicality by allowing the user to perform personal authentication in a comfortable state without making a specific gesture and without requiring long-term repetitive training for a specific gesture.
  • the technical problem to be achieved by the present invention is to provide a resting state-based user authentication device and method using electromyography signals and inertial measurement device signals, which can authenticate users without temporal and spatial constraints by applying real-time analysis.
  • the technical problem to be achieved by the present invention is to provide a user authentication device and method based on a resting state using electromyography signals and inertial measurement device signals, which can easily identify an individual without a separate action in applications such as virtual reality and games that utilize electromyography signals and inertial measurement device signals.
  • a user authentication device using an electromyography signal and an inertial measurement device signal includes an electromyography measurement module for measuring an electromyography signal generated from a movement of a user's muscles in a resting state; an inertial measurement module for measuring an inertial measurement device signal including an acceleration and angular velocity signal of a moving object based on a sensor in the resting state; a measurement value preprocessing unit for performing a preprocessing process for reducing data loss, standard deviation, noise, and disturbance due to communication transmission on the electromyography signal and the inertial measurement device signal; a user information registration unit for registering user information based on the preprocessed electromyography signal and the inertial measurement device signal; a user information processing unit for identifying or authenticating an individual user based on the preprocessed electromyography signal and the inertial measurement device signal; and an artificial intelligence model for learning and classifying an individual user identification and individual user authentication by receiving the electromyography signal and the iner
  • the above measurement value preprocessing unit includes an outlier removal unit that removes outliers using a standard deviation for data loss occurring in wireless communication according to the EMG signal and the inertial measurement device signal; an external noise removal unit that removes external noise introduced when measuring the EMG signal and the inertial measurement device signal; a time series feature extraction unit that extracts time series features for the EMG signal and the inertial measurement device signal; and a motion outlier removal unit that removes motion outlier data based on the extracted time series feature data, thereby allowing measurement of the EMG signal and the inertial measurement device signal in a resting state.
  • the above outlier removal unit can remove trials judged to be outliers using 2 standard deviations based on the number of samples measured in each trial.
  • the above external noise removal unit can remove external noise by applying a band-pass filter to a frequency range of 1 to 240 Hz of the measured electromyography signal and by applying a band-pass filter to a frequency range of 0.1 to 15 Hz of the measured inertial measurement device signal.
  • the above time series feature extraction unit can extract the time series feature using at least one of a root mean square error, a median absolute deviation, a variance, a zero crossing, a waveform length, and a mean absolute value.
  • the above motion outlier removal unit can remove outlier data that is determined to have moved based on two standard deviations of the time series features in order to increase the reliability of the feature data extracted by the time series feature extraction unit.
  • the user information processing unit may include a user identification unit that identifies a user based on the electromyography signal and the inertial measurement device signal; and a user authentication unit that authenticates a user based on the electromyography signal and the inertial measurement device signal.
  • the artificial intelligence model includes a linear discriminant classification model that identifies a registered user individual by inputting the electromyography signal and the inertial measurement device signal; and an ensemble classification model that authenticates a registered user individual by inputting the electromyography signal and the inertial measurement device signal.
  • the above artificial intelligence model can apply 5-fold cross-validation to prevent overfitting.
  • a user authentication method using an electromyography signal and an inertial measurement device signal comprises the steps of: measuring an electromyography signal generated from a movement of a user's muscles in a resting state; measuring an inertial measurement device signal including an acceleration and an angular velocity of a moving object based on a sensor in the resting state; performing a preprocessing process for reducing data loss, standard deviation, noise, and disturbance due to communication transmission on the electromyography signal and the inertial measurement device signal; registering user information based on the preprocessed electromyography signal and the inertial measurement device signal; and receiving the preprocessed electromyography signal and the inertial measurement device signal and learning and classifying the user individual identification and user individual authentication using an artificial intelligence model.
  • the step of executing the above preprocessing process includes the step of removing outliers using a standard deviation for data loss occurring in wireless communication according to the EMG signal and the inertial measurement device signal; the step of removing external noise introduced when measuring the EMG signal and the inertial measurement device signal; the step of extracting time-series features for the EMG signal and the inertial measurement device signal; and the step of removing movement outlier data based on the extracted time-series feature data, thereby allowing the EMG signal and the inertial measurement device signal to be measured in a resting state.
  • the step of removing the above outliers can remove trials judged to be outliers using 2 standard deviations based on the number of samples measured in each trial.
  • the step of removing the external noise may remove the external noise by applying a band-pass filter to the frequency range of 1 to 240 Hz of the measured electromyography signal and applying a band-pass filter to the frequency range of 0.1 to 15 Hz of the measured inertial measurement device signal.
  • the step of extracting the time series feature may extract the time series feature using at least one of root mean square, median absolute deviation, variance, zero crossing, waveform length, and mean absolute value.
  • the step of removing the above movement outlier data can remove outlier data that is judged to have moved based on 2 standard deviations of the time series feature in order to increase the reliability of the feature data extracted from the time series feature extraction unit.
  • the above user identification or authentication may include a user identification unit that identifies a user based on the electromyography signal and the inertial measurement device signal; and a user authentication unit that authenticates a user based on the electromyography signal and the inertial measurement device signal.
  • the artificial intelligence model may include a linear discriminant classification model that identifies a registered user individual by inputting the electromyography signal and the inertial measurement device signal; and an ensemble classification model that authenticates a registered user individual by inputting the electromyography signal and the inertial measurement device signal.
  • the above artificial intelligence model can apply 5-fold cross-validation to prevent overfitting.
  • a user's personal electromyography signal and inertial measurement device signal can be extracted during a resting state when no specific movement is performed, and the extracted signals can be input into a linear discriminant analysis and an ensemble classifier to enable personal identification and authentication.
  • convenience and practicality can be improved because a user can perform personal authentication in a comfortable state without having to make a specific gesture and without requiring long-term repetitive training for a specific gesture.
  • user authentication can be achieved without temporal or spatial constraints by applying real-time analysis.
  • personal identification can be easily performed without separate operation in applications such as virtual reality and games that utilize electromyography signals and inertial measurement device signals.
  • Figure 1 is an example diagram of a method for taking a specific gesture for conventional personal authentication.
  • FIG. 2 is a block diagram illustrating the configuration of a resting state-based user authentication device using electromyography signals and inertial measurement device signals according to an embodiment of the present invention.
  • FIG. 3 is an exemplary diagram showing signals measured by an electromyography measurement module and an inertial measurement module according to an embodiment of the present invention.
  • Fig. 4 is a block diagram showing a detailed configuration of a measurement value preprocessing unit according to an embodiment of the present invention.
  • Figure 5 is a block diagram showing a detailed configuration of a user information processing unit according to an embodiment of the present invention.
  • FIG. 6 is a block diagram illustrating the relationship between a user information processing unit and an artificial intelligence model according to an embodiment of the present invention.
  • FIG. 7 is a graph showing the average classification accuracy of individual identification by posture and measurement modality according to an embodiment of the present invention.
  • FIG. 8 is a graph showing the average classification accuracy of individual authentication by posture and measurement modality according to an embodiment of the present invention.
  • FIG. 9 is a flowchart illustrating a resting state-based user authentication method using electromyography signals and inertial measurement device signals according to an embodiment of the present invention.
  • Figure 10 is a flowchart illustrating a detailed method of preprocessing measurement values according to an embodiment of the present invention.
  • FIG. 2 is a block diagram illustrating the configuration of a resting state-based user authentication device using electromyography signals and inertial measurement device signals according to an embodiment of the present invention.
  • FIG. 3 is an exemplary diagram showing signals measured by an electromyography measurement module and an inertial measurement module according to an embodiment of the present invention.
  • a resting state-based user authentication device (100) using an electromyography signal and an inertial measurement device signal may include an electromyography measurement module (110), an inertial measurement module (120), a measurement value preprocessing unit (130), a user information registration unit (140), a user information processing unit (150), and an artificial intelligence model (160).
  • the electromyography measurement module (110) can measure electromyography (EMG) signals generated before and after the user's muscle movement.
  • EMG electromyography
  • Electromyography refers to a curve that records the action potential of muscles, and EMG can be measured in various ways, including the surface extraction method, which attaches electrodes to the surface of the human skin and measures the action potential of the muscles at the attached location, and the needle electrode method, which extracts data by inserting a needle-shaped electrode into the muscle.
  • the electromyography measurement module (110) can be attached, worn, or removed from the right forearm muscle or part of the body using an arm band, wrist band, or other fixing device.
  • trigger signals were measured by having a user wear an electromyography (EMG) device on their arm and make a predetermined gesture, such as extending their hand as shown in Fig. 1, moving or twisting their wrist or palm in a specific direction, or making a fist.
  • EMG electromyography
  • Conventional gestures were unnatural and unintuitive, as they utilized gestures that were less commonly used in everyday life.
  • the present invention can measure electromyography signals by having the user wear a device equipped with an electromyography measurement module (110) on his or her arm, and while the user is at rest, that is, in a posture where the arm is kept still without moving.
  • the resting state used in the experiment was performed 20 times each in a sitting state (sit) and a standing state (stand).
  • the sitting state (sit) the subjects were instructed to place their arms comfortably on the desk with their elbows fixed, and in the standing state (stand), the subjects were instructed to relax their arms and naturally extend them toward the ground.
  • the gesture to be made on the monitor for 2 seconds before performing the gesture was to relax their arms and naturally extend them toward the ground, as illustrated in Fig. 2, and after a beep sound was played, the subjects were to refrain from movement for 5 seconds and assume a resting state.
  • the electromyography measurement module (110) is equipped with an 8-channel electromyography sensor, and has the advantage of not requiring a separate gesture and being able to comfortably detect electromyography signals in a resting state, as the electromyography and muscle activity patterns generated in a resting state are different for each person.
  • the inertial measurement module (120) can measure the speed, direction, gravity, acceleration, etc. of a moving object based on a sensor that measures inertial force (IMU, Inertia Measurement Unit).
  • IMU Inertia Measurement Unit
  • the inertial measurement module (120) may include a 9-axis sensor (a 3-axis acceleration sensor, a 3-axis angular velocity sensor, a 3-axis geomagnetic sensor) or a 3-axis acceleration and 3-axis angular velocity sensor.
  • a 9-axis sensor a 3-axis acceleration sensor, a 3-axis angular velocity sensor, a 3-axis geomagnetic sensor
  • a 3-axis acceleration and 3-axis angular velocity sensor may include a 9-axis sensor (a 3-axis acceleration sensor, a 3-axis angular velocity sensor, a 3-axis geomagnetic sensor) or a 3-axis acceleration and 3-axis angular velocity sensor.
  • the inertial measurement module (120) detects a three-channel acceleration signal corresponding to a three-axis acceleration sensor and a three-channel angular velocity signal corresponding to a three-axis angular velocity sensor through each sensor, as shown in FIG. 3.
  • the electromyography measurement module (110) and the inertial measurement module (120) can detect detection signals simultaneously or with a time difference for each sensor, and the detected signal data can be transmitted in real time to the measurement value preprocessing unit (130) described later via Bluetooth wireless communication.
  • Electromyography signals and inertial measurement device signals exhibit different patterns and signals for each individual user, making them suitable for use as biometric security technologies that can authenticate individual users.
  • the measurement value preprocessing unit (130) can receive signals measured from the electromyography measurement module (110) and the inertial measurement module (120) and execute a preprocessing process to reduce data loss, standard deviation, noise, disturbance, etc. due to communication transmission before analyzing the two signals.
  • the measurement value preprocessing unit (130) performs a preprocessing process based on the measured electromyography signal and inertial measurement device signal in a resting state for 5 seconds as shown in FIG. 2.
  • the user information registration unit (140) can register user information based on preprocessed electromyography signals and inertial measurement device signals.
  • User information is information that can distinguish an individual, like a fingerprint, using the above-mentioned electromyography signal and the above-mentioned inertial measurement device signal.
  • the user information processing unit (150) can identify or authenticate an individual user based on the preprocessed electromyography signal and inertial measurement device signal.
  • the artificial intelligence model (160) can learn and classify user personal identification and personal authentication by receiving electromyography signals and inertial measurement device signals processed in the measurement value preprocessing unit (140).
  • an artificial intelligence learning algorithm may use linear discriminant analysis for user identification and authentication, and an ensemble classifier algorithm for user authentication.
  • the resting state-based user authentication device (100) using the electromyography signal and inertial measurement device signal of the present invention can extract the electromyography signal and inertial measurement device signal unique to the individual generated during the resting state when no specific movement is performed and use them as inputs to linear discriminant analysis (LDA) and an ensemble classifier (RUSBoosted tree) to identify and authenticate the individual.
  • LDA linear discriminant analysis
  • RASBoosted tree ensemble classifier
  • the present invention has the advantage of improving convenience and practicality by allowing the user to perform personal authentication in a comfortable state without having to make a specific gesture and without requiring long-term repetitive training for a specific gesture.
  • Fig. 4 is a block diagram showing a detailed configuration of a measurement value preprocessing unit according to an embodiment of the present invention.
  • the measurement value preprocessing unit (130) may include an outlier removal unit (131), an external noise removal unit (132), a time series feature extraction unit (133), and a motion outlier removal unit (134).
  • the measurement value preprocessing unit (130) receives the electromyography signal and inertial measurement device signal measured in the resting state for 5 seconds as shown in FIG. 2 via wireless communication and performs data preprocessing of the signals.
  • the outlier removal unit (131) can remove trials judged as outliers by using 2 standard deviations based on the number of samples measured in each trial, taking into account data loss that occurs due to the characteristics of Bluetooth transmission during signal measurement.
  • the learning algorithm may learn incorrect patterns or reduce the accuracy of the model. To prevent this, it is desirable to remove or replace outliers to improve model learning or enhance model performance.
  • the external noise removal unit (132) can remove external noise introduced when measuring electromyography signals and inertial measurement device signals.
  • the EMG signals measured in eight channels can be filtered by applying a band-pass filter for the frequency range of 1 to 240 Hz
  • the acceleration and angular velocity (gyroscope) signals of an inertial measurement device measured along three axes (X, Y, Z) can be filtered by applying a band-pass filter for the frequency range of 0.1 to 15 Hz to remove external noise.
  • the time series feature extraction unit (133) can extract time series features for electromyography signals and inertial measurement device signals.
  • a time series feature extraction method can extract time series features using at least one of root mean square, median absolute deviation, variance, zero crossing, waveform length, and mean absolute value.
  • the motion outlier removal unit (134) can remove outlier data that is judged to have moved based on two standard deviations of time series features (e.g., root mean square, median absolute deviation, variance, etc.) to increase the reliability of feature data extracted from the time series feature extraction unit (133).
  • two standard deviations of time series features e.g., root mean square, median absolute deviation, variance, etc.
  • the present invention has the effect of enabling accurate pattern learning in a classification learning algorithm by performing a preprocessing process including outlier removal, external noise removal, time series feature extraction, and movement outlier removal on electromyography signals and inertial measurement device signals measured in a resting state, thereby improving model accuracy and model performance.
  • Figure 5 is a block diagram showing a detailed configuration of a user information processing unit according to an embodiment of the present invention.
  • the user identification unit (151) can identify an individual user based on the preprocessed electromyography signal and the inertial measurement device signal.
  • the user identification unit (151) may use a user identification artificial intelligence algorithm, including linear discriminant analysis (LDA), to identify individual users.
  • a user identification artificial intelligence algorithm including linear discriminant analysis (LDA)
  • the user authentication unit (152) can authenticate an individual user based on the preprocessed electromyography signal and the inertial measurement device signal.
  • the user authentication unit (152) may use a user authentication artificial intelligence algorithm including an ensemble classifier (RUSBoosted tree, Random Under-Sampling Boosting tree) for user personal authentication.
  • RASBoosted tree Random Under-Sampling Boosting tree
  • User identification is performed by inputting user identification data into an artificial intelligence algorithm and classifying each data into a separate class based on linear discriminant analysis, and user authentication is performed by classifying specific data into one class and the rest into a separate class based on an ensemble classifier.
  • FIG. 6 is a block diagram illustrating the relationship between a user information processing unit and an artificial intelligence model according to an embodiment of the present invention.
  • the user information processing unit (150) and the artificial intelligence model (160) are interconnected to learn and classify input data using the artificial intelligence model for user personal identification and user personal authentication.
  • the artificial intelligence model (160) may include a linear discriminant classification model (161) and an ensemble classification model (162).
  • the artificial intelligence model (160) learns a classifier by generating feature vectors of three types: a composite of EMG signals and inertial measurement unit signals (EMG + IMU), EMG signals, and inertial measurement unit (IMU) signals, to compare the user identification accuracy when EMG signals and inertial measurement unit signals are used alone and when EMG signals and inertial measurement unit signals are used together.
  • EMG + IMU inertial measurement unit signals
  • IMU inertial measurement unit
  • User identification can be performed through the user identification unit (151).
  • User personal identification can be classified by assigning each data to a separate class using a linear discriminant classification model (161) of an artificial intelligence model (160).
  • User authentication can be performed through the user authentication unit (152).
  • User personal authentication can be classified by assigning specific data to one class and assigning the remaining data to a separate class using an ensemble classification model (162) of an artificial intelligence model (160).
  • a linear discriminant classification model is used to classify each data by assigning a class to it, and when authenticating a user, an ensemble classification model is used to find which of the 36 classes a specific data matches, so that a user can authenticate a specific data.
  • the artificial intelligence model (160) can calculate the user authentication accuracy by applying 5-fold cross-validation to prevent the overfitting problem.
  • the user identification accuracy and user authentication accuracy can be improved depending on the posture and measurement modality, as shown in FIGS. 7 and 8.
  • FIG. 7 is a graph showing the average classification accuracy of individual identification by posture and measurement modality according to an embodiment of the present invention.
  • FIG. 8 is a graph showing the average classification accuracy of individual authentication by posture and measurement modality according to an embodiment of the present invention.
  • Figures 7 and 8 show the average classification accuracy of user individual identification and average classification accuracy of user individual authentication according to three types by measuring EMG signals and inertial measurement device signals in a resting state, i.e., a sitting state (sit) and a standing state (stand), and then synthesizing the measured EMG signals and inertial measurement device signals (EMG + IMU), EMG signals, and inertial measurement device (IMU) signals.
  • EMG + IMU EMG signals
  • IMU inertial measurement device
  • the average classification accuracy of user individual identification according to posture and measurement modality is shown. Regardless of posture, when the EMG signal and the inertial measurement device signal were used together, the user individual authentication performance in the sitting posture (sit) and standing posture (stand) was the highest at 80.58% and 75.20%, respectively.
  • the average classification accuracy of user personal authentication according to posture and measurement modality is shown.
  • the average accuracy was the highest at 90.63% and 89.87%, respectively, as in the user personal identification classification results, confirming high user personal authentication performance.
  • the present personal authentication device can measure electromyography signals and inertial measurement device signals in a resting state and use data synthesized from the two signals to achieve the highest authentication accuracy and performance in artificial intelligence-based user personal identification and user personal authentication.
  • the present invention can enable user authentication without spatiotemporal constraints by applying real-time analysis, and can easily authenticate users without separate actions in applications such as virtual reality and games by utilizing electromyography signals and inertial measurement device signals measured in a resting state.
  • FIG. 9 is a flowchart illustrating a resting state-based user authentication method using electromyography signals and inertial measurement device signals according to an embodiment of the present invention.
  • the user authentication device can measure the user's electromyography signal and inertial measurement device signal in a resting state and perform user personal authentication through artificial intelligence learning.
  • the user authentication device can simultaneously measure the user's electromyography signal and inertial measurement device signal in a resting state using the electromyography measurement module and the inertial measurement module.
  • the user authentication device can be attached to the user's right forearm or body part to measure electromyography (EMG) signals generated before and after the user's muscle movement while at rest, i.e., with the arm comfortably lowered.
  • EMG electromyography
  • the electromyography measurement module of the user authentication device is equipped with an 8-channel electromyography sensor, and since the electromyography and muscle activity patterns generated in a resting state are different for each person, it has the advantage of not requiring a separate gesture and being able to comfortably detect electromyography signals in a resting state.
  • the inertial measurement module of the user authentication device may include a 9-axis sensor (a 3-axis acceleration sensor, a 3-axis angular velocity sensor, a 3-axis geomagnetic sensor) or a 3-axis acceleration and 3-axis angular velocity sensor.
  • a 9-axis sensor a 3-axis acceleration sensor, a 3-axis angular velocity sensor, a 3-axis geomagnetic sensor
  • a 3-axis acceleration and 3-axis angular velocity sensor may be included in the user authentication device.
  • the inertial measurement module can detect a three-channel acceleration signal corresponding to a three-axis acceleration sensor and a three-channel angular velocity signal corresponding to a three-axis angular velocity sensor through each sensor.
  • the electromyography module and inertial measurement module can detect detection signals simultaneously or with a time difference for each sensor, and the detected signal data can be transmitted in real time to the measurement value preprocessing unit described later via Bluetooth wireless communication.
  • Electromyography (EMG) signals and inertial measurement device (IMD) signals exhibit different patterns and signals for each individual, making them suitable for use as biometric security technologies that can authenticate individual users.
  • the user authentication device may receive the measured electromyography signal and inertial measurement device signal and execute a preprocessing process to reduce data loss, standard deviation, noise, disturbance, etc. due to communication transmission before analyzing the two signals.
  • User information is information that can distinguish an individual, like a fingerprint, using the above-mentioned electromyography signal and the above-mentioned inertial measurement device signal.
  • step (S140) the user authentication device can identify and authenticate an individual user using an artificial intelligence model.
  • user identification is performed by inputting user identification data into an artificial intelligence algorithm and classifying each data into a separate class based on a linear discriminant classification model.
  • the user authentication device can learn a classifier by generating feature vectors of three types: a composite of EMG and IMU signals (EMG + IMU), EMG signals, and inertial measurement unit signals (IMU) signals, to compare the identification accuracy when using EMG signals and inertial measurement unit signals alone and together.
  • EMG + IMU EMG signals
  • IMU inertial measurement unit signals
  • the authentication performance in the sitting posture (sit) and standing posture (stand) was the highest at 80.58% and 75.20%, respectively, when EMG signals and inertial measurement device signals were used together rather than individually, regardless of posture.
  • the present invention can extract individual-specific electromyography signals and inertial measurement device signals generated during a resting state when no specific movement is performed, and use them as inputs for linear discriminant analysis (LDA) and an ensemble classifier (RUSBoosted tree) to identify and authenticate a user.
  • LDA linear discriminant analysis
  • RASBoosted tree ensemble classifier
  • this personal authentication device can measure electromyography signals and inertial measurement device signals in a resting state and use data synthesized from the two signals to achieve the highest authentication accuracy and performance in artificial intelligence-based personal identification and personal authentication.
  • the present invention has the advantage of improving convenience and practicality by allowing the user to perform personal authentication in a comfortable state without having to make a specific gesture and without requiring long-term repetitive training for a specific gesture.
  • the learning algorithm may learn incorrect patterns or reduce the accuracy of the model. To prevent this, it is desirable to remove or replace outliers to improve model learning or enhance model performance.
  • the user authentication device can remove external noise introduced when measuring electromyography signals and inertial measurement device signals.
  • the EMG signals measured in eight channels can be filtered by applying a band-pass filter for the frequency range of 1 to 240 Hz
  • the acceleration and angular velocity (gyroscope) signals of an inertial measurement device measured along three axes (X, Y, Z) can be filtered by applying a band-pass filter for the frequency range of 0.1 to 15 Hz to remove external noise.
  • a resting state-based user authentication device and method using electromyography signals and inertial measurement device signals can provide personal identification and authentication by extracting a user's personal electromyography signal and inertial measurement device signal during a resting state in which no specific movement is performed and inputting the extracted signal into a linear discriminant analysis and an ensemble classifier.
  • personal identification can be easily performed without a separate operation.

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Security & Cryptography (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Pathology (AREA)
  • Surgery (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Medical Informatics (AREA)
  • Computer Hardware Design (AREA)
  • Molecular Biology (AREA)
  • Animal Behavior & Ethology (AREA)
  • Biophysics (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Human Computer Interaction (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
  • Measurement And Recording Of Electrical Phenomena And Electrical Characteristics Of The Living Body (AREA)
  • Dermatology (AREA)
  • Neurology (AREA)
  • Neurosurgery (AREA)

Abstract

본 발명은 근전도 신호와 관성 측정 장치 신호를 이용한 휴식 상태 기반 사용자를 인증하는 기술에 관한 것으로, 특정한 동작을 수행하지 않는 휴식 상태 동안 사용자의 개인 고유의 근전도 신호와 관성 측정 장치 신호를 추출하고 이를 선형 판별 분석 및 앙상블 분류기에 입력하여 사용자 개인 식별 및 인증할 수 있는 근전도 신호와 관성 측정 장치 신호를 이용한 휴식 상태 기반 사용자 인증 장치 및 그 방법을 제공한다.

Description

근전도 신호와 관성 측정 장치 신호를 이용한 휴식 상태 기반 사용자 인증 장치 및 그 방법
본 발명은 근전도 신호와 관성 측정 장치 신호를 이용한 휴식 상태 기반 사용자를 인증하는 기술에 관한 것으로, 더욱 상세하게는 특정한 동작을 수행하지 않는 휴식 상태 동안 사용자의 개인 고유의 근전도 신호와 관성 측정 장치 신호를 추출하고 이를 선형 판별 분석 및 앙상블 분류기에 입력하여 사용자 개인 식별 및 인증할 수 있는 근전도 신호와 관성 측정 장치 신호를 이용한 휴식 상태 기반 사용자 인증 장치 및 그 방법에 관한 것이다.
[이 발명을 지원하는 국가연구개발사업]
[과제고유번호] 2710003363
[과제번호] RS-2023-00302489
[부처명] 과학기술정보통신부
[과제관리(전문)기관명] 한국연구재단
[연구사업명] STEAM연구
[연구과제명] 촉각 감각신경경로 정밀 인코딩/디코딩 모델 기반 초실감가
상촉감신호 생성/재생 기술 개발
[과제수행기관명] 고려대학교 세종산학협력단
[연구기간] 2023.08.01 ~ 2027.12.31
[이 발명을 지원한 국가연구개발사업]
[과제고유번호] 2710006658
[과제번호] RS-2023-00258971
[부처명] 과학기술정보통신부
[과제관리(전문)기관명] 정보통신기획평가원
[연구사업명] 정보통신방송혁신인재양성
[연구과제명] 멀티모달 생체데이터 활용 초거대 AI기반 스마트시티 헬스
케어 기술 개발
[과제수행기관명] 고려대학교 세종산학협력단
[연구기간] 2023.07.01 ~ 2030.12.31
[이 발명을 지원한 국가연구개발사업]
[과제고유번호] 2710020012
[과제번호] RS-2024-00397674
[부처명] 과학기술정보통신부
[과제관리(전문)기관명] 한국연구재단
[연구사업명] 바이오.의료기술개발(R＆D)
[연구과제명] NeuroAdap : 뇌졸중 환자의 신경가소성 촉진 재활을 위한적
응형 AI기반 개인화된 뇌-기계 폐루프 인터페이스 시스템
개발
[과제수행기관명] 한국과학기술원
[연구기간] 2024.04.01 ~ 2026.12.31
생체 인식(Biometrics) 기술은 지문, 홍채 등과 같이 개인이 보유하고 있는 고유의 특성을 활용하여 개인 인증하는 기술로, 종래의 일회용 비밀번호, 보안 카드 등과 같은 신분 확인 수단의 단점을 보완하며 높은 신뢰성 및 편의성을 제공하는 정보 보안 기술로 주목받고 있다.
최근의 생체 인식 기술은 심전도(ECG, electrocardiography), 뇌파(EEG, electroencepahlography), 근전도(EMG, electromyogram) 등의 전기 생체 신호를 활용한 생체 인증 연구가 활발히 진행되고 있다.
전기 생체 신호들은 신체적 특징인 지문과 홍채 기반 생체 인식과 비교하여 생체 신호의 숨겨진 특성을 이용하기에 합성 및 모방이 어려워 더욱 견고한 보안을 제공할 수 있다.
특히, 근전도는 근육의 수축에 의해 유발된 운동 신경 활동을 측정한 것으로 피부 위에 표면 전극을 배치하여 근육 활동을 감지하는 비침습적 전기 신호이다.
근전도는 타 생체 신호와 비교하여 나이, 움직임, 근력 등에 따라 크게 달라진다는 특징을 가지고 있으며, 근육 표면에서 간편하게 측정할 수 있기에 이를 활용하여 손목 또는 손 제스처 기반 사용자 인증 시스템에 활용할 수 있다.
근전도 신호를 단독으로 사용 시 비주기적이고 변동성이 크다는 한계가 존재하는데, 이는 제스처 수행 중 위치 변화 특성을 반영할 수 있는 관성 측정 장치 신호를 함께 사용하여 해소할 수 있다.
그러나, 종래에 근전도 기반 개인 인증 기술은 도 1에 도시된 바와 같이, 손목, 손의 특정 제스처를 사용하기 때문에 근전도 기반의 손목, 손의 특정 제스처를 사용한 사용자 인증 연구들은 정확도가 높지만 일상에서 활용도가 낮은 제스처를 사용하기에 부자연스럽고 직관적이지 않다는 문제가 제기되고 있다.
사람의 근육은 지문처럼 개인마다 근육 활성도(muscle activity)가 다르며, 가만히 있는 휴식 상태에서 유발되는 근전도 및 근육 활성 패턴 역시 개인마다 상이하다.
현재, 안정 상태의 근전도 신호 역시 생체인증에 유용한 특징이 될 수 있지만, 아직까지 이를 활용한 사용자 인증 연구는 거의 보고가 되고 있지 않다.
이에, 근전도와 관성 측정 장치 신호를 동시에 측정할 수 있는 멀티 모달 생체 신호 측정 장비를 활용하여 특정 제스처가 필요 없는 휴식 상태에서 사용자 인증을 할 수 있는 기술 개발이 필요하다.
진술한 문제점을 해결하기 위해 본 발명이 이루고자 하는 기술적 과제는 특정한 동작을 수행하지 않는 휴식 상태 동안 사용자의 개인 고유의 근전도 신호와 관성 측정 장치 신호를 추출하고 이를 선형 판별 분석 및 앙상블 분류기에 입력하여 사용자 개인 식별 및 인증할 수 있는 근전도 신호와 관성 측정 장치 신호를 이용한 휴식 상태 기반 사용자 인증 장치 및 그 방법을 제공하는 것이다.
본 발명이 이루고자 하는 기술적 과제는 특정 제스처를 취하지 않고 특정 제스처에 대해 장시간 반복 훈련이 불필요하며 사용자가 편안한 상태에서 개인 인증을 할 수 있어 편리성 및 실용성이 향상시킬 수 있는 근전도 신호와 관성 측정 장치 신호를 이용한 휴식 상태 기반 사용자 인증 장치 및 그 방법을 제공하는 것이다.
본 발명이 이루고자 하는 기술적 과제는 실시간 분석을 적용하여 시공간적 제약 없이 사용자 인증이 가능한 근전도 신호와 관성 측정 장치 신호를 이용한 휴식 상태 기반 사용자 인증 장치 및 그 방법을 제공하는 것이다.
본 발명이 이루고자 하는 기술적 과제는 근전도 신호 및 관성 측정 장치 신호를 활용하는 가상현실, 게임 등의 애플리케이션에서 별도의 동작 없이 용이하게 개인 식별을 할 수 있는 근전도 신호와 관성 측정 장치 신호를 이용한 휴식 상태 기반 사용자 인증 장치 및 그 방법을 제공하는 것이다.
본 발명이 이루고자 하는 기술적 과제는 이상에서 언급한 기술적 과제로 제한되지 않으며, 언급되지 않은 또 다른 기술적 과제들은 아래의 기재로부터 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.
상기 기술적 과제를 달성하기 위하여, 본 발명의 일 실시예에 따른 근전도 신호 및 관성 측정 장치 신호를 이용한 사용자 인증 장치에 있어서, 휴식 상태에서 사용자의 근육의 움직임에서 발생하는 근전도 신호를 측정하는 근전도 측정 모듈; 상기 휴식 상태에서 센서를 기반으로 이동 물체의 가속도 및 각속도 신호를 포함하는 관성 측정 장치 신호를 측정하는 관성 측정 모듈; 상기 근전도 신호와 상기 관성 측정 장치 신호에 대해 통신 송신에 따른 데이터 손실, 표준편차, 노이즈, 외란을 줄이는 전처리 과정을 실행하는 측정값 전처리부; 전처리된 상기 근전도 신호와 상기 관성 측정 장치 신호를 기초로 사용자 정보를 등록하는 사용자 정보 등록부; 전처리된 상기 근전도 신호와 상기 관성 측정 장치 신호를 기초로 사용자 개인을 식별 또는 인증하는 사용자 정보 처리부; 및 상기 근전도 신호와 상기 관성 측정 장치 신호를 입력받아 인공지능 모델을 사용하여 사용자 개인 식별 및 사용자 개인 인증을 학습 및 분류하는 인공지능 모델을 포함한다.
상기 측정값 전처리부는, 상기 근전도 신호와 상기 관성 측정 장치 신호에 따른 무선 통신에서 발생하는 데이터 손실에 대해 표준편차를 사용하여 이상치를 제거하는 이상치 제거부; 상기 근전도 신호 및 상기 관성 측정 장치 신호 측정시 유입되는 외부 잡음을 제거하는 외부 잡음 제거부; 상기 근전도 신호와 상기 관성 측정 장치 신호에 대해 시계열 특징을 추출하는 시계열 특징 추출부; 및 상기 추출된 시계열 특징 데이터에 기초하여 움직임 이상치 데이터를 제거하는 움직임 이상치 제거부를 포함하여, 휴식 상태의 상기 근전도 신호와 상기 관성 측정 장치 신호를 측정할 수 있다.
상기 이상치 제거부는, 매 시행에 측정된 샘플 개수를 기준으로 2 표준편차(standard deviation)를 사용하여 이상치(outlier)로 판단되는 시행을 제거할 수 있다.
상기 외부 잡음 제거부는, 상기 측정된 근전도 신호의 1 ~ 240 Hz 주파수 구간에 대해 대역 통과 필터를 적용하고, 상기 측정된 관성 측정 장치 신호의 0.1 ~ 15 Hz 주파수 구간에 대해 대역 통과 필터를 적용하여 외부 잡음을 제거할 수 있다.
상기 시계열 특징 추출부는, 평균 제곱근 오차(root mean square), 중앙값 절대 편차(median absolute deviation), 분산(variance), 제로 크로싱(zero crossing), 파형 길이(waveform length), 평균 절대값(mean absolute value) 중 적어도 하나를 사용하여 상기 시계열 특징을 추출할 수 있다.
상기 움직임 이상치 제거부는, 상기 시계열 특징 추출부에서 추출된 특징 데이터의 신뢰도를 높이기 위해 시계열 특징의 2 표준편차를 기준으로 움직였다는 판단되는 이상치 데이터를 제거할 수 있다.
상기 사용자 정보 처리부는, 상기 근전도 신호와 상기 관성 측정 장치 신호를 기초로 사용자 개인을 식별하는 사용자 식별부; 및 상기 근전도 신호와 상기 관성 측정 장치 신호를 기초로 사용자 개인을 인증하는 사용자 인증부를 포함할 수 있다.
상기 인공지능 모델은, 상기 근전도 신호 및 상기 관성 측정 장치 신호를 입력으로 하여 등록된 사용자 개인을 식별하는 선형 판별 분류 모델; 및 상기 근전도 신호 및 상기 관성 측정 장치 신호를 입력으로 하여 등록된 사용자 개인을 인증하는 앙상블 분류 모델을 포함한다.
상기 인공지능 모델은, 과적합 문제를 방지하는 5겹 교차 검증을 적용할 수 있다.
또한, 전술한 기술적 과제를 달성하기 위한, 본 발명의 일 실시예에 따른 근전도 신호 및 관성 측정 장치 신호를 이용한 사용자 인증 방법에 있어서, 휴식 상태에서 사용자의 근육의 움직임에서 발생하는 근전도 신호를 측정하는 단계; 상기 휴식 상태에서 센서를 기반으로 이동 물체의 가속도 및 각속도를 포함하는 관성 측정 장치 신호를 측정하는 단계; 상기 근전도 신호와 상기 관성 측정 장치 신호에 대해 통신 송신에 따른 데이터 손실, 표준편차, 노이즈, 외란을 줄이는 전처리 과정을 실행하는 단계; 전처리된 상기 근전도 신호와 상기 관성 측정 장치 신호를 기초로 사용자 정보를 등록하는 단계; 및 전처리된 상기 근전도 신호와 상기 관성 측정 장치 신호를 입력받아 인공지능 모델을 사용하여 사용자 개인 식별 및 사용자 개인 인증을 학습 및 분류하는 단계를 포함한다.
상기 전처리 과정을 실행하는 단계는, 상기 근전도 신호와 상기 관성 측정 장치 신호에 따른 무선 통신에서 발생하는 데이터 손실에 대해 표준편차를 사용하여 이상치를 제거하는 단계; 상기 근전도 신호 및 상기 관성 측정 장치 신호 측정시 유입되는 외부 잡음을 제거하는 단계; 상기 근전도 신호와 상기 관성 측정 장치 신호에 대해 시계열 특징을 추출하는 단계; 및 상기 추출된 시계열 특징 데이터에 기초하여 움직임 이상치 데이터를 제거하는 단계를 포함하여, 휴식 상태의 상기 근전도 신호와 상기 관성 측정 장치 신호를 측정할 수 있다.
상기 이상치를 제거하는 단계는, 매 시행에 측정된 샘플 개수를 기준으로 2 표준편차(standard deviation)를 사용하여 이상치(outlier)로 판단되는 시행을 제거할 수 있다.
상기 외부 잡음을 제거하는 단계는, 상기 측정된 근전도 신호의 1 ~ 240 Hz 주파수 구간에 대해 대역 통과 필터를 적용하고, 상기 측정된 관성 측정 장치 신호의 0.1 ~ 15 Hz 주파수 구간에 대해 대역 통과 필터를 적용하여 외부 잡음을 제거할 수 있다.
상기 시계열 특징을 추출하는 단계는, 평균 제곱근 오차(root mean square), 중앙값 절대 편차(median absolute deviation), 분산(variance), 제로 크로싱(zero crossing), 파형 길이(waveform length), 평균 절대값(mean absolute value) 중 적어도 하나를 사용하여 상기 시계열 특징을 추출할 수 있다.
상기 움직임 이상치 데이터를 제거하는 단계는, 상기 시계열 특징 추출부에서 추출된 특징 데이터의 신뢰도를 높이기 위해 시계열 특징의 2 표준편차를 기준으로 움직였다는 판단되는 이상치 데이터를 제거할 수 있다.
상기 사용자 식별 또는 인증은, 상기 근전도 신호와 상기 관성 측정 장치 신호를 기초로 사용자 개인을 식별하는 사용자 식별부; 및 상기 근전도 신호와 상기 관성 측정 장치 신호를 기초로 사용자 개인을 인증하는 사용자 인증부를 포함할 수 있다.
상기 인공지능 모델은, 상기 근전도 신호 및 상기 관성 측정 장치 신호를 입력으로 하여 등록된 사용자 개인을 식별하는 선형 판별 분류 모델; 및 상기 근전도 신호 및 상기 관성 측정 장치 신호를 입력으로 하여 등록된 사용자 개인을 인증하는 앙상블 분류 모델을 포함할 수 있다.
상기 인공지능 모델은, 과적합 문제를 방지하는 5겹 교차 검증을 적용할 수 있다.
본 발명의 실시예에 따르면, 특정한 동작을 수행하지 않는 휴식 상태 동안 사용자의 개인 고유의 근전도 신호와 관성 측정 장치 신호를 추출하고 이를 선형 판별 분석 및 앙상블 분류기에 입력하여 개인 식별 및 인증할 수 있다.
또한, 본 발명의 실시예에 따르면, 특정 제스처를 취하지 않고 특정 제스처에 대해 장시간 반복 훈련이 불필요하며 사용자가 편안한 상태에서 개인 인증을 할 수 있어 편리성 및 실용성이 향상시킬 수 있다.
또한, 본 발명의 실시예에 따르면, 실시간 분석을 적용하여 시공간적 제약 없이 사용자 인증이 가능할 수 있다.
또한, 본 발명의 실시예에 따르면, 근전도 신호 및 관성 측정 장치 신호를 활용하는 가상현실, 게임 등의 애플리케이션에서 별도의 동작 없이 용이하게 개인 식별을 할 수 있다.
본 발명의 효과는 상기한 효과로 한정되는 것은 아니며, 본 발명의 설명 또는 청구범위에 기재된 발명의 구성으로부터 추론 가능한 모든 효과를 포함하는 것으로 이해되어야 한다.
도 1은 종래의 개인 인증을 위한 특정 제스처를 취하는 방법에 관한 예시도이다.
도 2는 본 발명의 실시예에 따라 근전도 신호와 관성 측정 장치 신호를 이용한 휴식 상태 기반 사용자 인증 장치의 구성을 도시하는 블록도이다.
도 3은 본 발명의 실시예에 따른 근전도 측정 모듈 및 관성 측정 모듈에서 측정된 신호를 도시하는 예시도이다.
도 4는 본 발명의 실시예에 따른 측정값 전처리부의 세부 구성을 도시하는 블록도이다.
도 5는 본 발명의 실시예 따른 사용자 정보 처리부의 세부 구성을 도시하는 블록도이다.
도 6는 본 발명의 실시예 따른 사용자 정보 처리부 및 인공지능 모델 간의 관계를 도시하는 블록도이다.
도 7은 본 발명의 실시예에 따른 자세 및 측정 모달리티별 개인 식별 평균 분류 정확도를 도시하는 그래프이다.
도 8은 본 발명의 실시예에 따른 자세 및 측정 모달리티별 개인 인증 평균 분류 정확도를 도시하는 그래프이다.
도 9는 본 발명의 실시예 따라 근전도 신호와 관성 측정 장치 신호를 이용한 휴식 상태 기반 사용자 인증 방법을 도시하는 흐름도이다.
도 10은 본 발명의 실시예 따른 측정값 전처리의 세부 방법을 도시하는 흐름도이다.
이하에서는 첨부한 도면을 참조하여 본 발명을 설명하기로 한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며, 따라서 여기에서 설명하는 실시예로 한정되는 것은 아니다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.
명세서 전체에서, 어떤 부분이 다른 부분과 "연결(접속, 접촉, 결합)"되어 있다고 할 때, 이는 "직접적으로 연결"되어 있는 경우뿐 아니라, 그 중간에 다른 부재를 사이에 두고 "간접적으로 연결"되어 있는 경우도 포함한다. 또한 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 구비할 수 있다는 것을 의미한다.
본 명세서에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 명세서에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
이하 첨부된 도면을 참고하여 본 발명의 실시예를 상세히 설명하기로 한다.
도 2는 본 발명의 실시예에 따라 근전도 신호와 관성 측정 장치 신호를 이용한 휴식 상태 기반 사용자 인증 장치의 구성을 도시하는 블록도이다.
도 3은 본 발명의 실시예에 따른 근전도 측정 모듈 및 관성 측정 모듈에서 측정된 신호를 도시하는 예시도이다.
도 2에 도시된 바와 같이, 근전도 신호와 관성 측정 장치 신호를 이용한 휴식 상태 기반 사용자 인증 장치(100)는 근전도 측정 모듈(110), 관성 측정 모듈(120), 측정값 전처리부(130), 사용자 정보 등록부(140), 사용자 정보 처리부(150) 및 인공지능 모델(160)을 포함할 수 있다.
근전도 측정 모듈(110)은 사용자의 근육의 움직임 전, 후에 발생하는 근전도(EMG) 신호를 측정할 수 있다.
근전도(EMG)는 근육의 활동 전위를 기록한 곡선을 의미하며, 근전도 측정은 인체 피부 표면에 전극을 부착하고 부착한 곳의 근육의 활동 전위를 측정하는 표면 도출법과 근육에 바늘처럼 생긴 니들 전극(Needle Electrode)를 꽂아 넣어 데이터를 추출하는 바늘 전극법 등을 포함한 다양한 방법으로 데이터를 측정할 수 있다.
근전도 측정 모듈(110)은 암 밴드, 손목 밴드 또는 그 밖의 고정 장치 등에서 오른팔 전완근 또는 신체의 일부에 부착 또는 착용 또는 탈착 될 수 있다.
종래에는 사용자가 근전도 측정 기기를 팔에 착용한 상태에서 도 1과 같이 손을 쫙 펴겨나, 손목 또는 손바닥을 특정 방향으로 움직이거나 비틀거나, 주먹을 쥐는 등과 같은 미리 정해진 제스처를 취함으로써 트리거 신호를 측정하였다. 종래의 제스처는 일상에서 활용도가 낮은 제스처를 사용함으로써 부자연스럽고 직관적이지 않은 문제가 있었다.
반면, 본 발명은 사용자의 팔에 근전도 측정 모듈(110)이 구비된 기기를 착용하고, 휴식 상태 즉, 팔을 움직이지 않고 가만히 두는 자세에서 근전도 신호를 측정할 수 있다.
예를 들어, 도 2에 도시된 휴식 상태 패러다임을 확인해 본 결과, 실험에 사용된 휴식상태는 앉은 상태(sit)와 일어선 상태(stand)에서 각 20회씩 수행되었다. 앉은 상태(sit) 에서는 팔꿈치를 고정한 채로 팔을 편하게 책상에 내려놓았으며, 일어선 상태(stand)에서는 팔의 힘을 빼고 지면을 향해 자연스럽게 뻗도록 지시했다. 제스처 수행 전 2초 동안 모니터에 취해야 할 제스처는 도 2에 도시된 팔과 같이 팔의 힘을 빼고 지면을 향해 자연스럽게 뻗은 상태이고, 비프음이 재생된 이후 5초 동안 움직임을 자제하고 휴식상태를 취했다.
예를 들어, 근전도 측정 모듈(110)은 8채널의 근전도 센서가 구비되어 있으며, 사람마다 휴식 상태에서 발생되는 근전도 및 근육 활성 패턴이 상이함으로써 별도의 제스처가 불필요하며 휴식상태에서 편안하게 근전도 신호를 감지할 수 있는 장점이 있다.
근전도 측정 모듈(110)이 8채널의 근전도 센서를 이용하여 사용자의 근육 신호를 측정한 결과, 도 3에 도시된 바와 같이, 8채널 근전도 센서가 서로 다른 신호를 감지하는 것을 확인할 수 있다.
관성 측정 모듈(120)은 관성력을 측정하는 센서(IMU, Inertia Measurement Unit)를 기반으로 하여 이동 물체의 속도, 방향, 중력과 가속도 등을 측정할 수 있다.
예를 들어, 관성 측정 모듈(120)은 9축 센서(3축 가속도 센서, 3축 각속도 센서, 3축 지자기 센서) 또는 3축의 가속도 및 3축의 각속도 센서를 포함할 수 있다.
관성 측정 모듈(120)이 각각의 센서를 통해 도 3과 같이 3축 가속도 센서에 대응하는 3채널 가속도 신호와 3축 각속도 센서에 대응하는 3채널 각속도 신호를 감지하는 것을 확인할 수 있다.
근전도 측정 모듈(110) 및 관성 측정 모듈(120)은 각 센서별로 감지 신호를 동시 또는 시간차를 두고 감지할 수 있고, 감지된 신호 데이터는 블루투스 무선 통신을 통해 실시간으로 후술할 측정값 전처리부(130)로 전송될 수 있다.
근전도 신호와 관성 측정 장치 신호는 사용자 개인마다 다른 패턴 및 다른 신호를 나타내므로 사용자 개인을 인증할 수 있는 생체 보안 기술로 사용하기 적합하다.
측정값 전처리부(130)는 근전도 측정 모듈(110) 및 관성 측정 모듈(120)에서 측정된 신호를 수신받아 두 신호를 분석하기 이전에 통신 송신에 따른 데이터 손실, 표준편차, 노이즈, 외란 등을 줄이는 전처리 과정을 실행할 수 있다.
예를 들어, 측정값 전처리부(130)는 도 2에 도시된 5초 동안의 휴식 상태의 측정된 근전도 신호 및 관성 측정 장치 신호를 기초로 전처리 과정을 수행한다.
측정값 전처리부(130)의 세부 구성 및 방법은 도 4를 참조하여 구체적으로 후술하기로 한다.
사용자 정보 등록부(140)는 전처리된 근전도 신호와 관성 측정 장치 신호를 기초로 사용자 정보를 등록할 수 있다.
사용자 정보는 상기 근전도 신호와 상기 관성 측정 장치 신호를 이용하여 지문처럼 개개인을 구별할 수 있는 정보이다.
사용자 정보 처리부(150)는 전처리된 근전도 신호와 관성 측정 장치 신호를 기초로 사용자 개인을 식별 또는 인증할 수 있다.
사용자 정보 처리부(150)의 세부 구성 및 상호 작용 방법은 도 5를 참조하여 구체적으로 후술하기로 한다.
인공지능 모델(160)은 측정값 전처리부(140)에서 처리된 근전도 신호 및 관성 측정 장치 신호를 입력받아 사용자 개인 식별 및 개인 인증에 대해 학습 및 분류할 수 있다.
예를 들어, 인공지능 학습 알고리즘은 사용자 식별 및 인증을 위해 선형 판별 분석과 사용자 인증을 위해 앙상블 분류기 알고리즘을 사용할 수 있다.
상기 사용자 정보 처리부(150) 및 상기인공지능 모델(160)의 세부 구성 및 상호 작용 방법은 도 6을 참조하여 구체적으로 후술하기로 한다.
따라서, 본 발명의 근전도 신호와 관성 측정 장치 신호를 이용한 휴식 상태 기반 사용자 인증 장치(100)는 특정한 동작을 수행하지 않는 휴식 상태 동안 발생되는 개인 고유의 근전도 신호와 관성 측정 장치 신호를 추출하여 선형 판별 분석(LDA) 및 앙상블 분류기(RUSBoosted tree)의 입력으로 활용하여 개인 식별 및 인증할 수 있다.
또한, 본 발명은 특정 제스처를 취하지 않고 특정 제스처에 대해 장시간 반복 훈련이 불필요하며 사용자가 편안한 상태에서 개인 인증을 할 수 있어 편리성 및 실용성이 향상시킬 수 있는 장점이 있다.
도 4는 본 발명의 실시예에 따른 측정값 전처리부의 세부 구성을 도시하는 블록도이다.
도 4에 도시된 바와 같이, 측정값 전처리부(130)는 이상치 제거부(131), 외부 잡음 제거부(132), 시계열 특징 추출부(133) 및 움직임 이상치 제거부(134)를 포함할 수 있다.
측정값 전처리부(130)는 도 2에 도시된 5초 동안의 휴식 상태에서 측정된 근전도 신호 및 관성 측정 장치 신호를 무선 통신으로 수신하여 상기 신호들의 데이터 전처리를 실행한다.
이상치 제거부(131)는 신호 측정 시 블루투스 송신 특성상 발생하는 데이터 손실을 고려하여 매 시행에 측정된 샘플 개수를 기준으로 2 표준편차(standard deviation)를 사용하여 이상치(outlier)로 판단되는 시행을 제거할 수 있다.
만약, 이상치가 있을 경우 학습 알고리즘이 잘못된 패턴을 학습하거나 모델의 정확도를 저하시키므로 이를 방지하기 위해서는 이상치를 제거하거나 대체하여 모델의 학습을 개선하거나 모델의 성능을 향상시키는 것이 바람직하다.
외부 잡음 제거부(132)는 근전도 신호 및 관성 측정 장치 신호 측정 시 유입되는 외부 잡음(noise)을 제거할 수 있다.
예를 들어, 8개 채널에서 측정된 근전도 신호는 1 ~ 240 Hz 주파수 구간에 대해 대역통과 필터를 적용하고, 3개의 축으로(X, Y, Z) 측정된 관성 측정 장치의 가속도(acceleration)와 각속도(gyroscope) 신호는 0.1 ~ 15 Hz 주파수 구간에 대해 대역 통과 필터를 적용하여 외부 잡음을 제거할 수 있다.
시계열 특징 추출부(133)는 근전도 신호와 관성 측정 장치 신호에 대해 시계열 특징을 추출할 수 있다.
예를 들어, 시계열 특징 추출 방법은 평균 제곱근 오차(root mean square), 중앙값 절대 편차(median absolute deviation), 분산(variance), 제로 크로싱(zero crossing), 파형 길이(waveform length), 평균 절대값(mean absolute value) 중 적어도 하나를 사용하여 시계열 특징을 추출할 수 있다.
움직임 이상치 제거부(134)는 시계열 특징 추출부(133)에서 추출된 특징 데이터의 신뢰도를 높이기 위해 시계열 특징(예를 들어, root mean square, median absolute deviation, variance 등)의 2 표준편차를 기준으로 움직였다고 판단되는 이상치 데이터를 제거할 수 있다.
이로써, 본 발명은 휴식 상태에서 측정된 근전도 신호와 관성 측정 장치 신호에 대해 이상치 제거, 외부 잡음 제거, 시계열 특징 추출 및 움직임 이상치 제거를 포함하는 전처리 과정을 수행함으로써 분류 학습 알고리즘에서 정확한 패턴을 학습할 수 있고, 모델의 정확도 향상 및 모델의 성능을 향상시킬 수 있는 효과가 있다.
도 5는 본 발명의 실시예 따른 사용자 정보 처리부의 세부 구성을 도시하는 블록도이다.
사용자 정보 처리부(150)는 사용자 식별부(151) 및 사용자 인증부(152)를 포함할 수 있다.
사용자 식별부(151)는 전처리된 근전도 신호와 관성 측정 장치 신호를 기초로 사용자 개인을 식별할 수 있다.
예를 들어, 사용자 식별부(151)는 사용자 개인 식별을 위해 선형 판별 분석(LDA, linear discriminant analysis) 등을 포함한 사용자 식별 인공지능 알고리즘을 사용할 수 있다.
사용자 인증부(152)는 전처리된 근전도 신호와 관성 측정 장치 신호를 기초로 사용자 개인을 인증할 수 있다.
예를 들어, 사용자 인증부(152)는 사용자 개인 인증을 위해 앙상블 분류기(RUSBoosted tree, Random Under-Sampling Boosting tree) 등을 포함한 사용자 인증 인공지능 알고리즘을 사용할 수 있다.
사용자 식별은 인공지능 알고리즘에 사용자 식별 데이터가 입력되어 선형 판별 분석에 기초하여 데이터 각각을 별도의 클래스로 할당하여 분류하고, 사용자 인증은 앙상블 분류기를 기반으로 특정 데이터를 하나의 클래스로, 나머지를 별도의 클래스로 할당하여 분류를 수행한다.
도 6은 본 발명의 실시예 따른 사용자 정보 처리부 및 인공지능 모델 간의 관계를 도시하는 블록도이다.
도 6에 도시된 바와 같이, 사용자 정보 처리부(150) 및 인공지능 모델(160)은 상호 연결되어 사용자 개인 식별 및 사용자 개인 인증을 위해 인공지능 모델을 이용하여 입력 데이터를 학습 및 분류할 수 있다.
인공지능 모델(160)은 선형 판별 분류 모델(161) 및 앙상블 분류 모델(162)을 포함할 수 있다.
예를 들어, 인공지능 모델(160)은 근전도 신호와 관성 측정 장치 신호를 각각 단독으로 사용한 것과 근전도 신호와 관성 측정 장치 신호를 함께 사용했을 때의 사용자 식별 정확도를 비교하기 위해 추출한 특징을 근전도 신호와 관성 측정 장치 신호의 합성(EMG + IMU), 근전도(EMG) 신호, 관성 측정 장치(IMU) 신호의 3가지 유형으로 특징 벡터를 생성하여 분류기를 학습한다.
사용자 식별은 사용자 식별부(151)를 통해 수행될 수 있다.
사용자 개인 식별은 인공지능 모델(160)의 선형 판별 분류 모델(161)을 사용하여 각각의 데이터를 별도 클래스(class)로 할당하여 분류할 수 있다.
사용자 인증은 사용자 인증부(152)를 통해 수행될 수 있다.
사용자 개인 인증은 인공지능 모델(160)의 앙상블 분류 모델(162)을 사용하여 특정 데이터를 하나의 클래스로 할당하고, 나머지 데이터를 별도의 클래스로 할당하여 분류할 수 있다.
예를 들어, 36명의 피험자가 휴식 상태에서 근전도 신호 및 관성 측정 장치 신호를 측정하였고, 상기 근전도 신호 및 상기 관성 측정 장치 신호를 기초로 사용자 개인 식별시에는 선형 판별 분류 모델을 사용하여 각각의 데이터별로 클래스를 할당하여 분류하고, 사용자 개인 인증시에는 앙상블 분류 모델을 사용하여 특정 데이터가 36개의 클래스 중 어디에 매칭되는지를 찾아 특정 데이터에 대한 사용자 개인 인증을 할 수 있다.
이때, 인공지능 모델(160)은 과적합(overfitting) 문제를 방지하기 위해 5겹 교차검증(5-fold cross-validation)을 적용하여 사용자 인증 정확도를 산출할 수 있다.
이렇게 근전도 신호 및 관성 측정 장치 신호를 인공지능 모델에 입력하여 사용자 개인 식별 및 사용자 개인 인증한 결과, 도 7 및 도 8에 도시된 바와 같이 자세 및 측정 모달리티에 따라 사용자 개인 식별 정확도 및 사용자 개인 인증 정확도가 나타날 수 있다.
도 7은 본 발명의 실시예에 따른 자세 및 측정 모달리티별 개인 식별 평균 분류 정확도를 도시하는 그래프이다.
도 8은 본 발명의 실시예에 따른 자세 및 측정 모달리티별 개인 인증 평균 분류 정확도를 도시하는 그래프이다.
도 7 및 도 8은 휴식 상태 즉, 앉은 상태(sit)와 일어난 상태(stand)에서 근전도 신호와 관성 측정 장치 신호를 측정한 후, 측정한 근전도 신호와 관성 측정 장치 신호의 합성(EMG + IMU), 근전도(EMG) 신호, 관성 측정 장치(IMU) 신호로 3가지 유형별에 따른 사용자 개인 식별 평균 분류 정확도 및 사용자 개인 인증 평균 분류 정확도를 확인한 것이다.
도 7을 참조하면, 자세 및 측정 모달리티에 따른 사용자 개인 식별 평균 분류 정확도를 나타낸 것으로, 자세와 상관없이 근전도 신호와 관성 측정 장치 신호를 각각 개별적으로 사용했을 때보다 함께 사용하였을 때 앉은 자세(sit)와 일어선 자세(stand)에서의 사용자 개인 인증 성능이 각각 80.58%, 75.20%로 가장 높게 나타났다.
도 8을 참조하면, 자세 및 측정 모달리티에 따른 사용자 개인 인증 평균 분류 정확도를 나타낸 것으로, 사용자 개인 식별 분류 결과와 동일하게 모든 자세에서 근전도 신호와 관성 측정 장치 신호를 함께 사용하였을 때 각각 평균 90.63%, 89.87%로 가장 높게 나타나 높은 사용자 개인 인증 성능을 보이는 것으로 확인하였다.
따라서, 본 개인 인증 장치는 휴식 상태에서 근전도 신호 및 관성 측정 장치 신호를 측정하고 두 신호를 합성한 데이터를 이용하여 인공지능 기반 사용자 개인 식별 및 사용자 개인 인증시 가장 높은 인증 정확도 및 성능을 나타낼 수 있다.
또한, 본 발명은 실시간 분석을 적용하여 시공간적 제약 없이 사용자 인증이 가능할 수 있고, 휴식 상태에서 측정한 근전도 신호 및 관성 측정 장치 신호를 활용하여 가상현실, 게임 등의 애플리케이션에서 별도의 동작 없이 용이하게 사용자 개인 인증을 할 수 있다.
도 9는 본 발명의 실시예 따라 근전도 신호와 관성 측정 장치 신호를 이용한 휴식 상태 기반 사용자 인증 방법을 도시하는 흐름도이다.
도 9에 도시된 바와 같이, 사용자 인증 장치는 휴식 상태에서 사용자의 근전도 신호 및 관성 측정 장치 신호를 측정하고 인공지능 학습을 통해 사용자 개인 인증을 실시할 수 있다.
단계(S110)에서, 사용자 인증 장치는 근전도 측정 모듈 및 관성 측정 모듈을 이용하여 휴식 상태에서 사용자의 근전도 신호 및 관성 측정 장치 신호를 동시에 측정할 수 있다.
사용자 인증 장치는 사용자의 오른팔 전완근 또는 신체 일부에 부착되어 휴식 상태 즉, 편안하게 팔을 내려놓은 상태에서 사용자의 근육의 움직임 전, 후에 발생하는 근전도(EMG) 신호를 측정할 수 있다.
예를 들어, 사용자 인증 장치의 근전도 측정 모듈에는 8채널의 근전도 센서가 구비되어 있으며, 사람마다 휴식 상태에서 발생되는 근전도 및 근육 활성 패턴이 상이함으로써 별도의 제스처가 불필요하며 휴식상태에서 편안하게 근전도 신호를 감지할 수 있는 장점이 있다.
예를 들어, 사용자 인증 장치의 관성 측정 모듈에는 9축 센서(3축 가속도 센서, 3축 각속도 센서, 3축 지자기 센서) 또는 3축의 가속도 및 3축의 각속도 센서를 포함할 수 있다.
관성 측정 모듈은 각각의 센서를 통해 3축 가속도 센서에 대응하는 3채널 가속도 신호와 3축 각속도 센서에 대응하는 3채널 각속도 신호를 감지할 수 있다.
근전도 모듈 및 관성 측정 모듈은 각 센서별로 감지 신호를 동시 또는 시간차를 두고 감지할 수 있고, 감지된 신호 데이터는 블루투스 무선 통신을 통해 실시간으로 후술할 측정값 전처리부로 전송될 수 있다.
근전도 신호와 관성 측정 장치 신호는 개인마다 다른 패턴 및 다른 신호를 나타내므로 사용자 개인을 인증할 수 있는 생체 보안 기술로 사용하기 적합하다.
단계(S120)에서, 사용자 인증 장치는 측정된 상기 근전도 신호 및 관성 측정 장치 신호를 수신 받아 두 신호를 분석하기 이전에 통신 송신에 따른 데이터 손실, 표준편차, 노이즈, 외란 등을 줄이는 전처리 과정을 실행할 수 있다.
상기 근전도 신호 및 상기 관성 측정 장치 신호에 대한 전처리의 세부 방법은 도 10을 참조하여 구체적으로 후술하기로 한다.
단계(S130)에서, 사용자 인증 장치는 상기 전처리된 근전도 신호와 관성 측정 장치 신호를 기초로 사용자 정보를 등록할 수 있다.
사용자 정보는 상기 근전도 신호와 상기 관성 측정 장치 신호를 이용하여 지문처럼 개개인을 구별할 수 있는 정보이다.
단계(S140)에서, 사용자 인증 장치는 인공지능 모델을 사용하여 사용자 개인을 식별 및 인증할 수 있다.
이때, 사용자 인증 장치는 사용자 개인 식별(identification)을 위해 선형 판별 분석(LDA, linear discriminant analysis) 등을 포함한 사용자 식별 인공지능 알고리즘을 사용할 수 있다.
예를 들어, 사용자 식별은 인공지능 알고리즘에 사용자 식별 데이터가 입력되어 선형 판별 분류 모델에 기초하여 데이터 각각을 별도의 클래스로 할당하여 분류한다.
또한, 사용자 인증 장치는 사용자 개인 인증(authentication)을 위해 앙상블 분류기(RUSBoosted tree, Random Under-Sampling Boosting tree) 등을 포함한 사용자 인증 인공지능 알고리즘을 사용할 수 있다.
예를 들어, 사용자 인증은 앙상블 분류기를 기반으로 특정 데이터를 하나의 클래스로, 나머지를 별도의 클래스로 할당하여 분류를 수행한다.
사용자 인증 장치는 근전도 신호와 관성 측정 장치 신호를 단독으로 사용한 것과 함께 사용했을 때의 식별 정확도를 비교하고자 추출한 특징을 근전도 신호와 관성 측정 장치 신호의 합성(EMG + IMU), 근전도(EMG) 신호, 관성 측정 장치 신호(IMU) 신호의 3가지 유형으로 특징 벡터를 생성하여 분류기를 학습할 수 있다.
이렇게 근전도 신호와 관성 측정 장치 신호를 인공지능 모델에 입력하여 사용자 개인 식별 분류 정확도를 확인한 결과, 자세와 상관없이 근전도 신호와 관성 측정 장치 신호를 각각 개별적으로 사용했을 때보다 함께 사용하였을 때 앉은 자세(sit)와 일어선 자세(stand)에서의 인증 성능이 각각 80.58%, 75.20%로 가장 높게 나타났다.
또한, 근전도 신호와 관성 측정 장치 신호를 인공지능 모델에 입력하여 사용자 개인 인증 분류 정확도를 확인한 결과, 개인 식별 분류 결과와 동일하게 모든 자세에서 근전도 신호와 관성 측정 장치 신호를 함께 사용하였을 때 각각 평균 90.63%, 89.87%로 가장 높게 나타나 높은 인증 성능을 보이는 것으로 확인됐다.
따라서, 본 발명은 특정한 동작을 수행하지 않는 휴식 상태 동안 발생되는 개인 고유의 근전도 신호와 관성 측정 장치 신호를 추출하여 선형 판별 분석(LDA) 및 앙상블 분류기(RUSBoosted tree)의 입력으로 활용하여 사용자 개인 식별 및 인증할 수 있다.
또한, 본 개인 인증 장치는 휴식 상태에서 근전도 신호 및 관성 측정 장치 신호를 측정하고 두 신호를 합성한 데이터를 이용하여 인공지능 기반 개인 식별 및 개인 인증시 가장 높은 인증 정확도 및 성능을 나타낼 수 있다.
또한, 본 발명은 실시간 분석을 적용하여 시공간적 제약 없이 사용자 인증이 가능할 수 있고, 휴식 상태에서 측정한 근전도 신호 및 관성 측정 장치 신호를 활용하여 가상현실, 게임 등의 애플리케이션에서 별도의 동작 없이 용이하게 개인 식별을 할 수 있다.
또한, 본 발명은 특정 제스처를 취하지 않고 특정 제스처에 대해 장시간 반복 훈련이 불필요하며 사용자가 편안한 상태에서 개인 인증을 할 수 있어 편리성 및 실용성이 향상시킬 수 있는 장점이 있다.
도 10은 본 발명의 실시예 따른 측정값 전처리의 세부 방법을 도시하는 흐름도이다.
단계(S121)에서, 사용자 인증 장치는 신호 측정 시 블루투스 송신 특성상 발생하는 데이터 손실을 고려하여 매 시행에 측정된 샘플 개수를 기준으로 2 표준편차(standard deviation)를 사용하여 이상치(outlier)로 판단되는 시행을 제거할 수 있다.
만약, 이상치가 있을 경우 학습 알고리즘이 잘못된 패턴을 학습하거나 모델의 정확도를 저하시키므로 이를 방지하기 위해서는 이상치를 제거하거나 대체하여 모델의 학습을 개선하거나 모델의 성능을 향상시키는 것이 바람직하다.
단계(S122)에서, 사용자 인증 장치는 근전도 신호 및 관성 측정 장치 신호 측정 시 유입되는 외부 잡음(noise)을 제거할 수 있다.
예를 들어, 8개 채널에서 측정된 근전도 신호는 1 ~ 240 Hz 주파수 구간에 대해 대역통과 필터를 적용하고, 3개의 축으로(X, Y, Z) 측정된 관성 측정 장치의 가속도(acceleration)와 각속도(gyroscope) 신호는 0.1 ~ 15 Hz 주파수 구간에 대해 대역 통과 필터를 적용하여 외부 잡음을 제거할 수 있다.
단계(S123)에서, 사용자 인증 장치는 근전도 신호와 관성 측정 장치 신호에 대해 시계열 특징을 추출할 수 있다.
예를 들어, 시계열 특징 추출 방법은 평균 제곱근 오차(root mean square), 중앙값 절대 편차(median absolute deviation), 분산(variance), 제로 크로싱(zero crossing), 파형 길이(waveform length), 평균 절대값(mean absolute value) 중 적어도 하나를 사용하여 상기 시계열 특징을 추출할 수 있다.
단계(S124)에서, 사용자 인증 장치는 추출된 시계열 특징 데이터의 신뢰도를 높이기 위해 시계열 특징 수단(예를 들어, root mean square, median absolute deviation, variance 등)의 2 표준편차를 기준으로 움직였다고 판단되는 이상치 데이터를 제거할 수 있다.
본 발명은 측정된 근전도 신호 및 관성 측정 장치 신호에 대해 이상치 제거, 외부 잡음 제거, 시계열 특징 추출 및 움직임 이상치 제거를 포함하는 전처리 과정을 수행함으로써 분류 학습 알고리즘을 통해 정확한 패턴을 학습하거나 모델의 정확도 향상 및 모델의 성능을 향상시킬 수 있는 효과가 있다.
전술한 본 발명의 설명은 예시를 위한 것이며, 본 발명이 속하는 기술분야의 통상의 지식을 가진 자는 본 발명의 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 쉽게 변형이 가능하다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 예를 들어, 단일형으로 설명되어 있는 각 구성 요소는 분산되어 실시될 수도 있으며, 마찬가지로 분산된 것으로 설명되어 있는 구성 요소들도 결합된 형태로 실시될 수 있다.
본 발명의 범위는 후술하는 청구범위에 의하여 나타내어지며, 청구범위의 의미 및 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.
발명의 실시를 위한 형태는 발명의 실시를 위한 최선의 형태에서 함께 기술되었다.
본 발명의 실시예에 따른 근전도 신호와 관성 측정 장치 신호를 이용한 휴식 상태 기반 사용자 인증 장치 및 그 방법은, 특정한 동작을 수행하지 않는 휴식 상태 동안 사용자의 개인 고유의 근전도 신호와 관성 측정 장치 신호를 추출하고 이를 선형 판별 분석 및 앙상블 분류기에 입력하여 개인 식별 및 인증을 제공할 수 있다. 근전도 신호 및 관성 측정 장치 신호를 활용하는 가상현실, 게임 등의 애플리케이션에서 별도의 동작 없이 용이하게 개인 식별을 할 수 있다.

Claims (18)

  1. 근전도 신호 및 관성 측정 장치 신호를 이용한 사용자 인증 장치에 있어서,
    휴식 상태에서 사용자의 근육의 움직임에서 발생하는 근전도 신호를 측정하는 근전도 측정 모듈;
    상기 휴식 상태에서 센서를 기반으로 이동 물체의 가속도 및 각속도 신호를 포함하는 관성 측정 장치 신호를 측정하는 관성 측정 모듈;
    상기 근전도 신호와 상기 관성 측정 장치 신호에 대해 통신 송신에 따른 데이터 손실, 표준편차, 노이즈, 외란을 줄이는 전처리 과정을 실행하는 측정값 전처리부;
    전처리된 상기 근전도 신호와 상기 관성 측정 장치 신호를 기초로 사용자 정보를 등록하는 사용자 정보 등록부;
    전처리된 상기 근전도 신호와 상기 관성 측정 장치 신호를 기초로 사용자 개인을 식별 또는 인증하는 사용자 정보 처리부; 및
    상기 근전도 신호와 상기 관성 측정 장치 신호를 입력받아 인공지능 모델을 사용하여 사용자 개인 식별 및 사용자 개인 인증을 학습 및 분류하는 인공지능 모델
    을 포함하는 사용자 인증 장치.
  2. 제1항에 있어서,
    상기 측정값 전처리부는,
    상기 근전도 신호와 상기 관성 측정 장치 신호에 따른 무선 통신에서 발생하는 데이터 손실에 대해 표준편차를 사용하여 이상치를 제거하는 이상치 제거부;
    상기 근전도 신호 및 상기 관성 측정 장치 신호 측정시 유입되는 외부 잡음을 제거하는 외부 잡음 제거부;
    상기 근전도 신호와 상기 관성 측정 장치 신호에 대해 시계열 특징을 추출하는 시계열 특징 추출부; 및
    상기 추출된 시계열 특징 데이터에 기초하여 움직임 이상치 데이터를 제거하는 움직임 이상치 제거부를 포함하여,
    휴식 상태의 상기 근전도 신호와 상기 관성 측정 장치 신호를 측정하는 것인 사용자 인증 장치.
  3. 제2항에 있어서,
    상기 이상치 제거부는, 매 시행에 측정된 샘플 개수를 기준으로 2 표준편차(standard deviation)를 사용하여 이상치(outlier)로 판단되는 시행을 제거하는 것인 사용자 인증 장치.
  4. 제2항에 있어서,
    상기 외부 잡음 제거부는,
    상기 측정된 근전도 신호의 1 ~ 240 Hz 주파수 구간에 대해 대역 통과 필터를 적용하고,
    상기 측정된 관성 측정 장치 신호의 0.1 ~ 15 Hz 주파수 구간에 대해 대역 통과 필터를 적용하여 외부 잡음을 제거하는 것인 사용자 인증 장치.
  5. 제2항에 있어서,
    상기 시계열 특징 추출부는,
    평균 제곱근 오차(root mean square), 중앙값 절대 편차(median absolute deviation), 분산(variance), 제로 크로싱(zero crossing), 파형 길이(waveform length), 평균 절대값(mean absolute value) 중 적어도 하나를 사용하여 상기 시계열 특징을 추출하는 것인 사용자 인증 장치.
  6. 제2항에 있어서,
    상기 움직임 이상치 제거부는,
    상기 시계열 특징 추출부에서 추출된 특징 데이터의 신뢰도를 높이기 위해 시계열 특징의 2 표준편차를 기준으로 움직였다는 판단되는 이상치 데이터를 제거하는 것인 사용자 인증 장치.
  7. 제1항에 있어서,
    상기 사용자 정보 처리부는,
    상기 근전도 신호와 상기 관성 측정 장치 신호를 기초로 사용자 개인을 식별(identification)하는 사용자 식별부; 및
    상기 근전도 신호와 상기 관성 측정 장치 신호를 기초로 사용자 개인을 인증(authentication)하는 사용자 인증부
    를 포함하는 사용자 인증 장치.
  8. 제1항에 있어서,
    상기 인공지능 모델은,
    상기 근전도 신호 및 상기 관성 측정 장치 신호를 입력으로 하여 등록된 사용자 개인을 식별하는 선형 판별 분류 모델; 및
    상기 근전도 신호 및 상기 관성 측정 장치 신호를 입력으로 하여 등록된 사용자 개인을 인증하는 앙상블 분류 모델
    을 포함하는 사용자 인증 장치.
  9. 제8항에 있어서,
    상기 인공지능 모델은,
    과적합 문제를 방지하는 5겹 교차 검증을 적용하는 것인 사용자 인증 장치.
  10. 근전도 신호 및 관성 측정 장치 신호를 이용한 사용자 인증 방법에 있어서,
    휴식 상태에서 사용자의 근육의 움직임에서 발생하는 근전도 신호를 측정하는 단계;
    상기 휴식 상태에서 센서를 기반으로 이동 물체의 가속도 및 각속도를 포함하는 관성 측정 장치 신호를 측정하는 단계;
    상기 근전도 신호와 상기 관성 측정 장치 신호에 대해 통신 송신에 따른 데이터 손실, 표준편차, 노이즈, 외란을 줄이는 전처리 과정을 실행하는 단계;
    전처리된 상기 근전도 신호와 상기 관성 측정 장치 신호를 기초로 사용자 정보를 등록하는 단계; 및
    전처리된 상기 근전도 신호와 상기 관성 측정 장치 신호를 입력받아 인공지능 모델을 사용하여 사용자 개인 식별 및 사용자 개인 인증을 학습 및 분류하는 단계
    를 포함하는 사용자 인증 방법.
  11. 제10항에 있어서,
    상기 전처리 과정을 실행하는 단계는,
    상기 근전도 신호와 상기 관성 측정 장치 신호에 따른 무선 통신에서 발생하는 데이터 손실에 대해 표준편차를 사용하여 이상치를 제거하는 단계;
    상기 근전도 신호 및 상기 관성 측정 장치 신호 측정시 유입되는 외부 잡음을 제거하는 단계;
    상기 근전도 신호와 상기 관성 측정 장치 신호에 대해 시계열 특징을 추출하는 단계; 및
    상기 추출된 시계열 특징 데이터에 기초하여 움직임 이상치 데이터를 제거하는 단계를 포함하여,
    휴식 상태의 상기 근전도 신호와 상기 관성 측정 장치 신호를 측정하는 것인 사용자 인증 방법.
  12. 제11항에 있어서,
    상기 이상치를 제거하는 단계는, 매 시행에 측정된 샘플 개수를 기준으로 2 표준편차(standard deviation)를 사용하여 이상치(outlier)로 판단되는 시행을 제거하는 것인 사용자 인증 방법.
  13. 제11항에 있어서,
    상기 외부 잡음을 제거하는 단계는,
    상기 측정된 근전도 신호의 1 ~ 240 Hz 주파수 구간에 대해 대역 통과 필터를 적용하고,
    상기 측정된 관성 측정 장치 신호의 0.1 ~ 15 Hz 주파수 구간에 대해 대역 통과 필터를 적용하여 외부 잡음을 제거하는 것인 사용자 인증 방법.
  14. 제11항에 있어서,
    상기 시계열 특징을 추출하는 단계는,
    평균 제곱근 오차(root mean square), 중앙값 절대 편차(median absolute deviation), 분산(variance), 제로 크로싱(zero crossing), 파형 길이(waveform length), 평균 절대값(mean absolute value) 중 적어도 하나를 사용하여 상기 시계열 특징을 추출하는 것인 사용자 인증 방법.
  15. 제11항에 있어서,
    상기 움직임 이상치 데이터를 제거하는 단계는,
    상기 시계열 특징 추출부에서 추출된 특징 데이터의 신뢰도를 높이기 위해 시계열 특징의 2 표준편차를 기준으로 움직였다는 판단되는 이상치 데이터를 제거하는 것인 사용자 인증 방법.
  16. 제10항에 있어서,
    상기 사용자 식별 또는 인증은,
    상기 근전도 신호와 상기 관성 측정 장치 신호를 기초로 사용자 개인을 식별(identification)하는 사용자 식별부; 및
    상기 근전도 신호와 상기 관성 측정 장치 신호를 기초로 사용자 개인을 인증(authentication)하는 사용자 인증부
    를 포함하는 사용자 인증 방법.
  17. 제10항에 있어서,
    상기 인공지능 모델은,
    상기 근전도 신호 및 상기 관성 측정 장치 신호를 입력으로 하여 등록된 사용자 개인을 식별하는 선형 판별 분류 모델; 및
    상기 근전도 신호 및 상기 관성 측정 장치 신호를 입력으로 하여 등록된 사용자 개인을 인증하는 앙상블 분류 모델
    을 포함하는 사용자 인증 방법.
  18. 제17항에 있어서,
    상기 인공지능 모델은,
    과적합 문제를 방지하는 5겹 교차 검증을 적용하는 것인 사용자 인증 방법.
PCT/KR2025/001079 2024-07-11 2025-01-20 근전도 신호와 관성 측정 장치 신호를 이용한 휴식 상태 기반 사용자 인증 장치 및 그 방법 Pending WO2026014642A1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR10-2024-0091696 2024-07-11
KR1020240091696A KR102901323B1 (ko) 2024-07-11 2024-07-11 근전도 신호와 관성 측정 장치 신호를 이용한 휴식 상태 기반 사용자 인증 장치 및 그 방법

Publications (1)

Publication Number Publication Date
WO2026014642A1 true WO2026014642A1 (ko) 2026-01-15

Family

ID=98264390

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2025/001079 Pending WO2026014642A1 (ko) 2024-07-11 2025-01-20 근전도 신호와 관성 측정 장치 신호를 이용한 휴식 상태 기반 사용자 인증 장치 및 그 방법

Country Status (2)

Country Link
KR (1) KR102901323B1 (ko)
WO (1) WO2026014642A1 (ko)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20170030139A (ko) * 2015-09-08 2017-03-17 경희대학교 산학협력단 근전도 센서와 관성센서를 사용한 제스처 인식 기반의 모바일 로봇 제어 시스템 및 방법
US20190384901A1 (en) * 2018-06-14 2019-12-19 Ctrl-Labs Corporation User identification and authentication with neuromuscular signatures
KR102278069B1 (ko) * 2019-10-22 2021-07-14 조선대학교산학협력단 근전도 신호 기반 사용자 인증 장치 및 인증 방법
KR20210090986A (ko) * 2020-01-13 2021-07-21 삼성전자주식회사 안정 상태를 확인하는 전자 장치 및 이의 제어 방법

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101307515B1 (ko) 2010-08-23 2013-09-12 인제대학교 산학협력단 생체 신호 인식 장치 및 그 방법
KR102165060B1 (ko) 2013-08-20 2020-10-13 삼성전자주식회사 착용형 생체신호 인터페이스 및 착용형 생체신호 인터페이스의 동작 방법
KR102136836B1 (ko) 2013-09-09 2020-08-13 삼성전자주식회사 생체 신호들을 이용하여 사용자 인증을 수행하는 착용형 기기 및 그 착용형 기기의 인증 방법
US11210376B2 (en) 2017-12-21 2021-12-28 Samsung Electronics Co., Ltd. Systems and methods for biometric user authentication

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20170030139A (ko) * 2015-09-08 2017-03-17 경희대학교 산학협력단 근전도 센서와 관성센서를 사용한 제스처 인식 기반의 모바일 로봇 제어 시스템 및 방법
US20190384901A1 (en) * 2018-06-14 2019-12-19 Ctrl-Labs Corporation User identification and authentication with neuromuscular signatures
KR102278069B1 (ko) * 2019-10-22 2021-07-14 조선대학교산학협력단 근전도 신호 기반 사용자 인증 장치 및 인증 방법
KR20210090986A (ko) * 2020-01-13 2021-07-21 삼성전자주식회사 안정 상태를 확인하는 전자 장치 및 이의 제어 방법

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
LU LIJING; MAO JINGNA; WANG WUQI; DING GUANGXIN; ZHANG ZHIWEI: "A Study of Personal Recognition Method Based on EMG Signal", IEEE TRANSACTIONS ON BIOMEDICAL CIRCUITS AND SYSTEMS, vol. 14, no. 4, 26 June 2020 (2020-06-26), US , pages 681 - 691, XP011806561, ISSN: 1932-4545, DOI: 10.1109/TBCAS.2020.3005148 *
유다영 등. 근전도와 관성측정장치를 이용한 휴식상태 기반 사용자 인증 기술. 2024년도 제63회 대한의용생체공학회 춘계학술대회. 09 May 2024, pp. 192-193, non-official translation (YOO, Da Young et al. Resting State-based User Authentication Technology using Electromyography and Inertial Measurement Devices. 2024 The 63rd Spring Conference of the Korean Society for Biomedical Engineering.) *

Also Published As

Publication number Publication date
KR102901323B1 (ko) 2025-12-16

Similar Documents

Publication Publication Date Title
WO2020226371A1 (ko) 뇌자극을 이용한 편마비 환자 치료용 가상의 손착각 시스템 및 그 구동 방법
WO2016182181A1 (ko) 웨어러블 디바이스 및 웨어러블 디바이스의 피드백 제공 방법
US7963930B2 (en) Methods and devices of multi-functional operating system for care-taking machine
Huang et al. Application of facial electromyography in computer mouse access for people with disabilities
WO2018205424A1 (zh) 基于肌电的生物识别方法、终端及计算机可读存储介质
WO2018093131A1 (ko) 수면 무호흡 측정장치 및 그 방법
WO2017104869A1 (ko) 아이 브레인 인터페이스(ebi) 장치 및 그 제어 방법
Guo et al. A human-machine interface based on single channel EOG and patchable sensor
CN103777752A (zh) 基于手臂肌肉电流检测和运动传感器的手势识别设备
Zongxing et al. Human–machine interaction technology for simultaneous gesture recognition and force assessment: A review
Chowdhury et al. Muscle computer interface: A review
Stanford Biosignals offer potential for direct interfaces and health monitoring
WO2017131318A1 (ko) 수화 인식 시스템 및 방법
WO2016010368A1 (ko) 착용형 제어장치 및 이를 위한 인증 및 페어링 방법
WO2020111344A1 (ko) 근전도 신호를 이용하여 신체동작을 가상의 공간에서 구현하는 시스템 및 방법
CN104267807A (zh) 基于手部动作肌音信号的人机交互方法及交互系统
WO2022039489A1 (ko) 생체 정보의 획득을 위한 방법 및 그 전자 장치
WO2023096417A1 (ko) 전자 장치 및 그 제어 방법
Hariprasath et al. Deep learning algorithm and self-powered tactile sensors for gesture recognition
WO2017090815A1 (ko) 관절 가동 범위를 측정하는 장치 및 방법
WO2018093181A1 (ko) 전자 장치 및 그 제어 방법
Gopichand et al. Human–machine interface for wheelchair control using sEMG signals
WO2026089145A1 (ko) 근전도 신호와 관성 측정 장치 신호를 이용한 가상현실 기반 무자각 지속 사용자 인증 장치 및 그 방법
Moon et al. Face direction-based human-computer interface using image observation and EMG signal for the disabled
Anetha et al. Hand talk-a sign language recognition based on accelerometer and SEMG data

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 25837509

Country of ref document: EP

Kind code of ref document: A1