WO2016089053A1 - 생체 신호를 이용한 사용자 식별 방법 및 장치 - Google Patents
생체 신호를 이용한 사용자 식별 방법 및 장치 Download PDFInfo
- Publication number
- WO2016089053A1 WO2016089053A1 PCT/KR2015/012890 KR2015012890W WO2016089053A1 WO 2016089053 A1 WO2016089053 A1 WO 2016089053A1 KR 2015012890 W KR2015012890 W KR 2015012890W WO 2016089053 A1 WO2016089053 A1 WO 2016089053A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- biosignal
- user
- detected
- group
- user identification
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 61
- 238000001514 detection method Methods 0.000 claims description 16
- 230000036760 body temperature Effects 0.000 claims description 15
- 239000013598 vector Substances 0.000 claims description 9
- 238000011156 evaluation Methods 0.000 description 36
- 230000006870 function Effects 0.000 description 22
- 238000010586 diagram Methods 0.000 description 21
- 238000012706 support-vector machine Methods 0.000 description 10
- 230000008859 change Effects 0.000 description 9
- 238000012880 independent component analysis Methods 0.000 description 7
- 238000000513 principal component analysis Methods 0.000 description 7
- 239000011159 matrix material Substances 0.000 description 6
- 230000001133 acceleration Effects 0.000 description 5
- 238000004891 communication Methods 0.000 description 5
- 238000012937 correction Methods 0.000 description 4
- 238000012545 processing Methods 0.000 description 4
- 238000004458 analytical method Methods 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 2
- 206010003210 Arteriosclerosis Diseases 0.000 description 1
- 201000001320 Atherosclerosis Diseases 0.000 description 1
- 208000011775 arteriosclerosis disease Diseases 0.000 description 1
- 239000008280 blood Substances 0.000 description 1
- 210000004369 blood Anatomy 0.000 description 1
- 230000036772 blood pressure Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000002567 electromyography Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 210000000554 iris Anatomy 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000000737 periodic effect Effects 0.000 description 1
- 230000002085 persistent effect Effects 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 230000010349 pulsation Effects 0.000 description 1
- 230000005236 sound signal Effects 0.000 description 1
- 210000003462 vein Anatomy 0.000 description 1
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/02—Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/74—Details of notification to user or communication with user or patient ; user input means
- A61B5/7475—User input or interface means, e.g. keyboard, pointing device, joystick
Definitions
- the present invention provides a computer-readable recording medium having recorded thereon a program for implementing a method for identifying a user using a biosignal, a device for identifying a user using a biosignal, and a method for identifying a user using a biosignal. It is about.
- the AV device may provide a service suitable for a user's preference, such as recommending a broadcast program of a user's preferred genre or recommending a program in which an user's favorite actor appears.
- user identification is performed by the user selecting a user's identity information by performing a screen tap or a button operation.
- input of a password may be required.
- general user identification imposes a burden on the user such as a screen tap and a button operation, and also a password input, and has a problem in that convenience is inferior. Therefore, in order to reduce the burden on the user when identifying the user, devices equipped with a biometric authentication function have been developed.
- biomatrices such as fingerprints, irises, vein patterns, etc. may generally be used.
- a user identification device using a pulse wave signal as a biosignal has been developed.
- the pulse wave signal is a periodic signal indicating the pulsation of blood ejected from the heart, and the pulse wave signal can be identified by an individual.
- the user identification device using the pulse wave signal can implement hardware at low cost, compared to other user identification devices using the bio matrix, and is currently installed in various consumer devices.
- the disclosed embodiments are directed to providing a user identification method and apparatus for performing user identification according to a pulse wave signal of a user detected during normal activity without requiring a stable state to the user.
- a method of identifying a user using a biosignal includes comparing a biosignal with at least one previously stored reference biosignal to identify a user.
- FIG. 1 is a diagram for describing a method of identifying a user using a biosignal, according to an exemplary embodiment.
- FIG. 2 is a flowchart illustrating a method of identifying a user using a biosignal by a user identification apparatus according to an exemplary embodiment.
- 3A and 3B are diagrams for explaining a change in a pulse wave signal according to a user's operation.
- FIG. 4 is a view for explaining a change in the pulse wave signal according to the user's body temperature.
- 5A and 5B are graphs for describing characteristic amounts of pulse wave signals used for user identification in a user identification apparatus according to an exemplary embodiment.
- FIGS. 6 and 7 are block diagrams of an apparatus for identifying a user, according to an exemplary embodiment.
- FIG. 8 is a flowchart for describing a method of determining, by a user identification device, whether a detected biosignal is valid using a previously stored reference biosignal according to an embodiment.
- FIGS. 9 and 10 are block diagrams of a user identification device according to another exemplary embodiment.
- FIG. 11 is a flowchart illustrating a method of correcting a detected biosignal and identifying a user by using the corrected biosignal, according to an exemplary embodiment.
- FIG. 12 is a block diagram of a user identification device according to another embodiment.
- FIG. 13A is a flowchart of a method of providing, by a user identification device, a service corresponding to a group including a user of a detected biosignal.
- FIG. 13B is a flowchart for describing a method of providing, by a user identification device, a service corresponding to a group including a user of a detected biosignal.
- 14A and 14B are diagrams for describing a biosignal detected by a user identification apparatus and a reference biosignal for each group previously stored in the user identification apparatus, according to an exemplary embodiment.
- 15 and 16 are block diagrams of a user identification device according to another embodiment.
- FIG. 17 is a flowchart illustrating a method of identifying a user in a sequentially determined group after the user identification device detects a biosignal of the user to determine a group including the user.
- FIGS. 18 and 19 are block diagrams of a user identification device according to another embodiment.
- 20 is a flowchart for describing a method of storing, by a user identification device, a detected biosignal in a database, according to an exemplary embodiment.
- 21 and 22 are block diagrams of a user identification device according to another embodiment.
- FIG. 23 is a block diagram of a user identification device according to another embodiment.
- a method of identifying a user using a biosignal may include: detecting a user input; Detecting a biosignal from the sensed user input; Determining whether the detected biosignal is valid based on state information of the user acquired at the time when the user input is detected; And identifying the user by comparing the valid biosignal of the user with at least one previously stored reference biosignal according to the determination result.
- the biosignal includes a pulse wave signal
- the user's state information may include at least one of a user's body temperature, pressure generated by a user input, a user's posture, and an operation. It includes.
- the determining includes determining whether the state information of the user corresponds to a preset detection criterion.
- the at least one reference biosignal is classified into at least one group and stored according to the characteristics of the reference biosignal, and the identifying includes: classifying at least one Among the groups of, a group corresponding to the biosignal of the user is identified, and the user identification method further includes displaying information about the identified group.
- the identifying may include comparing the biosignal of the user with a reference biosignal included in the identified group.
- a method for identifying a user using a biosignal And providing a service based on the obtained service usage information of the group.
- a method of identifying a user using a biosignal may include obtaining service use information of a user identified from previously stored service use information; And providing a service based on the obtained service usage information.
- the user identification method using the biosignal may further include generating a normal biosignal space based on vector information of at least one reference biosignal, and determining the biosignal may include generating the normal biosignal space. Based on the degree of deformation as projected on, it is determined whether the biosignal is valid.
- the user identification method using the biosignal may further include correcting the biosignal when the degree of deformation of the biosignal is within a preset range.
- the user identification method using the biosignal may further include storing the detected biosignal in a database when a reference biosignal corresponding to the detected biosignal does not exist.
- a user identification apparatus using a biosignal may include a sensing unit configured to detect a user input; A detector detecting a biosignal from a detected user input; It is determined whether the detected biosignal is valid based on the user's state information acquired at the time when the user's input is detected, and according to the determination result, the valid biosignal of the user and at least one reference biosignal previously stored are determined. And a control for identifying the user by comparison.
- the biosignal includes a pulse wave signal
- the user's state information includes a user's body temperature, pressure applied to the user identification device by a user input, and a posture and an operation of the user. At least one of the.
- the controller determines whether the state information of the user corresponds to a preset detection criterion.
- the at least one reference biosignal is classified into at least one group and stored according to a characteristic of the reference biosignal, and the controller controls the classified at least one group. Among them, a group corresponding to the biosignal of the user is identified, and the user identification device further includes an output unit displaying information about the identified group.
- the controller compares a reference biosignal included in an identified group with a biosignal of a user.
- a user identification apparatus using a biosignal obtains service use information of a group identified from among service stored information of the at least one group, and provides a service based on the obtained service use information of the group. It further comprises a service provider.
- the apparatus for identifying a user using a biosignal may further include a service providing unit configured to obtain service use information of the identified user from previously stored service use information and to provide a service based on the obtained service use information.
- the controller In the apparatus for identifying a user using a biosignal according to an exemplary embodiment, the controller generates a normal biosignal space based on vector information of at least one reference biosignal, and modifies the biosignal as it is projected onto the normal biosignal space. On the basis of the degree to which it is determined, it is determined whether the biosignal is valid.
- the controller corrects the biosignal when the degree of deformation of the biosignal is within a preset range.
- the controller when there is no reference biosignal corresponding to the detected biosignal, stores the detected biosignal in a database.
- the biosignal refers to information about a signal generated in a user's body.
- the biosignal may include a user's pulse wave, heart rate, fingerprint, voiceprint, blood pressure, nictation, electroencephalogram, electrocardiogram, heart soundness, safety, electromyography and body temperature.
- this is only an embodiment, and the biometric information of the present invention is not limited to the above-described example.
- FIG. 1 is a diagram for describing a method of identifying a user 10 using a biosignal, according to an exemplary embodiment.
- the user identification device 100 (hereinafter, referred to as a user identification device) using the biosignal may detect the biosignal of the user and identify the user 10.
- the user identification device 100 may detect the biosignal from the detected user input.
- the user ID device 100 may detect a biosignal from a drag input pushing in one direction while the user 10 touches the user ID device 100.
- the apparatus 100 for identifying a user may prestore information on at least one user's biosignal.
- the user ID device 100 may store a biosignal previously detected from at least one user (eg, 10).
- the user identification apparatus 100 may store a biosignal obtained from at least one user (eg, 10) through a user interface through which a biosignal may be registered.
- the user identification apparatus 100 may identify the user 10 by comparing the biosignals of at least one user pre-stored with the biosignals of the detected user 10.
- the biosignal of at least one user previously stored in the user identification device 100 will be described as a reference biosignal.
- the user identification device 100 may determine whether the detected biosignal is valid before identifying the user 10 in order to increase the accuracy of the identification. For example, the user identification device 100 may determine whether the biosignal is valid based on state information such as body temperature and posture of the user at the time when the user input is detected. In addition, according to another example, the user identification apparatus 100 may determine whether the detected biosignal is valid by determining a similarity between the characteristics of the previously stored biosignal and the detected biosignal.
- the user identification device 100 may correct the detected biosignal.
- the apparatus 100 for identifying a user may store history information regarding service use of at least one user, together with information about at least one user's biosignal.
- the history information may include information about a service provided by each of the at least one user using the user identification device 100.
- the user identification apparatus 100 is a remote controller
- the channel information of the TV controlled by the user 10 using the remote controller may be included in the history information.
- the user identification apparatus 100 may provide information about a service that the user 10 is likely to execute based on history information about the user 10. have. For example, when the user ID device 100 is a remote controller, the user ID device 100 may control the TV such that information about a channel of the TV that the user enjoys watching may be displayed on the TV.
- the user identification device 100 may be at least one of a remote controller, a smart phone, a tablet terminal, a personal computer (PC), and a wearable user identification device, but is not limited thereto.
- FIG. 2 is a flowchart illustrating a method for identifying a user using a biosignal by the user identification apparatus 100 according to an exemplary embodiment.
- the user identification device 100 detects a user input.
- the user input may be generated by contacting a part of the user's body with the user identification device.
- the user identification device 100 may detect a biosignal from the finger of the user 10.
- the user identification device 100 may detect the biosignal from the drag input of the user 10.
- the user identification device 100 detects a biosignal from a detected user input.
- the user identification device 100 may detect a biosignal of a user from a sensed user input.
- the user identification device 100 may detect a biosignal from the user's index finger when the user holds the user identification device in his hand.
- the biosignal detected here may be a pulse wave signal.
- the user identification apparatus 100 determines whether the detected biosignal is valid based on state information of the user at the time when the input of the user 10 is detected.
- the user identification apparatus 100 may obtain state information of the user 10 at a time when an input of the user 10 is detected.
- the state information may include at least one of a body temperature of the user 10, a pressure (hereinafter, a pressing pressure) generated in the user identification device 100 by a user input, a posture, and an operation of the user 10. .
- the user identification device 100 may obtain state information regarding a user's motion and posture using at least one of a tactile sensor, an acceleration sensor, an angular velocity sensor, and an orientation sensor included in the user identification device 100. have.
- the user identification device 100 may obtain state information regarding a body temperature and a press pressure of the user using a temperature sensor and a pressure sensor included in the user identification device 100.
- the state information of the user 10 is not limited thereto. According to another example, the state information of the user 10 may include at least some of the bio signals detected by the user identification device 100.
- the user identification device 100 may determine whether the detected biosignal is valid based on the acquired state information. For example, the user identification apparatus 100 may determine whether state information regarding the operation and posture of the user acquired at the time when the user input is detected corresponds to a preset detection criterion.
- the user identification apparatus 100 determines whether the state of the user 10 at the time when the user input is detected corresponds to the detection criteria, and determines whether the detected biosignal is valid. Can be.
- the user identification apparatus 100 may determine whether the detected biosignal is valid by using a previously stored reference biosignal. For example, the user identification apparatus 100 may generate a normal biosignal space representing the characteristics of the reference biosignal by using a vector component of the reference biosignal previously stored. The user identification device 100 may determine whether the detected biosignal is valid by projecting the detected biosignal into the generated normal biosignal space.
- the user identification device 100 compares the valid biosignal of the user 10 with at least one reference biosignal previously stored in the user identification device 100 according to the determination result to identify the user.
- the user identification apparatus 100 may compare the detected biosignal with at least one reference biosignal previously stored in the user identification apparatus 100. For example, the user identification apparatus 100 may compare feature values such as waveforms and peak points of the biosignal with feature values of the reference biosignal. On the other hand, this is only one embodiment, the detected biosignal is not limited to the waveform and the peak point of the comparison of the reference biosignal.
- the user identification apparatus 100 may correct the detected biosignal when the error degree of the detected biosignal is within a preset range.
- the user identification device 100 may identify the user 10 by comparing the corrected biosignal with at least one previously stored reference biosignal.
- 3A and 3B are diagrams for explaining a change in a pulse wave signal according to a user's operation.
- the first section represents a section in which the pressing pressure applied to the user identification device 100 is changed from the finger of the user 10.
- the magnitude and waveform of the pulse wave signal detected by the user identification device 100 change according to the change in the pressing pressure.
- the second section represents a case where the finger of the user 10 does not touch the user identification device.
- the third section represents a section in which the user moves.
- the magnitude and waveform of the pulse wave signal detected by the user identification apparatus 100 may be changed.
- the apparatus 100 for identifying a user may apply a pulse wave signal of a section in which user state information corresponding to a detection criterion among the pulse wave signals of a first section and a third section in which a user input is detected. This can be determined by the pulse wave signal.
- the user identification device 100 may obtain status information regarding a posture, an operation, and a pressure of the user by using at least one of a gyro sensor, an acceleration sensor, a digital compass, a temperature sensor, and a force sensor included in the user identification device. have.
- the user identification apparatus 100 may determine whether the acquired state information of the user corresponds to a detection criterion, and determine a valid pulse wave signal among the detected pulse wave signals.
- the user identification apparatus 100 selects a valid pulse wave signal among the detected pulse wave signals and identifies the user 10 so that the contact of the user 10 is temporarily stopped during a period in which a user input is detected.
- the user 10 may be identified even when the waveform of the pulse wave signal is disturbed.
- the user identification apparatus 100 may increase the accuracy of user identification by integrating a valid pulse wave signal even when the pulse wave signal is not continuously detected from the user input.
- FIG. 4 is a view for explaining a change in the pulse wave signal according to the user's body temperature.
- the magnitude, waveform, and period of the pulse wave signal detected by the user identification apparatus 100 may be checked.
- the user identification apparatus 100 may determine whether a user's body temperature is suitable for detecting a valid pulse wave signal, and determine the validity of the detected pulse wave signal according to the determination result. For example, the user identification apparatus 100 may determine whether the measured body temperature of the user 10 corresponds to a preset detection criterion, and determine the validity of the detected pulse wave signal.
- 5A and 5B are graphs for describing a feature amount of a pulse wave signal used for user identification in the user identification apparatus 100 according to an exemplary embodiment.
- the user identification apparatus 100 may determine the magnitude of the poles for the volumetric pulse wave, velocity pulse wave, and acceleration pulse wave from the detected pulse wave signal.
- the user identification apparatus 100 may identify the user by comparing the determined magnitude of the pole with the magnitude of the pole of the pulse wave signal for at least one user previously stored in the user identification device.
- the apparatus 100 for identifying a user may determine a change in waveform and magnitude with respect to time of the detected pulse wave signal.
- the user identification device 100 may identify the user by comparing the change amount of the pulse wave signal with time according to the change amount of the pulse wave signal with respect to at least one user previously stored in the user identification device 100.
- FIGS. 6 and 7 are block diagrams of a user identification apparatus 100 according to an exemplary embodiment.
- the user identification device 100 may include a sensing unit 110, a detector 120, and a controller 130. However, not all illustrated components are essential components. The user identification device 100 may be implemented by more components than the illustrated components, and the user identification device 100 may be implemented by fewer components.
- the user identification device 100 may include a service provider 140 and a memory (not shown) in addition to the sensing unit 110, the detector 120, and the controller 130. It may further include.
- the sensing unit 110 detects a user input.
- the user input may be generated when a part of the user's body contacts the user identification device 100.
- the sensing unit 110 may detect a touch input generated when the user touches the user identification device 100 using a finger.
- the sensing unit 110 may obtain state information including at least one of a user's body temperature, pressing pressure, posture, and motion.
- the sensing unit 110 may include a geomagnetic sensor, an acceleration sensor, a temperature / humidity sensor, an infrared sensor, a gyroscope sensor, a position sensor (eg, a GPS), an air pressure sensor, a proximity sensor, and an RGB sensor.
- the sensor may include at least one of an illumination sensor, a digital compass, and a pulse wave sensor, but is not limited thereto. Since functions of the respective sensors can be intuitively deduced by those skilled in the art from the names, detailed descriptions thereof will be omitted.
- the detector 120 detects a biosignal from the detected user input.
- the detector 120 may detect the pulse wave signal of the user from the touch input or the drag input of the user.
- the controller 130 typically controls the overall operation of the user identification device 100.
- the controller 130 may overall control the sensing unit 110, the detecting unit 120, the service providing unit 140, and the like by executing programs stored in a memory (not shown).
- the controller 130 determines whether the detected biosignal is valid based on the user's state information acquired at the time when the user's input is detected. In addition, the controller 130 identifies the user by comparing the valid biosignal of the user with at least one reference biosignal previously stored in the user identification device according to the determination result.
- the controller 130 may include an evaluation unit 131 and an identification unit 133.
- the evaluation unit 131 may determine whether the detected biosignal is valid.
- the evaluation unit 131 may determine whether the user's state information corresponds to a preset detection criterion. For example, the evaluation unit 131 determines whether the user's body temperature, pressing pressure, posture, and operation corresponding to the body temperature, pressing pressure, posture, and operation according to a preset detection criterion when the user's biosignal is detected. Can be determined. The evaluation unit 131 may determine that the detected biosignal is valid when the state information of the user corresponds to a preset detection criterion.
- the evaluation unit 131 may determine whether the detected biosignal is valid by using the previously stored reference biosignal. For example, the evaluator 131 may generate a normal biosignal space by using the vector components of the previously stored reference biosignals. The evaluation unit 131 projects the detected biosignal into the generated normal biosignal space. The evaluation unit 131 may determine whether the detected biosignal is valid based on a degree of deformation of the biosignal as a result of projecting the biosignal into the normal biosignal space.
- the evaluation unit 131 may select some biosignals determined to be valid from the detected biosignals. In addition, according to another exemplary embodiment, the evaluation unit 131 may correct the detected biosignal if it is determined that the detected biosignal is invalid.
- the identification unit 133 may compare the detected biosignal with at least one reference biosignal previously stored in the user identification apparatus 100. For example, the identification unit 133 may compare feature values such as waveforms and peak points of the biosignal with feature values of the reference biosignal.
- the identification unit 133 may determine a user corresponding to the reference biosignal having the highest similarity as the user of the detected biosignal based on the comparison result.
- the service provider 140 may provide the user with a service that the user is likely to execute based on the history information about the user identified by the controller 130. For example, when the user ID device 100 is a remote controller, the service provider 140 may control the TV so that information about a channel of the TV that the user enjoys watching may be displayed on the TV.
- the service providing unit 140 may include a communication unit and an output unit.
- the communication unit may communicate with information about a service that the user is likely to execute or with another user identification device capable of providing the service.
- the communication unit may include at least one of a local area communication unit, a mobile communication unit, and a broadcast receiving unit.
- the output unit is for outputting an audio signal, a video signal, or a vibration signal.
- the output unit may include a display unit, a sound output unit, and a vibration motor.
- FIG. 8 is a flowchart for describing a method of determining, by a user identification device, whether a detected biosignal is valid using a previously stored reference biosignal according to an embodiment.
- the user identification device may detect a biosignal from a user input sensed by the user identification device.
- step S810 may correspond to step S220 described above with reference to FIG. 2.
- the user identification device may generate a normal biosignal space based on vector information of at least one reference biosignal previously stored.
- the user identification device may read at least one reference biosignal available for user identification from a memory.
- the user identification device may generate a normal biosignal space using at least one reference biosignal.
- the detected biosignal when the detected biosignal is valid, the detected biosignal may be represented as a first-order bond of a normal orthogonal basis of the normal biosignal space.
- the apparatus for identifying a user may determine whether the biosignal is valid based on the degree of deformation as the biosignal is projected onto the normal biosignal space.
- the apparatus for identifying a user may determine whether the detected biosignal is valid by using whether the detected biosignal may be represented as a primary combination of a normal orthogonal basis of the normal biosignal space.
- the apparatus for identifying a user may calculate a value of a loss function L (x) for the detected biosignal x based on Equation 1 below.
- the loss function is a function for evaluating the similarity of a biosignal. As the biosignal to which the user is identified and the reference biosignal are similar, the loss function may have a smaller value.
- U is a normal orthogonal basis representing a subspace of the normal biosignal space.
- U may be expressed as an eigenvector corresponding to N eigenvalues with a large efficiency matrix calculated from previously stored reference biosignals.
- the user identification device may determine that the detected biosignal is valid.
- the user identification device may identify the user by comparing the valid biosignal of the user with at least one reference biosignal previously stored in the user identification device.
- the user identification device may identify a user by using a biosignal determined to be valid.
- the user identification device may identify a user by using independent component analysis or principal component analysis on a peak waveform of a valid biosignal.
- SVM Support Vector Machine
- LDA Linear Discriminant Analysis
- KNN K-Nearest Neighbor
- MSM Mutual Subspace Method
- the reference biosignal may be an acceleration waveform of a pulse wave signal detected from at least one user.
- the reference biosignal may be a normal orthogonal basis obtained by frequency-analyzing a pulse wave signal detected from at least one user.
- the reference biosignal may be at least one of the normal orthogonal basis of the subspace constructed from the valid pulse wave signal, the covariance matrix of the pulse wave signal, and the efficiency matrix.
- the user identification device can efficiently store the reference biosignal by storing the reference biosignal in the form of a normal orthogonal basis, a covariance matrix of the pulse wave signal, and an efficiency matrix.
- the calculation amount of the user identification device may also be reduced accordingly.
- the reference biosignal may include an invalid biosignal.
- the user identification device may update the reference biosignal with the detected biosignal.
- the apparatus for identifying a user may provide a service corresponding to the identified user.
- the apparatus for identifying a user may provide information or a service regarding a service that a user is likely to execute based on history information about the identified user.
- FIGS. 9 and 10 are block diagrams of a user identification apparatus 900 according to another exemplary embodiment.
- the user identification apparatus 900 may include a detector 910, a controller 920, and a service provider 930. However, not all illustrated components are essential components.
- the user identification device 900 may be implemented by more components than the illustrated components, and the user identification device 900 may be implemented by fewer components.
- the detector 910 may detect a biosignal from a user input.
- the detector 910 may detect the pulse wave signal of the user from the user input.
- the controller 920 may determine whether the detected biosignal of the user is valid. In addition, the controller 920 may identify the user by using the biosignal determined to be valid.
- the controller 920 may include an evaluation unit 921 and an identification unit 925.
- the evaluation unit 921 may determine whether the detected biosignal of the user is valid.
- the evaluation unit 921 may include an evaluation operation unit 922 and a biosignal storage unit 923.
- the evaluation operator 922 may generate a normal biosignal space using the reference biosignal stored in the biosignal storage 923.
- the evaluation operator 922 may determine whether the detected biosignal may be expressed as a first-order combination of a normal orthogonal basis of the normal biosignal space. For example, the evaluation operator 922 may determine whether the detected biosignal is valid using a value of a loss function calculated based on the normal orthogonal basis and the detected reference biosignal.
- the biosignal storage 923 may store reference biosignals for at least one user.
- the biosignal storage unit 923 may store the biosignal of at least one user, previously acquired, with the information about the at least one user as a reference biosignal.
- the learner 924 may be further included in the evaluator 921 of the user identification device 900 according to another exemplary embodiment.
- the learner 924 may update the biosignal stored in the biosignal storage 923. Accordingly, valid biosignals are accumulated and stored in the biosignal storage unit 923 of the user identification device 900, so that even when the biosignals are stored incorrectly, the accuracy of user identification may be increased.
- the identification unit 925 may compare the detected biosignal with at least one reference biosignal previously stored in the user identification device 900.
- the identification unit 925 may determine a user corresponding to the reference biosignal having the highest similarity as the user of the detected biosignal based on the comparison result. For example, the identification unit 925 may identify a user by using independent component analysis or principal component analysis on the peak waveform of the valid biosignal. However, this is only an example, and support vector machine (SVM), linear discriminant analysis (LDA), K-recent method (KNN), and mutual subspace method (SVM) are used to identify a user based on valid biosignals. Can be used.
- SVM support vector machine
- LDA linear discriminant analysis
- KNN K-recent method
- SVM mutual subspace method
- the service provider 930 may provide information or a service about a service that the user is likely to execute based on the history information about the user identified by the controller 930.
- FIG. 11 is a flowchart illustrating a method of correcting a detected biosignal and identifying a user by using the corrected biosignal, according to an exemplary embodiment.
- the user identification device may detect a biosignal from a user input sensed by the user identification device.
- step S1110 may correspond to step S220 described above with reference to FIG. 2.
- the user identification device may determine whether the detected biosignal is valid.
- the apparatus for identifying a user may determine whether the detected biosignal is valid based on whether the detected biosignal may be represented as a primary combination of a normal orthogonal basis of the normal biosignal space. For example, the user identification device may calculate a value of a loss function for the detected biosignal. The user identification device may determine that the detected biosignal is valid when the value of the calculated loss function is within a preset threshold range.
- the user identification device may correct the biosignal based on the determination result.
- the user identification device may determine that the detected biosignal is valid.
- the user identification device may not correct the biosignal as it is determined that the detected biosignal is valid.
- the user identification device may correct the detected biosignal. For example, the user identification device may perform correction by orthogonally projecting the detected biosignal into the normal biosignal space according to Equation 2 below.
- U is a normal orthogonal basis representing a subspace of the normal biosignal space.
- U may be expressed as an eigenvector corresponding to N eigenvalues with large efficiency matrices calculated from previously stored reference biosignals. Also Denotes a result of performing a transpose operation on U, and x denotes a detected biosignal.
- the user identification device may remove components not associated with the normal biosignal space from the detected biosignal.
- the user identification device may not use the detected biosignal for user identification.
- the user identification device may more easily perform user identification by correcting the detected biosignal.
- the apparatus for identifying a user may identify the user by comparing the corrected biosignal with at least one previously stored reference biosignal.
- step S1140 may correspond to step S840 described above with reference to FIG. 8.
- the apparatus for identifying a user may provide a service corresponding to the identified user to the user.
- the apparatus for identifying a user may provide a service that is highly likely to be executed by a user based on history information about the identified user.
- step S1150 may correspond to step S850 described above with reference to FIG. 8.
- FIG. 12 is a block diagram of a user identification apparatus 1200 according to another exemplary embodiment.
- the user identification device 1200 may include a detector 1210, a controller 1220, and a service provider 1230. However, not all illustrated components are essential components. The user identification device 1200 may be implemented by more components than the illustrated components, and the user identification device 1200 may be implemented by fewer components.
- the detector 1210 may detect a biosignal from a user input.
- the detector 1210 may detect a pulse wave signal of a user from a user input.
- the controller 1220 may determine whether the detected biosignal of the user is valid. In addition, the controller 1220 may identify the user by using the biosignal determined to be valid.
- the controller 1220 may include an evaluation unit 1221 and an identification unit 1227.
- the evaluation unit 1221 may determine whether the detected biosignal of the user is valid.
- the evaluation unit 1221 may include an evaluation operation unit 1222, a biosignal storage unit 923, a learning unit 1224, and a correction unit 1225.
- the evaluation calculator 1222 may generate a normal biosignal space using the reference biosignal stored in the biosignal storage 1223.
- the evaluation operation unit 1222 may determine whether the detected biosignal may be expressed as a first-order combination of a normal orthogonal basis of the normal biosignal space.
- the evaluation operator 1222 may determine whether the detected biosignal is valid using a value of a loss function calculated based on the normal orthogonal basis and the detected reference biosignal. When the value of the loss function calculated for the detected biosignal is less than the first threshold value, the evaluation operation unit 1222 may determine that the detected biosignal is valid. The evaluation calculator 1222 may provide the biosignal to the identification unit 1227 according to the determination that the detected biosignal is valid. Accordingly, when the biosignal is valid, the biosignal may not be corrected. .
- the evaluation operator 1222 may provide the detected biosignal to the corrector 1225. Can be.
- the biosignal storage 1223 may store a reference biosignal for each of at least one user.
- the learner 1224 may update the biosignal stored in the biosignal storage 1223.
- the correction unit 1225 may perform correction by orthogonally projecting the detected biosignal into the normal biosignal space.
- the identification unit 1227 may compare the detected biosignal with at least one reference biosignal previously stored in the user identification device 1200.
- the identification unit 1227 may determine a user corresponding to the reference biosignal having the highest similarity as the user of the detected biosignal based on the comparison result. Meanwhile, the identification unit 1227 may correspond to the identification unit 925 described above with reference to FIG. 9.
- the service provider 1230 may provide information or a service regarding a service that the user is likely to execute based on the history information about the user identified by the controller 1220.
- FIG. 13A is a flowchart of a method of providing, by a user identification device, a service corresponding to a group including a user of a detected biosignal.
- the user identification device may detect the biosignal from the detected user input.
- step S1310 may correspond to step S210 described above with reference to FIG. 2.
- the user identification device may identify a group corresponding to the biosignal of the user.
- the user identification device may determine whether the detected biosignal is valid. For example, the user identification device may determine whether the acquired state information corresponds to a preset detection criterion, and determine whether the detected biosignal is valid. According to another example, the user identification device may determine whether the detected biosignal is valid by calculating a loss function value of the detected biosignal based on the previously stored reference biosignal.
- the user identification apparatus may compare the stored reference biosignal with the previously stored reference biosignal.
- the group may be classified based on the gender and age of the user.
- the user identification device may compare the waveform data of the reference biosignals of the groups A to G with the detected biosignals.
- the user identification device may select a group in which the distance between vectors with respect to the peak waveform amplitude of the detected biosignal is minimum among the reference biosignals of G in the group A.
- the user identification device may be Independent Component Analysis (ICA), Support Vector Machine (SVM), Principal Component Analysis (PCA), Linear Discriminant Analysis (LDA), or K-Nearest Neighbor (KNN).
- ICA Independent Component Analysis
- SVM Support Vector Machine
- PCA Principal Component Analysis
- LDA Linear Discriminant Analysis
- KNN K-Nearest Neighbor
- a group including a user may be selected using an identification technique such as a mutual subspace method (MSM).
- MSM mutual subspace method
- the apparatus for identifying a user may provide a service determined according to service use information of the identified group.
- the user identification device may provide the user with channel history information, broadcast preference information, and the like of a group including the user.
- the apparatus for identifying a user may store history information on what service a user belonging to a specific group has been provided using the apparatus for identifying a user, and thus may provide a user-customized service based on the history information.
- the user identification device is a TV remote control
- information may be selectively provided for each group, such as a menu screen or a voice guide of a television.
- the user identification device may select and provide a TV operation history or a program viewing history for each group to a user.
- the user identification device may provide a service to a user in consideration of a hobby, a preference, or a user's skill of operating a remote controller.
- FIG. 13B is a diagram for describing a method of providing, by the user identification device 1300, a service corresponding to a group including a user of a detected biosignal.
- the user identification device 1300 may detect a biosignal from a sensed user input.
- the user identification device 1300 may identify a group corresponding to the biosignal of the user.
- the user identification device 1300 may determine whether the detected biosignal is valid. In addition, if it is determined that the detected biosignal is valid, the user identification device 1300 may compare the previously stored reference biosignal for each group with the detected biosignal. Here, the group may be classified based on the gender and age of the user.
- the user identification device 1300 may compare waveform data of the reference biosignals of the group A 1310, the group B 1320, the group C 1330, and the group D 1340 with the detected biosignals. have.
- information about the group A 1310, the group B 1320, the group C 1330, and the group D 1340 may be displayed on the output unit of the user identification device 1300.
- the apparatus for identifying a user may select a group A 1310 having a minimum distance between vectors with respect to the peak waveform amplitude of the detected biosignal among the reference biosignals of each of the groups.
- this is only an example and other feature amounts other than the amplitude of the peak waveform may be compared.
- the user identification device may identify the group A 1310 in which the user is selected, such as highlighting a thumbnail image for the group A 1310 so that the user can confirm that the group A 1310 is selected. Can be displayed.
- 14A and 14B are diagrams for describing a biosignal detected by a user identification apparatus and a reference biosignal for each group previously stored in the user identification apparatus, according to an exemplary embodiment.
- the apparatus for identifying a user may identify heights of points a, b, c, and d corresponding to an inflection point in the detected biosignal.
- the user identification device may classify the seven types into seven types in descending order of the value of (-b / a).
- a large (-b / a) value represents a state without arteriosclerosis
- a small one represents a state in which atherosclerosis has advanced. That is, it can be confirmed that the age increases sequentially from group A to group G.
- 15 and 16 are block diagrams of a user identification apparatus 1500 according to another exemplary embodiment.
- the user identification apparatus 1500 may include a detector 1510, a controller 1530, and a service provider 1550. However, not all illustrated components are essential components.
- the user identification device 1500 may be implemented by more components than the illustrated components, and the user identification device 1500 may be implemented by fewer components.
- the user identification device 1500 may further include an evaluator 1520 in addition to the detector 1510, the controller 1530, and the service provider 1550.
- the detector 1510 may detect a biosignal from a user input.
- the detector 1510 may detect a pulse wave signal of the user from the user input.
- the evaluation unit 1520 may determine whether the detected biosignal is valid. For example, the evaluation unit 1520 may determine whether the state information acquired at the time when the user input is detected corresponds to a preset detection criterion, and determine whether the detected biosignal is valid. According to another example, the evaluation unit 1520 may determine whether the detected biosignal is valid by calculating a loss function value of the detected biosignal based on the stored reference biosignal.
- the controller 1530 may identify the user by using the detected biosignal of the user.
- the controller 1530 may include a group identification unit 1531 and a biosignal storage unit 1532.
- the group identification unit 1531 may compare the previously stored reference biosignals with the detected biosignals.
- the group may be classified based on the gender and age of the user.
- the group identification unit 1531 may read waveform data of reference biosignals of groups A to G and compare the waveform data with the detected biosignals.
- the group identification unit 1531 may be configured as ICA, SVM, PCA, LDA, KNN.
- An identification technique such as MSM may be used to select a group in which the user is included.
- the biosignal storage unit 1532 may store at least one of a reference biosignal for each group and a feature amount of the reference biosignal classified based on gender or age.
- the group identifier 1531 may include a user without extracting the feature quantity of the biosignal from the reference biosignal. Identify groups.
- the biosignal storage unit 1532 may store the feature amount of the reference biosignal rather than the entire reference biosignal, thereby reducing the capacity of the memory required for storage.
- the service provider 1550 may provide information or a service regarding a service that the user is likely to execute based on the history information about the user identified by the controller 1530.
- FIG. 17 is a flowchart illustrating a method of identifying a user in a sequentially determined group after the user identification device detects a biosignal of the user to determine a group including the user.
- the user identification device may detect a biosignal from a user input sensed by the user identification device.
- step S1710 may correspond to step S220 described above with reference to FIG. 2.
- the user identification device may identify a group corresponding to the biosignal of the user.
- the apparatus for identifying a user may compare the stored reference biosignal with a reference biosignal for each group.
- the group may be classified based on the gender and age of the user.
- the user identification device may select a group corresponding to the reference biosignal having the highest similarity to the characteristic of the detected biosignal based on the comparison result.
- step S1720 may correspond to step S1320 described above with reference to FIG. 13.
- the user identification device may identify the user by comparing the reference biosignal included in the identified group with the biosignal of the user.
- the apparatus for identifying a user may compare the reference biosignal of the at least one user included in the identified group with the biosignal of the user. For example, the apparatus for identifying a user may compare the detected biosignal with a feature amount of a biosignal such as a peak waveform period, an inflection point, and a waveform size of the reference biosignal of the at least one user included in the group.
- a feature amount of a biosignal such as a peak waveform period, an inflection point, and a waveform size of the reference biosignal of the at least one user included in the group.
- the apparatus for identifying a user may identify a user of the reference biosignal having the highest similarity with the detected biosignal as the user of the detected biosignal based on the comparison result.
- the apparatus for identifying a user first selects a group that is likely to be included in a user, and then compares the detailed feature amounts of the detected biosignals with the reference biosignals included in the selected group, thereby calculating the amount of computation required for user identification. Can be reduced.
- the user identification device may identify a user by selecting a specific identification scheme for the reference biosignals included in the selected group.
- the user identification device may provide a service corresponding to the identified user.
- the apparatus for identifying a user may provide a user with a service which the user is likely to execute based on history information about the identified user.
- the service provider may control the TV so that information about a channel of the TV that the user enjoys watching may be displayed on the TV.
- FIGS. 18 and 19 are block diagrams of a user identification device 1800 according to another embodiment.
- the user identification device 1800 may include a detector 1810, a controller 1830, and a service provider 1850. However, not all illustrated components are essential components. The user identification device 1800 may be implemented by more components than the illustrated component, and the user identification device 1800 may be implemented by fewer components.
- the user identification device 1800 may further include an evaluation unit 1820 in addition to the detector 1810, the controller 1830, and the service provider 1850.
- the detector 1810 may detect a biosignal from a user input.
- the detector 1810 may detect a pulse wave signal of the user from the user input.
- the evaluation unit 1820 may determine whether the detected biosignal is valid. For example, the evaluation unit 1820 may determine whether the state information acquired at the time when the user input is detected corresponds to a preset detection criterion, and determine whether the detected biosignal is valid. According to another example, the evaluation unit 1820 may determine whether the detected biosignal is valid by calculating a loss function value of the detected biosignal based on the stored reference biosignal.
- the controller 1830 may identify the user by using the detected biosignal of the user.
- the controller 1830 may include a group identification unit 1831, a biosignal storage unit 1832, and a personal identification unit 1833.
- the group identification unit 1831 may compare the previously stored reference biosignals with the detected biosignals.
- the group may be classified based on the gender and age of the user.
- the group identification unit 1831 may read waveform data of reference biosignals of groups A to G and compare the waveform data with the detected biosignals.
- the group identification unit 1831 may be configured by ICA, SVM, PCA, LDA, KNN.
- An identification technique such as MSM may be used to select a group in which the user is included.
- the biosignal storage unit 1832 may store at least one of a reference biosignal for each group and a feature amount of the reference biosignal classified based on gender or age.
- the group identification unit 1831 may include a user without extracting the feature quantity of the biosignal from the reference biosignal. Identify groups.
- the personal identifier 1833 may identify the user by comparing the user's biosignal with a reference biosignal included in the identified group. According to an exemplary embodiment, the personal identifier 1833 may compare the reference biosignal of the at least one user included in the identified group with the biosignal of the user. The personal identifier 1833 may identify the user of the reference biosignal having the highest similarity with the detected biosignal as the user of the detected biosignal, based on the comparison result.
- the service provider 1850 may provide information or a service about a service that the user is likely to execute based on the history information about the user identified by the controller 1830.
- 20 is a flowchart for describing a method of storing, by a user identification device, a detected biosignal in a database, according to an exemplary embodiment.
- the apparatus for identifying a user may detect a biosignal from a user input sensed by the device.
- step S2010 may correspond to step S220 described above with reference to FIG. 2.
- the user identification device may store the detected biosignal in the database.
- the apparatus for identifying a user may determine whether the detected biosignal corresponds to a previously stored reference biosignal. If there is a reference biosignal corresponding to the detected biosignal, the user identification device may identify the user using the detected biosignal.
- the user identification device may store the detected biosignal in the database.
- the user identification device may store the detected biosignal and the user's information together. For example, as it is determined that there is no reference biosignal corresponding to the detected biosignal, the user identification device may provide a user interface for inputting user information.
- 21 and 22 are block diagrams of a user identification device 2100 according to another exemplary embodiment.
- the user identification device 2100 may include a detector 2110, a controller 2130, and a service provider 2150. However, not all illustrated components are essential components. The user identification device 2100 may be implemented by more components than the illustrated components, and the user identification device 2100 may be implemented by fewer components.
- the user identification device 2100 may further include an evaluator 2120 in addition to the detector 2110, the controller 2130, and the service provider 2150.
- the detector 2110 may detect a biosignal from a user input.
- the detector 2110 may detect a pulse wave signal of a user from a user input.
- the evaluation unit 2120 may determine whether the detected biosignal is valid. For example, the evaluator 2120 may determine whether the state information acquired at the time when the user input is detected corresponds to a preset detection criterion, and determine whether the detected biosignal is valid. According to another example, the evaluation unit 2120 may determine whether the detected biosignal is valid by calculating a loss function value of the detected biosignal on the basis of the previously stored reference biosignal.
- the controller 2130 may identify the user by using the detected biosignal of the user.
- the controller 2130 may include a registration information identification unit 2131, a biosignal storage unit 2132, and an identification unit 2133.
- the registration information identification unit 2131 may determine whether the detected biosignal corresponds to a reference biosignal previously stored in the biosignal storage 2132.
- the registration information identifying unit 2131 may store the detected biosignal in the biosignal storage 2132 when there is no reference biosignal corresponding to the detected biosignal among the prestored reference biosignals.
- the registration information identifying unit 2131 may store the detected biosignal and the user's information together.
- the biosignal storage 2132 may store at least one of a reference biosignal of the at least one user and a feature amount of the reference biosignal.
- the identification unit 2133 may identify the user by comparing the reference biosignal previously stored in the biosignal storage unit 2132 with the detected biosignal.
- the service provider 2150 may provide information or a service regarding a service that the user is likely to execute based on the history information about the user identified by the controller 2130.
- FIG. 23 is a block diagram of a user ID device 2300 according to another exemplary embodiment.
- the user identification device 2300 may include a detector 2310, a controller 2320, and a service provider 2330. However, not all illustrated components are essential components. The user identification device 2300 may be implemented by more components than the illustrated components, and the user identification device 2300 may be implemented by fewer components.
- the detector 2310 may detect a biosignal from a user input.
- the detector 2310 may detect a pulse wave signal of the user from the user input.
- the controller 2320 may identify the user by using the detected biosignal of the user.
- the controller 2320 may include a registration information identification unit 2321, a biosignal storage unit 2232, a group identification unit 2323, and a personal identification unit 2324.
- the registration information identification unit 2321 may determine whether the detected biosignal corresponds to a reference biosignal previously stored in the biosignal storage 2232. When there is no reference biosignal corresponding to the detected biosignal among the previously stored reference biosignals, the registration information identifier 2321 may store the detected biosignal in the biosignal storage 2232. In addition, the registration information identifying unit 2321 may store the detected biosignal and the user's information together.
- the biosignal storage 2232 may store at least one of a reference biosignal of the at least one user and a feature amount of the reference biosignal.
- the group identification unit 2323 may compare the previously stored reference biosignals with the detected biosignals.
- the group may be classified based on the gender and age of the user.
- the apparatus for identifying a user may read waveform data of reference biosignals of groups A to G and compare the waveform data with the detected biosignals.
- this is only an example, and other feature amounts other than the amplitude of the peak waveform may be compared.
- ICA ICA, SVM, PCA, LDA, KNN.
- An identification technique such as MSM may be used to select a group in which the user is included.
- the personal identifier 2324 may identify the user by comparing the reference biosignal included in the identified group with the biosignal of the user.
- the personal identifier 2324 may compare the reference biosignal of the at least one user included in the identified group with the biosignal of the user.
- the personal identifier 2324 may identify the user of the reference biosignal having the highest similarity with the detected biosignal as the user of the detected biosignal based on the comparison result.
- the service provider 2330 may provide information or a service about a service that the user is likely to execute based on the history information about the user identified by the controller 2320.
- Method according to an embodiment of the present invention is implemented in the form of program instructions that can be executed by various computer means may be recorded on a computer readable medium.
- the computer readable medium may include program instructions, data files, data structures, etc. alone or in combination.
- Program instructions recorded on the media may be those specially designed and constructed for the purposes of the present invention, or they may be of the kind well-known and available to those having skill in the computer software arts.
- Examples of computer-readable recording media include magnetic media such as hard disks, floppy disks, and magnetic tape, optical media such as CD-ROMs, DVDs, and magnetic disks, such as floppy disks.
- Examples of program instructions include not only machine code generated by a compiler, but also high-level language code that can be executed by a computer using an interpreter or the like.
- a device may include a processor, a memory for storing and executing program data, a persistent storage such as a disk drive, a communication port for communicating with an external device, a touch panel, a key, a user interface such as a button Device and the like.
- Methods implemented by software modules or algorithms may be stored on a computer readable recording medium as computer readable codes or program instructions executable on the processor.
- the computer-readable recording medium may be a magnetic storage medium (eg, read-only memory (ROM), random-access memory (RAM), floppy disk, hard disk, etc.) and an optical reading medium (eg, CD-ROM). ) And DVD (Digital Versatile Disc).
- the computer readable recording medium can be distributed over network coupled computer systems so that the computer readable code is stored and executed in a distributed fashion.
- the medium is readable by the computer, stored in the memory, and can be executed by the processor.
- An embodiment may be represented by functional block configurations and various processing steps. Such functional blocks may be implemented in various numbers of hardware or / and software configurations that perform particular functions.
- an embodiment may include an integrated circuit configuration such as memory, processing, logic, look-up table, etc. that may execute various functions by the control of one or more microprocessors or other control devices. You can employ them.
- an embodiment may employ the same or different types of cores, different types of CPUs.
- Similar to the components in the present invention may be implemented in software programming or software elements, embodiments include C, C ++, including various algorithms implemented in combinations of data structures, processes, routines or other programming constructs. It may be implemented in a programming or scripting language such as Java, an assembler, or the like.
- the functional aspects may be implemented with an algorithm running on one or more processors.
- the embodiment may employ the prior art for electronic configuration, signal processing, and / or data processing.
- Terms such as “mechanism”, “element”, “means”, “configuration” can be used widely and are not limited to mechanical and physical configurations. The term may include the meaning of a series of routines of software in conjunction with a processor or the like.
- connection or connection members of the lines between the components shown in the drawings by way of example shows a functional connection and / or physical or circuit connections, in the actual device replaceable or additional various functional connections, physical It may be represented as a connection, or circuit connections.
- such as "essential”, “important” may not be a necessary component for the application of the present invention.
Landscapes
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biomedical Technology (AREA)
- Heart & Thoracic Surgery (AREA)
- Physiology (AREA)
- Biophysics (AREA)
- Pathology (AREA)
- Engineering & Computer Science (AREA)
- Cardiology (AREA)
- Physics & Mathematics (AREA)
- Medical Informatics (AREA)
- Molecular Biology (AREA)
- Surgery (AREA)
- Animal Behavior & Ethology (AREA)
- General Health & Medical Sciences (AREA)
- Public Health (AREA)
- Veterinary Medicine (AREA)
- Measuring Pulse, Heart Rate, Blood Pressure Or Blood Flow (AREA)
Abstract
사용자 입력을 감지하고, 감지된 사용자의 입력으로부터 생체 신호를 검출하며, 사용자의 입력이 감지된 시점에 획득된 사용자의 상태 정보를 기초로, 검출된 생체 신호가 유효한지 여부를 판단하고, 판단 결과에 따라, 생체 신호와 기 저장된 적어도 하나의 참조 생체 신호를 비교하여 사용자를 식별하는 단계를 포함하는 생체 신호를 이용한 사용자 식별 방법이 개시된다.
Description
본 발명은 생체 신호를 이용하여 사용자를 식별하는 방법, 생체 신호를 이용하여 사용자를 식별하는 장치 및 생체 신호를 이용하여 사용자를 식별하는 방법을 구현하기 위한 프로그램이 기록된 컴퓨터로 판독 가능한 기록매체에 관한 것이다.
최근, 사용자를 식별하는 기술은 태블릿 PC나 스마트 폰 등의 개인 휴대 단말기 뿐 아니라 텔레비전 장치나 비디오 레코더 등의 AV(Audio-Visual) 기기에도 이용되고 있다. 예컨대, AV 기기는 사용자를 식별함으로써, 사용자가 선호하는 장르의 방송 프로그램을 추천하거나, 사용자가 선호하는 배우가 등장하는 프로그램을 추천하는 등 사용자의 기호에 맞는 서비스를 제공할 수 있다.
일반적으로 사용자 식별은, 사용자가 화면 탭이나 버튼 조작을 하여 사용자의 신원 정보를 선택함으로써 행해진다. 또한, 타인이 사용자의 신원 정보를 이용하는 것을 방지하기 위해, 패스워드의 입력이 요구될 수 있다. 이와 같이, 일반적인 사용자 식별은, 화면 탭이나 버튼 조작, 나아가 패스워드 입력 등 사용자의 부담을 강요하여, 편의성이 떨어진다는 문제점이 있다. 따라서, 사용자 식별 시 사용자의 부담을 경감하기 위해, 생체 인증 기능을 탑재한 기기들이 개발되고 있다.
생체 인증을 위해, 일반적으로 지문, 홍채, 정맥 패턴 등의 바이오 매트릭스가 이용될 수 있다. 또한, 최근에는 생체 신호로서 맥파 신호를 이용한 사용자 식별 기기가 개발되고 있다. 맥파 신호란, 심장으로부터 박출되는 혈액의 맥동을 나타내는 주기적인 신호로서, 개인에 따라 맥파 신호의 식별이 가능하다. 맥파 신호를 이용한 사용자 식별 기기는 다른 바이오 매트릭스를 이용하는 사용자 식별 기기에 비해, 저비용으로 하드웨어를 구현할 수 있어, 다양한 컨슈머(consumer) 기기에 탑재되고 있는 실정이다.
개시된 실시예는 사용자에게 안정된 상태를 요구하지 않고도, 통상의 활동 중에 검출된 사용자의 맥파 신호에 따라 사용자 식별을 수행하는 사용자 식별 방법 및 장치를 제공하는 것을 목적으로 한다.
사용자 입력을 감지하고, 감지된 사용자의 입력으로부터 생체 신호를 검출하며, 사용자의 입력이 감지된 시점에 획득된 사용자의 상태 정보를 기초로, 검출된 생체 신호가 유효한지 여부를 판단하고, 판단 결과에 따라, 생체 신호와 기 저장된 적어도 하나의 참조 생체 신호를 비교하여 사용자를 식별하는 단계를 포함하는 생체 신호를 이용한 사용자 식별 방법이 개시된다.
도 1은 일 실시예에 따라 생체 신호를 이용하여 사용자를 식별하는 방법을 설명하기 위한 도면이다.
도 2는 일 실시예에 따른 사용자 식별 장치가 생체 신호를 이용하여 사용자를 식별하는 방법을 설명하기 위한 흐름도이다.
도 3a 및 3b는 사용자의 동작에 따른 맥파 신호의 변화를 설명하기 위한 도면이다.
도 4는 사용자의 체온에 따른 맥파 신호의 변화를 설명하기 위한 도면이다.
도 5a 및 5b는 일 실시예에 따라 사용자 식별 장치에서 사용자 식별에 이용하는 맥파 신호의 특징량을 설명하기 위한 그래프이다.
도 6 및 7은 일 실시예에 따른 사용자 식별 장치의 블록도이다.
도 8은 일 실시예에 따른 사용자 식별 장치가 기 저장된 참조 생체 신호를 이용하여 검출된 생체 신호가 유효한 지 여부를 판단하는 방법을 설명하기 위한 흐름도이다.
도 9 및 10은 다른 실시예에 따른 사용자 식별 장치의 블록도이다.
도 11은 일 실시예에 따른 사용자 식별 장치가 검출된 생체 신호를 보정하고, 보정된 생체 신호를 이용하여 사용자를 식별하는 방법을 설명하기 위한 흐름도이다.
도 12는 다른 실시예에 따른 사용자 식별 장치의 블록도이다.
도 13a는 일 실시예에 따른 사용자 식별 장치가 검출된 생체 신호의 사용자가 포함된 그룹에 대응되는 서비스를 제공하는 방법을 설명하기 위한 흐름도이다.
도 13b는 일 실시예에 따른 사용자 식별 장치가 검출된 생체 신호의 사용자가 포함된 그룹에 대응되는 서비스를 제공하는 방법을 설명하기 위한 흐름도이다.
도 14a 및 14b는 일 실시예에 따른 사용자 식별 장치에서 검출된 생체 신호 및 사용자 식별 장치에 미리 저장된 그룹 별 참조 생체 신호를 설명하기 위한 도면이다.
도 15 및 16은 다른 실시예에 따른 사용자 식별 장치의 블록도이다.
도 17은 일 실시예에 따른 사용자 식별 장치가 사용자의 생체 신호를 검출하여, 사용자가 포함된 그룹을 결정한 후에, 순차적으로 결정된 그룹 내에서 사용자를 식별하는 방법을 설명하기 위한 흐름도이다.
도 18 및 19는 다른 실시예에 따른 사용자 식별 장치의 블록도이다.
도 20은 일 실시예에 따른 사용자 식별 장치가 검출된 생체 신호를 데이터 베이스에 저장하는 방법을 설명하기 위한 흐름도이다.
도 21 및 22는 다른 실시예에 따른 사용자 식별 장치의 블록도이다.
도 23은 다른 실시예에 따른 사용자 식별 장치의 블록도이다.
일 실시예에 따른 생체 신호를 이용한 사용자 식별 방법은, 사용자 입력을 감지하는 단계; 감지된 사용자 입력으로부터 생체 신호를 검출하는 단계; 사용자 입력이 감지된 시점에 획득된 사용자의 상태 정보를 기초로, 검출된 생체 신호가 유효한지 여부를 판단하는 단계; 및 판단 결과에 따라, 사용자의 유효한 생체 신호와 기 저장된 적어도 하나의 참조 생체 신호를 비교하여 사용자를 식별하는 단계를 포함한다.
일 실시예에 따른 생체 신호를 이용한 사용자 식별 방법에 있어서, 생체신호는 맥파 신호를 포함하고, 사용자의 상태 정보는, 사용자의 체온, 사용자 입력에 의해 발생되는 압력, 사용자의 자세 및 동작 중 적어도 하나를 포함한다.
일 실시예에 따른 생체 신호를 이용한 사용자 식별 방법에 있어서, 판단하는 단계는, 사용자의 상태 정보가 기 설정된 검출 기준과 대응되는지 여부를 판단한다.
일 실시예에 따른 생체 신호를 이용한 사용자 식별 방법에 있어서, 적어도 하나의 참조 생체 신호는, 참조 생체 신호의 특성에 따라, 적어도 하나의 그룹으로 분류되어 저장되고, 식별하는 단계는, 분류된 적어도 하나의 그룹 중, 사용자의 생체 신호와 대응되는 그룹을 식별하며, 사용자 식별 방법은 식별된 그룹에 관한 정보를 표시하는 단계를 더 포함한다.
일 실시예에 따른 생체 신호를 이용한 사용자 식별 방법에 있어서, 식별하는 단계는, 식별된 그룹에 포함된 참조 생체 신호와 사용자의 생체 신호를 비교하는 단계를 포함한다.
일 실시예에 따른 생체 신호를 이용한 사용자 식별 방법은 기 저장된 적어도 하나의 그룹의 서비스 이용 정보 중 식별된 그룹의 서비스 이용 정보를 획득하는 단계; 및 획득된 그룹의 서비스 이용 정보에 기초하여 서비스를 제공하는 단계를 더 포함한다.
일 실시예에 따른 생체 신호를 이용한 사용자 식별 방법은 기 저장된 서비스 이용 정보 중 식별된 사용자의 서비스 이용 정보를 획득하는 단계; 및 획득된 서비스 이용 정보에 기초하여 서비스를 제공하는 단계를 더 포함한다.
일 실시예에 따른 생체 신호를 이용한 사용자 식별 방법은 적어도 하나의 참조 생체 신호의 벡터 정보를 기초로 정상 생체 신호 공간을 생성하는 단계를 더 포함하고, 판단하는 단계는, 생체 신호가 정상 생체 신호 공간에 투영됨에 따라 변형되는 정도에 기초하여, 생체 신호가 유효한 지 여부를 판단한다.
일 실시예에 따른 생체 신호를 이용한 사용자 식별 방법은 생체 신호의 변형 정도가 기 설정된 범위 이내인 경우, 생체 신호를 보정하는 단계를 더 포함한다.
일 실시예에 따른 생체 신호를 이용한 사용자 식별 방법은 검출된 생체 신호와 대응되는 참조 생체 신호가 존재하지 않는 경우, 검출된 생체 신호를 데이터 베이스에 저장하는 단계를 더 포함한다.
일 실시예에 따른 생체 신호를 이용한 사용자 식별 장치는 사용자 입력을 감지하는 센싱부; 감지된 사용자의 입력으로부터 생체 신호를 검출하는 검출부; 사용자의 입력이 감지된 시점에 획득된 사용자의 상태 정보를 기초로, 검출된 생체 신호가 유효한지 여부를 판단하고, 판단 결과에 따라, 사용자의 유효한 생체 신호와 기 저장된 적어도 하나의 참조 생체 신호를 비교하여 사용자를 식별하는 제어부를 포함한다.
일 실시예에 따른 생체 신호를 이용한 사용자 식별 장치에 있어서, 생체신호는 맥파 신호를 포함하고, 사용자의 상태 정보는, 사용자의 체온, 사용자 입력에 의해 사용자 식별 장치에 가해진 압력 및 사용자의 자세 및 동작 중 적어도 하나를 포함한다.
일 실시예에 따른 생체 신호를 이용한 사용자 식별 장치에 있어서, 제어부는, 사용자의 상태 정보가 기 설정된 검출 기준과 대응되는 지 여부를 판단한다.
일 실시예에 따른 생체 신호를 이용한 사용자 식별 장치에 있어서, 적어도 하나의 참조 생체 신호는, 참조 생체 신호의 특성에 따라, 적어도 하나의 그룹으로 분류되어 저장되고, 제어부는, 분류된 적어도 하나의 그룹 중, 사용자의 생체 신호와 대응되는 그룹을 식별하며, 사용자 식별 장치는 식별된 그룹에 관한 정보를 표시하는 출력부를 더 포함한다.
일 실시예에 따른 생체 신호를 이용한 사용자 식별 장치에 있어서, 제어부는, 식별된 그룹에 포함된 참조 생체 신호와 사용자의 생체 신호를 비교한다.
일 실시예에 따른 생체 신호를 이용한 사용자 식별 장치는 기 저장된 상기 적어도 하나의 그룹의 서비스 이용 정보 중 식별된 그룹의 서비스 이용 정보를 획득하고, 획득된 그룹의 서비스 이용 정보에 기초하여 서비스를 제공하는 서비스 제공부를 더 포함한다.
일 실시예에 따른 생체 신호를 이용한 사용자 식별 장치는 기 저장된 서비스 이용 정보 중 식별된 사용자의 서비스 이용 정보를 획득하고, 획득된 서비스 이용 정보에 기초하여 서비스를 제공하는 서비스 제공부를 더 포함한다.
일 실시예에 따른 생체 신호를 이용한 사용자 식별 장치에 있어서, 제어부는, 적어도 하나의 참조 생체 신호의 벡터 정보를 기초로 정상 생체 신호 공간을 생성하고, 생체 신호가 정상 생체 신호 공간에 투영됨에 따라 변형되는 정도에 기초하여, 생체 신호가 유효한 지 여부를 판단한다.
일 실시예에 따른 생체 신호를 이용한 사용자 식별 장치에 있어서, 제어부는, 생체 신호의 변형 정도가 기 설정된 범위 이내인 경우, 생체 신호를 보정한다.
일 실시예에 따른 생체 신호를 이용한 사용자 식별 장치에 있어서, 제어부는, 검출된 생체 신호와 대응되는 참조 생체 신호가 존재하지 않는 경우, 검출된 생체 신호를 데이터 베이스에 저장한다.
아래에서는 첨부한 도면을 참고하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 본 발명의 실시예를 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.
명세서 전체에서, 어떤 부분이 다른 부분과 "연결"되어 있다고 할 때, 이는 "직접적으로 연결"되어 있는 경우뿐 아니라, 그 중간에 다른 소자를 사이에 두고 "전기적으로 연결"되어 있는 경우도 포함한다. 또한 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다.
본 명세서에서 생체 신호는, 사용자의 신체에서 발생하는 신호에 관한 정보를 일컫는다. 예를 들어, 생체 신호는 사용자의 맥파, 심박, 지문, 성문, 혈압, 순목(nictation), 뇌전도, 심전도, 심음도, 안전도, 근전도 및 체온 등을 포함할 수 있다. 다만, 이는 일 실시예일 뿐, 본 발명의 생체 정보가 전술한 예에 한정되는 것은 아니다.
이하 첨부된 도면을 참고하여 개시된 기술적 사상을 상세히 설명하기로 한다.
도 1은 일 실시예에 따라 생체 신호를 이용하여 사용자(10)를 식별하는 방법을 설명하기 위한 도면이다.
일 실시예에 따른 생체 신호를 이용한 사용자 식별 장치(100, 이하 사용자 식별 장치)는 사용자의 생체 신호를 검출하여, 사용자(10)를 식별할 수 있다. 여기에서, 사용자 식별 장치(100)는 감지된 사용자 입력으로부터 생체 신호를 검출할 수 있다. 예를 들어, 사용자(10)가 사용자 식별 장치(100)를 터치하거나 쥐고(holding) 있는 경우, 사용자 식별 장치(100)는 사용자(10)의 손가락으로부터 생체 신호를 검출할 수 있다. 다만, 이는 일 실시예일 뿐, 사용자 입력의 형태가 이에 한정되는 것은 아니다. 다른 예에 따라, 사용자 식별 장치(100)는 사용자(10)가 사용자 식별 장치(100)를 터치한 상태에서, 일 방향으로 미는 드래그 입력으로부터 생체 신호를 검출할 수도 있다.
일 실시예에 따른 사용자 식별 장치(100)는 적어도 하나의 사용자의 생체 신호에 관한 정보를 기 저장할 수 있다. 예를 들어, 사용자 식별 장치(100)는 적어도 하나의 사용자(예를 들어, 10)로부터 이전에 검출하였던 생체 신호를 저장할 수 있다. 다른 예에 따라, 사용자 식별 장치(100)는 생체 신호를 등록할 수 있는 사용자 인터페이스를 통해 적어도 하나의 사용자로부터(예를 들어, 10) 획득한 생체 신호를 저장할 수도 있다.
일 실시예에 따른 사용자 식별 장치(100)는 기 저장된 적어도 하나의 사용자의 생체 신호와 검출된 사용자(10)의 생체 신호를 비교하여, 사용자(10)를 식별할 수 있다. 이하에서는, 사용자 식별 장치(100)에 기 저장된 적어도 하나의 사용자의 생체 신호를 참조 생체 신호로 설명하도록 한다.
또한, 사용자 식별 장치(100)는 식별의 정확도를 높이기 위해, 사용자(10)를 식별하기에 앞서, 검출된 생체 신호가 유효한 지 여부를 판단할 수 있다. 예를 들어, 사용자 식별 장치(100)는 사용자 입력이 감지된 시점의 사용자의 체온 및 자세 등의 상태 정보를 기초로, 생체 신호가 유효한 지 여부를 판단할 수 있다. 또한, 다른 예에 따라 사용자 식별 장치(100)는 기 저장된 생체 신호의 특성과 검출된 생체 신호의 특성의 유사도를 판단하여, 검출된 생체 신호가 유효한 지 여부를 판단할 수 있다.
한편, 일 실시예에 따른 사용자 식별 장치(100)는 검출된 생체 신호에 일부 오류가 존재하는 경우, 검출된 생체 신호를 보정할 수도 있다.
일 실시예에 따른 사용자 식별 장치(100)는 적어도 하나의 사용자의 생체 신호에 관한 정보와 함께, 적어도 하나의 사용자의 서비스 이용에 관한 히스토리 정보를 저장할 수 있다. 여기에서, 히스토리 정보는 적어도 하나의 사용자 각각이 사용자 식별 장치(100)를 이용하여 제공받은 서비스에 관한 정보를 포함할 수 있다. 예를 들어, 사용자 식별 장치(100)가 리모컨인 경우, 사용자(10)가 리모컨을 이용하여 제어한 TV의 채널 정보가 히스토리 정보에 포함될 수 있다.
일 실시예에 따른 사용자 식별 장치(100)는 사용자(10)를 식별한 경우, 사용자(10)에 관한 히스토리 정보를 기초로, 사용자(10)가 실행할 가능성이 높은 서비스에 관한 정보를 제공할 수 있다. 예를 들어, 사용자 식별 장치(100)가 리모컨인 경우, 사용자 식별 장치(100)는 사용자가 즐겨 시청하는 TV의 채널에 관한 정보가 TV에 디스플레이 될 수 있도록 TV를 제어할 수 있다.
사용자 식별 장치(100)는 리모컨, 스마트 폰, 태블릿 단말, 퍼스널 컴퓨터(PC) 및 웨어러블 사용자 식별 장치 중 적어도 하나일 수 있으나, 이에 제한되지 않는다.
도 2는 일 실시예에 따른 사용자 식별 장치(100)가 생체 신호를 이용하여 사용자를 식별하는 방법을 설명하기 위한 흐름도이다.
단계 S210에서, 사용자 식별 장치(100)는 사용자 입력을 감지한다. 여기에서, 사용자 입력은 사용자 식별 장치에 사용자의 신체의 일부가 접촉함으로써 발생될 수 있다. 예를 들어, 사용자(10)가 사용자 식별 장치(100)를 터치하거나 쥐고(holding) 있는 경우, 사용자 식별 장치(100)는 사용자(10)의 손가락으로부터 생체 신호를 검출할 수 있다. 다른 예에 따라, 사용자 식별 장치(100)는 사용자(10)의 드래그 입력으로부터 생체 신호를 검출할 수도 있다.
단계 S220에서, 사용자 식별 장치(100)는 감지된 사용자의 입력으로부터 생체 신호를 검출한다.
일 실시예에 따른 사용자 식별 장치(100)는 감지된 사용자 입력으로부터 사용자의 생체 신호를 검출할 수 있다. 예를 들어, 사용자 식별 장치(100)는 사용자가 사용자 식별 장치를 손에 들고 조작하는 경우, 사용자의 검지 손가락으로부터 생체 신호를 검출할 수 있다. 또한, 여기에서 검출되는 생체 신호는 맥파 신호일 수 있다.
단계 S230에서, 사용자 식별 장치(100)는 사용자(10)의 입력이 감지된 시점의 사용자의 상태 정보를 기초로 검출된 생체 신호가 유효한 지 여부를 판단한다.
일 실시예에 따른 사용자 식별 장치(100)는 사용자(10)의 입력이 감지된 시점의 사용자(10)의 상태 정보를 획득할 수 있다. 여기에서, 상태 정보는 사용자(10)의 체온, 사용자 입력에 의해 사용자 식별 장치(100)에 발생된 압력(이하, 누름압), 사용자(10)의 자세 및 동작 중 적어도 하나를 포함할 수 있다.
예를 들어, 사용자 식별 장치(100)는 사용자 식별 장치(100)에 포함된 촉각 센서, 가속도 센서, 각속도 센서 및 방위 센서 중 적어도 하나를 이용하여 사용자의 동작 및 자세 등에 관한 상태 정보를 획득할 수 있다. 다른 예에 따라, 사용자 식별 장치(100)는 사용자 식별 장치(100)에 포함된 온도 센서 및 압력 센서를 이용하여 사용자의 체온 및 누름압 등에 관한 상태 정보를 획득할 수 있다.
다만, 이는 일 실시예일 뿐, 사용자(10)의 상태 정보가 이에 한정되는 것은 아니다. 다른 예에 따라, 사용자(10)의 상태 정보는 사용자 식별 장치(100)에서 검출된 생체 신호 중 적어도 일부를 포함할 수도 있다.
일 실시예에 따른 사용자 식별 장치(100)는 획득한 상태 정보를 기초로 검출된 생체 신호가 유효한 지 여부를 판단할 수 있다. 예를 들어, 사용자 식별 장치(100)는 사용자 입력이 감지된 시점에 획득한 사용자의 동작 및 자세 등에 관한 상태 정보가 기 설정된 검출 기준에 대응되는지 여부를 판단할 수 있다.
사용자의 생체 신호가 기준 범위의 자세 및 동작을 벗어난 상태에서 검출된 경우에는 생체 신호의 크기가 작거나 생체 신호의 SNR(Signal to Noise Ration) 값이 저하되어, 사용자 식별 장치(100)의 사용자 식별 결과의 정확도가 낮아질 수 있다. 이에 따라, 일 실시예에 따른 사용자 식별 장치(100)는 사용자입력이 감지된 시점에서의 사용자(10)의 상태가 검출 기준에 대응되는지 여부를 판단하여, 검출된 생체 신호가 유효한 지 여부를 결정할 수 있다.
다른 실시예에 따라, 사용자 식별 장치(100)는 기 저장된 참조 생체 신호를 이용하여, 검출된 생체 신호가 유효한 지 여부를 판단할 수 있다. 예를 들어, 사용자 식별 장치(100)는 기 저장된 참조 생체 신호의 벡터 성분을 이용하여, 참조 생체 신호의 특성을 나타내는 정상 생체 신호 공간을 생성할 수 있다. 사용자 식별 장치(100)는 생성된 정상 생체 신호 공간에 검출된 생체 신호를 투영하여, 검출된 생체 신호가 유효한 지 여부를 판단할 수 있다.
단계 S240에서, 사용자 식별 장치(100)는 판단 결과에 따라 사용자(10)의 유효한 생체 신호와 사용자 식별 장치(100)에 기 저장된 적어도 하나의 참조 생체 신호를 비교하여 사용자를 식별한다.
일 실시예에 따른 사용자 식별 장치(100)는 검출된 생체 신호가 유효한 것으로 판단된 경우, 검출된 생체 신호와 사용자 식별 장치(100)에 기 저장된 적어도 하나의 참조 생체 신호를 비교할 수 있다. 예를 들어, 사용자 식별 장치(100)는 생체 신호의 파형 및 피크점 등의 특징값을 참조 생체 신호의 특징값과 비교할 수 있다. 한편, 이는 일 실시예일 뿐, 검출된 생체 신호가 참조 생체 신호의 비교 대상이 파형 및 피크점에 한정되는 것은 아니다.
한편, 일 실시예에 따른 사용자 식별 장치(100)는 검출된 생체 신호의 유효성을 판단한 결과, 검출된 생체 신호의 오류 정도가 미리 설정된 범위 이내인 경우, 검출된 생체 신호를 보정할 수도 있다. 사용자 식별 장치(100)는 보정된 생체 신호와 기 저장된 적어도 하나의 참조 생체 신호를 비교하여, 사용자(10)를 식별할 수 있다.
도 3a 및 3b는 사용자의 동작에 따른 맥파 신호의 변화를 설명하기 위한 도면이다.
도 3a를 참고하면, 제 1 구간은 사용자(10)의 손가락으로부터 사용자 식별 장치(100)에 가해지는 누름압이 변화되는 구간을 나타낸다. 제 1 구간에서, 누름압의 변화에 따라 사용자 식별 장치(100)에서 검출되는 맥파 신호의 크기 및 파형이 변화되는 것을 확인할 수 있다.
도 3a에서, 제 2 구간은 사용자(10)의 손가락이 사용자 식별 장치에 접촉하지 않은 경우를 나타낸다.
또한 도 3a에서, 제 3 구간은 사용자가 움직이는 구간을 나타낸다. 제 3 구간에서, 사용자가 움직임에 따라 사용자 식별 장치(100)에서 검출되는 맥파 신호의 크기와 파형이 변화되는 것을 확인할 수 있다.
도 3b를 참고하면, 일 실시예에 따른 사용자 식별 장치(100)는 사용자 입력이 감지된 제 1 구간 및 제 3 구간의 맥파 신호 중 사용자의 상태 정보가 검출 기준에 대응되는 구간의 맥파 신호를 유효한 맥파 신호로 결정할 수 있다. 사용자 식별 장치(100)는 사용자 식별 장치에 포함된 자이로센서, 가속도 센서, 디지털 나침반, 온도 센서 및 힘 센서 중 적어도 하나를 이용하여, 사용자의 자세, 동작 및 누름압 등에 관한 상태 정보를 획득할 수 있다. 사용자 식별 장치(100)는 획득한 사용자의 상태 정보가 검출 기준에 대응되는지 여부를 판단하여, 검출된 맥파 신호 중 유효한 맥파 신호를 결정할 수 있다.
일 실시예에 따른 사용자 식별 장치(100)는 검출된 맥파 신호 중 유효한 맥파 신호를 선택하여, 사용자(10)를 식별함으로써, 사용자 입력이 감지되는 기간 동안 사용자(10)의 접촉이 일시적으로 중단되거나, 맥파 신호의 파형이 흐트러지는 경우에도 사용자(10)를 식별할 수 있다. 또한, 일 실시예에 따른 사용자 식별 장치(100)는 사용자 입력으로부터 맥파 신호를 계속적으로 검출하지 못하는 경우에도, 유효한 맥파 신호를 집적함으로써, 사용자 식별의 정확도를 높일 수 있다.
도 4는 사용자의 체온에 따른 맥파 신호의 변화를 설명하기 위한 도면이다.
도 4를 참고하면, 사용자의 체온이 변화됨에 따라, 사용자 식별 장치(100)에서 검출되는 맥파 신호의 크기, 파형 및 주기의 변화를 확인할 수 있다.
일 실시예에 따른 사용자 식별 장치(100)는 사용자의 체온이 유효한 맥파 신호를 검출하기에 적절한지 여부를 판단하여, 판단 결과에 따라, 검출된 맥파 신호의 유효성을 결정할 수 있다. 예를 들어, 사용자 식별 장치(100)는 측정된 사용자(10)의 체온이 기 설정된 검출 기준에 대응되는 지 여부를 판단하여, 검출된 맥파 신호의 유효성을 결정할 수 있다.
도 5a 및 5b는 일 실시예에 따라 사용자 식별 장치(100)에서 사용자 식별에 이용하는 맥파 신호의 특징량을 설명하기 위한 그래프이다.
도 5a를 참고하면, 사용자 식별 장치(100)는 검출된 맥파 신호로부터 용적 맥파, 속도 맥파 및 가속도 맥파에 대한 극점의 크기를 결정할 수 있다. 사용자 식별 장치(100)는 결정된 극점의 크기와 사용자 식별 장치에 기 저장된 적어도 하나의 사용자에 대한 맥파 신호의 극점의 크기를 비교하여, 사용자를 식별할 수 있다.
도 5b를 참고하면, 사용자 식별 장치(100)는 검출된 맥파 신호의 시간에 따른 파형 및 크기 변화 등을 결정할 수 있다. 사용자 식별 장치(100)는 결정된 맥파 신호의 시간에 따른 변화량과 사용자 식별 장치(100)에 기 저장된 적어도 하나의 사용자에 대한 맥파 신호의 시간에 따른 변화량을 비교하여, 사용자를 식별할 수 있다.
도 6 및 7은 일 실시예에 따른 사용자 식별 장치(100)의 블록도이다.
도 6을 참고하면, 사용자 식별 장치(100)는 센싱부(110), 검출부(120) 및 제어부(130)를 포함할 수 있다. 그러나 도시된 구성요소 모두가 필수구성요소인 것은 아니다. 도시된 구성요소보다 많은 구성요소에 의해 사용자 식별 장치(100)가 구현될 수도 있고, 그보다 적은 구성요소에 의해서도 사용자 식별 장치(100)는 구현될 수 있다.
예를 들어 도 7를 참고하면, 일 실시예에 따른 사용자 식별 장치(100)는, 센싱부(110), 검출부(120) 및 제어부(130) 이외에 서비스 제공부(140) 및 메모리(미도시)를 더 포함할 수도 있다.
이하 상기 구성요소들에 대해 차례로 살펴본다.
센싱부(110)는 사용자 입력을 감지한다. 여기에서, 사용자 입력은 사용자의 신체의 일부가 사용자 식별 장치(100)에 접촉함으로써 발생될 수 있다. 옐르 들어, 센싱부(110)는 사용자가 손가락을 이용하여 사용자 식별 장치(100)를 터치함에 따라 발생되는 터치 입력을 감지할 수 있다. 또한, 일 실시예에 따른 센싱부(110)는 사용자의 체온, 누름압, 자세 및 동작 중 적어도 하나를 포함하는 상태 정보를 획득할 수 있다.
한편, 센싱부(110)는, 지자기 센서(Magnetic sensor), 가속도 센서(Acceleration sensor), 온/습도 센서, 적외선 센서, 자이로스코프 센서, 위치 센서(예컨대, GPS), 기압 센서, 근접 센서, RGB 센서(illuminance sensor), 디지털 나침반 및 맥파 센서 중 적어도 하나를 포함할 수 있으나, 이에 한정되는 것은 아니다. 각 센서들의 기능은 그 명칭으로부터 당업자가 직관적으로 추론할 수 있으므로, 구체적인 설명은 생략하기로 한다.
검출부(120)는 감지된 사용자 입력으로부터 생체 신호를 검출한다. 예를 들어, 검출부(120)는 사용자의 터치 입력 또는 드래그 입력으로부터 사용자의 맥파 신호를 검출할 수 있다.
제어부(130)는 통상적으로 사용자 식별 장치(100)의 전반적인 동작을 제어한다. 예를 들어, 제어부(130)는, 메모리(미도시)에 저장된 프로그램들을 실행함으로써, 센싱부(110), 검출부(120) 및 서비스 제공부(140) 등을 전반적으로 제어할 수 있다.
제어부(130)는 사용자의 입력이 감지된 시점에 획득된 사용자의 상태 정보를 기초로 검출된 생체 신호가 유효한 지 여부를 판단한다. 또한, 제어부(130)는 판단 결과에 따라 사용자의 유효한 생체 신호와 사용자 식별 장치에 기 저장된 적어도 하나의 참조 생체 신호를 비교하여 사용자를 식별한다.
일 실시예에 따른 제어부(130)는 평가부(131) 및 식별부(133)를 포함할 수 있다.
평가부(131)는 검출된 생체 신호가 유효한 지 여부를 판단할 수 있다.
일 실시예에 따른 평가부(131)는 사용자의 상태 정보가 기 설정된 검출 기준과 대응되는지 여부를 판단할 수 있다. 예를 들어, 평가부(131)는 사용자의 생체 신호가 검출된 시점의 사용자의 체온, 누름압, 자세 및 동작 등이 기 설정된 검출 기준에 따른 체온, 누름압, 자세 및 동작에 대응되는 지 여부를 판단할 수 있다. 평가부(131)는 판단 결과, 사용자의 상태 정보가 기 설정된 검출 기준과 대응되는 경우, 검출된 생체 신호가 유효한 것으로 결정할 수 있다.
다른 실시예에 따른 평가부(131)는 기 저장된 참조 생체 신호를 이용하여, 검출된 생체 신호가 유효한 지 여부를 판단할 수 있다. 예를 들어, 평가부(131)는 기 저장된 참조 생체 신호의 벡터 성분을 이용하여, 정상 생체 신호 공간을 생성할 수 있다. 평가부(131)는 생성된 정상 생체 신호 공간에 검출된 생체 신호를 투영한다. 평가부(131)는 정상 생체 신호 공간에 생체 신호를 투영한 결과, 생체 신호의 변형된 정도에 기초하여 검출된 생체 신호가 유효한 지 여부를 판단할 수 있다.
한편, 일 실시예에 따른 평가부(131)는 검출된 생체 신호 중에서 유효하다고 판단되는 일부 생체 신호를 선택할 수 있다. 또한, 다른 실시예에 따라, 평가부(131)는 검출된 생체 신호가 유효하지 않다고 생각되는 경우, 검출된 생체 신호를 보정할 수도 있다.
식별부(133)는 검출된 생체 신호가 유효한 것으로 판단된 경우, 검출된 생체 신호와 사용자 식별 장치(100)에 기 저장된 적어도 하나의 참조 생체 신호를 비교할 수 있다. 예를 들어, 식별부(133)는 생체 신호의 파형 및 피크점 등의 특징값을 참조 생체 신호의 특징값과 비교할 수 있다.
식별부(133)는 비교 결과에 기초하여, 유사도가 가장 높은 참조 생체 신호에 대응되는 사용자를 검출된 생체 신호의 사용자로 결정할 수 있다.
서비스 제공부(140)는 제어부(130)에서 식별된 사용자에 관한 히스토리 정보를 기초로, 사용자가 실행할 가능성이 높은 서비스를 사용자에게 제공할 수 있다. 예를 들어, 사용자 식별 장치(100)가 리모컨인 경우, 서비스 제공부(140)는 사용자가 즐겨 시청하는 TV의 채널에 관한 정보가 TV에 디스플레이 될 수 있도록 TV를 제어할 수 있다.
한편, 일 실시예에 따른 서비스 제공부(140)는 통신부 및 출력부 등을 포함할 수도 있다.
통신부는 사용자가 실행할 가능성이 높은 서비스에 관한 정보 또는 그 서비스를 제공할 수 있는 다른 사용자 식별 장치와 통신할 수 있다. 통신부는 근거리 통신부, 이동 통신부 및 방송 수신부 중 적어도 하나를 포함할 수 있다.
출력부는 오디오 신호 또는 비디오 신호 또는 진동 신호의 출력을 위한 것으로, 이에는 디스플레이부, 음향 출력부 및 진동 모터 등이 포함될 수 있다.
도 8은 일 실시예에 따른 사용자 식별 장치가 기 저장된 참조 생체 신호를 이용하여 검출된 생체 신호가 유효한 지 여부를 판단하는 방법을 설명하기 위한 흐름도이다.
단계 S810에서, 사용자 식별 장치는 사용자 식별 장치에 감지된 사용자 입력으로부터 생체 신호를 검출할 수 있다.
한편, 단계 S810은 도 2를 참고하여 전술한 단계 S220과 대응될 수 있다.
단계 S820에서, 사용자 식별 장치는 기 저장된 적어도 하나의 참조 생체 신호의 백터 정보를 기초로 정상 생체 신호 공간을 생성할 수 있다.
일 실시예에 따른 사용자 식별 장치는 메모리로부터 사용자 식별에 이용 가능한 적어도 하나의 참조 생체 신호를 읽어낼 수 있다. 사용자 식별 장치는 적어도 하나의 참조 생체 신호를 이용하여, 정상 생체 신호 공간을 생성할 수 있다. 여기에서, 검출된 생체 신호가 유효한 경우, 검출된 생체 신호는 정상 생체 신호 공간의 정규 직교 기저(basis)의 일차 결합으로 나타낼 수 있다.
단계 S830에서, 사용자 식별 장치는 생체 신호가 정상 생체 신호 공간에 투영됨에 따라 변형되는 정도에 기초하여, 생체 신호가 유효한 지 여부를 판단할 수 있다.
일 실시예에 따른 사용자 식별 장치는 검출된 생체 신호가 정상 생체 신호 공간의 정규 직교 기저의 일차 결합으로 표현될 수 있는지 여부를 이용하여, 검출된 생체 신호가 유효한 지 여부를 판단할 수 있다.
예를 들어, 사용자 식별 장치는 다음의 수학식 1에 기초하여 검출된 생체 신호 x에 대한 손실 함수(L(x))의 값을 산출할 수 있다. 손실 함수는 생체 신호의 유사성을 평가하는 함수로서, 사용자 식별의 대상이 되는 생체 신호와 참조 생체 신호가 유사할수록 손실 함수의 값이 작아질 수 있다.
[수학식 1]
상기의 수학식 1에서 U는 정상 생체 신호 공간의 부분 공간을 표현하는 정규 직교 기저이다. U는 기 저장된 참조 생체 신호로부터 계산되는 능률 행렬이 큰 N 개의 고유값에 대응하는 고유 벡터로서 표현될 수 있다.
일 실시예에 따른 사용자 식별 장치는 검출된 생체 신호에 대한 손실 함수의 값이 임계값 미만인 경우, 검출된 생체 신호가 유효한 것으로 판단할 수 있다.
단계 S840에서, 사용자 식별 장치는 판단 결과에 따라 사용자의 유효한 생체 신호와 사용자 식별 장치에 기 저장된 적어도 하나의 참조 생체 신호를 비교하여 사용자를 식별할 수 있다.
일 실시예에 따른 사용자 식별 장치는 유효한 것으로 판단된 생체 신호를 이용하여 사용자를 식별할 수 있다. 예를 들어, 사용자 식별 장치는 유효한 생체 신호의 피크 파형에 대해 독립 성분 분석 또는 주성분 분석 기법을 이용하여, 사용자를 식별할 수 있다. 다만, 이는 일 실시예일 뿐, 사용자 식별 장치는 SVM(Support Vector Machine), LDA(Linear Discriminant Analysis), KNN(K-Nearest Neighbor) 및 MSM(Mutual Subspace Method) 중 적어도 하나의 기법을 이용하여, 유효한 생체 신호를 기초로 사용자를 식별할 수 있다.
일 실시예에 따른 참조 생체 신호는 적어도 하나의 사용자로부터 검출된 맥파 신호의 가속도 파형일 수 있다. 또한, 다른 예에 따라, 참조 생체 신호는 적어도 하나의 사용자로부터 검출된 맥파 신호를 주파수 해석하여, 획득된 정규 직교 기저(basis)일 수 있다.
다른 실시예에 따라, 참조 생체 신호는 유효한 맥파 신호로부터 구축된 부분 공간의 정규 직교 기저, 맥파 신호의 공분산 행렬 및 능률 행렬 중 적어도 하나일 수도 있다. 사용자 식별 장치는 정규 직교 기저, 맥파 신호의 공분산 행렬 및 능률 행렬 등의 형태로 참조 생체 신호를 저장함으로써, 참조 생체 신호를 효율적으로 저장할 수 있다. 또한, 이에 따라 사용자 식별 장치의 연산량 또한 감소될 수 있다.
한편, 참조 생체 신호는 유효하지 않는 생체 신호를 포함할 수도 있다. 이러한 경우, 사용자 식별 장치는 검출된 생체 신호가 유효하다고 판단되는 경우, 참조 생체 신호를 검출된 생체 신호로 업데이트 할 수 있다.
단계 S850에서, 사용자 식별 장치는 식별된 사용자에 대응되는 서비스를 제공할 수 있다.
일 실시예에 따른 사용자 식별 장치는 식별된 사용자에 관한 히스토리 정보를 기초로, 사용자가 실행할 가능성이 높은 서비스에 관한 정보 또는 서비스를 제공할 수 있다.
도 9 및 10은 다른 실시예에 따른 사용자 식별 장치(900)의 블록도이다.
도 9를 참고하면, 사용자 식별 장치(900)는 검출부(910), 제어부(920) 및 서비스 제공부(930)를 포함할 수 있다. 그러나 도시된 구성요소 모두가 필수구성요소인 것은 아니다. 도시된 구성요소보다 많은 구성요소에 의해 사용자 식별 장치(900)가 구현될 수도 있고, 그보다 적은 구성요소에 의해서도 사용자 식별 장치(900)는 구현될 수 있다.
이하 상기 구성요소들에 대해 차례로 살펴본다.
일 실시예에 따른 검출부(910)는 사용자 입력으로부터 생체 신호를 검출할 수 있다. 예를 들어, 검출부(910)는 사용자 입력으로부터 사용자의 맥파 신호를 검출할 수 있다.
일 실시예에 따른 제어부(920)는 검출된 사용자의 생체 신호가 유효한 지 여부를 판단할 수 있다. 또한, 제어부(920)는 유효한 것으로 판단된 생체 신호를 이용하여, 사용자를 식별할 수 있다.
제어부(920)는 평가부(921) 및 식별부(925)를 포함할 수 있다.
평가부(921)는 검출된 사용자의 생체 신호가 유효한 지 여부를 판단할 수 있다. 일 실시예에 따른 평가부(921)는 평가 연산부(922) 및 생체 신호 저장부(923)를 포함할 수 있다.
평가 연산부(922)는 생체 신호 저장부(923)에 저장된 참조 생체 신호를 이용하여 정상 생체 신호 공간을 생성할 수 있다. 평가 연산부(922)는 검출된 생체 신호가 정상 생체 신호 공간의 정규 직교 기저의 일차 결합으로 표현 가능한 지 여부를 판단할 수 있다. 예를 들어, 평가 연산부(922)는 정규 직교 기저와 검출된 참조 생체 신호를 기초로 산출된 손실 함수의 값을 이용하여, 검출된 생체 신호가 유효한 지 여부를 판단할 수 있다.
생체 신호 저장부(923)에는 적어도 하나의 사용자 각각에 대한 참조 생체 신호가 저장될 수 있다. 생체 신호 저장부(923)는 이전에 획득된 적어도 하나의 사용자의 생체 신호를 참조 생체 신호로서 적어도 하나의 사용자에 관한 정보와 함께 저장할 수 있다.
한편, 도 10을 참고하면, 다른 실시예에 따라 사용자 식별 장치(900)의 평가부(921)에는 학습부(924)가 더 포함될 수 있다. 학습부(924)는 검출된 사용자의 생체 신호가 유효하다고 판단된 경우, 생체 신호 저장부(923)에 저장된 생체 신호를 갱신할 수 있다. 이에 따라, 사용자 식별 장치(900)의 생체 신호 저장부(923)에는 유효한 생체 신호가 누적되어 저장됨으로써, 생체 신호가 잘못 저장된 경우에도, 사용자 식별의 정확도를 높일 수 있다.
식별부(925)는 검출된 생체 신호가 유효한 것으로 판단된 경우, 검출된 생체 신호와 사용자 식별 장치(900)에 기 저장된 적어도 하나의 참조 생체 신호를 비교할 수 있다.
식별부(925)는 비교 결과에 기초하여, 유사도가 가장 높은 참조 생체 신호에 대응되는 사용자를 검출된 생체 신호의 사용자로 결정할 수 있다. 예를 들어, 식별부(925)는 유효한 생체 신호의 피크 파형에 대해 독립 성분 분석 또는 주성분 분석 기법을 이용하여, 사용자를 식별할 수 있다. 다만, 이는 일 실시예일 뿐, 서포트 벡터 머신(SVM), 선형 판별 분석(LDA), K-최근 방법(KNN) 및 상호 부분 공간법(SVM) 등이 유효한 생체 신호를 기초로 사용자를 식별하는 데 이용될 수 있다.
서비스 제공부(930)는 제어부(930)에서 식별된 사용자에 관한 히스토리 정보를 기초로, 사용자가 실행할 가능성이 높은 서비스에 관한 정보 또는 서비스를 제공할 수 있다.
도 11은 일 실시예에 따른 사용자 식별 장치가 검출된 생체 신호를 보정하고, 보정된 생체 신호를 이용하여 사용자를 식별하는 방법을 설명하기 위한 흐름도이다.
단계 S1110에서 사용자 식별 장치는 사용자 식별 장치에 감지된 사용자 입력으로부터 생체 신호를 검출할 수 있다.
한편, 단계 S1110은 도 2를 참고하여 전술한 단계 S220과 대응될 수 있다.
단계 S1120에서, 사용자 식별 장치는 검출된 생체 신호가 유효한 지 여부를 판단할 수 있다.
일 실시예에 따른 사용자 식별 장치는 검출된 생체 신호가 정상 생체 신호 공간의 정규 직교 기저의 일차 결합으로 표현될 수 있는지 여부에 기초하여 검출된 생체 신호가 유효한 지 여부를 판단할 수 있다. 예를 들어, 사용자 식별 장치는 검출된 생체 신호에 대한 손실 함수의 값을 산출할 수 있다. 사용자 식별 장치는 산출된 손실 함수의 값이 기 설정된 임계 범위 내에 포함되는 경우, 검출된 생체 신호가 유효하다고 판단할 수 있다.
단계 S1130에서, 사용자 식별 장치는 판단 결과에 기초하여 생체 신호를 보정할 수 있다.
예를 들어, 사용자 식별 장치는 검출된 생체 신호에 대해 산출된 손실 함수의 값이 제 1 임계값 미만인 경우, 검출된 생체 신호가 유효한 것으로 판단할 수 있다. 사용자 식별 장치는 검출된 생체 신호가 유효한 것으로 판단됨에 따라, 생체 신호를 보정하지 않을 수 있다.
다른 예에 따라, 사용자 식별 장치는 검출된 생체 신호에 대해 산출된 손실 함수의 값이 제 1 임계값 이상 및 제 2 임계값 미만인 경우, 검출된 생체 신호를 보정할 수 있다. 예를 들어, 사용자 식별 장치는 다음의 수학식 2에 따라 검출된 생체 신호를 정상 생체 신호 공간에 직교 투영함으로써 보정을 수행할 수 있다.
[수학식 2]
상기의 수학식 2에서 U는 정상 생체 신호 공간의 부분 공간을 표현하는 정규 직교 기저이다. U는 기 저장된 참조 생체 신호로부터 계산되는 능률 행렬이 큰 N 개의 고유값에 대응하는 고유 벡터로서 표현될 수 있다. 또한 는 U에 트랜스포즈(transpose) 연산을 수행한 결과를 나타내고, x는 검출된 생체 신호를 나타낸다.
사용자 식별 장치는 검출된 생체 신호에 수학식 2의 연산을 수행함에 따라, 검출된 생체 신호에서 정상 생체 신호 공간과 연관되지 않은 성분을 제거할 수 있다.
또 다른 예에 따라, 사용자 식별 장치는 검출된 생체 신호에 대해 산출된 손실 함수의 값이 제 2 임계값 이상인 경우, 검출된 생체 신호를 사용자 식별에 이용하지 않을 수 있다.
일 실시예에 따른 사용자 식별 장치는 검출된 생체 신호와 기 저장된 참조 생체 신호 간의 차이가 일정 수준 미만인 경우, 검출된 생체 신호를 보정함으로써, 사용자 식별을 더욱 용이하게 수행할 수 있다.
단계 S1140에서, 사용자 식별 장치는 보정된 생체 신호 및 기 저장된 적어도 하나의 참조 생체 신호를 비교하여 사용자를 식별할 수 있다.
한편, 단계 S1140은 도 8을 참고하여 전술한 단계 S840과 대응될 수 있다.
단계 S1150에서, 사용자 식별 장치는 식별된 사용자에 대응되는 서비스를 사용자에게 제공할 수 있다.
일 실시예에 따른 사용자 식별 장치는 식별된 사용자에 관한 히스토리 정보를 기초로, 사용자가 실행할 가능성이 높은 서비스를 제공할 수 있다.
한편, 단계 S1150은 도 8을 참고하여 전술한 단계 S850과 대응될 수 있다.
도 12는 다른 실시예에 따른 사용자 식별 장치(1200)의 블록도이다.
도 12를 참고하면, 사용자 식별 장치(1200)는 검출부(1210), 제어부(1220) 및 서비스 제공부(1230)를 포함할 수 있다. 그러나 도시된 구성요소 모두가 필수구성요소인 것은 아니다. 도시된 구성요소보다 많은 구성요소에 의해 사용자 식별 장치(1200)가 구현될 수도 있고, 그보다 적은 구성요소에 의해서도 사용자 식별 장치(1200)는 구현될 수 있다.
이하 상기 구성요소들에 대해 차례로 살펴본다.
일 실시예에 따른 검출부(1210)는 사용자 입력으로부터 생체 신호를 검출할 수 있다. 예를 들어, 검출부(1210)는 사용자 입력으로부터 사용자의 맥파 신호를 검출할 수 있다.
일 실시예에 따른 제어부(1220)는 검출된 사용자의 생체 신호가 유효한 지 여부를 판단할 수 있다. 또한, 제어부(1220)는 유효한 것으로 판단된 생체 신호를 이용하여, 사용자를 식별할 수 있다.
제어부(1220)는 평가부(1221) 및 식별부(1227)를 포함할 수 있다.
평가부(1221)는 검출된 사용자의 생체 신호가 유효한 지 여부를 판단할 수 있다. 일 실시예에 따른 평가부(1221)는 평가 연산부(1222) 및 생체 신호 저장부(923), 학습부(1224) 및 보정부(1225)를 포함할 수 있다.
평가 연산부(1222)는 생체 신호 저장부(1223)에 저장된 참조 생체 신호를 이용하여 정상 생체 신호 공간을 생성할 수 있다. 평가 연산부(1222)는 검출된 생체 신호가 정상 생체 신호 공간의 정규 직교 기저의 일차 결합으로 표현 가능한 지 여부를 판단할 수 있다.
예를 들어, 평가 연산부(1222)는 정규 직교 기저와 검출된 참조 생체 신호를 기초로 산출된 손실 함수의 값을 이용하여, 검출된 생체 신호가 유효한 지 여부를 판단할 수 있다. 평가 연산부(1222)는 검출된 생체 신호에 대해 산출된 손실 함수의 값이 제 1 임계값 미만인 경우, 검출된 생체 신호가 유효한 것으로 판단할 수 있다. 평가 연산부(1222)는 검출된 생체 신호가 유효한 것으로 판단됨에 따라, 생체 신호를 식별부(1227)에 제공할 수 있다. 이에 따라, 생체 신호가 유효한 경우에는 생체 신호에 보정을 수행하지 않을 수 있다. .
다른 예에 따라, 평가 연산부(1222)는 검출된 생체 신호에 대해 산출된 손실 함수의 값이 제 1 임계값 이상 및 제 2 임계값 미만인 경우, 검출된 생체 신호를 보정부(1225)에 제공할 수 있다.
생체 신호 저장부(1223)에는 적어도 하나의 사용자 각각에 대한 참조 생체 신호가 저장될 수 있다.
학습부(1224)는 검출된 사용자의 생체 신호가 유효하다고 판단된 경우, 생체 신호 저장부(1223)에 저장된 생체 신호를 갱신할 수 있다.
보정부(1225)는 검출된 생체 신호를 정상 생체 신호 공간에 직교 투영함으로써 보정을 수행할 수 있다.
식별부(1227)는 검출된 생체 신호가 유효한 것으로 판단된 경우, 검출된 생체 신호와 사용자 식별 장치(1200)에 기 저장된 적어도 하나의 참조 생체 신호를 비교할 수 있다.
식별부(1227)는 비교 결과에 기초하여, 유사도가 가장 높은 참조 생체 신호에 대응되는 사용자를 검출된 생체 신호의 사용자로 결정할 수 있다. 한편, 여기에서 식별부(1227)는 도 9를 참고하여 전술한 식별부(925)와 대응될 수 있다.
서비스 제공부(1230)는 제어부(1220)에서 식별된 사용자에 관한 히스토리 정보를 기초로, 사용자가 실행할 가능성이 높은 서비스에 관한 정보 또는 서비스를 제공할 수 있다.
도 13a는 일 실시예에 따른 사용자 식별 장치가 검출된 생체 신호의 사용자가 포함된 그룹에 대응되는 서비스를 제공하는 방법을 설명하기 위한 흐름도이다.
단계 S1310에서, 사용자 식별 장치는 감지된 사용자의 입력으로부터 생체 신호를 검출할 수 있다.
한편, 단계 S1310은 도 2를 참고하여 전술한 단계 S210과 대응될 수 있다.
단계 S1320에서, 사용자 식별 장치는 사용자의 생체 신호와 대응되는 그룹을 식별할 수 있다.
일 실시예에 따른 사용자 식별 장치는 검출된 생체 신호가 유효한 지 여부를 판단할 수 있다. 예를 들어, 사용자 식별 장치는 획득한 상태 정보가 기 설정된 검출 기준에 대응되는지 여부를 판단하여, 검출된 생체 신호가 유효한 지 여부를 판단할 수 있다. 다른 예에 따라, 사용자 식별 장치는 기 저장된 참조 생체 신호를 기초로, 검출된 생체 신호의 손실 함수 값을 산출하여, 검출된 생체 신호가 유효한 지 여부를 판단할 수 있다.
일 실시예에 따른 사용자 식별 장치는 검출된 생체 신호가 유효한 것으로 판단된 경우, 기 저장된 그룹 별 참조 생체 신호와 검출된 생체 신호를 비교할 수 있다. 여기에서, 그룹은 사용자의 성별 및 나이 등을 기초로 분류될 수 있다.
예를 들어, 사용자 식별 장치는 그룹 A 내지 G의 참조 생체 신호에 대한 파형 데이터를 검출된 생체 신호와 비교할 수 있다. 사용자 식별 장치는 그룹 A 내 G의 참조 생체 신호 중에서 검출된 생체 신호의 피크 파형 진폭에 대한 벡터 간 거리가 최소가 되는 그룹을 선택할 수 있다. 다만, 이는 일 실시예일뿐, 피크 파형의 진폭 이외에 다른 특징량이 비교대상이 될 수 있다. 예를 들어, 사용자 식별 장치는 ICA(Independent Component Analysis), SVM(Support Vector Machine), PCA(Principal Component Analysis), LDA(Linear Discriminant Analysis), KNN(K-Nearest Neighbor). MSM(Mutual Subspace Method) 등의 식별 기법을 이용하여, 사용자가 포함되는 그룹을 선택할 수도 있다.
단계 S1330에서, 사용자 식별 장치는 식별된 그룹의 서비스 이용 정보에 따라 결정된 서비스를 제공할 수 있다.
일 실시예에 따른 사용자 식별 장치가 TV 리모컨인 경우, 사용자 식별 장치는 사용자가 포함된 그룹의 채널 히스토리 정보, 방송 선호 정보 등을 사용자에게 제공할 수 있다.
일 실시예에 따른 사용자 식별 장치는 이전에 특정 그룹에 속하는 사용자가 사용자 식별 장치를 이용하여 어떠한 서비스를 제공받았는지 관한 히스토리 정보를 저장하고 있으므로, 히스토리 정보를 기초로 사용자 맞춤 서비스를 제공할 수 있다. 예를 들어, 사용자 식별 장치가 TV 리모컨인 경우, 그룹마다 텔레비전의 메뉴 화면이나 음성 가이드 등 선택적으로 정보를 제시할 수 있다. 예를 들어, 사용자 식별 장치는 아이, 중년 및 고령자 등 나이에 따라 그룹이 분류된 경우, 각각의 그룹별 TV 조작 이력이나 프로그램 시청 이력을 선택하여, 사용자에게 제공할 수 있다. 또한, 사용자 식별 장치는 사용자에 따라 취미, 기호 또는 리모컨 조작 숙련도를 고려하여, 사용자에게 서비스를 제공할 수 있다.
도 13b는 일 실시예에 따른 사용자 식별 장치(1300)가 검출된 생체 신호의 사용자가 포함된 그룹에 대응되는 서비스를 제공하는 방법을 설명하기 위한 도면이다.
일 실시예에 따른 사용자 식별 장치(1300)는 감지된 사용자의 입력으로부터 생체 신호를 검출할 수 있다. 사용자 식별 장치(1300)는 사용자의 생체 신호와 대응되는 그룹을 식별할 수 있다.
일 실시예에 따른 사용자 식별 장치(1300)는 검출된 생체 신호가 유효한 지 여부를 판단할 수 있다. 또한, 사용자 식별 장치(1300)는 검출된 생체 신호가 유효한 것으로 판단된 경우, 기 저장된 그룹 별 참조 생체 신호와 검출된 생체 신호를 비교할 수 있다. 여기에서, 그룹은 사용자의 성별 및 나이 등을 기초로 분류될 수 있다.
예를 들어, 사용자 식별 장치(1300)는 그룹 A(1310), 그룹 B(1320), 그룹 C(1330) 및 그룹 D(1340)의 참조 생체 신호에 대한 파형 데이터를 검출된 생체 신호와 비교할 수 있다. 여기에서, 그룹 A(1310), 그룹 B(1320), 그룹 C(1330) 및 그룹 D(1340)에 관한 정보는 사용자 식별 장치(1300)의 출력부 상에 표시될 수 있다.
일 실시예에 따른 사용자 식별 장치는 그룹들 각각의 참조 생체 신호 중에서 검출된 생체 신호의 피크 파형 진폭에 대한 벡터 간 거리가 최소가 되는 그룹 A(1310)를 선택할 수 있다. 다만, 이는 일 실시예일뿐, 피크 파형의 진폭 이외에 다른 특징량이 비교대상이 될 수 있다. 또한, 사용자 식별 장치는 그룹 A(1310)가 선택되었음을 사용자가 확인할 수 있도록, 그룹 A(1310)에 대한 썸네일 이미지에 하이라이트 표시를 하는 등, 사용자가 선택된 그룹 A(1310)를 식별할 수 있는 식별자를 표시할 수 있다.
도 14a 및 14b는 일 실시예에 따른 사용자 식별 장치에서 검출된 생체 신호 및 사용자 식별 장치에 미리 저장된 그룹 별 참조 생체 신호를 설명하기 위한 도면이다.
도 14a를 참고하면, 사용자 식별 장치는 검출된 생체 신호에서, 변곡점에 해당하는 a, b, c 및 d 지점의 높이를 확인할 수 있다.
도 14b를 참고하면, 7개 그룹 각각의 참조 생체 신호가 도시되어 있다. 사용자 식별 장치는 (-b/a)값이 큰 값에서부터 작은 순으로 퍄형을 7개로 분류할 수 있다. 여기에서, (-b/a)값이 큰 것은 동맥 경화가 없는 상태를 나타내고, 작은 것은 것은 동맥 경화가 진행된 상태를 나타낸다. 즉, 그룹 A로부터 그룹 G로 순차적으로 연령이 높아지는 것을 확인할 수 있다.
도 15 및 16은 다른 실시예에 따른 사용자 식별 장치(1500)의 블록도이다.
도 15를 참고하면, 사용자 식별 장치(1500)는 검출부(1510), 제어부(1530) 및 서비스 제공부(1550)를 포함할 수 있다. 그러나 도시된 구성요소 모두가 필수구성요소인 것은 아니다. 도시된 구성요소보다 많은 구성요소에 의해 사용자 식별 장치(1500)가 구현될 수도 있고, 그보다 적은 구성요소에 의해서도 사용자 식별 장치(1500)는 구현될 수 있다.
예를 들어, 도 16을 참고하면, 사용자 식별 장치(1500)에는 검출부(1510), 제어부(1530) 및 서비스 제공부(1550) 이외에 평가부(1520)가 더 포함될 수도 있다.
이하 상기 구성요소들에 대해 차례로 살펴본다.
일 실시예에 따른 검출부(1510)는 사용자 입력으로부터 생체 신호를 검출할 수 있다. 예를 들어, 검출부(1510)는 사용자 입력으로부터 사용자의 맥파 신호를 검출할 수 있다.
평가부(1520)는 검출된 생체 신호가 유효한 지 여부를 판단할 수 있다. 예를 들어, 평가부(1520)는 사용자 입력이 감지된 시점에 획득된 상태 정보가 기 설정된 검출 기준에 대응되는지 여부를 판단하여, 검출된 생체 신호가 유효한 지 여부를 판단할 수 있다. 다른 예에 따라, 평가부(1520)는 기 저장된 참조 생체 신호를 기초로, 검출된 생체 신호의 손실 함수 값을 산출하여, 검출된 생체 신호가 유효한 지 여부를 판단할 수 있다.
일 실시예에 따른 제어부(1530)는 검출된 사용자의 생체 신호를 이용하여, 사용자를 식별할 수 있다.
제어부(1530)는 그룹 식별부(1531) 및 생체 신호 저장부(1532)를 포함할 수 있다.
일 실시예에 따른 그룹 식별부(1531)는 기 저장된 그룹 별 참조 생체 신호와 검출된 생체 신호를 비교할 수 있다. 여기에서, 그룹은 사용자의 성별 및 나이 등을 기초로 분류될 수 있다.
예를 들어, 그룹 식별부(1531)는 그룹 A 내지 G의 참조 생체 신호에 대한 파형 데이터를 읽어 내어, 검출된 생체 신호와 비교할 수 있다. 다만, 이는 일 실시예일 뿐, 피크 파형의 진폭 이외에 다른 특징량 또한 비교대상이 될 수 있다. 예를 들어, 그룹 식별부(1531)는 ICA, SVM, PCA, LDA, KNN. MSM 등의 식별 기법을 이용하여, 사용자가 포함되는 그룹을 선택할 수도 있다.
생체 신호 저장부(1532)에는 성별 또는 나이 등을 기초로 분류된 그룹 별 참조 생체 신호 및 참조 생체 신호의 특징량 중 적어도 하나가 저장될 수 있다. 일 실시예에 따른 생체 신호 저장부(1532)에 그룹별 참조 생체 신호의 특징량이 저장되는 경우, 그룹 식별부(1531)는 참조 생체 신호로부터 생체 신호의 특징량을 추출하지 않고도, 사용자가 포함된 그룹을 식별할 수 있다. 또한, 생체 신호 저장부(1532)는 참조 생체 신호 전체가 아닌 참조 생체 신호의 특징량을 저장함으로써, 저장에 필요한 메모리의 용량을 줄일 수 있다.
서비스 제공부(1550)는 제어부(1530)에서 식별된 사용자에 관한 히스토리 정보를 기초로, 사용자가 실행할 가능성이 높은 서비스에 관한 정보 또는 서비스를 제공할 수 있다.
도 17은 일 실시예에 따른 사용자 식별 장치가 사용자의 생체 신호를 검출하여, 사용자가 포함된 그룹을 결정한 후에, 순차적으로 결정된 그룹 내에서 사용자를 식별하는 방법을 설명하기 위한 흐름도이다.
단계 S1710에서, 사용자 식별 장치는 사용자 식별 장치에 감지된 사용자 입력으로부터 생체 신호를 검출할 수 있다.
한편, 단계 S1710은 도 2를 참고하여 전술한 단계 S220과 대응될 수 있다.
단계 S1720에서, 사용자 식별 장치는 사용자의 생체 신호와 대응되는 그룹을 식별할 수 있다.
일 실시예에 따른 사용자 식별 장치는 기 저장된 그룹 별 참조 생체 신호와 검출된 생체 신호를 비교할 수 있다. 여기에서, 그룹은 사용자의 성별 및 나이 등을 기초로 분류될 수 있다. 사용자 식별 장치는 비교 결과에 기초하여, 검출된 생체 신호의 특징과 유사도가 가장 높은 참조 생체 신호에 대응되는 그룹을 선택할 수 있다.
한편, 단계 S1720은 도 13을 참고하여 전술한 단계 S1320과 대응될 수 있다.
단계 S1730에서, 사용자 식별 장치는 식별된 그룹에 포함된 참조 생체 신호와 사용자의 생체 신호를 비교하여 사용자를 식별할 수 있다.
일 실시예에 따른 사용자 식별 장치는 식별된 그룹에 포함된 적어도 하나의 사용자의 참조 생체 신호와 사용자의 생체 신호를 비교할 수 있다. 예를 들어, 사용자 식별 장치는 검출된 생체 신호와 그룹에 포함된 적어도 하나의 사용자의 참조 생체 신호의 피크 파형 주기, 변곡점, 파형의 크기 등의 생체 신호의 특징량을 비교할 수 있다.
일 실시예에 따른 사용자 식별 장치는 비교 결과에 기초하여, 검출된 생체 신호와 유사도가 가장 높은 참조 생체 신호의 사용자를 검출된 생체 신호의 사용자로 식별할 수 있다.
일 실시예에 따른 사용자 식별 장치는 사용자가 포함될 가능성이 높은 그룹을 우선적으로 선택한 후, 선택된 그룹 내에 포함된 참조 생체 신호와 검출된 생체 신호의 세부적인 특징량을 비교함으로써, 사용자 식별에 필요한 연산량을 줄일 수 있다. 또한, 선택된 그룹에 포함된 참조 생체 신호 간의 유사성이 높은 경우, 사용자 식별 장치는 선택된 그룹에 포함된 참조 생체 신호에 대해 특화된 식별 기법을 선택하여, 사용자를 식별할 수 있다.
단계 S1740에서, 사용자 식별 장치는 식별된 사용자에 대응되는 서비스를 제공할 수 있다.
일 실시예에 따른 사용자 식별 장치는 식별된 사용자에 관한 히스토리 정보를 기초로, 사용자가 실행할 가능성이 높은 서비스를 사용자에게 제공할 수 있다. 예를 들어, 사용자 식별 장치가 리모컨인 경우, 서비스 제공부는 사용자가 즐겨 시청하는 TV의 채널에 관한 정보가 TV에 디스플레이 될 수 있도록 TV를 제어할 수 있다.
도 18 및 19는 다른 실시예에 따른 사용자 식별 장치(1800)의 블록도이다.
도 18를 참고하면, 사용자 식별 장치(1800)는 검출부(1810), 제어부(1830) 및 서비스 제공부(1850)를 포함할 수 있다. 그러나 도시된 구성요소 모두가 필수구성요소인 것은 아니다. 도시된 구성요소보다 많은 구성요소에 의해 사용자 식별 장치(1800)가 구현될 수도 있고, 그보다 적은 구성요소에 의해서도 사용자 식별 장치(1800)는 구현될 수 있다.
예를 들어, 도 19를 참고하면, 사용자 식별 장치(1800)에는 검출부(1810), 제어부(1830) 및 서비스 제공부(1850) 이외에 평가부(1820)가 더 포함될 수도 있다.
이하 상기 구성요소들에 대해 차례로 살펴본다.
일 실시예에 따른 검출부(1810)는 사용자 입력으로부터 생체 신호를 검출할 수 있다. 예를 들어, 검출부(1810)는 사용자 입력으로부터 사용자의 맥파 신호를 검출할 수 있다.
평가부(1820)는 검출된 생체 신호가 유효한 지 여부를 판단할 수 있다. 예를 들어, 평가부(1820)는 사용자 입력이 감지된 시점에 획득된 상태 정보가 기 설정된 검출 기준에 대응되는지 여부를 판단하여, 검출된 생체 신호가 유효한 지 여부를 판단할 수 있다. 다른 예에 따라, 평가부(1820)는 기 저장된 참조 생체 신호를 기초로, 검출된 생체 신호의 손실 함수 값을 산출하여, 검출된 생체 신호가 유효한 지 여부를 판단할 수 있다.
일 실시예에 따른 제어부(1830)는 검출된 사용자의 생체 신호를 이용하여, 사용자를 식별할 수 있다.
제어부(1830)는 그룹 식별부(1831), 생체 신호 저장부(1832) 및 개인 식별부(1833)를 포함할 수 있다.
일 실시예에 따른 그룹 식별부(1831)는 기 저장된 그룹 별 참조 생체 신호와 검출된 생체 신호를 비교할 수 있다. 여기에서, 그룹은 사용자의 성별 및 나이 등을 기초로 분류될 수 있다.
예를 들어, 그룹 식별부(1831)는 그룹 A 내지 G의 참조 생체 신호에 대한 파형 데이터를 읽어 내어, 검출된 생체 신호와 비교할 수 있다. 다만, 이는 일 실시예일 뿐, 피크 파형의 진폭 이외에 다른 특징량이 비교대상이 될 수 있다. 예를 들어, 그룹 식별부(1831)는 ICA, SVM, PCA, LDA, KNN. MSM 등의 식별 기법을 이용하여, 사용자가 포함되는 그룹을 선택할 수도 있다.
생체 신호 저장부(1832)에는 성별 또는 나이 등을 기초로 분류된 그룹 별 참조 생체 신호 및 참조 생체 신호의 특징량 중 적어도 하나가 저장될 수 있다. 일 실시예에 따른 생체 신호 저장부(1832)에 그룹별 참조 생체 신호의 특징량이 저장되는 경우, 그룹 식별부(1831)는 참조 생체 신호로부터 생체 신호의 특징량을 추출하지 않고도, 사용자가 포함된 그룹을 식별할 수 있다.
개인 식별부(1833)는 식별된 그룹에 포함된 참조 생체 신호와 사용자의 생체 신호를 비교하여 사용자를 식별할 수 있다. 일 실시예에 따른 개인 식별부(1833)는 식별된 그룹에 포함된 적어도 하나의 사용자의 참조 생체 신호와 사용자의 생체 신호를 비교할 수 있다. 개인 식별부(1833)는 비교 결과에 기초하여, 검출된 생체 신호와 유사도가 가장 높은 참조 생체 신호의 사용자를 검출된 생체 신호의 사용자로 식별할 수 있다.
서비스 제공부(1850)는 제어부(1830)에서 식별된 사용자에 관한 히스토리 정보를 기초로, 사용자가 실행할 가능성이 높은 서비스에 관한 정보 또는 서비스를 제공할 수 있다.
도 20은 일 실시예에 따른 사용자 식별 장치가 검출된 생체 신호를 데이터 베이스에 저장하는 방법을 설명하기 위한 흐름도이다.
단계 S2010에서, 사용자 식별 장치는 디바이스에 감지된 사용자 입력으로부터 생체 신호를 검출할 수 있다.
한편, 단계 S2010은 도 2를 참고하여 전술한 단계 S220과 대응될 수 있다.
단계 S2020에서, 사용자 식별 장치는 기 저장된 참조 생체 신호 중에서 검출된 생체 신호와 대응되는 참조 생체 신호가 존재하지 않는 경우, 검출된 생체 신호를 데이터 베이스에 저장할 수 있다.
일 실시예에 따른 사용자 식별 장치는 검출된 생체 신호가 기 저장된 참조 생체 신호와 대응되는지 여부를 판단할 수 있다. 사용자 식별 장치는 검출된 생체 신호와 대응되는 참조 생체 신호가 존재하는 경우, 검출된 생체 신호를 이용하여 사용자를 식별할 수 있다.
한편, 사용자 식별 장치는 기 저장된 참조 생체 신호 중에서 검출된 생체 신호와 대응되는 참조 생체 신호가 존재하지 않는 경우, 데이터 베이스에 검출된 생체 신호를 저장할 수 있다. 또한, 사용자 식별 장치는 검출된 생체 신호 및 사용자의 정보를 함께 저장할 수 있다. 예를 들어, 사용자 식별 장치는 검출된 생체 신호과 대응되는 참조 생체 신호가 존재하지 않는 것으로 결정됨에 따라, 사용자의 정보를 입력할 수 있는 사용자 인터페이스를 제공할 수 있다.
도 21 및 22는 다른 실시예에 따른 사용자 식별 장치(2100)의 블록도이다.
도 21을 참고하면, 사용자 식별 장치(2100)는 검출부(2110), 제어부(2130) 및 서비스 제공부(2150)를 포함할 수 있다. 그러나 도시된 구성요소 모두가 필수구성요소인 것은 아니다. 도시된 구성요소보다 많은 구성요소에 의해 사용자 식별 장치(2100)가 구현될 수도 있고, 그보다 적은 구성요소에 의해서도 사용자 식별 장치(2100)는 구현될 수 있다.
예를 들어, 도 22를 참고하면, 사용자 식별 장치(2100)에는 검출부(2110), 제어부(2130) 및 서비스 제공부(2150) 이외에 평가부(2120)가 더 포함될 수도 있다.
이하 상기 구성요소들에 대해 차례로 살펴본다.
일 실시예에 따른 검출부(2110)는 사용자 입력으로부터 생체 신호를 검출할 수 있다. 예를 들어, 검출부(2110)는 사용자 입력으로부터 사용자의 맥파 신호를 검출할 수 있다.
평가부(2120)는 검출된 생체 신호가 유효한 지 여부를 판단할 수 있다. 예를 들어, 평가부(2120)는 사용자 입력이 감지된 시점에 획득된 상태 정보가 기 설정된 검출 기준에 대응되는지 여부를 판단하여, 검출된 생체 신호가 유효한 지 여부를 판단할 수 있다. 다른 예에 따라, 평가부(2120)는 기 저장된 참조 생체 신호를 기초로, 검출된 생체 신호의 손실 함수 값을 산출하여, 검출된 생체 신호가 유효한 지 여부를 판단할 수 있다.
일 실시예에 따른 제어부(2130)는 검출된 사용자의 생체 신호를 이용하여, 사용자를 식별할 수 있다.
제어부(2130)는 등록 정보 식별부(2131), 생체 신호 저장부(2132) 및 식별부(2133)를 포함할 수 있다.
일 실시예에 따른 등록 정보 식별부(2131)는 검출된 생체 신호가 생체 신호 저장부(2132)에 기 저장된 참조 생체 신호와 대응되는지 여부를 판단할 수 있다. 등록 정보 식별부(2131)는 기 저장된 참조 생체 신호 중에서 검출된 생체 신호와 대응되는 참조 생체 신호가 존재하지 않는 경우, 생체 신호 저장부(2132)에 검출된 생체 신호를 저장할 수 있다. 또한, 등록 정보 식별부(2131)는 검출된 생체 신호 및 사용자의 정보를 함께 저장할 수 있다.
생체 신호 저장부(2132)에는 적어도 하나의 사용자의 참조 생체 신호 및 참조 생체 신호의 특징량 중 적어도 하나가 저장될 수 있다.
식별부(2133)는 생체 신호 저장부(2132)에 기 저장된 참조 생체 신호와 검출된 생체 신호를 비교하여 사용자를 식별할 수 있다.
서비스 제공부(2150)는 제어부(2130)에서 식별된 사용자에 관한 히스토리 정보를 기초로, 사용자가 실행할 가능성이 높은 서비스에 관한 정보 또는 서비스를 제공할 수 있다.
도 23은 다른 실시예에 따른 사용자 식별 장치(2300)의 블록도이다.
도 23을 참고하면, 사용자 식별 장치(2300)는 검출부(2310), 제어부(2320) 및 서비스 제공부(2330)를 포함할 수 있다. 그러나 도시된 구성요소 모두가 필수구성요소인 것은 아니다. 도시된 구성요소보다 많은 구성요소에 의해 사용자 식별 장치(2300)가 구현될 수도 있고, 그보다 적은 구성요소에 의해서도 사용자 식별 장치(2300)는 구현될 수 있다.
이하 상기 구성요소들에 대해 차례로 살펴본다.
일 실시예에 따른 검출부(2310)는 사용자 입력으로부터 생체 신호를 검출할 수 있다. 예를 들어, 검출부(2310)는 사용자 입력으로부터 사용자의 맥파 신호를 검출할 수 있다.
제어부(2320)는 검출된 사용자의 생체 신호를 이용하여, 사용자를 식별할 수 있다.
제어부(2320)는 등록 정보 식별부(2321), 생체 신호 저장부(2322), 그룹 식별부(2323) 및 개인 식별부(2324)를 포함할 수 있다.
일 실시예에 따른 등록 정보 식별부(2321)는 검출된 생체 신호가 생체 신호 저장부(2322)에 기 저장된 참조 생체 신호와 대응되는지 여부를 판단할 수 있다. 등록 정보 식별부(2321)는 기 저장된 참조 생체 신호 중에서 검출된 생체 신호와 대응되는 참조 생체 신호가 존재하지 않는 경우, 생체 신호 저장부(2322)에 검출된 생체 신호를 저장할 수 있다. 또한, 등록 정보 식별부(2321)는 검출된 생체 신호 및 사용자의 정보를 함께 저장할 수 있다.
생체 신호 저장부(2322)에는 적어도 하나의 사용자의 참조 생체 신호 및 참조 생체 신호의 특징량 중 적어도 하나가 저장될 수 있다.
그룹 식별부(2323)는 기 저장된 그룹 별 참조 생체 신호와 검출된 생체 신호를 비교할 수 있다. 여기에서, 그룹은 사용자의 성별 및 나이 등을 기초로 분류될 수 있다.
예를 들어, 사용자 식별 장치는 그룹 A 내지 G의 참조 생체 신호에 대한 파형 데이터를 읽어 내어, 검출된 생체 신호와 비교할 수 있다. 다만, 이는 일 실시예일 뿐, 피크 파형의 진폭 이외에 다른 특징량이 비교대상이 될 수 있다. 예를 들어, ICA, SVM, PCA, LDA, KNN. MSM 등의 식별 기법을 이용하여, 사용자가 포함되는 그룹을 선택할 수도 있다.
개인 식별부(2324)는 식별된 그룹에 포함된 참조 생체 신호와 사용자의 생체 신호를 비교하여 사용자를 식별할 수 있다. 일 실시예에 따른 개인 식별부(2324)는 식별된 그룹에 포함된 적어도 하나의 사용자의 참조 생체 신호와 사용자의 생체 신호를 비교할 수 있다. 개인 식별부(2324)는 비교 결과에 기초하여, 검출된 생체 신호와 유사도가 가장 높은 참조 생체 신호의 사용자를 검출된 생체 신호의 사용자로 식별할 수 있다.
서비스 제공부(2330)는 제어부(2320)에서 식별된 사용자에 관한 히스토리 정보를 기초로, 사용자가 실행할 가능성이 높은 서비스에 관한 정보 또는 서비스를 제공할 수 있다.
본 발명의 일 실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다.
실시 예에 따른 장치는 프로세서, 프로그램 데이터를 저장하고 실행하는 메모리, 디스크 드라이브와 같은 영구 저장부(permanent storage), 외부 장치와 통신하는 통신 포트, 터치 패널, 키(key), 버튼 등과 같은 사용자 인터페이스 장치 등을 포함할 수 있다. 소프트웨어 모듈 또는 알고리즘으로 구현되는 방법들은 상기 프로세서상에서 실행 가능한 컴퓨터가 읽을 수 있는 코드들 또는 프로그램 명령들로서 컴퓨터가 읽을 수 있는 기록 매체 상에 저장될 수 있다. 여기서 컴퓨터가 읽을 수 있는 기록 매체로 마그네틱 저장 매체(예컨대, ROM(read-only memory), RAM(random-access memory), 플로피 디스크, 하드 디스크 등) 및 광학적 판독 매체(예컨대, 시디롬(CD-ROM), 디브이디(DVD: Digital Versatile Disc)) 등이 있다. 컴퓨터가 읽을 수 있는 기록 매체는 네트워크로 연결된 컴퓨터 시스템들에 분산되어, 분산 방식으로 컴퓨터가 판독 가능한 코드가 저장되고 실행될 수 있다. 매체는 컴퓨터에 의해 판독가능하며, 메모리에 저장되고, 프로세서에서 실행될 수 있다.
도면에 도시된 실시 예들에서 참조 부호를 기재하였으며, 실시 예들을 설명하기 위하여 특정 용어들을 사용하였으나, 특정 용어에 의해 본 발명이 한정되는 것은 아니며, 실시 예는 당업자에 있어서 통상적으로 생각할 수 있는 모든 구성 요소들을 포함할 수 있다.
실시 예는 기능적인 블록 구성들 및 다양한 처리 단계들로 나타내어질 수 있다. 이러한 기능 블록들은 특정 기능들을 실행하는 다양한 개수의 하드웨어 또는/및 소프트웨어 구성들로 구현될 수 있다. 예를 들어, 실시 예는 하나 이상의 마이크로프로세서들의 제어 또는 다른 제어 장치들에 의해서 다양한 기능들을 실행할 수 있는, 메모리, 프로세싱, 로직(logic), 룩 업 테이블(look-up table) 등과 같은 직접 회로 구성들을 채용할 수 있다. 또한, 실시예는 동종의 또는 서로 다른 종류의 코어들, 서로 다른 종류의 CPU들을 채용할 수도 있다. 본 발명에의 구성 요소들이 소프트웨어 프로그래밍 또는 소프트웨어 요소들로 실행될 수 있는 것과 유사하게, 실시 예는 데이터 구조, 프로세스들, 루틴들 또는 다른 프로그래밍 구성들의 조합으로 구현되는 다양한 알고리즘을 포함하여, C, C++, 자바(Java), 어셈블러(assembler) 등과 같은 프로그래밍 또는 스크립팅 언어로 구현될 수 있다. 기능적인 측면들은 하나 이상의 프로세서들에서 실행되는 알고리즘으로 구현될 수 있다. 또한, 실시 예는 전자적인 환경 설정, 신호 처리, 및/또는 데이터 처리 등을 위하여 종래 기술을 채용할 수 있다. "매커니즘", "요소", "수단", "구성"과 같은 용어는 넓게 사용될 수 있으며, 기계적이고 물리적인 구성들로서 한정되는 것은 아니다. 상기 용어는 프로세서 등과 연계하여 소프트웨어의 일련의 처리들(routines)의 의미를 포함할 수 있다.
실시 예에서 설명하는 특정 실행들은 일 실시 예들로서, 어떠한 방법으로도 실시 예의 범위를 한정하는 것은 아니다. 명세서의 간결함을 위하여, 종래 전자적인 구성들, 제어 시스템들, 소프트웨어, 상기 시스템들의 다른 기능적인 측면들의 기재는 생략될 수 있다. 또한, 도면에 도시된 구성 요소들 간의 선들의 연결 또는 연결 부재들은 기능적인 연결 및/또는 물리적 또는 회로적 연결들을 예시적으로 나타낸 것으로서, 실제 장치에서는 대체 가능하거나 추가의 다양한 기능적인 연결, 물리적인 연결, 또는 회로 연결들로서 나타내어질 수 있다. 또한, "필수적인", "중요하게" 등과 같이 구체적인 언급이 없다면 본 발명의 적용을 위하여 반드시 필요한 구성 요소가 아닐 수 있다.
실시 예의 명세서(특히 특허청구범위에서)에서 "상기"의 용어 및 이와 유사한 지시 용어의 사용은 단수 및 복수 모두에 해당하는 것일 수 있다. 또한, 실시 예에서 범위(range)를 기재한 경우 상기 범위에 속하는 개별적인 값을 적용한 발명을 포함하는 것으로서(이에 반하는 기재가 없다면), 상세한 설명에 상기 범위를 구성하는 각 개별적인 값을 기재한 것과 같다. 마지막으로, 실시 예에 따른 방법을 구성하는 단계들에 대하여 명백하게 순서를 기재하거나 반하는 기재가 없다면, 상기 단계들은 적당한 순서로 행해질 수 있다. 반드시 상기 단계들의 기재 순서에 따라 실시 예들이 한정되는 것은 아니다. 실시 예에서 모든 예들 또는 예시적인 용어(예들 들어, 등등)의 사용은 단순히 실시 예를 상세히 설명하기 위한 것으로서 특허청구범위에 의해 한정되지 않는 이상 상기 예들 또는 예시적인 용어로 인해 실시 예의 범위가 한정되는 것은 아니다. 또한, 당업자는 다양한 수정, 조합 및 변경이 부가된 특허청구범위 또는 그 균등물의 범주 내에서 설계 조건 및 팩터에 따라 구성될 수 있음을 알 수 있다.
Claims (15)
- 사용자 입력을 감지하는 단계;상기 감지된 사용자 입력으로부터 생체 신호를 검출하는 단계;상기 사용자 입력이 감지된 시점의 사용자의 상태를 나타내는 상태 정보를 기초로, 상기 검출된 생체 신호가 유효한지 여부를 판단하는 단계; 및상기 판단 결과에 따라, 상기 생체 신호와 기 저장된 적어도 하나의 참조 생체 신호를 비교하여 상기 사용자를 식별하는 단계를 포함하는 생체 신호를 이용한 사용자 식별 방법.
- 제 1항에 있어서, 상기 생체 신호는,맥파 신호를 포함하고,상기 사용자의 상태 정보는,상기 사용자의 체온, 상기 사용자 입력에 의해 발생된 압력, 상기 사용자의 자세 및 동작 중 적어도 하나를 포함하는 생체 신호를 이용한 사용자 식별 방법.
- 제 2항에 있어서, 상기 판단하는 단계는,상기 사용자의 상태 정보가 기 설정된 검출 기준과 대응되는지 여부를 판단하는 생체 신호를 이용한 사용자 식별 방법.
- 제 1항에 있어서, 상기 적어도 하나의 참조 생체 신호는,참조 생체 신호의 특성에 따라, 적어도 하나의 그룹으로 분류되어 저장되고,상기 식별하는 단계는,상기 분류된 적어도 하나의 그룹 중, 상기 사용자의 생체 신호와 대응되는 그룹을 식별하는 단계를 포함하며,상기 사용자 식별 방법은,상기 식별된 그룹에 관한 정보를 표시하는 단계를 더 포함하는 생체 신호를 이용한 사용자 식별 방법.
- 제 4항에 있어서, 상기 식별하는 단계는,상기 식별된 그룹에 포함된 참조 생체 신호와 상기 사용자의 생체 신호를 비교하는 단계를 포함하는 생체 신호를 이용한 사용자 식별 방법.
- 제 4항에 있어서,상기 적어도 하나의 그룹에 포함된 사용자가 이전에 실행한 서비스의 히스토리 정보를 나타내는 상기 적어도 하나의 그룹의 서비스 이용 정보 중 상기 식별된 그룹의 서비스 이용 정보를 획득하는 단계; 및상기 획득된 그룹의 서비스 이용 정보에 기초하여 서비스를 제공하는 단계를 더 포함하는 생체 신호를 이용한 사용자 식별 방법.
- 제 1항에 있어서,상기 적어도 하나의 참조 생체 신호의 벡터 정보를 기초로 상기 적어도 하나의 참조 생체 신호의 특성을 나타내는 정상 생체 신호 공간을 생성하는 단계를 더 포함하고,상기 판단하는 단계는,상기 생체 신호가 상기 정상 생체 신호 공간에 투영됨에 따라 변형되는 정도에 기초하여, 상기 생체 신호가 유효한 지 여부를 판단하는 생체 신호를 이용한 사용자 식별 방법.
- 제 7항에 있어서,상기 생체 신호의 변형 정도가 기 설정된 범위 이내인 경우, 상기 생체 신호를 보정하는 단계를 더 포함하는 생체 신호를 이용한 사용자 식별 방법.
- 사용자 입력을 감지하는 센싱부;상기 감지된 사용자 입력으로부터 생체 신호를 검출하는 검출부; 및상기 사용자 입력이 감지된 시점의 사용자의 상태를 나타내는 상태 정보를 기초로, 상기 검출된 생체 신호가 유효한지 여부를 판단하고, 상기 판단 결과에 따라, 상기 생체 신호와 기 저장된 적어도 하나의 참조 생체 신호를 비교하여 상기 사용자를 식별하는 제어부를 포함하는 생체 신호를 이용한 사용자 식별 장치.
- 제 9항에 있어서, 상기 제어부는,상기 사용자의 상태 정보가 기 설정된 검출 기준과 대응되는 지 여부를 판단하는 생체 신호를 이용한 사용자 식별 장치.
- 제 9항에 있어서, 상기 적어도 하나의 참조 생체 신호는,참조 생체 신호의 특성에 따라, 적어도 하나의 그룹으로 분류되어 저장되고,상기 제어부는,상기 분류된 적어도 하나의 그룹 중, 상기 사용자의 생체 신호와 대응되는 그룹을 식별하며,상기 사용자 식별 장치는,상기 식별된 그룹에 관한 정보를 표시하는 출력부를 더 포함하는 생체 신호를 이용한 사용자 식별 장치.
- 제 11항에 있어서, 상기 제어부는,상기 식별된 그룹에 포함된 참조 생체 신호와 상기 사용자의 생체 신호를 비교하는 생체 신호를 이용한 사용자 식별 장치.
- 제 11항에 있어서,상기 적어도 하나의 그룹에 포함된 사용자가 이전에 실행한 서비스의 히스토리 정보를 나타내는 상기 적어도 하나의 그룹의 서비스 이용 정보 중 상기 식별된 그룹의 서비스 이용 정보를 획득하고, 상기 획득된 그룹의 서비스 이용 정보에 기초하여 서비스를 제공하는 서비스 제공부를 더 포함하는 생체 신호를 이용한 사용자 식별 장치.
- 제 9항에 있어서, 상기 제어부는,상기 적어도 하나의 참조 생체 신호의 벡터 정보를 기초로 상기 적어도 하나의 참조 생체 신호의 특성을 나타내는 정상 생체 신호 공간을 생성하고, 상기 생체 신호가 상기 정상 생체 신호 공간에 투영됨에 따라 변형되는 정도에 기초하여, 상기 생체 신호가 유효한 지 여부를 판단하는 생체 신호를 이용한 사용자 식별 장치.
- 제 9항에 있어서, 상기 제어부는,상기 생체 신호의 변형 정도가 기 설정된 범위 이내인 경우, 상기 생체 신호를 보정하는 생체 신호를 이용한 사용자 식별 장치.
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US15/532,376 US10497197B2 (en) | 2014-12-02 | 2015-11-30 | Method and device for identifying user using bio-signal |
CN201580065333.5A CN107004124B (zh) | 2014-12-02 | 2015-11-30 | 使用生物信号识别用户的方法和设备 |
Applications Claiming Priority (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2014-243736 | 2014-12-02 | ||
JP2014243736A JP6468823B2 (ja) | 2014-12-02 | 2014-12-02 | 生体識別システムおよび電子機器 |
KR10-2015-0165569 | 2015-11-25 | ||
KR1020150165569A KR102532296B1 (ko) | 2014-12-02 | 2015-11-25 | 생체 신호를 이용한 사용자 식별 방법 및 장치 |
Publications (1)
Publication Number | Publication Date |
---|---|
WO2016089053A1 true WO2016089053A1 (ko) | 2016-06-09 |
Family
ID=56091958
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
PCT/KR2015/012890 WO2016089053A1 (ko) | 2014-12-02 | 2015-11-30 | 생체 신호를 이용한 사용자 식별 방법 및 장치 |
Country Status (1)
Country | Link |
---|---|
WO (1) | WO2016089053A1 (ko) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20180020990A1 (en) * | 2016-07-20 | 2018-01-25 | Samsung Electronics Co., Ltd. | Apparatus and method for extracting feature of bio-signal, and apparatus for detecting bio- information |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20060059364A1 (en) * | 2002-11-28 | 2006-03-16 | Koninklijke Philips Electronics N.V. | Bio-linking a user and authorization means |
WO2009048299A2 (en) * | 2007-10-10 | 2009-04-16 | Electronics And Telecommunications Research Institute | System and method for providing iptv service based on social network |
US20100054547A1 (en) * | 2006-12-08 | 2010-03-04 | Michael Tagscherer | Portable data storage medium for biometric user identification |
US20110150291A1 (en) * | 2009-12-22 | 2011-06-23 | Samsung Electronics Co., Ltd. | Method and apparatus for recognizing id in mobile terminal having a touchscreen |
US20130015952A1 (en) * | 2005-09-01 | 2013-01-17 | Bricom Technologies Ltd | Systems and Algorithms For Stateless Biometric Recognition |
-
2015
- 2015-11-30 WO PCT/KR2015/012890 patent/WO2016089053A1/ko active Application Filing
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20060059364A1 (en) * | 2002-11-28 | 2006-03-16 | Koninklijke Philips Electronics N.V. | Bio-linking a user and authorization means |
US20130015952A1 (en) * | 2005-09-01 | 2013-01-17 | Bricom Technologies Ltd | Systems and Algorithms For Stateless Biometric Recognition |
US20100054547A1 (en) * | 2006-12-08 | 2010-03-04 | Michael Tagscherer | Portable data storage medium for biometric user identification |
WO2009048299A2 (en) * | 2007-10-10 | 2009-04-16 | Electronics And Telecommunications Research Institute | System and method for providing iptv service based on social network |
US20110150291A1 (en) * | 2009-12-22 | 2011-06-23 | Samsung Electronics Co., Ltd. | Method and apparatus for recognizing id in mobile terminal having a touchscreen |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20180020990A1 (en) * | 2016-07-20 | 2018-01-25 | Samsung Electronics Co., Ltd. | Apparatus and method for extracting feature of bio-signal, and apparatus for detecting bio- information |
KR20180010062A (ko) * | 2016-07-20 | 2018-01-30 | 삼성전자주식회사 | 생체신호의 특징 추출 장치 및 방법과, 생체정보 검출 장치 |
KR102655669B1 (ko) | 2016-07-20 | 2024-04-05 | 삼성전자주식회사 | 생체신호의 특징 추출 장치 및 방법과, 생체정보 검출 장치 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
WO2021107506A1 (en) | Electronic device for providing augmented reality service and operating method thereof | |
WO2020138729A1 (en) | Electronic device for performing communication with pen input device with multiple input buttons and method of controlling same | |
WO2016060486A1 (en) | User terminal apparatus and iris recognition method thereof | |
WO2017003136A1 (ko) | 사용자 인증 방법 및 장치 | |
WO2015009111A1 (ko) | 생체인식 기반 인증 방법 및 장치 | |
WO2019240513A1 (ko) | 전자 장치에서 생체 정보 제공 방법 및 장치 | |
WO2017099314A1 (ko) | 사용자 정보를 제공하는 전자 장치 및 방법 | |
WO2019168238A1 (ko) | 이동단말기 및 그 제어 방법 | |
WO2020050530A1 (en) | Electronic device including ultrasonic in-display fingerprint sensor and operating method thereof | |
WO2014017757A1 (en) | Method of transmitting inquiry message, display device for the method, method of sharing information, and mobile terminal | |
WO2015194693A1 (ko) | 영상 표시 기기 및 그의 동작 방법 | |
WO2019164290A1 (en) | Method of biometric authenticating using plurality of camera with different field of view and electronic apparatus thereof | |
WO2020076014A1 (en) | Electronic apparatus and method for controlling the electronic apparatus | |
WO2015149588A1 (zh) | 手持设备上用户操作模式的识别方法及手持设备 | |
AU2017346260B2 (en) | Electronic device and computer-readable recording medium for displaying images | |
WO2020171563A1 (en) | Electronic device and method for controlling operation of display in same | |
WO2016175424A1 (ko) | 이동 단말기 및 그 제어 방법 | |
WO2017111468A1 (en) | Method, storage medium, and electronic device for executing function based on biometric signal | |
WO2022191542A1 (ko) | 홈 트레이닝 서비스 제공 방법 및 그를 수행하는 디스플레이 장치 | |
WO2018038545A1 (en) | Method, system, and mobile communication terminal to run a predetermined operation for performing a specific function in response to an activation user input | |
WO2019164281A1 (en) | Electronic device and control method thereof | |
WO2019050212A1 (ko) | 지문을 인식하기 방법, 전자 장치 및 저장 매체 | |
WO2017146454A1 (ko) | 컨텐트를 인식하는 방법 및 장치 | |
WO2018016695A1 (en) | Watch type mobile terminal and method for controlling the same | |
WO2016089053A1 (ko) | 생체 신호를 이용한 사용자 식별 방법 및 장치 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 15865015 Country of ref document: EP Kind code of ref document: A1 |
|
WWE | Wipo information: entry into national phase |
Ref document number: 15532376 Country of ref document: US |
|
NENP | Non-entry into the national phase |
Ref country code: DE |
|
122 | Ep: pct application non-entry in european phase |
Ref document number: 15865015 Country of ref document: EP Kind code of ref document: A1 |