WO2018093183A1 - 전자 장치 및 그 제어 방법 - Google Patents

전자 장치 및 그 제어 방법 Download PDF

Info

Publication number
WO2018093183A1
WO2018093183A1 PCT/KR2017/013048 KR2017013048W WO2018093183A1 WO 2018093183 A1 WO2018093183 A1 WO 2018093183A1 KR 2017013048 W KR2017013048 W KR 2017013048W WO 2018093183 A1 WO2018093183 A1 WO 2018093183A1
Authority
WO
WIPO (PCT)
Prior art keywords
signal
user
biosignal
electronic device
feature information
Prior art date
Application number
PCT/KR2017/013048
Other languages
English (en)
French (fr)
Inventor
강혁
유재봉
홍덕기
임경수
Original Assignee
삼성전자 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from KR1020170046890A external-priority patent/KR20180055661A/ko
Application filed by 삼성전자 주식회사 filed Critical 삼성전자 주식회사
Priority to US16/461,105 priority Critical patent/US11435826B2/en
Priority to EP17870975.4A priority patent/EP3518129B1/en
Priority to CN201780070666.6A priority patent/CN109964226B/zh
Priority claimed from KR1020170153105A external-priority patent/KR102410998B1/ko
Publication of WO2018093183A1 publication Critical patent/WO2018093183A1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/30—Authentication, i.e. establishing the identity or authorisation of security principals
    • G06F21/31—User authentication
    • G06F21/32—User authentication using biometric data, e.g. fingerprints, iris scans or voiceprints
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/30—Authentication, i.e. establishing the identity or authorisation of security principals
    • G06F21/44—Program or device authentication
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output

Definitions

  • the present invention relates to an electronic device and a control method thereof, and more particularly, to a wearable electronic device capable of sensing a biosignal of a user and a control method thereof.
  • Wearable devices that are or will be released today include smart watches, head mounted display (HMD) devices, and smart belts.
  • HMD head mounted display
  • the HMD device is a wearable display device that can be worn as if wearing glasses, and can display an image.
  • the HMD device is also called a face mounted display (FMD) because the display is disposed near the wearer's eyes.
  • the HMD device can be combined with augmented reality technology, N screen technology, and the like to provide various conveniences to the user beyond simple display functions.
  • the HMD device may provide a surrounding image to provide a user with a more realistic and realistic virtual space.
  • the surrounding image may represent visual information unfolded in all directions around the HMD device. Accordingly, the HMD device may direct a direction that the face of the user wearing the HMD device faces, and display an image corresponding to the corresponding direction among the surrounding images. In this way, the user can feel as if he is actually present in the virtual space.
  • the HMD device is an environment in which a separate input device such as a keyboard or a mouse is difficult to use, a technology for detecting a user's biosignal and receiving the detected biosignal to control the HMD device has emerged.
  • a user wearing an HMD device often requires user authentication in various situations, and in this case, it is difficult for the user to perform fingerprint recognition, PIN input, pattern input, etc.
  • User authentication was performed by determining whether a specific word or sentence was spoken.
  • the recognition rate decreases in an environment in which there is a lot of noise because it is sensitive to external noise, and it is difficult to check whether the user wearing the HMD device speaks.
  • the present invention has been made in accordance with the above-described needs, and an object of the present invention is to provide an electronic device and a control method thereof capable of increasing the accuracy of user authentication using a plurality of different signals generated from a user.
  • an electronic device may include a biosignal input unit for receiving a biosignal of a user detected through an electrode, a voice input unit for receiving a voice signal, and a biosignal input through the biosignal input unit and the And a processor for identifying the user based on the voice signal input through the voice input unit.
  • the processor may generate a synthesized signal obtained by combining the input voice signal and the biosignal, and identify the user based on the generated synthesized signal.
  • the processor may generate the composite signal using the voice signal input through the voice input unit and the detected biosignal while the biosignal is detected.
  • the electronic device may further include a storage configured to store characteristic information of a synthesized signal obtained by synthesizing a voice signal of the user's specific speech and the biosignal of the user, and the processor may include the feature information of the generated synthesized signal.
  • the user may be identified by comparing the extracted feature information with feature information of the synthesized signal stored in the storage unit.
  • the electronic device may further include a storage unit configured to store voice information regarding the specific speech of the user and feature information of the biosignal of the user, respectively, and the processor may store feature information of the input voice signal and the biosignal, respectively.
  • the user may be identified by comparing each extracted feature information with feature information of the pre-stored voice signal and the biosignal.
  • the voice input unit may include a microphone, and the processor may turn on the microphone when the bio signal is detected through the electrode.
  • the biosignal may include at least one of an electrocardiogram (EMG) signal, a safety degree (EOG) signal, an electroencephalogram (EEG) signal, an electrocardiogram (ECG) signal, a skin electroconductivity (GSR) signal, and a bioelectrical resistance analysis (BIA) signal. It may include.
  • EMG electrocardiogram
  • EEG safety degree
  • EEG electroencephalogram
  • ECG electrocardiogram
  • GSR skin electroconductivity
  • BIOA bioelectrical resistance analysis
  • the storage unit may store characteristic information of a synthesized signal obtained by synthesizing a voice signal of a specific speech of the user and an EMG signal of a pattern corresponding to the specific speech.
  • the processor may receive an EMG signal sensed through an electrode located around the mouth of the user, and generate a synthesized signal obtained by combining the input voice signal and the EMG signal.
  • the electronic device may further include a display, and the processor may detect the safety signal of the user and determine whether the user looks at a predetermined area on the screen of the display based on the detected safety signal. When the user looks at the specific area, the user may be identified by comparing the feature information of the generated synthesized signal with the feature information of the pre-stored synthesized signal.
  • control method of the electronic device comprises the steps of receiving a user's voice signal detected through the electrode and the user's voice signal detected through the microphone, and the input bio-signal and voice signal Identifying the user based on the identification of the user.
  • the identifying of the user may include generating a synthesized signal obtained by combining the input biosignal and voice signal, and identifying the user based on the generated synthesized signal.
  • the synthesized signal may be generated using the biosignal and the voice signal input through the microphone while the biosignal is detected.
  • the electronic device may store feature information of a synthesized signal obtained by combining the voice signal of the user's specific speech and the biosignal of the user, and identifying the user may extract feature information of the generated synthesized signal. And identifying the user by comparing the extracted feature information with feature information of the stored composite signal.
  • the electronic device may store the voice signal of the user's specific speech and the feature information of the user's biosignal, and identifying the user may extract feature information of the input voice signal and the biosignal, respectively. And comparing the extracted feature information with feature information of the pre-stored voice signal and the biosignal, respectively, to identify the user.
  • the receiving may include turning on the microphone when the bio signal is detected through the electrode.
  • the biosignal may include at least one of an electrocardiogram (EMG) signal, a safety degree (EOG) signal, an electroencephalogram (EEG) signal, an electrocardiogram (ECG) signal, a skin electroconductivity (GSR) signal, and a bioelectrical resistance analysis (BIA) signal. It may include.
  • EMG electrocardiogram
  • EEG safety degree
  • EEG electroencephalogram
  • ECG electrocardiogram
  • GSR skin electroconductivity
  • BIOA bioelectrical resistance analysis
  • the electronic device may store characteristic information of a synthesized signal obtained by synthesizing a voice signal of a specific speech of the user and an EMG signal of a pattern corresponding to the specific speech.
  • the EMG signal may be detected through an electrode located around the mouth of the user.
  • the control method may further include detecting a safety signal of the user and determining whether the user looks at a specific area on a screen of the display based on the detected safety signal.
  • the identifying of the user may identify the user by comparing feature information of the generated synthesized signal with feature information of the pre-stored synthesized signal when the user looks at the specific area.
  • the accuracy of user identification may be increased during the authentication process.
  • FIGS. 1A and 1B are diagrams for describing an implementation example of an electronic device according to an embodiment of the present disclosure
  • FIGS. 2A and 2B are block diagrams schematically illustrating a configuration of an electronic device according to an embodiment of the present disclosure
  • FIG. 3 is a view for explaining each electrode for detecting a bio-signal according to an embodiment of the present invention.
  • FIG. 4 is a flowchart illustrating a process of performing user authentication by synthesizing a biosignal detected by an electronic device according to an embodiment of the present disclosure
  • FIG. 5 is a diagram illustrating waveforms of EMG signals and voice signals and waveforms of synthesized signals according to an embodiment of the present disclosure
  • FIG. 6 is a diagram for describing each signal flow process in an electronic device according to an embodiment of the present disclosure.
  • FIG. 7 is a flowchart for briefly describing an operation process of an electronic device according to an embodiment of the present disclosure
  • FIG. 8 is a flowchart illustrating an operation process of an electronic device in detail according to an embodiment of the present disclosure
  • 9A to 9B are diagrams for describing a method of performing user authentication using an EMG signal and a voice signal, according to an embodiment of the present invention.
  • FIGS. 10 and 11 are views for explaining a user authentication method using a bio-signal in a web site according to an embodiment of the present invention
  • FIG. 12 is a diagram for selecting one of a plurality of registered users using a biosignal according to an embodiment of the present invention
  • FIG. 13 is a block diagram illustrating in detail a configuration of an electronic device according to another embodiment of the present disclosure.
  • FIG. 14 is a flowchart illustrating a control method of an electronic device according to an embodiment of the present disclosure.
  • ordinal numbers such as 'first' and 'second' may be used to distinguish between components. These ordinal numbers are used to distinguish the same or similar components from each other, and the meaning of the terms should not be construed as limited by the use of these ordinal numbers. For example, the components combined with these ordinal numbers should not be construed as limiting the order of use or arrangement of the components. If necessary, the ordinal numbers may be used interchangeably.
  • terms such as 'module', 'unit', and 'part' are used to refer to a component that performs at least one function or operation, and these components are referred to as hardware or software. It may be implemented or in a combination of hardware and software.
  • a plurality of 'modules', 'units', 'parts', etc. may be integrated into at least one module or chip except that each of the plurality of 'modules', 'units', 'parts', etc. may be implemented in at least one processor It may be implemented as (not shown).
  • a part when a part is connected to another part, this includes not only a direct connection but also an indirect connection through another medium.
  • the meaning that a part includes a certain component means that it may further include other components, without excluding other components, unless specifically stated otherwise.
  • FIGS. 1A and 1B are diagrams for describing an implementation example of an electronic device according to an embodiment of the present disclosure.
  • the electronic device 100 of the present invention may be implemented as a head mounted display (HMD) device that can be worn on a user's head or worn around the eyes like glasses to provide VR content.
  • the electronic device 100 may be implemented as an integrated HMD device in which a band for wearing on a user's head and various user interfaces and displays are integrated, or a portable terminal device including a display such as a smart phone. It can be used by being detached from a detachable HMD device (case) without a display.
  • FIG. 1A illustrates a user wearing an electronic device 100 implemented as an integrated HMD device 100A.
  • the electronic device 100 may be worn in the form of fixing the user's forehead and the back of the head by a Velcro band, and may block the view of the user's external environment in addition to the content provided by the electronic device 100.
  • FIG. 1B illustrates an appearance in which the electronic device 100 implemented as the portable terminal device 100B is attached to the detachable HMD device 200.
  • the electronic device 100 may be implemented as a smart phone to provide a display to a user, and may be detachable from the main body of the detachable HMD device 200 fixed to the forehead and the back of the user.
  • the detachable HMD device 200 may include an electrode for detecting a user's biosignal, a button for receiving a user input, a communication module for communicating with the electronic device 100 via wired or wireless, and the like. The detailed configuration of the detachable HMD device 200 will be described later.
  • the electronic device 100 is not limited to a smartphone.
  • the electronic device 100 may be a tablet personal computer (PC), a mobile phone, a video phone, an e-book reader, a personal digital assistant (PDA), a portable multimedia player (PMP), or an MP3 player. It may be implemented in various devices including a display such as a navigation, a camera, and the like.
  • FIGS. 2A and 2B are block diagrams schematically illustrating a configuration of an electronic device according to an embodiment of the present disclosure.
  • an electronic device 100 essentially includes a biosignal input unit 110, a voice input unit 120, and a processor 130.
  • the biosignal input unit 110 is a component for receiving a biosignal of a user.
  • the user may mean a wearer who wears the electronic device 100, and the biosignal may be mainly obtained from the face of the user, which is a portion on which the electronic device 100 is worn.
  • the biosignal mainly refers to a bioelectrical signal, and is generated by the electrochemical action of excitable cells which are components of nerve, muscle, and glandular tissue.
  • the electronic device 100 performs signal processing after measuring a desired biosignal using a sensor such as an electrode.
  • the biosignal may be obtained through various parts of the user's body other than the user's face, and in a broad sense, may include a signal detected by a user's physical motion (head rotation, nod, etc.) other than the bioelectrical signal. have.
  • Bioelectric signals as bioelectric signals include electromyogram (hereinafter referred to as EMG) signal, safety (Electrooculogram, EOG) signal, electroencephalogram (hereinafter referred to as EEG) signal, electrocardiogram (hereinafter referred to as ECG).
  • EMG electromyogram
  • EOG safety
  • EEG electroencephalogram
  • ECG electrocardiogram
  • the signal may include at least one of a signal, a galvanic skin response (GSR) signal, and a bioelectrical impedance analysis (BIA) signal.
  • GSR galvanic skin response
  • BIOA bioelectrical impedance analysis
  • the EMG signal is a signal showing muscle movement and is an electrical signal generated by muscle movement of a user's face.
  • the EMG signal is basically an electrical signal generated by physiological changes occurring in the muscle fiber membrane.
  • the EMG signal is mainly an electrical signal generated through muscle movement around the mouth such as a user talking or biting the molar.
  • the biosignal input unit 110 may receive an electrical signal detected from an electrode attached to the periphery of the eye (particularly, the eye) as an EMG signal.
  • the EOG signal is an electrical signal generated by eye movement due to the voltage difference between the corneas of the user.
  • the biosignal input unit 110 detects electrical signals detected from electrodes attached to the left and right sides of the eye. It can be received as an EOG signal.
  • a constant dipole is formed between the two electrodes, and the output at this time becomes zero (0).
  • the + component is output.
  • the-component is outputted.
  • the blinking of the user's eyes can also be measured using the EOG signal, which is measured after attaching the electrodes to the top and bottom of one eye.
  • the EEG signal is an electrical signal that is generated when a signal is transmitted from the nervous system to the cranial nerve. They appear differently depending on the state of mind and body and are the most important indicators for measuring brain activity.
  • the EEG signal is generally detected through an electrode attached to the scalp, and the biosignal input unit 110 may receive an electric signal detected from an electrode attached to the forehead as an EEG signal.
  • the ECG signal is an electrical signal generated during contraction and relaxation of the heart and is the most representative biosignal that can be easily and quickly measured on the body surface.
  • the exercise of the heart is expressed in beats per minute (bpm), and changes in the autonomic nervous system can be seen through changes in heart rate.
  • the ECG signal may be measured on the face of the user, and the biosignal input unit 110 may receive an electrical signal detected from an electrode attached to various sites as an EOG signal.
  • the GSR signal is generally used as an index of emotional state and is a biosignal for measuring the electrical resistance of the skin. For example, in a general arousal state, the electrical resistance of the skin is reduced, and the GSR signal may indicate the degree of change in electrical resistance of the skin according to such a characteristic. That is, the GSR signal is related to the activity of the sweat glands.
  • the BIA signal is a signal that is measured by flowing an alternating current that does not harm the human body and is a biosignal that can measure the amount of moisture in the body.
  • the basic principle of BIA is to estimate the body composition by measuring the electric resistance measured when a weak alternating current flows through the human body by using the characteristic that the electric current flows along the most conductive part. Body fat tissue that contains a lot of water has a low resistance even though it has excellent conductivity, and body fat tissue that contains little moisture has a low conductivity and a large resistance is measured, and this characteristic is reflected in the BIA signal.
  • the biosignal may include various types of biosignals in addition to the aforementioned signals.
  • biosignal input unit 110 may further include an electrostatic discharge (ESD) prevention circuit unit (not shown) for preventing an electrostatic discharge phenomenon.
  • ESD electrostatic discharge
  • the biosignal may be detected through an electrode.
  • the biosignal input unit 110 may receive a biosignal detected from at least one electrode in a wired or wireless manner.
  • an electrode for sensing the biosignal may be included in the electronic device 100 or may be included in the electronic device 100. It may be configured separately from.
  • the electronic device 100 of the present invention is implemented as an integrated HMD device 100A
  • at least one electrode may be included in the biosignal input unit 110.
  • the electronic device 100 of the present invention is implemented as the portable terminal device 100B detachably attached to the detachable HMD device 200
  • at least one electrode is included in the detachable HMD device 200
  • the biosignal input unit ( 110 may receive a bio signal detected from an electrode included in the separate HMD device 200 by wire or wireless.
  • the Ag / AgCl electrode generally used when measuring a biosignal has good signal transmission, but cannot be reused, and may have various side effects. Therefore, the electrode of the present invention does not use an electrolyte between the skin and the electrode and is made of stainless steel. It is preferable to use dry electrodes made of metal such as steel or copper. Dry electrodes convert the biopotential signals generated by ions in the body into electrical signals.
  • the electrode is an electrode for detecting a specific single type of biological signal, an electrode for detecting a plurality of types of biological signals (hereinafter referred to as a common electrode), a reference electrode, a ground electrode (ground electrode), etc. It may include.
  • the reference electrode may be configured to be in contact with the body separately from the ground electrode, and the reference electrode and the ground electrode may constitute a circuit using the same electrode. In the embodiment of the present invention, it is assumed that the reference electrode and the ground electrode are used as the same electrode for convenience.
  • each electrode Since each electrode must sense a bio-signal around the user's eye, which is a position where the electronic device 100 is fixed and mounted, in the electronic device 100 or the removable HMD device 200 implemented as the integrated HMD device 100A, It may be disposed in a position that is in contact with the eyes, and may be disposed in different positions for each type of biosignal for sensing. The attachment position and function of each electrode will be described later with reference to FIG. 3.
  • the voice input unit 120 is a configuration for receiving a voice from the user.
  • the voice input unit 110 may include a microphone and collect a voice signal corresponding to the voice spoken by the user.
  • the microphone may generate an electrical voice signal by receiving a voice or sound from the outside under the control of the processor 130.
  • the voice input unit 120 may be included in the detachable HMD device 200.
  • the voice signal corresponding to the voice spoken by the user may be received from the detachable HMD device 200.
  • the processor 130 is a component that controls the overall operation of the electronic device 100.
  • the processor 130 may identify the user based on the voice signal input through the voice input unit 120 and the biosignal input through the biosignal input unit 110.
  • the processor 130 may perform a user authentication by generating a synthesized signal obtained by synthesizing the input voice signal and the biosignal and identifying the user by using the characteristic information of the generated synthesized signal.
  • the user authentication is a process of determining whether the user is a legitimate user when using the electronic device 100, when executing a specific application (payment, etc.), or when logging in to a specific web site.
  • the electronic device 100 may further include a storage 140 that stores characteristic information of a synthesized signal obtained by synthesizing a voice signal of a pre-authenticated user's specific speech and a user's biosignal.
  • the processor 130 extracts feature information about the synthesized signal synthesized with the input voice signal and the biosignal, and compares the extracted feature information with feature information of the synthesized signal previously stored in the storage 140 to identify a user. Can be.
  • the processor 130 may determine the user as a legitimate user when both the extracted feature information and the prestored feature information match. Here, it may be determined whether the user is a legitimate user or not, based on whether the extracted feature information and the pre-stored feature information have a matching degree exceeding a preset threshold.
  • the feature information of the synthesized signal includes feature information of the voice signal and feature information of the biosignal.
  • the characteristic information of the voice signal refers to a specific vector of discrimination extracted from the voice signal input through the voice input unit 120 when the user utters a specific word or sentence, and depends on the specific word or sentence to be spoken. .
  • the feature information of the voice signal varies depending on the tone (waveform) and height (frequency) of the user, even if the same word or sentence is spoken, the feature information of the voice signal varies according to the user who speaks.
  • the voice input unit 120 includes a microphone
  • the processor 130 turns on the microphone to supply power to the microphone, and then the voice detected through the microphone.
  • the signal may be synthesized with the biosignal input through the biosignal input unit 110.
  • the specific event may include, for example, a preset voice signal or a control signal input through a specific button provided in the electronic device 100 as a trigger signal.
  • the specific biosignal is displayed on a screen requiring a user authentication on the electronic device 100 (a screen on which a specific application is executed or a lock screen for unlocking the electronic device 100). It may include the case where is detected. When a specific biosignal is detected as a specific event, it will be described later.
  • the feature information of the EMG signal may be information on a waveform of an EMG signal having a pattern corresponding to a specific speech of a user. That is, the movement pattern of the muscles around the mouth according to a specific word or sentence spoken by the user may be included in the characteristic information of the EMG signal.
  • the processor 130 may receive a voice signal of "Merry Christmas” through the microphone, and the utterance of "Merry Christmas” through the biosignal input unit 110. According to the EMG signal generated by the muscle movement around the mouth can be received.
  • the processor 130 may synthesize the voice signal and the EMG signal and store the characteristic information of the synthesized signal or the synthesized signal generated by the synthesis in the storage 140.
  • the processor 130 may generate a synthesized signal obtained by combining the EMG signal and the voice signal using only the voice signal input through the microphone while the EMG signal is detected. That is, the detection of the EMG signal may be a trigger signal for the detection of the voice signal. Therefore, when the EMG signal detected through the electrode is input through the biosignal input unit 110, the processor 130 may turn on the microphone. That is, detection of the EMG signal can be a specific event for turning on the microphone.
  • the processor 130 synthesizes the voice signal and the EMG signal input according to the corresponding speech, extracts the characteristic information of the synthesized synthesized signal, and extracts the extracted information.
  • the user may be identified by comparing the feature information with the feature information of the synthesized signal pre-stored in the storage 140.
  • the processor 130 determines whether the right user has uttered an authentication word or sentence ("Merry Christmas") using both the voice signal and the EMG signal characteristic information according to the user's speech. You can do this more safely.
  • the synthesized signal generated by the synthesis of the voice signal and the EMG signal includes feature information additionally generated according to the synthesis of the voice signal and the EMG signal, in addition to the feature information of the voice signal and the feature information of the EMG signal. That is, the waveform of the synthesized signal may include first feature information corresponding to the voice signal, second feature information corresponding to the EMG signal, and third feature information additionally generated according to the synthesis of the voice signal and the EMG signal. . Accordingly, the processor 130 may derive more feature information as the two signals are synthesized, thereby more accurately authenticating the user. Details thereof will be described later with reference to FIG. 5.
  • the synthesized signal combined with the voice signal and the EMG signal the feature corresponding to the EMG signal Since user authentication may be performed using the information, convenience may be increased.
  • the start point and end point of the utterance of the user can be more easily determined using the point in time at which the EMG signal is detected and the point at which the EMG signal is not detected, the utterance length of the voice signal can be more accurately sensed.
  • the user moves the mouth muscles before uttering, so that the EMG signal is detected first rather than the voice signal, so when an EMG signal above a predetermined threshold is detected (at the start of utterance), the microphone is turned on, and the preset If an EMG signal below the threshold is detected (at the end of ignition), by turning off the microphone, the microphone does not always have to be turned on (Always On Mic). That is, the processor 130 may set the detection of the EMG signal as a specific event in which the microphone is turned on. Accordingly, when the user authentication is not performed, the processor 130 maintains the microphone in the off state and the EMG signal according to the user's speech. The microphone can be turned on only when is detected, reducing power consumption.
  • the processor 130 may identify a user by using feature information of the input voice signal and the biosignal, respectively.
  • the storage 140 may store the voice signal of the user's specific speech and the feature information of the user's biosignal, respectively, and the processor 130 extracts the feature information of the input voice signal and the biosignal, respectively.
  • the user may be identified by comparing the extracted feature information with the feature information of the pre-stored voice signal and the biosignal, respectively.
  • the processor 130 may store the voice signal of "Merry Christmas” or feature information extracted therefrom in the storage 140.
  • feature information of the EMG signal may be extracted from an EMG signal having a pattern corresponding to “Merry Christmas” uttered by the user, and extracted.
  • Feature information of the EMG signal may also be stored in the storage 140.
  • the processor 130 extracts feature information from the voice signal and the EMG signal input through the microphone 120 and the biosignal input unit 110 according to the user's speech, and extracts each feature.
  • the user may be identified by comparing the information with feature information previously stored in the storage 140.
  • the processor 130 may perform user authentication by double determining whether a legitimate user utters an authentication word or sentence (“Merry Christmas”) using a voice signal and an EMG signal.
  • the processor 130 may continuously update the pre-stored feature information by using feature information extracted from a voice signal and an EMG signal input from a user.
  • the biosignal is assumed to be an EMG signal, but the biosignal may be a EOG signal or another type of biosignal detected through an electrode such as an ECG signal. Will not be.
  • the detected biosignal is an ECG signal
  • the waveform of the ECG signal may include unique feature information for each user and thus may be used to determine whether the user is the same user.
  • the technical idea of the present invention may be extended to a method of performing user authentication using different types of bio signals (eg, EMG signals and EOG signals) detected through different electrodes.
  • the electronic device 100 of the present invention may generate a synthesized signal obtained by synthesizing an EMG signal and an EOG signal sensed through different electrodes, and perform user authentication using the generated characteristic information of the synthesized signal. There will be.
  • the technical idea of the present invention may be extended to a method of performing user authentication using a biosignal detected through one electrode and a user's motion.
  • the electronic device 100 of the present invention detects an EOG signal and a user motion detected by a user, generates a synthesized signal obtained by synthesizing a motion signal in which a user's head movement is detected, and the characteristic information of the generated synthesized signal.
  • User authentication can be performed using.
  • the user may be authenticated as a legitimate user only when the user looks at a specific position on the display screen or performs a specific operation (blink, wink, etc.) using the eyes and moves the head in a specific pattern.
  • 2B is a block diagram illustrating in detail a configuration of an electronic device according to another exemplary embodiment of the present disclosure.
  • the electronic device 100 assumes an example in which the electronic device 100 implemented as the portable terminal device 100B is attached to the detachable HMD device 200.
  • the electronic device 100 further includes a storage 140 and a display 150 in addition to the biosignal input unit 110, the voice input unit 120, and the processor 130. Descriptions already described in FIG. 2A will be omitted.
  • the detachable HMD device 200 may include a sensor unit 210 capable of detecting a user's biosignal, an input unit 220 capable of receiving a user input, a communication unit 230 capable of communicating with the electronic device 100, and a storage unit.
  • the unit 240 is included.
  • the biosignal input unit 110 of the electronic device 100 is a component for receiving a detected biosignal from the detachable HMD device 200.
  • the biosignal input unit 110 may be connected to the detachable HMD device 200 in a wired or wireless manner. It may include a communication module for performing communication. Communication with the separate HMD device 200 using the communication module may be made in various ways.
  • the communication between the electronic device 100 and the detachable HMD device 200 may be performed by at least one of NFC, Wi-Fi, Wi-Fi Direct, Zigbee, and Bluetooth. Can be.
  • the storage 140 may store various data such as an operating system (O / S) software module for driving the electronic device 100 and various multimedia contents including VR contents.
  • the storage 140 may store voice information about a user's specific speech and feature information related to the user's biosignal.
  • the storage unit 140 may be implemented as one of a hard disk drive (HDD), a solid state drive (SSD), a DRAM memory, an SRAM memory, an FRAM memory, or a flash memory.
  • the display 150 is a component that provides a screen including various contents that can be reproduced by the electronic device 100.
  • the content may include content in various formats, such as text, an image, a video, and a graphical user interface (GUI).
  • GUI graphical user interface
  • the content may be implemented as VR (Visual Reality) content for providing a 3D image.
  • the implementation of the display 150 is not limited, and includes, for example, a liquid crystal display (LCD), an organic light emitting diodes (OLED) display, an active-matrix organic light-emitting diode (AM-OLED), and a plasma display panel (PDP). It can be implemented in various forms of display such as.
  • the display 150 may additionally include additional components, depending on its implementation.
  • the display 150 when the display 150 is a liquid crystal type, the display 150 includes an LCD display panel (not shown), a backlight unit (not shown) for supplying light thereto, and a panel driving substrate for driving the panel (not shown). (Not shown).
  • the electronic device 100 may further include a sensor unit 160.
  • the sensor unit 160 includes first to n sensors for detecting various operations performed in the electronic device 100 and a sensor controller for controlling the first to n sensors.
  • the plurality of sensors included in the sensor unit 160 may include a motion sensor for detecting a movement of the electronic device 100, a sensor for user authentication, and an iris recognition sensor for recognizing a user's iris and a fingerprint. It may include a fingerprint sensor for recognizing, a variety of sensors for detecting the environment (air pressure, temperature, humidity, illuminance), the user gesture, and the like.
  • the motion sensor may include at least one sensor of an acceleration sensor, a geomagnetic sensor, and a gyro sensor.
  • Various sensors included in the motion sensor may detect 3D motion of the electronic device 100 through one or a combination of two or more of them.
  • the acceleration sensor is a sensor that measures spatial motion of the electronic device 100. That is, the acceleration sensor refers to a sensor that detects a change in acceleration and / or a change in angular acceleration generated when the electronic device 100 moves. The acceleration sensor may detect acceleration in three axes. In addition, the acceleration sensor may detect the inclination of the electronic device 100.
  • Geomagnetic sensors are sensors that measure azimuth. That is, the geomagnetic sensor refers to a sensor for measuring azimuth by sensing a magnetic field formed in the north-south direction of the earth.
  • the geomagnetic sensor can detect geomagnetism in three axes.
  • the north direction measured by the geomagnetic sensor may be magnetic north. However, even if the geomagnetic sensor measures the direction of magnetic north, it is of course possible to output the true north direction through internal calculation.
  • the gyro sensor is an inertial sensor that measures the rotational angular velocity of the electronic device 100. That is, it means a sensor that can know the current direction by using the inertial force of the rotating object.
  • the gyro sensor can measure the rotational angular velocity in two axes.
  • the motion sensor may sense a movement of the electronic device 100 to recognize a direction in which the electronic device 100 moves, a rotational angular velocity, and the like.
  • the sensor controller is configured to collectively control the first to n sensors, and serves as a sensor hub.
  • a sleep mode such as a standby mode or a power save mode
  • power supplied to the controller 120 is limited, but is detected by the sensor module even in the sleep mode.
  • the sensor unit 150 may be supplied with minimal power. That is, the sensor controller may wake up the processor 130 based on the signal detected by the sensor.
  • the sensor unit 210 of the removable HMD device 200 may include a plurality of electrodes for sensing the user's bio-signals.
  • the plurality of electrodes may include electrodes for sensing various biological signals such as an EMG signal, an EOG signal, an EEG signal, an ECG signal, a GSR signal, and a BIA signal.
  • the plurality of electrodes may be attached to a pad portion in contact with the skin of the user in the detachable HMD device 200, and each electrode may be attached at an appropriate position according to the type of biosignal to be detected on the pad.
  • the input unit 220 is a component for receiving various inputs of a user and may include a physically implemented button or touch pad.
  • the input unit 220 may include a call button, a brightness control button, a volume control button, and the like, and is connected with content displayed on the electronic device 100 to play content or control a function of the content. It can receive an input such as.
  • the communication unit 230 is a configuration for performing wired / wireless communication with the electronic device 100, and a description of the communication module included in the biosignal input unit 110 of the electronic device 100, and its configuration and function will be duplicated. Is omitted.
  • the storage unit 240 is a component that stores the biological signal detected by the sensor unit 210.
  • the processor 250 may control the storage unit 240 to store the bio signals detected through the electrodes in order to receive a plurality of bio signals through one electrode.
  • the processor 250 is a component for overall control of the detachable HMD device 200.
  • the processor 250 may remove noise by filtering the biosignal detected through the sensor unit 210, and the user wears or detaches the detachable HMD device 200 based on characteristics of the detected biosignal. It can be determined whether or not.
  • whether the user wears the HMD device 200 may be determined based on the various types of bio signals described above, but is not particularly limited, but is preferably determined using the EMG signal.
  • the wakeup signal may be transmitted to the electronic device 100 in the sleep mode.
  • the user outputs a signal indicating that wearing is not performed properly (in this case, the detachable HMD device 200 provides a predetermined notification to the user). It may include an LED or a speaker that can be provided), a signal for outputting a signal indicating that the wearing is not properly worn to the electronic device 100.
  • the processor 250 measures the signal quality of the biosignal detected through the sensor unit 210 and based on the measured signal quality, outputs a warning indicating that the signal quality detected by the specific electrode is poor. May be transmitted to the electronic device 100.
  • the processor 250 may output a warning that the signal quality detected by the specific electrode is poor through the LED or the speaker provided to the detachable HMD device 200.
  • FIG. 2B has described the configuration and operation of the electronic device 100 and the detachable HMD device 200 when the electronic device 100 is implemented as the portable terminal device 100B. Even when the device 100 is implemented as an integrated HMD device 100A, a person having ordinary skill in the art may easily design changes and apply the same.
  • the configuration and operation of the sensor unit 210 included in the detachable HMD device 200 may be performed by the sensor unit 160 of the electronic device 100.
  • the input unit 220 will be included in the electronic device 100.
  • the storage unit 240 may be integrated into the storage unit 140 of the electronic device 100, and the communication module included in the communication unit 230 and the biosignal input unit 110 may be omitted.
  • the operation of the processor 250 may be integrated into the operation of the processor 130 of the electronic device 100.
  • FIG 3 is a view for explaining each electrode for detecting a bio-signal according to an embodiment of the present invention.
  • FIG. 3 is a front view of the HMD device 100 viewed from the wearing surface thereof.
  • electrodes 31-1 to 31-n capable of detecting various types of bio signals may be disposed on the adhesive surface 30 that adheres to the face of the user around the eyes.
  • a pair of electrodes 31-1 and 3-2 are attached to the left and right sides of the eye to detect an EOG signal. Since the pair of electrodes calculates one electrode change, only one of the up and down directions and the left and right directions can be specified. Therefore, in order to set the direction of the eye, it is necessary to set the two directions of up and down, left and right, so as to detect the EOG signal at the part of the adhesive surface 30 to adhere to the top of one eye and the part of the bottom of the eye.
  • a pair of electrodes 31-3 and 31-4 may be provided.
  • a pair of electrodes 31-5 and 31-6 for sensing the EOG signal may be additionally provided at a portion of the other eye attached to the top and a portion of the eye attached to the bottom.
  • the processor 130 specifies the left and right directions of the eye through the pair of electrodes 31-1 and 31-2 attached to the left and right sides of the eye, and attaches the electrodes 31-3 to the upper side of the eye. 31-5) and the electrodes 31-4 and 31-6 attached to the lower side of the eye can specify the vertical direction of the eye.
  • a pair of electrodes (31-7, 31-8) for detecting the EMG signal may be provided at the bottom of both eyes.
  • One electrode is attached to one muscle, and one value is calculated.
  • the processor 130 may store the motion intensity of each muscle according to the magnitude of the input EMG signal for each muscle, and convert the magnitude of the input EMG signal based on the stored motion intensity information.
  • the electrode for detecting the EMG signal may be provided in a plurality of annular around the adhesive surface 30, the electrode can detect the movement of the muscles throughout the face.
  • the electrode for detecting the EMG signal is to be provided on each of the adhesive surface 30 to be bonded to the bottom of both eyes to detect the movement of the muscles around the eyes and the cheekbones according to the mouth shape mainly changing the face shape Can be. That is, the electrode for sensing the EMG signal is preferably located near the user's mouth.
  • the reference electrode (reference eletrode) (31-9) is additionally provided, and the biological signal and the reference electrode 31 detected through the positive electrode (31-7, 31-8) The difference value of the biosignal detected through -9) may be used as the EMG signal.
  • the reference electrode 31-9 may be positioned on an adhesive surface 30 that adheres to the upper center portion of both eyes. However, when a pair of electrodes for detecting the EMG signal is additionally provided and a bi-polar method for detecting the EMG signal using the potential difference between adjacent electrode pairs is used, the reference electrode 31-9 is used. You may not need it.
  • FIG. 4 is a flowchart illustrating a process of performing user authentication by synthesizing a biosignal detected by an electronic device according to an embodiment of the present disclosure.
  • the biosignal may include various biosignals such as an EOG signal, an EMG signal, an EEG signal, or an ECG signal.
  • the electronic device 100 of the embodiment illustrated in FIG. 4 further includes a display 150, and the electrodes 31-1 to 31-n included in the electronic device 100 are electrodes for sensing an EOG signal and an EMG. It includes an electrode for sensing the signal.
  • the processor 130 may determine the position of the pupil of the user based on the EOG signal detected by the electrode for detecting the EOG signal, accordingly whether the user looks at a specific area on the screen of the display 150. May be determined, and user authentication may be performed only when it is determined that the user is looking at a specific area.
  • the processor 130 performs user authentication using a voice signal and an EMG signal only when it is determined that the user looks at an area where the sentence “Please authenticate user” is displayed on the screen displayed on the display 150. Can be done. If you look at other areas besides the area where the sentence "Please authenticate user” is displayed, it is most likely to handle other tasks that the user does not want or do not require authentication. This is to avoid performing preprocessing (microphone turn-on, synthesis of voice signal and EMG signal).
  • the user's operation of looking at an area in which the sentence "Please authenticate the user" is displayed serves as a trigger operation for performing user authentication, and has an effect of setting a time point for receiving a voice according to the speech.
  • the EOG signal and the EMG signal detected through each of the electrodes 31-1 to 31-n of the electronic device 100 correspond to an analog-to-digital converter (ADC).
  • the signals 41 and 42 are converted into digital signals 41 and 42, and the converted signals 41 and 42 are aligned / synthesized by the processor 130 (S410).
  • the processor 130 may extract unique feature information from the synthesized signal obtained by combining the two signals 41 and 42 (S420).
  • feature information extracted from the synthesized signal obtained by synthesizing the two signals 41 and 42 is stored in the storage unit 140.
  • the synthesized synthesis of the two signals 41 and 42 is synthesized.
  • the feature information of the signal is compared with the feature information of the pre-stored synthesized signal to identify whether the user is the same user.
  • (a) shows a waveform of an EMG signal
  • (b) shows a waveform of a voice signal
  • (c) shows a waveform of a synthesized signal obtained by combining the EMG signal and a voice signal. It is.
  • the dotted lines in the waveforms of the EMG signal and the voice signal are shown by omitting the waveform of the corresponding time interval for convenience.
  • the two waveforms 51 and 52 are generally combined, such as the waveform 53 of the synthesized signal.
  • a waveform of the synthesized signal is generated, and in particular, the waveform of the synthesized signal includes a waveform of a unique shape generated by the synthesis. Therefore, the feature information that can be extracted from the waveform of the synthesized signal may include more information than the feature information extracted from the waveform 51 of the EMG signal and the waveform 52 of the voice signal, respectively.
  • the feature information extracted from the composite signal of the two signals (41, 42) is input to the classifier (Sifier) (S430).
  • the feature information input to the classifier may be used to train the classifier according to a machine learning algorithm, or may be used to derive classification results to determine the user's identity.
  • Processes S410, S420, and S430 described above may be performed by the processor 130, and some operations may be performed by the processor 250 included in the detachable HMD device 200.
  • FIG. 6 is a diagram for describing each signal flow process in an electronic device according to an embodiment of the present disclosure.
  • a biosignal detected from an electrode provided in the detachable HMD device 200 is input to the electronic device 100 implemented as a portable terminal device 100B mounted in the detachable HMD device 200. It shows the process to be processed.
  • the bio signals detected from the plurality of electrodes 211 are transmitted to the terminal device 20 through the channels 41-1 to 41-n corresponding to the electrodes.
  • the EMG signal is converted into a digital signal via an analog-to-digital converter (ADC) 214. Therefore, the separate HMD device 200 is composed of 1 an analog front end for processing analog signals starting from the ADC 214 and 2 a digital circuit for processing digital signals converted from analog signals. do.
  • ADC analog-to-digital converter
  • the analog front end includes the operation of the sensor unit 210. Specifically, an electrode 211 for detecting a biosignal, an amplifier (AMP) 212 for amplifying the detected biosignal, and a high pass filter (HPF) / low pass filter (LPF) for removing noise of the amplified biosignal 213) and an ADC 214 for converting the noise-free biosignal into a digital signal.
  • Digital circuit is a component for processing digital signals converted into digital, MCU (Micro Controller Unit) 250 to perform filtering through HPF (High Pass Filter) / LPF (Low Pass Filter) and It includes a communication unit 230 for transmitting a bioelectrical signal to the electronic device (100).
  • the processor 250 is implemented as a micro controller unit (MCU).
  • the biosignal is an EMG signal.
  • the electrodes 31-7 and 31-8 used to sense the EMG signal in FIG. 3 are the voltages of the EMG signals detected by the user's right facial muscles. And a potential difference between the reference voltage sensed through the reference electrode 31-9 may be detected.
  • the EMG signal including the detected potential difference is amplified by an amplifier (AMP) 212 provided in the separate HMD device 200, and the amplified EMG signal is converted into the HPF / LPF 213 provided in the HMD device 200. Noise can be removed through this.
  • the HPF may remove noise of the DC component from the amplified EMG signal
  • the LPF may remove noise other than the DC component from the amplified EMG signal.
  • the noise-free EMG signal is converted into a digital signal through the ADC 214, and after the high pass and low pass filtering process in the MCU 250, is transmitted to the communication unit 230, the electronic communication is connected in real time Sent to device 100.
  • the biosignal input unit 110 and the communication unit 230 of the electronic device 100 may be NFC, Wi-Fi, or Wi-Fi Direct.
  • Wi-Fi Direct Wi-Fi Direct
  • Zigbee Zigbee
  • Bluetooth Bluetooth
  • the biosignal input unit 110 and the communication unit 230 may be a system of a universal asynchronous receiver / transmitter (UART). It may be implemented to perform the communication in a variety of ways, including.
  • UART universal asynchronous receiver / transmitter
  • the embodiment illustrated in FIG. 6 is an example in which the electronic device 100 implemented as the portable terminal device 100B is detached from the detachable HMD device 200 and implemented.
  • the detachable HMD device 200 is illustrated, and the above-described disclosure describes the operations of the electronic device 100 and the detachable HMD device 200, respectively.
  • the technical idea illustrated in FIG. 5 may be applied in the same manner.
  • the operation of the MCU 250 of the detachable HMD device 200 of FIG. 6 may be performed by the processor 120 of the electronic device 100, and the detachable HMD device 200 may communicate with the electronic device 100.
  • the communication unit 230 may be omitted.
  • the electronic device 100 of the present invention is assumed to be an integrated HMD device.
  • the technical idea of the present invention described below may be applied to the case where the electronic device 100 of the present invention is implemented as a portable terminal device detachable from a detachable HMD device equipped with a sensor.
  • FIG. 7 is a flowchart for briefly describing an operation process of an electronic device according to an embodiment of the present disclosure.
  • the registration operation of the biosignal for user authentication may include detecting a biosignal in a state in which the electronic device 100 is worn (S710), detecting a user utterance (S720), and detecting the detected biosignal and voice signal. It may be divided into a step (S730) for registering.
  • the operation of performing user authentication using the biosignal may include detecting a biosignal in a state in which the electronic device 100 is worn (S710) and detecting a user's speech (S720).
  • the signal may be matched with a pattern of a pre-registered signal to perform user authentication.
  • FIG. 8 is a flowchart illustrating an operation process of an electronic device in detail according to an embodiment of the present disclosure.
  • the electronic device 100 detects and receives a specific biosignal through an electrode for detecting a wearing state of the electronic device 100 (S801).
  • the biological signal detected for wearing is an EMG signal, but is not necessarily limited thereto, and whether the biological signal is worn is determined by various biological signals.
  • the electronic device 100 is lifted by the user, the movement of the electronic device 100 is sensed by the motion sensor 160 included in the electronic device 100, and whether the electronic device 100 is worn is checked.
  • a channel corresponding to an electrode capable of sensing the EMG signal for determining may be activated.
  • the electronic device 100 receives a biosignal detected from the electrode and records the input biosignal (S803). If it is determined that the electronic device 100 is not worn (S802: N), the channel corresponding to some electrodes or all electrodes may be deactivated to reduce power consumption due to activation of the electrodes.
  • the electronic device 100 may output a result according to the determination of the wearing state of the electronic device 100. If the wearing state is poor, a message or guide voice indicating that wearing is not properly performed may be output. If the wearing state is good, a message or guide voice indicating wearing is properly output.
  • the electronic device 100 may determine a start point of the user's speech (S805).
  • the biological signal is an EMG signal
  • the user moves the mouth muscles before uttering, so that the EMG signal is sensed first rather than the voice signal, so that the microphone may be turned on when the EMG signal is detected.
  • the voice signal input from the user is input through the microphone (S806), and the detected EMG signal and the voice signal are recorded (S807).
  • the two signals may be aligned / synthesized (S808), and unique feature information may be extracted from the synthesized signal (S809).
  • the extracted feature information is stored in the storage unit 140 (S810-1).
  • the user authentication step it is determined whether the extracted feature information matches the pre-stored feature information, and if it matches (S810). -2: Y), a specific function according to user authentication can be performed (S811).
  • 9A to 9B are diagrams for describing a method of performing user authentication using an EMG signal and a voice signal according to an embodiment of the present invention.
  • FIG. 9A illustrates an example of releasing the lock of the electronic device 100 only by user utterance when the user wears the locked electronic device 100.
  • the processor 130 may control the display 150 to display a message for notifying the user that the electronic device 100 is locked, such as "an unlock is required". Can be.
  • a notification message may be displayed, or a notification message may be automatically displayed as the wearing of the electronic device 100 is detected.
  • the processor 130 determines a wearing state of the electronic device 100 based on a biosignal detected through an electrode for detecting a wearing state of the electronic device 100 by a user, and determines the electronic device 100.
  • the electronic device 100 may determine that the wearing state.
  • the processor 130 may control the display 150 to display a UI 91 for inducing user utterance at a position of the displayed screen together with a message for notifying that the lock state is present.
  • the UI 91 for inducing user speech may be displayed in the form of a message such as "Say unlock".
  • the processor 130 may receive a voice signal of "unlock” through the microphone, and the muscles around the mouth according to the utterance of "unlock” through the biosignal input unit 110.
  • the EMG signal generated by the movement may be input.
  • the processor 130 synthesizes the voice signal and the EMG signal input according to the corresponding utterance, extracts feature information of the synthesized synthesized signal, and stores the extracted feature information in the storage 140 in advance, “unlock”.
  • the user may be identified by comparing the voice signal of the user corresponding to the feature information of the synthesized signal with the EMG signal. When the similarity according to the comparison result exceeds a preset threshold, the processor 130 may determine that the current user is a legitimate user, and may unlock the electronic device 100.
  • the processor 130 may determine the pupil position of the user based on the EOG signal detected by the electrode for sensing the EOG. Accordingly, the processor 130 determines whether the user looks at the area on which the UI 91 that induces user utterance is displayed on the screen of the display 150 and determines that the user is a legitimate user only when it is determined that the user is looking at the area. You may.
  • FIG. 9B illustrates an example in which electronic payment is performed only by user utterance instead of pin number.
  • the processor 130 may control the display 150 to display the UI 92 for inducing user utterance at one position of the displayed screen.
  • the UI 92 for inducing user speech may be displayed in the form of a message such as "Say Samsung Pay”.
  • the processor 130 may receive a voice signal of "Samsung Pay” through the microphone, and the mouth according to the utterance of "Samsung Pay” through the biosignal input unit 110.
  • the EMG signal generated by the surrounding muscle movement can be input.
  • the processor 130 synthesizes the voice signal and the EMG signal input according to the corresponding speech, extracts feature information of the synthesized synthesized signal, and stores the extracted feature information in the storage 140 in advance, "Samsung Pay
  • the user may be identified by comparison with feature information of the synthesized signal of the user's voice signal and the EMG signal. When the similarity according to the comparison result exceeds a preset threshold, the processor 130 may determine that the current user is a legitimate user and may approve the electronic payment.
  • the processor 130 may determine the pupil position of the user based on the EOG signal detected by the electrode for sensing the EOG signal. Accordingly, the processor 130 determines whether the user looks at the area on which the UI 92 that induces user utterance is displayed on the screen of the display 150 and determines that the user is a legitimate user only when it is determined that the user views the area. You may.
  • FIGS. 10 and 11 are views for explaining a user authentication method using a bio-signal in a web site according to an embodiment of the present invention.
  • FIDO Fast IDentity Online
  • FIG. 10 illustrates a method of logging in to a user account of a web site using a biosignal and a voice signal when accessing a web site using the electronic device 100.
  • a method of logging in to a user account of a web site using a biosignal and a voice signal is largely a registration process for registering a biosignal and a voice signal of a user, and a user uttering a biosignal and a voice signal. It can be divided into an authentication process for performing user authentication.
  • a user may first access a web site as shown in FIG. 10A and perform general user registration using an ID and password. Subsequently, when the user login UI 101 of the web site is selected to log in for the first time, as shown in FIG. 10 (b), a message 102 such as "Do you want to log in using bio signals from now on” is displayed. Can be. When the user selects "yes”, the bio-signal registration screen as shown in (c) of FIG. 10 is displayed, and a UI 103 indicating that recording is possible and a guidance message such as "tell the authentication key to register" are displayed. Can be displayed.
  • a voice signal corresponding to the ignited authentication key and an EMG signal detected through electrodes around the mouth are registered in the electronic device 100.
  • the electronic device 100 generates a private key and a public key pair corresponding to the registered voice signal and the EMG signal, and then transmits the public key to a web site.
  • the " registered authentication " Message 103 " may be displayed.
  • the electronic device 100 may detect a voice signal corresponding to the ignited authentication key, an EMG signal detected through an electrode around the mouth, and a voice signal and an EMG signal registered in the storage 140. Compare and perform user authentication.
  • the electronic device 100 transmits the public key to the web site, and as shown in FIG. 10 (f), the login is finally completed at the web site.
  • FIG. 11 is a block diagram illustrating a method of performing authentication through an authentication server when accessing a web site or a web application according to an embodiment of the present invention.
  • the electronic device 100 may communicate with the web service server 300 that services a web site or web application and the authentication server 400 that performs user authentication through the communication unit 165.
  • the communication unit 165 may include a first communication unit 166 for communicating with the web service server 300 and a second communication unit 167 for communicating with the authentication server 400.
  • the authentication server 400 may be a server included in the web service server 300.
  • user authentication of the electronic device 100 and the authentication server 400 may be performed using a protocol based on a fast identity online (FIDO) authentication method.
  • FIDO fast identity online
  • the authentication framework 112 As the synthesized signal (authentication token) synthesized with the user's voice signal and the biosignal is encrypted, a unique private key 113 and a public key 114 corresponding to the synthesized signal are generated.
  • the authentication framework 112 stores and manages the private key 113 in a secure entity in the electronic device 100, and transmits the public key 114 to the authentication server 400.
  • the authentication server 400 registers the received public key 114.
  • the web service server 300 When the user attempts to authenticate the user by accessing the web service server 300 again (eg, attempting to log in through an utterance), the web service server 300 requests authentication to the authentication server 400, and the authentication server 400 In addition to the policy for the user, the challenge value is transmitted to the electronic device 100.
  • the electronic device 100 uses the private key 113 stored in the security entity to digitally sign the value of the challenge and transmits the signed digital value to the authentication server 400.
  • the authentication server 400 may verify the signed challenge value with the user's public key 114 to complete user authentication.
  • the web service server 300 transmits the user authentication information to the web service server 300
  • the web service server 300 confirms that the user is authenticated and performs various services (login, content playback, electronic payment, etc.) according to the user authentication. It may be provided to the electronic device 100.
  • FIG. 12 is a diagram for selecting one of a plurality of registered users by using a biosignal according to an embodiment of the present invention.
  • the electronic device 100 When the electronic device 100 allows access by multiple users, the electronic device 100 provides a usage environment (customized home screen, account, app, settings, etc.) corresponding to the profile of the user authenticated according to the bio signal. can do.
  • a usage environment customized home screen, account, app, settings, etc.
  • the display 150 may display a user selection screen for logging in to any one of a plurality of users registered in the electronic device 100.
  • the user selection screen may display UIs 121-1 to 121-3 for selecting each registered user and a UI 121-4 for logging in as a guest.
  • the storage unit 140 of the electronic device 100 stores voice information uttered by each user, characteristic information of an EMG signal corresponding to each voice signal, and usage environment information corresponding to each user in the storage unit 140 of the electronic device 100. There may be.
  • the processor 130 may detect a voice signal and an EMG signal corresponding to the corresponding speech and authenticate the user by comparing with the stored characteristic information, and use the user according to the stored profile of the authenticated user.
  • the environment may be loaded and provided (see FIGS. 12A and 12B).
  • FIG. 13 is a block diagram illustrating a configuration of an electronic device in detail according to another exemplary embodiment.
  • the electronic device 100 ′ may include a biosignal input unit 110, a voice input unit 120, a processor 130, a storage unit 140, and a display 150. ), A sensor unit 160, an audio processor 170, an audio output unit 175, a video processor 180, and a user interface 190.
  • a biosignal input unit 110 may include a biosignal input unit 110, a voice input unit 120, a processor 130, a storage unit 140, and a display 150.
  • a sensor unit 160 an audio processor 170, an audio output unit 175, a video processor 180, and a user interface 190.
  • the processor 130 includes a ROM 131, a RAM 132, a CPU 133, a graphics processing unit 134, and first interfaces 135-1 to n interfaces 135-n.
  • the ROM 131, the RAM 132, the CPU 133, the graphics processor 134, and the first interface 135-1 to n interface 135-n may be connected to each other through the bus 136.
  • the CPU 133 accesses the storage 140 and performs booting using the operating system stored in the storage 140.
  • the CPU 133 may perform various operations using various programs, contents, data, and the like stored in the storage 140.
  • the ROM 131 stores a command set for system booting.
  • the CPU 133 copies the O / S stored in the storage unit 40 to the RAM 132 according to the command stored in the ROM 131, and executes the O / S.
  • Boot up When the booting is completed, the CPU 133 copies various application programs stored in the storage 140 to the RAM 132 and executes the application programs copied to the RAM 132 to perform various operations.
  • the graphic processor 134 generates a screen including various objects such as an icon, an image, and a text by using a calculator (not shown) and a renderer (not shown).
  • the calculator calculates attribute values such as coordinates, shapes, sizes, and colors for displaying the objects according to the layout of the screen.
  • the renderer generates screens of various layouts including objects based on the attribute values calculated by the calculator.
  • the first interface 135-1 to n interface 135-n are connected to the aforementioned various components.
  • One of the interfaces may be a network interface connected to an external device through a network.
  • the above-described operation of the processor 130 may be performed by executing a program stored in the storage 140.
  • the storage 140 may store various data such as an operating system (O / S) software module for driving the electronic device 100 'and various multimedia contents.
  • O / S operating system
  • the storage 140 is configured to generate a base module for processing signals transmitted from hardware included in the electronic device 100 ′, a storage module for managing a database or registry, and a layout screen. Graphics processing modules and security modules can be stored.
  • the display 150 is a component that provides a screen including various contents that can be played by the electronic device 100 ′.
  • the content may include content in various formats, such as text, an image, a video, and a graphical user interface (GUI).
  • GUI graphical user interface
  • the content may be implemented as VR content for providing a 3D image.
  • the sensor unit 160 is a component for detecting various operations performed in the electronic device 100 ′. Since the detailed configuration of the sensor unit 160 has been described with reference to FIG. 2B, a description thereof will be omitted.
  • the communication unit 165 is a component that communicates with an external device according to various types of communication methods.
  • the communication unit 165 includes an infrared method, an RF method, a near field communication (NFC) method, ZigBee, DLNA (Digital Living Network Alliance), Wi-Fi, Bluetooth, and LTE (LTE). It can transmit or receive data with external devices according to various communication standards such as Long Term Evolution. Or, it may be connected to a wired / wireless network including an internet network to transmit and receive data with an external device.
  • the communication unit 165 may include various communication chips such as a Wi-Fi chip, a Bluetooth chip, and a wireless communication chip to perform communication according to the above-described communication method with an external device, and may include other electronic devices including a server using the corresponding chips. Communicate with the device.
  • the communication unit 165 may include a wired communication chip, a wired communication terminal, etc. for performing communication with an external device through a wired communication method.
  • the audio processor 170 is a component that processes audio data.
  • the audio output unit 175 is configured to output audio processed by the audio processing unit 175.
  • the video processor 180 is a component that performs various image processing such as decoding, scaling, noise filtering, frame rate conversion, resolution conversion, and the like for the content.
  • the user interface 190 is a component for detecting a user interaction for controlling the overall operation of the electronic device 100 ′′.
  • the user interface 190 may include various interaction sensing devices such as a microphone (not shown), a camera (not shown), and the like.
  • FIG. 14 is a flowchart illustrating a control method of an electronic device according to an embodiment of the present disclosure.
  • a biosignal of a user sensed through an electrode and a voice signal of a user sensed through a microphone are received (S1410).
  • the microphone may be turned on.
  • a synthesized signal obtained by synthesizing the voice signal input through the microphone may be generated, and the user may be identified based on the generated synthesized signal.
  • the electronic device may store characteristic information of a synthesized signal obtained by synthesizing a voice signal of a user's specific speech and a user's biosignal, extract feature information of the generated synthesized signal, and extract the extracted feature information.
  • the user can be identified by comparison with the characteristic information of the stored composite signal. For example, when the similarity between the extracted feature information and the stored feature information of the synthesized signal is greater than or equal to a preset threshold, it may be determined as a legitimate user.
  • the accuracy of user identification is increased.
  • the accuracy of user identification can be increased.
  • voice recognition when voice recognition is difficult in a noisy environment, user authentication may be performed by using a biosignal, and thus vulnerabilities of voice recognition of noise in the surrounding environment may be compensated for.
  • control method may be implemented as a program and stored in various recording media. That is, a computer program processed by various processors and capable of executing the various control methods described above may be used in a state stored in a recording medium.
  • Non-transitory computer readable medium may be provided.
  • the non-transitory readable medium refers to a medium that stores data semi-permanently and is readable by a device, not a medium storing data for a short time such as a register, a cache, a memory, and the like.
  • a non-transitory readable medium such as a CD, a DVD, a hard disk, a Blu-ray disk, a USB, a memory card, a ROM, or the like.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Security & Cryptography (AREA)
  • Human Computer Interaction (AREA)
  • Software Systems (AREA)
  • Computer Hardware Design (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • General Health & Medical Sciences (AREA)
  • Optics & Photonics (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

전자 장치가 개시된다. 전자 장치는 전극을 통해 감지되는 사용자의 생체 신호를 입력받기 위한 생체 신호 입력부, 음성 신호를 입력받기 위한 음성 입력부 및, 생체 신호 입력부를 통해 입력된 생체 신호 및 마이크를 통해 입력된 음성 신호에 기초하여 사용자를 식별한다.

Description

전자 장치 및 그 제어 방법
본 발명은 전자 장치 및 그 제어 방법에 관한 것으로, 보다 상세하게는 사용자의 생체 신호를 센싱할 수 있는 착용형 전자 장치 및 그 제어 방법에 관한 것이다.
최근, 웨어러블 디바이스에 대한 연구가 활발히 진행됨에 따라 다양한 웨어러블 디바이스들이 출시되고 있다. 현재 출시되거나 출시가 예고되고 있는 웨어러블 디바이스들은 스마트 워치, HMD(Head Mounted Display) 장치 및 스마트 벨트 등이 있다.
HMD 장치는 안경을 착용하듯 착용하고, 이미지를 디스플레이할 수 있는 웨어러블 디스플레이 장치로서, 착용자의 눈에 가까운 곳에 디스플레이를 배치하고 있어, FMD(Face Mounted Display)라고도 불리어진다. HMD 장치는 단순한 디스플레이 기능을 넘어 증강 현실 기술, N 스크린 기술 등과 조합되어 사용자에게 다양한 편의를 제공할 수 있다.
특히, HMD 장치는 보다 실감나고 현실적인 가상 공간을 사용자에게 제공하기 위해 서라운딩 이미지를 제공할 수 있다. 서라운딩 이미지란, HMD 장치를 중심으로 전방향으로 펼쳐진 시각적 정보를 나타낼 수 있다. 따라서, HMD 장치는 HMD 장치를 착용한 사용자의 얼굴이 향하는 방향을 디렉트하여, 서라운딩 이미지 중 해당 방향에 대응하는 이미지를 디스플레이할 수 있다. 이로써, 사용자는 자신이 가상 공간에 실제로 존재하는 듯한 느낌을 받을 수 있다.
한편, HMD 장치는 키보드 혹은 마우스 등 별도의 입력 장치가 사용되기 어려운 환경이므로, 사용자의 생체 신호를 감지하고 감지된 생체 신호를 입력받아 HMD 장치를 제어하는 기술이 등장하고 있다. 특히, HMD 장치를 착용하는 사용자는 다양한 상황에서 사용자 인증을 필요로 하는 경우가 많으며, 이 경우 사용자가 지문 인식, PIN 입력, 패턴 입력 등을 수행하기 어려우므로 사용자의 발화에 따른 음성을 인식하고, 특정 단어 또는 문장을 발화했는지 여부를 판단하여 사용자 인증을 수행하였다.
그러나, 사용자의 음성 신호를 이용하여 사용자 인증을 수행하는 경우 외부 노이즈에 민감하여 소음이 많은 환경에서는 인식률이 떨어지며, HMD 장치를 착용한 사용자가 발화했는지 여부를 확인하기 어려운 문제가 있었다.
본 발명은 상술한 필요성에 따른 것으로, 본 발명의 목적은, 사용자로부터 발생되는 복수의 서로 다른 신호를 이용하여 사용자 인증의 정확도를 높일 수 있는 전자 장치 및 그 제어 방법을 제공함에 있다.
본 발명의 일 실시 예에 따른 전자 장치는 전극을 통해 감지되는 사용자의 생체 신호를 입력받기 위한 생체 신호 입력부, 음성 신호를 입력받기 위한 음성 입력부 및, 상기 생체 신호 입력부를 통해 입력된 생체 신호 및 상기 음성 입력부를 통해 입력된 음성 신호에 기초하여 상기 사용자를 식별하는 프로세서를 포함한다.
이때, 상기 프로세서는 상기 입력된 음성 신호 및 생체 신호가 합성된 합성 신호를 생성하고, 상기 생성된 합성 신호에 기초하여 상기 사용자를 식별할 수 있다.
또한, 상기 프로세서는 상기 생체 신호가 감지되는 동안 상기 음성 입력부를 통해 입력된 음성 신호 및 상기 감지된 생체 신호를 이용하여 상기 합성 신호를 생성할 수 있다.
또한, 상기 전자 장치는 상기 사용자의 특정 발화에 대한 음성 신호 및 상기 사용자의 생체 신호가 합성된 합성 신호의 특징 정보를 저장하는 저장부를 더 포함하고, 상기 프로세서는 상기 생성된 합성 신호의 특징 정보를 추출하고, 상기 추출된 특징 정보를 상기 저장부에 저장된 합성 신호의 특징 정보와 비교하여 상기 사용자를 식별할 수 있다.
또한, 상기 전자 장치는 상기 사용자의 특정 발화에 대한 음성 신호 및 상기 사용자의 생체 신호의 특징 정보를 각각 저장하는 저장부를 더 포함하고, 상기 프로세서는 상기 입력된 음성 신호 및 생체 신호의 특징 정보를 각각 추출하고, 상기 추출된 각각의 특징 정보를 상기 기저장된 음성 신호 및 생체 신호의 특징 정보와 각각 비교하여 상기 사용자를 식별할 수 있다.
또한, 상기 음성 입력부는 마이크로폰(microphone)을 포함하고, 상기 프로세서는 상기 전극을 통해 상기 생체 신호가 감지되면, 상기 마이크로폰을 턴온시킬 수 있다.
또한, 상기 생체 신호는 근전도(EMG) 신호, 안전도(EOG) 신호, 뇌전도(EEG) 신호, 심전도(ECG) 신호, 피부전기전도도(GSR) 신호 및 생체전기저항분석(BIA) 신호 중 적어도 하나를 포함할 수 있다.
또한, 상기 저장부는 상기 사용자의 특정 발화에 대한 음성 신호 및 상기 특정 발화에 대응되는 패턴의 근전도 신호가 합성된 합성 신호의 특징 정보를 저장할 수 있다.
또한, 상기 프로세서는 상기 사용자의 입 주위에 위치하는 전극을 통해 감지되는 근전도 신호를 입력받고, 상기 입력된 음성 신호 및 상기 근전도 신호가 합성된 합성 신호를 생성할 수 있다.
또한, 상기 전자 장치는 디스플레이를 더 포함하고, 상기 프로세서는 상기 사용자의 안전도 신호를 감지하고, 상기 감지된 안전도 신호에 기초하여 상기 사용자가 상기 디스플레이의 화면에서 기설정된 영역을 바라보는지 여부를 판단하며, 상기 사용자가 상기 특정 영역을 바라보는 경우에, 상기 생성된 합성 신호의 특징 정보를 상기 기저장된 합성 신호의 특징 정보와 비교하여 상기 사용자를 식별할 수 있다.
한편, 본 발명의 일 실시 예에 따른 전자 장치의 제어 방법은 전극을 통해 감지되는 사용자의 생체 신호 및 마이크를 통해 감지되는 상기 사용자의 음성 신호를 입력받는 단계 및, 상기 입력된 생체 신호 및 음성 신호에 기초하여 상기 사용자를 식별하는 단계를 포함한다.
이때, 상기 사용자를 식별하는 단계는 상기 입력된 생체 신호 및 음성 신호가 합성된 합성 신호를 생성하는 단계 및, 상기 생성된 합성 신호에 기초하여 상기 사용자를 식별하는 단계를 포함할 수 있다.
또한, 상기 합성 신호를 생성하는 단계는 상기 생체 신호가 감지되는 동안 상기 마이크를 통해 입력된 음성 신호 및 상기 생체 신호를 이용하여 상기 합성 신호를 생성할 수 있다.
또한, 상기 전자 장치는 상기 사용자의 특정 발화에 대한 음성 신호 및 상기 사용자의 생체 신호가 합성된 합성 신호의 특징 정보를 저장하고, 상기 사용자를 식별하는 단계는 상기 생성된 합성 신호의 특징 정보를 추출하는 단계 및, 상기 추출된 특징 정보를 상기 저장된 합성 신호의 특징 정보와 비교하여 상기 사용자를 식별하는 단계를 포함할 수 있다.
또한, 상기 전자 장치는 상기 사용자의 특정 발화에 대한 음성 신호 및 상기 사용자의 생체 신호의 특징 정보를 각각 저장하고, 상기 사용자를 식별하는 단계는 상기 입력된 음성 신호 및 생체 신호의 특징 정보를 각각 추출하는 단계 및, 상기 추출된 각각의 특징 정보를 상기 기저장된 음성 신호 및 생체 신호의 특징 정보와 각각 비교하여 상기 사용자를 식별할 수 있다.
또한, 상기 입력받는 단계는 상기 전극을 통해 상기 생체 신호가 감지되면, 상기 마이크를 턴온시킬 수 있다.
또한, 상기 생체 신호는 근전도(EMG) 신호, 안전도(EOG) 신호, 뇌전도(EEG) 신호, 심전도(ECG) 신호, 피부전기전도도(GSR) 신호 및 생체전기저항분석(BIA) 신호 중 적어도 하나를 포함할 수 있다.
또한, 상기 전자 장치는 상기 사용자의 특정 발화에 대한 음성 신호 및 상기 특정 발화에 대응되는 패턴의 근전도 신호가 합성된 합성 신호의 특징 정보를 저장할 수 있다.
또한, 상기 근전도 신호는 상기 사용자의 입 주위에 위치하는 전극을 통해 감지될 수 있다.
또한, 상기 제어 방법은 상기 사용자의 안전도 신호를 감지하는 단계 및, 상기 감지된 안전도 신호에 기초하여 상기 사용자가 디스플레이의 화면에서 특정 영역을 바라보는지 여부를 판단하는 단계를 더 포함하고, 상기 사용자를 식별하는 단계는 상기 사용자가 상기 특정 영역을 바라보는 경우에, 상기 생성된 합성 신호의 특징 정보를 상기 기저장된 합성 신호의 특징 정보와 비교하여 상기 사용자를 식별할 수 있다.
본 발명의 다양한 실시 예에 따르면, 사용자로부터 발생되는 적어도 두 가지 신호를 이용하여 사용자를 식별할 수 있으므로, 인증 과정에서 사용자 식별의 정확도를 높일 수 있다.
도 1a 및 1b는 본 발명의 일 실시 예에 따른, 전자 장치의 구현 예를 설명하기 위한 도면,
도 2a 및 2b는 본 발명의 구현 예에 따른 전자 장치의 구성을 간략히 도시한 블록도,
도 3은 본 발명의 일 실시 예에 따른, 생체 신호를 감지하기 위한 각 전극을 설명하기 위한 도면,
도 4는 본 발명의 일 실시 예에 따른, 전자 장치에서 감지된 생체 신호를 합성하여 사용자 인증을 수행하는 과정을 설명하기 위한 흐름도,
도 5는 본 발명의 일 실시 예에 따른, 근전도 신호 및 음성 신호의 파형 및 합성 신호의 파형을 나타낸 도면,
도 6은 본 발명의 일 실시 예에 따른, 전자 장치에서의 각 신호 흐름 과정을 설명하기 위한 도면,
도 7은 본 발명의 일 실시 예에 따른, 전자 장치의 동작 과정을 간략히 설명하기 위한 흐름도,
도 8은 본 발명의 일 실시 예에 따른, 전자 장치의 동작 과정을 상세히 설명하기 위한 흐름도,
도 9a 내지 9b는 본 발명의 일 실시 예에 따른, 근전도 신호 및 음성 신호를 이용하여 사용자 인증을 수행하는 방법을 설명하기 위한 도면,
도 10 및 11은 본 발명의 일 실시 예에 따른, 웹 사이트에서 생체 신호를 이용한 사용자 인증 방법을 설명하기 위한 도면,
도 12는 본 발명의 일 실시 예에 따른, 생체 신호를 이용하여 복수의 등록된 사용자 중 하나를 선택하기 위한 도면,
도 13은 본 발명의 다른 실시 예에 따른, 전자 장치의 구성을 상세히 도시한 블록도,
도 14는 본 발명의 일 실시 예에 따른, 전자 장치의 제어 방법을 설명하기 위한 흐름도이다.
본 발명에 대하여 구체적으로 설명하기에 앞서, 본 명세서 및 도면의 기재 방법에 대하여 설명한다.
먼저, 본 명세서 및 청구범위에서 사용되는 용어는 본 발명의 다양한 실시 예들에서의 기능을 고려하여 일반적인 용어들을 선택하였다. 하지만, 이러한 용어들은 당 분야에 종사하는 기술자의 의도나 법률적 또는 기술적 해석 및 새로운 기술의 출현 등에 따라 달라질 수 있다. 또한, 일부 용어는 출원인이 임의로 선정한 용어일 수 있다. 이러한 용어에 대해서는 본 명세서에서 정의된 의미로 해석될 수 있으며, 구체적인 용어 정의가 없으면 본 명세서의 전반적인 내용 및 당해 기술 분야의 통상적인 기술 상식을 토대로 해석될 수도 있다.
또한, 본 명세서에 첨부된 각 도면에 기재된 동일한 참조 번호 또는 부호는 실질적으로 동일한 기능을 수행하는 부품 또는 구성요소를 나타낸다. 설명 및 이해의 편의를 위해서 서로 다른 실시 예들에서도 동일한 참조번호 또는 부호를 사용하여 설명하도록 한다. 즉, 복수의 도면에서 동일한 참조 번호를 가지는 구성 요소를 모두 도시하고 있다고 하더라도, 복수의 도면들이 하나의 실시 예를 의미하는 것은 아니다.
또한, 본 명세서 및 청구범위에서는 구성요소들 간의 구별을 위하여 ‘제1’, ‘제2’ 등과 같이 서수를 포함하는 용어가 사용될 수 있다. 이러한 서수는 동일 또는 유사한 구성 요소들을 서로 구별하기 위하여 사용하는 것이며, 이러한 서수 사용으로 인하여 용어의 의미가 한정 해석되어서는 안될 것이다. 일 예로, 이러한 서수와 결합된 구성 요소는 그 숫자에 의해 사용 순서나 배치 순서 등이 제한 해석되어서는 안된다. 필요에 따라서는, 각 서수들은 서로 교체되어 사용될 수도 있다.
본 명세서에서 단수의 표현은 문맥상 명백하게 다름을 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, ‘포함하다’ 또는 ‘구성하다’ 등의 용어는 명세서 상에 기재된 특징, 숫자, 단계, 동작, 구성 요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성 요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
본 발명의 실시 예에서 ‘모듈’, ‘유닛’, ‘부(Part)’ 등과 같은 용어는 적어도 하나의 기능이나 동작을 수행하는 구성 요소를 지칭하기 위한 용어이며, 이러한 구성 요소는 하드웨어 또는 소프트웨어로 구현되거나 하드웨어 및 소프트웨어의 결합으로 구현될 수도 있다. 또한, 복수의 ‘모듈’, ‘유닛’, ‘부(part)’ 등은 각각이 개별적인 특정한 하드웨어로 구현될 필요가 있는 경우를 제외하고는, 적어도 하나의 모듈이나 칩으로 일체화되어 적어도 하나의 프로세서(미도시)로 구현될 수 있다.
또한, 본 발명의 실시 예에서, 어떤 부분이 다른 부분과 연결되어 있다고 할 때, 이는 직접적인 연결뿐 아니라, 다른 매체를 통한 간접적인 연결의 경우도 포함한다. 또한 어떤 부분이 어떤 구성 요소를 포함한다는 의미는, 특별히 반대되는 기재가 없는 한 다른 구성 요소를 제외하는 것이 아니라 다른 구성 요소를 더 포함할 수 있다는 것을 의미한다.
이하, 첨부된 도면을 이용하여 본 발명에 대하여 구체적으로 설명한다.
도 1a 및 1b는 본 발명의 일 실시 예에 따른, 전자 장치의 구현 예를 설명하기 위한 도면이다.
본 발명의 전자 장치(100)는 VR 컨텐츠를 제공하기 위하여 사용자의 머리에 쓰거나 안경처럼 눈 주위에 착용할 수 있는 HMD(Head Mounted Display) 장치로 구현될 수 있다. 이때, 전자 장치(100)는 사용자의 머리에 착용하기 위한 밴드 및 다양한 사용자 인터페이스 및 디스플레이가 일체형으로 구현된 일체형 HMD 장치로 구현되거나 스마트폰(smart phone) 등의 디스플레이를 포함하는 휴대용 단말 장치로 구현되어, 디스플레이가 없는 분리형 HMD 장치(케이스)에 탈착되어 사용될 수 있다.
도 1a는 사용자가 일체형 HMD 장치(100A)로 구현된 전자 장치(100)를 착용한 모습을 도시한 것이다. 여기서, 전자 장치(100)는 벨크로 방식의 밴드로 사용자의 이마와 후두부를 고정시키는 형태로 착용되어, 전자 장치(100)에서 제공되는 콘텐츠 외에 사용자의 외부 환경에 대한 시야를 차단할 수 있다.
도 1b는 휴대용 단말 장치(100B)로 구현된 전자 장치(100)가 분리형 HMD 장치(200)에 부착된 외관을 도시한 것이다. 도 1b에 도시된 바와 같이, 전자 장치(100)는 스마트 폰으로 구현되어 사용자에게 디스플레이를 제공하게 되며, 사용자의 이마와 후두부에 고정되는 분리형 HMD 장치(200)의 본체와 탈부착될 수 있다.
분리형 HMD 장치(200)는 사용자의 생체 신호를 감지할 수 있는 전극, 사용자 입력을 수신할 수 있는 버튼, 전자 장치(100)와 유무선으로 통신을 수행할 수 있는 통신 모듈 등을 포함할 수 있으며, 분리형 HMD 장치(200)의 구체적인 구성은 후술하도록 한다.
도 1b에 나타난 실시 예에 있어서, 전자 장치(100)는 스마트폰에 한정되는 것은 아니다. 전자 장치(100)는 태블릿 PC(tablet Personal Computer), 이동전화기(mobile phone), 화상전화기, 전자북 리더기(e-book reader), PDA(Personal Digital Assistant), PMP(Portable Multimedia Player), MP3 플레이어, 네비게이션(navigation), 카메라(camera) 등 디스플레이를 포함하는 다양한 장치로 구현될 수 있다.
도 2a 및 2b는 본 발명의 구현 예에 따른 전자 장치의 구성을 간략히 도시한 블록도이다.
도 2a에 따르면, 본 발명의 일 실시 예에 따른 전자 장치(100)는 생체 신호 입력부(110), 음성 입력부(120) 및 프로세서(130)를 필수적으로 포함한다.
생체 신호 입력부(110)는 사용자의 생체 신호를 입력받기 위한 구성이다. 여기서, 사용자는 전자 장치(100)를 착용하는 착용자를 의미할 수 있으며, 생체 신호는 주로 전자 장치(100)가 착용되는 부위인 사용자의 얼굴로부터 획득될 수 있다. 여기서, 생체 신호는 주로 생체 전기신호(Bioelectrical Signal)를 지칭하는 것으로서, 신경, 근육, 선(glandular) 조직의 구성성분인 흥분성 세포들의 전기화학적인 작용에 의해 발생된다. 전자 장치(100)는 전극 등의 센서를 이용해 원하는 생체 신호를 측정 후, 신호처리를 수행되게 된다.
다만, 생체 신호는 사용자의 얼굴 외의 사용자의 신체의 다양한 부위를 통해 획득할 수도 있으며, 넓은 의미로는 생체 전기신호 외의 사용자의 물리적 모션(머리 회전, 끄덕임 등)에 의해 감지되는 신호를 포함할 수 있다.
생체 전기신호로서의 생체 신호는 근전도(Electromyogram, 이하 EMG라 한다) 신호, 안전도(Electrooculogram, 이하 EOG라 한다) 신호, 뇌전도(Electroencephalogram, 이하 EEG라 한다) 신호, 심전도(Electrocardiogram, 이하 ECG라 한다) 신호, 피부전기전도도(Galvanic Skin Response, 이하 GSR이라 한다) 신호 및 생체전기저항분석(Bioelectric Impedence Analysis, 이하 BIA라 한다) 신호 중 적어도 하나를 포함하는 신호일 수 있다.
EMG 신호는 근육의 움직임을 보여주는 신호로서, 사용자의 얼굴의 근육 움직임에 의해 발생하는 전기신호이다. EMG 신호는 기본적으로 근섬유막(Muscle fiber membrane)에서 발생하는 생리적 변화에 의해 발생되는 전기 신호가 측정된 것이다. 본 발명에서 EMG 신호는 주로 사용자가 말을 하거나 어금니를 깨무는 등의 입 주위의 근육 움직임을 통해 발생되는 전기신호이다. 생체 신호 입력부(110)는 눈의 주위에 부착된(특히, 눈의 아래) 전극으로부터 감지되는 전기 신호를 EMG 신호로 수신할 수 있다.
EOG 신호는 사용자의 각막 사이의 전압 차이로 인해 눈의 움직임에 따라 발생하는 전기 신호이다. 눈의 각막(+)과 망막(-) 간에는 일정한 전위가 존재하여 일정한 쌍극자의 역할을 하며, 이를 측정하기 위해 생체 신호 입력부(110)는 눈의 좌측과 우측에 부착된 전극으로부터 감지되는 전기 신호를 EOG 신호로서 수신할 수 있다. 구체적으로, 사용자가 정면을 응시할 때는 일정한 쌍극자가 두 전극 간에 형성되며 이때의 출력은 제로(0)가 된다. 사용자가 왼족을 응시하면 + 성분이, 우측을 응시하면 - 성분이 출력되며, 전극의 극성과 움직임의 방향에 따라 +, - 성분은 바뀌게 된다. EOG 신호를 이용하여 사용자의 눈의 깜박임 또한 측정이 가능하며, 전극을 한쪽 눈의 위아래에 부착후 측정하게 된다.
EEG 신호는 신경계에서 뇌신경 사이로 신호가 전달될 때 생기는 전기 신호이다. 심신의 상태에 따라 각각 다르게 나타나며 뇌의 활동 상황을 측정하는데에 있어 가장 중요한 지표가 된다. EEG 신호는 일반적으로 두피에 부착되는 전극을 통해 감지되며, 생체 신호 입력부(110)는 이마에 부착된 전극으로부터 감지되는 전기 신호를 EEG 신호로서 수신할 수 있다.
ECG 신호는 심장의 수축과 이완시 발생되는 전기적인 신호이며 체표면에서 쉽고 빠르게 측정할 수 있는 가장 대표적인 생체신호이다. 심장의 운동은 분당 박동수(bpm)으로 표시되며, 심박수(heart rate)의 변화를 통하여 자율신경계의 변화도 알 수 있다. ECG 신호는 사용자의 얼굴에서도 측정 가능하며, 생체 신호 입력부(110)는 다양한 부위에 부착된 전극으로부터 감지되는 전기 신호를 EOG 신호로서 수신할 수 있다.
GSR 신호는 일반적으로 정서상태의 지표로 활용되는 신호로서, 피부의 전기 저항을 측정하기 위한 생체신호이다. 예를 들어, 일반적 각성상태에서는 피부의 전기저항이 감소되는 특성이 있으며, GSR 신호는 이러한 특성에 따른 피부의 전기저항 변화 정도를 나타낼 수 있다. 즉, GSR 신호는 땀샘의 활동과 관련이 있다.
BIA 신호는 인체에 해를 끼치지 않을 정도의 교류 전류를 흐르게 하는 방법으로 측정되는 신호로 신체 내 수분량을 측정할 수 있는 생체신호이다. 전류가 전도성이 가장 높은 부분을 따라 흐르는 특성을 이용하여, 인체에 미약한 교류 전류를 흘려주었을 때 계측한 전기저항으로 신체 구성을 추정하는 것이 BIA의 기본 원리이다. 수분을 많이 포함한 체지방 조직은 전도성이 뛰어나도 저항이 작으며, 수분을 거의 포함하지 않는 체지방 조직은 전도성이 떨어지고 저항이 크게 측정되며, 이러한 특성이 BIA 신호에 반영되게 된다.
다만, 생체 신호는 앞서 언급한 신호들 외에도 다양한 종류의 생체 신호를 포함할 수 있다.
또한, 생체 신호 입력부(110)는 정전기 방전 현상의 방지를 위한 ESD(Electrostatic Dischare) 방지 회로부(미도시)를 더 포함할 수 있다.
한편, 생체 신호는 전극을 통해 감지될 수 있다. 생체 신호 입력부(110)는 적어도 하나의 전극으로부터 감지되는 생체 신호를 유무선으로 입력받을 수 있으며, 실시 예에 따라서, 생체 신호를 감지하기 위한 전극은 전자 장치(100) 내에 포함되거나 전자 장치(100)와 별개로 구성될 수도 있다.
구체적으로, 본 발명의 전자 장치(100)가 일체형 HMD 장치(100A)로 구현되는 실시 예의 경우, 적어도 하나의 전극이 생체 신호 입력부(110)에 포함할 수 있다. 본 발명의 전자 장치(100)가 분리형 HMD 장치(200)와 탈부착되는 휴대용 단말 장치(100B)로 구현되는 실시 예의 경우, 적어도 하나의 전극은 분리형 HMD 장치(200)에 포함되고, 생체 신호 입력부(110)는 분리형 HMD 장치(200)에 포함된 전극으로부터 감지된 생체 신호를 유무선으로 입력받을 수 있다.
한편, 생체신호 측정시 일반적으로 사용되는 Ag/AgCl 전극은 신호의 전송도는 좋지만, 재사용이 불가능하며, 다양한 부작용이 있을 수 있으므로, 본 발명의 전극은 피부와 전극 사이에 전해질을 사용하지 않으며 스테인리스 스틸이나 구리같은 금속으로 이루어진 건식 전극을 이용하는 것이 바람직하다. 건식 전극은 체내 이온에 의하여 생성되는 생체 전위 신호를 전기 신호로 변환한다.
한편, 전극은 특정한 단일 종류의 생체 신호를 감지하기 위한 전극, 복수의 종류의 생체 신호를 감지하기 위한 전극(이하, 공통 전극이라 한다), 기준 전극(reference electrode), 접지 전극(ground electrode) 등을 포함할 수 있다. 기준 전극은 접지 전극과 각각 분리되어 신체에 접촉되는 형태로 구성될 수 있으며 기준 전극과 접지 전극이 동일 전극으로 회로를 구성할 수도 있다. 본 발명의 실시 예에서는 편의상 기준 전극과 접지 전극이 동일 전극으로 사용되는 것으로 상정하여 설명하도록 한다. 각 전극은 전자 장치(100)가 고정되어 장착되는 위치인 사용자의 눈 주위의 생체 신호를 감지하여야 하므로, 일체형 HMD 장치(100A)로 구현되는 전자 장치(100) 또는 분리형 HMD 장치(200)에 있어서 눈 주위에 맞닿는 위치에 배치되며 감지하기 위한 생체 신호의 종류마다 서로 다른 위치에 배치될 수 있다. 각 전극의 부착 위치 및 기능에 대하여는 도 3을 참조하여 후술하도록 한다.
한편, 음성 입력부(120)는 사용자로부터 음성을 입력받기 위한 구성이다. 음성 입력부(110)는 마이크로폰(microphone)을 포함하며, 사용자로부터 발화된 음성에 대응하는 음성 신호를 수집할 수 있다. 마이크로폰은 프로세서(130)의 제어에 따라, 외부로부터의 음성(voice) 또는 사운드(sound)를 입력받아 전기적인 음성 신호를 생성할 수 있다.
그러나, 음성 입력부(120)는 분리형 HMD 장치(200)에 포함될 수도 있다. 이때, 분리형 HMD 장치(200)로부터, 사용자로부터 발화된 음성에 대응하는 음성 신호를 수신할 수도 있다.
한편, 프로세서(130)는 전자 장치(100)의 전반적인 동작을 제어하는 구성이다.
특히, 프로세서(130)는 음성 입력부(120)를 통해 입력된 음성 신호와 생체 신호 입력부(110)를 통해 입력된 생체 신호에 기초하여, 사용자를 식별할 수 있다. 구체적으로, 프로세서(130)는 입력된 음성 신호와 생체 신호가 합성된 합성 신호를 생성하고, 생성된 합성 신호의 특징 정보를 이용하여 사용자를 식별함으로써, 사용자 인증을 수행할 수 있다.
여기서, 사용자 인증은 전자 장치(100)를 사용하는 경우, 특정 어플리케이션을 실행하고자 하는 경우(결제 등) 또는 특정 웹 사이트에 로그인하는 경우 등에 사용자가 정당한 사용자인지 여부를 판단하는 과정이다.
이를 위해, 전자 장치(100)는 기인증된 사용자의 특정 발화에 대한 음성 신호 및 사용자의 생체 신호가 합성된 합성 신호의 특징 정보를 저장하는 저장부(140)를 더 포함할 수 있다. 프로세서(130)는 입력된 음성 신호 및 생체 신호가 합성된 합성 신호에 대한 특징 정보를 추출하고, 추출된 특징 정보와 저장부(140)에 기저장된 합성 신호의 특징 정보를 비교하여 사용자를 식별할 수 있다. 프로세서(130)는 추출된 특징 정보와 기저장된 특징 정보가 모두 일치하는 경우에, 사용자를 정당한 사용자로 판단할 수 있다. 여기서, 추출된 특징 정보와 기저장된 특징 정보가 기설정된 임계치를 초과하는 정합도를 가지는지 여부에 따라, 사용자가 정당한 사용자인지 아닌지 여부가 판단될 수 있다.
한편, 합성 신호의 특징 정보는 음성 신호의 특징 정보 및 생체 신호의 특징 정보를 포함하게 된다. 여기서, 음성 신호의 특징 정보는, 사용자가 특정 단어 또는 문장을 발화할 때 음성 입력부(120)를 통해 입력되는 음성 신호로부터 추출되는 변별력 있는 특정 벡터를 의미하며, 발화되는 특정 단어 또는 문장 등에 따라 달라진다.
또한, 음성 신호의 특징 정보는 사용자의 음색(파형), 높낮이(주파수)에 따라 달라지게 되므로, 같은 단어 또는 문장을 발화하더라도, 발화하는 사용자에 따라 음성 신호의 특징 정보가 달라지게 된다.
한편, 음성 입력부(120)가 마이크로폰을 포함하는 경우, 프로세서(130)는 특정 이벤트가 발생하면, 마이크로폰을 턴-온(turn on)시켜 마이크로폰에 전원을 공급하며, 이후에 마이크로폰을 통해 감지되는 음성 신호를 생체 신호 입력부(110)를 통해 입력된 생체 신호와 합성할 수 있다. 여기서 특정 이벤트는 예를 들어, 기설정된 음성 신호 또는 전자 장치(100)에 구비된 특정 버튼을 통해 입력되는 제어 신호가 트리거(trigger) 신호로서 입력되는 것을 포함한다. 또한, 특정 이벤트는, 전자 장치(100)에서 사용자 인증을 필요로 하는 화면(특정 어플리케이션이 실행된 화면 혹은 전자 장치(100)의 잠금을 해제하기 위한 잠금 화면 등)이 디스플레이되는 경우, 특정 생체 신호가 감지되는 경우를 포함할 수 있다. 특정 이벤트로서 특정 생체 신호가 감지되는 경우는 이하, 후술하도록 한다.
한편, 생체 신호 입력부(110)를 통해 입력되는 생체 신호가 EMG 신호임을 가정하면, EMG 신호의 특징 정보는 사용자의 특정 발화에 대응되는 패턴을 가지는 EMG 신호의 파형에 대한 정보일 수 있다. 즉, 사용자가 발화하는 특정 단어 또는 문장에 따른 입 주위 근육의 움직임 패턴이 EMG 신호의 특징 정보에 포함될 수 있다.
예를 들어, "메리크리스마스"가 사용자에게 정당한 사용 권원을 부여할 수 있는 인증용 문장인 경우를 가정할 수 있다. 사용자가 인증 등록 단계에서 "메리크리스마스"를 발화하면, 프로세서(130)는 마이크로폰을 통해 "메리크리스마스"의 음성 신호를 입력받을 수 있으며, 생체 신호 입력부(110)를 통해 "메리크리스마스"의 발화에 따른 입 주위의 근육 움직임에 의해 발생되는 EMG 신호를 입력받을 수 있다.
음성 신호 및 EMG 신호가 입력되면, 프로세서(130)는 음성 신호 및 EMG 신호를 합성하고, 합성에 의해 생성된 합성 신호 또는 합성 신호의 특징 정보를 저장부(140)에 저장할 수 있다. 이때, 프로세서(130)는 EMG 신호가 감지되는 동안 마이크로폰을 통해 입력되는 음성 신호만을 이용하여, EMG 신호 및 음성 신호가 합성된 합성 신호를 생성할 수 있다. 즉, EMG 신호의 감지가 음성 신호의 감지를 위한 트리거 신호가 될 수 있다. 따라서, 전극을 통해 감지된 EMG 신호가 생체 신호 입력부(110)를 통해 입력되면, 프로세서(130)는 마이크로폰을 턴-온시킬 수 있다. 즉, EMG 신호의 감지가 마이크로폰을 턴-온시키기 위한 특정 이벤트가 될 수 있다.
이후, 인증 수행 단계에서, 프로세서(130)는 사용자가 "메리크리스마스"를 발화하면, 해당 발화에 따라 입력되는 음성 신호 및 EMG 신호를 합성하고, 합성된 합성 신호의 특징 정보를 추출하며, 추출된 특징 정보를 저장부(140)에 기저장된 합성 신호의 특징 정보와 비교하여 사용자를 식별할 수 있다.
따라서, 프로세서(130)는 사용자의 발화에 따른 음성 신호 및 EMG 신호의 특징 정보를 모두 이용하여, 정당한 사용자가 발화한 인증용 단어 또는 문장("메리크리스마스")를 발화했는지 여부를 판단함으로써 사용자 인증을 더욱 안전하게 수행할 수가 있다.
특히, 음성 신호 및 EMG 신호의 합성에 의해 생성된 합성 신호는 음성 신호의 특징 정보 및 EMG 신호의 특징 정보 외에도, 음성 신호와 EMG 신호의 합성에 따라 추가적으로 생성되는 특징 정보를 포함한다. 즉, 합성 신호의 파형에 있어서, 음성 신호에 대응되는 제1 특징 정보, EMG 신호에 대응되는 제2 특징 정보 및 음성 신호와 EMG 신호의 합성에 따라 추가적으로 생성되는 제3 특징 정보를 포함할 수 있다. 따라서, 프로세서(130)는 두 신호를 합성함에 따라 더욱 많은 특징 정보를 도출할 수 있으므로, 사용자를 더욱 정확하게 인증할 수 있게 된다. 이에 대한 구체적인 내용은 도 5에 대한 설명에서 후술하도록 한다.
한편, 이와 같은 실시 예에 따르면, 주위가 소음으로 인해 시끄러운 환경 또는 사용자의 음성이 작아 마이크로폰을 통해 인식이 잘 안되는 경우, 음성 신호 및 EMG 신호가 결합된 합성 신호에 있어서, EMG 신호에 대응되는 특징 정보를 이용하여 사용자 인증을 수행할 수 있으므로, 편의성이 증대될 수 있을 것이다.
또한, EMG 신호가 감지되는 시점 및 감지되지 않는 시점을 이용하여 사용자의 발화 시작 시점 및 종료 시점을 더욱 간단히 판단할 수 있으므로, 음성 신호의 발화 길이를 좀 더 정확히 센싱할 수 있게 된다.
또한, 일반적으로 사용자가 발화하기 전에 입근육을 먼저 움직임으로써, 음성 신호보다는 EMG 신호가 먼저 감지되므로, 기설정된 임계치 이상의 EMG 신호가 감지되면(발화 시작 시점), 마이크로폰을 턴-온시키고, 기설정된 임계치 미만의 EMG 신호가 감지되면(발화 종료 시점), 마이크로폰을 턴-오프시킴으로써, 마이크로폰을 항상 턴-온 상태(Always On Mic)로 유지할 필요가 없다. 즉, 프로세서(130)는 EMG 신호의 감지를 마이크로폰이 턴-온되는 특정 이벤트로 설정할 수 있으며, 이에 따라 사용자 인증을 수행하지 않을 때에는 마이크로폰을 턴-오프 상태로 유지하고, 사용자 발화에 따른 EMG 신호가 감지될 때에만 마이크로폰을 턴-온시킬 수 있으므로 전력 소비를 감소시킬 수 있다.
한편, 다른 실시 예로서, 프로세서(130)는 입력된 음성 신호 및 생체 신호의 특징 정보를 각각 이용하여 사용자를 식별할 수도 있다. 구체적으로, 저장부(140)는 사용자의 특정 발화에 대한 음성 신호 및 사용자의 생체 신호의 특징 정보를 각각 저장할 수 있으며, 프로세서(130)는 입력된 음성 신호 및 생체 신호의 특징 정보를 각각 추출하고, 추출된 각각의 특징 정보를 기저장된 음성 신호 및 생체 신호의 특징 정보와 각각 비교하여 사용자를 식별할 수 있다.
예를 들어, 사용자가 인증 등록 단계에서 "메리크리스마스"를 발화한 경우, 프로세서(130)는 "메리크리스마스"의 음성 신호 또는 그로부터 추출된 특징 정보를 저장부(140)에 저장할 수 있다. 또한, 생체 신호 입력부(110)를 통해 입력되는 생체 신호가 EMG 신호임을 전제로 하면, EMG 신호의 특징 정보는 사용자가 발화한 "메리크리스마스"에 대응되는 패턴의 EMG 신호로부터 추출될 수 있으며, 추출된 EMG 신호의 특징 정보 또한 저장부(140)에 저장될 수 있다.
이후, 인증 수행 단계에서, 프로세서(130)는 사용자의 발화에 따라 마이크(120) 및 생체 신호 입력부(110)를 통해 입력된 음성 신호 및 EMG 신호로부터 특징 정보를 각각 추출하고, 추출된 각각의 특징 정보를 저장부(140)에 기저장된 특징 정보와 각각 비교하여 사용자를 식별할 수 있다.
즉, 프로세서(130)는 음성 신호 및 EMG 신호를 이용하여, 정당한 사용자가 인증용 단어 또는 문장("메리크리스마스")를 발화했는지 여부를 이중으로 판단함으로써 사용자 인증을 수행할 수가 있다.
또한, 저장부(140)에 특징 정보가 기저장된 경우라도, 프로세서(130)는 사용자로부터 입력된 음성 신호 및 EMG 신호로부터 추출된 특징 정보를 이용하여 기저장된 특징 정보를 지속적으로 업데이트할 수 있다.
한편, 이상의 실시 예에서는 생체 신호를 EMG 신호로 가정하여 설명하였으나, 생체 신호가 EOG 신호 또는, ECG 신호 등 전극을 통해 감지되는 다른 종류의 생체 신호라 하더라도 본 발명의 기술적 사상을 구현함에는 문제가 되지 않을 것이다. 예를 들어, 감지되는 생체 신호가 ECG 신호인 경우, ECG 신호의 파형은 사용자마다 고유의 특징 정보를 포함할 수 있을 것이므로 동일한 사용자인지 여부를 판단하는 데 이용될 수 있을 것이다.
또한, 본 발명의 기술적 사상은 서로 다른 전극을 통해 감지되는 서로 다른 종류의 생체 신호(예를 들어, EMG 신호 및 EOG 신호)를 이용하여 사용자 인증을 수행하는 방법으로도 확장될 수 있다. 예를 들어, 본 발명의 전자 장치(100)는 서로 다른 전극을 통해 감지된 EMG 신호 및 EOG 신호를 합성한 합성 신호를 생성하고, 생성된 합성 신호의 특징 정보를 이용하여 사용자 인증을 수행할 수도 있을 것이다.
또한, 본 발명의 기술적 사상은 일 전극을 통해 감지되는 생체 신호 및 사용자의 모션을 이용하여 사용자 인증을 수행하는 방법으로도 확장될 수 있다. 예를 들어, 본 발명의 전자 장치(100)는 사용자로부터 감지되는 EOG 신호 및 사용자 모션을 감지하여 사용자의 머리 움직임이 감지된 모션 신호를 합성한 합성 신호를 생성하고, 생성된 합성 신호의 특징 정보를 이용하여 사용자 인증을 수행할 수 있다. 따라서, 사용자가 디스플레이 화면의 특정 위치를 바라보거나 눈을 이용한 특정 동작(깜빡임, 윙크 등)을 수행함과 동시에 머리를 특정한 패턴으로 움직이는 경우에만 정당한 사용자로 인증하는 것을 예로 들 수 있다.
도 2b는 본 발명의 다른 실시 예에 따른, 전자 장치의 구성을 상세히 도시한 블록도이다.
도 2b는 휴대용 단말 장치(100B)로 구현된 전자 장치(100)가 분리형 HMD 장치(200)에 부착되어 실시되는 예를 가정하였다. 전자 장치(100)는 생체 신호 입력부(110), 음성 입력부(120) 및 프로세서(130) 외에, 저장부(140) 및 디스플레이(150)를 더 포함한다. 도 2a에서 이미 설명한 내용은 생략하도록 한다.
분리형 HMD 장치(200)는 사용자의 생체 신호를 감지할 수 있는 센서부(210), 사용자 입력을 수신할 수 있는 입력부(220), 전자 장치(100)와 통신할 수 있는 통신부(230) 및 저장부(240)를 포함한다.
전자 장치(100)의 생체 신호 입력부(110)는 분리형 HMD 장치(200)로부터, 감지된 생체 신호를 입력받기 위한 구성이다. 도 2b에 도시된 바와 같이, 전자 장치(100)가 분리형 HMD 장치(200)에 부착되는 휴대용 단말 장치(100B)로 구현되는 경우, 생체 신호 입력부(110)는 분리형 HMD 장치(200)와 유무선으로 통신을 수행하기 위한 통신모듈을 포함할 수 있다. 통신모듈을 이용한 분리형 HMD 장치(200)와의 통신은 다양한 방식으로 이루어질 수 있다. 전자 장치(100)와 분리형 HMD 장치(200)와의 통신은 NFC, 와이파이(Wi-Fi), 와이파이 다이렉트(Wi-Fi Direct), 지그비(Zigbee) 및 블루투스(Bluetooth) 중 적어도 하나의 방식으로 실시될 수 있다.
저장부(140)는 전자 장치(100)를 구동시키기 위한 O/S(Operating System) 소프트웨어 모듈, VR 콘텐츠를 포함하는 각종 멀티미디어 콘텐츠와 같은 다양한 데이터를 저장할 수 있다. 특히, 저장부(140)는 사용자의 특정 발화에 대한 음성 신호 및 사용자의 생체 신호와 관련된 특징 정보를 저장할 수 있다. 저장부(140)는 HDD(Hard Disk Drive), SSD(Solid State Drive), DRAM 메모리, SRAM 메모리, FRAM 메모리 또는 플래시 메모리 중 하나로 구현될 수 있다.
디스플레이(150)는 전자 장치(100)에서 재생 가능한 다양한 콘텐츠를 포함하는 화면을 제공하는 구성이다. 여기서, 콘텐츠는 텍스트, 이미지, 동영상, GUI(Graphic User Interface) 등과 같은 다양한 포맷의 콘텐츠를 포함할 수 있다. 특히, 콘텐츠는 3D 이미지를 제공하기 위한 VR(Visual Reality) 콘텐츠로 구현될 수 있다.
디스플레이(150)의 구현 방식은 한정되지 않으며, 예컨대, LCD(Liquid Crystal Display), OLED(Organic Light Emitting Diodes) 디스플레이, AM-OLED(Active-Matrix Organic Light-Emitting Diode), PDP(Plasma Display Panel) 등과 같은 다양한 형태의 디스플레이로 구현될 수 있다. 디스플레이(150)는 그 구현 방식에 따라서 부가적인 구성을 추가적으로 포함할 수 있다. 예를 들면, 디스플레이(150)가 액정 방식인 경우, 디스플레이(150)는 LCD 디스플레이 패널(미도시), 이에 광을 공급하는 백라이트 유닛(미도시), 패널(미도시)을 구동시키는 패널 구동기판(미도시)을 포함할 수 있다.
한편, 전자 장치(100)는 센서부(160)를 더 포함할 수 있다. 센서부(160)는 전자 장치(100)에서 이루어지는 다양한 동작을 감지하기 위한 제1 내지 n 센서 및 제1 내지 n 센서를 제어하기 위한 센서 제어부를 포함한다. 예를 들어, 센서부(160)에 포함되는 복수의 센서는 전자 장치(100)의 움직임을 감지하기 위한 움직임 센서, 사용자 인증을 위한 센서로서, 사용자의 홍채를 인식하기 위한 홍채 인식 센서, 지문을 인식하기 위한 지문 인식 센서, 주변 환경(기압, 온도, 습도, 조도), 사용자 제스처 등을 감지하기 위한 각종 센서 등을 포함할 수 있다.
움직임 센서는 가속도 센서, 지자기 센서 및 자이로 센서 중 적어도 하나의 센서를 포함할 수 있다. 움직임 센서에 포함된 각종 센서는, 이들 중 하나 또는 둘 이상의 조합을 통하여 전자 장치(100)의 3차원 움직임을 감지할 수 있다.
가속도 센서는 전자 장치(100)의 공간상 움직임을 측정하는 센서이다. 즉, 가속도 센서는 전자 장치(100)가 이동할 때 발생하는 가속도의 변화 및/또는 각가속도의 변화를 감지하는 센서를 의미한다. 가속도 센서는 3축 방향의 가속도를 감지할 수 있다. 또한, 가속도 센서는 전자 장치(100)의 기울어짐을 감지할 수 있다.
지자기 센서는 방위각(azimuth)을 측정하는 센서이다. 즉, 지자기 센서는 지구의 남북 방향으로 형성되어 있는 자기장(magnetic field)을 감지하여 방위각을 측정하는 센서를 의미한다. 지자기 센서는 3축 방향의 지자기를 감지할 수 있다. 지자기 센서로 측정되는 북쪽 방향은 자북(magnetic north)일 수 있다. 다만, 지자기 센서가 자북의 방향을 측정한다고 하더라도, 내부적인 연산을 거쳐 진북(true north)의 방향을 출력할 수도 있음은 물론이다.
자이로(gyro) 센서는 전자 장치(100)의 회전 각속도를 측정하는 관성 센서이다. 즉, 회전하는 물체가 가진 관성력을 이용하여 현재의 방향을 알 수 있는 센서를 의미한다. 자이로 센서는 2축 방향의 회전 각속도를 측정할 수 있다.
움직임 센서는 전자 장치(100)의 움직임을 센싱하여 전자 장치(100)가 움직이는 방향, 회전 각속도 등을 인식할 수 있다.
센서 제어부는 제1 내지 n 센서를 일괄적으로 제어하기 위한 구성으로, 센서 허브(sensor hurb)의 역할을 한다. 일 실시 예에 따르면, 전자 장치(100)가 대기 모드, 절전 모드 등 슬립(sleep) 모드로 동작하는 경우, 제어부(120)에 공급되는 전력이 제한되는 반면, 슬립 모드 상태에서도 센서 모듈을 통한 감지가 계속적으로 이루어지도록, 센서부(150)에 최소한의 전력이 공급될 수 있다. 즉, 센서 제어부가 센서를 통해 감지되는 신호에 기초하여 프로세서(130)를 웨이크 업(wake up)할 수 있다.
한편, 분리형 HMD 장치(200)의 센서부(210)는 사용자의 생체 신호를 감지하기 위한 복수 개의 전극을 포함할 수 있다. 복수 개의 전극은 도 2a와 관련하여 설명한 바와 같이, EMG 신호, EOG 신호, EEG 신호, ECG 신호, GSR 신호 및 BIA 신호 등 다양한 생체 신호를 감지하기 위한 전극을 포함할 수 있다. 복수의 전극은 분리형 HMD 장치(200)에서 사용자의 피부와 맞닿는 패드 부분에 부착될 수 있으며, 패드 상에서 각 전극이 감지하고자 하는 생체 신호의 종류에 따라 적절한 위치에 부착될 수 있다.
입력부(220)는 사용자의 다양한 입력을 수신하기 위한 구성으로, 물리적으로 구현된 버튼 혹은 터치 패드 등을 포함할 수 있다. 예를 들어, 입력부(220)는 통화 버튼, 밝기 조절 버튼, 음량 조절 버튼 등을 포함할 수 있으며, 전자 장치(100)에서 디스플레이되는 콘텐츠와 연계되어, 콘텐츠를 재생시키거나, 콘텐츠의 기능을 제어하는 등의 입력을 수신할 수 있다.
통신부(230)는 전자 장치(100)와 유무선 통신을 수행하기 위한 구성으로, 전자 장치(100)의 생체 신호 입력부(110)에 포함된 통신 모듈과 그 구성과 기능에 대한 설명이 중복되므로 구체적인 설명은 생략하도록 한다.
저장부(240)는 센서부(210)를 통해 감지되는 생체 신호를 저장하는 구성이다. 프로세서(250)는 하나의 전극을 통해 복수의 생체 신호를 입력받기 위하여, 전극을 통해 감지된 생체 신호를 저장하도록 저장부(240)를 제어할 수 있다.
프로세서(250)는 분리형 HMD 장치(200)를 전반적으로 제어하기 위한 구성이다. 프로세서(250)는 센서부(210)를 통해 감지되는 생체 신호를 필터링하여 노이즈를 제거할 수 있고, 감지되는 생체 신호의 특성에 기초하여 사용자가 분리형 HMD 장치(200)를 착용했는지, 혹은 제대로 착용했는지 여부를 판단할 수 있다. 여기서, 사용자의 HMD 장치(200)의 착용 여부는 상술한 여러 종류의 생체 신호에 기초하여 판단될 수 있고, 특별히 한정되지 않으나 EMG 신호를 이용하여 판단하는 것이 바람직하다.
사용자가 분리형 HMD 장치(200)를 착용한 것으로 판단되는 경우에는, 슬립 모드 상태의 전자 장치(100)에 웨이크업 신호를 전송할 수 있다. 또는, 사용자의 분리형 HMD 장치(200)의 착용 상태가 불량하다고 판단되는 경우에는, 착용이 제대로 되지 않았음을 알리는 신호를 출력하거나(이 경우, 분리형 HMD 장치(200)는 사용자에게 소정의 알림을 제공할 수 있는 LED 또는 스피커를 포함할 수 있다), 전자 장치(100)에 착용이 제대로 되지 않았음을 알리는 신호를 출력하도록 하는 신호를 전송할 수 있다.
또한, 프로세서(250)는 센서부(210)를 통해 감지되는 생체 신호의 신호 품질을 측정하고, 측정된 신호 품질에 기초하여, 특정 전극에서 감지되는 신호 품질이 불량하다는 경고를 출력하도록 하는 제어 신호를 전자 장치(100)에 전송할 수 있다. 또는, 프로세서(250)는 특정 전극에서 감지되는 신호 품질이 불량하다는 경고를 분리형 HMD 장치(200)에 제공되는 LED 또는 스피커를 통해 출력할 수도 있다.
한편, 도 2b는 전자 장치(100)가 휴대용 단말 장치(100B)로 구현되는 경우에 있어서의 전자 장치(100) 및 분리형 HMD 장치(200)의 구성 및 동작에 대하여 설명하였으나, 상술한 동작은 전자 장치(100)가 일체형 HMD 장치(100A)로 구현되는 경우에도, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 용이하게 설계 변경하여 적용할 수 있을 것이다.
예를 들어, 전자 장치(100)가 일체형 HMD 장치(100A)로 구현되는 경우, 분리형 HMD 장치(200)에 포함되는 센서부(210)의 구성 및 동작은 전자 장치(100)의 센서부(160)로 통합될 것이며, 입력부(220)는 전자 장치(100)에 포함될 것이다. 저장부(240)는 전자 장치(100)의 저장부(140)에 통합될 것이며, 통신부(230) 및 생체 신호 입력부(110)에 포함된 통신 모듈은 생략될 수 있을 것이다. 프로세서(250)의 동작은 전자 장치(100)의 프로세서(130)의 동작으로 통합될 수 있다.
도 3은 본 발명의 일 실시 예에 따른, 생체 신호를 감지하기 위한 각 전극을 설명하기 위한 도면이다.
도 3은 HMD 장치(100)를 착용면에서 바라본 정면도이다. 도 3에 도시된 바와 같이, 눈 주위에 사용자의 얼굴과 접착하는 접착면(30)에는 다양한 종류의 생체 신호를 감지할 수 있는 전극(31-1 ~31-n)이 배치될 수 있다.
도 3에 나타난 실시 예를 참조하면, 눈의 좌측 및 우측에는 한 쌍의 전극(31-1, 3-2)이 부착되어 EOG 신호를 감지할 수 있다. 한 쌍의 전극은 하나의 전극 변화를 산출하므로 상하 방향 또는 좌우 방향 중 어느 하나만을 특정할 수 있다. 따라서, 안구의 방향을 설정하려면 상하, 좌우의 두 가지 방향을 설정하여야 하므로, 접착면(30)에서 한쪽 눈의 상단과 접착하는 부위 및 눈의 하단과 접착하는 부위에서 EOG 신호를 감지하기 위한 한 쌍의 전극(31-3, 31-4)이 구비될 수 있다. 또한, 다른 한쪽 눈의 상단과 접착하는 부위 및 눈의 하단과 접착하는 부위에서 EOG 신호를 감지하기 위한 한 쌍의 전극(31-5, 31-6)이 추가적으로 구비될 수 있다.
따라서, 프로세서(130)는 눈의 좌측 및 우측에 부착되는 한 쌍의 전극(31-1, 31-2)을 통해 눈의 좌우 방향을 특정하고, 눈의 상측에 부착되는 전극(31-3, 31-5) 및 눈의 하측에 부착되는 전극(31-4, 31-6)을 통해 눈의 상하 방향을 특정할 수 있다.
한편, 양쪽 눈의 하단에는 EMG 신호를 감지하기 위한 한 쌍의 전극(31-7, 31-8)이 구비될 수 있다. 하나의 근육에 대하여는 하나의 전극이 부착되며, 하나의 수치가 산출되게 된다. 프로세서(130)는 입력된 EMG 신호의 크기에 따른 각 근육의 움직임 세기를 근육별로 저장하고, 저장된 움직임 세기에 관한 정보에 기초하여, 입력된 EMG 신호의 크기를 환산할 수 있다.
EMG 신호를 감지하기 위한 전극은 접착면(30)의 주변에 환형으로 복수 개로 구비될 수 있으며, 해당 전극은 안면 전반에 있는 근육의 움직임을 감지할 수 있다. 특히, EMG 신호를 감지하기 위한 전극은 얼굴 형태를 주로 변화시키는 눈 주위와 입모양에 따른 광대뼈 주변의 근육의 움직임을 감지할 수 있도록 양쪽 눈의 하단에 접착하는 접착면(30)에 각각 구비될 수 있다. 즉, EMG 신호를 감지하기 위한 전극은, 사용자의 입 주위에 가깝게 위치하는 것이 바람직하다.
한편, EMG 신호를 감지하기 위하여, 기준 전극(reference eletrode)(31-9)이 추가적으로 구비되는 것이 바람직하며, 양 전극(31-7, 31-8)을 통해 감지된 생체 신호와 기준 전극(31-9)을 통해 감지된 생체 신호의 차분값이 EMG 신호로 이용될 수 있다. 기준 전극(31-9)은 양쪽 눈의 상단 중앙 부위에 접착하는 접착면(30)에 위치할 수 있다. 다만, EMG 신호를 감지하기 위한 전극 한 쌍이 추가적으로 구비되고, 근접한 전극쌍(pair)의 전위차를 이용하여 EMG 신호를 감지하는 쌍극법(bi-polar)을 이용하는 경우에는, 기준 전극(31-9)을 필요로 하지 아니할 수 있다.
도 4는 본 발명의 일 실시 예에 따른, 전자 장치에서 감지된 생체 신호를 합성하여 사용자 인증을 수행하는 과정을 설명하기 위한 흐름도이다.
전자 장치(100)를 착용한 사용자가 사용자 인증을 수행하기 위하여, 기설정된 문장 또는 단어 등을 발화하는 경우, 전자 장치(100)에 구비된 전극(31-1 내지 31-n)을 통해 감지된 생체 신호가 생체 신호 입력부(110)를 통해 입력되고, 음성 입력부(120)를 통해 발화에 따른 음성 신호가 입력된다. 이때, 생체 신호는 EOG 신호, EMG 신호, EEG 신호 또는 ECG 신호 등 다양한 생체 신호를 포함할 수 있다.
도 4에 도시된 실시 예의 전자 장치(100)는 디스플레이(150)를 더 포함하고, 전자 장치(100)에 구비된 전극(31-1 내지 31-n)은 EOG 신호를 감지하기 위한 전극 및 EMG 신호를 감지하기 위한 전극을 포함한다. 여기서, 프로세서(130)는 EOG 신호를 감지하기 위한 전극에 의해 감지된 EOG 신호에 기초하여 사용자의 눈동자 위치를 판단할 수 있으며, 이에 따라 사용자가 디스플레이(150)의 화면에서 특정 영역을 바라보는지 여부를 판단할 수 있고, 특정 영역을 바라본다고 판단되는 경우에만 사용자 인증을 수행할 수 있다.
예를 들어, 프로세서(130)는 사용자가 디스플레이(150)에 디스플레이되는 화면에서 "사용자 인증을 해주세요"라는 문장이 표시되는 영역을 바라본다고 판단되는 경우에만, 음성 신호 및 EMG 신호를 이용한 사용자 인증을 수행할 수 있다. 이는, "사용자 인증을 해주세요"라는 문장이 표시되는 영역 외에 다른 영역을 바라보는 경우, 사용자가 인증을 원하지 않거나 인증을 필요로 하지 않는 다른 작업을 처리하기 위한 경우가 대부분일 것이므로, 사용자 인증을 수행하기 위한 전처리 과정(마이크로폰의 턴-온, 음성 신호와 EMG 신호의 합성 등)을 수행하지 않기 위한 것이다.
또한, 사용자가 "사용자 인증을 해주세요"라는 문장이 표시되는 영역을 바라보는 동작이 사용자 인증을 수행하기 위한 트리거 동작으로 작용하여, 발화에 따른 음성을 입력받기 위한 시점을 설정하는 효과가 있다.
한편, 도 4에 도시된 바와 같이, 전자 장치(100)의 각 전극(31-1 내지 31-n)을 통해 감지된 EOG 신호 및 EMG 신호는 아날로그-디지털 변환기(Analog-Digital converter: ADC)를 거쳐 디지털 신호(41, 42)로 변환되며 변환된 신호(41, 42)는 프로세서(130)에 의해 정렬/합성된다(S410). 프로세서(130)는 두 신호(41, 42)가 합성된 합성 신호로부터 고유의 특징 정보를 추출할 수 있다(S420). 사용자 인증 등록 단계에서는, 두 신호(41, 42)가 합성된 합성 신호로부터 추출된 특징 정보가 저장부(140)에 저장되며, 사용자 인증 수행 단계에서는, 두 신호(41, 42)가 합성된 합성 신호의 특징 정보를 기저장된 합성 신호의 특징 정보와 비교하여 동일한 사용자인지를 식별하게 된다.
예를 들어, 도 5에 도시된 실시 예에 따르면, (a)는 EMG 신호의 파형, (b)는 음성 신호의 파형, (c)는 EMG 신호 및 음성 신호가 합성된 합성 신호의 파형을 도시한 것이다. EMG 신호 및 음성 신호의 파형에 있어서 점선 부분은 편의상 해당 시간 구간의 파형을 생략하여 도시한 것이다.
일 시간 구간(50)에 있어서, EMG 신호의 파형(51) 및 음성 신호의 파형(52)이 합성되면 합성 신호의 파형(53)과 같이, 두 파형(51, 52)이 대체적으로 결합된 형태의 합성 신호의 파형이 생성되며, 특히 합성 신호의 파형은 합성으로 인해 생성되는 고유 형태의 파형을 포함하게 된다. 따라서, 합성 신호의 파형으로부터 추출될 수 있는 특징 정보는 EMG 신호의 파형(51) 및 음성 신호의 파형(52)으로부터 각각 추출되는 특징 정보보다 많은 정보를 포함할 수 있다.
한편, 머신 러닝(machine learning) 알고리즘에 따라 동일한 사용자인지를 식별하는 경우, 두 신호(41, 42)의 합성 신호로부터 추출된 특징 정보는 분류기(classifier)로 입력된다(S430). 분류기에 입력된 특징 정보는 머신 러닝(machine learning) 알고리즘에 따라 분류기를 훈련(training)시키기 위해 이용되거나, 분류 결과를 도출하여 사용자의 동일성을 판단하기 위해 이용될 수 있다.
상술한 S410, S420 및 S430 과정은 프로세서(130)에 의해 수행될 수 있으며, 일부의 동작은 분리형 HMD 장치(200)에 포함된 프로세서(250)에서 수행될 수 있다.
도 6은 본 발명의 일 실시 예에 따른, 전자 장치에서의 각 신호 흐름 과정을 설명하기 위한 도면이다.
도 6에 도시된 실시 예는 분리형 HMD 장치(200)에 구비된 전극으로부터 감지된 생체 신호가 분리형 HMD 장치(200)에 장착되는 휴대용 단말 장치(100B)로 구현된 전자 장치(100)에 입력되어 처리되는 과정을 도시한 것이다.
복수의 전극(211)으로부터 감지되는 생체 신호는 각 전극에 대응되는 채널(41-1 내지 41-n)을 통해 단말 장치(20)로 전송된다. EMG 신호는 아날로그-디지털 변환기(Analog-Digital Converter: ADC)(214)를 거쳐 디지털 신호로 변환된다. 따라서, 분리형 HMD 장치(200)는 ADC(214)를 기점으로 아날로그 신호를 처리하는 ①아날로그 프론트 엔드(analog front end) 및 아날로그 신호가 변환된 디지털 신호를 처리하는 ②디지털 회로(Digital Circuit)로 구성된다.
① 아날로그 프론트 엔드(analog front end)는 센서부(210)의 동작을 포함한다. 구체적으로, 생체 신호를 감지하는 전극(211), 감지된 생체 신호를 증폭시키는 앰프(AMP)(212), 증폭된 생체 신호의 노이즈를 제거하기 위한 HPF(High Pass Filter)/LPF(Low Pass Filter)(213) 및 노이즈가 제거된 생체 신호를 디지털 신호로 변환하기 위한 ADC(214)를 포함한다. ② 디지털 회로(Digital Circuit)는 디지털로 변환된 생체 신호를 처리하기 위한 구성으로, HPF(High Pass Filter)/LPF(Low Pass Filter)를 통한 필터링을 수행하는 MCU(Micro Controller Unit)(250) 및 전자 장치(100)로 생체 전기 신호를 전송하기 위한 통신부(230)을 포함한다. 도 6에 도시된 실시 에에서, 프로세서(250)는 MCU(Micro Controller Unit)으로 구현되었다.
생체 신호가 EMG 신호인 경우를 예로 들어 구체적으로 설명하면, 도 3에서 EMG 신호를 감지하기 위해 이용되는 전극(31-7, 31-8)은, 사용자의 우측 얼굴 근육에서 감지되는 EMG 신호의 전압과 기준 전극(31-9)을 통해 감지된 기준 전압 간의 전위차가 검출될 수 있다. 검출된 전위차를 포함하는 EMG 신호는 분리형 HMD 장치(200)에 구비된 앰프(AMP)(212)를 통해 증폭되고, 증폭된 EMG 신호는 HMD 장치(200)에 구비된 HPF/LPF(213)를 통해 노이즈가 제거될 수 있다. 여기서, HPF는 증폭된 EMG 신호에서 직류 성분의 노이즈를 제거하고, LPF는 증폭된 EMG 신호에서 직류 성분이 아닌 노이즈를 제거할 수 있다.
노이즈가 제거된 EMG 신호는 ADC(214)를 거쳐 디지털 신호로 변환되며, MCU(250) 내에서 고역 및 저역 통과 필터링 과정을 거친 후, 통신부(230)로 전송되고, 실시간으로 통신 연결되어 있는 전자 장치(100)로 전송된다.
전자 장치(100)의 생체 신호 입력부(110) 및 통신부(230)의 통신이 무선으로 이루어지는 실시 예의 경우, 생체 신호 입력부(110) 및 통신부(230)는 NFC, 와이파이(Wi-Fi), 와이파이 다이렉트(Wi-Fi Direct), 지그비(Zigbee) 및 블루투스(Bluetooth) 중 적어도 하나의 방식으로 통신을 수행하도록 구현될 수 있으며, 이 외에도 다양한 무선 통신 방식을 이용하여 통신을 수행하도록 구현될 수 있다.
또한, 생체 신호 입력부(110) 및 통신부(230)의 통신이 유선으로 이루어지는 실시 예의 경우, 생체 신호 입력부(110) 및 통신부(230)는 범용 비동기화 송수신기(Universal Asynchronous Receiver/Transmitter: UART)의 방식을 포함하는 다양한 방식으로 통신을 수행하도록 구현될 수 있다.
한편, 이상과 같이, 도 6에 도시된 실시 예는 휴대용 단말 장치(100B)로 구현된 전자 장치(100)가 분리형 HMD 장치(200)에 탈착되어 실시되는 예에 있어서, 전자 장치(100) 및 분리형 HMD 장치(200)를 도시한 것으로, 상술한 개시는 전자 장치(100) 및 분리형 HMD 장치(200)의 동작을 각각 설명한 것이다. 그러나, 전자 장치(100)가 일체형 HMD 장치(100A)로 구현되는 경우에도 도 5에 도시된 기술적 사상이 동일하게 적용될 수 있다. 이 경우, 도 6의 분리형 HMD 장치(200)의 MCU(250)의 동작은 전자 장치(100)의 프로세서(120)에서 수행될 수 있으며, 전자 장치(100)와 통신하기 위한 분리형 HMD 장치(200)의 통신부(230)는 생략될 수 있을 것이다.
이하에서는, 별도의 설명이 없는 한 본 발명의 전자 장치(100)를 일체형 HMD 장치로 상정한 실시 예에 대하여 설명하도록 한다. 그러나, 이하 설명되는 발명의 기술적 사상은 본 발명의 전자 장치(100)가 센서가 구비된 분리형 HMD 장치와 탈착되는 휴대용 단말 장치로 구현되어 실시되는 경우에도 적용될 수 있음은 물론이다.
도 7은 본 발명의 일 실시 예에 따른, 전자 장치의 동작 과정을 간략히 설명하기 위한 흐름도이다.
전자 장치(100)의 동작은 크게 세 단계로 분류될 수 있다. 먼저, 사용자 인증을 위한 생체 신호의 등록 동작은, 전자 장치(100)가 착용된 상태에서 생체 신호를 감지하는 단계(S710), 사용자 발화를 감지하는 단계(S720) 및 감지된 생체 신호 및 음성 신호를 등록하는 단계(S730)로 구분될 수 있다. 또한, 생체 신호를 이용하여 사용자 인증을 수행하는 동작은, 전자 장치(100)가 착용된 상태에서 생체 신호를 감지하는 단계(S710), 사용자 발화를 감지하는 단계(S720) 감지된 생체 신호 및 음성 신호를 기등록된 신호의 패턴과 매칭시켜 사용자 인증을 수행하는 단계(S740)로 구분될 수 있다.
사용자 인증을 위한 생체 신호의 등록 동작 및 생체 신호를 이용하여 사용자 인증을 수행하는 동작을 구성하는 각 단계의 구체적인 동작은 도 8의 흐름도를 참조하여 구체적으로 설명하도록 한다.
도 8은 본 발명의 일 실시 예에 따른, 전자 장치의 동작 과정을 상세히 설명하기 위한 흐름도이다.
먼저, 전자 장치(100)의 착용 여부를 판단하기 위해, 전자 장치(100)는 전자 장치(100)의 착용 상태를 감지하기 위한 전극을 통해, 특정 생체 신호를 감지하여 입력받는다(S801). 여기서, 착용 여부 판단을 위해 감지되는 생체 신호는 EMG 신호임이 바람직하나, 반드시 이에 한정되는 것은 아니며, 다양한 생체 신호에 의해 착용 여부가 판단될 수 있다. 이때, 전자 장치(100)가 사용자에 의해 들어올려지면, 전자 장치(100)에 포함된 움직임 센서(160)에 의해 전자 장치(100)의 움직임이 감지되고, 전자 장치(100)의 착용 여부를 판단하기 위한 EMG 신호를 감지할 수 있는 전극에 대응되는 채널이 활성화될 수 있다.
전자 장치(100)가 착용되었다고 판단되면(S802:Y), 전자 장치(100)는 전극으로부터 감지되는 생체 신호를 입력받고, 입력된 생체 신호를 기록한다(S803). 전자 장치(100)가 착용되지 않은 것으로 판단되면(S802:N), 일부 전극 또는 모든 전극에 대응되는 채널을 비활성화하여, 전극의 활성화에 따른 전력 소모를 줄일 수 있다.
또한, 전자 장치(100)는 전자 장치(100)의 착용 상태에 대한 판단에 따른 결과를 출력할 수 있다. 착용 상태가 불량하면, 착용이 제대로 되지 않았다는 메시지 또는 안내 음성을, 착용 상태가 양호하면, 착용이 제대로 되었다는 메시지 또는 안내 음성을 출력할 수 있다.
한편, 이때, 생체 신호가 입력됨에 따라, 전자 장치(100)는 사용자의 발화 시작 시점을 판단할 수 있다(S805). 생체 신호가 EMG 신호인 경우, 사용자가 발화하기 전에 입근육을 먼저 움직임으로써, 음성 신호보다는 EMG 신호가 먼저 감지되므로, EMG 신호가 감지되면, 마이크로폰을 턴-온시킬 수 있다.
마이크로폰을 통해 사용자로부터 발화되는 음성 신호를 입력받고(S806), 감지된 EMG 신호 및 음성 신호를 기록한다(S807). 두 신호는 정렬/합성 처리되고(S808), 합성된 신호로부터 고유의 특징 정보가 추출될 수 있다(S809).
사용자 등록 단계에서는, 추출된 특징 정보가 저장부(140)에 저장되며(S810-1), 사용자 인증 단계에서는, 추출된 특징 정보가 기저장된 특징 정보와 일치하는지 여부를 판단하고, 일치하면(S810-2:Y), 사용자 인증에 따른 특정 기능을 수행할 수 있다(S811).
도 9a 내지 9b는 본 발명의 일 실시 예에 따른, 근전도 신호 및 음성 신호를 이용하여 사용자 인증을 수행하는 방법을 설명하기 위한 도면이다.
도 9a는 사용자는 잠금 상태인 전자 장치(100)를 착용한 경우에 사용자 발화만으로 전자 장치(100)의 잠금을 해제하는 예를 도시한 것이다. 사용자가 전자 장치(100)를 착용하면, 프로세서(130)는 "잠금 해제가 필요합니다"와 같이, 사용자에게 전자 장치(100)가 잠금 상태임을 알리기 위한 메시지를 디스플레이하도록 디스플레이(150)를 제어할 수 있다. 이때, 사용자가 전자 장치(100) 또는 분리형 HMD 장치(200)의 특정 버튼을 누르는 경우 알림 메시지가 표시될 수도 있으며, 전자 장치(100)의 착용이 감지됨에 따라 자동으로 알림 메시지가 표시될 수도 있다.
구체적으로, 프로세서(130)는 사용자에 의한 전자 장치(100)의 착용 상태를 감지하기 위한 전극을 통해 감지되는 생체 신호에 기초하여, 전자 장치(100)의 착용 상태를 판단하고, 전자 장치(100)의 착용 상태를 감지하기 위한 적어도 하나의 전극으로부터 임계치를 초과하는 신호가 검출되면, 전자 장치(100)가 착용 상태라고 판단할 수 있다.
한편, 프로세서(130)는 잠금 상태임을 알리기 위한 메시지와 함께, 사용자 발화를 유도하는 UI(91)를 디스플레이된 화면의 일 위치에 디스플레이하도록 디스플레이(150)를 제어할 수 있다. 사용자 발화를 유도하는 UI(91)는 "Say unlock"과 같은 메시지 형태로 디스플레이될 수 있다.
이때, 사용자가 "unlock"을 발화하면, 프로세서(130)는 마이크로폰을 통해 "unlock"의 음성 신호를 입력받을 수 있으며, 생체 신호 입력부(110)를 통해 "unlock"의 발화에 따른 입 주위의 근육 움직임에 의해 발생되는 EMG 신호를 입력받을 수 있다.
프로세서(130)는 해당 발화에 따라 입력되는 음성 신호 및 EMG 신호를 합성하고, 합성된 합성 신호의 특징 정보를 추출하며, 추출된 특징 정보를 저장부(140)에 기저장되어있는, "unlock"에 대응되는 사용자의 음성 신호 및 EMG 신호의 합성 신호의 특징 정보와 비교하여, 사용자를 식별할 수 있다. 비교 결과에 따른 유사도가 기설정된 임계값을 초과하는 경우, 프로세서(130)는 현재 사용자가 정당한 사용자라고 판단하고, 전자 장치(100)의 잠금을 해제할 수 있다.
또한, 프로세서(130)는 EOG를 감지하기 위한 전극에 의해 감지된 EOG 신호에 기초하여 사용자의 눈동자 위치를 판단할 수 있다. 이에 따라, 프로세서(130)는 사용자가 디스플레이(150)의 화면에서 사용자 발화를 유도하는 UI(91)가 표시된 영역을 바라보는지 여부를 판단하여, 해당 영역을 바라본다고 판단되는 경우에만 정당한 사용자라고 판단할 수도 있다.
다른 실시 예로서 도 9b는 핀 넘버 대신 사용자 발화만으로 전자 결제가 수행되는 예를 도시한 것이다.
사용자가 특정 어플리케이션 또는 웹 사이트를 통해 콘텐츠를 구입하는 경우, 전자 결제를 위해서, 사용자 인증을 위한 핀 넘버의 입력이 필요한 상황이 발생할 수 있다. 이때, 프로세서(130)는 사용자 발화를 유도하는 UI(92)를 디스플레이된 화면의 일 위치에 디스플레이하도록 디스플레이(150)를 제어할 수 있다. 사용자 발화를 유도하는 UI(92)는 "Say Samsung Pay"와 같은 메시지 형태로 디스플레이될 수 있다.
이때, 사용자가 "Samsung Pay"를 발호하면, 프로세서(130)는 마이크로폰을 통해 "Samsung Pay"의 음성 신호를 입력받을 수 있으며, 생체 신호 입력부(110)를 통해 "Samsung Pay"의 발화에 따른 입 주위의 근육 움직임에 의해 발생되는 EMG 신호를 입력받을 수 있다.
프로세서(130)는 해당 발화에 따라 입력된는 음성 신호 및 EMG 신호를 합성하고, 합성된 합성 신호의 특징 정보를 추출하며, 추출된 특징 정보를 저장부(140)에 기저장되어있는, "Samsung Pay"에 대응되는 사용자의 음성 신호 및 EMG 신호의 합성 신호의 특징 정보와 비교하여, 사용자를 식별할 수 있다. 비교 결과에 따른 유사도가 기설정된 임계값을 초과하는 경우, 프로세서(130)는 현재 사용자가 정당한 사용자라고 판단하고, 전자 결제를 승인할 수 있다.
또한, 프로세서(130)는 도 9a의 실시 예와 마찬가지로, EOG 신호를 감지하기 위한 전극에 의해 감지된 EOG 신호에 기초하여 사용자의 눈동자 위치를 판단할 수 있다. 이에 따라, 프로세서(130)는 사용자가 디스플레이(150)의 화면에서 사용자 발화를 유도하는 UI(92)가 표시된 영역을 바라보는지 여부를 판단하여, 해당 영역을 바라본다고 판단되는 경우에만 정당한 사용자라고 판단할 수도 있다.
도 9b의 실시 예와 관련하여, 전자 장치(100)가 전자 결제를 위한 어플리케이션 또는 웹 사이트를 제공하는 서버에 인증 정보를 전달하는 시스템은 도 12에서 좀 더 구체적으로 설명하도록 한다.
도 10 및 11은 본 발명의 일 실시 예에 따른, 웹 사이트에서 생체 신호를 이용한 사용자 인증 방법을 설명하기 위한 도면이다.
현재 대부분의 웹서비스에서는 아이디 및 패스워드를 이용하여 사용자를 인증하고, 개인정보에 대한 접근을 허용하고 있는데, 패스워드는 개인정보 유출 가능성이 크고, 사용자에게 부편을 초래하여 패스워드를 사용하지 않고 사용자를 인증하는 FIDO(Fast IDentity Online) 등의 새로운 인증 기술이 등장하고 있다.
특히, 얼굴인식이나, 홍채인식, 지문 인식 등 사용자의 신체 구조 또는 신체를 이용한 행동을 활용하는 생체 기반 인증방식이 등장함으로써, 보안성 및 편리성을 보완하고 있다. 도 10에서는 전자 장치(100)를 이용하여 웹 사이트에 접속할 때, 생체 신호 및 음성 신호를 이용하여 웹 사이트의 사용자 계정에 로그인하는 방법을 도시한 것이다.
도 10에 도시된 바와 같이, 생체 신호 및 음성 신호를 이용하여 웹 사이트의 사용자 계정에 로그인하는 방법은 크게, 사용자의 생체 신호 및 음성 신호를 등록하는 등록 프로세스, 사용자가 생체 신호 및 음성 신호를 발화하여 사용자 인증을 수행하는 인증 프로세스로 구분될 수 있다.
등록 프로세스에서는, 먼저 사용자가 도 10의 (a)에 도시된 바와 같은 웹 사이트에 접속해서 아이디 및 패스워드를 이용하여 일반적인 사용자 등록을 수행할 수 있다. 이후, 웹 사이트의 사용자 로그인 UI(101)를 선택하여 최초로 로그인을 수행하면, 도 10의 (b)에 도시된 바와 같이 "다음부터 생체 신호를 이용해 로그인하시겠습니까?"와 같은 메시지(102)가 디스플레이될 수 있다. 사용자가 "네"를 선택하면, 도 10의 (c)와 같은 생체신호 등록화면이 디스플레이되며, 녹음이 가능한 상태임을 나타내는 UI(103) 및 "등록할 인증키를 말씀하세요"와 같은 안내 메시지가 디스플레이될 수 있다. 사용자가 등록할 인증키를 발화하면, 발화된 인증키에 대응되는 음성 신호 및 입 주위의 전극을 통해 감지되는 EMG 신호가 전자 장치(100)에 등록된다. 이때, 전자 장치(100)는 등록된 음성 신호 및 EMG 신호에 대응되는 개인키 및 공개키 쌍을 생성하고, 이후, 공개키를 웹 사이트로 전송한다.
구체적으로, 인증 프로세스에서는, 먼저 사용자가 도 10의 (d)에 도시된 바와 같은 웹 사이트의 사용자 로그인 UI(101)를 선택하면, 도 10의 (e)에 도시된 바와 같이, "등록된 인증키를 말씀하세요"와 같은 메시지(103)가 디스플레이될 수 있다. 사용자가 등록된 인증키를 발화하면, 전자 장치(100)는 발화된 인증키에 대응되는 음성 신호 및 입 주위의 전극을 통해 감지되는 EMG 신호와 저장부(140)에 등록된 음성 신호 및 EMG 신호를 비교하여 사용자 인증을 수행한다. 사용자 인증이 완료되면, 전자 장치(100)가 공개키를 웹 사이트로 전송하고, 도 10의 (f)에 도시된 바와 같이, 웹 사이트에서 최종적으로 로그인이 완료되게 된다.
도 11은 본 발명의 일 실시 예에 따른, 웹 사이트 또는 웹 어플리케이션에 접속시에 인증 서버를 통해 인증을 수행하는 방법 설명하기 위한 블록도이다.
전자 장치(100)는 통신부(165)를 통해, 웹 사이트 또는 웹 어플리케이션을 서비스하는 웹 서비스 서버(300) 및 사용자 인증을 수행하는 인증 서버(400)와 통신을 수행할 수 있다. 통신부(165)는 웹 서비스 서버(300)와 통신을 수행하기 위한 제1 통신부(166), 인증 서버(400)와 통신을 수행하기 위한 제2 통신부(167)를 포함할 수 있다. 다만, 인증 서버(400)는 웹 서비스 서버(300)에 포함되는 서버일 수도 있다.
여기서, 전자 장치(100) 및 인증 서버(400)의 사용자 인증은 FIDO(Fast Identity Online) 인증 방식에 따른 프로토콜로 이루어질 수 있다.
먼저, 사용자가 전자 장치(100)의 어플리케이션(111)을 실행하여 웹 서비스 서버(300)에 접속하여 사용자의 음성 신호 및 생체 신호를 등록하기 위한 등록 동작을 수행하면, 인증 프레임워크(112)는 사용자의 음성 신호 및 생체 신호가 합성된 합성 신호(인증 토큰)가 암호화 과정을 거치면서 해당 합성 신호에 대응되는 고유한 개인키(113) 및 공개키(114)를 각각 생성한다. 인증 프레임워크(112)는 개인키(113)는 전자 장치(100) 내의 안전한 보안 엔티티(secure entity)에 저장하여 관리하고, 공개키(114)는 인증 서버(400)로 전송한다. 전자 장치(100)가 인증 서버(400)로 공개키(114)를 전송하면, 인증 서버(400)는 수신한 공개키(114)를 등록한다.
사용자가 다시 웹 서비스 서버(300)에 접속하여 사용자 인증을 시도하면(발화를 통한 로그인 시도 등), 웹 서비스 서버(300)가 인증 서버(400)로 인증을 요청하고, 인증 서버(400)는 사용자에 대한 정책과 함께 첼린지 값을 전자 장치(100)로 전송한다. 전자 장치(100)는 보안 엔티티에 저장된 개인키(113)를 사용하여 첼린지 값에 전자 서명을 하고, 전자 서명된 첼린지 값을 인증 서버(400)로 전송한다. 인증 서버(400)는 서명된 첼린지 값을 사용자의 공개키(114)로 검증하여 사용자 인증을 완료할 수 있다. 인증 서버(400)는 사용자 인증 정보를 웹 서비스 서버(300)에 전송하면, 웹 서비스 서버(300)는 사용자가 인증되었음을 확인하고 사용자 인증에 따른 다양한 서비스(로그인, 콘텐츠 재생, 전자 결제 등)를 전자 장치(100)에 제공할 수 있다.
도 12는 본 발명의 일 실시 예에 따른, 생체 신호를 이용하여 복수의 등록된 사용자 중 하나를 선택하기 위한 도면이다.
전자 장치(100)가 다중 사용자에 의한 접근을 허용하는 경우, 전자 장치(100)는 생체 신호에 따라 인증된 사용자의 프로파일에 대응되는 사용 환경(맞춤 홈 화면, 계정, 앱, 설정 등)을 제공할 수 있다.
도 12에 도시된 바와 같이, 디스플레이(150)에는 전자 장치(100)에 등록된 복수의 사용자 중 어느 하나로 로그인할 수 있는 사용자 선택 화면이 표시될 수 있다. 사용자 선택 화면에는 등록된 사용자 각각을 선택할 수 있는 UI(121-1 내지 121-3), 게스트로 로그인할 수 있는 UI(121-4)가 표시될 수 있다.
전자 장치(100)의 저장부(140)에는 각 사용자의 이름에 대응되도록 각 사용자가 발화한 음성 신호 및 각 음성 신호에 대응되는 EMG 신호의 특징 정보 및 각 사용자에 대응되는 사용 환경 정보가 저장되어 있을 수 있다. 사용자가 자신이 이름을 발화하면, 프로세서(130)는 해당 발화에 대응되는 음성 신호 및 EMG 신호를 감지하여 저장된 특징 정보와 비교하여 사용자를 인증할 수 있으며, 인증된 사용자의 기저장된 프로파일에 따른 사용 환경을 로드하여 제공할 수 있다(도 12의 (a) 및 (b) 참조).
도 13은 본 발명의 다른 실시 예에 따른, 전자 장치의 구성을 상세히 도시한 블록도이다.
도 13에 도시된 바와 같이, 본 발명의 다른 실시 예에 따른 전자 장치(100')는 생체 신호 입력부(110), 음성 입력부(120), 프로세서(130), 저장부(140), 디스플레이(150), 센서부(160), 오디오 처리부(170), 오디오 출력부(175), 비디오 처리부(180) 및 사용자 인터페이스(190)를 포함한다. 이하에서는 도 2a 및 2b에서의 설명과 중복되는 부분에 대한 설명은 생략하기로 한다.
프로세서(130)는 ROM(131), RAM(132), CPU(133), 그래픽 처리부(134), 제1 인터페이스(135-1) 내지 n 인터페이스(135-n)를 포함한다. ROM(131), RAM(132), CPU(133), 그래픽 처리부(134), 제1 인터페이스(135-1) 내지 n 인터페이스(135-n)는 버스(136)를 통해 서로 연결될 수 있다.
CPU(133)는 저장부(140)에 액세스하여, 저장부(140)에 저장된 O/S를 이용하여 부팅을 수행한다. 그리고, CPU(133)는 저장부(140)에 저장된 각종 프로그램, 콘텐츠 및 데이터 등을 이용하여 다양한 동작을 수행할 수 있다.
ROM(131)에는 시스템 부팅을 위한 명령어 세트 등이 저장된다. 턴온 명령이 입력되어 전원이 공급되면, CPU(133)는 ROM(131)에 저장된 명령어에 따라 저장부(40)에 저장된 O/S를 RAM(132)에 복사하고, O/S를 실행시켜 시스템을 부팅시킨다. 부팅이 완료되면, CPU(133)는 저장부(140)에 저장된 각종 어플리케이션 프로그램을 RAM(132)에 복사하고, RAM(132)에 복사된 어플리케이션 프로그램을 실행시켜 각종 동작을 수행한다.
그래픽 처리부(134)는 연산부(미도시) 및 렌더링부(미도시)를 이용하여 아이콘, 이미지, 텍스트 등과 같은 다양한 객체를 포함하는 화면을 생성한다. 연산부는 화면의 레이아웃에 따라 각 객체들이 표시될 좌표값, 형태, 크기, 컬러 등과 같은 속성값을 연산한다. 렌더링부는 연산부에서 연산한 속성값에 기초하여 객체를 포함하는 다양한 레이아웃의 화면을 생성한다.
제1 인터페이스(135-1) 내지 n 인터페이스(135-n)는 상술한 각종 구성 요소들과 연결된다. 인터페이스들 중 하나는 네트워크를 통해 외부장치와 연결되는 네트워크 인터페이스가 될 수도 있다.
한편, 상술한 프로세서(130)의 동작은 저장부(140)에 저장된 프로그램이 실행되어 이루어질 수 있다.
저장부(140)는 전자 장치(100')를 구동시키기 위한 O/S(Operating System) 소프트웨어 모듈, 각종 멀티미디어 콘텐츠와 같은 다양한 데이터를 저장할 수 있다.
구체적으로, 저장부(140)는 전자 장치(100')에 포함된 각 하드웨어들로부터 전달되는 신호를 처리하는 베이스 모듈, 데이터베이스(DB)나 레지스트리를 관리하는 스토리지 모듈, 레이아웃의 화면을 생성하기 위한 그래픽 처리 모듈 및 보안 모듈 등을 저장할 수 있다.
디스플레이(150)는 전자 장치(100')에서 재생 가능한 다양한 콘텐츠를 포함하는 화면을 제공하는 구성이다. 여기서, 콘텐츠는 텍스트, 이미지, 동영상, GUI(Graphic User Interface) 등과 같은 다양한 포맷의 콘텐츠를 포함할 수 있다. 특히, 콘텐츠는 3D 이미지를 제공하기 위한 VR 콘텐츠로 구현될 수 있다.
센서부(160)는 전자 장치(100')에서 이루어지는 다양한 동작을 감지하기 위한 구성이다. 센서부(160)의 구체적인 구성에 대하여는 도 2b에서 설명한 바 있으므로, 이하 설명은 생략하도록 한다.
통신부(165)는 다양한 유형의 통신방식에 따라 외부 장치와 통신을 수행하는 구성이다. 통신부(165)는 적외선 방식, RF 방식, 근거리 자기장 통신(Near Field Communication; NFC) 방식, 지그비(ZigBee), DLNA(Digital Living Network Alliance), 와이파이(Wi-Fi), 블루투스(Bluetooth), LTE(Long Term Evolution) 등의 다양한 통신 규격에 따라 외부 장치와 데이터를 송신 또는 수신할 수 있다. 또는, 인터넷망을 포함하는 유/무선 네트워크와 연결되어 외부 장치와 데이터를 송수신할 수 있다.
통신부(165)는 외부 장치와의 상술한 통신 방식에 따른 통신을 수행하기 위해 와이파이 칩, 블루투스 칩, 무선 통신 칩 등 다양한 통신 칩을 포함할 수 있으며, 해당 칩들을 이용하여 서버를 포함하는 타 전자 장치와 통신을 수행할 수 있다. 또한, 통신부(165)는 유선 통신 방식을 통해 외부 장치와 통신을 수행하기 위한 유선 통신 칩, 유선 통신 단자 등을 포함할 수 있다.
오디오 처리부(170)는 오디오 데이터에 대한 처리를 수행하는 구성요소이다.
오디오 출력부(175)는 오디오 처리부(175)에서 처리된 오디오를 출력하는 구성이다.
비디오 처리부(180)는 컨텐츠에 대한 디코딩, 스케일링, 노이즈 필터링, 프레임 레이트 변환, 해상도 변환 등과 같은 다양한 이미지 처리를 수행하는 구성요소이다.
사용자 인터페이스(190)는 전자 장치(100'')의 전반적인 동작을 제어하기 위한 사용자 인터렉션을 감지하기 위한 구성요소이다. 사용자 인터페이스(190)는 마이크(미도시), 카메라(미도시) 등과 같은 다양한 인터렉션 감지 장치를 포함할 수 있다.
도 14는 본 발명의 일 실시 예에 따른, 전자 장치의 제어 방법을 설명하기 위한 흐름도이다.
먼저, 전극을 통해 감지되는 사용자의 생체 신호 및 마이크로폰을 통해 감지되는 사용자의 음성 신호를 수신한다(S1410). 이때, 전극을 통해 생체 신호가 감지되면, 마이크로폰을 턴온시킬 수 있다.
이후, 입력된 생체 신호 및 음성 신호에 기초하여, 사용자를 식별한다(S1420).
이때, 입력된 생체 신호 및 생체 신호가 감지되는 동안 마이크로폰을 통해 입력된 음성 신호가 합성된 합성 신호를 생성하고, 생성된 합성 신호에 기초하여 사용자를 식별할 수 있다.
이를 위해, 전자 장치에는 사용자의 특정 발화에 대한 음성 신호 및 사용자의 생체 신호가 합성된 합성 신호의 특징 정보가 저장되어 있을 수 있으며, 생성된 합성 신호의 특징 정보를 추출하고, 추출된 특징 정보를 저장된 합성 신호의 특징 정보와 비교하여 사용자를 식별할 수 있다. 예를 들어, 추출된 특징 정보와 저장된 합성 신호의 특징 정보와의 유사도가 기설정된 임계값 이상인 경우에는, 정당한 사용자로 판단할 수 있다.
이상과 같은 본 발명의 다양한 실시 예에 따르면, 음성 신호뿐만 아니라 사용자의 생체 신호를 이용하여 사용자 인증을 수행하므로, 사용자 식별의 정확도가 높아지게 된다. 특히, 음성 신호와 사용자의 생체 신호가 합성된 합성 신호로부터 더욱 많은 특징 정보를 추출할 수 있으므로 사용자 식별의 정확도가 더 높아질 수 있다.
또한, 소음이 많은 환경에서 음성 인식이 어려운 경우에, 생체 신호를 이용하여 사용자 인증을 수행할 수 있으므로, 주위 환경의 소음에 대한 음성 인식의 취약성을 보완할 수 있다.
또한, 전자 장치를 착용한 사용자의 생체 신호를 함께 감지하여 사용자 인증에 이용하기 때문에, 전자 장치를 착용한 사용자 외 다른 사람이 발화한 음성에 의해 사용자 인증이 수행되는 보안 이슈를 해결할 수 있다.
상술한 다양한 실시 예에 따른 제어 방법은 프로그램으로 구현되어 다양한 기록 매체에 저장될 수 있다. 즉, 각종 프로세서에 의해 처리되어 상술한 다양한 제어 방법을 실행할 수 있는 컴퓨터 프로그램이 기록 매체에 저장된 상태로 사용될 수도 있다.
일 예로, 전극을 통해 감지되는 사용자의 생체 신호 및 마이크를 통해 감지되는 사용자의 음성 신호를 입력받는 단계 및, 입력된 생체 신호 및 음성 신호에 기초하여 사용자를 식별하는 단계를 수행하는 프로그램이 저장된 비일시적 판독 가능 매체(non-transitory computer readable medium)가 제공될 수 있다.
비일시적 판독 가능 매체란 레지스터, 캐쉬, 메모리 등과 같이 짧은 순간 동안 데이터를 저장하는 매체가 아니라 반영구적으로 데이터를 저장하며, 기기에 의해 판독(reading)이 가능한 매체를 의미한다. 구체적으로는, 상술한 다양한 어플리케이션 또는 프로그램들은 CD, DVD, 하드 디스크, 블루레이 디스크, USB, 메모리카드, ROM 등과 같은 비일시적 판독 가능 매체에 저장되어 제공될 수 있다.
또한, 이상에서는 본 발명의 바람직한 실시 예에 대하여 도시하고 설명하였지만, 본 발명은 상술한 특정의 실시 예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진 자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 발명의 기술적 사상이나 전망으로부터 개별적으로 이해되어져서는 안될 것이다.
-
-
-

Claims (15)

  1. 전자 장치에 있어서,
    전극을 통해 감지되는 사용자의 생체 신호를 입력받기 위한 생체 신호 입력부;
    음성 신호를 입력받기 위한 음성 입력부; 및
    상기 생체 신호 입력부를 통해 입력된 생체 신호 및 상기 음성 입력부를 통해 입력된 음성 신호에 기초하여 상기 사용자를 식별하는 프로세서;를 포함하는, 전자 장치.
  2. 제1항에 있어서,
    상기 프로세서는,
    상기 입력된 음성 신호 및 생체 신호가 합성된 합성 신호를 생성하고, 상기 생성된 합성 신호에 기초하여 상기 사용자를 식별하는, 전자 장치.
  3. 제2항에 있어서,
    상기 프로세서는,
    상기 생체 신호가 감지되는 동안 상기 음성 입력부를 통해 입력된 음성 신호 및 상기 감지된 생체 신호를 이용하여 상기 합성 신호를 생성하는, 전자 장치.
  4. 제2항에 있어서,
    상기 사용자의 특정 발화에 대한 음성 신호 및 상기 사용자의 생체 신호가 합성된 합성 신호의 특징 정보를 저장하는 저장부;를 더 포함하고,
    상기 프로세서는,
    상기 생성된 합성 신호의 특징 정보를 추출하고, 상기 추출된 특징 정보를 상기 저장부에 저장된 합성 신호의 특징 정보와 비교하여 상기 사용자를 식별하는, 전자 장치.
  5. 제1항에 있어서,
    상기 사용자의 특정 발화에 대한 음성 신호 및 상기 사용자의 생체 신호의 특징 정보를 각각 저장하는 저장부;를 더 포함하고,
    상기 프로세서는,
    상기 입력된 음성 신호 및 생체 신호의 특징 정보를 각각 추출하고, 상기 추출된 각각의 특징 정보를 상기 기저장된 음성 신호 및 생체 신호의 특징 정보와 각각 비교하여 상기 사용자를 식별하는, 전자 장치.
  6. 제1항에 있어서,
    상기 음성 입력부는,
    마이크로폰(microphone)을 포함하고,
    상기 프로세서는,
    상기 전극을 통해 상기 생체 신호가 감지되면, 상기 마이크로폰을 턴온시키는, 전자 장치.
  7. 제1항에 있어서,
    상기 생체 신호는,
    근전도(EMG) 신호, 안전도(EOG) 신호, 뇌전도(EEG) 신호, 심전도(ECG) 신호, 피부전기전도도(GSR) 신호 및 생체전기저항분석(BIA) 신호 중 적어도 하나를 포함하는, 전자 장치.
  8. 제4항에 있어서,
    상기 저장부는,
    상기 사용자의 특정 발화에 대한 음성 신호 및 상기 특정 발화에 대응되는 패턴의 근전도 신호가 합성된 합성 신호의 특징 정보를 저장하는, 전자 장치.
  9. 제8항에 있어서,
    상기 프로세서는,
    상기 사용자의 입 주위에 위치하는 전극을 통해 감지되는 근전도 신호를 입력받고, 상기 입력된 음성 신호 및 상기 근전도 신호가 합성된 합성 신호를 생성하는, 전자 장치.
  10. 제9항에 있어서,
    디스플레이;를 더 포함하고,
    상기 프로세서는,
    상기 사용자의 안전도 신호를 감지하고, 상기 감지된 안전도 신호에 기초하여 상기 사용자가 상기 디스플레이의 화면에서 기설정된 영역을 바라보는지 여부를 판단하며, 상기 사용자가 상기 특정 영역을 바라보는 경우에, 상기 생성된 합성 신호의 특징 정보를 상기 기저장된 합성 신호의 특징 정보와 비교하여 상기 사용자를 식별하는 것을 특징으로 하는, 전자 장치.
  11. 전자 장치의 제어 방법에 있어서,
    전극을 통해 감지되는 사용자의 생체 신호 및 마이크를 통해 감지되는 상기 사용자의 음성 신호를 입력받는 단계; 및
    상기 입력된 생체 신호 및 음성 신호에 기초하여 상기 사용자를 식별하는 단계;를 포함하는, 제어 방법.
  12. 제11항에 있어서,
    상기 사용자를 식별하는 단계는,
    상기 입력된 생체 신호 및 음성 신호가 합성된 합성 신호를 생성하는 단계; 및
    상기 생성된 합성 신호에 기초하여 상기 사용자를 식별하는 단계;를 포함하는, 제어 방법.
  13. 제12항에 잇어서,
    상기 합성 신호를 생성하는 단계는,
    상기 생체 신호가 감지되는 동안 상기 마이크를 통해 입력된 음성 신호 및 상기 생체 신호를 이용하여 상기 합성 신호를 생성하는, 제어 방법.
  14. 제12항에 있어서,
    상기 전자 장치는,
    상기 사용자의 특정 발화에 대한 음성 신호 및 상기 사용자의 생체 신호가 합성된 합성 신호의 특징 정보를 저장하고,
    상기 사용자를 식별하는 단계는,
    상기 생성된 합성 신호의 특징 정보를 추출하는 단계; 및
    상기 추출된 특징 정보를 상기 저장된 합성 신호의 특징 정보와 비교하여 상기 사용자를 식별하는 단계;를 포함하는, 제어 방법.
  15. 제11항에 있어서,
    상기 전자 장치는,
    상기 사용자의 특정 발화에 대한 음성 신호 및 상기 사용자의 생체 신호의 특징 정보를 각각 저장하고,
    상기 사용자를 식별하는 단계는,
    상기 입력된 음성 신호 및 생체 신호의 특징 정보를 각각 추출하는 단계; 및
    상기 추출된 각각의 특징 정보를 상기 기저장된 음성 신호 및 생체 신호의 특징 정보와 각각 비교하여 상기 사용자를 식별하는, 제어 방법.
PCT/KR2017/013048 2016-11-16 2017-11-16 전자 장치 및 그 제어 방법 WO2018093183A1 (ko)

Priority Applications (3)

Application Number Priority Date Filing Date Title
US16/461,105 US11435826B2 (en) 2016-11-16 2017-11-16 Electronic device and control method thereof
EP17870975.4A EP3518129B1 (en) 2016-11-16 2017-11-16 Electronic device and control method thereof
CN201780070666.6A CN109964226B (zh) 2016-11-16 2017-11-16 电子装置及其控制方法

Applications Claiming Priority (6)

Application Number Priority Date Filing Date Title
US201662422684P 2016-11-16 2016-11-16
US62/422,684 2016-11-16
KR10-2017-0046890 2017-04-11
KR1020170046890A KR20180055661A (ko) 2016-11-16 2017-04-11 전자 장치 및 그 제어 방법
KR10-2017-0153105 2017-11-16
KR1020170153105A KR102410998B1 (ko) 2016-11-16 2017-11-16 전자 장치 및 그 제어 방법

Publications (1)

Publication Number Publication Date
WO2018093183A1 true WO2018093183A1 (ko) 2018-05-24

Family

ID=62145654

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2017/013048 WO2018093183A1 (ko) 2016-11-16 2017-11-16 전자 장치 및 그 제어 방법

Country Status (1)

Country Link
WO (1) WO2018093183A1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113116360A (zh) * 2019-12-30 2021-07-16 石家庄以岭药业股份有限公司 便携式数据采集器

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050102134A1 (en) * 2003-09-19 2005-05-12 Ntt Docomo, Inc. Speaking period detection device, voice recognition processing device, transmission system, signal level control device and speaking period detection method
KR20090011127U (ko) * 2008-04-26 2009-10-29 주식회사지한정보통신 다중 생체인식 장치
US20140304792A1 (en) * 2006-01-30 2014-10-09 Adidas Ag System and method for identity confirmation using physiologic biometrics to determine a physiologic fingerprint
KR20150029105A (ko) * 2013-09-09 2015-03-18 삼성전자주식회사 생체 신호들을 이용하여 사용자 인증을 수행하는 착용형 기기 및 그 착용형 기기의 인증 방법
KR20150134666A (ko) * 2014-05-22 2015-12-02 엘지전자 주식회사 글래스 타입 단말기 및 이의 제어방법

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050102134A1 (en) * 2003-09-19 2005-05-12 Ntt Docomo, Inc. Speaking period detection device, voice recognition processing device, transmission system, signal level control device and speaking period detection method
US20140304792A1 (en) * 2006-01-30 2014-10-09 Adidas Ag System and method for identity confirmation using physiologic biometrics to determine a physiologic fingerprint
KR20090011127U (ko) * 2008-04-26 2009-10-29 주식회사지한정보통신 다중 생체인식 장치
KR20150029105A (ko) * 2013-09-09 2015-03-18 삼성전자주식회사 생체 신호들을 이용하여 사용자 인증을 수행하는 착용형 기기 및 그 착용형 기기의 인증 방법
KR20150134666A (ko) * 2014-05-22 2015-12-02 엘지전자 주식회사 글래스 타입 단말기 및 이의 제어방법

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113116360A (zh) * 2019-12-30 2021-07-16 石家庄以岭药业股份有限公司 便携式数据采集器

Similar Documents

Publication Publication Date Title
WO2015047032A1 (ko) 생체 신호에 기초하여 컨텐츠를 처리하는 방법, 및 그에 따른 디바이스
EP3518129B1 (en) Electronic device and control method thereof
US11144124B2 (en) Electronic device and control method thereof
US20190380644A1 (en) Biofeedback system
WO2018093181A1 (ko) 전자 장치 및 그 제어 방법
KR20150029105A (ko) 생체 신호들을 이용하여 사용자 인증을 수행하는 착용형 기기 및 그 착용형 기기의 인증 방법
CN108761795A (zh) 一种穿戴式设备
WO2022085983A1 (ko) 생체 정보 측정을 위한 웨어러블 장치 및 방법
WO2022025678A1 (en) Electronic device for evaluating sleep quality and method for operation in the electronic device
US10936060B2 (en) System and method for using gaze control to control electronic switches and machinery
WO2019160318A1 (ko) 생체 정보에 기반한 건강 정보를 제공하기 위한 전자 장치 및 그 제어 방법
WO2020190060A1 (en) Electronic device for measuring blood pressure and method for measuring blood pressure
WO2017119566A1 (en) Electronic apparatus and control method thereof
WO2021101073A1 (ko) 생체 데이터를 획득하는 장치 및 그 방법
Luo et al. Eslucent: an eyelid interface for detecting eye blinking
WO2020209618A1 (en) Electronic device and method for providing information for stress relief by same
WO2018093183A1 (ko) 전자 장치 및 그 제어 방법
CN110198665B (zh) 电子设备及其控制方法
KR102410998B1 (ko) 전자 장치 및 그 제어 방법
WO2020159259A1 (en) Method for calculating recovery index based on rem sleep stage and electronic device thereof
CN208537830U (zh) 一种穿戴式设备
WO2014189180A1 (ko) 사건관련전위를 이용한 문자입력장치 및 그 제어방법
Barbara et al. Comparative performance analysis of a commercial wearable EOG glasses for an asynchronous virtual keyboard
WO2017111265A1 (ko) 휴대단말기 및 그 제어방법
WO2023287042A1 (ko) 수면 상태에 따른 사용자 인터페이스를 제공하는 전자 장치 및 그의 동작 방법

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 17870975

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2017870975

Country of ref document: EP

Effective date: 20190426

NENP Non-entry into the national phase

Ref country code: DE