WO2015047032A1 - 생체 신호에 기초하여 컨텐츠를 처리하는 방법, 및 그에 따른 디바이스 - Google Patents

생체 신호에 기초하여 컨텐츠를 처리하는 방법, 및 그에 따른 디바이스 Download PDF

Info

Publication number
WO2015047032A1
WO2015047032A1 PCT/KR2014/009210 KR2014009210W WO2015047032A1 WO 2015047032 A1 WO2015047032 A1 WO 2015047032A1 KR 2014009210 W KR2014009210 W KR 2014009210W WO 2015047032 A1 WO2015047032 A1 WO 2015047032A1
Authority
WO
WIPO (PCT)
Prior art keywords
user
content
biosignal
signal
state
Prior art date
Application number
PCT/KR2014/009210
Other languages
English (en)
French (fr)
Inventor
황태호
김미영
황보민수
Original Assignee
삼성전자 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자 주식회사 filed Critical 삼성전자 주식회사
Publication of WO2015047032A1 publication Critical patent/WO2015047032A1/ko
Priority to US15/085,266 priority Critical patent/US10366778B2/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Systems or methods specially adapted for specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16B—BIOINFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR GENETIC OR PROTEIN-RELATED DATA PROCESSING IN COMPUTATIONAL MOLECULAR BIOLOGY
    • G16B50/00—ICT programming tools or database systems specially adapted for bioinformatics
    • G16B50/30—Data warehousing; Computing architectures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/30—Authentication, i.e. establishing the identity or authorisation of security principals
    • G06F21/31—User authentication
    • G06F21/32—User authentication using biometric data, e.g. fingerprints, iris scans or voiceprints
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/70—Multimodal biometrics, e.g. combining information from different biometric modalities
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16B—BIOINFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR GENETIC OR PROTEIN-RELATED DATA PROCESSING IN COMPUTATIONAL MOLECULAR BIOLOGY
    • G16B50/00—ICT programming tools or database systems specially adapted for bioinformatics
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H10/00—ICT specially adapted for the handling or processing of patient-related medical or healthcare data
    • G16H10/60—ICT specially adapted for the handling or processing of patient-related medical or healthcare data for patient-specific data, e.g. for electronic patient records
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2218/00—Aspects of pattern recognition specially adapted for signal processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2218/00—Aspects of pattern recognition specially adapted for signal processing
    • G06F2218/12—Classification; Matching
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/15—Biometric patterns based on physiological signals, e.g. heartbeat, blood flow

Definitions

  • the present invention relates to a method and apparatus for processing content based on a biosignal.
  • the EEG in the biological signal may change depending on the emotional state or concentration of the user as well as the movement of muscles around the eyes of the user. Therefore, the biometric device may determine the concentration or emotional state of the user through the measured brain waves and perform a task according to the identified state of the user.
  • the user can increase the convenience of the user using the device in that the user input can be performed only by measuring the brain waves of the device without taking an action to perform a specific task.
  • the present invention relates to a method and apparatus for processing content based on a biosignal.
  • the present invention relates to a method and apparatus for processing content or performing user authentication based on a biosignal including a brain wave.
  • the user may recognize his state and change his state in a positive direction.
  • the user input is possible without physical contact using the brain wave signal of the user, the user's convenience of operation may be improved.
  • the user since the user can be authenticated without physical contact by using the EEG signal of the user, user authentication can be performed with high security and convenience.
  • FIG. 1 illustrates an internal configuration of a device 100 for processing content or performing authentication based on a biosignal according to an embodiment.
  • FIG. 2 is a flowchart illustrating a method of processing content based on a biosignal according to an embodiment.
  • FIG. 3 is an exemplary diagram illustrating an example of processing content based on a biosignal according to an embodiment.
  • FIG. 4 is a flowchart illustrating a method of providing content information according to a biosignal of a user according to an exemplary embodiment.
  • FIG. 5 is an exemplary diagram illustrating an example of providing content information according to a biosignal of a user according to an exemplary embodiment.
  • FIG. 6 is a flowchart illustrating a method of displaying content according to a biosignal of a user according to an exemplary embodiment.
  • FIG. 7 is a diagram illustrating an example of displaying content according to a user's biosignal according to an embodiment.
  • FIG. 8 is an exemplary diagram illustrating an example of a biosignal measuring apparatus according to an exemplary embodiment.
  • FIG. 9 is a flowchart illustrating a method of changing and displaying a display state based on a biosignal of a user according to an exemplary embodiment.
  • FIG. 10 is a diagram illustrating an example of changing and displaying a display state based on a biosignal of a user according to an exemplary embodiment.
  • FIG. 11 is a flowchart illustrating a method of performing a task based on a biosignal of a user, according to an exemplary embodiment.
  • FIG. 12 is a diagram illustrating an example of performing a task based on a biosignal of a user according to an exemplary embodiment.
  • FIG. 13 is a flowchart illustrating a method of performing authentication based on a biosignal of a user according to an exemplary embodiment.
  • FIG. 14 is a flowchart illustrating a method of performing user authentication based on a biosignal of a user, according to an exemplary embodiment.
  • 15 is a diagram illustrating an example of performing authentication based on a biosignal of a user according to an embodiment.
  • 16 is a block diagram illustrating an internal configuration of a device that processes content or performs user authentication based on a biosignal of a user according to an exemplary embodiment.
  • a method of processing content based on a biosignal comprising: obtaining a biosignal of a user; Determining a parameter for changing a property of content or determining a type of content to be output based on the obtained biosignal; Determining a type of the content to be processed or output based on the determined parameter; Outputting the processed content or the determined type of content.
  • the determining of the parameter may include determining at least one of an emotional state, a sleep state, a stress, a workload, and a concentration state of the user based on the obtained biosignal; Determining a parameter corresponding to the determined state of the user.
  • the biosignal includes an EEG signal of the user, and a parameter is determined based on a state of the user corresponding to a characteristic of the EEG signal in a time or frequency domain.
  • the parameters may include volume, pitch, playback speed, richness of sound, depth, echo, thickness, tremor, sensory effect, surround effect, spatiality, chords, chords and accompaniment, display area on the display, and color of the display. At least one of contrast, contrast, transparency, focus, power, power consumption, and content.
  • acquiring the biosignal of the user may include outputting at least one object for providing a stimulus to the user; Acquiring a biosignal of the user generated during or after the output of the at least one object, detecting at least one object corresponding to the response of the biosignal of the user, and detecting the detected object And performing a task corresponding to.
  • determining the concentration of the user based on the obtained bio-signals, determining the concentration of the user; If the determined concentration of the user is less than or equal to the reference point, acquiring information about content being played based on a time point when the concentration of the user becomes less than or equal to the reference point; Providing the obtained information to the user.
  • the acquiring of the information about the content may include obtaining at least one of main content and summary information of the content or recording and storing broadcast content being played on the basis of the time when the concentration of the user becomes less than a reference point. It includes.
  • the providing to the user may include providing the user with information about the obtained content according to the concentration of the user being greater than or equal to the reference point or according to the user's input.
  • the information about the content is obtained based on at least one of big data, viewer ratings per minute, and basic information about the content obtained from an external server.
  • a method of performing user authentication based on a biosignal comprising: obtaining a biosignal of a user; Detecting a comparison target signal pattern for user authentication from the obtained biosignal; Performing the user authentication by comparing the detected comparison target signal pattern with a signal pattern pre-modeled for the user authentication; And if the user authentication succeeds, updating the modeled signal pattern using the detected signal pattern.
  • a device for processing content based on a biosignal comprising: a sensor unit configured to acquire a biosignal of a user; Based on the obtained biosignal, a parameter for changing a characteristic of a content or determining a type of content to be output is determined, and based on the determined parameter, a type of content to be processed or output is determined.
  • a control unit And an output unit for outputting the processed content or the content of the determined type.
  • the sensor unit obtains a biosignal of the user generated during or after at least one object for providing a stimulus to the user is output, and the control unit corresponds to a response of the biosignal of the user. At least one object is detected and a task corresponding to the detected object is performed.
  • the controller determines the concentration of the user based on the obtained biosignal, and when the determined concentration of the user is less than or equal to the reference point, the controller determines the concentration of the user based on the time when the concentration of the user becomes less than or equal to the reference point. Obtaining information regarding the information, and providing the obtained information to the user.
  • a device for performing user authentication based on a biosignal comprising: a sensor unit obtaining a biosignal of a user; Detecting the signal pattern for user authentication from the obtained biosignal, comparing the detected signal pattern with a signal pattern pre-modeled for the user authentication, and performing the user authentication, and the user authentication succeeds.
  • a controller configured to update the modeled signal pattern using the detected signal pattern; And an output unit for outputting the user authentication result.
  • part refers to a hardware component, such as software, FPGA or ASIC, and “part” plays certain roles. However, “part” is not meant to be limited to software or hardware.
  • the “unit” may be configured to be in an addressable storage medium and may be configured to play one or more processors.
  • a “part” refers to components such as software components, object-oriented software components, class components, and task components, processes, functions, properties, procedures, Subroutines, segments of program code, drivers, firmware, microcode, circuits, data, databases, data structures, tables, arrays and variables.
  • the functionality provided within the components and “parts” may be combined into a smaller number of components and “parts” or further separated into additional components and “parts”.
  • FIG. 1 illustrates an internal configuration of a device 100 for processing content or performing authentication based on a biosignal according to an embodiment.
  • the device 100 may measure a user's biosignal and determine a user's state based on the measured biosignal.
  • the device 100 may determine a parameter for processing content or replacing the content with another type of content according to the identified user's state, and may process the content using the determined playback parameter.
  • the device 100 measures an EEG signal of a user, determines a user's psychological and mental state, a sleep state, etc. from the measured EEG signal, processes the content according to the user's state, or uses other types of content. Can be replaced.
  • the device 100 may help improve the psychological and mental state of the user by processing and outputting content according to the user's state.
  • the device 100 may determine at least one of content types such as audio, video, vibration, etc. according to a user's state, and may control to output the determined content type.
  • EEG is a vital signal that shows the activity of the human brain.
  • the potential difference is generated by ions passing through cell membranes between brain nerves, such as sodium ions and potassium ions.
  • the weak electric current generated due to this potential difference is the above-mentioned EEG.
  • brain tissue is surrounded by a conductive medium, currents from neurons can be delivered to the head surface, so that brain waves can be measured through electrodes attached to the scalp.
  • the device 100 may determine a user's state by measuring an EEG that may change according to a change in an individual's consciousness and behavior, and process and output content according to the user's state.
  • bio signals that may be measured by the device 100, but the following description will be based on performing an operation based on an EEG signal.
  • the device 100 may measure a user's biosignal and perform authentication using the measured biosignal.
  • the device 100 may perform user authentication by detecting a signal pattern for user authentication from a biosignal and comparing the detected signal pattern with a pre-modeled signal pattern.
  • the device 100 may be, for example, a mobile phone, a tablet PC, a PDA, an MP3 player, a kiosk, an electronic picture frame, a navigation device, a digital TV, a wrist watch, a smart glass, a goggle virtual reality display (
  • the device may be various types of devices, such as a wearable device such as a virtual reality goggles or a head-mounted display (HMD).
  • HMD head-mounted display
  • the device 100 includes a sensor unit 110, a control unit 120, and an output unit 130.
  • the individual components included in the device 100 may be distributed or integrated in a physical or logical form.
  • the sensor unit 110 may obtain a biosignal from a user.
  • the biosignal that may be obtained by the sensor unit 110 may include an EEG, a pulse, an electrocardiogram, and the like.
  • the sensor unit 110 may acquire at least one of an electroencephalogram (EGE), an electrooculogram (EOG), an electrocardiogram (ECG), an electromyogram (EGM), and an electrokardiogram (EKG) signal.
  • EGE electroencephalogram
  • EEG electrooculogram
  • ECG electrocardiogram
  • EKG electromyogram
  • EKG electrokardiogram
  • the sensor unit 110 may obtain a biosignal by being in close contact with the user's body, and may be configured, for example, in the form of a headset, earphone, bracelet, or the like.
  • the controller 120 may perform a task using the biosignal obtained by the sensor unit 110.
  • the controller 120 may determine at least one of an emotion, sleep, and concentration state of the user based on the biosignal, and may determine a parameter corresponding to the determined state of the user.
  • the parameter may include a reproduction parameter for processing content or a content type, or an output parameter for processing a sound signal.
  • the controller 120 may process the content or determine the content type using the determined playback parameter.
  • the controller 120 may process the sound signal based on the determined output parameter.
  • the controller 120 may process the currently playing content or the sound signal being output according to the biosignal, so that the processed content or sound signal may be output in real time according to a change in the user's state. As the content or sound signal processed in real time is output in accordance with the change of the user's state, the user's state may be positively changed.
  • Content that may be processed by the controller 120 may include audio or video data.
  • the sound signal may include audio, voice signals, etc. collected from an external environment.
  • the output unit 130 may output content processed by the controller 120, that is, audio or video data or sound signals through a display or a speaker. You can print
  • FIG. 2 is a flowchart illustrating a method of processing content based on a biosignal according to an embodiment.
  • the device 100 may acquire a biosignal of a user through the sensor unit 110.
  • the biosignal that may be obtained by the sensor unit 110 may be a signal capable of identifying a user's state, such as brain wave, cerebral blood flow oxygen amount, and pulse rate.
  • the device 100 may determine a parameter for changing a characteristic of the content or sound signal based on the biosignal obtained in operation S201.
  • the device 100 may determine a state of the user based on the biosignal and determine a parameter corresponding to the state of the user.
  • the device 100 may determine a playback parameter for determining the type of content to be output, based on the biosignal obtained in step S201.
  • the device 100 may process the content or sound signal using the parameter determined in operation S203. For example, the device 100 may determine the sound quality, volume, pitch, playback speed, richness of sound or color, depth, echo, thickness, blur, texture effect, surround effect, and equalizer according to the playback parameters. ), Space, saturation, brightness, sharpness, transparency, etc. can be changed. In addition, the device 100 may determine the type of content to be output using the playback parameter. In addition, the output parameter for processing the sound signal may include information for processing sound quality, volume, pitch, etc. of the sound signal in the same manner as the reproduction parameter.
  • the output acoustic signal may be processed based on a user's biosignal such as content.
  • the output parameter applied to the sound signal may also include the same information as the reproduction parameter. Therefore, in one embodiment, the method for processing content may be equally applied to a method for processing an acoustic signal. It is assumed that processing the content includes processing the acoustic signal, and the following description will be based on processing the content for convenience of description.
  • the device 100 may output the content processed in operation S205 or the content of the determined type through an output device such as a speaker or a display.
  • FIG. 3 is an exemplary diagram illustrating an example of processing content based on a biosignal according to an embodiment.
  • the device 100 may obtain an EEG signal, which is a biosignal when the user is in a current stress state, and determine the current user state based on the acquired EEG signal.
  • the user's state that can be grasped by the device 100 may include stress, workload, concentration, emotional state, and the like.
  • the concentration includes the degree of immersion of the user, the type of immersion, and the object that can be determined through the EEG signal of the user.
  • the direction in which the user is relatively concentrated may be detected based on the biosignal of the user with respect to an audio or audio signal coming from a predetermined direction with respect to the head of the user.
  • the device 100 may determine an asymmetric EEG characteristic biased at a specific brain position among the left and right hemispheres of the brain with respect to the EEG signal of the user.
  • the device 100 may detect the degree to which the user is immersed or concentrated and the direction information that is being concentrated, based on the location-specific characteristics of the EEG signal.
  • the device 100 may detect the direction information in which the user concentrates, or the direction information in which the user's degree of immersion is greater than or equal to the reference value or the priority is high. Audio or audio signals that may be received from the outside may be received by the device 100 from one or more spatial directions that may be represented as up, down, before, after, left, right, or a combination thereof around the user's head. have.
  • the device 100 may reinforce the audio and voice signals received from the direction in which the user is relatively concentrated, and may reduce and output the audio or voice signals received from the remaining directions as noise.
  • the device 100 may attenuate the audio and voice signals regarded as noise by a method such as noise canceling, and output audio and voice signals in a specific enhanced direction based on the bio signal of the user.
  • the device 100 may determine an output parameter for processing an acoustic signal including audio and voice signals based on the biosignal of the user. In addition, the device 100 may process and output an audio and voice signal in a specific direction enhanced using the determined output parameter.
  • the workload refers to the amount of brain that can be determined through the user EEG signal.
  • the emotional state of the user may include emotional states such as excitement, crush, dislike, and stability.
  • the device 100 may process the content to maintain or improve the psychological and mental health of the user in a positive direction based on the identified state of the user. For example, device 100 may generally process content to improve the psychological and mental health of the user in a direction that is either positively assessed or considered positive by the user.
  • Neurofeedback refers to a technique for controlling the activity of a desired brain wave, and is a technique capable of maintaining the frequency of the brain wave and changing its amplitude.
  • the user's brain wave is measured and notified to the user that a specific brain wave has occurred, the user's brain can automatically enhance the recognized brain wave. For example, if the speaker makes a sound every time an alpha wave comes out of the brain wave measured by the user, the alpha wave may automatically become stronger whenever the speaker makes a sound.
  • the alpha wave may become stronger whenever the user is informed that the alpha wave is measured.
  • the principle of neurofeedback is similar to a conditional reflex in which a dog is fed while feeding a dog and later drools.
  • the device 100 may change the state of the user's mind in a predefined positive direction by outputting the processed content to recognize the current user's state using the principle of neurofeedback.
  • the device 100 may measure the EEG as one kind of brain wave.
  • EEG measuring equipment is composed of a hearing device such as a headset, earphones, hearing aids, bone conduction headphones, or integrated into the hearing device, a head-mounted sensor connected to the device 100 by wire or wireless, or a sensor attached to a body part other than the head. Can be.
  • EEG measurement equipment integrated with a listening device may be configured to be inserted into an ear.
  • EEG can also be measured by ECG, EOG, EMG, EKG.
  • the device 100 may improve the user's listening ability by amplifying audio and voice signals sensed from the outside such as a hearing aid or a function for outputting content such as music, audio, or voice for a phone call in the form of earphones. Function can be performed.
  • the device 100 may process content, externally sensed audio and voice signals or audio and voice signals for a phone call using playback parameters determined based on a biosignal of a user.
  • the switching of the functions of the device 100 described above may be automatically performed based on a manual operation according to the user's will, a user's activity detected by the device 100, or a user's biosignal. That is, the device 100 may automatically switch functions based on an input signal or a biosignal indicating the user's intention.
  • the device 100 may change the emotional state of the user and the brain wave state by processing content currently being played or selected by the user according to the user state instead of outputting a specific sound or image for changing the brain wave.
  • Content that may be processed by the device 100 may include various types of data such as audio, video, user interface (UI) screen, graphic screen, virtual reality, and the like.
  • the device 100 may obtain values such as amplitude of the time domain, power of the frequency domain, or power of each time from the measured EEG signal, and may determine a user's state from the measured EEG signal.
  • the device 100 may determine a playback parameter corresponding to the user's state, process the content according to the determined playback parameter, and output the content.
  • Playback parameters include properties similar to sound field effects in the equalizer, such as volume, pitch, playback speed, richness, depth, echo, thickness, trembling, realistic effects, surround effects, spatiality, chords, chords, and accompaniment. It may include.
  • the playback parameter may further include a sound, a chord accompaniment, a musical instrument sound, and the like that can be processed by being overlaid on the content.
  • the device 100 preferably processes a sound or a video of content currently being played to have characteristics that people do not generally like in a negative state of the user.
  • the negative state may include a case where a stress or workload is high, a low concentration state or an emotional state is unfavorable.
  • the user can recognize from the content processed by the device 100 that his current state is negative. Recognizing that his current state is negative, the user can unconsciously or consciously control the brain wave to change his mind state to a positive state. Initially, the user may consciously try to change the brainwaves, but if the user hears or views negative contents through repetitive training, the brainwaves may be unconsciously changed into a positive state.
  • the user's status is subdivided into at least two stages, and can be determined by a combination of one or more states.
  • the device 100 may process and output content according to the state of the user.
  • the device 100 may measure an EEG of the user at 320 and determine that the current state 310 of the user is high in stress.
  • the device 100 may process and output the currently playing music as a thin sound 370 so that the user may recognize that the stress is high.
  • the device 100 may change the characteristics of the music being played to match the user state so that the user may recognize his or her state while listening to the music being played.
  • the device 100 may measure an EEG signal every short time, such as 1 second to 5 seconds, and process the content according to the EEG signal according to the adjustment sensitivity set by the user or determined according to a predetermined algorithm. That is, as in 320, the device 100 may determine the user's state through the brain wave measurement and process and output the music currently being played (380, 390).
  • the user may gradually change his or her state to the stress relief 360 state consciously or unconsciously.
  • the device 100 may process and output the currently playing music as a rich sound 390 as the user's state changes to the stress relief 360 state.
  • the device 100 may process the content by overlaying a sound of a chord accompaniment, a musical instrument sound, a specific sound, etc., on the content currently being played according to the playback parameter.
  • FIG. 4 is a flowchart illustrating a method of providing content information according to a biosignal of a user according to an exemplary embodiment.
  • the device 100 may obtain a biosignal of a user.
  • the biosignal of the user which may be acquired in operation S401, may be a signal capable of identifying the user's state, such as an brain wave or a pulse.
  • the device 100 may determine a state of the user from the biosignal obtained in operation S401, and in operation S405, determine whether the concentration of the user falls below a reference point or whether the user is in a sleep state.
  • the above-described reference point may be set by the user or automatically according to the basic setting of the program.
  • the device 100 may determine that the user is in a drowsy state or a low concentration state when the concentration of the user is continuously below the reference point or the user's sleep state continues for a predetermined time, and may start to acquire the content information.
  • the device 100 may repeatedly measure the biosignal of the user in step S401.
  • the device 100 may periodically or repeatedly measure the biosignal of the user and determine the user state.
  • the device 100 may acquire content information being played based on the point of time when the concentration of the user falls below the reference point or changes to the sleep state. Can be.
  • the device 100 may perform various content recording to acquire content information currently being reproduced from the time when the concentration of the user falls below the reference point or the state of the user changes to the sleep state.
  • the device 100 may record content after a time when the concentration of the user falls below the reference point or the state of the user changes to the sleep state.
  • the device 100 may record content content by recording and storing broadcast content reproduced after the above-described time point.
  • the device 100 may record the content content by recording the content location corresponding to the above-described point of view when the concentration of the user falls below the reference point or the state of the user changes to the sleep state while the content stored in the recording medium is played back. .
  • the device 100 may record the content content by generating a content summary including the main highlight scene of the content acquired from the big data related to the content and basic information of the content.
  • the big data may include information related to the currently playing content among information floating on the Internet, such as social network service (SNS), web pages, blogs, and internet news articles.
  • SNS social network service
  • the device 100 may select a scene having a high viewer rating per minute or a large number of times tagged in big data as the main highlight scene.
  • the main highlight scene may include scenes of content reproduced after a time when the concentration of the user falls below the reference point or changes to the sleep state. Big data, viewer ratings per minute, and basic information about the content may be obtained from an external server.
  • the device 100 may stop recording the content and provide the user with the content information obtained in operation S407.
  • the device 100 may output recorded content, that is, recorded and stored broadcast content, or load content stored in a storage medium to output content from a recorded position.
  • the device 100 may output a content summary including a brief content description of the main highlight scene or content.
  • the device 100 may control the display apparatus to perform a power saving mode of the display apparatus.
  • the display device may be turned off or the screen brightness may become dark.
  • the device 100 may turn off the display device or change the characteristics of the image or sound. . For example, the device 100 may darken the image brightness or reduce the sound volume.
  • FIG. 5 is an exemplary diagram illustrating an example of providing content information according to a biosignal of a user according to an exemplary embodiment.
  • the device 100 may monitor a user's state in real time in order to acquire a biosignal of the user. As illustrated in 510, the device 100 may monitor the state of the user by periodically acquiring the bio signal of the user when the content is being played.
  • the device 100 may start recording contents as shown in 530 to 540.
  • the device 100 may perform content recording based on a time when the concentration of the user decreases or when the user enters the sleep state.
  • the device 100 may record and store broadcast content after a time when the concentration of the user decreases or enters the sleep state, as shown in 530. In addition, when the content is stored in the recording medium, the device 100 may record the playback position of the content when the concentration of the user decreases or enters the sleep state.
  • the device 100 may record the main scene of the reproduced content after the time when the concentration of the user decreases or enters the sleep state, such as 540.
  • the main scene may be recorded in the form of a clip, which is a short video, or in the form of an image including one image frame.
  • FIG. 6 is a flowchart illustrating a method of displaying content according to a biosignal of a user according to an exemplary embodiment.
  • the device 100 may obtain biosignals of a plurality of users.
  • the biosignal of the user which may be acquired in operation S601, may be a signal capable of identifying the user's state, such as an brain wave or a pulse.
  • the EEG may be obtained by extracting an EEG signal such as EEG, EOG, or ECG.
  • the plurality of users who may acquire the biosignal may be in a state of watching content being played. 6 to 7 may include not only video or audio data but also a user interface screen and a graphic screen.
  • the device 100 may acquire a state of each user from the biosignal obtained in operation S601.
  • the device 100 may obtain a concentration level of each user from the biosignal.
  • the concentration level of each user can be obtained in a form that can be numerically compared and analyzed.
  • the device 100 may change and display the size of the display area corresponding to the user according to the concentration of each user.
  • the device 100 may determine the priority according to the concentration for each user.
  • the device 100 may determine the size and location of the display area according to the priority for each user.
  • the size of the display area may be determined as a relative size according to the priority.
  • the device 100 may display content corresponding to each user in a display area determined according to the concentration of each user. Therefore, content of a user having a high priority according to the concentration level may be displayed while occupying the largest area in the display device.
  • FIG. 7 is a diagram illustrating an example of displaying content according to a user's biosignal according to an embodiment.
  • the device 700 may control the display apparatus such that the content corresponding to the user 710 having the highest concentration level is displayed the largest.
  • the device 100 may control the display apparatus such that the content corresponding to the user 720 having the lowest concentration level is displayed the smallest.
  • the size of the content display area determined according to the concentration of the user may change as the biosignal of the user is acquired in real time.
  • content having a size proportional to the concentration of another user may be displayed together so that the concentration level of each user may be compared.
  • the size of the content display area may be changed in real time according to a change in the concentration level of the user.
  • a family of four when a family of four are playing a game on a large display together, different game screens may be displayed in different sizes according to concentration levels of the respective users.
  • Each family member can hear the sound of the game screen or content they are viewing through a separate voice output device such as a headset or an e-phone.
  • 8 is an exemplary diagram illustrating an example of a biosignal measuring apparatus according to an exemplary embodiment. 8 shows an example of a device capable of measuring EEG, which is an EEG signal.
  • the device capable of measuring the brain wave may be configured in the form of earphone 410, glass 420, hair band 430, headset 440.
  • Each EEG measuring apparatus supports an acoustic system so that a user can listen to the sound of content through a device capable of measuring EEG.
  • the form of the EEG measuring apparatus shown in FIG. 8 is merely an example, and the device 100 capable of measuring the biosignal may be configured in various forms.
  • 9 to 12 may be a wearable device such as smart glass.
  • the wearable device has a limited size, user input is not easy, but according to an embodiment, the user may easily control the wearable device by using a biosignal of the user, which may be changed according to the user's will.
  • FIG. 9 is a flowchart illustrating a method of changing and displaying a display state based on a biosignal of a user according to an exemplary embodiment.
  • the device 100 may obtain a biosignal of a user.
  • the biosignal of the user which may be acquired in operation S901, may be a signal capable of identifying the user's state, such as an brain wave or a pulse.
  • EEG may be obtained by extracting an EEG signal.
  • the device 100 When the device 100 is a wearable device, the device 100 may include a component for measuring a biosignal in that it may be mounted and used on a user's human body. When the device 100 is a smart glass, the device 100 in the form of glasses may be mounted on the head to measure an EEG signal.
  • An apparatus for measuring an EEG signal may be integrated with the device 100, but is not limited thereto.
  • the device may be connected to the device 100 by wire or wirelessly using a head-mounted sensor or an ear-insertable in-ear sensor.
  • the device 100 may include a sensor capable of measuring the detachable brain wave on the upper frame of the glasses.
  • the EEG signal of the user obtained from the EEG measurement device may be converted into values such as amplitude in the time domain, power in the frequency domain, and power over time in the frequency domain.
  • the device 100 may measure the EEG signal of the user every short time, such as every 1 second to 5 seconds, according to a user setting or a default value.
  • the device 100 may perform bandpass filtering to remove a specific frequency band in order to remove noise included in the measured biological signal of the user.
  • the device 100 may perform spatially filtering to remove noise using interchannel measurements of the biosignals.
  • the device 100 may determine a current state of the user from the biosignal of the user measured in operation S901.
  • the current state of the user which may be determined by the device 100, may include information about where the user is trying to concentrate or whether the user wants to use the display.
  • the device 100 may determine whether the user wants to see the transparent display of the smart glass or the real view based on the bio signal of the user. For example, the device 100 may determine the state of the user based on whether the concentration level of the user is maintained for more than a predetermined time or more from the EEG signal. Alternatively, the device 100 may analyze the EEG signal of the user and determine that the user's display is to be viewed if the workload level generated by the user's stress or the user's willingness to see is greater than or equal to the reference value.
  • the user's state may be determined based on whether an event-related potential (ERP) has occurred.
  • Event-related potentials are EEG records in which the electrical response of the cerebrum is recorded at the scalp region with respect to any stimulus.
  • the ERP signal may be detected as a stimulus such as visual, auditory, olfactory, and tactile occurs in the user.
  • the device 100 may turn on the display by determining that the user is interested in a real object in a direction facing the user and needs additional information.
  • the device 100 may determine the user's state based on whether the focus is changed to the near or original focal point from the EEG signal of the user. When the focus is changed from the original focus to the near focus, the device 100 may determine that the user wants to see a display in the form of glasses, and may turn on the display. On the other hand, when the focus is changed from the near focal point to the original focal point, the device 100 may determine that the user wants to view the real view, and may turn off the display.
  • the device 100 may display a dot dot flickering at an unspecified frequency on a transparent display in the form of glasses, and determine the user's state by using the dot dot.
  • the device 100 may detect an induced EEG corresponding to the dot point from the EEG signal.
  • the device 100 may determine whether the user tries to view the content on the display based on the visual workload or the stress level of the user.
  • the visual workload or stress level of the user may be obtained from an EEG signal or other type of EEG signal.
  • the device 100 may detect the intention that the user intends to see the display by detecting the EP corresponding to the blinking dot point, and may turn on the display.
  • the device 100 may change and display the state of the display based on the state of the user determined in operation S903.
  • the device 100 may control the display to be turned off or in a power saving state based on the user's state.
  • the device 100 may further control the state of the display by further using information on the amount of light and the light source as a result of analyzing the object in the user's line of sight. For example, the device 100 may determine the content display area, size, or type of the display so that the object in the user's gaze direction is not hidden. For example, the device 100 may determine whether to display text or an image according to an object in a user's gaze direction. For example, in the case of an object having high saturation, the device 100 may control to display text. Alternatively, the device 100 may determine a display reproduction parameter in which the display may be optimally displayed based on the information on the amount of light or the light source, and display the display according to the determined display reproduction parameter.
  • the display reproduction parameter may include, for example, the color, contrast, contrast, transparency, focus, power supply, power consumption, etc. of the display, and may correspond to the reproduction parameter described above in the description of FIGS. 1 to 3.
  • the display reproduction parameter may further include the type of the content to be displayed. That is, the display reproduction parameter may include a reproduction parameter for determining the type of content.
  • the device 100 may control to output different types of content. When the user concentrates on the display, the device 100 may output visual content through the display. If the user does not focus on the display, the device 100 may output content through a device other than a display capable of outputting an audio, voice signal, or vibration signal instead of the display. Content that may be output through a device other than the display may include other types of content, audio content, or vibration content in addition to the visual content.
  • FIG. 10 is a diagram illustrating an example of changing and displaying a display state based on a biosignal of a user according to an exemplary embodiment.
  • the device 100 may turn off the display when it is determined from the brainwave signal of the user that the user is viewing a normal state, that is, a reality view.
  • the device 100 may increase the transparency of the display so that the reality view through the display can be easily seen.
  • the device 100 may control the display to allow the user to see the reality view better.
  • the device 100 may determine that the user wants to see the display.
  • the device 100 may turn on the display to control the display to be more visible than the reality view so that the user may see the display better than the reality view.
  • FIG. 11 is a flowchart illustrating a method of performing a task based on a biosignal of a user, according to an exemplary embodiment.
  • the device 100 performing the method of FIG. 11 may select a task to be performed by the user based on an EEG signal among the bio signals of the user, and perform the selected task.
  • the device 100 may detect an ERP that may be generated according to any stimulus, and select a task that the user wants to perform according to the magnitude of the ERP signal.
  • an ERP may be generated according to any stimulus
  • FIG. 11 a detailed description will be given with reference to FIG. 11.
  • the device 100 may output at least one object for stimulating a user.
  • the device 100 may display an object for stimulation or output the object as an audio and voice signal or a vibration signal.
  • the device 100 may display at least one dot that blinks at an unspecified frequency to give a visual stimulus to the user. At least one dot may be displayed according to the number of tasks that the user can select. By focusing on the dot point to be selected by the user, a larger value of ERP may be detected for the focused dot point than the ERP corresponding to other dot points. Each dot may blink in a random order, and the device 100 may select a task to be performed by the user by selecting a dot point corresponding to a point in time when the size of the ERP is relatively large.
  • the device 100 may output at least one object as an audio and voice signal or a vibration signal to give an auditory stimulus or a tactile stimulus to a user.
  • Each object may be output as an audio and voice or vibration signal that can be distinguished by the user.
  • the concentration or excitability of the EEG signal may be increased. Therefore, when an object corresponding to a task that the user intends to perform is outputted, an ERP having a relatively larger value may be detected than when another object is outputted.
  • the device 100 may select a task to be performed by the user by selecting an object corresponding to a point in time when the size of the ERP is relatively large.
  • the above-described objects are not limited to signals for giving auditory, tactile and visual stimuli, and may be output in various ways for giving other kinds of stimuli.
  • the device 100 may select a task to be performed by the user by selecting an object that is output when the size of the ERP is relatively large.
  • the device 100 may acquire a biosignal of the user.
  • the biosignal of the user which may be acquired in operation S1101, may be a signal capable of identifying the user's state, such as an brain wave or a pulse.
  • EEG may be obtained by extracting an EEG signal.
  • the device 100 may detect an object corresponding to the response detected from the bio signal of the user, that is, the brain wave signal acquired in operation S1103.
  • a larger size ERP may be detected in the time period in which the dot point is distinguished from other dot points.
  • each dot point may be displayed such that only one dot point is distinguished in one view section by blinking or changing colors in random order at an unspecified or specific frequency.
  • the device 100 may detect an object corresponding to the response of the EEG signal of the user by determining the displayed dot point at the time when a larger ERP signal is detected.
  • the device 100 is not limited to displaying an object for visual stimulation, and may output an object for stimulation to a user in various ways as described above.
  • the device 100 may select a task to be performed by the user by selecting an object that is output when the size of the ERP is relatively large.
  • the device 100 may perform a task corresponding to the object detected in operation S1105.
  • Each dot point displayed on the display may correspond to a task that can be currently performed.
  • the device 100 performs an operation corresponding to the dot point determined according to the ERP size, so that the device 100 does not need to receive a user's button or touch input, and thus the device 100 needs only the detection of a biosignal that changes according to the user's will. You can do it.
  • FIG. 12 is a diagram illustrating an example of performing a task based on a biosignal of a user according to an exemplary embodiment.
  • 12 and 1210 and 1220 illustrate examples of display screens of the device 100, respectively.
  • the display may display the augmented reality screen by further displaying additional information of the objects displayed on the display in addition to the screen photographed by the camera of the wearable device.
  • 1210 and 1220 illustrate an example of displaying additional information of objects displayed on each screen in addition to the augmented reality screen.
  • 1210 is an example screen including dot points corresponding to each building that may be selected by the user.
  • 1220 is an example screen showing additional information about a building selected according to a user selection.
  • dot points 1211 to 1215 corresponding to objects displayed on the augmented reality screen may be displayed.
  • Each of the dot points 1211 to 1215 may be disposed in a maximally separated form from each other, so that a difference in the ERP signal according to the concentration of the user may increase.
  • each of the dot points 1211 to 1215 flickers in random order at a specific frequency or changes color, and thus only one dot point may be distinguished from one view section.
  • each of the dot points 1211 to 1215 may be displayed by blinking or changing color in a period of about 4 Hz. The period can be changed randomly.
  • the EEG signals 1216 to 1219 of the user represent the EEG signals corresponding to each dot point.
  • the brain wave of the user A relatively large ERP signal 1219 can be detected from the signal.
  • the device 100 may select a dot point corresponding to the large ERP signal 1219, and display additional information about an object corresponding to the selected dot point at 1220.
  • FIG. 13 to FIG. 15 a method of performing authentication based on a biosignal of a user will be described in detail.
  • FIG. 13 is a flowchart illustrating a method of performing authentication based on a biosignal of a user according to an exemplary embodiment.
  • the device 100 may acquire a biosignal of a user.
  • the biosignal of the user which may be acquired in operation S1301, may be a signal capable of identifying the user's state, such as an brain wave or a pulse.
  • EEG may be obtained by extracting an EEG signal.
  • the device 100 may detect a comparison target signal pattern for comparison with the signal pattern modeled from the biosignal obtained in operation S1301.
  • a comparison target signal pattern for comparison with the signal pattern modeled from the biosignal obtained in operation S1301.
  • a person may have a signal pattern unique to a person in a predetermined range.
  • the device 100 may perform user authentication by detecting a signal pattern to be compared in a range that may have a unique signal pattern among the user EEG signals, and comparing it with a pre-stored modeled EEG signal pattern.
  • the device 100 may perform user authentication by comparing the signal pattern to be compared with the signal pattern to be detected in operation S1303. Since the EEG signal may change according to the user's state, even if the user is the same, the comparison signal pattern and the modeled signal pattern may be slightly different. Therefore, the device 100 may perform user authentication based on whether the comparison target signal pattern falls within a preset error range based on the modeled signal pattern.
  • the device 100 may update the modeled signal pattern using the comparison target signal pattern detected in operation S1303. In addition, according to the successful authentication, the device 100 may continuously perform a task that required user authentication.
  • the device 100 may stop the work requiring the user authentication or perform user authentication using another authentication means.
  • the modeled EEG signal for user authentication needs periodic updating. Therefore, even when a task requiring user authentication is not being performed, the EEG signal may be continuously measured for updating the modeled EEG signal for user authentication.
  • the device 100 may perform an update using the measured EEG signal according to whether the measured EEG signal falls within an error range based on the modeled EEG signal.
  • the device 100 may determine whether the EEG signal modeled using the measured EEG signal without determining whether it is within the above-described error range. You can perform the update.
  • the device 100 may update the modeled EEG signal for authentication in consideration of various factors that may change the EEG such as the user's surrounding environment information and the user's state when measuring the EEG signal.
  • the device 100 may store various factors in which the EEG may be changed, such as information about the environment around the user and the state of the user when measuring the EEG signal, together with the modeled EEG signal. Therefore, the device 100 may perform user authentication in consideration of the above-mentioned factors as well as the EEG signal.
  • the device 100 may repeatedly perform user authentication according to an embodiment while a job requiring user authentication is being performed. For example, when a user wears smart glasses, goggles, or an auditory-centric wearable device equipped with a sensor for measuring brain waves, and wishes to transfer money through a banking application, the device 100 may transmit the brain waves of the user. Signals can be measured repeatedly and authentication performed. That is, the device 100 repeatedly performs user authentication while the bank application is running, thereby continuously checking whether the user who initially entered the bank application and the user currently using the bank application are the same person.
  • Steps S1405 to S1413 of FIG. 14 correspond to S1301 to S1309 of FIG. 13.
  • the device 100 may acquire a biosignal of a user to construct a modeled signal pattern at a plurality of time points.
  • the device 100 may continuously measure the EEG signal even when the user authentication is not required for the establishment of the modeled EEG signal for the user authentication.
  • the device 100 may model a signal pattern for user authentication based on the biosignal of the user measured in operation S1401.
  • the device 100 may model an EEG signal pattern for user authentication by detecting an EEG signal portion having a unique pattern for each user among the EEG signals.
  • the device 100 may acquire a biosignal of a user to be authenticated.
  • the biosignal of the user which may be acquired in operation S1401, may be a signal capable of identifying a user's state, such as an brain wave or a pulse.
  • EEG may be obtained by extracting an EEG signal.
  • the device 100 may detect a comparison target signal pattern for comparison with the signal pattern modeled from the biosignal obtained in operation S1405.
  • the device 100 may perform user authentication by detecting a signal pattern to be compared among the EEG signals of the user, and comparing the EEG signal pattern with the existing database.
  • the device 100 may perform user authentication by comparing the signal pattern to be compared with the signal pattern to be detected in operation S1407.
  • the device 100 may perform user authentication based on whether the comparison target signal pattern falls within a preset error range based on the modeled signal pattern.
  • the device 100 may update the signal pattern modeled using the comparison target signal pattern detected in operation S1407 in operation S1413. In addition, according to the successful authentication, the device 100 may continuously perform a task that required user authentication.
  • the device 100 may stop the work that requires user authentication or perform user authentication using another authentication means in step S1417.
  • the device 100 may perform user authentication through various methods such as fingerprint recognition, iris recognition, password input, pattern input, and the like.
  • the device 100 may determine whether to periodically repeat the user authentication process according to whether a job requiring user authentication is being performed. For example, the device 100 may repeat steps S1405 to S1417 when a program for card payment or bank transfer requiring user authentication is running. Since the user may continuously perform user authentication even without the physical input, the device 100 according to an embodiment may increase user convenience and security.
  • the device 100 may perform authentication by comparing the measured EEG signal and the modeled EEG signal while the user maintains a resting state where no user thinks or acts.
  • the modeled EEG signal may be pre-modeled from the EEG signal measured in the resting state of the user before performing authentication.
  • 15 is an exemplary diagram illustrating an example of performing authentication based on a biosignal of a user according to an exemplary embodiment.
  • 1510 to 1530 illustrate an example of unlocking a smartphone by performing user authentication.
  • the device 100 may perform user authentication by obtaining a biosignal of a user corresponding to a specific stimulus state and comparing the pre-built modeled signal pattern.
  • the modeled signal pattern may be constructed by modeling a signal portion representing intrinsic characteristics from a user's biosignal corresponding to a particular stimulus state.
  • the device 100 may measure a biosignal for comparing a modeled signal pattern by giving a user a specific stimulus.
  • the device 100 may instruct the user to stare at the displayed picture for unlocking and measure the brain wave signal 1511 of the user while the picture is displayed at 1510.
  • a modeled signal pattern that can be compared with the user EEG signal 1511 can be built by detecting unique characteristics from the user's EEG signal measured previously while displaying the same picture.
  • the device 100 may guide the user to think of the predetermined music in the mind and measure the EEG signal 1521 of the user while the guide text is displayed.
  • a modeled signal pattern that can be compared with the user EEG signal 1521 can be constructed by detecting a unique characteristic from the measured user's EEG signal while displaying a prompt to think about the same music previously.
  • the device 100 may release the lock at 1530.
  • FIG. 16 is a block diagram illustrating an internal configuration of a device that processes content or performs user authentication based on a biosignal of a user according to an exemplary embodiment.
  • the device 1600 of FIG. 16 may correspond to the device 100 of FIG. 1.
  • the device 1600 may include a receiver 1630, a controller 1670, a speaker 1660, a memory 1620, a GPS chip 1625, a communication unit 1630, The video processor 1635, the audio processor 1640, the user input unit 1645, the microphone unit 1650, the image capture unit 1655, and the motion detector 1665 may be included.
  • the display unit 1610 may include a display panel 1611 and a controller (not shown) for controlling the display panel 1611.
  • the display panel 1611 includes various types of displays such as a liquid crystal display (LCD), an organic light emitting diodes (OLED) display, an active-matrix organic light-emitting diode (AM-OLED), a plasma display panel (PDP), and the like. Can be.
  • the display panel 1611 may be implemented to be flexible, transparent, or wearable.
  • the display unit 1610 may be combined with the touch panel 1647 of the user input unit 1645 and provided as a touch screen.
  • the touch screen may include an integrated module in which the display panel 1611 and the touch panel 1647 are combined in a stacked structure.
  • the display 1610 may display an image corresponding to an audio signal output by the speaker 2460 under the control of the controller 1670.
  • the image that may be displayed by the display unit 1610 may include not only a planar image but also a 3D stereoscopic image.
  • the memory 1620 may include at least one of an internal memory (not shown) and an external memory (not shown).
  • the built-in memory may be, for example, volatile memory (for example, dynamic RAM (DRAM), static RAM (SRAM), synchronous dynamic RAM (SDRAM), etc.), nonvolatile memory (for example, one time programmable ROM). ), Programmable ROM (PROM), Eraseable and Programmable ROM (EPROM), Electrically Erasable and Programmable ROM (EEPROM), Mask ROM, Flash ROM, etc.), Hard Disk Drive (HDD) or Solid State Drive (SSD) It may include.
  • the controller 1670 may load and process a command or data received from at least one of the nonvolatile memory or another component in the volatile memory.
  • the controller 1670 may store data received or generated from other components in the nonvolatile memory.
  • the external memory may include at least one of Compact Flash (CF), Secure Digital (SD), Micro Secure Digital (Micro-SD), Mini Secure Digital (Mini-SD), Extreme Digital (xD), and a Memory Stick. It may include.
  • the memory 1620 may store various programs and data used for the operation of the device 1600. According to an embodiment, the memory 1620 may temporarily or semi-permanently store at least one of an image, an audio signal corresponding to the image, and three-dimensional image information.
  • the controller 1670 may control the display 1610 such that a part of the information stored in the memory 1620 is displayed on the display 1610. In other words, the controller 1670 may display the image stored in the memory 1620 on the display 1610. Alternatively, when a user gesture is made in one area of the display unit 1610, the controller 1670 may perform a control operation corresponding to the gesture of the user.
  • the controller 1670 may include at least one of a RAM 1671, a ROM 1672, a CPU 1673, a Graphic Processing Unit (GPU) 1674, and a bus 1675.
  • the RAM 1671, the ROM 1672, the CPU 1673, the GPU 1674, and the like may be connected to each other through the bus 1757.
  • the CPU 1673 accesses the memory 1620 and performs booting using an operating system stored in the memory 1620. In addition, various operations are performed using various programs, contents, data, and the like stored in the memory 1620.
  • the ROM 1672 stores a command set for system booting and the like. For example, when the turn-on command is input and the power is supplied, the device 1600 copies the O / S stored in the memory 1620 to the RAM 1701 according to the command stored in the ROM 1672. You can boot the system by running / S. When the booting is completed, the CPU 1673 copies various programs stored in the memory 1620 to the RAM 1701 and executes the programs copied to the RAM 1701 to perform various operations.
  • the GPU 1674 displays a UI screen on an area of the display unit 1610.
  • the GPU 1674 may generate a UI screen including various objects such as content, an icon, a menu, and the like.
  • the UI screen may be a UI screen that may be used to output an image and an audio signal.
  • the GPU 1674 calculates attribute values, such as coordinate values, shapes, sizes, and colors, in which the objects are to be displayed, according to the layout of the screen.
  • the GPU 1674 may generate screens of various layouts including objects based on the calculated attribute values.
  • the screen generated by the GPU 1674 may be provided to the display unit 1610 and displayed on each area of the display unit 1610.
  • the GPS chip 1625 may receive a GPS signal from a Global Positioning System (GPS) satellite to calculate a current location of the device 1600.
  • the controller 1670 may calculate the user location using the GPS chip 1625 when using the navigation program or when the current location of the user is required.
  • the GPS chip 1625 may classify which object is in the user's line of sight based on the user's location. Accordingly, the controller 1670 may determine the display reproduction parameter by analyzing the object in the user's gaze direction and display the display according to the display reproduction parameter.
  • the communication unit 1630 may communicate with various types of external devices according to various types of communication methods.
  • the communicator 1630 may include at least one of a Wi-Fi chip 1631, a Bluetooth chip 1632, a wireless communication chip 1633, and an NFC chip 1634.
  • the controller 1670 may communicate with various external devices using the communicator 1630. For example, the controller 1670 may receive an image and an audio signal to be displayed on the display unit 1610 using the communication unit 1630.
  • the Wi-Fi chip 1631 and the Bluetooth chip 1632 may communicate with each other by WiFi or Bluetooth.
  • various connection information such as SSID and session key may be transmitted and received first, and then various communication information may be transmitted and received using the same.
  • the wireless communication chip 1633 refers to a chip that performs communication according to various communication standards such as IEEE, Zigbee, 3rd Generation (3G), 3rd Generation Partnership Project (3GPP), Long Term Evoloution (LTE), and the like.
  • the NFC chip 1634 refers to a chip operating in a near field communication (NFC) method using a 13.56 MHz band among various RF-ID frequency bands such as 135 kHz, 13.56 MHz, 433 MHz, 860-960 MHz, 2.45 GHz, and the like.
  • NFC near field communication
  • the video processor 1635 may process image data received through the communicator 1630 or image data stored in the memory 1620.
  • the video processor 1635 may perform various image processing such as decoding, scaling, noise filtering, frame rate conversion, resolution conversion, and the like on the image data.
  • the display 1610 may display image data processed by the video processor 1635.
  • the audio processor 1640 may process audio data received through the communication unit 1630 or audio data stored in the memory 1620.
  • the audio processor 1640 may perform various processing such as decoding, amplification, noise filtering, and the like on the audio data.
  • the audio processor 1640 may process audio data corresponding to the image displayed on the display unit 1610.
  • the audio processor 1640 and the video processor 1635 may process the audio data or the video data according to a reproduction parameter determined based on the user biosignal.
  • the controller 1670 may drive the video processor 1635 and the audio processor 1640 to play the content.
  • the speaker unit 1660 may output audio data generated by the audio processor 1640.
  • the controller 1670 may process the multimedia content displayed on the display unit 1610 using the video processor 1635 and the audio processor 1640.
  • the user input unit 1645 may receive various commands from a user.
  • the user input unit 1645 may include at least one of a key 1646, a touch panel 1647, and a pen recognition panel 1648.
  • the device 1600 may output an image and an audio signal according to a user input received from at least one of the key 1646, the touch panel 1647, and the pen recognition panel 1648.
  • the key 1646 may include various types of keys, such as mechanical buttons, wheels, and the like, formed in various areas such as a front portion, a side portion, a back portion, etc. of the main body exterior of the device 1600.
  • the touch panel 1647 may detect a user's touch input and output a touch event value corresponding to the detected touch signal.
  • the touch screen may be implemented by various types of touch sensors such as capacitive, pressure sensitive, and piezoelectric.
  • the capacitive type is a method of calculating touch coordinates by detecting fine electricity generated by the human body of a user when a part of the user's body is touched by the touch screen surface by using a dielectric coated on the touch screen surface.
  • the pressure-sensitive type includes two electrode plates embedded in the touch screen, and when the user touches the screen, the touch panel calculates touch coordinates by detecting that the upper and lower plates of the touched point are in contact with current.
  • the touch event occurring in the touch screen may be mainly generated by a human finger, but may also be generated by an object of conductive material that can apply a change in capacitance.
  • the pen recognition panel 1648 detects a proximity input or touch input of a pen according to the operation of a user's touch pen (eg, a stylus pen or a digitizer pen) and detects a detected pen proximity event or pen. A touch event can be output.
  • the pen recognition panel 1648 may be implemented by, for example, an EMR method, and may detect a touch or a proximity input according to a change in intensity of an electromagnetic field due to proximity or touch of a pen.
  • the pen recognition panel 1648 includes an electromagnetic induction coil sensor (not shown) having a grid structure and an electronic signal processor (not shown) that sequentially provides an AC signal having a predetermined frequency to each loop coil of the electromagnetic induction coil sensor. It may be configured to include).
  • the magnetic field transmitted from the loop coil generates a current based on mutual electromagnetic induction in the resonant circuit in the pen. Based on this current, an induction magnetic field is generated from the coils constituting the resonant circuit in the pen, and the pen recognition panel 1648 detects the induction magnetic field in the loop coil in a signal receiving state so that the pen's approach position or The touch position can be detected.
  • the pen recognition panel 1648 may be provided at a lower portion of the display panel 1611 to cover a predetermined area, for example, an area of the display panel 1611.
  • the user input unit 1645 may receive a user input by measuring a biosignal of the user. For example, since the size of the ERP in the EEG signal of the user may vary according to the user's will, the user input unit 1645 may receive a user input based on the size of the ERP. In detail, the user input unit 1645 may perform a task by selecting an object output at a point where the ERP size is relatively large.
  • the microphone unit 1650 may receive a user voice or other sound and convert the same into audio data.
  • the controller 1670 may use the user's voice input through the microphone unit 1650 in a call operation or convert the user's voice into audio data and store it in the memory 1620.
  • the imaging unit 1655 may capture a still image or a moving image under the control of the user.
  • the imaging unit 1655 may be implemented in plurality, such as a front camera and a rear camera.
  • the controller 1670 may obtain external environment information of the user from an image photographed by the imaging unit 1655.
  • the controller 1670 may determine a parameter to be displayed in an optimal state based on external environment information.
  • the controller 1670 may perform a control operation according to a user voice input through the microphone unit 1650 or a user motion recognized by the imaging unit 1655. It may be.
  • the device 1600 may operate in a motion control mode or a voice control mode.
  • the controller 1670 may activate the image capturing unit 1655 to capture a user, track a motion change of the user, and perform a control operation corresponding thereto.
  • the controller 1670 may output an image and an audio signal according to the motion input of the user sensed by the imaging unit 1655.
  • the controller 1670 may operate in a voice recognition mode that analyzes a user voice input through the microphone unit 1650 and performs a control operation according to the analyzed user voice.
  • the motion detector 1665 may detect body movement of the device 1600.
  • the device 1600 may be rotated or tilted in various directions.
  • the motion detector 1665 may detect a movement characteristic such as a rotation direction, an angle, and an inclination by using at least one of various sensors such as a geomagnetic sensor, a gyro sensor, an acceleration sensor, and the like.
  • the motion detector 1665 may receive a user input by detecting a motion of the main body of the device 1600, and may output an image and an audio signal according to the received input.
  • the embodiment may include a USB port to which a USB connector may be connected in the device 1600, various external input ports for connecting to various external terminals such as a headset, a mouse, a LAN, and the like.
  • a digital multimedia broadcasting (DMB) chip for receiving and processing signals and various sensors may be further included.
  • DMB digital multimedia broadcasting
  • the names of the components of the device 1600 described above may vary.
  • the device 1600 according to the present disclosure may be configured to include at least one of the above-described components, some components may be omitted or further include additional components.
  • the user may recognize his state and change his state in a positive direction.
  • the user input is possible without physical contact using the brain wave signal of the user, the user's convenience of operation may be improved.
  • the user since the user can be authenticated without physical contact by using the EEG signal of the user, user authentication can be performed with high security and convenience.
  • the method according to an embodiment may be embodied as computer readable codes on a computer readable recording medium.
  • the computer-readable recording medium includes all kinds of recording devices in which data that can be read by a computer system is stored. Examples of computer-readable recording devices include ROM, RAM, CD-ROM, magnetic tape, floppy disks, optical data storage devices, and the like.

Abstract

생체 신호에 기초하여 컨텐츠를 처리하는 방법에 있어서, 사용자의 생체 신호를 획득하고, 획득된 생체 신호에 기초하여, 컨텐츠의 특성을 변화시키거나, 출력될 컨텐츠의 종류를 결정하기 위한 파라미터를 결정하고, 결정된 파라미터에 기초하여, 컨텐츠를 처리하거나 대체하고, 처리 또는 대체된 컨텐츠를 출력하는 방법이 개시된다.

Description

생체 신호에 기초하여 컨텐츠를 처리하는 방법, 및 그에 따른 디바이스
본 발명은 생체 신호에 기초하여 컨텐츠를 처리하는 방법 및 장치에 대한 것이다.
웨어러블 장치가 발달되면서, 지문, 홍채, 안면 인식 등의 생체 인식 기술에 의한 입력 또는 인증 방법 및 장치가 개발되고 있다. 생체 인식 기술에 의한 입력 또는 인증은 기존의 비밀번호 또는 패턴 암호 보다 보안성이 높고, 간편하게 입력이 가능하다는 장점이 있다.
특히, 생체 신호 중 뇌파는 사용자의 눈 주변 근육의 움직임뿐 아니라 사용자의 감정 상태 또는 집중도에 따라 변할 수 있다. 따라서, 생체 인식 장치는 측정된 뇌파를 통해 사용자의 집중도나 감정 상태를 파악하고, 파악된 사용자의 상태에 따라 작업을 수행할 수 있다.
사용자는 특정 작업을 수행하기 위한 액션을 취하지 않고도 장치의 뇌파 측정만으로 사용자 입력이 가능하다는 점에서 장치를 사용하는 사용자의 편의성을 높일 수 있다.
본 발명은 생체 신호에 기초하여 컨텐츠를 처리하는 방법 및 장치에 대한 것이다.
구체적으로, 뇌파를 포함하는 생체 신호에 기초하여 컨텐츠를 처리하거나 사용자 인증을 수행하는 방법 및 장치에 대한 것이다.
일 실시 예에 의하면, 사용자의 뇌파 신호로부터 획득된 사용자 상태에 따라 현재 재생 중인 컨텐츠의 특성을 변화시킴으로써, 사용자가 자신의 상태를 인지하고 긍정적인 방향으로 자신의 상태를 변화시킬 수 있다.
일 실시 예에 의하면, 사용자의 뇌파 신호를 이용하여 물리적 접촉 없이 사용자 입력이 가능하므로 사용자의 조작 편의성이 향상될 수 있다.
일 실시 예에 의하면, 사용자의 뇌파 신호를 이용함에 따라 물리적 접촉 없이 사용자 인증이 가능하므로, 보안성이 높고 편리하게 사용자 인증을 수행할 수 있다.
도 1은 일 실시 예에 의한 생체 신호에 기초하여 컨텐츠를 처리하거나 인증을 수행하는 디바이스(100)의 내부 구성을 나타낸 것이다.
도 2는 일 실시 예에 의한 생체 신호에 기초하여 컨텐츠를 처리하는 방법을 나타낸 순서도이다.
도 3은 일 실시 예에 의한 생체 신호에 기초하여 컨텐츠를 처리하는 일 예를 나타낸 예시 도면이다.
도 4는 일 실시 예에 의한 사용자의 생체 신호에 따라 컨텐츠 정보를 제공하는 방법을 나타낸 순서도이다.
도 5는 일 실시 예에 의한 사용자의 생체 신호에 따라 컨텐츠 정보를 제공하는 일 예를 나타낸 예시 도면이다.
도 6은 일 실시 예에 의한 사용자의 생체 신호에 따라 컨텐츠를 표시하는 방법을 나타낸 순서도이다.
도 7은 일 실시 예에 의한 사용자의 생체 신호에 따라 컨텐츠를 표시하는 일 예를 나타낸 예시 도면이다.
도 8은 일 실시 예에 의한 생체 신호 측정 장치의 일 예를 나타낸 예시 도면이다.
도 9는 일 실시 예에 의한 사용자의 생체 신호에 기초하여 디스플레이 상태를 변경하여 표시하는 방법을 나타낸 순서도이다.
도 10은 일 실시 예에 의한 사용자의 생체 신호에 기초하여 디스플레이 상태를 변경하여 표시하는 일 예를 나타낸 예시 도면이다.
도 11은 일 실시 예에 의한 사용자의 생체 신호에 기초하여 작업을 수행하는 방법을 나타낸 순서도이다.
도 12는 일 실시 예에 의한 사용자의 생체 신호에 기초하여 작업을 수행하는 일 예를 나타낸 예시 도면이다.
도 13은 일 실시 예에 의한 사용자의 생체 신호에 기초하여 인증을 수행하는 방법을 나타낸 순서도이다.
도 14는 일 실시 예에 의한 사용자의 생체 신호에 기초하여 사용자 인증을 수행하는 방법을 나타낸 순서도이다.
도 15은 일 실시 예에 의한 사용자의 생체 신호에 기초하여 인증을 수행하는 일 예를 나타낸 예시 도면이다.
도 16은 일 실시 예에 의한 사용자의 생체 신호에 기초하여 컨텐츠를 처리하거나 사용자 인증을 수행하는 디바이스의 내부 구성을 나타낸 블록도이다.
일 실시 예에 의한 생체 신호에 기초하여 컨텐츠를 처리하는 방법에 있어서, 사용자의 생체 신호를 획득하는 단계; 상기 획득된 생체 신호에 기초하여, 컨텐츠의 특성을 변화시키거나, 출력될 컨텐츠의 종류를 결정하기 위한 파라미터를 결정하는 단계; 상기 결정된 파라미터에 기초하여, 상기 컨텐츠를 처리하거나 출력될 컨텐츠의 종류를 결정하는 단계; 상기 처리된 컨텐츠 또는 상기 결정된 종류의 컨텐츠를 출력하는 단계를 포함한다.
더하여, 상기 파라미터를 결정하는 단계는 상기 획득된 생체 신호에 기초하여, 상기 사용자의 감정 상태, 수면 상태, 스트레스, 워크로드, 집중도 상태 중 적어도 하나를 결정하는 단계; 상기 결정된 사용자의 상태와 대응되는 파라미터를 결정하는 단계를 포함한다.
더하여, 상기 생체 신호는 상기 사용자의 뇌파 신호를 포함하고, 시간 또는 주파수 도메인에서의 상기 뇌파 신호의 특성과 대응되는 사용자의 상태에 기초하여 파라미터가 결정된다.
더하여, 상기 파라미터는 컨텐츠의 볼륨, 음높낮이, 재생 속도, 소리의 풍성함, 깊이, 울림, 굵기, 떨림, 실감 효과, 서라운드 효과, 공간감, 화음, 코드 및 반주, 디스플레이에서의 표시 영역, 디스플레이의 색채, 명암, 대비, 투명도, 초점, 전원, 전력 소모량, 컨텐츠의 종류 중 적어도 하나를 포함한다.
더하여, 상기 사용자의 생체 신호를 획득하는 단계는 상기 사용자에 자극을 제공하기 위한 객체를 적어도 하나 출력하는 단계; 상기 적어도 하나의 객체가 출력되는 동안 또는 출력된 이후 발생된 상기 사용자의 생체 신호를 획득하는 단계를 포함하고, 상기 사용자의 생체 신호의 반응과 대응되는 적어도 하나의 객체를 검출하고, 상기 검출된 객체와 대응되는 작업을 수행하는 단계를 더 포함한다.
더하여, 상기 획득된 생체 신호에 기초하여, 상기 사용자의 집중도를 결정하는 단계; 상기 결정된 사용자의 집중도가 기준점 이하인 경우, 상기 사용자의 집중도가 기준점 이하로 된 시점을 기준으로, 재생 중인 컨텐츠에 관한 정보를 획득하는 단계; 상기 획득된 정보를 상기 사용자에게 제공하는 단계를 더 포함한다.
더하여, 상기 컨텐츠에 관한 정보를 획득하는 단계는 상기 사용자의 집중도가 기준점 이하로 된 시점을 기준으로 상기 컨텐츠의 주요 내용 및 요약 정보 중 적어도 하나를 획득하거나, 재생 중인 방송 컨텐츠를 녹화 및 저장하는 단계를 포함한다.
더하여, 상기 사용자에게 제공하는 단계는 상기 사용자의 집중도가 상기 기준점 이상이 되거나 상기 사용자의 입력에 따라, 상기 획득된 컨텐츠에 관한 정보를 상기 사용자에게 제공하는 단계를 포함한다.
더하여, 상기 컨텐츠에 관한 정보는 외부 서버로부터 획득된 상기 컨텐츠에 대한 빅데이터, 분당 시청률, 상기 컨텐츠에 관한 기본 정보 중 적어도 하나에 기초하여 획득된다.
일 실시 예에 의한 생체 신호에 기초하여 사용자 인증을 수행하는 방법에 있어서, 사용자의 생체 신호를 획득하는 단계; 상기 획득된 생체 신호로부터 사용자 인증을 위한 비교 대상 신호 패턴을 검출하는 단계; 상기 검출된 비교 대상 신호 패턴과, 상기 사용자 인증을 위해 미리 모델링된 신호 패턴을 비교함으로써, 상기 사용자 인증을 수행하는 단계; 상기 사용자 인증이 성공하는 경우, 상기 모델링된 신호 패턴을 상기 검출된 신호 패턴을 이용하여 업데이트하는 단계를 포함한다.
더하여, 인증이 필요한 작업이 수행되는 동안에, 상기 사용자 인증이 반복적으로 수행된다.
일 실시 예에 의한 생체 신호에 기초하여 컨텐츠를 처리하는 디바이스에 있어서, 사용자의 생체 신호를 획득하는 센서부; 상기 획득된 생체 신호에 기초하여, 컨텐츠의 특성을 변화시키거나, 출력될 컨텐츠의 종류를 결정하기 위한 파라미터를 결정하고, 상기 결정된 파라미터에 기초하여, 상기 컨텐츠를 처리하거나 출력될 컨텐츠의 종류를 결정하는 제어부; 및 상기 처리된 컨텐츠 또는 상기 결정된 종류의 컨텐츠를 출력하는 출력부를 포함한다.
더하여, 상기 센서부는 상기 사용자에 자극을 제공하기 위한 적어도 하나의 객체가 출력되는 동안 또는 출력된 이후 발생된 상기 사용자의 생체 신호를 획득하고, 상기 제어부는, 상기 사용자의 생체 신호의 반응과 대응되는 적어도 하나의 객체를 검출하고, 상기 검출된 객체와 대응되는 작업을 수행한다.
더하여, 상기 제어부는 상기 획득된 생체 신호에 기초하여, 상기 사용자의 집중도를 결정하고, 상기 결정된 사용자의 집중도가 기준점 이하인 경우, 상기 사용자의 집중도가 기준점 이하로 된 시점을 기준으로, 재생 중인 컨텐츠에 관한 정보를 획득하고, 상기 출력부는, 상기 획득된 정보를 상기 사용자에게 제공한다.
일 실시 예에 의한 생체 신호에 기초하여 사용자 인증을 수행하는 디바이스에 있어서, 사용자의 생체 신호를 획득하는 센서부; 상기 획득된 생체 신호로부터 사용자 인증을 위한 신호 패턴을 검출하고, 상기 검출된 신호 패턴과, 상기 사용자 인증을 위해 미리 모델링된 신호 패턴을 비교함으로써, 상기 사용자 인증을 수행하고, 상기 사용자 인증이 성공하는 경우, 상기 모델링된 신호 패턴을 상기 검출된 신호 패턴을 이용하여 업데이트하는 제어부; 및 상기 사용자 인증 결과를 출력하는 출력부를 포함한다.
이하 본 발명의 바람직한 실시 예를 첨부한 도면을 참조하여 상세히 설명한다. 다만, 하기의 설명 및 첨부된 도면에서 본 발명의 요지를 흐릴 수 있는 공지 기능 또는 구성에 대한 상세한 설명은 생략한다. 또한, 도면 전체에 걸쳐 동일한 구성 요소들은 가능한 한 동일한 도면 부호로 나타내고 있음에 유의하여야 한다.
이하에서 설명되는 본 명세서 및 청구범위에 사용된 용어나 단어는 통상적이거나 사전적인 의미로 한정해서 해석되어서는 아니 되며, 발명자는 그 자신의 발명을 가장 최선의 방법으로 설명하기 위한 용어로 적절하게 정의할 수 있다는 원칙에 입각하여 본 발명의 기술적 사상에 부합하는 의미와 개념으로 해석되어야만 한다. 따라서 본 명세서에 기재된 실시 예와 도면에 도시된 구성은 본 발명의 가장 바람직한 일 실시 예에 불과할 뿐이고, 본 발명의 기술적 사상을 모두 대변하는 것은 아니므로, 본 출원시점에 있어서 이들을 대체할 수 있는 다양한 균등물과 변형 예들이 있을 수 있음을 이해하여야 한다.
첨부 도면에 있어서 일부 구성요소는 과장되거나 생략되거나 또는 개략적으로 도시되었으며, 각 구성요소의 크기는 실제 크기를 전적으로 반영하는 것이 아니다. 본 발명은 첨부한 도면에 그려진 상대적인 크기나 간격에 의해 제한되어지지 않는다.
명세서 전체에서 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있음을 의미한다. 또한, 명세서에서 사용되는 "부"라는 용어는 소프트웨어, FPGA 또는 ASIC과 같은 하드웨어 구성요소를 의미하며, "부"는 어떤 역할들을 수행한다. 그렇지만 "부"는 소프트웨어 또는 하드웨어에 한정되는 의미는 아니다. "부"는 어드레싱할 수 있는 저장 매체에 있도록 구성될 수도 있고 하나 또는 그 이상의 프로세서들을 재생시키도록 구성될 수도 있다. 따라서, 일 예로서 "부"는 소프트웨어 구성요소들, 객체지향 소프트웨어 구성요소들, 클래스 구성요소들 및 태스크 구성요소들과 같은 구성요소들과, 프로세스들, 함수들, 속성들, 프로시저들, 서브루틴들, 프로그램 코드의 세그먼트들, 드라이버들, 펌웨어, 마이크로 코드, 회로, 데이터, 데이터베이스, 데이터 구조들, 테이블들, 어레이들 및 변수들을 포함한다. 구성요소들과 "부"들 안에서 제공되는 기능은 더 작은 수의 구성요소들 및 "부"들로 결합되거나 추가적인 구성요소들과 "부"들로 더 분리될 수 있다.
아래에서는 첨부한 도면을 참고하여 본 발명의 실시예에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.
이하, 첨부된 도면을 참조하여 본 발명의 바람직한 실시예를 설명한다.
도 1은 일 실시 예에 의한 생체 신호에 기초하여 컨텐츠를 처리하거나 인증을 수행하는 디바이스(100)의 내부 구성을 나타낸 것이다.
일 실시 예에 의한 디바이스(100)는 사용자의 생체 신호를 측정하고 측정된 생체 신호에 기초하여 사용자의 상태를 파악할 수 있다. 그리고, 디바이스(100)는 파악된 사용자의 상태에 따라 컨텐츠를 처리하거나 다른 종류의 컨텐츠로 대체하기 위한 파라미터를 결정하고, 결정된 재생 파라미터를 이용하여 컨텐츠를 처리할 수 있다.
예를 들면, 디바이스(100)는 사용자의 뇌파 신호를 측정하고, 측정된 뇌파 신호로부터 사용자의 심리 및 정신 상태, 수면 상태 등을 판단하고, 사용자의 상태에 따라 컨텐츠를 처리하거나 다른 종류의 컨텐츠로 대체할 수 있다. 디바이스(100)는 사용자의 상태에 따라 컨텐츠를 처리하여 출력함으로써 사용자의 심리 및 정신상태 향상에 도움을 줄 수 있다. 또한, 디바이스(100)는 사용자의 상태에 따라 오디오, 비디오, 진동 등의 컨텐츠 종류 중 적어도 하나를 결정하고, 결정된 컨텐츠 종류가 출력되도록 제어할 수 있다.
뇌파는 인간의 뇌의 활동 상태를 보여주는 생체 신호이다. 뇌가 활동을 하면 뇌 신경 사이에서 세포막을 투과하면 지나가는 이온들, 예를 들면, 나트륨 이온, 칼륨 이온 등에 의해 전위차가 발생된다. 이 전위차로 인하여 발생된 약한 전기의 흐름이 상술된 뇌파이다. 뇌 조직은 전도성 매질로 둘러싸여 있기 때문에 뉴런에서 발생한 전류가 머리 표면까지 전달될 수 있으므로, 두피에 부착된 전극을 통해 뇌파가 측정될 수 있다. 일 실시 예에 의한 디바이스(100)는 개인의 의식과 행동 변화에 상응하여 변할 수 있는 뇌파를 측정함으로써 사용자의 상태를 파악하고, 사용자 상태에 따라 컨텐츠를 처리하여 출력할 수 있다.
디바이스(100)에 의해 측정될 수 있는 생체 신호는 여러가지가 존재하나, 이하 설명에서는 뇌파 신호에 기초하여 작업을 수행하는 것을 기준으로 설명하기로 한다.
또한, 일 실시 예에 의한 디바이스(100)는 사용자의 생체 신호를 측정하고 측정된 생체 신호를 이용하여 인증을 수행할 수 있다. 구체적으로, 디바이스(100)는 생체 신호로부터 사용자 인증을 위한 신호 패턴을 검출하고, 검출된 신호 패턴과 미리 모델링된 신호 패턴을 비교함으로써 사용자 인증을 수행할 수 있다.
디바이스(100)는 예를 들어, 휴대폰, 태블릿 PC, PDA, MP3 플레이어, 키오스크, 전자 액자, 네비게이션 장치, 디지털 TV, 손목 시계(Wrist watch), 스마트 글라스(smart glass), 고글형 가상 현실 디스플레이(virtual reality goggles) 또는 HMD(Head-Mounted Display)와 같은 웨어러블 기기(Wearable device) 등의 다양한 유형의 장치일 수 있다.
도 1을 참조하면, 디바이스(100)는 센서부(110), 제어부(120) 및 출력부(130)를 포함한다. 도면들과 후술되어 있는 실시예에서, 디바이스(100)에 포함되어 있는 개개의 구성 요소는 물리적 형태 또는 논리적 형태로 분산되어 배치될 수도 있고, 통합될 수도 있다.
센서부(110)는 사용자로부터 생체 신호를 획득할 수 있다. 센서부(110)에 의해 획득될 수 있는 생체 신호는 뇌파, 맥박, 심전도 등을 포함할 수 있다. 센서부(110)는 뇌파 신호의 경우, EEG(electroencephalogram), EOG(electrooculogram), ECG(electrocardiogram), EMG(electromyogram), EKG(Electrokardiogramm) 신호 중 적어도 하나를 획득할 수 있다. 센서부(110)는 사용자의 몸과 밀착됨으로써 생체 신호를 획득할 수 있으며, 예를 들면, 헤드셋, 이어폰, 팔찌 등의 형태로 구성될 수 있다.
제어부(120)는 센서부(110)에 의해 획득된 생체 신호를 이용하여 작업을 수행할 수 있다. 구체적으로, 제어부(120)는 생체 신호에 기초하여 사용자의 감정, 수면, 집중도 상태 중 적어도 하나를 결정하고, 결정된 사용자의 상태와 대응되는 파라미터를 결정할 수 있다. 파라미터는 컨텐츠를 처리하거나 컨텐츠 종류를 결정하기 위한 재생 파라미터 또는 음향 신호를 처리하기 위한 출력 파라미터를 포함할 수 있다. 그리고, 제어부(120)는 결정된 재생 파라미터를 이용하여 컨텐츠를 처리하거나 컨텐츠 종류를 결정할 수 있다. 보청기와 같이 외부로부터 수집된 음향(sound) 신호를 증폭하여 출력하는 경우, 제어부(120)는 결정된 출력 파라미터에 기초하여 음향 신호를 처리할 수 있다.
제어부(120)는 현재 재생 중인 컨텐츠 또는 출력 중인 음향 신호를 생체 신호에 따라 처리함으로써, 사용자의 상태 변화에 따라 실시간으로 처리된 컨텐츠 또는 음향 신호가 출력될 수 있다. 사용자의 상태 변화에 따라 실시간으로 처리된 컨텐츠또는 음향 신호가 출력됨에 따라 사용자의 상태는 긍정적으로 변화될 수 있다. 제어부(120)에 의해 처리될 수 있는 컨텐츠는 오디오 또는 비디오 데이터를 포함할 수 있다. 음향 신호는 외부 환경으로부터 수집된 오디오, 음성 신호 등을 포함할 수 있다.출력부(130)는 제어부(120)에 의해 처리된 컨텐츠, 즉, 오디오 또는 비디오 데이터 또는 음향 신호를 디스플레이나 스피커를 통해 출력할 수 있다.
생체 신호에 기초하여 컨텐츠를 처리하는 방법의 구체적인 실시 예에 관하여, 이하 도 2 내지 도 12를 참조하여 더 자세히 설명하기로 한다.
도 2는 일 실시 예에 의한 생체 신호에 기초하여 컨텐츠를 처리하는 방법을 나타낸 순서도이다.
도 2를 참조하면, 단계 S201에서, 디바이스(100)는 사용자의 생체 신호를 센서부(110)를 통해 획득할 수 있다. 센서부(110)에 의해 획득될 수 있는 생체 신호는 뇌파, 뇌혈류 산소량, 맥박 등과 같이 사용자의 상태를 파악할 수 있는 시그널일 수 있다.
단계 S203에서, 디바이스(100)는 단계 S201에서 획득된 생체 신호에 기초하여, 컨텐츠 또는 음향 신호의 특성을 변화시키기 위한 파라미터를 결정할 수 있다. 구체적으로, 디바이스(100)는 생체 신호에 기초하여 사용자의 상태를 결정하고, 사용자의 상태와 대응되는 파라미터를 결정할 수 있다. 더하여, 디바이스(100)는 단계 S201에서 획득된 생체 신호에 기초하여, 출력될 컨텐츠의 종류를 결정하기 위한 재생 파라미터를 결정할 수 있다.
단계 S205에서, 디바이스(100)는 단계 S203에서 결정된 파라미터를 이용하여 컨텐츠 또는 음향 신호를 처리할 수 있다. 예를 들면, 디바이스(100)는 재생 파라미터에 따라 컨텐츠의 음질, 음량, 음높낮이, 재생 속도, 소리 또는 색채의 풍성함, 깊이, 울림, 굵기, 떨림, 질감효과, 서라운드 효과 및 이들을 포함한 이퀄라이저(equalizer), 공간감, 채도, 명도, 선명도, 투명도 등을 변화시킬 수 있다. 더하여, 디바이스(100)는 재생 파라미터를 이용하여 출력될 컨텐츠의 종류를 결정할 수 있다. 또한, 음향 신호를 처리하기 위한 출력 파라미터는 재생 파라미터와 동일하게 음향 신호의 음질, 음량, 음높낮이 등을 처리하기 위한 정보를 포함할 수 있다.
일 실시 예에 의한, 외부로부터 수집되어 증폭된 후, 출력될 수 있는 음향 신호는 컨텐츠와 같이 사용자의 생체 신호에 기초하여 처리될 수 있다. 그리고, 음향 신호에 적용되는 출력 파라미터도 재생 파라미터와 동일한 정보를 포함할 수 있다. 따라서, 일 실시 예에 있어, 컨텐츠를 처리하는 방법은, 음향 신호를 처리하는 방법에도 동일하게 적용될 수 있다. 컨텐츠를 처리하는 것에 음향 신호를 처리하는 것도 포함되는 것으로 보고, 이하 설명에서는 설명 편의상 컨텐츠를 처리하는 것을 기준으로 설명하기로 한다.
단계 S207에서, 디바이스(100)는 단계 S205에서 처리된 컨텐츠 또는 결정된 종류의 컨텐츠를 스피커나 디스플레이 등의 출력 장치를 통해 출력할 수 있다.
도 3은 일 실시 예에 의한 생체 신호에 기초하여 컨텐츠를 처리하는 일 예를 나타낸 예시 도면이다.
도 3을 참조하면, 디바이스(100)는 사용자가 현재 스트레스 상태일 때의 생체 신호인 뇌파 신호를 획득하고, 획득된 뇌파 신호에 기초하여 현재 사용자의 상태를 파악할 수 있다. 디바이스(100)에 의해 파악될 수 있는 사용자의 상태는 스트레스, 워크로드, 집중력, 감정 상태 등을 포함할 수 있다.
집중력이란, 사용자의 뇌파 신호를 통해 판단될 수 있는 사용자의 몰입 정도, 몰입의 유형 및 대상을 포함한다. 디바이스(100)가 청각 기기인 경우, 사용자의 머리를 중심으로, 소정 방향으로부터 오는 오디오 또는 음성 신호에 대해 사용자의 생체 신호에 기초하여 사용자가 상대적으로 집중하고 있는 방향을 검출할 수 있다. 구체적으로, 디바이스(100)는 사용자의 뇌파 신호에 대하여 뇌의 좌우 반구 중 특정 뇌 위치에 치우친 비대칭적 뇌파 특성을 파악할 수 있다. 디바이스(100)는 뇌파 신호의 위치 별 특성에 기초하여 사용자가 몰입 혹은 집중하는 정도와 집중하고 있는 방향 정보를 검출할 수 있다. 디바이스(100)는 사용자의 몰입 정도가 기준치 이상이거나, 몰입 정도에 따른 우선 순위가 높은 방향 정보를 사용자가 집중하고 있는 방향 정보로써 검출할 수 있다. 외부로부터 수신될 수 있는 오디오 또는 음성 신호는 사용자의 머리를 중심으로 상, 하, 전, 후, 좌, 우 또는 이들의 조합으로 표현될 수 있는 하나 이상의 공간적 방향으로부터 디바이스(100)로 수신될 수 있다.
디바이스(100)는 사용자가 상대적으로 집중하고 있는 방향으로부터 수신되는 오디오 및 음성 신호를 강화하고, 나머지 방향으로부터 수신되는 오디오 또는 음성 신호는 노이즈로 간주하여 약화시켜 출력할 수 있다. 디바이스(100)는 노이즈 캔슬링 등의 방법으로 노이즈로 간주된 오디오 및 음성 신호를 약화시키고, 사용자의 생체 신호에 기초하여 상대적으로 강화된 특정 방향의 오디오 및 음성 신호를 출력할 수 있다.
더하여, 디바이스(100)는 사용자의 생체 신호에 기초하여, 오디오 및 음성 신호를 포함하는 음향 신호를 처리하기 위한 출력 파라미터를 결정할 수 있다. 그리고, 디바이스(100)는 결정된 출력 파라미터를 이용하여 강화된 특정 방향의 오디오 및 음성 신호를 처리하여 출력할 수 있다.
워크로드란, 사용자 뇌파 신호를 통해 판단될 수 있는 뇌의 사용량을 의미한다. 사용자의 감정 상태는 흥분, 호감, 비호감, 안정 등의 감정 상태를 포함할 수 있다. 디바이스(100)는 파악된 사용자의 상태에 기초하여, 사용자의 심리 및 정신 건강을 유지하거나 긍정적인 방향으로 향상시키도록 컨텐츠를 처리할 수 있다. 예를 들면, 디바이스(100)는 일반적으로 긍정적으로 평가되거나 사용자가 긍정적이라고 생각하는 방향으로 사용자의 심리 및 정신 건강을 향상시키도록 컨텐츠를 처리할 수 있다.
일반적으로, 뇌파 신호는 자율 신경계에 의해 조절될 수 있는 점에서, 개인의 의지로 조절될 수 없으나, 뉴로 피드백(neurofeedback)의 원리에 의하면, 개인의 의지에 따라 뇌파 신호가 변화될 수 있다. 뉴로 피드백이란, 원하는 뇌파의 활성도를 조절하는 기술을 의미하는 것으로, 뇌파의 진동수는 유지하고 진폭을 변화시킬 수 있는 기술이다. 뉴로 피드백의 원리에 의하면, 사용자의 뇌파를 측정하여, 사용자에 특정 뇌파가 발생하였다고 인지시켜주면, 사용자의 뇌는 자동으로 인지된 특정 뇌파를 강화시킬 수 있다. 예를 들어, 사용자로부터 측정된 뇌파에서 알파파가 나올 때 마다 스피커에서 소리가 나도록 하는 경우, 스피커에서 소리가 날 때마다 자동적으로 알파파가 점점 강해질 수 있다. 즉, 사용자에게 알파파가 측정될 때마다 알파파가 측정되었음을 인지시켜 주는 경우, 알파파가 측정되었음을 사용자에게 알려줄 때마다 알파파가 점점 강해질 수 있다. 뉴로 피드백의 원리는 개에게 먹이를 주면서 종을 치면 나중에는 종만 쳐도 침을 흘리는 조건 반사 현상과 비슷하다. 디바이스(100)는 뉴로 피드백의 원리를 이용하여 현재 사용자의 상태를 인지 가능하도록 처리된 컨텐츠를 출력함으로써, 사용자 마음의 상태를 사전에 정의된 긍정적인 방향으로 변화시킬 수 있다.
디바이스(100)는 뇌파의 한 종류로 EEG를 측정할 수 있다. EEG 측정 장비는 헤드셋, 이어폰, 보청기, 골전도 헤드폰 등의 청음 장치와 일체형이거나 청음 장치, 디바이스(100)에 유무선으로 연결된 두부 부착형 센서 또는 머리 이외의 다른 신체 부위에 부착하는 형태의 센서로 구성될 수 있다. 청음 장치와 일체형인 EEG 측정 장비의 경우, 귀속에 삽입되는 형태로 구성될 수도 있다. 뇌파는 EEG 이외에도 ECG, EOG, EMG, EKG 등으로도 측정될 수 있다.
한편, 디바이스(100)는 이어폰 형태로 음악, 오디오 등의 컨텐츠나 전화 통화를 위한 음성을 출력하는 기능 또는 보청기와 같이 외부로부터 감지된 오디오 및 음성 신호를 증폭함으로써 사용자의 청취 능력을 향상시킬 수 있는 기능을 수행할 수 있다. 디바이스(100)는 사용자의 생체 신호에 기초하여 결정된 재생 파라미터를 이용하여 컨텐츠, 외부로부터 감지된 오디오 및 음성 신호 또는 전화 통화를 위한 오디오 및 음성 신호를 처리할 수 있다.
상술된 디바이스(100)의 기능들의 전환은 사용자의 의지에 따른 수동 조작, 디바이스(100)에서 감지된 사용자의 액티비티 또는 사용자의 생체 신호에 기초하여 자동으로 이루어질 수 있다. 즉, 디바이스(100)는 사용자의 의지를 나타내는 입력 신호 또는 생체 신호에 기초하여 자동으로 기능을 전환할 수 있다.
디바이스(100)는 뇌파를 변화시키기 위한 특정한 소리 또는 영상을 출력하는 대신에 현재 재생 중이거나 사용자에 의해 선택된 컨텐츠를 사용자 상태에 따라 처리함으로써 사용자의 감정 상태와 뇌파의 상태를 변화시킬 수 있다. 디바이스(100)에 의해 처리될 수 있는 컨텐츠는 오디오, 비디오, 사용자 UI(user interface) 화면, 그래픽 화면, 가상 현실(virtual reality) 등 다양한 형태의 데이터를 포함할 수 있다.
디바이스(100)는 측정된 뇌파 신호로부터 시간 도메인의 진폭(amplitude), 주파수 도메인의 파워(power) 또는 시간별 파워 등의 값을 획득하고, 이로부터 사용자의 상태를 판단할 수 있다.
그리고, 디바이스(100)는 사용자의 상태와 대응되는 재생 파라미터를 결정하여, 결정된 재생 파라미터에 따라 컨텐츠를 처리하여 출력할 수 있다.
재생 파라미터는 컨텐츠의 볼륨, 음높낮이, 재생 속도, 소리의 풍성함, 깊이, 울림, 굵기, 떨림, 실감 효과, 서라운드 효과, 공간감, 화음, 코드 및 반주 등 이퀄라이저(equalizer) 내 음장 효과와 유사한 속성들을 포함할 수 있다. 또한, 재생 파라미터는 컨텐츠에 오버레이됨으로써 처리될 수 있는 음, 코드 반주, 악기 소리 등을 더 포함할 수 있다.
디바이스(100)는 사용자의 심리 및 정신 건강을 유지, 향상시키기 위하여, 사용자의 부정적인 상태에 있는 경우, 현재 재생 중인 컨텐츠의 소리 또는 영상이 사람들이 일반적으로 좋아하지 않는 특성을 띄도록 처리하는 것이 바람직하다. 예를 들면, 부정적인 상태는 스트레스 또는 워크로드가 높거나, 집중력이 낮은 상태 또는 감정 상태가 비호감인 경우를 포함할 수 있다. 뉴로 피드백 원리에 따라서, 사용자는 디바이스(100)에 의해 처리된 컨텐츠로부터 현재 자신의 상태가 부정적임을 인지할 수 있다. 현재 자신의 상태가 부정적임을 인지한 사용자는 무의식 또는 의식적으로 뇌파를 조절함으로써 자신의 마음 상태를 긍정적인 상태로 변화시킬 수 있다. 초기에 사용자는 의식적으로 뇌파를 변화시키려고 노력할 수 있으나, 반복적인 트레이닝을 통해 사용자가 부정적인 컨텐츠를 듣거나 보게 되면 무의식적으로 뇌파가 긍정적인 상태로 변화될 수 있다.
사용자의 상태는 최소 두 단계 이상으로 세분화되고, 하나 이상의 상태의 조합으로 결정될 수 있다. 디바이스(100)는 사용자의 상태에 따라 컨텐츠를 처리하고 출력할 수 있다.
도 3을 참조하면, 디바이스(100)는 320에서 사용자의 뇌파를 측정하고 현재 사용자의 상태(310)가 스트레스가 높은 상태임을 판단할 수 있다. 디바이스(100)는 스트레스가 높은 상태임을 사용자가 인지할 수 있도록 현재 재생 중인 음악을 가는(thin) 소리(370)로 처리하여 출력할 수 있다. 디바이스(100)는 현재 재생 중인 음악 특성을 사용자 상태에 맞게 변화시킴으로써 사용자는 현재 재생 중인 음악을 들으면서 자신의 상태를 인지할 수 있다.
디바이스(100)는 사용자에 의해 설정되거나 소정 알고리즘에 따라 결정된 조절 민감도에 따라서, 1초 내지 5초 등의 짧은 시간 마다 뇌파 신호를 측정하고, 컨텐츠를 뇌파 신호에 따라 처리할 수 있다. 즉, 330 내지 350에서도 320과 마찬가지로 디바이스(100)는 뇌파 측정을 통해 사용자의 상태를 판단하고, 현재 재생 중인 음악을 처리하여 출력(380, 390)할 수 있다.
사용자는 디바이스(100)에 의해 처리된 컨텐츠를 인지함에 따라 의식적 또는 무의식적으로 자신의 상태를 스트레스 해소(360) 상태로 점차 변화시킬 수 있다. 디바이스(100)는 사용자의 상태가 스트레스 해소(360) 상태로 변해감에 따라 현재 재생 중인 음악을 풍부한(rich) 소리(390)로 처리하여 출력할 수 있다.
디바이스(100)는 컨텐츠 자체를 변경하는 대신 재생 파라미터에 따라 현재 재생 중인 컨텐츠에 코드 반주, 악기 소리, 특정 음 등의 소리를 오버레이함으로써 컨텐츠를 처리할 수도 있다.
이하 도 4 내지 도 5를 참조하여, 사용자의 생체 신호에 따라 컨텐츠 정보를 제공하는 방법에 대해 상세히 설명하기로 한다.
도 4는 일 실시 예에 의한 사용자의 생체 신호에 따라 컨텐츠 정보를 제공하는 방법을 나타낸 순서도이다.
도 4를 참조하면, 단계 S401에서, 디바이스(100)는 사용자의 생체 신호를 획득할 수 있다. 단계 S401에서 획득될 수 있는 사용자의 생체 신호는 뇌파, 맥박 등과 같이 사용자의 상태를 파악할 수 있는 시그널일 수 있다.
단계 S403에서, 디바이스(100)는 단계 S401에서 획득된 생체 신호로부터 사용자의 상태를 결정하여, 단계 S405에서, 사용자의 집중도가 기준점 이하로 하락하거나 사용자가 수면 상태에 있는지 판단할 수 있다. 상술된 기준점은 사용자에 의해 설정되거나 프로그램의 기본 설정에 따라 자동으로 설정될 수 있다. 디바이스(100)는 소정 시간 동안 연속적으로 사용자의 집중도가 기준점 이하이거나 사용자의 수면 상태가 지속될 때, 사용자가 졸음 상태 또는 집중력 저하 상태에 있는 것으로 판단하여, 컨텐츠 정보 획득을 시작할 수 있다.
디바이스(100)는 단계 S405에서, 사용자의 집중도가 기준점 이상이거나 수면 상태에 있지 않은 것으로 판단한 경우, 단계 S401에서 사용자의 생체 신호를 반복적으로 측정할 수 있다. 디바이스(100)는 주기적으로 또는 반복적으로 사용자의 생체 신호를 측정하고, 사용자 상태를 판단할 수 있다.
디바이스(100)는 사용자의 집중도가 기준점보다 떨어지거나 사용자가 수면 상태에 있는 것으로 판단한 경우, 단계 S407에서, 사용자의 집중도가 기준점보다 떨어지거나 수면 상태로 변화된 시점을 기준으로 재생 중인 컨텐츠 정보를 획득할 수 있다.
구체적으로, 디바이스(100)는 사용자의 집중도가 기준점보다 떨어지거나 사용자의 상태가 수면 상태로 변화된 시점부터, 현재 재생 중인 컨텐츠 정보를 획득하기 위한 다양한 컨텐츠 기록(recording)을 수행할 수 있다.
예를 들면, 디바이스(100)는 사용자의 집중도가 기준점보다 떨어지거나 사용자의 상태가 수면 상태로 변화된 시점 이후의 컨텐츠 내용을 기록할 수 있다. 디바이스(100)는 방송 컨텐츠의 경우, 상술된 시점 이후에 재생된 방송 컨텐츠를 녹화 및 저장함으로써 컨텐츠 내용을 기록할 수 있다. 디바이스(100)는 기록 매체에 저장된 컨텐츠가 재생 중에 사용자의 집중도가 기준점보다 떨어지거나 사용자의 상태가 수면 상태로 변화된 경우, 상술된 시점과 대응되는 컨텐츠 위치를 기록해 둠으로써 컨텐츠 내용을 기록할 수 있다.
또 다른 예로, 디바이스(100)는 컨텐츠와 관련된 빅 데이터로부터 획득된 컨텐츠의 주요 하이라이트 장면 및 컨텐츠의 기본 정보를 포함하는 컨텐츠 요약본을 생성함으로써 컨텐츠 내용을 기록할 수 있다. 빅 데이터는 SNS(social network service)나 웹 페이지, 블로그, 인터넷 뉴스 기사 등 인터넷에 떠돌아 다니는 정보들 중 현재 재생 중인 컨텐츠와 관련된 정보를 포함할 수 있다. 디바이스(100)는 분당 시청률이 높거나 빅 데이터에서 태그된 횟수가 많은 장면을 주요 하이라이트 장면으로 선택할 수 있다. 주요 하이라이트 장면은 사용자의 집중도가 기준점보다 떨어지거나 수면 상태로 변화된 시점 이후에 재생된 컨텐츠의 장면들을 포함할 수 있다. 컨텐츠에 관한 빅 데이터, 분당 시청률, 기본 정보는 외부 서버로부터 획득될 수 있다.
단계 S409에서, 디바이스(100)는 사용자 집중도가 상승하거나 수면 상태에서 벗어난 것으로 판단된 경우 또는 사용자 입력에 따라서, 컨텐츠 기록을 중지하고, 사용자에게 단계 S407에서 획득된 컨텐츠 정보를 제공할 수 있다. 구체적으로, 디바이스(100)는 기록된 콘텐츠 내용, 즉, 녹화 및 저장된 방송 컨텐츠를 출력하거나, 저장 매체에 저장된 컨텐츠를 로딩하여 기록된 위치에서부터 컨텐츠를 출력할 수 있다. 또한, 디바이스(100)는 주요 하이라이트 장면 또는 컨텐츠의 간략한 내용 설명을 포함하는 컨텐츠 요약본을 출력할 수 있다.
더하여, 디바이스(100)는 사용자의 집중도가 기준점보다 떨어지거나 사용자의 상태가 수면 상태로 변화한 것으로 판단한 경우, 디스플레이 장치의 절전모드가 실시되도록 디스플레이 장치를 제어할 수 있다. 절전 모드가 실시되면, 디스플레이 장치가 오프(off)되거나 화면 밝기가 어두워질 수 있다. 또한, 절전 모드뿐만 아니라 디바이스(100)는 사용자의 집중도가 기준점보다 떨어지거나 사용자의 상태가 수면 상태로 변화한 것으로 판단한 경우, 디스플레이 장치의 전원을 끄거나, 영상 또는 음향의 특성을 변화시킬 수 있다. 예를 들면, 디바이스(100)는 영상 밝기를 어둡게 하거나 소리 크기를 줄일 수 있다.
도 5는 일 실시 예에 의한 사용자의 생체 신호에 따라 컨텐츠 정보를 제공하는 일 예를 나타낸 예시 도면이다.
도 5를 참조하면, 510에서, 디바이스(100)는 사용자의 생체 신호를 획득하기 위하여 실시간으로 사용자의 상태를 모니터링할 수 있다. 디바이스(100)는 510에 도시된 바와 같이 컨텐츠가 재생 중인 경우에, 사용자의 생체 신호를 주기적으로 획득함으로써 사용자의 상태를 모니터링할 수 있다.
520에서, 디바이스(100)는 사용자의 생체 신호에 기초하여 판단된 사용자의 집중도가 하락하거나 사용자가 수면 상태에 있는 것으로 판단된 경우, 530 내지 540와 같이 컨텐츠 기록을 시작할 수 있다. 520을 참조하면, 디바이스(100)는 사용자의 집중도가 하락하거나 사용자의 상태가 수면 상태로 돌입한 시점을 기준으로 컨텐츠 기록을 수행할 수 있다.
디바이스(100)는 530과 같이 사용자의 집중도가 하락하거나 수면 상태로 돌입한 시점 이후의 방송 컨텐츠를 녹화 및 저장할 수 있다. 또한, 디바이스(100)는 컨텐츠가 기록 매체에 저장되어 있는 경우, 사용자의 집중도가 하락하거나 수면 상태로 돌입한 시점에서 컨텐츠의 재생 위치를 기록해 둘 수 있다.
더하여, 디바이스(100)는 540과 같이 사용자의 집중도가 하락하거나 수면 상태로 돌입한 시점 이후에 재생된 컨텐츠의 주요 장면을 기록해 둘 수 있다. 주요 장면은 짤막한 동영상인 클립(clip) 형태 또는 하나의 영상 프레임을 포함하는 이미지 형태로 기록될 수 있다.
이하 도 6 내지 도 7을 참조하여, 사용자의 생체 신호에 따라 컨텐츠의 표시 영역을 변경하여 표시하는 방법에 대해 상세히 설명하기로 한다.
도 6은 일 실시 예에 의한 사용자의 생체 신호에 따라 컨텐츠를 표시하는 방법을 나타낸 순서도이다.
도 6을 참조하면, 단계 S601에서, 디바이스(100)는 복수의 사용자의 생체 신호를 획득할 수 있다. 단계 S601에서 획득될 수 있는 사용자의 생체 신호는 뇌파, 맥박 등과 같이 사용자의 상태를 파악할 수 있는 시그널일 수 있다. 일 예로, 뇌파는 EEG, EOG, ECG 등의 뇌파 신호를 추출함으로써 획득될 수 있다. 단계 S601에서 생체 신호가 획득될 수 있는 복수의 사용자들은 재생 중인 컨텐츠를 시청하고 있는 상태일 수 있다. 도 6 내지 도 7에서 표시될 수 있는 컨텐츠는 동영상 또는 오디오 데이터뿐만 아니라 사용자 인터페이스 화면, 그래픽 화면 등을 포함할 수 있다.
단계 S603에서, 디바이스(100)는 단계 S601에서 획득된 생체 신호로부터 각 사용자의 상태를 획득할 수 있다. 구체적으로, 디바이스(100)는 생체 신호로부터 각 사용자의 집중도 레벨을 획득할 수 있다. 각 사용자의 집중도 레벨은 수치화되어 비교 분석이 가능한 형태로 획득될 수 있다.
단계 S605에서, 디바이스(100)는 각 사용자의 집중도에 따라 사용자와 대응되는 디스플레이 영역의 크기를 변경하여 표시할 수 있다. 구체적으로, 디바이스(100)는 각 사용자에 대하여 집중도에 따른 우선순위를 결정할 수 있다. 그리고, 디바이스(100)는 각 사용자에 대하여 우선순위에 따라 디스플레이 영역의 크기 및 위치를 결정할 수 있다. 디스플레이 영역의 크기는 우선 순위에 따라 상대적인 크기로 결정될 수 있다. 그리고, 디바이스(100)는 각 사용자의 집중도에 따라 결정된 디스플레이 영역에 각 사용자와 대응되는 컨텐츠를 표시할 수 있다. 따라서, 집중도 레벨에 따른 우선순위가 높은 사용자의 컨텐츠는 디스플레이 장치에서 가장 큰 영역을 차지하며 표시될 수 있다.
도 7은 일 실시 예에 의한 사용자의 생체 신호에 따라 컨텐츠를 표시하는 일 예를 나타낸 예시 도면이다.
도 7을 참조하면, 디바이스(700)는 집중도 레벨이 가장 높은 사용자(710)와 대응되는 컨텐츠가 가장 크게 표시되도록 디스플레이 장치를 제어할 수 있다. 또한, 디바이스(100)는 집중도 레벨이 가장 낮은 사용자(720)와 대응되는 컨텐츠가 가장 작게 표시되도록 디스플레이 장치를 제어할 수 있다.
사용자의 집중도에 따라 결정된 컨텐츠 표시 영역의 크기는 실시간으로 사용자의 생체 신호가 획득됨에 따라 그 크기가 변경될 수 있다. 또한, 다른 사용자의 집중도에 비례하는 크기를 가지는 컨텐츠가 함께 디스플레이되어 각 사용자의 집중도 레벨이 비교될 수 있다.
예시 도면에서와 같이 4인 가족이 동시에 대형 TV(television)를 시청하고 있는 경우, 각 사용자들의 집중도 레벨에 따라 4개의 서로 다른 컨텐츠가 각각 다른 크기로 표시될 수 있다. 또한, 사용자의 집중도 레벨의 변화에 따라 실시간으로 컨텐츠 표시 영역의 크기가 변경될 수 있다.
더하여, 4인 가족이 함께 대형 디스플레이를 통해 게임을 하고 있는 경우, 각 사용자의 집중도 레벨에 따라 서로 다른 게임 화면이 각각 다른 크기로 표시될 수 있다. 각 가족 구성원은 자신이 보고 있는 게임 화면이나 컨텐츠에 대한 소리를 헤드셋, 이이폰 등의 서로 분리된 음성 출력 장치를 통해 들을 수 있다.
도 8은 일 실시 예에 의한 생체 신호 측정 장치의 일 예를 나타낸 예시 도면이다. 도 8에 도시된 생체 신호 측정 장치들은 뇌파 신호인 EEG를 측정할 수 있는 장치의 일 예를 나타낸 것이다.
일 실시 예에 있어서, 뇌파를 측정할 수 있는 장치는 이어폰(410), 글래스(420), 헤어 밴드(430), 헤드셋(440) 형태로 구성될 수 있다. 각각의 뇌파 측정 장치는 음향 시스템을 지원하여, 사용자는 뇌파를 측정할 수 있는 장치를 통하여 컨텐츠의 소리를 청취할 수 있다.
도 8에 도시된 뇌파 측정 장치의 형태는 일 예에 불과하며, 일 실시 예에 따라 생체 신호를 측정할 수 있는 디바이스(100)는 다양한 형태로 구성될 수 있다.
이하 도 9 내지 도 12를 참조하여, 사용자의 생체 신호에 기초하여 디바이스를 제어하는 방법에 대하여 상세히 설명하기로 한다. 도 9 내지 도 12의 디바이스는 스마트 글라스와 같은 웨어러블 장치일 수 있다. 웨어러블 장치는 크기가 제한적이어서 사용자 입력이 용이하지 않으나, 일 실시 예에 의하면, 사용자는 사용자의 의지에 따라 변화될 수 있는 사용자의 생체 신호를 이용하여 웨어러블 장치를 쉽게 제어할 수 있다.
도 9는 일 실시 예에 의한 사용자의 생체 신호에 기초하여 디스플레이 상태를 변경하여 표시하는 방법을 나타낸 순서도이다.
도 9를 참조하면, 단계 S901에서, 디바이스(100)는 사용자의 생체 신호를 획득할 수 있다. 단계 S901에서 획득될 수 있는 사용자의 생체 신호는 뇌파, 맥박 등과 같이 사용자의 상태를 파악할 수 있는 시그널일 수 있다. 일 예로, 뇌파는 EEG 신호를 추출함으로써 획득될 수 있다.
디바이스(100)가 웨어러블 장치인 경우, 사용자 인체에 장착되어 사용될 수 있는 점에서, 생체 신호를 측정하기 위한 구성 요소를 함께 포함할 수 있다. 디바이스(100)가 스마트 글라스인 경우, 안경 형태의 디바이스(100)는 머리 부위에 장착되어 뇌파 신호를 측정할 수 있다.
뇌파 신호를 측정하기 위한 장치는 디바이스(100)와 일체형일 수 있으나, 이에 한하지 않고, 두부 부착형 센서, 귓속 삽입형 인이어 센서로 디바이스(100)와 유무선으로 연결된 형태일 수 있다. 또는, 디바이스(100)가 안경 형태인 경우에, 디바이스(100)는 윗 안경테 부위에 탈착 가능한 뇌파를 측정할 수 있는 센서를 포함할 수 있다.
뇌파 측정 장치로부터 얻어진 사용자의 EEG 신호는 시간 도메인의 진폭, 주파수 도메인의 파워, 주파수 도메인의 시간별 파워 등의 값으로 변환될 수 있다. 디바이스(100)는 사용자 설정 또는 디폴트로 설정된 값에 따라서, 매 1초 내지 5초 등의 짧은 시간 마다 사용자의 뇌파 신호를 측정할 수 있다.
디바이스(100)는 측정된 사용자의 생체 신호에 포함된 노이즈를 제거하기 위하여 특정 주파수 대를 제거하는 대역 필터링(bandpass filtering)를 수행할 수 있다. 또한, 생체 신호가 다수의 채널에서 측정된 경우, 디바이스(100)는 생체 신호의 채널간 측정치를 이용하여 공간적으로 노이즈 제거를 위한 필터링을 수행할 수 있다.
단계 S903에서, 디바이스(100)는 단계 S901에서 측정된 사용자의 생체 신호로부터 사용자의 현재 상태를 결정할 수 있다. 디바이스(100)에 의해 결정될 수 있는 사용자의 현재 상태는 사용자가 어디에 집중하려고 하는지 또는 사용자가 디스플레이를 사용하고자 하는지 여부에 관한 정보를 포함할 수 있다.
구체적으로, 디바이스(100)는 사용자가 스마트 글래스의 투명한 디스플레이를 보고자 하는지 또는 현실 뷰(view)를 보려고 하는지 여부를 사용자의 생체 신호에 기초하여 판단할 수 있다. 예를 들면, 디바이스(100)는 EEG 신호로부터 사용자의 집중도 레벨이 기준값 이상으로 소정 시간 이상 유지되었는지 여부를 기초로 사용자의 상태를 판단할 수 있다. 또는, 디바이스(100)는 사용자의 뇌파 신호를 분석하여, 사용자의 스트레스, 사용자의 보려고 하는 의지에 의해 발생되는 워크로드 수준이 기준값 이상이면, 사용자 디스플레이를 보려고 하는 것으로 판단할 수 있다.
또 다른 예로, 디스플레이의 전원이 꺼져 있거나 절전 상태에 있을 때, 사건 관련 전위(ERP; event-related potential)가 발생되었는지 여부를 기초로 사용자의 상태를 판단할 수 있다. 사건 관련 전위(ERP)란, 임의의 자극에 대하여, 대뇌의 전기적 반응을 두피 부위에서 기록한 뇌파 기록이다. 사용자에게 시각, 청각, 후각, 촉각 등의 자극이 발생함에 따라 ERP 신호가 검출될 수 있다. 디바이스(100)는 기준 크기 이상의 ERP 신호가 검출된 경우, 사용자가 바라보고 있는 방향에 놓인 현실 객체에 관심이 있고 추가적인 정보를 필요로 하는 것이라고 판단하여, 디스플레이를 온(on)할 수 있다.
또 다른 예로, 디바이스(100)는 사용자의 EEG 신호로부터 초점이 근초점 또는 원초점으로 변경되었는지 여부를 기초로 사용자의 상태를 판단할 수 있다. 초점이 원초점에서 근초점으로 변경된 경우, 디바이스(100)는 사용자가 안경 형태의 디스플레이를 보려고 하는 것으로 판단하여, 디스플레이를 온(on)할 수 있다. 반면, 초점이 근초점에서 원초점으로 변경된 경우, 디바이스(100)는 사용자가 현실 뷰를 보려고 하는 것으로 판단하여, 디스플레이를 오프(off)할 수 있다.
또 다른 예로, 디바이스(100)는 안경 형태의 투명 디스플레이에 불특정한 주파수로 깜박이는 도트점을 표시하고, 이 도트점을 이용하여 사용자의 상태를 판단할 수 있다. 구체적으로, 디바이스(100)는 사용자가 깜박이는 도트점을 응시하는 경우, 뇌파 신호로부터 도트점과 대응되는 유발 뇌파(EP;evoked potential)를 검출할 수 있다. 더하여, 디바이스(100)는 사용자의 비주얼 워크로드(visual workload) 또는 스트레스 수준을 기준으로, 사용자가 디스플레이 상의 컨텐츠를 보려고 노력하는지 여부를 판단할 수 있다. 사용자의 비주얼 워크로드(visual workload) 또는 스트레스 수준은 EEG 신호 또는 이외 다른 종류의 뇌파 신호로부터 획득될 수 있다. 디바이스(100)는 깜박이는 도트점과 대응되는 EP를 검출함으로써 사용자가 디스플레이를 보려고 하는 의사를 파악하고, 디스플레이를 온(on)할 수 있다.
단계 S905에서, 디바이스(100)는 단계 S903에서 결정된 사용자의 상태에 기초하여 디스플레이의 상태를 변경하여 표시할 수 있다. 구체적으로, 디바이스(100)는 사용자의 상태에 기초하여 디스플레이를 온오프하거나 절전 상태가 되도록 제어할 수 있다.
더하여, 디바이스(100)는 사용자 시선 방향의 객체 분석 결과, 광량, 광원에 관한 정보를 더 이용하여 디스플레이의 상태를 제어할 수 있다. 예를 들면, 디바이스(100)는 사용자 시선 방향의 객체가 가려지지 않도록 디스플레이의 컨텐츠 표시 영역 또는 크기, 종류를 결정할 수 있다. 예를 들면, 디바이스(100)는 사용자 시선 방향의 객체에 따라 텍스트 또는 이미지를 표시할지 여부를 결정할 수 있다. 일 예로, 채도가 높은 객체의 경우, 디바이스(100)는 텍스트를 표시하도록 제어할 수 있다. 또는, 디바이스(100)는 광량 또는 광원에 관한 정보에 기초하여 최적으로 디스플레이가 표시될 수 있는 디스플레이 재생 파라미터를 결정하고, 결정된 디스플레이 재생 파라미터에 따라 디스플레이를 표시할 수 있다. 디스플레이 재생 파라미터는 예를 들면, 디스플레이의 색채, 명암, 대비, 투명도, 초점, 전원, 전력 소모량 등을 포함할 수 있으며, 도 1 내지 도 3과 관련된 설명에서 상술된 재생 파라미터와 대응될 수 있다.
더하여, 디스플레이 재생 파라미터는 디스플레이되는 컨텐츠의 종류를 더 포함할 수 있다. 즉, 디스플레이 재생 파라미터는 컨텐츠의 종류를 결정하기 위한 재생 파라미터를 포함할 수 있다. 예를 들면, 사용자의 생체 신호로부터 판단된 사용자의 디스플레이에 대한 집중도에 따라서, 디바이스(100)는 다른 종류의 컨텐츠를 출력하도록 제어할 수 있다. 사용자가 디스플레이에 집중하는 경우, 디바이스(100)는 디스플레이를 통해 시각적인 컨텐츠를 출력할 수 있다. 사용자가 디스플레이에 집중하지 않는 경우, 디바이스(100)는 디스플레이 대신 오디오, 음성 신호나 진동 신호를 출력할 수 있는 디스플레이 이외의 장치를 통해 컨텐츠를 출력할 수 있다. 디스플레이 이외의 장치를 통해 출력될 수 있는 컨텐츠는 시각적인 컨텐츠 외에 다른 종류의 컨텐츠, 오디오 컨텐츠 또는 진동 컨텐츠 등을 포함할 수 있다.
도 10은 일 실시 예에 의한 사용자의 생체 신호에 기초하여 디스플레이 상태를 변경하여 표시하는 일 예를 나타낸 예시 도면이다.
도 10을 참조하면, 1010에서, 디바이스(100)는 사용자의 뇌파 신호로부터 사용자가 일상적인 상태, 즉, 현실 뷰를 보고 있는 것으로 판단한 경우, 디스플레이를 오프할 수 있다. 또는 디바이스(100)는 디스플레이를 통한 현실뷰가 잘 보일 수 있도록 디스플레이의 투명도를 높일 수 있다. 디바이스(100)는 디스플레이를 제어함으로써 사용자가 현실뷰를 더 잘 볼 수 있도록 할 수 있다.
1020에서, 디바이스(100)는 사용자의 뇌파 신호로부터 사용자가 높은 집중도와 몰입도를 가지는 것으로 판단한 경우, 사용자가 디스플레이를 보고자 하는 것으로 판단할 수 있다. 디바이스(100)는 디스플레이를 온 하여 현실뷰보다 디스플레이가 더 잘 보일 수 있도록 제어함으로써 사용자가 현실뷰보다 디스플레이를 더 잘 볼 수 있게 할 수 있다.
도 11은 일 실시 예에 의한 사용자의 생체 신호에 기초하여 작업을 수행하는 방법을 나타낸 순서도이다. 구체적으로, 도 11의 방법을 수행하는 디바이스(100)는 사용자의 생체 신호 중 뇌파 신호에 기초하여, 사용자가 수행하고자 하는 작업을 선택하고, 선택된 작업을 수행할 수 있다. 디바이스(100)는 임의의 자극에 따라 발생될 수 있는 ERP를 검출하고, ERP 신호의 크기에 따라 사용자가 수행하고자 하는 작업을 선택할 수 있다. 이하, 도 11을 참조하여 더 상세히 설명하기로 한다.
도 11을 참조하면, 단계 S1101에서, 디바이스(100)는 사용자에게 자극을 주기 위한 객체를 적어도 하나를 출력할 수 있다. 예를 들면, 디바이스(100)는 자극을 주기 위한 객체를 디스플레이하거나 오디오 및 음성 신호 또는 진동 신호로 객체를 출력할 수 있다.
디바이스(100)는 사용자에게 시각 자극을 주기 위하여 불특정한 주파수로 깜박이는 적어도 하나의 도트를 디스플레이할 수 있다. 사용자가 선택할 수 있는 작업 수에 따라 적어도 하나의 도트가 디스플레이될 수 있다. 사용자는 선택하고자 하는 도트점에 집중하면서 응시함으로써 다른 도트점과 대응되는 ERP 보다, 집중 응시한 도트점에 대해 더 큰 값의 ERP가 검출될 수 있다. 각각의 도트는 랜덤한 순서로 깜박일 수 있으며, 디바이스(100)는 ERP 의 크기가 상대적으로 클 때의 시점과 대응되는 도트점을 선택함으로써 사용자가 수행하고자 하는 작업을 선택할 수 있다.
또 다른 예로, 디바이스(100)는 사용자에게 청각 자극 또는 촉각 자극을 주기 위하여, 적어도 하나의 객체를 오디오 및 음성 신호 또는 진동 신호로 출력할 수 있다. 각각의 객체는 사용자에 의해 구별될 수 있는 오디오 및 음성 또는 진동 신호로 출력될 수 있다. 사용자가 수행하고자 하는 작업과 대응되는 객체가 출력될 때, 뇌파 신호의 집중도 또는 흥분도는 상승될 수 있다. 따라서, 사용자가 수행하고자 하는 작업과 대응되는 객체가 출력되었을 때, 다른 객체가 출력되었을 때보다 상대적으로 큰 값의 ERP가 검출될 수 있다. 디바이스(100)는 ERP의 크기가 상대적으로 클 때의 시점과 대응되는 객체를 선택함으로써, 사용자가 수행하고자 하는 작업을 선택할 수 있다.
상술된 객체는 청각, 촉각, 시각적인 자극을 주기 위한 신호에 한하지 않고, 이외 종류의 자극을 주기 위한 다양한 방법으로 출력될 수 있다. 디바이스(100)는 ERP의 크기가 상대적으로 클 때 출력된 객체를 선택함으로써, 사용자가 수행하고자 하는 작업을 선택할 수 있다.
단계 S1103에서, 디바이스(100)는 사용자의 생체 신호를 획득할 수 있다. 단계 S1101에서 획득될 수 있는 사용자의 생체 신호는 뇌파, 맥박 등과 같이 사용자의 상태를 파악할 수 있는 시그널일 수 있다. 일 예로, 뇌파는 EEG 신호를 추출함으로써 획득될 수 있다.
단계 S1105에서, 디바이스(100)는 단계 S1103에서 획득된 사용자의 생체 신호 즉, 뇌파 신호로부터 검출된 반응과 대응되는 객체를 검출할 수 있다.
사용자가 디스플레이 상에 표시된 하나의 도트점에 대해 응시하는 경우, 해당 도트점이 다른 도트점과 구별되게 표시된 시구간에서 더 큰 크기의 ERP가 검출될 수 있다. 예를 들면, 각각의 도트점은 불특정하거나 특정한 주파수로 랜덤한 순서로 깜박이거나 색상이 변경됨으로써 한 시점 구간에서 하나의 도트점만 구별되도록 표시될 수 있다. 디바이스(100)는 더 큰 ERP 신호가 검출된 시점에서 표시된 도트점을 결정함으로써 사용자의 뇌파 신호의 반응과 대응되는 객체를 검출할 수 있다.
디바이스(100)는 시각적인 자극을 주기 위한 객체를 디스플레이하는 데에 한하지 않고, 상술한 예와 같이, 다양한 방법으로 사용자에게 자극을 주기 위한 객체를 출력할 수 있다. 디바이스(100)는 ERP의 크기가 상대적으로 클 때 출력된 객체를 선택함으로써, 사용자가 수행하고자 하는 작업을 선택할 수 있다.
단계 S1107에서, 디바이스(100)는 단계 S1105에서 검출된 객체와 대응되는 작업을 수행할 수 있다. 디스플레이 상에 표시된 각각의 도트점은 현재 수행 가능한 작업과 대응될 수 있다. 디바이스(100)는 ERP 크기에 따라 결정된 도트점과 대응되는 작업을 수행함으로써, 디바이스(100)는 사용자의 버튼 또는 터치 입력을 수신할 필요 없이 사용자 의지에 따라 변화하는 생체 신호의 검출만으로 사용자가 원하는 작업을 수행할 수 있다.
도 12는 일 실시 예에 의한 사용자의 생체 신호에 기초하여 작업을 수행하는 일 예를 나타낸 예시 도면이다.
도 12를 참조하면, 1210 및 1220은 각각 디바이스(100)의 디스플레이 화면의 일 예를 나타낸 도면이다. 디스플레이가 안경 형태의 웨어러블 장치에 구비된 경우, 디스플레이는 웨어러블 장치의 카메라를 통해 촬영된 화면에 더하여 디스플레이에 표시된 객체들의 추가 정보를 더 표시함으로써 증강 현실 화면을 표시할 수 있다. 1210 및 1220은 증강 현실 화면에 더하여, 각 화면에 보이는 객체들의 추가 정보들을 표시한 일 예를 나타낸 것이다. 구체적으로, 1210은 사용자에 의해 선택될 수 있는 각 건물과 대응되는 도트점을 포함하는 예시 화면이다. 1220은 사용자 선택에 따라 선택된 건물에 대한 추가 정보를 나타내는 예시 화면이다.
1210을 참조하면, 증강 현실 화면에 나타난 대상들과 대응되는 도트점들(1211 내지 1215)이 디스플레이될 수 있다. 각각의 도트점들(1211 내지 1215)은 상호간 최대한으로 떨어진 형태로 배치됨으로써, 사용자 집중도에 따른 ERP 신호의 차이가 커질 수 있다. 각 도트점들(1211 내지 1215)은 도 11에서 상술한 바와 같이 불특정하거나 특정한 주파수로 랜덤한 순서로 깜박이거나 색상이 변경됨으로써 한 시점 구간에서 하나의 도트점만 구별되게 표시될 수 있다. 예를 들면, 각 도트점들(1211 내지 1215)은 약 4Hz 정도의 주기로 깜박이거나 색상이 변경되어 표시될 수 있다. 주기는 랜덤하게 변경될 수 있다.
사용자의 뇌파 신호(1216 내지 1219)는 각 도트점과 대응되는 뇌파 신호를 나타낸 것이다. 사용자가 도트점들 중 하나의 도트점(1215)만 집중하여 응시하는 경우, 도트점(1215)이 도 12에 도시된 바와 같이 다른 도트점들과 구별되도록 특정색상으로 표시되는 동안에, 사용자의 뇌파 신호로부터 상대적으로 크기가 큰 ERP 신호(1219)가 검출될 수 있다. 디바이스(100)는 크기가 큰 ERP 신호(1219)와 대응되는 도트점을 선택하고, 1220에서, 선택된 도트점과 대응되는 대상에 관한 추가 정보를 표시할 수 있다.
이하, 도 13 내지 도 15에서, 사용자의 생체 신호에 기초하여 인증을 수행하는 방법에 대하여 상세히 설명하기로 한다.
도 13은 일 실시 예에 의한 사용자의 생체 신호에 기초하여 인증을 수행하는 방법을 나타낸 순서도이다.
도 13을 참조하면, 단계 S1301에서, 디바이스(100)는 사용자의 생체 신호를 획득할 수 있다. 단계 S1301에서 획득될 수 있는 사용자의 생체 신호는 뇌파, 맥박 등과 같이 사용자의 상태를 파악할 수 있는 시그널일 수 있다. 일 예로, 뇌파는 EEG 신호를 추출함으로써 획득될 수 있다.
단계 S1303에서, 디바이스(100)는 단계 S1301에서 획득된 생체 신호로부터 모델링된 신호 패턴과 비교하기 위한 비교 대상 신호 패턴을 검출할 수 있다. 뇌파 신호의 경우, 소정 범위에서 사람에 따라 고유한 신호 패턴을 가질 수 있다. 따라서, 디바이스(100)는 사용자 뇌파 신호 중 사람에 따라 고유한 신호 패턴을 가질 수 있는 범위에서 비교 대상 신호 패턴을 검출하여, 미리 저장된 모델링된 뇌파 신호 패턴과 비교함으로써 사용자 인증을 수행할 수 있다.
단계 S1305에서, 디바이스(100)는 단계 S1303에서 검출된 비교 대상 신호 패턴과 모델링된 신호 패턴을 비교함으로써 사용자 인증을 수행할 수 있다. 뇌파 신호는 사용자의 상태에 따라 변화될 수 있는 점에서, 사용자가 동일하더라도 비교 대상 신호 패턴과 모델링된 신호 패턴은 조금씩 차이가 존재할 수 있다. 따라서, 디바이스(100)는 비교 대상 신호 패턴이 모델링된 신호 패턴을 기준으로 미리 설정된 오차 범위 내에 속하는지 여부에 기초하여 사용자 인증을 수행할 수 있다.
단계 S1307에서, 디바이스(100)는 사용자 인증이 성공하는 경우, 단계 S1309에서, 단계 S1303에서 검출된 비교 대상 신호 패턴을 이용하여 모델링된 신호 패턴을 업데이트할 수 있다. 또한, 인증 성공에 따라 디바이스(100)는 사용자 인증이 필요하였던 작업을 지속적으로 수행할 수 있다.
반면, 단계 S1307에서, 사용자 인증이 실패하는 경우, 디바이스(100)는 사용자 인증이 필요한 작업을 중단하거나 다른 인증 수단을 이용하여 사용자 인증을 수행할 수 있다.
뇌파 신호는 사용자의 상태나 사용자의 주변 환경에 따라 가변적이므로, 사용자 인증을 위한 모델링된 뇌파 신호는 주기적인 업데이트가 필요하다. 따라서, 사용자 인증이 필요한 작업이 수행되고 있지 않는 경우에도, 사용자 인증을 위한 모델링된 뇌파 신호의 업데이트를 위해서, 지속적으로 뇌파 신호를 측정할 수 있다. 그리고, 디바이스(100)는 측정된 뇌파 신호가 모델링된 뇌파 신호를 기준으로 오차 범위 내에 속하는지 여부에 따라 측정된 뇌파 신호를 이용하여 업데이트를 수행할 수 있다. 또는, 디바이스(100)는 뇌파 신호를 이용한 인증 방법 이외의 다른 인증 방법을 통해 사용자 인증이 이미 완료된 경우, 상술된 오차 범위 내에 속하는지 여부의 판단 없이 측정된 뇌파 신호를 이용하여 모델링된 뇌파 신호의 업데이트를 수행할 수 있다.
디바이스(100)는 뇌파 신호 측정 시의 사용자 주변 환경 정보 및 사용자의 상태 등 뇌파가 변화될 수 있는 다양한 요인들을 고려하여 인증을 위한 모델링된 뇌파 신호를 업데이트 할 수 있다. 구체적으로, 디바이스(100)는 모델링된 뇌파 신호에 뇌파 신호 측정 시의 사용자 주변 환경 정보 및 사용자의 상태 등 뇌파가 변화될 수 있는 다양한 요인들을 함께 저장해 둘 수 있다. 따라서, 디바이스(100)는 뇌파 신호뿐만 아니라 상술된 요인들을 함께 고려하여 사용자 인증을 수행할 수 있다.
디바이스(100)는 사용자 인증이 필요한 작업이 수행되고 있는 동안, 일 실시 예에 의한 사용자 인증을 반복적으로 수행할 수 있다. 예를 들어, 사용자가 뇌파 측정을 위한 센서가 구비된 스마트 글래스, 고글 장비 또는 청각 중심의 웨어러블 장치를 착용하고 있던 중, 은행 어플리케이션을 통해 계좌 이체를 하고자 하는 경우, 디바이스(100)는 사용자의 뇌파 신호를 반복적으로 측정하고 인증을 수행할 수 있다. 즉, 디바이스(100)는 은행 어플리케이션이 구동되는 동안 사용자 인증을 반복적으로 수행함으로써, 최초에 은행 어플리케이션에 진입한 사용자와 현재 은행 어플리케이션을 사용 중인 사용자가 동일 인물인지 지속적으로 확인할 수 있다.
도 14는 일 실시 예에 의한 사용자의 생체 신호에 기초하여 사용자 인증을 수행하는 방법을 나타낸 순서도이다. 도 14의 단계 S1405 내지 S1413은 도 13의 S1301 내지 S1309와 대응된다.
도 14를 참조하면, 단계 S1401에서 디바이스(100)는 다수의 시점에서, 모델링된 신호 패턴을 구축하기 위하여 사용자의 생체 신호를 획득할 수 있다. 디바이스(100)는 사용자 인증을 위한 모델링된 뇌파 신호의 구축을 위하여 사용자 인증이 필요한 상태가 아닌 경우에도, 지속적으로 뇌파 신호를 측정할 수 있다.
단계 S1405에서, 디바이스(100)는 단계 S1401에서 측정된 사용자의 생체 신호에 기초하여 사용자 인증을 위한 신호 패턴을 모델링할 수 있다. 디바이스(100)는 뇌파 신호 중 사용자 별로 고유한 패턴을 가지는 뇌파 신호 부분을 검출하여 사용자 인증을 위한 뇌파 신호 패턴을 모델링할 수 있다.
단계 S1405에서, 디바이스(100)는 사용자 인증이 필요한 상태가 되면, 인증하고자 하는 사용자의 생체 신호를 획득할 수 있다. 단계 S1401에서 획득될 수 있는 사용자의 생체 신호는 뇌파, 맥박 등과 같이 사용자의 상태를 파악할 수 있는 시그널일 수 있다. 일 예로, 뇌파는 EEG 신호를 추출함으로써 획득될 수 있다.
단계 S1407에서, 디바이스(100)는 단계 S1405에서 획득된 생체 신호로부터 모델링된 신호 패턴과 비교하기 위한 비교 대상 신호 패턴을 검출할 수 있다. 디바이스(100)는 사용자 뇌파 신호 중 비교 대상 신호 패턴을 검출하여, 기존 데이터 베이스화된 모델링된 뇌파 신호 패턴과 비교함으로써 사용자 인증을 수행할 수 있다.
단계 S1409에서, 디바이스(100)는 단계 S1407에서 검출된 비교 대상 신호 패턴과 모델링된 신호 패턴을 비교함으로써 사용자 인증을 수행할 수 있다. 디바이스(100)는 비교 대상 신호 패턴이 모델링된 신호 패턴을 기준으로 미리 설정된 오차 범위 내에 속하는지 여부에 기초하여 사용자 인증을 수행할 수 있다.
단계 S1411에서, 디바이스(100)는 디바이스(100)는 사용자 인증이 성공하는 경우, 단계 S1413에서, 단계 S1407에서 검출된 비교 대상 신호 패턴을 이용하여 모델링된 신호 패턴을 갱신할 수 있다. 또한, 인증 성공에 따라 디바이스(100)는 사용자 인증이 필요하였던 작업을 지속적으로 수행할 수 있다.
반면, 단계 S1411에서, 사용자 인증이 실패하는 경우, 디바이스(100)는 사용자 인증이 필요한 작업을 중단하거나 단계 S1417에서, 다른 인증 수단을 이용하여 사용자 인증을 수행할 수 있다. 예를 들면, 디바이스(100)는 뇌파 신호를 이용한 사용자 인증이 실패하는 경우, 지문 인식, 홍채 인식, 비밀 번호 입력, 패턴 입력 등 다양한 방법을 통해 사용자 인증을 수행할 수 있다.
단계 S1415에서, 디바이스(100)는 사용자 인증이 필요한 작업이 수행 중인지 여부에 따라서, 사용자 인증 프로세스를 주기적으로 반복할 지 여부를 결정할 수 있다. 예를 들면, 디바이스(100)는 사용자 인증이 필요한 카드 결제나 계좌 이체를 위한 프로그램이 구동 중일 때, 단계 S1405 내지 단계 S1417을 반복 수행할 수 있다. 사용자는 물리적 입력 없이 가만히만 있어도 지속적으로 사용자 인증을 수행할 수 있으므로, 일 실시 예에 따른 디바이스(100)에 의하면 사용자 편의성 및 보안성이 증대될 수 있다.
디바이스(100)는 사용자가 아무런 생각이나 행동을 하지 않는 휴식 상태를 유지하는 동안 측정된 뇌파 신호와 모델링된 뇌파 신호를 비교함으로써 인증을 수행할 수 있다. 모델링된 뇌파 신호는 인증 수행 전에, 사용자의 휴식 상태에서 측정된 뇌파 신호로부터 미리 모델링된 것일 수 있다.
도 15는 일 실시 예에 의한 사용자의 생체 신호에 기초하여 인증을 수행하는 일 예를 나타낸 예시 도면이다.
도 15를 참조하면, 1510 내지 1530은 사용자 인증을 수행함으로써 스마트폰의 잠금을 해제하는 일 예를 나타낸 것이다.
일 실시 예에 의한 디바이스(100)는 특정 자극을 준 상태에 대응한 사용자의 생체 신호를 구하고, 미리 구축된 모델링된 신호 패턴과 비교함으로써 사용자 인증을 수행할 수 있다. 모델링된 신호 패턴은 특정 자극을 준 상태에 대응한 사용자의 생체 신호로부터 고유 특성을 나타내는 신호 부분을 모델링함으로써 구축될 수 있다.
1510 및 1520에서, 디바이스(100)는 사용자에게 특정 자극을 주어 모델링된 신호 패턴과 비교하기 위한 생체 신호를 측정할 수 있다. 구체적으로, 디바이스(100)는 1510에서, 사용자에게 잠금 해제를 위하여 디스플레이된 사진을 응시하도록 안내하고, 사진이 디스플레이되는 동안 사용자의 뇌파 신호(1511)를 측정할 수 있다. 사용자 뇌파 신호(1511)와 비교될 수 있는 모델링된 신호 패턴은, 이전에 동일한 사진을 디스플레이하는 동안 측정된 사용자의 뇌파 신호로부터 고유한 특성을 검출함으로써 구축될 수 있다.
또한, 디바이스(100)는 1520에서, 미리 지정된 음악을 마음속으로 생각하도록 안내하고, 안내문이 디스플레이되는 동안 사용자의 뇌파 신호(1521)를 측정할 수 있다. 사용자 뇌파 신호(1521)와 비교될 수 있는 모델링된 신호 패턴은, 이전에 동일한 음악을 생각하라는 안내문이 디스플레이되는 동안 측정된 사용자의 뇌파 신호로부터 고유한 특성을 검출함으로써 구축될 수 있다.
디바이스(100)는 측정된 사용자의 뇌파 신호와 모델링된 신호 패턴을 비교함으로써 인증이 성공하면, 1530에서 잠금을 해제할 수 있다.
이하 도 16을 참조하여, 디바이스의 내부 구성 요소에 대해 자세히 설명하기로 한다.
도 16은 일 실시 예에 의한 사용자의 생체 신호에 기초하여 컨텐츠를 처리하거나 사용자 인증을 수행하는 디바이스의 내부 구성을 나타낸 블록도이다. 도 16의 디바이스(1600)는 도 1의 디바이스(100)와 대응될 수 있다.
도 16에 도시된 바와 같이, 일 실시예에 따른 디바이스(1600)는, 수신부(1630), 제어부(1670), 스피커(1660), 메모리(1620), GPS 칩(1625), 통신부(1630), 비디오 프로세서(1635), 오디오 프로세서(1640), 사용자 입력부(1645), 마이크부(1650), 촬상부(1655) 및 움직임 감지부(1665)를 포함할 수 있다.
이하 상기 구성요소들에 대해 차례로 살펴본다.
디스플레이부(1610)는 표시패널(1611) 및 표시 패널(1611)을 제어하는 컨트롤러(미도시)를 포함할 수 있다. 표시패널(1611)에는 LCD(Liquid Crystal Display), OLED(Organic Light Emitting Diodes) 디스플레이, AM-OLED(Active-Matrix Organic Light-Emitting Diode), PDP(Plasma Display Panel) 등과 같은 다양한 형태의 디스플레이로 구현될 수 있다. 표시패널(1611)은 유연하게(flexible), 투명하게(transparent) 또는 착용할 수 있게(wearable) 구현될 수 있다. 디스플레이부(1610)는 사용자 입력부(1645)의 터치 패널(1647)과 결합되어 터치 스크린으로 제공될 수 있다. 예를 들어, 터치 스크린은 표시 패널(1611)과 터치 패널(1647)이 적층 구조로 결합된 일체형의 모듈을 포함할 수 있다.
일부 실시 예에 의한 디스플레이부(1610)는 제어부(1670)의 제어에 따라 스피커부(2460)에 의해 출력되는 오디오 신호와 대응되는 영상을 표시할 수 있다. 디스플레이부(1610)에 의해 표시될 수 있는 영상은 평면 영상뿐만 아니라 3차원 입체 영상도 포함할 수 있다.
메모리(1620)는 내장 메모리(Internal Memory)(미도시) 및 외장 메모리(External Memory)(미도시) 중 적어도 하나를 포함할 수 있다.
내장 메모리는, 예를 들어, 휘발성 메모리(예를 들면, DRAM(Dynamic RAM), SRAM(Static RAM), SDRAM(Synchronous Dynamic RAM) 등), 비휘발성 메모리(예를 들면, OTPROM(One Time Programmable ROM), PROM(Programmable ROM), EPROM(Erasable and Programmable ROM), EEPROM(Electrically Erasable and Programmable ROM), Mask ROM, Flash ROM 등), 하드 디스크 드라이브(HDD) 또는 솔리드 스테이트 드라이브(SSD) 중 적어도 하나를 포함할 수 있다. 일 실시 예에 따르면, 제어부(1670)는 비휘발성 메모리 또는 다른 구성요소 중 적어도 하나로부터 수신한 명령 또는 데이터를 휘발성 메모리에 로드(load)하여 처리할 수 있다. 또한, 제어부(1670)는 다른 구성요소로부터 수신하거나 생성된 데이터를 비휘발성 메모리에 보존할 수 있다.
외장 메모리는, 예를 들면, CF(Compact Flash), SD(Secure Digital), Micro-SD(Micro Secure Digital), Mini-SD(Mini Secure Digital), xD(extreme Digital) 및 Memory Stick 중 적어도 하나를 포함할 수 있다.
메모리(1620)는 디바이스(1600)의 동작에 사용되는 각종 프로그램 및 데이터를 저장할 수 있다. 일 실시 예에 의한, 메모리(1620)에는 영상, 영상과 대응되는 오디오 신호 및 3차원 영상 정보 중 적어도 하나를 임시 또는 반영구적으로 저장할 수 있다.
제어부(1670)는 메모리(1620)에 저장된 정보의 일부가 디스플레이부(1610)에 표시되도록 디스플레이부(1610)를 제어할 수 있다. 다시 말하자면, 제어부(1670)는 메모리(1620)에 저장된 영상을 디스플레이부(1610)에 표시할 수 있다. 또는, 제어부(1670)는 디스플레이부(1610)의 일 영역에서 사용자 제스처가 이루어지면, 사용자의 제스처에 대응되는 제어 동작을 수행할 수 있다.
제어부(1670)는 RAM(1671), ROM(1672), CPU(1673), GPU(Graphic Processing Unit)(1674) 및 버스(1675) 중 적어도 하나를 포함 할 수 있다. RAM(1671), ROM(1672), CPU(1673) 및 GPU(1674) 등은 버스(1675)를 통해 서로 연결될 수 있다.
CPU(1673)는 메모리(1620)에 액세스하여, 메모리(1620)에 저장된 O/S를 이용하여 부팅을 수행한다. 그리고, 메모리(1620)에 저장된 각종 프로그램, 컨텐츠, 데이터 등을 이용하여 다양한 동작을 수행한다.
ROM(1672)에는 시스템 부팅을 위한 명령어 세트 등이 저장된다. 예로, 디바이스(1600)는 턴온 명령이 입력되어 전원이 공급되면, CPU(1673)가 ROM(1672)에 저장된 명령어에 따라 메모리(1620)에 저장된 O/S를 RAM(1671)에 복사하고, O/S를 실행시켜 시스템을 부팅시킬 수 있다. 부팅이 완료되면, CPU(1673)는 메모리(1620)에 저장된 각종 프로그램을 RAM(1671)에 복사하고, RAM(1671)에 복사된 프로그램을 실행시켜 각종 동작을 수행한다.
GPU(1674)는 디바이스(1600)의 부팅이 완료되면, 디스플레이부(1610)의 영역에 UI 화면을 디스플레이한다. 구체적으로는, GPU(1674)는 컨텐츠, 아이콘, 메뉴 등과 같은 다양한 객체를 포함하는 UI 화면을 생성할 수 있다. 일 실시 예에 의한 UI 화면은, 영상과 오디오 신호를 출력하는데 이용될 수 있는 UI 화면일 수 있다. GPU(1674)는 화면의 레이아웃에 따라 각 객체들이 표시될 좌표값, 형태, 크기, 컬러 등과 같은 속성 값을 연산한다. 그리고, GPU(1674)는 연산된 속성값에 기초하여 객체를 포함하는 다양한 레이아웃의 화면을 생성할 수 있다. GPU(1674)에서 생성된 화면은 디스플레이부(1610)로 제공되어, 디스플레이부(1610)의 각 영역에 각각 표시될 수 있다.
GPS 칩(1625)은 GPS(Grobal Positioning System) 위성으로부터 GPS 신호를 수신하여, 디바이스(1600)의 현재 위치를 산출할 수 있다. 제어부(1670)는 네비게이션 프로그램을 이용할 때나 그 밖에 사용자의 현재 위치가 필요할 경우에, GPS 칩(1625)을 이용하여 사용자 위치를 산출할 수 있다. 일 실시 예에 의하면, GPS 칩(1625)은 사용자 위치에 기초하여, 사용자 시선 방향의 객체가 어느 것인지 구분할 수 있다. 따라서, 제어부(1670)는 사용자 시선 방향의 객체를 분석함으로써 디스플레이 재생 파라미터를 결정하고, 디스플레이 재생 파라미터에 따라 디스플레이를 표시할 수 있다.
통신부(1630)는 다양한 유형의 통신방식에 따라 다양한 유형의 외부 기기와 통신을 수행할 수 있다. 통신부(1630)는 와이파이칩(1631), 블루투스 칩(1632), 무선 통신 칩(1633), NFC 칩(1634) 중 적어도 하나를 포함할 수 있다. 제어부(1670)는 통신부(1630)를 이용하여 각종 외부 기기와 통신을 수행할 수 있다. 예를 들면, 제어부(1670)는 통신부(1630)를 이용하여 디스플레이부(1610)에 표시할 영상과 오디오 신호를 수신할 수 있다.
와이파이 칩(1631), 블루투스 칩(1632)은 각각 WiFi 방식, 블루투스 방식으로 통신을 수행할 수 있다. 와이파이 칩(1631)이나 블루투스 칩(1632)을 이용하는 경우에는 SSID 및 세션 키 등과 같은 각종 연결 정보를 먼저 송수신하여, 이를 이용하여 통신 연결한 후 각종 정보들을 송수신할 수 있다. 무선 통신 칩(1633)은 IEEE, 지그비, 3G(3rd Generation), 3GPP(3rd Generation Partnership Project), LTE(Long Term Evoloution) 등과 같은 다양한 통신 규격에 따라 통신을 수행하는 칩을 의미한다. NFC 칩(1634)은 135kHz, 13.56MHz, 433MHz, 860~960MHz, 2.45GHz 등과 같은 다양한 RF-ID 주파수 대역들 중에서 13.56MHz 대역을 사용하는 NFC(Near Field Communication) 방식으로 동작하는 칩을 의미한다.
비디오 프로세서(1635)는 통신부(1630)를 통해 수신된 영상 데이터 또는, 메모리(1620)에 저장된 영상 데이터를 처리할 수 있다. 비디오 프로세서(1635)에서는 영상 데이터에 대한 디코딩, 스케일링, 노이즈 필터링, 프레임 레이트 변환, 해상도 변환 등과 같은 다양한 이미지 처리를 수행할 수 있다. 그리고, 디스플레이부(1610)는 비디오 프로세서(1635)에 의해 처리된 영상 데이터를 표시할 수 있다.
오디오 프로세서(1640)는 통신부(1630)를 통해 수신된 오디오 데이터 또는, 메모리(1620)에 저장된 오디오 데이터를 처리할 수 있다. 오디오 프로세서(1640)에서는 오디오 데이터에 대한 디코딩이나 증폭, 노이즈 필터링 등과 같은 다양한 처리가 수행될 수 있다. 예를 들면, 오디오 프로세서(1640)는 디스플레이부(1610)에 표시된 영상과 대응되는 오디오 데이터를 처리할 수 있다. 더하여, 오디오 프로세서(1640) 및 비디오 프로세서(1635)는 사용자 생체 신호에 기초하여 결정된 재생 파라미터에 따라서 오디오 데이터 또는 비디오 데이터를 처리할 수 있다.
제어부(1670)는 멀티미디어 컨텐츠에 대한 재생 프로그램이 실행되면 비디오 프로세서(1635) 및 오디오 프로세서(1640)를 구동시켜, 해당 컨텐츠를 재생할 수 있다. 스피커부(1660)는 오디오 프로세서(1640)에서 생성한 오디오 데이터를 출력할 수 있다. 예를 들면, 제어부(1670)는 디스플레이부(1610)에 표시된 멀티미디어 컨텐츠를 비디오 프로세서(1635) 및 오디오 프로세서(1640)를 이용하여 처리할 수 있다.
사용자 입력부(1645)는 사용자로부터 다양한 명령어를 입력 받을 수 있다. 사용자 입력부(1645)는 키(1646), 터치 패널(1647) 및 펜 인식 패널(1648) 중 적어도 하나를 포함할 수 있다. 디바이스(1600)는 키(1646), 터치 패널(1647) 및 펜 인식 패널(1648) 중 적어도 하나로부터 수신된 사용자 입력에 따라서 영상과 오디오 신호를 출력할 수 있다.
키(1646)는 디바이스(1600)의 본체 외관의 전면부나 측면부, 배면부 등의 다양한 영역에 형성된 기계적 버튼, 휠 등과 같은 다양한 유형의 키를 포함할 수 있다.
터치 패널(1647)은 사용자의 터치 입력을 감지하고, 감지된 터치 신호에 해당하는 터치 이벤트 값을 출력할 수 있다. 터치 패널(1647)이 표시 패널(1611)과 결합하여 터치 스크린(미도시)을 구성한 경우, 터치 스크린은 정전식이나, 감압식, 압전식 등과 같은 다양한 유형의 터치 센서로 구현될 수 있다. 정전식은 터치 스크린 표면에 코팅된 유전체를 이용하여, 사용자의 신체 일부가 터치 스크린 표면에 터치되었을 때 사용자의 인체로 야기되는 미세 전기를 감지하여 터치 좌표를 산출하는 방식이다. 감압식은 터치 스크린에 내장된 두 개의 전극 판을 포함하여, 사용자가 화면을 터치하였을 경우, 터치된 지점의 상하 판이 접촉되어 전류가 흐르게 되는 것을 감지하여 터치 좌표를 산출하는 방식이다. 터치 스크린에서 발생하는 터치 이벤트는 주로 사람의 손가락에 의하여 생성될 수 있으나, 정전 용량 변화를 가할 수 있는 전도성 재질의 물체에 의해서도 생성될 수 있다.
펜 인식 패널(1648)은 사용자의 터치용 펜(예컨대, 스타일러스 펜(stylus pen), 디지타이저 펜(digitizer pen))의 운용에 따른 펜의 근접 입력 또는 터치 입력을 감지하고 감지된 펜 근접 이벤트 또는 펜 터치 이벤트를 출력할 수 있다. 펜 인식 패널(1648)은, 예로, EMR 방식으로 구현될 수 있으며, 펜의 근접 또는 터치에 의한 전자기장의 세기 변화에 따라 터치 또는 근접 입력을 감지할 수 있다. 상세하게는 펜 인식 패널(1648)은 그리드 구조를 가지는 전자 유도 코일 센서(미도시)와 전자 유도 코일 센서의 각 루프 코일에 순차적으로 소정의 주파수를 가지는 교류 신호를 제공하는 전자 신호 처리부(미도시)를 포함하여 구성될 수 있다. 이러한 펜 인식 패널(1648)의 루프 코일 근방에 공진회로를 내장하는 펜이 존재하면, 해당 루프 코일로부터 송신되는 자계가 펜 내의 공진회로에 상호 전자 유도에 기초한 전류를 발생시킨다. 이 전류를 기초로 하여, 펜 내의 공진 회로를 구성하는 코일로부터 유도 자계가 발생하게 되고, 펜 인식 패널(1648)은 이 유도 자계를 신호 수신 상태에 있는 루프 코일에서 검출하게 되어 펜의 접근 위치 또는 터치 위치가 감지될 수 있다. 펜 인식 패널(1648)은 표시 패널(1611)의 하부에 일정 면적, 예를 들어, 표시 패널(1611)의 표시 영역을 커버할 수 있는 면적을 가지고 마련될 수 있다.
더하여, 일 실시 예에 의한, 사용자 입력부(1645)는 사용자의 생체 신호를 측정함으로써 사용자 입력을 수신할 수 있다. 예를 들어, 사용자의 뇌파 신호 중 ERP의 크기는 사용자 의지에 따라 변할 수 있으므로, 사용자 입력부(1645)는 ERP 의 크기에 기초하여 사용자 입력을 수신할 수 있다. 구체적으로, 사용자 입력부(1645)는 ERP 크기가 상대적으로 큰 시점에서 출력된 객체를 선택함으로써 작업을 수행할 수 있다.
마이크부(1650)는 사용자 음성이나 기타 소리를 입력 받아 오디오 데이터로 변환할 수 있다. 제어부(1670)는 마이크 부(1650)를 통해 입력되는 사용자 음성을 통화 동작에서 이용하거나, 오디오 데이터로 변환하여 메모리(1620)에 저장할 수 있다.
촬상부(1655)는 사용자의 제어에 따라 정지 영상 또는 동영상을 촬상할 수 있다. 촬상부(1655)는 전면 카메라, 후면 카메라와 같이 복수 개로 구현될 수도 있다. 일 실시 예에 의한 제어부(1670)는 촬상부(1655)에 의해 촬영된 영상으로부터 사용자의 외부 환경 정보를 획득할 수 있다. 제어부(1670)는 외부 환경 정보에 기초하여 최적의 상태로 디스플레이될 수 있도록 하는 파라미터를 결정할 수 있다.
촬상부(1655) 및 마이크부(1650)가 마련된 경우, 제어부(1670)는 마이크부(1650)를 통해 입력되는 사용자 음성이나 촬상부(1655)에 의해 인식되는 사용자 모션에 따라 제어 동작을 수행할 수도 있다. 예컨대, 디바이스(1600)는 모션 제어 모드나 음성 제어 모드로 동작할 수 있다. 모션 제어 모드로 동작하는 경우, 제어부(1670)는 촬상부(1655)를 활성화시켜 사용자를 촬상하고, 사용자의 모션 변화를 추적하여 그에 대응되는 제어 동작을 수행할 수 있다. 예를 들면, 제어부(1670)는 촬상부(1655)에 의해 감지된 사용자의 모션 입력에 따라 영상과 오디오 신호를 출력할 수 있다. 음성 제어 모드로 동작하는 경우 제어부(1670)는 마이크부(1650)를 통해 입력된 사용자 음성을 분석하고, 분석된 사용자 음성에 따라 제어 동작을 수행하는 음성 인식 모드로 동작할 수 있다.
움직임 감지부(1665)는 디바이스(1600)의 본체 움직임을 감지할 수 있다. 디바이스(1600)는 다양한 방향으로 회전되거나 기울어질 수 있다. 이 때, 움직임 감지부(1665)는 지자기 센서, 자이로 센서, 가속도 센서 등과 같은 다양한 센서들 중 적어도 하나를 이용하여 회전 방향 및 각도, 기울기 등과 같은 움직임 특성을 감지할 수 있다. 예를 들면, 움직임 감지부(1665)는 디바이스(1600)의 본체 움직임을 감지함으로써 사용자 입력을 수신하고, 수신된 입력에 따라 영상과 오디오 신호를 출력할 수 있다.
그 밖에, 도 16에 도시하지는 않았으나, 실시예에는, 디바이스(1600) 내에 USB 커넥터가 연결될 수 있는 USB 포트나, 헤드셋, 마우스, LAN 등과 같은 다양한 외부 단자와 연결하기 위한 다양한 외부 입력 포트, DMB(Digital Multimedia Broadcasting) 신호를 수신하여 처리하는 DMB 칩, 다양한 센서 등을 더 포함할 수 있다.
전술한 디바이스(1600)의 구성 요소들의 명칭은 달라질 수 있다. 또한, 본 개시에 따른 디바이스(1600)는 전술한 구성요소들 중 적어도 하나를 포함하여 구성될 수 있으며, 일부 구성요소가 생략되거나 또는 추가적인 다른 구성요소를 더 포함할 수 있다.
일 실시 예에 의하면, 사용자의 뇌파 신호로부터 획득된 사용자 상태에 따라 현재 재생 중인 컨텐츠의 특성을 변화시킴으로써, 사용자가 자신의 상태를 인지하고 긍정적인 방향으로 자신의 상태를 변화시킬 수 있다.
일 실시 예에 의하면, 사용자의 뇌파 신호를 이용하여 물리적 접촉 없이 사용자 입력이 가능하므로 사용자의 조작 편의성이 향상될 수 있다.
일 실시 예에 의하면, 사용자의 뇌파 신호를 이용함에 따라 물리적 접촉 없이 사용자 인증이 가능하므로, 보안성이 높고 편리하게 사용자 인증을 수행할 수 있다.
일 실시 예에 의한 방법은 컴퓨터로 읽을 수 있는 기록 매체에 컴퓨터(정보 처리 기능을 갖는 장치를 모두 포함한다)가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록 매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록 장치를 포함한다. 컴퓨터가 읽을 수 있는 기록 장치의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피 디스크, 광데이터 저장 장치 등이 있다.
비록 상기 설명이 다양한 실시예들에 적용되는 본 발명의 신규한 특징들에 초점을 맞추어 설명되었지만, 본 기술 분야에 숙달된 기술을 가진 사람은 본 발명의 범위를 벗어나지 않으면서도 상기 설명된 장치 및 방법의 형태 및 세부 사항에서 다양한 삭제, 대체, 및 변경이 가능함을 이해할 것이다. 따라서, 본 발명의 범위는 상기 설명에서보다는 첨부된 특허청구범위에 의해 정의된다. 특허청구범위의 균등 범위 안의 모든 변형은 본 발명의 범위에 포섭된다.

Claims (15)

  1. 생체 신호에 기초하여 컨텐츠를 처리하는 방법에 있어서,
    사용자의 생체 신호를 획득하는 단계;
    상기 획득된 생체 신호에 기초하여, 컨텐츠의 특성을 변화시키거나, 출력될 컨텐츠의 종류를 결정하기 위한 파라미터를 결정하는 단계;
    상기 결정된 파라미터에 기초하여, 상기 컨텐츠를 처리하거나 출력될 컨텐츠의 종류를 결정하는 단계;
    상기 처리된 컨텐츠 또는 상기 결정된 종류의 컨텐츠를 출력하는 단계를 포함하는, 방법.
  2. 제1항에 있어서, 상기 파라미터를 결정하는 단계는
    상기 획득된 생체 신호에 기초하여, 상기 사용자의 감정 상태, 수면 상태, 스트레스, 워크로드, 집중도 상태 중 적어도 하나를 결정하는 단계;
    상기 결정된 사용자의 상태와 대응되는 파라미터를 결정하는 단계를 포함하는, 방법.
  3. 제1항에 있어서, 상기 생체 신호는
    상기 사용자의 뇌파 신호를 포함하고,
    시간 또는 주파수 도메인에서의 상기 뇌파 신호의 특성과 대응되는 사용자의 상태에 기초하여 파라미터가 결정되는, 방법.
  4. 제1항에 있어서, 상기 파라미터는
    컨텐츠의 볼륨, 음높낮이, 재생 속도, 소리의 풍성함, 깊이, 울림, 굵기, 떨림, 실감 효과, 서라운드 효과, 공간감, 화음, 코드 및 반주, 디스플레이에서의 표시 영역, 디스플레이의 색채, 명암, 대비, 투명도, 초점, 전원, 전력 소모량, 컨텐츠의 종류 중 적어도 하나를 포함하는, 방법.
  5. 제1항에 있어서, 상기 사용자의 생체 신호를 획득하는 단계는
    상기 사용자에 자극을 제공하기 위한 객체를 적어도 하나 출력하는 단계;
    상기 적어도 하나의 객체가 출력되는 동안 또는 출력된 이후 발생된 상기 사용자의 생체 신호를 획득하는 단계를 포함하고,
    상기 사용자의 생체 신호의 반응과 대응되는 적어도 하나의 객체를 검출하고, 상기 검출된 객체와 대응되는 작업을 수행하는 단계를 더 포함하는, 방법.
  6. 제1항에 있어서,
    상기 획득된 생체 신호에 기초하여, 상기 사용자의 집중도를 결정하는 단계;
    상기 결정된 사용자의 집중도가 기준점 이하인 경우, 상기 사용자의 집중도가 기준점 이하로 된 시점을 기준으로, 재생 중인 컨텐츠에 관한 정보를 획득하는 단계;
    상기 획득된 정보를 상기 사용자에게 제공하는 단계를 더 포함하는, 방법.
  7. 제6항에 있어서, 상기 컨텐츠에 관한 정보를 획득하는 단계는
    상기 사용자의 집중도가 기준점 이하로 된 시점을 기준으로 상기 컨텐츠의 주요 내용 및 요약 정보 중 적어도 하나를 획득하거나, 재생 중인 방송 컨텐츠를 녹화 및 저장하는 단계를 포함하는, 방법.
  8. 제6항에 있어서, 상기 사용자에게 제공하는 단계는
    상기 사용자의 집중도가 상기 기준점 이상이 되거나 상기 사용자의 입력에 따라, 상기 획득된 컨텐츠에 관한 정보를 상기 사용자에게 제공하는 단계를 포함하는, 방법.
  9. 제6항에 있어서, 상기 컨텐츠에 관한 정보는
    외부 서버로부터 획득된 상기 컨텐츠에 대한 빅데이터, 분당 시청률, 상기 컨텐츠에 관한 기본 정보 중 적어도 하나에 기초하여 획득되는, 방법.
  10. 생체 신호에 기초하여 사용자 인증을 수행하는 방법에 있어서,
    사용자의 생체 신호를 획득하는 단계;
    상기 획득된 생체 신호로부터 사용자 인증을 위한 비교 대상 신호 패턴을 검출하는 단계;
    상기 검출된 비교 대상 신호 패턴과, 상기 사용자 인증을 위해 미리 모델링된 신호 패턴을 비교함으로써, 상기 사용자 인증을 수행하는 단계;
    상기 사용자 인증이 성공하는 경우, 상기 모델링된 신호 패턴을 상기 검출된 신호 패턴을 이용하여 업데이트하는 단계를 포함하는, 방법.
  11. 제8항에 있어서, 상기 방법은
    인증이 필요한 작업이 수행되는 동안에, 상기 사용자 인증이 반복적으로 수행되는, 방법.
  12. 생체 신호에 기초하여 컨텐츠를 처리하는 디바이스에 있어서,
    사용자의 생체 신호를 획득하는 센서부;
    상기 획득된 생체 신호에 기초하여, 컨텐츠의 특성을 변화시키거나 출력될 컨텐츠의 종류를 결정하기 위한 파라미터를 결정하고, 상기 결정된 파라미터에 기초하여, 상기 컨텐츠를 처리하거나 출력될 컨텐츠의 종류를 결정하는 제어부; 및
    상기 처리된 컨텐츠 또는 상기 결정된 종류의 컨텐츠를 출력하는 출력부를 포함하는 디바이스.
  13. 제12항에 있어서, 상기 센서부는
    상기 사용자에 자극을 제공하기 위한 적어도 하나의 객체가 출력되는 동안 또는 출력된 이후 발생된 상기 사용자의 생체 신호를 획득하고,
    상기 제어부는,
    상기 사용자의 생체 신호의 반응과 대응되는 적어도 하나의 객체를 검출하고, 상기 검출된 객체와 대응되는 작업을 수행하는, 디바이스.
  14. 제12항에 있어서, 상기 제어부는
    상기 획득된 생체 신호에 기초하여, 상기 사용자의 집중도를 결정하고, 상기 결정된 사용자의 집중도가 기준점 이하인 경우, 상기 사용자의 집중도가 기준점 이하로 된 시점을 기준으로, 재생 중인 컨텐츠에 관한 정보를 획득하고,
    상기 출력부는,
    상기 획득된 정보를 상기 사용자에게 제공하는, 디바이스.
  15. 생체 신호에 기초하여 사용자 인증을 수행하는 디바이스에 있어서,
    사용자의 생체 신호를 획득하는 센서부;
    상기 획득된 생체 신호로부터 사용자 인증을 위한 신호 패턴을 검출하고, 상기 검출된 신호 패턴과, 상기 사용자 인증을 위해 미리 모델링된 신호 패턴을 비교함으로써, 상기 사용자 인증을 수행하고, 상기 사용자 인증이 성공하는 경우, 상기 모델링된 신호 패턴을 상기 검출된 신호 패턴을 이용하여 업데이트하는 제어부; 및
    상기 사용자 인증 결과를 출력하는 출력부를 포함하는, 디바이스.
PCT/KR2014/009210 2013-09-30 2014-09-30 생체 신호에 기초하여 컨텐츠를 처리하는 방법, 및 그에 따른 디바이스 WO2015047032A1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US15/085,266 US10366778B2 (en) 2013-09-30 2016-03-30 Method and device for processing content based on bio-signals

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US201361884296P 2013-09-30 2013-09-30
US61/884,296 2013-09-30

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US15/085,266 Continuation US10366778B2 (en) 2013-09-30 2016-03-30 Method and device for processing content based on bio-signals

Publications (1)

Publication Number Publication Date
WO2015047032A1 true WO2015047032A1 (ko) 2015-04-02

Family

ID=52744032

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2014/009210 WO2015047032A1 (ko) 2013-09-30 2014-09-30 생체 신호에 기초하여 컨텐츠를 처리하는 방법, 및 그에 따른 디바이스

Country Status (3)

Country Link
US (1) US10366778B2 (ko)
KR (1) KR102333704B1 (ko)
WO (1) WO2015047032A1 (ko)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017105720A1 (en) * 2015-12-15 2017-06-22 Intel Corporation Electroencephalography (eeg) camera control
EP3296948A4 (en) * 2015-05-12 2018-03-21 Samsung Electronics Co., Ltd. Method and device for providing content
CN108491699A (zh) * 2018-03-01 2018-09-04 广东欧珀移动通信有限公司 电子装置、脑电波解锁方法及相关产品
EP3392739A4 (en) * 2015-12-17 2019-08-28 Looxid Labs Inc. EYE-BRAIN INTERFACE SYSTEM AND METHOD FOR CONTROLLING THEREOF
WO2021112836A1 (en) * 2019-12-04 2021-06-10 Hewlett-Packard Development Company, L.P. Interfaces and processes for biological characteristics handling in head-mountable devices

Families Citing this family (68)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101703923B1 (ko) * 2015-07-28 2017-02-09 재단법인대구경북과학기술원 가상 현실 기반의 개인 맞춤용 캡슐형 힐링 장치
KR102430941B1 (ko) * 2015-08-11 2022-08-10 삼성전자주식회사 생체 상태 정보 제공 방법 및 이를 지원하는 전자 장치
WO2017078205A1 (ko) * 2015-11-04 2017-05-11 엘지전자 주식회사 이동 단말기 및 그 제어 방법
USD778450S1 (en) * 2015-12-09 2017-02-07 Soso Co., Ltd. Wireless brain wave measuring device
US10169560B2 (en) * 2016-02-04 2019-01-01 Lenovo Enterprise Solutions (Singapore) Pte. Ltd. Stimuli-based authentication
CA3038822A1 (en) 2016-09-29 2018-04-05 Mindset Innovation, Inc. Biosignal headphones
CN106453903A (zh) * 2016-10-18 2017-02-22 珠海格力电器股份有限公司 移动终端、移动终端自动解锁或点亮屏幕的方法及系统
WO2018112713A1 (en) * 2016-12-19 2018-06-28 Arris Enterprises Llc System and method for mobile device to automatically disable fingerpring unlock when user is sleeping
WO2018117753A1 (en) * 2016-12-23 2018-06-28 Samsung Electronics Co., Ltd. Electronic device and method of controlling the same
KR102396794B1 (ko) * 2016-12-23 2022-05-13 삼성전자주식회사 전자 장치 및 이의 제어 방법
KR20180081356A (ko) 2017-01-06 2018-07-16 삼성전자주식회사 지문 이미지의 왜곡을 처리하는 방법 및 장치
KR101787311B1 (ko) * 2017-01-23 2017-10-18 전봉재 맥박 분석 애플리케이션을 이용한 맥박 변화 표출시스템
DE102017001577A1 (de) 2017-02-17 2018-08-23 Kuka Roboter Gmbh Betreiben einer beweglichen Maschine, insbesondere eines Roboters
CN110582811A (zh) * 2017-03-03 2019-12-17 贝赫维尔有限责任公司 用于影响行为改变的动态多感官模拟系统
US10893356B2 (en) * 2017-03-17 2021-01-12 Telefonaktiebolaget Lm Ericsson (Publ) Method and appartus for adaptive audio signal alteration
US10482227B2 (en) * 2017-03-28 2019-11-19 International Business Machines Corporation Electroencephalography (EEG) based authentication
US10917423B2 (en) 2017-05-15 2021-02-09 Forcepoint, LLC Intelligently differentiating between different types of states and attributes when using an adaptive trust profile
US10999296B2 (en) 2017-05-15 2021-05-04 Forcepoint, LLC Generating adaptive trust profiles using information derived from similarly situated organizations
US9882918B1 (en) 2017-05-15 2018-01-30 Forcepoint, LLC User behavior profile in a blockchain
US10129269B1 (en) 2017-05-15 2018-11-13 Forcepoint, LLC Managing blockchain access to user profile information
US10623431B2 (en) 2017-05-15 2020-04-14 Forcepoint Llc Discerning psychological state from correlated user behavior and contextual information
US10862927B2 (en) 2017-05-15 2020-12-08 Forcepoint, LLC Dividing events into sessions during adaptive trust profile operations
US10999297B2 (en) 2017-05-15 2021-05-04 Forcepoint, LLC Using expected behavior of an entity when prepopulating an adaptive trust profile
US10447718B2 (en) 2017-05-15 2019-10-15 Forcepoint Llc User profile definition and management
US10915644B2 (en) 2017-05-15 2021-02-09 Forcepoint, LLC Collecting data for centralized use in an adaptive trust profile event via an endpoint
GB2578386B (en) 2017-06-27 2021-12-01 Cirrus Logic Int Semiconductor Ltd Detection of replay attack
GB201713697D0 (en) 2017-06-28 2017-10-11 Cirrus Logic Int Semiconductor Ltd Magnetic detection of replay attack
GB2563953A (en) 2017-06-28 2019-01-02 Cirrus Logic Int Semiconductor Ltd Detection of replay attack
GB201801526D0 (en) 2017-07-07 2018-03-14 Cirrus Logic Int Semiconductor Ltd Methods, apparatus and systems for authentication
GB201801532D0 (en) 2017-07-07 2018-03-14 Cirrus Logic Int Semiconductor Ltd Methods, apparatus and systems for audio playback
GB201801527D0 (en) * 2017-07-07 2018-03-14 Cirrus Logic Int Semiconductor Ltd Method, apparatus and systems for biometric processes
GB201801528D0 (en) 2017-07-07 2018-03-14 Cirrus Logic Int Semiconductor Ltd Method, apparatus and systems for biometric processes
GB201801530D0 (en) 2017-07-07 2018-03-14 Cirrus Logic Int Semiconductor Ltd Methods, apparatus and systems for authentication
GB201804843D0 (en) 2017-11-14 2018-05-09 Cirrus Logic Int Semiconductor Ltd Detection of replay attack
GB201801874D0 (en) 2017-10-13 2018-03-21 Cirrus Logic Int Semiconductor Ltd Improving robustness of speech processing system against ultrasound and dolphin attacks
GB2567503A (en) 2017-10-13 2019-04-17 Cirrus Logic Int Semiconductor Ltd Analysing speech signals
GB201801663D0 (en) 2017-10-13 2018-03-21 Cirrus Logic Int Semiconductor Ltd Detection of liveness
GB201801664D0 (en) 2017-10-13 2018-03-21 Cirrus Logic Int Semiconductor Ltd Detection of liveness
GB201801659D0 (en) 2017-11-14 2018-03-21 Cirrus Logic Int Semiconductor Ltd Detection of loudspeaker playback
CN108108603A (zh) * 2017-12-04 2018-06-01 阿里巴巴集团控股有限公司 登录方法及装置和电子设备
US11264037B2 (en) 2018-01-23 2022-03-01 Cirrus Logic, Inc. Speaker identification
US11475899B2 (en) 2018-01-23 2022-10-18 Cirrus Logic, Inc. Speaker identification
US11735189B2 (en) 2018-01-23 2023-08-22 Cirrus Logic, Inc. Speaker identification
JP7163035B2 (ja) * 2018-02-19 2022-10-31 株式会社東芝 音響出力システム、音響出力方法及びプログラム
US10362385B1 (en) * 2018-03-05 2019-07-23 Harman International Industries, Incorporated Controlling perceived ambient sounds based on focus level
CN108449757B (zh) * 2018-03-13 2021-06-01 Oppo广东移动通信有限公司 网络连接控制方法及相关产品
US10810291B2 (en) * 2018-03-21 2020-10-20 Cirrus Logic, Inc. Ear proximity detection
US10692490B2 (en) 2018-07-31 2020-06-23 Cirrus Logic, Inc. Detection of replay attack
US10915614B2 (en) 2018-08-31 2021-02-09 Cirrus Logic, Inc. Biometric authentication
EP3641344B1 (en) * 2018-10-16 2023-12-06 Sivantos Pte. Ltd. A method for operating a hearing instrument and a hearing system comprising a hearing instrument
KR102023024B1 (ko) * 2018-11-09 2019-11-04 가천대학교 산학협력단 사용자의 상태정보에 따라 피드백을 제공하는 사용자의 정서 증진 및 심리파악을 위한 가상현실 시스템
CN114879840A (zh) * 2018-11-23 2022-08-09 华为技术有限公司 根据眼球焦点控制显示屏的方法和头戴电子设备
KR102168968B1 (ko) * 2019-01-28 2020-10-22 주식회사 룩시드랩스 생체 데이터를 이용한 하이라이트 영상 생성 방법 및 그 장치
KR102271389B1 (ko) * 2019-03-26 2021-06-30 재단법인 철원플라즈마 산업기술연구원 뇌파를 이용한 사용자 맞춤형 학습제공 시스템 및 방법
US10997295B2 (en) 2019-04-26 2021-05-04 Forcepoint, LLC Adaptive trust profile reference architecture
US20210244909A1 (en) * 2019-05-21 2021-08-12 Roshan Narayan Sriram Neurofeedback based system and method for training mindfulness
US11636188B2 (en) * 2019-08-26 2023-04-25 Microsoft Technology Licensing, Llc Combining biometrics, hidden knowledge and intent to authenticate
JP2021090136A (ja) * 2019-12-03 2021-06-10 富士フイルムビジネスイノベーション株式会社 情報処理システム及びプログラム
US11925433B2 (en) * 2020-07-17 2024-03-12 Daniel Hertz S.A. System and method for improving and adjusting PMC digital signals to provide health benefits to listeners
KR102290092B1 (ko) * 2020-11-11 2021-08-17 주식회사 바토너스 정보 표시 방법 및 장치
US20220276509A1 (en) * 2021-02-26 2022-09-01 Hi Llc Optical Measurement System Integrated into a Wearable Glasses Assembly
US11595749B2 (en) * 2021-05-28 2023-02-28 Gmeci, Llc Systems and methods for dynamic noise reduction
WO2023136571A1 (ko) * 2022-01-13 2023-07-20 엘지전자 주식회사 휴대용 오디오 출력 장치 및 모바일 디바이스를 포함하는 시스템의 제어 방법
KR102503477B1 (ko) * 2022-01-19 2023-02-24 (주)감성미학발전소 체험자의 성향에 기초하여 색상 정보를 변경하는 vr 체험 시스템
KR102437583B1 (ko) * 2022-03-21 2022-08-29 가천대학교 산학협력단 생체신호를 활용한 선호 색상에 대한 사용자 맞춤형 색상콘텐츠를 제공하는 시스템 및 방법
KR102602144B1 (ko) * 2022-10-25 2023-11-16 주식회사 프레임 사용자의 뇌파를 분석하여 분석결과를 기초로 컨텐츠를 제공하는 장치 및 방법
KR102486690B1 (ko) * 2022-11-01 2023-01-12 주식회사 디지털뉴트리션 사용자 맞춤형으로 건강 관리 음악을 제공하기 위한 장치, 방법, 및 시스템
KR102486687B1 (ko) * 2022-11-01 2023-01-11 주식회사 디지털뉴트리션 사용자의 건강 설문과 뇌파 신호를 기반으로, 사용자 맞춤형 건강 관리 컨텐츠를 생성하기 위한 장치 및 방법

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003111106A (ja) * 2001-09-28 2003-04-11 Toshiba Corp 集中度取得装置並びに集中度を利用した装置及びシステム
JP2005056205A (ja) * 2003-08-05 2005-03-03 Sony Corp コンテンツ再生装置及びコンテンツ再生方法
KR100600537B1 (ko) * 2003-12-29 2006-07-13 전자부품연구원 타게팅 컨텐츠 및 광고 서비스 방법 및 그 시스템
KR100747446B1 (ko) * 2005-03-07 2007-08-09 엘지전자 주식회사 휴대단말기의 지문인식 장치 및 방법
KR20130050039A (ko) * 2011-11-07 2013-05-15 주식회사 스마트로 생체 정보 인증을 이용한 신용카드 결제 방법 및 시스템

Family Cites Families (33)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4037332A (en) * 1975-08-04 1977-07-26 Petrusinsky Vyacheslav Vyaches Information conversion system for accelerated instruction
US5052401A (en) * 1986-08-06 1991-10-01 Westinghouse Electric Corp. Product detector for a steady visual evoked potential stimulator and product detector
US4883067A (en) * 1987-05-15 1989-11-28 Neurosonics, Inc. Method and apparatus for translating the EEG into music to induce and control various psychological and physiological states and to control a musical instrument
JP3381074B2 (ja) * 1992-09-21 2003-02-24 ソニー株式会社 音響構成装置
US5667470A (en) * 1994-02-08 1997-09-16 Jiri Janata Apparatus and method for using listener feedback to determine the nature of sound stimuli presented to the listener
RU2096990C1 (ru) 1996-11-01 1997-11-27 Яков Иосифович Левин Способ воздействия на организм
US6904408B1 (en) * 2000-10-19 2005-06-07 Mccarthy John Bionet method, system and personalized web content manager responsive to browser viewers' psychological preferences, behavioral responses and physiological stress indicators
KR20050108258A (ko) 2004-05-12 2005-11-16 엘지전자 주식회사 수면감지장치 및 그 제어방법
JP2006072606A (ja) * 2004-09-01 2006-03-16 National Institute Of Information & Communication Technology インターフェイス装置、インターフェイス方法及びその装置を用いた制御訓練装置
US7486988B2 (en) * 2004-12-03 2009-02-03 Searete Llc Method and system for adaptive vision modification
IL165586A0 (en) * 2004-12-06 2006-01-15 Daphna Palti Wasserman Multivariate dynamic biometrics system
JP2007104331A (ja) 2005-10-04 2007-04-19 Sharp Corp 記録装置及び記録再生装置
JP2007207153A (ja) * 2006-02-06 2007-08-16 Sony Corp 通信端末装置、情報提供システム、サーバ装置、情報提供方法および情報提供プログラム
EP1892674A1 (de) * 2006-08-23 2008-02-27 Siemens Aktiengesellschaft Gehirnmusterbasiertes Zugangskontrollsystem
JP5228305B2 (ja) * 2006-09-08 2013-07-03 ソニー株式会社 表示装置、表示方法
KR101435680B1 (ko) * 2007-09-11 2014-09-02 삼성전자주식회사 다중 측정된 생체신호를 기반으로한 스트레스 분석방법
WO2009094050A1 (en) * 2008-01-25 2009-07-30 Medtronic, Inc. Sleep stage detection
CN101504696A (zh) * 2008-02-05 2009-08-12 周常安 互动式生理分析方法
US9313585B2 (en) * 2008-12-22 2016-04-12 Oticon A/S Method of operating a hearing instrument based on an estimation of present cognitive load of a user and a hearing aid system
KR101647048B1 (ko) * 2009-01-14 2016-08-09 삼성전자주식회사 생체 정보를 표시하는 방법 및 장치
JP2011005176A (ja) * 2009-06-29 2011-01-13 Sony Corp 耳介装着具及び生体信号測定装置
KR100969233B1 (ko) 2009-09-03 2010-07-09 엔디에스솔루션 주식회사 네트워크를 이용한 다중 정보 다중 분할 디스플레이 시스템 및 방법
DE102009060093B4 (de) * 2009-12-22 2011-11-17 Siemens Medical Instruments Pte. Ltd. Verfahren und Anordnung zum Einstellen eines Hörgeräts durch Erfassung der Höranstrengung
US8487760B2 (en) * 2010-07-09 2013-07-16 Nokia Corporation Providing a user alert
US11471091B2 (en) * 2010-07-29 2022-10-18 Kulangara Sivadas Mind strength trainer
CA2835460C (en) * 2011-05-10 2018-05-29 Foteini AGRAFIOTI System and method for enabling continuous or instantaneous identity recognition based on physiological biometric signals
KR20130082839A (ko) * 2011-12-20 2013-07-22 두산동아 주식회사 사용자 맞춤형 콘텐츠 제공 장치 및 그 방법
US9763592B2 (en) * 2012-05-25 2017-09-19 Emotiv, Inc. System and method for instructing a behavior change in a user
WO2013177592A2 (en) * 2012-05-25 2013-11-28 Emotiv Lifesciences, Inc. System and method for providing and aggregating biosignals and action data
JP2014030621A (ja) * 2012-08-03 2014-02-20 Sony Corp 情報処理装置、プログラム及び生体信号測定セット
US9983670B2 (en) * 2012-09-14 2018-05-29 Interaxon Inc. Systems and methods for collecting, analyzing, and sharing bio-signal and non-bio-signal data
EP3025270A1 (en) * 2013-07-25 2016-06-01 Nymi inc. Preauthorized wearable biometric device, system and method for use thereof
KR102136836B1 (ko) * 2013-09-09 2020-08-13 삼성전자주식회사 생체 신호들을 이용하여 사용자 인증을 수행하는 착용형 기기 및 그 착용형 기기의 인증 방법

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003111106A (ja) * 2001-09-28 2003-04-11 Toshiba Corp 集中度取得装置並びに集中度を利用した装置及びシステム
JP2005056205A (ja) * 2003-08-05 2005-03-03 Sony Corp コンテンツ再生装置及びコンテンツ再生方法
KR100600537B1 (ko) * 2003-12-29 2006-07-13 전자부품연구원 타게팅 컨텐츠 및 광고 서비스 방법 및 그 시스템
KR100747446B1 (ko) * 2005-03-07 2007-08-09 엘지전자 주식회사 휴대단말기의 지문인식 장치 및 방법
KR20130050039A (ko) * 2011-11-07 2013-05-15 주식회사 스마트로 생체 정보 인증을 이용한 신용카드 결제 방법 및 시스템

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3296948A4 (en) * 2015-05-12 2018-03-21 Samsung Electronics Co., Ltd. Method and device for providing content
CN107836011A (zh) * 2015-05-12 2018-03-23 三星电子株式会社 用于提供内容的方法和设备
US10466786B2 (en) 2015-05-12 2019-11-05 Samsung Electronics Co., Ltd. Method and device for providing content
WO2017105720A1 (en) * 2015-12-15 2017-06-22 Intel Corporation Electroencephalography (eeg) camera control
US9712736B2 (en) 2015-12-15 2017-07-18 Intel Coprporation Electroencephalography (EEG) camera control
EP3392739A4 (en) * 2015-12-17 2019-08-28 Looxid Labs Inc. EYE-BRAIN INTERFACE SYSTEM AND METHOD FOR CONTROLLING THEREOF
US10481683B2 (en) 2015-12-17 2019-11-19 Looxid Labs Inc. Eye-brain interface (EBI) system and method for controlling same
US10860097B2 (en) 2015-12-17 2020-12-08 Looxid Labs, Inc. Eye-brain interface (EBI) system and method for controlling same
CN108491699A (zh) * 2018-03-01 2018-09-04 广东欧珀移动通信有限公司 电子装置、脑电波解锁方法及相关产品
WO2021112836A1 (en) * 2019-12-04 2021-06-10 Hewlett-Packard Development Company, L.P. Interfaces and processes for biological characteristics handling in head-mountable devices

Also Published As

Publication number Publication date
KR102333704B1 (ko) 2021-12-01
KR20150039113A (ko) 2015-04-09
US10366778B2 (en) 2019-07-30
US20160210407A1 (en) 2016-07-21

Similar Documents

Publication Publication Date Title
WO2015047032A1 (ko) 생체 신호에 기초하여 컨텐츠를 처리하는 방법, 및 그에 따른 디바이스
WO2017090810A1 (ko) 웨어러블 디바이스 및 그것의 동작방법
JP6143975B1 (ja) 画像の取り込みを支援するためにハプティックフィードバックを提供するためのシステムおよび方法
WO2015147383A1 (en) Mobile terminal and method of controlling the same
JP6407824B2 (ja) メガネ型ウエアラブル端末およびこの端末を用いる方法
US9848796B2 (en) Method and apparatus for controlling media play device
KR20180055661A (ko) 전자 장치 및 그 제어 방법
WO2020159784A1 (en) Biofeedback method of modulating digital content to invoke greater pupil radius response
CN109240639A (zh) 音频数据的获取方法、装置、存储介质及终端
WO2018093181A1 (ko) 전자 장치 및 그 제어 방법
TWI717425B (zh) 可區別使用者生理特徵的使用者生理感測系統
CN109117819B (zh) 目标物识别方法、装置、存储介质及穿戴式设备
WO2022025678A1 (en) Electronic device for evaluating sleep quality and method for operation in the electronic device
CN108418959A (zh) 电子装置、输出提示信息的方法及相关产品
RU2725782C2 (ru) Система для коммуникации пользователей без использования мышечных движений и речи
CN108304076B (zh) 电子装置、视频播放应用的管理方法及相关产品
WO2018093183A1 (ko) 전자 장치 및 그 제어 방법
WO2014189180A1 (ko) 사건관련전위를 이용한 문자입력장치 및 그 제어방법
KR102191966B1 (ko) 디스플레이 장치 제어 방법 및 장치
CN108600502B (zh) 电子装置、拨号方法及相关产品
CN112995738A (zh) 视频播放方法、装置、存储介质和电子设备
WO2023287042A1 (ko) 수면 상태에 따른 사용자 인터페이스를 제공하는 전자 장치 및 그의 동작 방법
JP2019016378A (ja) メガネ型ウエアラブル端末およびこの端末を用いる方法
Xi et al. Research on the brain mechanism of visual-audio interface channel modes affecting user cognition
WO2023054896A1 (ko) 획득된 데이터에 기반하여 화면을 표시하기 위한 전자 장치 및 방법

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 14847939

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 14847939

Country of ref document: EP

Kind code of ref document: A1