WO2017104869A1 - 아이 브레인 인터페이스(ebi) 장치 및 그 제어 방법 - Google Patents

아이 브레인 인터페이스(ebi) 장치 및 그 제어 방법 Download PDF

Info

Publication number
WO2017104869A1
WO2017104869A1 PCT/KR2015/013894 KR2015013894W WO2017104869A1 WO 2017104869 A1 WO2017104869 A1 WO 2017104869A1 KR 2015013894 W KR2015013894 W KR 2015013894W WO 2017104869 A1 WO2017104869 A1 WO 2017104869A1
Authority
WO
WIPO (PCT)
Prior art keywords
user
frequency
gaze
visual object
brain
Prior art date
Application number
PCT/KR2015/013894
Other languages
English (en)
French (fr)
Inventor
채용욱
Original Assignee
주식회사 룩시드랩스
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 룩시드랩스 filed Critical 주식회사 룩시드랩스
Priority to CN201580085723.9A priority Critical patent/CN108700931A/zh
Priority to PCT/KR2015/013894 priority patent/WO2017104869A1/ko
Priority to JP2018551726A priority patent/JP6664512B2/ja
Priority to US15/740,298 priority patent/US10481683B2/en
Priority to EP15910792.9A priority patent/EP3392739B1/en
Publication of WO2017104869A1 publication Critical patent/WO2017104869A1/ko
Priority to US16/601,418 priority patent/US10860097B2/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/163—Wearable computers, e.g. on a belt
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/015—Input arrangements based on nervous system activity detection, e.g. brain waves [EEG] detection, electromyograms [EMG] detection, electrodermal response detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04842—Selection of displayed objects or displayed text elements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0002—Remote monitoring of patients using telemetry, e.g. transmission of vital signals via a communication network
    • A61B5/0015—Remote monitoring of patients using telemetry, e.g. transmission of vital signals via a communication network characterised by features of the telemetry system
    • A61B5/0024—Remote monitoring of patients using telemetry, e.g. transmission of vital signals via a communication network characterised by features of the telemetry system for multiple sensor units attached to the patient, e.g. using a body or personal area network
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/038—Indexing scheme relating to G06F3/038
    • G06F2203/0381—Multimodal input, i.e. interface arrangements enabling the user to issue commands by simultaneous use of input devices of different nature, e.g. voice plus gesture on digitizer

Definitions

  • the present invention relates to an eye brain interface device controlled according to a user's gaze and brain waves, and a control method thereof, and more particularly, to a calibration method of an eye brain interface device.
  • the brain is the central nervous system responsible for the processing and processing of stimuli, and plays a central role in mental activities such as memory and judgment, as well as motor functions and emotional responses.
  • the frontal lobe is located in the anterior part of the cerebrum and is responsible for the movement of the body according to thoughts, plans, and judgments.
  • the broker region In the frontal lobe, there is a group of neurons that play an important role, the broker region, which can perform more complex functions than the other cerebral regions.
  • the prefrontal cortex which is the widest part of the frontal lobe, is known as a site that separates humans from other animals, synthesizes information from the sensory system, and induces high-dimensional mental activity.
  • BCI technology first introduced the concept at the UCLA lab in the US in 1973 and remained in the R & D and testing phase until the mid-2000s.
  • various headset-type EEG devices such as Emotiv's EPOC, Interexon's Muse, and NeuroSky's MindWave, BCI is rapidly developing and becoming practical.
  • the present specification provides a method for simultaneously calibrating EEG and gaze in an EBI system.
  • the present disclosure provides a method for more accurately and efficiently calibrating the EEG and gaze in the EBI system.
  • the present disclosure provides a method for acquiring an iris pattern in a gaze tracking calibration process.
  • the present disclosure provides a method for measuring and recalibrating a stress index of a user.
  • the present disclosure provides a control method of the EBI system based on the brain wave and the gaze of the user based on the calibration result.
  • an eye-brain calibration (EBC) interface for calibrating the eye and brain waves together Providing a;
  • the EBC interface includes a visual object, instructing the user to stare at the visual object in a specific cognitive state, acquiring the user's gaze and brainwaves for the visual object included in the EBC interface; Mapping the visual object and the gaze of the user; And mapping brain waves of the user to a specific cognitive state instructed by the user. It may include.
  • the mapping of the gaze of the user may be a step of mapping the position coordinates on the screen of the visual object with the position coordinates of the user's gaze.
  • the EBC interface may sequentially and / or alternately provide a first visual object indicating a first cognitive state and a second visual object indicating a second cognitive state.
  • the first cognitive state may be a cognitive state including at least one of concentration and selection
  • the second cognitive state may be a cognitive state including at least one of rest and search.
  • the mapping of the brain waves of the EBI user may include obtaining first raw data for brain waves in the first cognitive state and second raw data for brain waves in the second cognitive state. ; Frequency converting the first and second row data; And setting classification criteria of the first and second recognition states based on frequency characteristics of the frequency-converted first and second row data. It may include.
  • the setting of the classification criteria of the first and second recognition states may include extracting a frequency amplitude for each frequency band of a preset range from the frequency-converted first and second row data; Acquiring Fisher's Ratio for each frequency band by using the extracted frequency magnitude; Selecting a first frequency band having the highest Fisher's Ratio and a second frequency band having the next higher Fisher's Ratio; And setting the first and second frequency bands as classification criteria of the first and second recognition states. It may include.
  • the Fisher's Ratio may be a value calculated based on the average and the variance of the frequency magnitudes in the frequency-converted first row data and the average and the variance of the frequency magnitudes in the frequency-converted second row data. .
  • the frequency band of the predetermined range may correspond to the ⁇ wave band, ⁇ wave band, ⁇ wave band, or ⁇ wave band of the brain wave.
  • the EBC interface may induce the EEG of the user to a specific frequency band by adjusting the frequency at which the visual object blinks.
  • the EBC interface by adjusting the frequency of blinking the visual object in the range of about 8 ⁇ 13Hz, induces the brain wave of the user to the alpha wave range, and adjusts the frequency of blinking the visual object in the range of about 13 ⁇ 30Hz By doing so, the brain waves of the user can be induced in the beta wave range.
  • the method may further include obtaining an iris image from the user's gaze; And encoding the iris image; It may further include.
  • the encoding of the iris image may include: separating the obtained iris image into a plurality of images; Arranging the separated plurality of images in one direction; Converting the images listed in one direction into one two-dimensional image; It may include.
  • the slave device for measuring the eye (eye) and brain waves according to another embodiment of the present invention, the eye tracking unit for tracking the eyes of the user; An EEG sensing unit for sensing the EEG of the user; A communication unit for performing communication with a host device; And a processor controlling the eye tracking unit, the brain wave sensing unit, and the communication unit;
  • the host device is a device for providing an eye-brane calibration (EBC) interface for simultaneously calibrating the eye and brain waves, the EBC interface includes a visual object, the user to recognize the visual object specific state
  • the processor may acquire the gaze and the brain wave of the user and transmit the gaze and the brain wave of the user to the host device.
  • EBC eye-brane calibration
  • the host device controlled based on the gaze and brain waves comprising: a display unit for displaying an image; A communication unit for communicating with a slave device; A processor controlling the display unit and the communication unit; Wherein the processor provides an eye-brain calibration (EBC) interface for simultaneously calibrating the eye and brain waves, wherein the EBC interface includes a visual object and provides a user with a specific cognitive state to stare at.
  • EBC eye-brain calibration
  • the processor may map the position coordinates on the screen of the visual object and the position coordinates of the user's gaze when the gaze of the user is mapped.
  • the EBC interface may sequentially and / or alternately provide a first visual object indicating a first cognitive state and a second visual object indicating a second cognitive state.
  • the first cognitive state may be a cognitive state of concentration or selection
  • the second cognitive state may be a cognitive state of rest or search.
  • the processor acquires first raw data for the brain waves in the first cognitive state and second raw data for the brain waves in the second cognitive state. And frequency converting the first and second row data, extracting a frequency size for each frequency band in a preset range from the frequency-converted first and second row data, and using the extracted frequency magnitude. Obtain a star Fisher's Ratio, select a first frequency band having the highest Fisher's Ratio and a second frequency band having the next higher Fisher's Ratio, and classify the first and second frequency bands into the first and second recognition states. Can be set as a reference.
  • the processor may acquire the brain waves of the user in real time, and classify the brain waves of the user in real time according to the classification criteria.
  • the EBC interface may induce the EEG of the user to a specific frequency band by adjusting the frequency at which the visual object blinks.
  • the EBC interface capable of simultaneously calibrating the EEG and the gaze since the EBC interface capable of simultaneously calibrating the EEG and the gaze is provided, the user can more easily and quickly calibrate the EEG and the gaze at the same time.
  • the cognitive state of the EEG is distinguished using the frequency characteristics of the EEG, there is an effect that can be distinguished more accurately the cognitive state of the EEG.
  • the iris pattern may be utilized as user authentication information.
  • FIG. 1 is a diagram illustrating an iBrain interface system according to an exemplary embodiment of the present invention.
  • FIG. 2 is a block diagram of a host device and a slave device according to an embodiment of the present invention.
  • 3 is a diagram illustrating various embodiments of a slave device.
  • EBI iBrain interface
  • FIG. 5 is a block diagram of an EBI device in accordance with an embodiment of the present invention.
  • FIG 6 illustrates embodiments of an EBC interface.
  • FIG. 7 is a diagram illustrating an embodiment of data acquired according to an EBC interface according to an embodiment of the present invention.
  • FIG 8 illustrates an EBI system for performing gaze calibration according to an embodiment of the present invention.
  • FIG. 9 illustrates an EBI system for acquiring an iris pattern of a user according to an embodiment of the present invention.
  • FIG. 10 is a flowchart illustrating an EBI system for classifying brain waves of a user according to an embodiment of the present invention.
  • FIG 14 illustrates various applications of an EBI system in accordance with an embodiment of the present invention.
  • 15 is a flowchart illustrating a control method of an EBI system according to an embodiment of the present invention.
  • 1 is a diagram illustrating an iBrain interface system according to an exemplary embodiment of the present invention.
  • 2 is a block diagram of a host device and a slave device according to an embodiment of the present invention.
  • an EyeBrain Interface (EBI) system may include a host device 150 and a slave device 100.
  • the slave device 100 may represent various types of wearable devices that can be worn by a user.
  • the slave device 100 may represent a device that contacts / wears on a user's body part such as a head mounted display (HMD), a headset, a smart ring, a smart watch, an earset, an earphone, and the like.
  • the slave device 100 may include at least one sensor to sense the biosignal of the user through a body part of the user.
  • the biosignal may represent various signals generated from the user's body according to the user's conscious and / or unconscious (eg, breathing, heartbeat, metabolism, etc.) behavior such as pulse, blood pressure, brain wave, and the like.
  • the slave device 100 may sense the brain wave of the user as the biosignal of the user and transmit the sensing result to the host device 150.
  • the host device 150 may represent a device operating based on a sensing result of the biosignal received from the slave device 100.
  • the host device 150 may be various electronic devices that receive a biosignal sensing result of the user from the slave device 100 and perform various operations based on the received sensing result.
  • the host device 150 may be, for example, various electronic devices such as a TV, a smartphone, a tablet PC, a smart car, a PC, a laptop, and the like.
  • the EBI system includes a slave device 100 and a host device 150 to provide a control scheme based on a biosignal of a user.
  • the system directly senses the user's intention by sensing the user's biosignal and is controlled accordingly.
  • the EBI system provides the user with a more convenient and intentional control method.
  • the configuration of the slave device 100 and the host device 150 will be described in more detail.
  • the slave device 100 includes a position marker unit 120, a gaze tracking unit 130, an EEG sensing unit 110, a sensor unit 260, a communication unit 250, and a processor 240. ) May be included.
  • the position marker unit 120 may include at least one light emitting device (eg, an infrared LED) that emits light.
  • the host device 150 may track the position marker unit of the slave device 100 in real time, whereby the position of the user wearing the slave device 100, the position, the distance between the host device 150 and the user, and The relative position, etc. (hereinafter, 'user's position') can be detected.
  • the plurality of light emitting elements may be positioned in the position marker unit 120 spaced apart by a predetermined distance.
  • the host device 150 may detect the relative distance between the host device 150 and the user by tracking the light emitting elements of each position marker unit 120 and measuring the separation distance between the light emitting elements in real time. Can be. For example, when the position marker unit 120 moves away from the host device 150, the separation distance between the light emitting elements measured in the host device 150 is reduced, and the position marker unit 120 is connected to the host device 150. When approaching, the separation distance between the light emitting devices measured by the host device 150 may increase.
  • the host device 150 calculates a ratio between the separation distance between the light emitting devices measured in real time and the predetermined separation distance between the actual light emitting devices, and thereby calculates the relative distance between the host device 150 and the user. The distance can be calculated.
  • the position marker unit 120 for tracking a user's position may be included in the slave device 100 in various forms, and the host device 150 includes the position, size, and location of these position marker units 120. The position of the user may be detected based on the number, location, and separation distance of the light emitting devices.
  • the gaze tracking unit 130 may track the gaze of the user.
  • the gaze tracking unit 130 may be provided in the slave device 100 to be positioned around the eyes of the user to track the eyes of the user (eye movement) in real time.
  • the eye tracking unit 130 may include a light emitting device (eg, an infrared LED) that emits light and a camera sensor that receives (or senses) the light emitted from the light emitting device.
  • the gaze tracking unit 130 may photograph light reflected from the user's eyes with a camera sensor and transmit the photographed image to the processor 240 (video analysis method).
  • video analysis method video analysis method
  • the eye tracking unit 130 may include a contact lens method (mirror built-in contact) in addition to the above-described video analysis method.
  • User's eyes using the reflected light of the lens, the eye tracking method using the magnetic field of the coiled contact lens) or the sensor attachment method (the eye tracking method using the electric field according to the eye movement by attaching the sensor around the eyes) Can be tracked.
  • the EEG sensing unit 110 may sense the EEG of the user.
  • the EEG sensing unit 110 may include at least one electroencephalogram (EGE) sensor and / or a magnettoencephalography (MEG) and a near-infrared spectrometer (NIRS).
  • EGE electroencephalogram
  • MEG magnettoencephalography
  • NIRS near-infrared spectrometer
  • the brain wave sensing unit 110 may be provided at a body (eg, head) contact position where the brain wave of the user may be measured when the user wears the slave device 100, and measure the brain wave of the user.
  • the EEG sensing unit 110 measures an electrical / optical frequency that varies according to the EEG of the various frequencies generated from the body part of the contacted user or the activation state of the brain.
  • EEG is a biosignal
  • simply extracting the brain waves of the user and analyzing them on a uniform basis is less accurate in distinguishing the user's current cognitive state. Therefore, in order to accurately measure the cognitive state of the user based on the EEG, the present disclosure provides a calibration method of the EEG according to the current cognitive state for each user. A more detailed description thereof will be described later with reference to FIGS. 11 to 14.
  • the sensor unit 260 may include at least one sensing means, and may sense the surrounding environment of the device 100 using the sensing means. In addition, the sensor unit 260 may transmit the sensing result to the processor. In particular, in the present specification, the sensor unit may sense a movement, a movement, and the like of the slave device 100 and transmit a sensing result to the processor 240.
  • the sensor unit 260 is an inertia measurement unit (IMU) sensor, a gravity sensor, a geomagnetic sensor, a motion sensor, a gyro sensor, an accelerometer, a magnetometer, an acceleration sensor, an infrared ray as a sensing means.
  • the sensor may include an inclination sensor, an altitude sensor, an infrared sensor, an illuminance sensor, a global positioning system (GPS) sensor, and the like.
  • GPS global positioning system
  • the sensor unit 260 collectively refers to the various sensing means described above.
  • the sensor unit 260 may sense various user inputs and environment of the device, and may transmit a sensing result to allow the processor to perform an operation accordingly.
  • the above-described sensing means may be included in the slave device 100 as a separate element or integrated into at least one or more elements.
  • the communication unit 250 may communicate with an external device using various protocols, and may transmit / receive data through the communication unit 250.
  • the communication unit 250 may connect to a network by wire or wirelessly to transmit / receive various signals and / or data.
  • the slave device 100 may perform pairing with the host device 150 using the communication unit 250.
  • the slave device 100 may transmit / receive various signals / data with the host device 150 using the communication unit 250.
  • the processor 240 may control the position marker unit 120, the eye tracking unit 130, the brain wave sensing unit 110, the sensor unit 260, and the communication unit 250.
  • the processor 240 may control transmission / reception of signals (or data) between the above-described units.
  • the processor 240 may transmit a sensing result received from at least one sensor provided in the slave device 100 to the host device 150.
  • the sensing result may refer to raw data obtained by using at least one sensor included in the slave device 100 or data processed through a predetermined algorithm.
  • processor 240 may perform various operations for calibrating the user's gaze and brain waves, which will be described in detail later with reference to FIGS. 6 to 13.
  • the slave device 100 may optionally include some of the configuration units shown in FIGS. 1 and 2, and in addition, various units required for the purpose and operation of the device, such as a memory unit, a camera unit, and a power supply unit. May be further included.
  • the host device 150 may include a camera unit 140, a display unit 210, a communication unit 230, and a processor 220.
  • the camera unit 140 may photograph the position marker unit 120 of the slave device 100.
  • the camera unit 140 may capture the position marker unit 120 of the slave device 100 to obtain a captured image of the position marker unit 120.
  • the camera unit 140 may transmit the acquired captured image to the processor 220, and the processor 220 may process the captured image to acquire a position of a user wearing the slave device 100.
  • the processor 220 may acquire the position of the user by analyzing the position and size of the position marker units 120, the number of the light emitting elements included therein, the position, and the separation distance.
  • the camera unit 140 may be configured as a wide angle camera having an angle of view of about 60 degrees or more.
  • the camera unit 140 is configured as a general camera (camera having an angle of view of less than 60 degrees), the left and right angles of about 60 degrees in front of the host device 150, about 60 to about between the slave device 100 and the host device 150. You can track your position in the 90cm range.
  • the camera unit 140 is configured with a wide angle camera (camera having an angle of view of 60 degrees or more), the left and right angles of about 170 degrees in front of the host device 150, and between the slave device 100 and the host device 150 Position tracking is possible up to a distance of about 3m.
  • the camera unit 140 of the present invention can be configured as a wide angle camera to obtain more accurate position data of the user.
  • the display unit 210 may display an image.
  • the image may represent a still image, a moving image, text, a virtual reality (VR) image, an AR (Augment Reality) image, or various other visual expressions including the same, which may be displayed on the screen.
  • the display unit 210 includes a liquid crystal display, a thin film transistor-liquid crystal display, an organic light-emitting diode (OLED), a 3D display, a transparent It may include at least one of a transparent OLED (TOLED).
  • the display unit 210 may be made of a metal foil, very thin grass, or a plastic substrate.
  • a plastic substrate a PC substrate, a PET substrate, a PES substrate, a PI substrate, a PEN substrate, an AryLite substrate, or the like may be used.
  • the communication unit 230 may communicate with an external device using various protocols, and may transmit / receive data through the communication device 230.
  • the communication unit 230 may connect to a network by wire or wirelessly to transmit / receive various signals and / or data.
  • the host device 150 may perform pairing with the slave device 100 using the communication unit 230. In addition, the host device 150 may transmit / receive various signals / data with the slave device 100 using the communication unit 230.
  • the processor 220 may control the camera unit 140, the display unit 210, and the communication unit 230.
  • the processor 220 may control transmission / reception of signals (or data) between the above-described units.
  • the processor 220 may perform various commands (or operations) corresponding to the sensing result received from the slave device 100. For example, when the gaze coordinates of the user are received as a result of sensing, the processor 220 may execute a command for selecting a visual object (eg, an icon) at a specific position on the display unit 210 mapped to the gaze coordinates. Can be done. In addition, when user EEG data corresponding to the “focused” state is received as the sensing result, the processor 220 may execute a command for executing the selected visual object (eg, executing an application corresponding to the selected icon). have.
  • a visual object eg, an icon
  • Calibration needs to be preceded.
  • the EEG calibration for mapping the specific cognitive state of the user and the EEG of a specific frequency also needs to be preceded.
  • the present invention can provide an EBC (Eye Brain Calibration) interface for simultaneously calibrating the user's eye and brain waves, which will be described later in detail with reference to FIGS.
  • EBC Eye Brain Calibration
  • the host device 150 may optionally include some of the configuration units shown in FIGS. 1 and 2, and in addition, various units required for the purpose and operation of the device, such as a sensor unit, a memory unit, and a power supply unit. May be further included.
  • each unit included in the host device 150 and the slave device 100 is illustrated separately, but the unit of the slave device 100 may be included in the host device 150.
  • the unit of the host device 150 may be included in the slave device 100.
  • the eye tracking unit of the slave device 100 may be included in the host device 150 instead of the slave device 100 according to an embodiment.
  • the above-described processors 220 and 240 may be embedded in a device (slave or host) or may be implemented in an independent form outside the device (not shown).
  • the processors 220 and 240 may exist in the form of an external processor that is easy to carry by a user.
  • the user may connect the external processors 220 and 240 to a specific device as needed, and the device to which the external processors 220 and 240 are connected may be a slave or a host device 100 or 150.
  • the external processors 220 and 240 may process various data (particularly, data about a user's biosignal) by a predetermined algorithm so that the connected device may perform a slave or host device 100 and 150 function. have.
  • the connected device should be provided with a unit capable of sensing a user's biosignal.
  • FIG. 2 is a block diagram according to an exemplary embodiment, in which the blocks marked separately represent logical elements of hardware of the slave / host devices 100 and 150. Accordingly, the above-described elements of the slave / host devices 100 and 150 may be mounted in one chip or in a plurality of chips according to the design of each device.
  • 3 is a diagram illustrating various embodiments of a slave device.
  • the slave device may be implemented as various form factors.
  • the slave device 100-1 may be implemented in the form of a headset.
  • the EEG sensing unit 110-1 of the slave device 100-1 may be located at a contact portion of the head and / or forehead of the user, and may sense the brain wave of the user from the head and / or forehead.
  • the gaze tracking unit 130 may be positioned around the eyes of the user, and may track the gaze of the user in real time.
  • the sensor unit 110-2 may be located in the main body of the slave device 100-1, and may track a user's head position (movement, movement, etc.) in real time.
  • the configuration units included in the slave device 100-1 may be included in the main body of the slave device 100-1.
  • the slave device 100-2 may be implemented in the form of an earset.
  • the EEG sensing unit 110-1 of the slave device 100-2 may be located at a portion that is inserted into the user's ear (eg, the inner ear or the inner ear), and in the user's ear. EEG can be sensed.
  • a speaker unit (not shown) that outputs sound may be located at a portion that is inserted into the user's ear together with the EEG sensing unit 110-1.
  • the gaze tracking unit 130 may be positioned around the eyes of the user, and may track the gaze of the user in real time.
  • the component units included in the slave device 100-2 may be included in the main body of the slave device 100-2.
  • the slave device 100 may be implemented in various form factors so as to sense the gaze / brain wave of the user, and is not limited to the embodiment illustrated in this drawing.
  • EBI iBrain interface
  • the EBI device 400 may represent a device in which the slave device 100 and the host device 150 described above with reference to FIGS. 1 to 3 are integrated into one device. Therefore, the EBI device 400 may directly sense the biosignal and perform various operations based on the sensing result.
  • the EBI device 400 may be configured in the form of a wearable device that can be worn on a user's body.
  • the EBI device 400 may include an EEG sensing unit 500, a gaze tracking unit 510, a communication unit 530, a display unit 540, and a processor 520. Since the description of the units included in the EBI device 400 overlaps with the description above in FIG. 2, the following description will focus on the differences.
  • the EEG sensing unit 500 may sense the EEG of the user.
  • the EEG sensing unit 500 may include at least one electroencephalogram (EGE) sensor and / or a magnettoencephalography (MEG).
  • EGE electroencephalogram
  • MEG magnettoencephalography
  • the brain wave sensing unit 500 may be provided at a body (eg, head) contact position where the user's brain wave may be measured when the user wears the EBI device, and measure the brain wave of the user.
  • the gaze tracking unit 510 may track the eyes of the user.
  • the gaze tracking unit 510 may be provided in the EBI device 400 to be positioned around the eyes of the user to track the eyes of the user (eye movement) in real time.
  • the gaze tracking unit 510 may include a light emitting device (eg, an infrared LED) that emits light and a camera sensor that receives (or senses) the light emitted from the light emitting device.
  • the communication unit 530 may communicate with an external device using various protocols, and may transmit / receive data through the communication unit 530.
  • the communication unit 530 may connect to a network by wire or wirelessly to transmit / receive various signals and / or data.
  • the display unit 540 may display an image.
  • the image may represent a still image, a moving image, text, a virtual reality (VR) image, an AR (Augment Reality) image, or various other visual expressions including the same, which may be displayed on the screen.
  • VR virtual reality
  • AR Augment Reality
  • the processor 520 may control the EEG sensing unit 500, the eye tracking unit 510, the communication unit 530, the display unit 540, and the communication unit 530.
  • the processor 520 may control transmission / reception of signals (or data) between the above-described units.
  • the processor 520 may perform various operations corresponding to the sensing result received from the EEG sensing unit 500 and / or the gaze tracking unit 510.
  • the EBI device 400 may optionally include some of the component units shown in FIG. 5, and in addition to the various components required for the purpose and operation of the device 400 such as a sensor unit, a memory unit, and a power supply unit. Units may be further included.
  • FIG. 5 is a block diagram according to an exemplary embodiment, in which the blocks marked separately represent logical elements of hardware elements of the EBI device 400.
  • the elements of the EBI device 400 described above may be mounted on one chip or on multiple chips, depending on the design of each device.
  • the EBI system may provide an EBC (Eye Brain Calibration) interface for calibrating the user's eyes and brain waves, and the user's eyes and the brain waves can be simultaneously calibrated through the EBC interface.
  • EBC Eye Brain Calibration
  • the present invention is not limited thereto, and according to an exemplary embodiment, the EBI system may perform calibration for only one of the EEG and the gaze of the user through the EBC interface.
  • a slave / host device and an EBI device will be collectively referred to as an EBI system. Therefore, the description of the EBI system described below may be applied to the slave and the host device when the EBI system includes the slave and the host device, and may be applied to the EBI device when the EBI system includes the EBI device.
  • FIG 6 illustrates embodiments of an EBC interface.
  • An EBI system may simultaneously perform calibration for a user's gaze and brain waves through an EBC interface.
  • the EBI system can provide the user with an EBC interface for inducing a specific cognitive state at the same time as well as simultaneously inducing the movement of the gaze with respect to a specific point on the screen.
  • the EBI system may sequentially display a plurality of visual objects located at different points as an EBC interface, and instruct a user to sequentially stare at the displayed plurality of visual objects. can do.
  • the EBI system may instruct the user to stare at a certain visual object with a focused perception state, and when looking at another visual object, at a rest (or simply stare / decentralize) a stare at the stare.
  • the EBI system can alternately display a plurality of visual objects with different visual effects (eg, color, size, shape, contrast, flicker, etc.).
  • the EBI system can display red and blue visual objects alternately and sequentially, instructing the user to stare at the red cognitive state of focus, and the blue object to stare at the cognitive state of rest. can do.
  • the EBI system may instruct the user to stare with a perceived state of search (or search) when the user moves his / her eyes from one visual object to the next.
  • the EBI system may or may not directly guide (or display) the gaze path from the particular visual object to the next visual object.
  • the EBI system may acquire the user's gaze coordinates for a particular visual object and at the same time acquire the brain waves of the user looking at the visual object.
  • the EBI system may acquire the gaze coordinates of the user following the gaze path, and may also acquire the EEG of the user looking at the gaze path.
  • the EBI system can only acquire the brainwaves of the user.
  • the EBI system may map the coordinates on the screen of the specific visual object and the acquired gaze coordinates of each other.
  • the EBI system may map the cognitive state instructed to the user with respect to the particular visual object with the acquired brain waves of the user. This enables the EBI system to calibrate eye and brain waves simultaneously and easily through one interface.
  • the EBC interface allows a plurality of visual objects one by one (eg, polygons, circles, etc.) or in an unspecified form (randomly). (Or a predetermined number) may be sequentially displayed, and visual objects having different visual effects (eg, color, shape, size, shape, flickering, contrast, etc.) may be alternately displayed.
  • the EBC interface may display a plurality of visual objects at the same time and sequentially indicate visual objects that the user should stare by giving a visual effect to a particular visual object.
  • the EBC interface may also indicate a user's cognitive state through visual effects given to the corresponding visual object.
  • the EBC interface may adjust the frequency at which the visual objects blink to induce the user's brain to a specific cognitive state.
  • frequencies of about 8-12 Hz are known to help guide brain waves into the alpha ( ⁇ ) wave region corresponding to the resting (or searching) state.
  • the EBC interface can impart a visual effect such that a particular visual object blinks at a frequency of about 8-13 Hz to induce a 'rest' cognitive state. Therefore, the user may be induced to the 'rest' state by simply staring at the visual object, and the EBI interface may extract the brainwave of the user and map it to the cognitive state of rest.
  • the frequency of about 13 ⁇ 30Hz is known to help guide the EEG into the beta ( ⁇ ) wave region corresponding to the concentration (or awakening, selection, etc.) state.
  • the EBC interface can impart a visual effect such that a particular visual object blinks at a frequency of about 13-30 Hz to induce a 'focus' cognitive state. Therefore, the user may be induced to a 'focus' state by simply staring at the visual object, and the EBI interface may extract the brainwave of the user and map it to the cognitive state of concentration.
  • the EBC interface may calibrate the user's gaze and brain waves simultaneously by inducing the user's gaze and a specific cognitive state to a specific point on the screen in various ways.
  • the EBC interface may also acquire an iris pattern of the user. Since the iris pattern is different for each user such as a fingerprint, it can be usefully used as user authentication information.
  • the EBI system that has completed the gaze / brain wave calibration can use the user's brain wave as the control information regarding the user's execution command, and the user's eye as the control information regarding the user's execution command position. For example, if the user gazes after staring at a particular icon, the EBI system may perform a command to execute the icon stared by the user.
  • FIG. 7 is a diagram illustrating an embodiment of data acquired according to an EBC interface according to an embodiment of the present invention.
  • the EBI system may simultaneously acquire data regarding the gaze and the brain wave of the user through the EBC interface.
  • the EBI system may further obtain data regarding the user's iris while providing an EBC interface.
  • the data thus obtained can be processed by some algorithm.
  • EEG since the EEG patterns are different according to cognitive states such as concentration, decentralization, and search for each user, there is a need to process data through a specific algorithm to more clearly distinguish EEG according to each cognitive state.
  • FIG 8 illustrates an EBI system for performing gaze calibration according to an embodiment of the present invention.
  • the EBI system assumes that the eye pupil is located at a specific coordinate (Xs, Ys) when the user looks at a specific point (Xp, Yp) on the screen, thereby multivariate linear regression between the two spaces. It can be inferred from the back.
  • the EBI system may instruct the user to look at a specific point (Xp, Yp) on the screen via the EBC interface.
  • the EBI system may obtain the gaze-tracking image of the user through the gaze tracking unit, and obtain the gaze coordinates (Xs, Ys) of the user from the captured image.
  • the gaze coordinate of the user may be a relative coordinate determined based on the center of the eye (or the pupil of the eye).
  • the EBI system may map a gaze coordinate of the user with a specific point on the screen.
  • the EBI system may map a gaze coordinate and a specific point on the screen by using Equation 1 below.
  • the EBI system may further use data regarding the head position of the user (using a position marker unit, camera unit and / or sensor unit) to obtain a more accurate eye gaze coordinate of the user.
  • a position marker unit, camera unit and / or sensor unit used to obtain a more accurate eye gaze coordinate of the user.
  • the EBI system can additionally obtain data about the user's head position in order to more accurately detect the user's gaze position, which can be used as additional data to accurately track the user's gaze. .
  • the EBI system may additionally acquire the iris pattern data of the user while tracking the eyes of the user, which will be described later with reference to FIG. 9.
  • FIG. 9 illustrates an EBI system for acquiring an iris pattern of a user according to an embodiment of the present invention.
  • the EBI system may not only track the gaze of the user in real time through the gaze tracking unit, but also acquire an iris pattern of the user. Like the fingerprint, since the iris pattern is different for each user, the EBI system can use the iris pattern as user authentication information. For example, the EBI system may utilize the iris pattern as various user authentication information such as user login authentication information, payment authentication information, and security information.
  • the EBI system may set an image of the iris region as an ROI (Region Of Interest) among the infrared images of the user's eyes obtained using the eye tracking unit, and separate them separately.
  • the EBI system may separate the separated ROI image into a plurality of images, and then arrange the separated plurality of images in one direction.
  • the EBI system may perform encoding operation to convert images listed in one direction into one two-dimensional image (for example, two-dimensional barcode or QR code), thereby obtaining a user-specific iris pattern.
  • the EBI system may acquire an iris pattern by using one infrared image, but in order to obtain a more accurate iris pattern of the user, the EBI system may acquire an iris pattern by combining infrared images of gazes facing various directions. Can be.
  • the iris pattern of the user becomes less accurate as more areas are covered by eyelids, eye angles, and light reflections. Accordingly, the EBI system may acquire infrared images of the user's eye for various gaze directions, obtain an iris pattern from each image, and combine the obtained iris patterns to obtain one iris pattern.
  • the EBI system can distinguish the user's iris pattern with a high probability.
  • 10 is a flowchart illustrating an EBI system for classifying brain waves of a user according to an embodiment of the present invention.
  • 11 to 13 show data obtained by performing specific steps of the flowchart.
  • the EBI system may acquire raw data regarding brain waves of a user using an EEG sensing unit (S1010).
  • the EBI system may instruct the user through a variety of cognitive states (for example, selection / search / concentration / rest) through the above-described EBC interface, sense the brain waves of each cognitive state, to obtain raw data .
  • the low data of EEG regarding the cognitive states of selection / search was as shown in FIG. 11 (a).
  • the raw data of the EEG regarding the cognitive state of rest was as shown in Fig. 12 (a).
  • the brain wave in the search state has a sharp change than the brain wave in the selection state.
  • FIG. 12 (a) it was found that the brainwaves in the resting state and the brainwaves in the concentrated state are difficult to clearly distinguish with the naked eye.
  • An EEG is a signal formed by combining various sin wave-type signals, and has a characteristic distinguished according to a specific cognitive state in a frequency band. Therefore, in order to more clearly distinguish the EEG according to the cognitive state, the FFT transform may be performed on the raw data (S1020). In this case, Equation 2 below may be used.
  • FIGS. 11B and 12B Graphs in which the raw data is FFT-converted are shown in FIGS. 11B and 12B.
  • the brain waves in the search and selection states showed a large difference in the frequency band of about 0 to 10 Hz.
  • FIG. 12 (b) the brain waves in the concentrated and rest states are about 10. The difference was large in the ⁇ 20Hz frequency band.
  • the EBI system may extract a frequency amplitude for each frequency band of the EEG from the sample data converted into the frequency domain region (S1030).
  • the frequency bands that can be extracted are ⁇ wave (0 ⁇ 4Hz), ⁇ wave (4 ⁇ 8Hz), ⁇ wave (8 ⁇ 13Hz) and ⁇ wave (13 ⁇ 30Hz). (8 ⁇ 10Hz), High ⁇ 10 ⁇ 13Hz, Low ⁇ (13 ⁇ 20Hz), High ⁇ (20 ⁇ 30Hz).
  • the frequency size can be extracted for each of the divided bands, and the frequency size for each band can be applied to an algorithm for extracting the features of EEG.
  • EEG shows different patterns for different users for the same stimulus. Therefore, in order to accurately process the EEG data for each user, a calibration process of the EEG for each user is required.
  • an algorithm or an algorithm for setting a criterion for classifying the cognitive state of the EEG for extracting the frequency characteristics of the EEG according to the cognitive state for each user may be applied.
  • Fisher's Ratio is used.
  • Fisher's Ratio is a method of measuring the discriminative power between data groups, and the equation for obtaining this is as shown in Equation 3 below.
  • m1 represents the mean of one data group among two groups
  • m2 represents the mean of the remaining data groups
  • v1 represents the variance of one data group
  • v2 represents the variance of the other data groups.
  • the average and the variance may be calculated using the frequency size extracted for each frequency band.
  • m1 and v1 may correspond to an average and a variance of frequency magnitudes of the FFT-converted row data when FFT transforms the raw data in the seek (or concentrate) state
  • m2 and v2 are the concentrated (or rest) states.
  • FFT transforming the raw data it may correspond to the mean and the variance of the frequency magnitudes of the FFT-converted raw data, respectively. ).
  • Fisher's Ratio can be used to measure the discriminative power between two standard distributions. More specifically, by using Fisher's Ratio to find a frequency band that maximizes the amplitude (amplitude) of the user's specific cognitive state (e.g., selection, concentration, rest, search, etc.) in each frequency band, It is possible to find an optimal frequency band for distinguishing a specific cognitive state for each user.
  • specific cognitive state e.g., selection, concentration, rest, search, etc.
  • the Fisher's Ratio of the EEG is compared for each frequency band, and two frequency band sizes (the highest and next higher Fisher's Ratio) of the EEG having the highest Fisher's Ratio among them may be selected as the characteristic frequency band for distinguishing the recognition state (S1050). . Fisher's Ratio extracts two characteristic frequency bands that greatly affect each recognition state. The larger the Fisher's Ratio, the higher the accuracy in distinguishing each recognition state.
  • Fig. 11 (c) shows Fisher's Ratio calculated from brain waves in the selection / search state
  • Fig. 12 (c) shows Fisher's Ratio calculated from brain waves in the concentrated / rest state.
  • the selection / search state has been distinguished from each other in the frequency band of about 0 to 5 Hz and about 5 to 10 Hz.
  • the concentrated / relaxed states have characteristics that are distinguished from each other in a frequency band of about 0 to 5 Hz and a frequency band of about 10 to 20 Hz.
  • 11 (d) and 12 (d) are graphs representing the size of a feature frequency band extracted through Fisher's Ratio in a selection / search / concentration / rest recognition state in a two-dimensional region. 11 (d) and 12 (d), it was confirmed that data of the same cognitive state are collected at a specific position.
  • the EBI system may apply a classification model to determine which group the newly acquired data belongs to (S1060). That is, the EBI system may apply a classification model for determining whether the newly acquired EEG belongs to which cognitive state.
  • the EBI system may apply SVM (Support Vector Machine) as the classification model. SVM is considered to have better generalization capability and performance than other classification models.
  • the EBI system may distinguish (or classify) newly acquired EEG data in real time through the SVM for each cognitive state based on a feature acquired using Fisher's Ratio (S1070).
  • the Fisher's Ratio and SVM techniques which extract the features of the frequency band, were able to distinguish the brain wave's cognitive state with about 80% accuracy.
  • specific criteria and methods for calibrating a user's brain waves have not been established, and thus the accuracy of controlling a device using only the user's brain waves has been reduced.
  • the cognitive state of the user EEG can be distinguished more accurately through the calibration method proposed by the present invention, the user can precisely control the device according to the user's intention only with the EEG.
  • Each step of the flowchart of FIG. 10 may be performed by at least one device included in the EBI system, respectively.
  • the EBI system includes one EBI device
  • the steps of the flowchart of FIG. 10 may be performed by the EBI device.
  • the EBI system includes a slave device and a host device
  • some of the steps of the flowchart of FIG. 10 may be performed by the slave device, and the remaining steps may be performed by the host device.
  • FIG. 13 is a diagram illustrating an embodiment of a recalibration method according to an embodiment of the present invention.
  • the EBI system may map / classify data on newly acquired gaze and brain waves based on the calibration result, and perform various commands corresponding to the mapping / classification state. For example, the EBI system may map a user's gaze and a specific icon on the screen based on the calibration result. In addition, when the EBI system additionally acquires EEG data classified into a concentrated (or selected) state while looking at the icon, the EBI system may perform a command for selecting and executing the icon.
  • the EBI system performs a mapping / classification operation of the newly acquired data based on the calibration result, and performs a command corresponding to the mapped / classified data.
  • the environment at the time of calibration may be different from the current environment, or the accuracy of the calibration result may be reduced due to the change of the user or the user's environment.
  • the EBI system needs to recalibrate (recalibration).
  • Recalibration of an EBI system can be triggered in various embodiments.
  • the recalibration of the EBI system can be triggered directly from the user.
  • the EBI system may perform recalibration when it receives a user input for commanding recalibration.
  • the user input may represent various types of input such as a voice, a touch, a gesture, a motion, and a motion of the user.
  • the recalibration of the EBI system may be automatically triggered by measuring the stress index of the user. If the device operates in accordance with the EEG and the user's intention (in case of malfunction), the stress index of the user may increase. Therefore, when the stress index of the user is outside the predetermined threshold TH range, the EBI system may determine that recalibration is necessary and perform recalibration.
  • Beta wave and gamma wave among the brain waves of the user are known to be associated with the stress index. Accordingly, the EBI system may measure gamma and beta waves of the user EEG in real time, and perform recalibration when a specific wave is out of a predetermined threshold range.
  • the EBI system can measure, in real time, vital signals known to be associated with the stress index, such as heart rate, blood pressure, and trigger recalibration based on the measurement results.
  • the EBI system will provide the EBC interface back to the user for recalibration.
  • FIG 14 illustrates various applications of an EBI system in accordance with an embodiment of the present invention.
  • the EBI system may be applied to various technical fields such as a drone control technology field, a home network technology field, an education field, a portable device technology field, a vehicle control technology field, an entertainment field, and the like.
  • the host device may be the drone 140-1 and the slave device may be the wearable device 100.
  • the user wears the slave device to control the drone through brain waves and gaze.
  • the wearable device 100 when the wearable device 100 is in the form of a headset that can be worn on the user's head, the user may control the movement of the drone 140-1 through the head position.
  • the drone When the user moves the head forward / backward / left / right, the drone may move forward / backward / left / right according to the movement of the user's head.
  • the moving speed of the drone 140-1 when the user concentrates while looking at the drone 140-1 while wearing the wearable device 100, the moving speed of the drone 140-1 may increase, and the user may move the drone 140-1. If you look and rest, the drone 140-1 may stop at a point without moving.
  • the drone 140-1 may operate based on various biosignals of the user.
  • EBI systems can be applied to vehicle control technology.
  • the EBI system may be applied to a technical field for controlling various vehicles such as a car, an airplane, and a bicycle.
  • the vehicle 140-4 may be a host device, and the wearable device 100 worn on a user's body may be used. May be a slave device.
  • the various home devices 140-2 located in the home may be a host device, and the wearable device 140-4 wearable to the user's body may be a slave device. Can be.
  • the user may simply control the home devices by looking at the specific home device 140-2 while wearing the wearable device 140-4 and giving a specific command through an EEG.
  • the light bulb 140-2 may be turned on or off.
  • the various educational devices 140-3 may be a host device, and the wearable device 100 wearable on the user's body may be a slave device.
  • the EBI system can measure the concentration of the user, and can track in real time how much the user is currently focused. At this time, the EBI system may help to improve the learning efficiency by recommending to re-learn later part of the learning at a time when the concentration is less concentrated.
  • the EBI system may be applied to various technical fields.
  • the EBI system may be applied to various fields to which a control technique using a user's biosignal may be applied, and is not limited to the above-described embodiments.
  • the EBI system when only one of the EEG and the gaze is required as the control signal, the EBI system may perform calibration only on the required EEG or the gaze. That is, according to the embodiment, the EBI system may calibrate the EEG and the eye at the same time, or may perform the calibration for only one of the EEG and the eye.
  • FIG. 15 is a flowchart illustrating a control method of an EBI system according to an embodiment of the present invention.
  • this flowchart the descriptions of the above-described embodiments can be equally applied. Therefore, hereinafter, description overlapping with the above description will be omitted.
  • the EBI system may provide an EBC interface (S1510). More specifically, the EBI system can provide an EBC interface for simultaneously calibrating the user's eye and brain waves.
  • the EBC interface may include at least one visual object, and may instruct the user to stare with a specific recognition state for the visual object.
  • the EBC interface may be provided to the user in various embodiments, as described above with respect to FIG. 6.
  • the EBI system may acquire the gaze and the brain wave of the user (S1520). More specifically, the EBI system may acquire the gaze and the EEG of the user for the EBC interface using the EEG sensing unit and the gaze tracking unit.
  • the EBI system may map the user's gaze with the visual object provided by the EBC interface (S1530).
  • the EBI system may mutually map the position coordinates of the visual object and the gaze coordinates of the user.
  • the EBI system may map the position of the visual object and the gaze of the user through multivariate linear regression, and the like will be described with reference to FIG. 8.
  • the EBI system may map the brain wave of the user to a specific cognitive state indicated by the EBC interface (S1540).
  • the EBI system may set the classification criteria for classifying the specific cognitive state by acquiring the raw data for the specific cognitive state and processing the acquired data through a predetermined algorithm.
  • An embodiment of a preset algorithm for setting classification criteria is as described above with reference to FIG. 10.
  • steps S1530 and S1540 may be changed, and a new step may be added or some steps may be deleted according to an embodiment.
  • the EBI system may acquire an iris image from the user's eyes, and may code the obtained iris image and use it as user authentication information. This has been described above with reference to FIG. 9.
  • Each step of this flowchart may be performed by at least one device included in an EBI system. If the EBI system includes one EBI device, the steps shown in this flowchart may be performed by one EBI device. If the EBI system includes a slave device and a host device, some of the steps shown in this flowchart may be performed by the slave device and the others by the host device.
  • steps S1510, S1530, and S1540 may be performed by the host device, and step S1520 may be performed by the slave device.
  • the host device may receive (or request and receive) data as a result of performing step S1520 from the slave device, and perform steps S1530 and S1540 based on the received data.
  • the subject performing each step of the flowchart may be changed flexibly, and data or signals between devices may be changed to perform each step. Can be sent / received. Therefore, in the present specification, when the EBI system is composed of a plurality of devices, it may be considered that the data required for performing a specific step is transmitted / received between the devices even if the EBI system is composed of a plurality of devices.
  • the drawings are divided and described, but the embodiments described in each drawing may be merged to implement a new embodiment.
  • the display device is not limited to the configuration and method of the embodiments described as described above, the above embodiments are configured by selectively combining all or some of the embodiments so that various modifications can be made May be

Abstract

본 발명의 일 실시예에 따른 시선(eye) 및 뇌파에 기초하여 제어되는 EBI(Eye-Brain Interface) 시스템의 캘리브레이션 방법에 있어서, 상기 시선 및 뇌파를 함께 캘리브레이션하기 위한 EBC(Eye-Brain Calibration) 인터페이스를 제공하는 단계; 로서, 상기 EBC 인터페이스는 비주얼 오브젝트를 포함하며, 사용자에게 상기 비주얼 오브젝트를 특정 인지 상태로 응시할 것을 지시함, 상기 EBC 인터페이스에 포함된 비주얼 오브젝트에 대한 상기 사용자의 시선 및 뇌파를 획득하는 단계; 상기 비주얼 오브젝트와 상기 사용자의 시선을 맵핑하는 단계; 및 상기 사용자에게 지시한 특정 인지 상태와 상기 사용자의 뇌파를 맵핑하는 단계; 를 포함할 수 있다.

Description

아이 브레인 인터페이스(EBI) 장치 및 그 제어 방법
본 명세서는 사용자의 시선 및 뇌파에 따라 제어되는 아이 브레인 인터페이스 장치 및 그 제어 방법에 관한 발명이며, 보다 상세하게는 아이 브레인 인터페이스 장치의 캘리브레이션(calibration) 방법에 관한 발명이다.
뇌는 자극의 처리와 가공을 담당하는 중추 신경계로서 기억, 판단 등 정신적인 활동의 중추 역할 뿐만 아니라 운동기능, 감정 반응 등을 담당하는 역할을 하고 있다. 특히, 전두엽 영역은 대뇌의 전방 부분에 위치하며 생각, 계획, 판단에 따른 신체의 움직임을 담당하는 역할을 한다. 전두엽에는 브로커 영역이라는 중요한 기능을 하는 뉴런 집단이 있기 때문에 다른 대뇌부에 비하여 복잡한 기능을 수행할 수 있다. 또한, 전두엽의 가장넓은 부위인 전전두피질은 인간을 다른 동물과 구분해주는 부위로서 감각계의 정보를 종합시키고, 고차원적 정신활동을 유발하는 부위로 알려져 있다. 전두엽부의 중요성이 대두됨에 따라 전두엽의 기능이나 질병, 장애 등에 관련된 기초 뇌 과학 및 전두엽으로부터 추출된 뇌파를 이용한 치료법, Brain Fitness, Brain-Computer Interface(BCI) 기술 개발 연구 역시 활발하게 진행되고 있다.
BCI 기술은 1973년 미국 UCLA 연구소에서 처음 개념을 언급하였고, 2000년대 중반까지는 연구개발 및 시험적용 단계에 머물렀다. 그러나 Emotiv사의 EPOC, Interexon사의 Muse, NeuroSky사의 MindWave 등 다양한 헤드셋 형태의 뇌파측정 장비가 출시됨에 따라 BCI 역시 빠르게 발전함과 동시에 실용화되고 있다.
본 명세서는 EBI 시스템에 있어서 뇌파와 시선을 동시에 캘리브레이션하는 방법을 제공한다.
또한, 본 명세서는 EBI 시스템에 있어서 뇌파와 시선을 보다 정확하고, 효율적으로 캘리브레이션하는 방법을 제공한다.
또한, 본 명세서는 시선 추적 캘리브레이션 과정에서 홍채 패턴을 획득하는 방법을 제공한다.
또한, 본 명세서는 사용자의 스트레스 지수를 측정하여 리캘리브레이션하는 방법을 제공한다.
또한, 본 명세서는 캘리브레이션한 결과에 기초하여 사용자의 뇌파 및 시선에 기초한 EBI 시스템의 제어 방법을 제공한다.
본 발명의 일 실시예에 따른 시선(eye) 및 뇌파에 기초하여 제어되는 EBI(Eye-Brain Interface) 시스템의 캘리브레이션 방법에 있어서, 상기 시선 및 뇌파를 함께 캘리브레이션하기 위한 EBC(Eye-Brain Calibration) 인터페이스를 제공하는 단계; 로서, 상기 EBC 인터페이스는 비주얼 오브젝트를 포함하며, 사용자에게 상기 비주얼 오브젝트를 특정 인지 상태로 응시할 것을 지시함, 상기 EBC 인터페이스에 포함된 비주얼 오브젝트에 대한 상기 사용자의 시선 및 뇌파를 획득하는 단계; 상기 비주얼 오브젝트와 상기 사용자의 시선을 맵핑하는 단계; 및 상기 사용자에게 지시한 특정 인지 상태와 상기 사용자의 뇌파를 맵핑하는 단계; 를 포함할 수 있다.
또한, 상기 사용자의 시선을 맵핑하는 단계는, 상기 비주얼 오브젝트의 화면 상의 위치 좌표와 상기 사용자 시선의 위치 좌표를 상호 맵핑하는 단계일 수 있다.
또한, 상기 EBC 인터페이스는 제1 인지 상태를 지시하는 제1 비주얼 오브젝트, 및 제2 인지 상태를 지시하는 제2 비주얼 오브젝트를 순차적으로 및/또는 교대로 제공할 수 있다.
또한, 상기 제1 인지 상태는 집중 및 선택 중 적어도 하나를 포함하는 인지 상태이며, 상기 제2 인지 상태는 휴식 및 탐색 중 적어도 하나를 포함하는 인지 상태일 수 있다.
또한, 상기 EBI 사용자의 뇌파를 맵핑하는 단계는, 상기 제1 인지 상태에서의 뇌파에 대한 제1 로우 데이터(Raw data) 및 상기 제2 인지 상태에서의 뇌파에 대한 제2 로우 데이터를 획득하는 단계; 상기 제1 및 제2 로우 데이터를 주파수 변환하는 단계; 및 상기 주파수 변환된 제1 및 제2 로우 데이터의 주파수 특성에 기초하여 상기 제1 및 제2 인지 상태의 분류 기준을 설정하는 단계; 를 포함할 수 있다.
또한, 상기 제1 및 제2 인지 상태의 분류 기준을 설정하는 단계는, 상기 주파수 변환된 제1 및 제2 로우 데이터에서 기설정된 범위의 주파수 대역별 주파수 크기(amplitude)를 추출하는 단계; 상기 추출한 주파수 크기를 이용하여 상기 주파수 대역별 Fisher’s Ratio를 획득하는 단계; 최상위 Fisher’s Ratio를 갖는 제1 주파수 대역 및 차상위 Fisher’s Ratio를 갖는 제2 주파수 대역을 선택하는 단계; 및 상기 제1 및 제2 주파수 대역을 상기 제1 및 제2 인지 상태의 분류 기준으로 설정하는 단계; 를 포함할 수 있다.
또한, 상기 Fisher’s Ratio는, 상기 주파수 변환된 제1 로우 데이터에서 상기 주파수 크기의 평균 및 분산, 및 상기 주파수 변환된 제2 로우 데이터에서의 상기 주파수 크기의 평균 및 분산에 기초하여 산출되는 값일 수 있다.
또한, 상기 기설정된 범위의 주파수 대역은, 뇌파의 δ파 대역, θ파 대역, α파 대역, 또는 β파 대역에 해당할 수 있다.
또한, 상기 EBC 인터페이스는 상기 비주얼 오브젝트가 깜빡이는 주파수를 조절함으로써 상기 사용자의 뇌파를 특정 주파수 대역으로 유도할 수 있다.
또한, 상기 EBC 인터페이스는, 상기 비주얼 오브젝트가 깜빡이는 주파수를 약 8~13Hz 범위로 조정함으로써 상기 사용자의 뇌파를 알파파 범위로 유도하고, 상기 비주얼 오브젝트가 깜빡이는 주파수를 약 13~30Hz 범위로 조정함으로써 상기 사용자의 뇌파를 베타파 범위로 유도할 수 있다.
또한, 상기 사용자의 시선으로부터 홍채 이미지를 획득하는 단계; 및 상기 홍채 이미지를 코드화하는 단계; 를 더 포함할 수 있다.
또한, 상기 홍채 이미지를 코드화하는 단계는, 상기 획득한 홍채 이미지를 복수의 이미지들로 분리하는 단계; 상기 분리한 복수의 이미지들을 한 방향으로 나열하는 단계; 및 상기 한 방향으로 나열된 이미지들을 하나의 2차원 이미지로 전환하는 단계; 를 포함할 수 있다.
또한, 본 발명의 다른 실시예에 따른 시선(eye) 및 뇌파를 측정하는 슬레이브 디바이스에 있어서, 사용자의 시선을 추적하는 시선 추적 유닛; 상기 사용자의 뇌파를 센싱하는 뇌파 센싱 유닛; 호스트 디바이스와 통신을 수행하는 통신 유닛; 및 상기 시선 추적 유닛, 뇌파 센싱 유닛 및 통신 유닛을 제어하는 프로세서; 를 포함하되, 상기 호스트 디바이스는 상기 시선 및 뇌파를 동시에 캘리브레이션하기 위한 EBC(Eye-Brain Calibration) 인터페이스를 제공하는 디바이스로서, 상기 EBC 인터페이스는 비주얼 오브젝트를 포함하며, 사용자에게 상기 비주얼 오브젝트를 특정 인지 상태로 응시할 것을 지시함, 상기 프로세서는, 상기 호스트 디바이스로부터 캘리브레이션 개시 신호를 수신한 경우, 상기 사용자의 시선 및 뇌파를 함께 획득하고, 상기 사용자의 시선 및 뇌파를 상기 호스트 디바이스로 전송할 수 있다.
또한, 본 발명의 다른 실시예에 따른 시선 및 뇌파에 기초하여 제어되는 호스트 디바이스에 있어서, 이미지를 디스플레이하는 디스플레이 유닛; 슬레이브 디바이스와 통신을 수행하는 통신 유닛; 및 상기 디스플레이 유닛 및 통신 유닛을 제어하는 프로세서; 를 포함하고, 상기 프로세서는, 상기 시선 및 뇌파를 동시에 캘리브레이션하기 위한 EBC(Eye-Brain Calibration) 인터페이스를 제공하되, 상기 EBC 인터페이스는 비주얼 오브젝트를 포함하며, 사용자에게 상기 비주얼 오브젝트를 특정 인지 상태로 응시할 것을 지시함, 상기 슬레이브 디바이스로부터 상기 사용자의 시선 및 뇌파를 요청 및 수신하고, 상기 비주얼 오브젝트와 상기 사용자의 시선을 맵핑하고, 및 상기 사용자에게 지시한 특정 인지 상태와 상기 사용자의 뇌파를 맵핑할 수 있다.
또한, 상기 프로세서는, 상기 사용자의 시선을 맵핑하는 경우, 상기 비주얼 오브젝트의 화면 상의 위치 좌표와 상기 사용자 시선의 위치 좌표를 상호 맵핑할 수 있다.
또한, 상기 EBC 인터페이스는 제1 인지 상태를 지시하는 제1 비주얼 오브젝트, 및 제2 인지 상태를 지시하는 제2 비주얼 오브젝트를 순차적으로 및/또는 교대로 제공할 수 있다.
또한, 상기 제1 인지 상태는 집중 또는 선택의 인지 상태이며, 상기 제2 인지 상태는 휴식 또는 탐색의 인지 상태일 수 있다.
또한, 상기 프로세서는, 상기 사용자의 뇌파를 맵핑하는 경우, 상기 제1 인지 상태에서의 뇌파에 대한 제1 로우 데이터(Raw data) 및 상기 제2 인지 상태에서의 뇌파에 대한 제2 로우 데이터를 획득하고, 상기 제1 및 제2 로우 데이터를 주파수 변환하고, 상기 주파수 변환된 제1 및 제2 로우 데이터에서 기설정된 범위의 주파수 대역별 주파수 크기를 추출하고, 상기 추출한 주파수 크기를 이용하여 상기 주파수 대역별 Fisher’s Ratio를 획득하고, 최상위 Fisher’s Ratio를 갖는 제1 주파수 대역 및 차상위 Fisher’s Ratio를 갖는 제2 주파수 대역을 선택하고, 및 상기 제1 및 제2 주파수 대역을 상기 제1 및 제2 인지 상태의 분류 기준으로 설정할 수 있다.
또한, 상기 프로세서는, 상기 사용자의 뇌파를 실시간으로 획득하고, 상기 실시간으로 획득한 사용자의 뇌파를 상기 분류 기준에 따라 실시간으로 분류할 수 있다.
또한, 상기 EBC 인터페이스는 상기 비주얼 오브젝트가 깜빡이는 주파수를 조절함으로써 상기 사용자의 뇌파를 특정 주파수 대역으로 유도할 수 있다.
본 명세서의 일 실시예에 따르면, 뇌파와 시선을 동시에 캘리브레이션할 수 있는 EBC 인터페이스를 제공하므로, 사용자는 보다 간편하고 빠르게 뇌파와 시선을 동시에 캘리브레이션할 수 있다는 효과를 갖는다.
또한, 본 발명의 다른 실시예에 따르면, 뇌파의 주파수 특성을 이용하여 뇌파의 인지 상태를 구분하므로, 뇌파의 인지 상태를 보다 정확하게 구별할 수 있다는 효과를 갖는다.
또한, 본 발명의 다른 실시예에 따르면, 홍채 패턴을 사용자 인증 정보로서 활용할 수 있다.
또한, 본 발명의 다른 실시예에 따르면, 캘리브레이션 결과 사용자의 뇌파 및 시선을 정확하게 맵핑/분류해낼 수 있으므로, 사용자의 의도와 부합하도록 동작하는 EBI 시스템을 제공할 수 있다는 효과를 갖는다.
이외에, 본 발명의 실시예들에 따른 다양한 효과는 이하 도면을 참조하여 상세히 후술하기로 한다.
도 1은 본 발명의 일 실시예에 따른 아이브레인 인터페이스 시스템을 도시한 도면이다.
도 2는 본 발명의 일 실시예에 따른 호스트 디바이스 및 슬레이브 디바이스의 블록도이다.
도 3은 슬레이브 디바이스의 다양한 실시예를 도시한 도면이다.
도 4는 본 발명의 일 실시예에 따른 아이브레인 인터페이스(EBI) 디바이스를 도시한 도면이다.
도 5는 본 발명의 일 실시예에 따른 EBI 디바이스의 블록도이다.
도 6은 EBC 인터페이스의 실시예들을 도시한 도면이다.
도 7은 본 발명의 일 실시예에 따른 EBC 인터페이스에 따라 획득하는 데이터에 관한 실시예를 도시한 도면이다.
도 8은 본 발명의 일 실시예에 따라 시선 캘리브레이션을 수행하는 EBI 시스템을 도시한 도면이다.
도 9는 본 발명의 일 실시예에 따라 사용자의 홍채 패턴을 획득하는 EBI 시스템을 도시한 도면이다.
도 10은 본 발명의 일 실시예에 따라 사용자의 뇌파를 분류하는 EBI 시스템의 순서도를 도시한 도면이다.
도 11 내지 13은 본 순서도의 특정 단계를 수행함에 따라 획득한 데이터이다.
도 14는 본 발명의 일 실시예에 따른 EBI 시스템의 다양한 적용예들을 도시한 도면이다.
도 15는 본 발명의 일 실시예에 따른 EBI 시스템의 제어 방법에 관한 순서도이다.
본 명세서에서 사용되는 용어는 본 명세서에서의 기능을 고려하면서 가능한 현재 널리 사용되는 일반적인 용어를 선택하였으나, 이는 당 분야에 종사하는 기술자의 의도, 관례 또는 새로운 기술의 출현 등에 따라 달라질 수 있다. 또한 특정 경우는 출원인이 임의로 선정한 용어도 있으며, 이 경우 해당되는 실시예의 설명 부분에서 그 의미를 기재할 것이다. 따라서 본 명세서에서 사용되는 용어는, 단순한 용어의 명칭이 아닌 그 용어가 아닌 실질적인 의미와 본 명세서의 전반에 걸친 내용을 토대로 해석되어야 함을 밝혀두고자 한다.
더욱이, 이하 첨부 도면들 및 첨부 도면들에 기재된 내용들을 참조하여 실시예를 상세하게 설명하지만, 실시예들에 의해 제한되거나 한정되는 것은 아니다.
이하, 첨부한 도면들을 참조하여 본 발명의 바람직한 실시예를 보다 상세하게 설명하고자 한다.
도 1은 본 발명의 일 실시예에 따른 아이브레인 인터페이스 시스템을 도시한 도면이다. 도 2는 본 발명의 일 실시예에 따른 호스트 디바이스 및 슬레이브 디바이스의 블록도이다.
도 1을 참조하면, 본 발명의 일 실시예에 따른 아이브레인 인터페이스(EyeBrain Interface: EBI) 시스템은 호스트 디바이스(150)와 슬레이브 디바이스(100)를 포함할 수 있다.
슬레이브 디바이스(100)는 사용자가 착용 가능한 다양한 형태의 웨어러블(wearable) 디바이스를 나타낼 수 있다. 예를 들어, 슬레이브 디바이스(100)는 HMD(Head Mounted Display), 헤드셋, 스마트 링, 스마트 와치, 이어셋, 이어폰 등 사용자의 신체 일부에 접촉/착용되는 디바이스를 나타낼 수 있다. 슬레이브 디바이스(100)는 적어도 하나의 센서를 포함하여 사용자의 신체 일부를 통한 사용자의 생체 신호를 센싱할 수 있다. 여기서 생체 신호는 사용자의 맥박, 혈압, 뇌파 등 사용자의 의식적 및/또는 무의식적(예를 들어, 호흡, 심장 박동, 신진 대사 등) 행동에 따라 사용자의 신체로부터 발생하는 다양한 신호를 나타낼 수 있다. 특히, 본 명세서에서 슬레이브 디바이스(100)는 사용자의 생체 신호로서 사용자의 뇌파를 센싱하고 센싱 결과를 호스트 디바이스(150)로 전송할 수 있다.
호스트 디바이스(150)는 슬레이브 디바이스(100)로부터 수신한 생체 신호의 센싱 결과에 기초하여 동작하는 디바이스를 나타낼 수 있다. 보다 상세하게는, 호스트 디바이스(150)는 슬레이브 디바이스(100)로부터 사용자의 생체 신호 센싱 결과를 수신하고, 수신한 센싱 결과에 기초하여 다양한 동작을 수행하는 다양한 전자 디바이스일 수 있다. 호스트 디바이스(150)는, 예를 들어, TV, 스마트폰, 태블릿 PC, 스마트 카, PC, 노트북 등의 다양한 전자 디바이스일 수 있다.
EBI 시스템은 슬레이브 디바이스(100)와 호스트 디바이스(150)를 포함하여 사용자의 생체 신호에 기초한 제어 방식을 제공한다. 따라서, 사용자는 시스템에 대해 의도된 별도의 입력을 수행하지 않아도, 시스템이 사용자의 생체 신호를 센싱함으로써 사용자 의도를 직접 파악하여, 이에 따라 제어된다. 그 결과, EBI 시스템은 사용자에게 보다 편리하고 의도에 부합하는 제어 방식을 제공한다. 이하에서는 이러한 슬레이브 디바이스(100)와 호스트 디바이스(150)의 구성에 대하여 보다 상세히 살펴보기로 한다.
도 1 및 2를 참조하면, 슬레이브 디바이스(100)는 포지션 마커 유닛(120), 시선 추적 유닛(130), 뇌파 센싱 유닛(110), 센서 유닛(260), 통신 유닛(250) 및 프로세서(240)를 포함할 수 있다.
포지션 마커 유닛(120)은 빛을 발광하는 적어도 하나의 발광 소자(예를 들어, 적외선 LED 등)를 포함할 수 있다. 호스트 디바이스(150)는 슬레이브 디바이스(100)의 포지션 마커 유닛을 실시간으로 트래킹할 수 있으며, 이로써 슬레이브 디바이스(100)를 착용한 사용자의 위치, 포지션, 호스트 디바이스(150)와 사용자와의 거리, 및 상대적인 위치 등(이하, ‘사용자의 포지션’)을 디텍트할 수 있다.
포지션 마커 유닛(120)이 복수의 발광 소자들을 포함하는 경우, 복수의 발광 소자들은 기설정된 거리만큼 이격되어 포지션 마커 유닛(120)에 위치할 수 있다. 이 경우, 호스트 디바이스(150)는 각 포지션 마커 유닛(120)의 발광 소자들을 트래킹하고, 발광 소자들 사이의 이격 거리를 실시간으로 측정함으로써 호스트 디바이스(150)와 사용자 사이의 상대적인 거리를 디텍트할 수 있다. 예를 들어, 포지션 마커 유닛(120)이 호스트 디바이스(150)로부터 멀어지는 경우 호스트 디바이스(150)에서 측정되는 발광 소자들 사이의 이격 거리는 감소하며, 포지션 마커 유닛(120)이 호스트 디바이스(150)와 가까워지는 경우 호스트 디바이스(150)에서 측정되는 발광 소자들 사이의 이격 거리는 증가할 수 있다. 이에 기초하여, 호스트 디바이스(150)는 실시간으로 측정한 발광 소자들 사이의 이격 거리와 실제 발광 소자들 사이의 기설정된 이격 거리 사이의 비율을 계산하여 이를 통해 호스트 디바이스(150)와 사용자 사이의 상대적인 거리를 산출할 수 있다.
이외에도, 사용자의 포지션을 트래킹하기 위한 포지션 마커 유닛(120)은 다양한 형태로 슬레이브 디바이스(100)에 포함될 수 있으며, 호스트 디바이스(150)는 이러한 포지션 마커 유닛들(120)의 위치, 크기, 포함하고 있는 발광 소자들의 개수, 위치, 이격 거리 등에 기초하여 사용자의 포지션을 디텍트할 수 있다.
시선 추적 유닛(130)은 사용자의 시선을 추적할 수 있다. 시선 추적 유닛(130)은 사용자의 시선(눈의 움직임)을 실시간으로 추적하기 위해 사용자의 눈 주위에 위치하도록 슬레이브 디바이스(100)에 구비될 수 있다.
시선 추적 유닛(130)은 빛을 발광하는 발광 소자(예를 들어, 적외선 LED) 및 발광 소자로부터 발광된 빛을 수용(또는 센싱)하는 카메라 센서를 포함할 수 있다. 시선 추적 유닛(130)은 사용자의 눈으로부터 반사된 빛을 카메라 센서로 촬영하고, 촬영된 이미지를 프로세서(240)로 전송할 수 있다(비디오 분석 방식). 이하에서는 설명의 편의를 위해 비디오 분석 방식이 적용된 시선 추적 유닛(130)을 기준으로 설명하나, 이에 한정되는 것은 아니며, 시선 추적 유닛(130)은 상술한 비디오 분석 방식 외에도 콘택트 렌즈 방식(거울 내장 콘택트 렌즈의 반사된 빛이나, 코일 내장 콘택트 렌즈의 자기장을 이용하는 시선 추적 방식) 또는 센서 부착 방식(눈 주위에 센서를 부착하여 눈의 움직임에 따른 전기장을 이용하는 시선 추적 방식) 등을 이용하여 사용자의 시선을 추적할 수 있다.
뇌파 센싱 유닛(110)은 사용자의 뇌파를 센싱할 수 있다. 뇌파 센싱 유닛(110)은 적어도 하나의 EEG(Electroencephalogram) 센서 및/또는 MEG(Magnetoencephalography), NIRS(Near-Infrared Spectrometer)를 포함할 수 있다. 뇌파 센싱 유닛(110)은, 사용자가 슬레이브 디바이스(100)의 착용 시 사용자의 뇌파가 측정될 수 있는 신체(예를 들어, 머리) 접촉 위치에 구비되어, 사용자의 뇌파를 측정할 수 있다. 뇌파 센싱 유닛(110)은 접촉된 사용자의 신체 부위로부터 발생되는 다양한 주파수의 뇌파 혹은 뇌의 활성화 상태에 따라 변하는 전기적/광학적 주파수를 측정하게 된다.
뇌파는 생체 신호이기 때문에, 사용자마다 차이가 존재한다. 따라서, 동일한 인지 상태(예를 들어, 집중/비집중/선택/탐색 등)에서도 사용자별로 서로 다른 패턴의 뇌파가 추출될 수 있다. 그 결과, 단순히 사용자의 뇌파를 추출하고 이를 일률적인 기준으로 분석하는 것은, 사용자의 현재 인지 상태를 구별하는 데 정확도가 떨어진다. 따라서, 뇌파를 기초로 사용자의 인지 상태를 정확하게 측정하기 위해, 본 명세서는 사용자별 현재 인지 상태에 따른 뇌파의 캘리브레이션 방법을 제공한다. 이에 관한 보다 상세한 설명은 도 11 내지 14와 관련하여 이하에서 후술하기로 한다.
센서 유닛(260)은 적어도 하나의 센싱 수단을 포함하고, 이를 이용하여 디바이스(100)의 주위 환경을 센싱할 수 있다. 또한, 센서 유닛(260)은 센싱 결과를 프로세서로 전달할 수 있다. 특히, 본 명세서에서 센서 유닛은 슬레이브 디바이스(100)의 움직임, 이동 등을 센싱하고 센싱 결과를 프로세서(240)로 전달할 수 있다.
센서 유닛(260)은 센싱 수단으로서 IMU(Inertia Measurement Unit) 센서, 중력(gravity) 센서, 지자기 센서, 모션 센서, 자이로 센서, 액셀레로미터(Accelerometer), 마그네토미터(Magnetometer), 가속도 센서, 적외선 센서, 기울기(inclination) 센서, 고도 센서, 적외선 센서, 조도 센서, GPS(Global Positioning System) 센서 등을 포함할 수 있다. 센서 유닛(260)은 상술한 다양한 센싱 수단을 통칭하는 것으로, 사용자의 다양한 입력 및 디바이스의 환경을 센싱하여, 프로세서가 그에 따른 작동을 수행할 수 있도록 센싱 결과를 전달할 수 있다. 상술한 센싱 수단들은 별도의 엘리먼트로 슬레이브 디바이스(100)에 포함되거나, 적어도 하나 이상의 엘리먼트로 통합되어 포함될 수 있다.
통신 유닛(250)은 외부 디바이스와 다양한 프로토콜을 사용하여 통신을 수행하고, 이를 통해 데이터를 송/수신할 수 있다. 통신 유닛(250)은 유선 또는 무선으로 네트워크에 접속하여, 다양한 신호 및/또는 데이터를 송/수신할 수 있다. 슬레이브 디바이스(100)는 통신 유닛(250)을 사용하여 호스트 디바이스(150)와 페어링을 수행할 수 있다. 또한, 슬레이브 디바이스(100)는 통신 유닛(250)을 이용하여 호스트 디바이스(150)와 다양한 신호/데이터를 송수신할 수 있다.
프로세서(240)는 포지션 마커 유닛(120), 시선 추적 유닛(130), 뇌파 센싱 유닛(110), 센서 유닛(260), 및 통신 유닛(250)을 제어할 수 있다. 프로세서(240)는 상술한 유닛들간의 신호(또는 데이터)의 송/수신을 제어할 수도 있다.
특히, 본 명세서에서 프로세서(240)는 슬레이브 디바이스(100)에 구비된 적어도 하나의 센서로부터 수신한 센싱 결과를 호스트 디바이스(150)로 전송할 수 있다. 본 명세서에서 센싱 결과는 슬레이브 디바이스(100)에 구비된 적어도 하나의 센서를 이용하여 획득된 로우 데이터(raw data) 또는 로우 데이터가 기설정된 알고리즘을 통해 프로세싱된 데이터를 의미할 수 있다.
이외에도, 프로세서(240)는 사용자의 시선 및 뇌파를 캘리브레이션하기 위한 다양한 동작을 수행할 수 있는데, 이와 관련하여서는 도 6 내지 13에서 상세히 후술하기로 한다.
이상으로 본 발명의 일 실시예에 따라 슬레이브 디바이스(100)에 포함된 구성 유닛들에 대해 살펴보았다. 슬레이브 디바이스(100)는 도 1 및 2에 도시된 구성 유닛들 중 일부를 선택적으로 포함할 수 있으며, 이외에도 메모리 유닛, 카메라 유닛, 전력 공급 유닛 등 디바이스의 사용 목적 및 동작을 위해 필요로 하는 다양한 유닛들이 추가로 포함될 수 있다.
호스트 디바이스(150)는 카메라 유닛(140), 디스플레이 유닛(210), 통신 유닛(230), 및 프로세서(220)를 포함할 수 있다.
카메라 유닛(140)은 슬레이브 디바이스(100)의 포지션 마커 유닛(120)을 촬영할 수 있다. 보다 상세하게는, 카메라 유닛(140)은 슬레이브 디바이스(100)의 포지션 마커 유닛(120)을 촬영하여 포지션 마커 유닛(120)에 대한 촬영 이미지를 획득할 수 있다. 카메라 유닛(140)은 획득한 촬영 이미지를 프로세서(220)로 전송할 수 있으며, 프로세서(220)는 촬영 이미지를 프로세싱하여 슬레이브 디바이스(100)를 착용한 사용자의 포지션을 획득할 수 있다. 이 경우, 프로세서(220)는 포지션 마커 유닛들(120)의 위치, 크기, 포함하고 있는 발광 소자들의 개수, 위치, 이격 거리 등을 분석하여 사용자의 포지션을 획득할 수 있다.
카메라 유닛(140)은 화각이 약 60도 이상인 광각 카메라로 구성될 수 있다. 카메라 유닛(140)이 일반 카메라(화각이 60도 미만인 카메라)로 구성되는 경우, 호스트 디바이스(150)의 전방 약 60도의 좌우각, 슬레이브 디바이스(100)와 호스트 디바이스(150) 사이의 약 60~90cm 범위에서 사용자의 포지션 트래킹이 가능하다. 그러나, 카메라 유닛(140)이 광각 카메라(화각이 60도 이상인 카메라)로 구성되는 경우에는 호스트 디바이스(150)의 전방 약 170도의 좌우각, 및 슬레이브 디바이스(100)와 호스트 디바이스(150) 사이의 거리 약 3m 범위까지도 사용자의 포지션 트래킹이 가능하다. 따라서, 본 발명의 카메라 유닛(140)은 보다 정확한 사용자의 포지션 데이터를 획득하기 위해 광각 카메라로서 구성될 수 있다.
디스플레이 유닛(210)은 이미지를 디스플레이할 수 있다. 여기서 이미지란, 화면 상에 디스플레이될 수 있는 정지 영상, 동영상, 텍스트, VR(Virtual Reality) 이미지, AR(Augment Reality) 이미지 또는 이들을 포함하는 기타 다양한 시각적 표현을 나타낼 수 있다. 디스플레이 유닛(210)은 액정 디스플레이(liquid crystal display), 박막 트랜지스터 액정 디스플레이(thin film transistor-liquid crystal display), 유기 발광 다이오드(organic light-emitting diode; OLED), 3차원 디스플레이(3D display), 투명 유기 발광 다이오드(Transparent OLED; TOLED) 중에서 적어도 하나를 포함할 수 있다. 또한, 디스플레이 유닛(210)은 메탈 호일(metal hoil), 박형 유리(very thin grass) 또는 플라스틱 기판으로 제조될 수 있다. 특히, 플라스틱 기판의 경우 PC 기판, PET 기판, PES 기판, PI 기판, PEN 기판, AryLite 기판 등이 사용될 수 있다.
통신 유닛(230)은 외부 디바이스와 다양한 프로토콜을 사용하여 통신을 수행하고, 이를 통해 데이터를 송/수신할 수 있다. 통신 유닛(230)은 유선 또는 무선으로 네트워크에 접속하여, 다양한 신호 및/또는 데이터를 송/수신할 수 있다. 호스트 디바이스(150)는 통신 유닛(230)을 사용하여 슬레이브 디바이스(100)와 페어링을 수행할 수 있다. 또한, 호스트 디바이스(150)는 통신 유닛(230)을 이용하여 슬레이브 디바이스(100)와 다양한 신호/데이터를 송수신할 수 있다.
프로세서(220)는 카메라 유닛(140), 디스플레이 유닛(210), 및 통신 유닛(230)을 제어할 수 있다. 프로세서(220)는 상술한 유닛들간의 신호(또는 데이터)의 송/수신을 제어할 수도 있다.
특히, 본 명세서에서 프로세서(220)는 슬레이브 디바이스(100)로부터 수신한 센싱 결과에 대응하는 다양한 커맨드(또는 동작)를 수행할 수 있다. 예를 들어, 센싱 결과로서 사용자의 시선 좌표가 수신된 경우, 프로세서(220)는 해당 시선 좌표와 맵핑되는 디스플레이 유닛(210) 상 특정 위치의 비주얼 오브젝트(예를 들어, 아이콘)를 선택하는 커맨드를 수행할 수 있다. 나아가, 센싱 결과로서 “집중” 상태에 해당하는 사용자 뇌파 데이터가 수신된 경우, 프로세서(220)는 선택된 비주얼 오브젝트를 실행(예를 들어, 선택된 아이콘과 대응하는 어플리케이션을 실행)하는 커맨드를 수행할 수 있다.
다만, 이 경우, 프로세서(220)가 수신한 사용자의 시선 좌표가 디스플레이 유닛(210)상의 어떤 지점과 맵핑되는지 알기 위해선, 사용자의 특정 시선 좌표와 디스플레이 유닛(210) 상의 특정 좌표를 상호 맵핑시키는 시선 캘리브레이션이 선행될 필요가 있다. 또한, 앞서 언급한 바와 같이, 사용자마다 인지 상태에 따른 뇌파 패턴이 상이하므로, 사용자의 특정 인지 상태와 특정 주파수의 뇌파를 상호 맵핑시키는 뇌파 캘리브레이션 역시 선행될 필요가 있다. 이에, 본 발명은 사용자의 시선과 뇌파를 동시에 캘리브레이션하는 EBC(Eye Brain Calibration) 인터페이스를 제공할 수 있으며, 이에 관하여는 도 6 내지 13과 관련하여 이하에서 상세히 후술하기로 한다.
이상으로 본 발명의 일 실시예에 따라 호스트 디바이스(150)에 포함된 구성 유닛들에 대해 살펴보았다. 호스트 디바이스(150)는 도 1 및 2에 도시된 구성 유닛들 중 일부를 선택적으로 포함할 수 있으며, 이외에도 센서 유닛, 메모리 유닛, 전력 공급 유닛 등 디바이스의 사용 목적 및 동작을 위해 필요로 하는 다양한 유닛들이 추가로 포함될 수 있다.
또한, 본 블록도에서는 설명의 편의를 위해 호스트 디바이스(150)와 슬레이브 디바이스(100)에 포함되는 각 유닛들을 구분하여 도시하였으나, 슬레이브 디바이스(100)의 유닛은 호스트 디바이스(150)에 포함될 수도 있으며, 호스트 디바이스(150)의 유닛은 슬레이브 디바이스(100)에 포함될 수도 있다. 예를 들어, 슬레이브 디바이스(100)의 시선 추적 유닛은 실시예에 따라 슬레이브 디바이스(100)가 아닌, 호스트 디바이스(150)에 포함될 수도 있다.
한편, 상술한 프로세서(220, 240)는 (슬레이브 또는 호스트) 디바이스에 내에 내장되거나, 디바이스 외부에 독립된 형태로 구현될 수 있다(미도시). 독립된 형태(외장형)로 구현되는 경우, 프로세서(220, 240)는 사용자에 의해 휴대가 간편한 외장형 프로세서 형태로 존재할 수 있다. 이 경우, 사용자는 필요에 따라 외장형 프로세서(220, 240)를 특정 디바이스에 연결시킬 수 있으며, 외장형 프로세서(220, 240)가 연결된 디바이스는 슬레이브 또는 호스트 디바이스(100, 150)가 될 수 있다. 이 경우, 외장형 프로세서(220, 240)는 연결된 디바이스가 슬레이브 또는 호스트 디바이스(100, 150) 기능을 수행할 수 있도록 다양한 데이터(특히 사용자의 생체 신호에 관한 데이터)를 기설정된 알고리즘에 의해 프로세싱할 수 있다. 다만, 외장형 프로세서(220, 240)와 연결된 기기가 슬레이브 디바이스(100) 기능을 수행하기 위해서는, 연결된 디바이스가 사용자의 생체 신호를 센싱할 수 있는 유닛이 구비되어 있어야 한다.
이하에서는, 설명의 편의를 위해 프로세서와 슬레이브/호스트 디바이스(100, 150)를 동일시하여 설명할 수 있다. 또한, 도 2에 도시된 블록도는 일 실시예에 따른 블록도로서, 분리하여 표시한 블록들은 슬레이브/호스트 디바이스(100, 150)의 하드웨어적인 엘리먼트들을 논리적으로 구별하여 도시한 것이다. 따라서, 상술한 슬레이브/호스트 디바이스(100, 150)의 엘리먼트들은 각 디바이스의 설계에 따라 하나의 칩으로 또는 복수의 칩으로 장착될 수 있다.
도 3은 슬레이브 디바이스의 다양한 실시예를 도시한 도면이다.
슬레이브 디바이스는 다양한 폼팩터(Form Factor)로서 구현될 수 있다.
도 3(a)를 참조하면, 슬레이브 디바이스(100-1)는 헤드셋 형태로 구현될 수 있다. 슬레이브 디바이스(100-1)의 뇌파 센싱 유닛(110-1)은 사용자의 머리 및/또는 이마의 접촉 부분에 위치할 수 있으며, 머리 및/또는 이마로부터 사용자의 뇌파를 센싱할 수 있다. 또한, 시선 추적 유닛(130)은 사용자의 눈 주위에 위치할 수 있으며, 사용자의 시선을 실시간으로 추적할 수 있다. 또한, 센서 유닛(110-2)은 슬레이브 디바이스(100-1)의 본체에 위치할 수 있으며, 사용자의 헤드 포지션(이동, 움직임 등)을 실시간으로 트래킹할 수 있다. 이외에 슬레이브 디바이스(100-1)에 포함되는 구성 유닛들은 슬레이브 디바이스(100-1)의 본체에 포함되어 있을 수 있다.
도 3(b)를 참조하면, 슬레이브 디바이스(100-2)는 이어셋 형태로 구현될 수 있다. 이 경우, 슬레이브 디바이스(100-2)의 뇌파 센싱 유닛(110-1)은 사용자의 귓 속(예를 들어, 내이, 또는 속귀 등)으로 삽입되는 부분에 위치할 수 있으며, 사용자의 귓 속에서 뇌파를 센싱할 수 있다. 이때, 소리를 출력하는 스피커 유닛(미도시)도 뇌파 센싱 유닛(110-1)과 함께 사용자의 귓 속으로 삽입되는 부분에 위치할 수 있다. 또한, 시선 추적 유닛(130)은 사용자의 눈 주위에 위치할 수 있으며, 사용자의 시선을 실시간으로 추적할 수 있다. 이외에 슬레이브 디바이스(100-2)에 포함되는 구성 유닛들은 슬레이브 디바이스(100-2)의 본체에 포함되어 있을 수 있다.
이외에도, 슬레이브 디바이스(100)는 사용자의 시선/뇌파를 센싱할 수 있도록 다양한 폼팩터로서 구현될 수 있으며, 본 도면에 도시한 실시예로 한정되지 않는다.
도 4는 본 발명의 일 실시예에 따른 아이브레인 인터페이스(EBI) 디바이스를 도시한 도면이다. 도 5는 본 발명의 일 실시예에 따른 EBI 디바이스의 블록도이다.
본 명세서에서 EBI 디바이스(400)는 도 1 내지 3과 관련하여 상술한 슬레이브 디바이스(100)와 호스트 디바이스(150)가 하나의 디바이스로 통합된 형태의 디바이스를 나타낼 수 있다. 따라서, EBI 디바이스(400)는 생체 신호를 직접 센싱하고, 센싱 결과에 기초하여 다양한 동작을 수행할 수 있다.
도 4 및 5를 참조하면, EBI 디바이스(400)는 사용자의 신체에 착용 가능한 웨어러블 디바이스 형태로 구성될 수 있다. EBI 디바이스(400)는 뇌파 센싱 유닛(500), 시선 추적 유닛(510), 통신 유닛(530), 디스플레이 유닛(540) 및 프로세서(520)를 포함할 수 있다. EBI 디바이스(400)에 포함된 유닛들에 관한 설명은 도 2에서 상술한 설명과 중복되므로, 이하에서는 차이점을 중심으로 설명한다.
뇌파 센싱 유닛(500)은 사용자의 뇌파를 센싱할 수 있다. 뇌파 센싱 유닛(500)은 적어도 하나의 EEG(Electroencephalogram) 센서 및/또는 MEG(Magnetoencephalography)를 포함할 수 있다. 뇌파 센싱 유닛(500)은, 사용자가 EBI 디바이스의 착용 시 사용자의 뇌파가 측정될 수 있는 신체(예를 들어, 머리) 접촉 위치에 구비되어, 사용자의 뇌파를 측정할 수 있다.
시선 추적 유닛(510)은 사용자의 시선을 추적할 수 있다. 시선 추적 유닛(510)은 사용자의 시선(눈의 움직임)을 실시간으로 추적하기 위해 사용자의 눈 주위에 위치하도록 EBI 디바이스(400)에 구비될 수 있다. 시선 추적 유닛(510)은 빛을 발광하는 발광 소자(예를 들어, 적외선 LED) 및 발광 소자로부터 발광된 빛을 수용(또는 센싱)하는 카메라 센서를 포함할 수 있다.
통신 유닛(530)은 외부 디바이스와 다양한 프로토콜을 사용하여 통신을 수행하고, 이를 통해 데이터를 송/수신할 수 있다. 통신 유닛(530)은 유선 또는 무선으로 네트워크에 접속하여, 다양한 신호 및/또는 데이터를 송/수신할 수 있다.
디스플레이 유닛(540)은 이미지를 디스플레이할 수 있다. 여기서 이미지란, 화면 상에 디스플레이될 수 있는 정지 영상, 동영상, 텍스트, VR(Virtual Reality) 이미지, AR(Augment Reality) 이미지 또는 이들을 포함하는 기타 다양한 시각적 표현을 나타낼 수 있다.
프로세서(520)는 뇌파 센싱 유닛(500), 시선 추적 유닛(510), 통신 유닛(530), 디스플레이 유닛(540), 및 통신 유닛(530)을 제어할 수 있다. 프로세서(520)는 상술한 유닛들간의 신호(또는 데이터)의 송/수신을 제어할 수도 있다. 프로세서(520)는 뇌파 센싱 유닛(500) 및/또는 시선 추적 유닛(510)으로부터 수신한 센싱 결과에 대응하는 다양한 동작을 수행할 수 있다.
이상으로 본 발명의 일 실시예에 따라 EBI 디바이스(400)에 포함된 구성 유닛들에 대해 살펴보았다. EBI 디바이스(400)는 도 5에 도시된 구성 유닛들 중 일부를 선택적으로 포함할 수 있으며, 이외에도 센서 유닛, 메모리 유닛, 전력 공급 유닛 등 디바이스(400)의 사용 목적 및 동작을 위해 필요로 하는 다양한 유닛들이 추가로 포함될 수 있다.
이하에서는, 설명의 편의를 위해 프로세서(520)와 EBI 디바이스(400)를 동일시하여 설명할 수 있다. 또한, 도 5에 도시된 블록도는 일 실시예에 따른 블록도로서, 분리하여 표시한 블록들은 EBI 디바이스(400)의 하드웨어적인 엘리먼트들을 논리적으로 구별하여 도시한 것이다. 따라서, 상술한 EBI 디바이스(400)의 엘리먼트들은 각 디바이스의 설계에 따라 하나의 칩으로 또는 복수의 칩으로 장착될 수 있다.
앞서 상술한 바와 같이, EBI 시스템에서 사용자의 시선 좌표가 디스플레이 유닛 상의 어떤 지점과 맵핑되는지 알기 위해선, 사용자의 특정 시선 좌표와 디스플레이 유닛 상의 특정 좌표를 상호 맵핑시키는 시선 캘리브레이션이 선행될 필요가 있다. 또한, 사용자의 특정 주파수의 뇌파가 어떤 인지 상태와 맵핑되는지 알기 위해선, 특정 주파수의 뇌파와 특정 인지 상태를 상호 맵핑시키는 뇌파 캘리브레이션 역시 선행될 필요가 있다. 이에, EBI 시스템은 사용자의 시선과 뇌파를 캘리브레이션하기 위한 EBC(Eye Brain Calibration) 인터페이스를 사용자에게 제공할 수 있으며, 이러한 EBC 인터페이스를 통해 사용자의 시선 및 뇌파를 동시에 캘리브레이션할 수 있다. 다만, 이에 한정되는 것은 아니며, 실시예에 따라 EBI 시스템은 EBC 인터페이스를 통해 사용자의 뇌파 및 시선 중 어느 하나에 대해서만 캘리브레이션을 수행할 수도 있다.
이하에서는 설명의 편의를 위해 슬레이브/호스트 디바이스 및 EBI 디바이스를 통칭하여 EBI 시스템이라 지칭하기로 한다. 따라서 이하에서 후술하는 EBI 시스템에 관한 설명은, EBI 시스템이 슬레이브 및 호스트 디바이스를 포함하는 경우 슬레이브 및 호스트 디바이스에 적용될 수 있으며, EBI 시스템이 EBI 디바이스를 포함하는 경우 EBI 디바이스에 적용될 수 있다.
도 6은 EBC 인터페이스의 실시예들을 도시한 도면이다.
본 발명의 일 실시예에 따른 EBI 시스템은 EBC 인터페이스를 통해 사용자의 시선 및 뇌파에 대한 캘리브레이션을 동시에 수행할 수 있다. 이를 위해, EBI 시스템은 사용자에게 특정 인지 상태를 유도함과 동시에 화면 상의 특정 지점에 대한 시선의 움직임 역시 동시에 유도하기 위한 EBC 인터페이스를 사용자에게 제공할 수 있다.
일 실시예로서 도 6(a)를 참조하면, EBI 시스템은 EBC 인터페이스로서 서로 다른 지점에 위치한 복수개의 비주얼 오브젝트들을 순차적으로 디스플레이할 수 있으며, 사용자에게 디스플레이된 복수개의 비주얼 오브젝트들을 순차적으로 응시하도록 지시할 수 있다. 이때, EBI 시스템은 사용자에게 특정 비주얼 오브젝트에 대해서는 집중의 인지 상태를 갖고 응시하도록 지시하고, 다른 비주얼 오브젝트를 바라볼 때는 휴식(또는 단순 응시/비집중)의 인지 상태를 갖고 응시하도록 지시할 수 있다. 이를 지시하기 위해, EBI 시스템은 서로 다른 시각적 효과(예를 들어, 색, 크기, 모양, 명암, 깜빡임 등)를 갖는 복수개의 비주얼 오브젝트들을 교대로 디스플레이할 수 있다. 예를 들어, EBI 시스템은 빨간색 오브젝트와 파란색 비주얼 오브젝트를 교대로 및 순차적으로 디스플레이할 수 있으며, 사용자에게 빨간색 오브젝트는 집중의 인지 상태로 응시하도록 지시하고, 파란색 오브젝트는 휴식의 인지 상태로 응시하도록 지시할 수 있다.
또한, EBI 시스템은 사용자가 특정 비주얼 오브젝트에서 다음 비주얼 오브젝트로 시선을 옮기는 경우에는 검색(또는 탐색)의 인지 상태를 갖고 응시하도록 지시할 수 있다. 이 경우, EBI 시스템은 특정 비주얼 오브젝트에서 다음 비주얼 오브젝트로 이동하는 시선 경로를 직접 가이드(또는 디스플레이)하거나 가이드 하지 않을 수도 있다.
이때, EBI 시스템은 특정 비주얼 오브젝트에 대한 사용자의 시선 좌표를 획득함과 동시에, 해당 비주얼 오브젝트를 바라보고 있는 사용자의 뇌파를 획득할 수 있다. 만일, 비주얼 오브젝트들 사이의 시선 경로를 가이드하는 경우, EBI 시스템은 시선 경로를 따라가는 사용자의 시선 좌표를 획득함과 동시에, 시선 경로를 바라보고 있는 사용자의 뇌파 역시 획득할 수 있다. 반대로, 비주얼 오브젝트들 사이의 시선 경로를 가이드 하지 않는 경우에, EBI 시스템은 사용자의 뇌파만을 획득할 수 있다.
다음으로, EBI 시스템은 특정 비주얼 오브젝트의 화면상의 좌표와 획득한 사용자의 시선 좌표를 서로 맵핑시킬 수 있다. 또한, EBI 시스템은 특정 비주얼 오브젝트에 대해 사용자에게 지시한 인지 상태를, 획득한 사용자의 뇌파와 서로 맵핑시킬 수 있다. 이로써 EBI 시스템은 하나의 인터페이스를 통해 보다 쉽고 효율적으로 시선 및 뇌파를 동시에 캘리브레이션하는 방법을 제공한다.
이러한 EBC 인터페이스는 상술한 실시예 외에도 다양한 실시예로 구현될 수 있다. 예를 들어, 도 6(a) 내지 6(c)에 도시한 바와 같이, EBC 인터페이스는 복수개의 비주얼 오브젝트들을 특정 형태(예를 들어, 다각형, 원형 등)로 또는 불특정 형태로(랜덤하게) 하나씩(또는 기설정된 개수만큼) 순차적으로 디스플레이할 수 있으며, 서로 다른 시각적 효과(예를 들어, 색, 모양, 크기, 형태, 깜빡임, 명암 등)를 갖는 비주얼 오브젝트들을 교대로 디스플레이할 수 있다. 또는, EBC 인터페이스는 복수의 비주얼 오브젝트들을 동시에 디스플레이한 뒤, 특정 비주얼 오브젝트에 시각적 효과를 부여함으로써 사용자가 응시해야하는 비주얼 오브젝트를 순차적으로 지시해줄 수 있다. 아울러, EBC 인터페이스는 해당 비주얼 오브젝트에 부여하는 시각적 효과를 통해 사용자의 인지 상태 역시 함께 지시해줄 수 있다.
사람의 경우, 시각적으로 인식되는 주파수와 뇌파의 주파수가 서로 동기화되는 것으로 알려져 있다. 따라서, 비주얼 오브젝트들에 시각적 효과로서 깜빡임 효과를 적용하는 경우, EBC 인터페이스는 비주얼 오브젝트들이 깜빡이는 주파수를 조절하여 사용자의 뇌를 특정 인지 상태로 유도할 수도 있다.
예를 들어, 약 8~12Hz의 주파수는 뇌파를 휴식(또는 탐색) 상태에 대응하는 알파(α)파 영역으로 유도하는 데 도움을 준다고 알려져 있다. 따라서, EBC 인터페이스는 ‘휴식’ 인지 상태를 유도하기 위해 특정 비주얼 오브젝트가 약 8~13Hz의 주파수로 깜빡이도록 시각적 효과를 부여할 수 있다. 따라서, 사용자는 해당 비주얼 오브젝트를 단순히 응시하는 것만으로 ‘휴식’ 상태로 유도될 수 있으며, EBI 인터페이스는 사용자의 뇌파를 추출하여 휴식의 인지 상태와 맵핑시킬 수 있다. 또한, 약 13~30Hz의 주파수는 뇌파를 집중(또는 각성, 선택 등) 상태에 대응하는 베타(β)파 영역으로 유도하는 데 도움을 준다고 알려져 있다. 따라서, EBC 인터페이스는 ‘집중’ 인지 상태를 유도하기 위해 특정 비주얼 오브젝트가 약 13~30Hz의 주파수로 깜빡이도록 시각적 효과를 부여할 수 있다. 따라서, 사용자는 해당 비주얼 오브젝트를 단순히 응시하는 것만으로 ‘집중’ 상태로 유도될 수 있으며, EBI 인터페이스는 사용자의 뇌파를 추출하여 집중의 인지 상태와 맵핑시킬 수 있다.
이외에도, EBC 인터페이스는 다양한 방식으로 화면 상의 특정 지점에 대한 사용자의 응시 및 특정 인지 상태를 유도하여, 사용자의 시선 및 뇌파를 동시에 캘리브레이션할 수 있다. 아울러, EBC 인터페이스는 시선을 캘리브레이션 하는 경우, 사용자의 홍채 패턴도 함께 획득할 수 있다. 이러한 홍채 패턴은 지문과 같이 사용자별로 상이하므로, 사용자 인증 정보로서 유용하게 사용될 수 있다. 이렇듯 시선/뇌파의 캘리브레이션을 완료한 EBI 시스템은, 사용자의 뇌파를 사용자의 실행 명령에 관한 제어 정보로 사용할 수 있으며, 사용자의 시선을 사용자의 실행 명령 위치에 관한 제어 정보로 사용할 수 있다. 예를 들어, 사용자가 특정 아이콘을 응시한 뒤 집중한 경우, EBI 시스템은 사용자가 응시한 아이콘을 실행하는 명령을 수행할 수 있다.
도 7은 본 발명의 일 실시예에 따른 EBC 인터페이스에 따라 획득하는 데이터에 관한 실시예를 도시한 도면이다.
도 7을 참조하면, EBI 시스템은 EBC 인터페이스를 통해 사용자의 시선 및 뇌파에 관한 데이터를 동시에 획득할 수 있다. 아울러, EBI 시스템은 EBC 인터페이스를 제공하는 동안 사용자의 홍채에 관한 데이터도 추가로 획득할 수 있다.
이렇게 획득된 데이터는 일정한 알고리즘에 의해 프로세싱될 수 있다. 특히 뇌파의 경우, 사용자별로 집중/비집중/탐색 등의 인지 상태에 따른 뇌파 패턴이 상이하므로, 각 인지 상태에 따른 뇌파를 보다 명확히 구별하기 위해 특정 알고리즘을 통해 데이터를 프로세싱할 필요가 존재한다.
따라서, 사용자의 시선을 프로세싱하는 방법에 관하여는 도 8과 관련하여, 사용자의 홍채를 프로세싱하는 방법은 도 9와 관련하여, 사용자의 뇌파를 프로세싱하는 방법은 도 10 내지 13과 관련하여 이하에서 상세히 후술하기로 한다.
도 8은 본 발명의 일 실시예에 따라 시선 캘리브레이션을 수행하는 EBI 시스템을 도시한 도면이다.
도 8을 참조하면, EBI 시스템은 사용자가 화면 상의 특정 지점(Xp, Yp)을 바라볼 때 눈 동공이 특정 좌표(Xs, Ys)에 위치한다고 가정하여, 두 공간 사이의 연관 관계를 multivariate linear regression 등을 통하여 유추할 수 있다.
보다 상세하게는, EBI 시스템은 EBC 인터페이스를 통해 사용자가 화면 상의 특정 지점(Xp, Yp)을 바라보도록 지시할 수 있다. 이때, EBI 시스템은 시선 추적 유닛을 통해 사용자의 시선 촬영 이미지를 획득하고, 촬영 이미지로부터 사용자의 시선 좌표(Xs, Ys)를 획득할 수 있다. 이때, 사용자의 시선 좌표는 눈의 중심(또는 눈의 동공)을 기준으로 하여 결정된 상대적인 좌표일 수 있다. 다음으로, EBI 시스템은 화면 상의 특정 지점과 사용자의 시선 좌표를 상호 맵핑시킬 수 있다. 이때, EBI 시스템은 아래의 수학식 1을 이용하여 시선 좌표와 화면 상의 특정 지점을 맵핑할 수 있다.
Figure PCTKR2015013894-appb-M000001
다만, 상술한 수학식 1 이외에도, 시선을 캘리브레이션하기 위한 Support Vector Regression, Multi-Layer Perceptron 등의 다른 수학식들도 적용될 수 있다.
EBI 시스템은 보다 정확한 사용자의 시선 좌표를 획득하기 위해 사용자의 헤드 포지션에 관한 데이터를 추가로 이용할 수 있다(포지션 마커 유닛, 카메라 유닛 및/또는 센서 유닛을 이용하여). 일반적으로 사용자는 특정 위치를 바라볼 때 시선만 이동시키는 것이 아니라, 머리 역시 특정 위치를 향하도록 자연스럽게 움직이게 된다. 이러한 점에 기초하여, EBI 시스템은 사용자의 시선 위치를 보다 정확하게 디텍트하기 위해 사용자의 헤드 포지션에 관한 데이터를 추가로 획득할 수 있으며, 이를 사용자의 시선을 정확히 트래킹하는 데 추가 데이터로서 사용할 수 있다.
본 도면에서는 비디오 분석 방식을 적용한 시선 추적 유닛을 기준으로 설명하였으나 이에 한정되는 것은 아니며, 사용자의 시선을 트래킹하기 위한 다양한 시선 트래킹 기술이 시선 추적 유닛에 적용될 수 있다.
EBI 시스템은 사용자의 시선을 트래킹함과 동시에 사용자의 홍채 패턴 데이터도 추가로 획득할 수 있는데, 이와 관련하여서는 도 9와 관련하여 이하에서 후술하기로 한다.
도 9는 본 발명의 일 실시예에 따라 사용자의 홍채 패턴을 획득하는 EBI 시스템을 도시한 도면이다.
도 9를 참조하면, EBI 시스템은 시선 추적 유닛을 통해 사용자의 시선을 실시간으로 트래킹할 뿐만 아니라, 사용자의 홍채 패턴을 획득할 수 있다. 지문과 같이, 홍채 패턴도 사용자 별로 상이하므로, EBI 시스템은 홍채 패턴을 사용자 인증 정보로 유용하게 활용할 수 있다. 예를 들어, EBI 시스템은 홍채 패턴을 사용자 로그인 인증 정보, 결제 인증 정보, 보안 정보 등 다양한 사용자 인증 정보로서 활용할 수 있다.
이를 위해, EBI 시스템은 시선 추적 유닛을 이용하여 획득한 사용자의 눈에 대한 적외선 이미지 중 홍채 영역의 이미지를 ROI(Region Of Interest)로 설정하고, 이를 별도로 분리할 수 있다. 다음으로, EBI 시스템은 분리한 ROI 이미지를 복수의 이미지들로 분리한 후, 분리된 복수의 이미지들을 한 방향으로 나열할 수 있다. 마지막으로, EBI 시스템은 한 방향으로 나열된 이미지들을 하나의 2차원 이미지(예를 들어, 2차원 바코드 또는 QR 코드)로 전환하는 코드화 작업을 수행하여, 사용자별 특유의 홍채 패턴을 획득할 수 있다.
이때, EBI 시스템은 하나의 적외선 이미지를 이용하여 홍채 패턴을 획득할 수도 있으나, 보다 정확한 사용자의 홍채 패턴을 획득하기 위해 다양한 방향을 바라보는 시선에 대한 적외선 이미지들을 조합하여 하나의 홍채 패턴을 획득할 수 있다. 사용자의 홍채 패턴은 눈꺼풀, 눈의 각도 및 빛의 반사 등에 의해 가려지는 영역이 많아질수록 정확도가 떨어지게 된다. 따라서, EBI 시스템은 여러 시선 방향에 대한 사용자 눈의 적외선 이미지들을 획득하고, 각 이미지들로부터 홍채 패턴을 획득하고, 획득한 홍채 패턴들을 조합하여 하나의 홍채 패턴을 획득할 수 있다. 따라서, 사용자가 어떠한 방향을 바라보더라도(또는 눈꺼풀에 의해 동공이 가려진다 하더라도), EBI 시스템은 높은 확률로 사용자의 홍채 패턴을 구별해낼 수 있다.
도 10은 본 발명의 일 실시예에 따라 사용자의 뇌파를 분류하는 EBI 시스템의 순서도를 도시한 도면이다. 도 11 내지 13은 본 순서도의 특정 단계를 수행함에 따라 획득한 데이터이다.
도 10을 참조하면, 우선, EBI 시스템은 뇌파 센싱 유닛을 이용하여 사용자의 뇌파에 관한 로우 데이터(raw data)를 획득할 수 있다(S1010). 특히, EBI 시스템은 상술한 EBC 인터페이스를 통해 사용자에게 다양한 인지 상태(예를 들어, 선택/탐색/집중/휴식)를 각각 지시하고, 각 인지 상태의 뇌파를 센싱하여, 로우 데이터를 획득할 수 있다.
동일한 사용자에게 동일한 환경에서 EBC 인터페이스를 통해 선택/탐색/집중/휴식의 인지 상태를 각각 지시한 결과, 선택/탐색의 인지 상태에 관한 뇌파의 로우 데이터는 도 11(a)와 같았으며, 집중/휴식의 인지 상태에 관한 뇌파의 로우 데이터는 도 12(a)와 같았다.
도 11(a)를 참조하면, 탐색 상태의 뇌파는 선택 상태의 뇌파보다 급격한 변화를 갖는 것으로 나타났다. 또한, 도 12(a)를 참조하면, 휴식 상태의 뇌파와 집중 상태의 뇌파는 육안으로 명확히 구별하기 힘든 것으로 나타났다.
뇌파는 다양한 Sin파 형태의 신호들이 합쳐져서 만들어진 신호이며, 주파수 대역에서 특정 인지 상태에 따라 구별되는 특징을 갖는다. 따라서, 뇌파를 인지 상태에 따라 보다 명확히 구별하기 위해, 로우 데이터에 대한 FFT 변환을 수행할 수 있다(S1020). 이때, 아래의 수학식 2가 사용될 수 있다.
Figure PCTKR2015013894-appb-M000002
로우 데이터가 FFT 변환된 그래프는 도 11(b) 및 12(b)와 같다. 도 11(b)를 참조하면, 탐색 및 선택 상태의 뇌파는 약 0~10Hz 주파수 대역에서 큰 차이를 보이는 것으로 나타났으며, 도 12(b)를 참조하면, 집중 및 휴식 상태의 뇌파는 약 10~20Hz 주파수 대역에서 큰 차이를 보이는 것으로 나타났다.
EBI 시스템은 주파수 도메인 영역으로 변환된 샘플 데이터로부터 뇌파의 주파수 대역별로 주파수 크기(amplitude)를 추출할 수 있다(S1030). 추출 가능한 주파수 대역은 δ파(0~4Hz), θ파(4~8Hz), α파(8~13Hz), β파(13~30Hz)로 크게 총 4가지 대역이며 α파와 β파는 다시 Low α(8~10Hz), High α10~13Hz), Low β(13~20Hz), High β(20~30Hz)로 나누어질 수 있다. 이렇게 나누어진 각 대역별로 주파수 크기가 추출될 수 있으며, 대역별 주파수 크기를 뇌파의 특징을 추출하기 위한 알고리즘에 적용할 수 있다.
뇌파는 같은 자극에 대해 사용자별로 서로 다른 패턴을 나타낸다. 따라서, 뇌파 데이터를 사용자 별로 정확하게 처리하기 위해서는 사용자별 뇌파의 캘리브레이션 과정이 필요하다. 이때, 사용자별 인지 상태에 따른 뇌파의 주파수 특징을 추출하기 위한 알고리즘(또는 뇌파의 인지 상태를 분류하기 위한 기준을 설정하는 알고리즘)을 적용할 수 있는데, 본 발명에서는 Fisher’s Ratio를 이용하였다. 여기서, Fisher’s Ratio는 데이터 집단 간의 분류 가능성(discriminative power)를 측정하는 방식으로, 이를 구하는 식은 아래의 수학식 3과 같다.
Figure PCTKR2015013894-appb-M000003
여기서, m1은 두 집단 중 한 데이터 집단의 평균, m2는 나머지 데이터 집단의 평균, v1은 한 데이터 집단의 분산, v2는 나머지 데이터 집단의 분산을 나타낸다. 여기서 평균과 분산은 앞서 주파수 대역별로 추출한 주파수 크기를 이용하여 산출될 수 있다. 따라서, m1 및 v1은 탐색(또는 집중) 상태의 로우 데이터를 FFT 변환한 경우, FFT 변환된 로우 데이터의 주파수 크기의 평균 및 분산에 각각 해당할 수 있으며, m2 및 v2는 집중(또는 휴식) 상태의 로우 데이터를 FFT 변환한 경우, FFT 변환된 로우 데이터의 주파수 크기의 평균 및 분산에 각각에 해당할 수 있다.수학식 3을 통해 각 인지 상태에 따른 주파수 계수의 Fisher’s Ratio를 구할 수 있다(S1040). Fisher’s Ratio를 통해 두 표준 분포 사이의 분류 가능성(discriminative power)을 측정할 수 있다. 보다 상세하게는, Fisher’s Ratio를 이용하여 각 주파수 대역에서 사용자의 특정 인지 상태(예를 들어, 선택/집중/휴식/탐색 등)에서 나타난 주파수 크기(amplitude)가 가장 극대화 되는 주파수 대역을 찾음으로써, 사용자별 특정 인지 상태를 구별하기 위한 최적의 주파수 대역을 찾을 수 있다.
주파수 대역 별로 뇌파의 Fisher’s Ratio를 비교하고, 그 중 가장 높은 Fisher’s Ratio를 갖는 뇌파의 주파수 대역 크기 2개(최상위 및 차상위 Fisher’s Ratio)를 인지 상태를 구별하기 위한 특징 주파수 대역으로 선택할 수 있다(S1050). Fisher’s Ratio를 통해 각 인지 상태에 큰 영향을 주는 2개의 특징 주파수 대역들을 추출할 수 있으며, Fisher’s Ratio의 크기가 클수록 각 인지 상태를 구분하는 데 정확도가 높다.
도 11(c)은 선택/탐색 상태의 뇌파에서 산출한 Fisher’s Ratio이며, 도 12(c)는 집중/휴식 상태의 뇌파에서 산출한 Fisher’s Ratio이다. 도 11(c)를 참조하면, 선택/탐색 상태는 약 0~5Hz 주파수 대역과 약 5~10Hz 주파수 대역에서 상호 구분되는 특징을 갖는 것으로 나타났다. 도 12(c)를 참조하면, 집중/휴식 상태는 약 0~5Hz 주파수 대역과 약 10~20Hz의 주파수 대역에서 상호 구분되는 특징을 갖는 것으로 나타났다.
도 11(d) 및 12(d)는 선택/탐색/집중/휴식 인지 상태에서 Fisher’s Ratio를 통해 추출된 특징 주파수 대역의 크기를 2차원 영역으로 표현한 그래프이다. 도 11(d) 및 12(d)를 참조하면, 동일한 인지 상태의 데이터는 특정 위치에 모여있는 것을 확인할 수 있었다.
이렇듯 Fisher’s Ratio를 이용하여 인지 상태를 구별하기 위한 특징 주파수 대역을 추출하게 되면 뇌파의 캘리브레이션 작업은 완료된다.
다음으로, EBI 시스템은 새롭게 획득되는 데이터가 어느 집단에 속할지를 판단할 수 있는 분류 모델을 적용할 수 있다(S1060). 즉, EBI 시스템은 새롭게 획득된 뇌파가 어떤 인지 상태에 속하는 뇌파인지를 판단할 수 있는 분류 모델을 적용할 수 있다. 이때, EBI 시스템은 분류 모델로서 SVM(Support Vector Machine)을 적용할 수 있다. SVM은 다른 분류 모델들보다 일반화 능력과 성능이 좋은 것으로 평가되고 있다. EBI 시스템은 앞서 Fisher’s Ratio를 이용하여 획득한 특징을 기준으로 새롭게 획득한 뇌파 데이터를 인지 상태별로 SVM을 통해 실시간으로 구별(또는 분류)할 수 있다(S1070).
이렇듯 주파수 대역의 특징을 추출하는 Fisher’s Ratio와 SVM 기법을 통해 약 80% 이상의 정확도로 뇌파의 인지 상태를 구별해낼 수 있었다. 기존에는 사용자의 뇌파를 캘리브레이션하는 방법에 대한 구체적인 기준 및 방식이 확립되지 않아 사용자의 뇌파만으로 디바이스를 제어하는 데 정확도가 떨어졌다. 이에 반해, 본 발명이 제시하는 캘리브레이션 방법을 통해 사용자 뇌파의 인지 상태를 보다 정확하게 구별해낼 수 있으므로, 사용자는 뇌파만으로 사용자 의도에 맞게 디바이스를 정확하게 제어할 수 있게 된다.
도 10 순서도의 각 단계는 EBI 시스템에 포함된 적어도 하나의 디바이스에 의해 각각 수행될 수 있다. 예를 들어, EBI 시스템이 하나의 EBI 디바이스를 포함하는 경우, 도 10 순서도의 단계들은 EBI 디바이스에 의해 수행될 수 있다. 또는, EBI 시스템이 슬레이브 디바이스 및 호스트 디바이스를 포함하는 경우, 도 10 순서도의 단계들 중 일부 단계는 슬레이브 디바이스, 나머지 단계는 호스트 디바이스에 의해 수행될 수 있다.
도 13은 본 발명의 일 실시예에 따른 리캘리브레이션 방법에 관한 실시예를 도시한 도면이다.
EBC 인터페이스를 통한 캘리브레이션이 완료되면, EBI 시스템은 캘리브레이션 결과를 기준으로 새로 획득한 시선 및 뇌파에 관한 데이터를 맵핑/분류하고, 맵핑/분류 상태와 대응하는 다양한 커맨드를 수행할 수 있다. 예를 들어, EBI 시스템은 캘리브레이션 결과를 기준으로 사용자의 시선과 화면 상의 특정 아이콘을 맵핑시킬 수 있다. 나아가, EBI 시스템은 해당 아이콘을 바라본 상태에서 집중(또는 선택) 상태로 분류되는 뇌파 데이터를 추가로 획득한 경우, 해당 아이콘을 선택 및 실행하는 커맨드를 수행할 수 있다.
즉, EBI 시스템은 캘리브레이션 결과를 기준으로 새로 획득한 데이터의 맵핑/분류 작업을 수행하고, 맵핑/분류된 데이터에 해당하는 커맨드를 수행하게 된다. 다만, 캘리브레이션이 완료된 후에도 캘리브레이션 당시의 환경과 현재의 환경이 다르다거나, 사용자 혹은 사용자의 환경이 변경되어 캘리브레이션 결과의 정확도가 떨어지는 경우가 발생할 수 있다. 이 경우, EBI 시스템은 캘리브레이션을 재수행(리캘리브레이션, ‘Recalibration’)할 필요가 있다.
EBI 시스템의 리캘리브레이션은 다양한 실시예로서 트리거링될 수 있다.
일 실시예로서, EBI 시스템의 리캘리브레이션은 사용자로부터 직접 트리거링될 수 있다. 예를 들어, EBI 시스템은 리캘리브레이션을 명령하는 사용자 입력을 수신한 경우, 리캘리브레이션을 수행할 수 있다. 이때, 사용자 입력은 사용자의 음성, 터치, 제스쳐, 모션, 동작 등 다양한 형태의 입력을 나타낼 수 있다.
다른 실시예로서, 도 13을 참조하면, EBI 시스템의 리캘리브레이션은 사용자의 스트레스 지수를 측정함으로써 자동으로 트리거링될 수 있다. 뇌파 및 시선에 따라 사용자 의도와 맞지 않게 디바이스가 동작하는 경우(오동작하는 경우), 사용자의 스트레스 지수는 올라갈 수 있다. 따라서, EBI 시스템은 사용자의 스트레스 지수가 기설정된 스레스홀드(TH) 범위를 벗어나는 경우, 리캘리브레이션이 필요하다고 판단하여 리캘리브레이션을 수행할 수 있다.
사용자의 뇌파 중 베타파과 감마파는 스트레스 지수와 연관이 있는 것으로 알려져 있다. 따라서, EBI 시스템은 사용자 뇌파의 감마파와 베타파를 실시간으로 측정하고, 특정 파가 기설정된 스레스홀드 범위를 벗어나는 경우, 리캘리브레이션을 수행할 수 있다.
이외에도, EBI 시스템은 스트레스 지수와 연관 있는 것으로 알려진 생체 신호, 예를 들어, 심장 박동수, 혈압 등을 실시간으로 측정하고, 측정 결과에 기초하여 리캘리브레이션을 트리거링할 수 있다.
EBI 시스템은 리캘리브레이션 수행을 위해 사용자에게 EBC 인터페이스를 다시 제공하게 된다.
도 14는 본 발명의 일 실시예에 따른 EBI 시스템의 다양한 적용예들을 도시한 도면이다.
도 14를 참조하면, EBI 시스템은 드론 컨트롤 기술 분야, 홈 네트워크 기술 분야, 교육 분야, 휴대용 디바이스 기술 분야, 비히클(vehicle) 컨트롤 기술 분야, 엔터테인먼트 분야 등의 다양한 기술 분야에 적용될 수 있다.
EBI 시스템이 드론 컨트롤 기술 분야에 적용되는 경우, 호스트 디바이스는 드론(140-1)일 수 있으며, 슬레이브 디바이스는 웨어러블 디바이스(100)일 수 있다. 사용자는 슬레이브 디바이스를 착용한 상태로, 뇌파 및 시선을 통해 드론을 제어하게 된다.
예를 들어, 웨어러블 디바이스(100)가 사용자의 머리에 착용 가능한 헤드셋 형태인 경우, 사용자는 머리 포지션을 통해 드론(140-1)의 움직임을 제어할 수 있다. 사용자가 머리를 앞/뒤/좌/우로 움직이는 경우, 드론 역시 사용자 머리의 움직임에 따라 앞/뒤/좌/우로 움직일 수 있다. 또한, 사용자가 웨어러블 디바이스(100)를 착용한 상태로 드론(140-1)을 바라보며 집중하는 경우, 드론(140-1)의 이동 속도는 증가할 수 있으며, 사용자가 드론(140-1)을 바라보며 휴식하는 경우, 드론(140-1)은 이동하지 않고 한 지점에 멈춰 있을 수 있다. 이외에, 드론(140-1)은 사용자의 다양한 생체 신호에 기초하여 동작할 수 있다.
드론 컨트롤 기술 분야와 유사하게, EBI 시스템은 비히클 컨트롤 기술 분야에 적용될 수 있다. 예를 들어, EBI 시스템은 자동차, 비행기, 자전거 등 다양한 비히클을 컨트롤하는 기술 분야에 적용될 수 있으며, 이 경우 비히클(140-4)은 호스트 디바이스가 될 수 있으며, 사용자 신체에 착용한 웨어러블 디바이스(100)는 슬레이브 디바이스가 될 수 있다.
EBI 시스템이 홈 네트워크 기술 분야에 적용되는 경우, 홈 내에 위치하는 다양한 홈 디바이스들(140-2)은 호스트 디바이스가 될 수 있으며, 사용자 신체에 착용 가능한 웨어러블 디바이스(140-4)는 슬레이브 디바이스가 될 수 있다. 이 경우, 사용자는 웨어러블 디바이스(140-4)를 착용한 상태로 특정 홈 기기(140-2)를 바라보고 뇌파를 통해 특정 명령을 내림으로써 홈 디바이스들을 간편하게 제어할 수도 있다. 예를 들어, 사용자는 웨어러블 디바이스(100)를 착용한 상태로 전구(140-2)를 쳐다보며 “집중” 상태를 유지하는 경우, 해당 전구(140-2)는 켜지거나 꺼질 수 있다.
EBI 시스템이 교육 분야에 적용되는 경우, 다양한 교육용 기기들(140-3)은 호스트 디바이스가 될 수 있으며, 사용자 신체에 착용 가능한 웨어러블 디바이스(100)는 슬레이브 디바이스가 될 수 있다. EBI 시스템은 사용자의 집중 상태를 측정할 수 있으므로, 사용자가 현재 얼만큼 집중하고 있는지 집중도를 실시간으로 추적할 수 있다. 이때, EBI 시스템은 집중력이 다소 떨어진 시간에 학습된 부분은 추후에 재학습할 것을 권유함으로써 학습 효율을 향상시키는 데 도움을 줄 수도 있다.
이외에도, EBI 시스템은 다양한 기술 분야에 적용될 수 있으며, 특히, 사용자의 생체 신호를 이용한 제어 기술이 적용 가능한 다양한 분야에 적용될 수 있으며, 상술한 실시예들에 한정되지 않는다.
만일, EBI 시스템이 적용되는 기술 분야에 따라, 제어 신호로서 뇌파 및 시선 중 어느 하나만을 요구하는 경우, EBI 시스템은 요구되는 뇌파 또는 시선에 대해서만 캘리브레이션을 수행할 수 있다. 즉, 실시예에 따라, EBI 시스템은 뇌파 및 시선을 동시에 캘리브레이션하거나, 뇌파 및 시선 중 어느 하나에 대해서만 캘리브레이션을 수행할 수도 있다.
도 15는 본 발명의 일 실시예에 따른 EBI 시스템의 제어 방법에 관한 순서도이다. 본 순서도와 관련하여, 상술한 실시예들의 설명이 동일하게 적용될 수 있다. 따라서, 이하에서는 상술한 내용과 중복되는 설명은 생략하기로 한다.
우선, EBI 시스템은 EBC 인터페이스를 제공할 수 있다(S1510). 보다 상세하게는, EBI 시스템은 사용자의 시선 및 뇌파를 동시에 캘리브레이션하기 위한 EBC 인터페이스를 제공할 수 있다. 이때, EBC 인터페이스는 적어도 하나의 비주얼 오브젝트를 포함할 수 있으며, 사용자로 하여금 해당 비주얼 오브젝트에 대해 특정 인지 상태를 가지고 응시하도록 지시할 수 있다. EBC 인터페이스는 다양한 실시예로서 사용자에게 제공될 수 있으며, 이에 대해서는 도 6과 관련하여 상술한 바와 같다.
다음으로, EBI 시스템은 사용자의 시선 및 뇌파를 획득할 수 있다(S1520). 보다 상세하게는, EBI 시스템은 뇌파 센싱 유닛 및 시선 추적 유닛을 이용하여 EBC 인터페이스에 대한 사용자의 시선 및 뇌파를 획득할 수 있다.
다음으로, EBI 시스템은 EBC 인터페이스가 제공하는 비주얼 오브젝트와 사용자의 시선을 맵핑할 수 있다(S1530). 이 경우, EBI 시스템은 비주얼 오브젝트의 위치 좌표 및 사용자의 시선 좌표를 상호 맵핑할 수 있다. 이때, EBI 시스템은 multivariate linear regression 등을 통하여 비주얼 오브젝트의 위치와 사용자의 시선을 상호 맵핑할 수 있으며, 이에 관하여는 도 8과 관련하여 상술한 바와 같다.
마지막으로, EBI 시스템은 EBC 인터페이스가 지시하는 특정 인지 상태와 사용자의 뇌파를 맵핑할 수 있다(S1540). 이 경우, EBI 시스템은 특정 인지 상태에 대한 로우 데이터를 획득하고, 획득한 데이터를 기설정된 알고리즘을 통해 프로세싱함으로써 특정 인지 상태를 분류하기 위한 분류 기준을 설정할 수 있다. 분류 기준을 설정하기 위한 기설정된 알고리즘의 실시예는 도 10과 관련하여 상술한 바와 같다.
본 순서도에서 S1530과 S1540 단계의 순서는 변경될 수 있으며, 실시예에 따라 새로운 단계가 추가되거나 일부 단계가 삭제될 수도 있다.
한편, 본 순서도에는 도시하지 않았으나, EBI 시스템은 사용자의 시선으로부터 홍채 이미지를 획득할 수 있으며, 획득한 홍채 이미지를 코드화하여 사용자 인증 정보로 사용할 수 있다. 이에 관하여는 도 9와 관련하여 상술한 바와 같다.
본 순서도의 각 단계는 EBI 시스템에 포함된 적어도 하나의 디바이스에 의해 수행될 수 있다. 만일, EBI 시스템이 하나의 EBI 디바이스를 포함하는 경우, 본 순서도에 도시된 단계들은 하나의 EBI 디바이스에 의해 수행될 수 있다. 만일, EBI 시스템이 슬레이브 디바이스 및 호스트 디바이스를 포함하는 경우, 본 순서도에 도시된 단계들 중 일부는 슬레이브 디바이스, 나머지는 호스트 디바이스에 의해 수행될 수 있다.
예를 들어, S1510, S1530, 및 S1540 단계는 호스트 디바이스에 의해 수행될 수 있으며, S1520 단계는 슬레이브 디바이스에 의해 수행될 수 있다. 이 경우, 호스트 디바이스는 슬레이브 디바이스로부터 S1520 단계를 수행한 결과 데이터를 수신(또는 요청하여 수신)할 수 있으며, 수신한 데이터에 기초하여 S1530 및 S1540 단계를 수행할 수 있다.
이외에, EBI 시스템에 포함된 디바이스의 개수 및 각 디바이스의 구성 유닛, 설계 목적 등에 따라 본 순서도의 각 단계를 수행하는 주체는 유동적으로 변경될 수 있으며, 각 단계를 수행하기 위해 디바이스 간 데이터 또는 신호가 송/수신될 수 있다. 따라서, 본 명세서에서는 EBI 시스템이 복수의 디바이스들로 구성되는 경우, 중복하여 설명하지 않아도, 특정 단계를 수행하기 위해 요구되는 데이터가 디바이스들간에 송/수신되는 내용이 포함되어 있는 것으로 볼 수 있다.
설명의 편의를 위하여 각 도면을 나누어 설명하였으나, 각 도면에 서술되어 있는 실시예들을 병합하여 새로운 실시예를 구현하도록 설계하는 것도 가능하다. 또한, 표시 장치는 상술한 바와 같이 설명된 실시예들의 구성과 방법이 한정되게 적용될 수 있는 것이 아니라, 상술한 실시예들은 다양한 변형이 이루어질 수 있도록 각 실시 예들의 전부 또는 일부가 선택적으로 조합되어 구성될 수도 있다.
또한, 이상에서는 바람직한 실시예에 대하여 도시하고 설명하였지만, 본 명세서는 상술한 특정의 실시예에 한정되지 아니하며, 청구 범위에서 청구하는 요지를 벗어남이 없이 당해 명세서가 속하는 기술분야에서 통상의 지식을 가진 자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형 실시들은 본 명세서의 기술적 사상이나 전망으로부터 개별적으로 이해되어서는 안될 것이다.
다양한 실시예가 본 발명을 실시하기 위한 최선의 형태에서 설명되었다.
본 발명의 사용자의 뇌파 및 시선을 이용한 다양한 제어 시스템에서 사용될 수 있다.

Claims (20)

  1. 시선(eye) 및 뇌파에 기초하여 제어되는 EBI(Eye-Brain Interface) 시스템의 캘리브레이션 하는 방법에 있어서,
    상기 시선 및 뇌파를 함께 캘리브레이션하기 위한 EBC(Eye-Brain Calibration) 인터페이스를 제공하는 단계; 로서,
    상기 EBC 인터페이스는 비주얼 오브젝트를 포함하며, 사용자에게 상기 비주얼 오브젝트를 특정 인지 상태로 응시할 것을 지시함,
    상기 EBC 인터페이스에 포함된 비주얼 오브젝트에 대한 상기 사용자의 시선 및 뇌파를 획득하는 단계;
    상기 비주얼 오브젝트와 상기 사용자의 시선을 맵핑하는 단계; 및
    상기 사용자에게 지시한 특정 인지 상태와 상기 사용자의 뇌파를 맵핑하는 단계; 를 포함하는, EBI 시스템의 캘리브레이션 방법.
  2. 제 1 항에 있어서,
    상기 사용자의 시선을 맵핑하는 단계는,
    상기 비주얼 오브젝트의 화면 상의 위치 좌표와 상기 사용자 시선의 위치 좌표를 상호 맵핑하는 단계인, EBI 시스템의 캘리브레이션 방법.
  3. 제 1 항에 있어서,
    상기 EBC 인터페이스는 제1 인지 상태를 지시하는 제1 비주얼 오브젝트, 및 제2 인지 상태를 지시하는 제2 비주얼 오브젝트를 순차적으로 및/또는 교대로 제공하는, EBI 시스템의 캘리브레이션 방법.
  4. 제 3 항에 있어서,
    상기 제1 인지 상태는 집중 및 선택 중 적어도 하나를 포함하는 인지 상태이며, 상기 제2 인지 상태는 휴식 및 탐색 중 적어도 하나를 포함하는 인지 상태인, EBI 시스템의 캘리브레이션 방법.
  5. 제 3 항에 있어서,
    상기 사용자의 뇌파를 맵핑하는 단계는,
    상기 제1 인지 상태에서의 뇌파에 대한 제1 로우 데이터(Raw data) 및 상기 제2 인지 상태에서의 뇌파에 대한 제2 로우 데이터를 획득하는 단계;
    상기 제1 및 제2 로우 데이터를 주파수 변환하는 단계; 및
    상기 주파수 변환된 제1 및 제2 로우 데이터의 주파수 특성에 기초하여 상기 제1 및 제2 인지 상태의 분류 기준을 설정하는 단계; 를 포함하는, EBI 시스템의 캘리브레이션 방법.
  6. 제 5 항에 있어서,
    상기 제1 및 제2 인지 상태의 분류 기준을 설정하는 단계는,
    상기 주파수 변환된 제1 및 제2 로우 데이터에서 기설정된 범위의 주파수 대역별 주파수 크기(amplitude)를 추출하는 단계;
    상기 추출한 주파수 크기를 이용하여 상기 주파수 대역별 Fisher’s Ratio를 획득하는 단계;
    최상위 Fisher’s Ratio를 갖는 제1 주파수 대역 및 차상위 Fisher’s Ratio를 갖는 제2 주파수 대역을 선택하는 단계; 및
    상기 제1 및 제2 주파수 대역을 상기 제1 및 제2 인지 상태의 분류 기준으로 설정하는 단계; 를 포함하는, EBI 시스템의 캘리브레이션 방법.
  7. 제 6 항에 있어서,
    상기 Fisher’s Ratio는,
    상기 주파수 변환된 제1 로우 데이터에서 상기 주파수 크기의 평균 및 분산, 및 상기 주파수 변환된 제2 로우 데이터에서의 상기 주파수 크기의 평균 및 분산에 기초하여 산출되는 값인, EBI 시스템의 캘리브레이션 방법.
  8. 제 5 항에 있어서,
    상기 기설정된 범위의 주파수 대역은, 뇌파의 δ파 대역, θ파 대역, α파 대역, 또는 β파 대역에 해당하는, EBI 시스템의 캘리브레이션 방법.
  9. 제 1 항에 있어서,
    상기 EBC 인터페이스는 상기 비주얼 오브젝트가 깜빡이는 주파수를 조절함으로써 상기 사용자의 뇌파를 특정 주파수 대역으로 유도하는, EBI 시스템의 캘리브레이션 방법.
  10. 제 9 항에 있어서,
    상기 EBC 인터페이스는,
    상기 비주얼 오브젝트가 깜빡이는 주파수를 약 8~13Hz 범위로 조정함으로써 상기 사용자의 뇌파를 알파파 범위로 유도하고,
    상기 비주얼 오브젝트가 깜빡이는 주파수를 약 13~30Hz 범위로 조정함으로써 상기 사용자의 뇌파를 베타파 범위로 유도하는, EBI 시스템의 캘리브레이션 방법.
  11. 제 1 항에 있어서,
    상기 사용자의 시선으로부터 홍채 이미지를 획득하는 단계; 및
    상기 홍채 이미지를 코드화하는 단계; 를 더 포함하는, EBI 시스템의 캘리브레이션 방법.
  12. 제 11 항에 있어서,
    상기 홍채 이미지를 코드화하는 단계는,
    상기 획득한 홍채 이미지를 복수의 이미지들로 분리하는 단계;
    상기 분리한 복수의 이미지들을 한 방향으로 나열하는 단계; 및
    상기 한 방향으로 나열된 이미지들을 하나의 2차원 이미지로 전환하는 단계; 를 포함하는, EBI 시스템의 캘리브레이션 방법.
  13. 시선(eye) 및 뇌파를 측정하는 슬레이브 디바이스에 있어서,
    사용자의 시선을 추적하는 시선 추적 유닛;
    상기 사용자의 뇌파를 센싱하는 뇌파 센싱 유닛;
    호스트 디바이스와 통신을 수행하는 통신 유닛; 및
    상기 시선 추적 유닛, 뇌파 센싱 유닛 및 통신 유닛을 제어하는 프로세서; 를 포함하되,
    상기 호스트 디바이스는 상기 시선 및 뇌파를 동시에 캘리브레이션하기 위한 EBC(Eye-Brain Calibration) 인터페이스를 제공하는 디바이스로서, 상기 EBC 인터페이스는 비주얼 오브젝트를 포함하며, 사용자에게 상기 비주얼 오브젝트를 특정 인지 상태로 응시할 것을 지시함,
    상기 프로세서는,
    상기 호스트 디바이스로부터 캘리브레이션 개시 신호를 수신한 경우, 상기 사용자의 시선 및 뇌파를 함께 획득하고,
    상기 사용자의 시선 및 뇌파를 상기 호스트 디바이스로 전송하는, 슬레이브 디바이스.
  14. 시선 및 뇌파에 기초하여 제어되는 호스트 디바이스에 있어서,
    이미지를 디스플레이하는 디스플레이 유닛;
    슬레이브 디바이스와 통신을 수행하는 통신 유닛; 및
    상기 디스플레이 유닛 및 통신 유닛을 제어하는 프로세서; 를 포함하고,
    상기 프로세서는,
    상기 시선 및 뇌파를 동시에 캘리브레이션하기 위한 EBC(Eye-Brain Calibration) 인터페이스를 제공하되,
    상기 EBC 인터페이스는 비주얼 오브젝트를 포함하며, 사용자에게 상기 비주얼 오브젝트를 특정 인지 상태로 응시할 것을 지시함,
    상기 슬레이브 디바이스로부터 상기 사용자의 시선 및 뇌파를 요청 및 수신하고,
    상기 비주얼 오브젝트와 상기 사용자의 시선을 맵핑하고, 및
    상기 사용자에게 지시한 특정 인지 상태와 상기 사용자의 뇌파를 맵핑하는, 호스트 디바이스.
  15. 제 14 항에 있어서,
    상기 프로세서는,
    상기 사용자의 시선을 맵핑하는 경우,
    상기 비주얼 오브젝트의 화면 상의 위치 좌표와 상기 사용자 시선의 위치 좌표를 상호 맵핑하는, 호스트 디바이스.
  16. 제 14 항에 있어서,
    상기 EBC 인터페이스는 제1 인지 상태를 지시하는 제1 비주얼 오브젝트, 및 제2 인지 상태를 지시하는 제2 비주얼 오브젝트를 순차적으로 및/또는 교대로 제공하는, 호스트 디바이스.
  17. 제 16 항에 있어서,
    상기 제1 인지 상태는 집중 또는 선택의 인지 상태이며, 상기 제2 인지 상태는 휴식 또는 탐색의 인지 상태인, 호스트 디바이스.
  18. 제 16 항에 있어서,
    상기 프로세서는,
    상기 사용자의 뇌파를 맵핑하는 경우,
    상기 제1 인지 상태에서의 뇌파에 대한 제1 로우 데이터(Raw data) 및 상기 제2 인지 상태에서의 뇌파에 대한 제2 로우 데이터를 획득하고,
    상기 제1 및 제2 로우 데이터를 주파수 변환하고,
    상기 주파수 변환된 제1 및 제2 로우 데이터에서 기설정된 범위의 주파수 대역별 주파수 크기를 추출하고,
    상기 추출한 주파수 크기를 이용하여 상기 주파수 대역별 Fisher’s Ratio를 획득하고,
    최상위 Fisher’s Ratio를 갖는 제1 주파수 대역 및 차상위 Fisher’s Ratio를 갖는 제2 주파수 대역을 선택하고, 및
    상기 제1 및 제2 주파수 대역을 상기 제1 및 제2 인지 상태의 분류 기준으로 설정하는, 호스트 디바이스.
  19. 제 16 항에 있어서,
    상기 프로세서는,
    상기 사용자의 뇌파를 실시간으로 획득하고,
    상기 실시간으로 획득한 사용자의 뇌파를 상기 분류 기준에 따라 실시간으로 분류하는, 호스트 디바이스.
  20. 제 14 항에 있어서,
    상기 EBC 인터페이스는 상기 비주얼 오브젝트가 깜빡이는 주파수를 조절함으로써 상기 사용자의 뇌파를 특정 주파수 대역으로 유도하는, 호스트 디바이스.
PCT/KR2015/013894 2015-12-17 2015-12-17 아이 브레인 인터페이스(ebi) 장치 및 그 제어 방법 WO2017104869A1 (ko)

Priority Applications (6)

Application Number Priority Date Filing Date Title
CN201580085723.9A CN108700931A (zh) 2015-12-17 2015-12-17 眼睛-大脑接口(ebi)系统及其控制方法
PCT/KR2015/013894 WO2017104869A1 (ko) 2015-12-17 2015-12-17 아이 브레인 인터페이스(ebi) 장치 및 그 제어 방법
JP2018551726A JP6664512B2 (ja) 2015-12-17 2015-12-17 アイブレインインターフェースシステムのキャリブレーション方法、及びシステム内のスレーブデバイス、ホストデバイス
US15/740,298 US10481683B2 (en) 2015-12-17 2015-12-17 Eye-brain interface (EBI) system and method for controlling same
EP15910792.9A EP3392739B1 (en) 2015-12-17 2015-12-17 Eye-brain interface (ebi) system and method for controlling same
US16/601,418 US10860097B2 (en) 2015-12-17 2019-10-14 Eye-brain interface (EBI) system and method for controlling same

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/KR2015/013894 WO2017104869A1 (ko) 2015-12-17 2015-12-17 아이 브레인 인터페이스(ebi) 장치 및 그 제어 방법

Related Child Applications (2)

Application Number Title Priority Date Filing Date
US15/740,298 A-371-Of-International US10481683B2 (en) 2015-12-17 2015-12-17 Eye-brain interface (EBI) system and method for controlling same
US16/601,418 Continuation US10860097B2 (en) 2015-12-17 2019-10-14 Eye-brain interface (EBI) system and method for controlling same

Publications (1)

Publication Number Publication Date
WO2017104869A1 true WO2017104869A1 (ko) 2017-06-22

Family

ID=59056842

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2015/013894 WO2017104869A1 (ko) 2015-12-17 2015-12-17 아이 브레인 인터페이스(ebi) 장치 및 그 제어 방법

Country Status (5)

Country Link
US (2) US10481683B2 (ko)
EP (1) EP3392739B1 (ko)
JP (1) JP6664512B2 (ko)
CN (1) CN108700931A (ko)
WO (1) WO2017104869A1 (ko)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019053399A1 (en) * 2017-09-13 2019-03-21 Sandeep Kumar Chintala SYSTEM AND METHOD FOR CONTACTLESS CONTROL OF A TECHNICAL FIELD OF APPARATUS
JP2019129913A (ja) * 2018-01-29 2019-08-08 富士ゼロックス株式会社 情報処理装置、情報処理システム及びプログラム
JP2019129914A (ja) * 2018-01-29 2019-08-08 富士ゼロックス株式会社 情報処理装置、情報処理システム及びプログラム
US10481683B2 (en) 2015-12-17 2019-11-19 Looxid Labs Inc. Eye-brain interface (EBI) system and method for controlling same
US10606260B2 (en) * 2017-09-27 2020-03-31 Intel IP Corporation Ocular navigation of unmanned aerial vehicle
CN111542800A (zh) * 2017-11-13 2020-08-14 神经股份有限公司 具有对于高速、精确和直观的用户交互的适配的大脑-计算机接口
CN111629653A (zh) * 2017-08-23 2020-09-04 神经股份有限公司 具有高速眼睛跟踪特征的大脑-计算机接口
JP2021529368A (ja) * 2018-06-21 2021-10-28 インターナショナル・ビジネス・マシーンズ・コーポレーションＩｎｔｅｒｎａｔｉｏｎａｌ Ｂｕｓｉｎｅｓｓ Ｍａｃｈｉｎｅｓ Ｃｏｒｐｏｒａｔｉｏｎ 理学療法用の仮想環境

Families Citing this family (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11317861B2 (en) 2013-08-13 2022-05-03 Sync-Think, Inc. Vestibular-ocular reflex test and training system
US9958939B2 (en) * 2013-10-31 2018-05-01 Sync-Think, Inc. System and method for dynamic content delivery based on gaze analytics
JP6525010B2 (ja) * 2014-08-05 2019-06-05 ソニー株式会社 情報処理装置及び情報処理方法、並びに画像表示システム
US10359842B2 (en) * 2014-09-16 2019-07-23 Ricoh Company, Limited Information processing system and information processing method
CN105528084A (zh) * 2016-01-21 2016-04-27 京东方科技集团股份有限公司 一种显示控制装置及其控制方法、显示控制系统
WO2018164960A1 (en) * 2017-03-07 2018-09-13 Cornell University Sensory evoked response based attention evaluation systems and methods
US10877647B2 (en) * 2017-03-21 2020-12-29 Hewlett-Packard Development Company, L.P. Estimations within displays
CN108733203A (zh) * 2017-04-20 2018-11-02 上海耕岩智能科技有限公司 一种眼球追踪操作的方法和装置
CN107105369A (zh) * 2017-06-29 2017-08-29 京东方科技集团股份有限公司 声音定向切换装置及显示系统
CN109938727A (zh) * 2017-12-20 2019-06-28 中国科学院深圳先进技术研究院 非人灵长类动物三维视觉刺激实验系统和方法
US10861215B2 (en) * 2018-04-30 2020-12-08 Qualcomm Incorporated Asynchronous time and space warp with determination of region of interest
CN109464239A (zh) * 2019-01-09 2019-03-15 浙江强脑科技有限公司 基于脑波控制的智能轮椅
CN109846477B (zh) * 2019-01-29 2021-08-06 北京工业大学 一种基于频带注意力残差网络的脑电分类方法
USD927005S1 (en) * 2019-02-28 2021-08-03 Helius Medical, Inc Non-invasive neurostimulation device
USD916300S1 (en) * 2019-02-28 2021-04-13 Helius Medical, Inc Non-invasive neurostimulation device
US11786694B2 (en) 2019-05-24 2023-10-17 NeuroLight, Inc. Device, method, and app for facilitating sleep
US10854012B1 (en) * 2019-05-29 2020-12-01 Dell Products, L.P. Concealing loss of distributed simultaneous localization and mapping (SLAM) data in edge cloud architectures
EP3991013A1 (en) * 2019-06-28 2022-05-04 Sony Group Corporation Method, computer program and head-mounted device for triggering an action, method and computer program for a computing device and computing device
CN111290580B (zh) * 2020-02-13 2022-05-31 Oppo广东移动通信有限公司 基于视线追踪的校准方法及相关装置
US20230065296A1 (en) * 2021-08-30 2023-03-02 Facebook Technologies, Llc Eye-tracking using embedded electrodes in a wearable device
WO2024040360A1 (zh) * 2022-08-26 2024-02-29 吕馨 Brain reality

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20120124772A (ko) * 2011-05-04 2012-11-14 경북대학교 산학협력단 사용자 집중도 분석장치 및 방법
KR20130015488A (ko) * 2011-08-03 2013-02-14 동국대학교 산학협력단 인터페이스 시스템 및 방법
US20130307771A1 (en) * 2012-05-18 2013-11-21 Microsoft Corporation Interaction and management of devices using gaze detection
EP2685351A1 (en) * 2012-07-10 2014-01-15 Thomson Licensing Method for calibration free gaze tracking using low cost camera
US20140347265A1 (en) * 2013-03-15 2014-11-27 Interaxon Inc. Wearable computing apparatus and method

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004152046A (ja) 2002-10-31 2004-05-27 Oki Electric Ind Co Ltd 利用者認証方法および生体情報記録装置、利用者認証装置、利用者認証システム並びにチケット発行装置
JP2006136464A (ja) 2004-11-11 2006-06-01 Nec Commun Syst Ltd 携帯電話機及び携帯電話機用プログラム
JP4537901B2 (ja) * 2005-07-14 2010-09-08 日本放送協会 視線測定装置および視線測定プログラム、ならびに、視線校正データ生成プログラム
WO2008056492A1 (fr) 2006-11-06 2008-05-15 Panasonic Corporation Dispositif de réglage d'un procédé d'identification d'ondes cérébrales et procédé
WO2008059878A1 (fr) * 2006-11-15 2008-05-22 Panasonic Corporation Dispositif d'ajustement pour un procédé d'identification d'ondes cérébrales, procédé d'ajustement et programme informatique
CN101681201B (zh) * 2008-01-25 2012-10-17 松下电器产业株式会社 脑波接口系统、脑波接口装置、方法
CN102542243A (zh) * 2010-12-17 2012-07-04 北京理工大学 一种基于lbp图像和分块编码的虹膜特征提取方法
WO2012133185A1 (ja) 2011-03-31 2012-10-04 独立行政法人理化学研究所 脳波解析装置、脳波解析方法、プログラム、及び記録媒体
US20120257035A1 (en) * 2011-04-08 2012-10-11 Sony Computer Entertainment Inc. Systems and methods for providing feedback by tracking user gaze and gestures
KR20140011204A (ko) * 2012-07-18 2014-01-28 삼성전자주식회사 컨텐츠 제공 방법 및 이를 적용한 디스플레이 장치
US9699433B2 (en) * 2013-01-24 2017-07-04 Yuchen Zhou Method and apparatus to produce re-focusable vision with detecting re-focusing event from human eye
WO2015047032A1 (ko) 2013-09-30 2015-04-02 삼성전자 주식회사 생체 신호에 기초하여 컨텐츠를 처리하는 방법, 및 그에 따른 디바이스
EP3392739B1 (en) 2015-12-17 2022-04-20 Looxid Labs Inc. Eye-brain interface (ebi) system and method for controlling same

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20120124772A (ko) * 2011-05-04 2012-11-14 경북대학교 산학협력단 사용자 집중도 분석장치 및 방법
KR20130015488A (ko) * 2011-08-03 2013-02-14 동국대학교 산학협력단 인터페이스 시스템 및 방법
US20130307771A1 (en) * 2012-05-18 2013-11-21 Microsoft Corporation Interaction and management of devices using gaze detection
EP2685351A1 (en) * 2012-07-10 2014-01-15 Thomson Licensing Method for calibration free gaze tracking using low cost camera
US20140347265A1 (en) * 2013-03-15 2014-11-27 Interaxon Inc. Wearable computing apparatus and method

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP3392739A4 *

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10481683B2 (en) 2015-12-17 2019-11-19 Looxid Labs Inc. Eye-brain interface (EBI) system and method for controlling same
US10860097B2 (en) 2015-12-17 2020-12-08 Looxid Labs, Inc. Eye-brain interface (EBI) system and method for controlling same
CN111629653A (zh) * 2017-08-23 2020-09-04 神经股份有限公司 具有高速眼睛跟踪特征的大脑-计算机接口
JP2020532031A (ja) * 2017-08-23 2020-11-05 ニューラブル インコーポレイテッド 高速視標追跡機能を有する脳−コンピュータインタフェース
US11972049B2 (en) 2017-08-23 2024-04-30 Neurable Inc. Brain-computer interface with high-speed eye tracking features
WO2019053399A1 (en) * 2017-09-13 2019-03-21 Sandeep Kumar Chintala SYSTEM AND METHOD FOR CONTACTLESS CONTROL OF A TECHNICAL FIELD OF APPARATUS
US10606260B2 (en) * 2017-09-27 2020-03-31 Intel IP Corporation Ocular navigation of unmanned aerial vehicle
CN111542800A (zh) * 2017-11-13 2020-08-14 神经股份有限公司 具有对于高速、精确和直观的用户交互的适配的大脑-计算机接口
JP2021502659A (ja) * 2017-11-13 2021-01-28 ニューラブル インコーポレイテッド 高速、正確及び直観的なユーザ対話のための適合を有する脳−コンピュータインターフェース
JP2019129914A (ja) * 2018-01-29 2019-08-08 富士ゼロックス株式会社 情報処理装置、情報処理システム及びプログラム
JP2019129913A (ja) * 2018-01-29 2019-08-08 富士ゼロックス株式会社 情報処理装置、情報処理システム及びプログラム
US11412974B2 (en) 2018-01-29 2022-08-16 Agama-X Co., Ltd. Information processing apparatus, information processing system, and non-transitory computer readable medium
JP2021529368A (ja) * 2018-06-21 2021-10-28 インターナショナル・ビジネス・マシーンズ・コーポレーションＩｎｔｅｒｎａｔｉｏｎａｌ Ｂｕｓｉｎｅｓｓ Ｍａｃｈｉｎｅｓ Ｃｏｒｐｏｒａｔｉｏｎ 理学療法用の仮想環境
JP7289082B2 (ja) 2018-06-21 2023-06-09 インターナショナル・ビジネス・マシーンズ・コーポレーション 理学療法用の仮想環境

Also Published As

Publication number Publication date
CN108700931A (zh) 2018-10-23
JP2019506691A (ja) 2019-03-07
US10481683B2 (en) 2019-11-19
JP6664512B2 (ja) 2020-03-13
EP3392739A4 (en) 2019-08-28
US10860097B2 (en) 2020-12-08
US20200057495A1 (en) 2020-02-20
EP3392739B1 (en) 2022-04-20
US20180196511A1 (en) 2018-07-12
EP3392739A1 (en) 2018-10-24

Similar Documents

Publication Publication Date Title
WO2017104869A1 (ko) 아이 브레인 인터페이스(ebi) 장치 및 그 제어 방법
US10820850B2 (en) Systems and methods for measuring reactions of head, eyes, eyelids and pupils
JP6929644B2 (ja) 注視によるメディア選択及び編集のためのシステム並びに方法
JP6184989B2 (ja) 目の動きをモニターするバイオセンサ、コミュニケーター及びコントローラー並びにそれらの使用方法
KR102029219B1 (ko) 뇌 신호를 추정하여 사용자 의도를 인식하는 방법, 그리고 이를 구현한 헤드 마운트 디스플레이 기반 뇌-컴퓨터 인터페이스 장치
KR101723841B1 (ko) 아이 브레인 인터페이스(ebi) 장치 및 그 제어 방법
US11081015B2 (en) Training device, training method, and program
US10948988B1 (en) Contextual awareness based on eye motion tracking by an eye-mounted system
WO2018080202A1 (ko) 머리 착용형 디스플레이 장치 및 그의 제어 방법
US20220293241A1 (en) Systems and methods for signaling cognitive-state transitions
WO2018207959A1 (ko) 이미지 처리 장치 및 방법
TW201816545A (zh) 虛擬實境頭戴式裝置
CN113995416A (zh) 用于显示眼镜中的用户界面的装置和方法
US20170242482A1 (en) Training device, corresponding area specifying method, and program
WO2016111421A1 (ko) 눈 영상에 기반한 사용자 인터페이스를 제공하기 위한 방법, 시스템 및 비일시성의 컴퓨터 판독 가능한 기록 매체
US20220236795A1 (en) Systems and methods for signaling the onset of a user's intent to interact
US20220191296A1 (en) Devices, systems, and methods for modifying features of applications based on predicted intentions of users
KR20220162566A (ko) 사용자의 스트레스 완화를 위해 상호작용하는 가상동물을 제공하는 전자장치 및 이의 제어방법
CN116830064A (zh) 用于预测交互意图的系统和方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 15910792

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2018551726

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

WWE Wipo information: entry into national phase

Ref document number: 2015910792

Country of ref document: EP

ENP Entry into the national phase

Ref document number: 2015910792

Country of ref document: EP

Effective date: 20180717