WO2009093435A1 - 脳波インタフェースシステム、脳波インタフェース装置、方法およびコンピュータプログラム - Google Patents

脳波インタフェースシステム、脳波インタフェース装置、方法およびコンピュータプログラム Download PDF

Info

Publication number
WO2009093435A1
WO2009093435A1 PCT/JP2009/000172 JP2009000172W WO2009093435A1 WO 2009093435 A1 WO2009093435 A1 WO 2009093435A1 JP 2009000172 W JP2009000172 W JP 2009000172W WO 2009093435 A1 WO2009093435 A1 WO 2009093435A1
Authority
WO
WIPO (PCT)
Prior art keywords
electroencephalogram
screen
user
eye movement
option
Prior art date
Application number
PCT/JP2009/000172
Other languages
English (en)
French (fr)
Inventor
Toru Nakada
Koji Morikawa
Original Assignee
Panasonic Corporation
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Corporation filed Critical Panasonic Corporation
Priority to CN2009800002362A priority Critical patent/CN101681201B/zh
Priority to JP2009516809A priority patent/JP4399513B2/ja
Publication of WO2009093435A1 publication Critical patent/WO2009093435A1/ja
Priority to US12/534,318 priority patent/US8466875B2/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/015—Input arrangements based on nervous system activity detection, e.g. brain waves [EEG] detection, electromyograms [EMG] detection, electrodermal response detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/038—Indexing scheme relating to G06F3/038
    • G06F2203/0381—Multimodal input, i.e. interface arrangements enabling the user to issue commands by simultaneous use of input devices of different nature, e.g. voice plus gesture on digitizer

Definitions

  • the present invention relates to an interface (electroencephalogram interface) system capable of operating a device by using an electroencephalogram. More specifically, the present invention relates to an electroencephalogram interface system having a function for efficiently selecting a user's desired option from a large number of options.
  • the operation input means for example, a method such as pressing a button, moving a cursor for determination, or operating a mouse while watching a screen is used.
  • an input means using biological signals of the user more specifically, an electroencephalogram interface using event-related potentials of the electroencephalogram of the user has been developed.
  • event-related potential refers to transient potential fluctuations in the brain that occur temporally related to external or internal events.
  • the electroencephalogram interface uses event-related potentials that are measured starting from the occurrence timing of an external event. For example, it is said that the menu option can be selected by using a component P300 of an event-related potential generated for a visual stimulus or the like.
  • the “P300” is a positive component of the event-related potential appearing around about 300 milliseconds from the origin.
  • Patent Document 1 discloses an electroencephalogram interface technology that uses an event-related potential to identify an option that the user wishes to select. Describing in detail the technique described in Patent Document 1, a waveform of an event-related potential appears randomly about 300 milliseconds after the option is highlighted at random and the timing at which the option is highlighted. Is used to realize the identification of the option that the user wants to select. According to this technology, the user can select an option that he / she wishes to select even in a situation in which both hands are closed and in a situation in which the hands and feet can not move due to illness or the like. Therefore, an interface such as device operation meeting the above-mentioned needs is realized.
  • a visual stimulus such as highlighting or popping up an option on the interface screen is required.
  • a visual stimulus such as highlighting or popping up an option on the interface screen.
  • FIG. 18 shows an interface screen listed in Non-Patent Document 1.
  • 36 characters are displayed in a 6 ⁇ 6 matrix.
  • each row and each column are highlighted randomly at a fixed time interval, and the above-mentioned event-related potential is used to determine what row and column the user wishes to select. Identified. This reduces the number of highlights required 36 times for highlighting individually to 12 of 6 + 6.
  • Patent Document 2 a line-of-sight input interface technology using a line-of-sight detection device as shown in Patent Document 2, for example, has been conventionally proposed.
  • a gaze area on a user's interface screen is detected, and options in the gaze area are treated as a selected state. Then, when there is an option in the selected state, when the operation of closing the eyelid for a sufficiently long time by the user (closing operation) is detected, it is determined that the selection of the option has been confirmed. As a result, a signal for determining the input of information is output, and the selection is determined.
  • the time threshold for detecting the closing eye movement of the user is set to a small value, for example, even an unintended blink may erroneously detect that the selection of the option has been confirmed, and the user inputs information not intended There is a possibility of being
  • the time threshold for detecting the closing movement of the user is set to a large value, although the possibility of false detection related to blinking decreases, the user intentionally maintains the closing movement for a long time Because of the need, too much force may cause fatigue of the muscles around the eye.
  • the eye-gaze input interface forces the user to perform a predetermined operation when determining the selection execution of an option
  • the electroencephalogram interface allows the user to select the operation without forcing the user to perform a predetermined operation. It is very effective in that you can identify the option you want to do.
  • Japanese Patent Application Laid-Open No. 2005-34620 Japanese Patent Application Laid-Open No. 10-187334 Emmanuel Donchin and two others, "The Mental Prosthesis: Assessing the Speed of a P-based Brain-Computer Interface", IEEE TRANSACTIONS ON REHABILITATION ENGINEERING, Vol. 8, No. 2, June 2000
  • the option to be highlighted, the timing to start highlighting, and the time interval of highlighting were all uniquely determined by the interface system. Therefore, the user using the electroencephalogram interface had to wait for highlighting of the desired option, and had to keep looking at the interface screen even if the undesired option was highlighted. Therefore, it was not always possible to select an option efficiently.
  • the purpose is to allow the user to efficiently select a desired option from among a large number of options without making the user feel uncomfortable or frustrated.
  • the electroencephalogram interface system is used to control the operation of a device using a user's electroencephalogram signal, and the electroencephalogram interface system comprises an electroencephalogram measurement unit for measuring the electroencephalogram signal of the user; An eye movement measurement unit that measures the eye movement of the user, an output unit that presents options related to the operation of the device on the screen, and a time point at which the rotational angular velocity of the eye movement falls below a predetermined threshold. It is determined whether or not a predetermined time has elapsed as a starting point, and when the predetermined time has elapsed, an area in the screen at which the user is gazing is specified based on the eye movement and an option for highlighting is selected.
  • a highlight determination unit to be determined and a timing of highlighting the option determined by the highlight determination unit and highlighting the option A component of the event-related potential included in the electroencephalogram signal from the start point, and an interface unit that determines the operation of the device based on the identified component, and a process for displaying the screen is started
  • a timing adjustment unit configured to adjust a highlight start timing based on the eye movement until the screen is displayed.
  • the timing adjustment unit is configured such that the change amount of the eye movement is equal to or greater than a predetermined threshold, and the change amount of the eye movement is equal to or less than the predetermined threshold for a time shorter than the predetermined time after the screen is displayed.
  • the highlight of the option may be started from the point of time when it becomes.
  • the timing adjustment unit measures the gaze time in each gaze area when the user gazes at the area in the screen after the screen is displayed, and the average value of the measurement time is the predetermined time or more Highlighting of the option may be started from the time when the change amount of the eye movement is less than a predetermined threshold for a time longer than the predetermined time.
  • the highlight determination unit may determine an option included in an area in the screen as the option to highlight.
  • the interface unit may highlight the selected option by changing at least one of the brightness, the hue, and the size of the option determined by the highlight determination unit on the screen. .
  • the interface unit may change a highlighting method according to the number of the options determined by the highlight determination unit.
  • the plurality of options may be highlighted randomly or sequentially at a predetermined highlight interval.
  • the highlight determination unit may not determine the option to be highlighted when there is no option in the area in the screen.
  • the electroencephalogram interface system may further include an interval adjustment unit that adjusts a time interval of highlights based on the eye movement.
  • the interval adjustment unit may adjust the time interval of the highlight based on the eye movement between the start of the process for displaying the screen and the display of the screen.
  • the interval adjustment unit is configured such that the change amount of the eye movement is equal to or greater than a predetermined threshold, and the change amount of the eye movement is equal to or less than the predetermined threshold for a shorter time than the predetermined time after the screen is displayed. When it becomes, the time interval of the highlight may be adjusted to be shorter than the set value.
  • the interval adjustment unit measures the gaze time in each gaze area when the user gazes at the area in the screen after the screen is displayed, and the average value of the measurement time is the predetermined time or more When it becomes, the time interval of the highlight may be adjusted to be longer than the set value.
  • Another electroencephalogram interface system is used to control the operation of a device using a user's electroencephalogram signal, and the electroencephalogram interface system measures an electroencephalogram signal of the user.
  • An eye movement measurement unit that measures the eye movement of the user
  • an output unit that presents options related to the operation of the device on the screen, and a state in which the rotational angular velocity of the eye movement is below a predetermined threshold It is determined whether or not a predetermined time has elapsed starting from a point in time, and when the predetermined time has elapsed, an area in the screen at which the user is gazing is specified and highlighted based on the eye movement.
  • a highlight determination unit that determines an option; and a highlight in which the option is highlighted by highlighting the option determined by the highlight determination unit. Timing identifies the component of the event-related potential contained in the electroencephalogram signal as a starting point, and a interface unit for determining the operation of the device based on the components identified.
  • the highlight determination unit may determine an option included in an area in the screen as the option to highlight.
  • the interface unit may highlight the selected option by changing at least one of the brightness, the hue, and the size of the option determined by the highlight determination unit on the screen. .
  • the interface unit may change a highlighting method according to the number of the options determined by the highlight determination unit.
  • the plurality of options may be highlighted randomly or sequentially at a predetermined highlight interval.
  • the highlight determination unit may not determine the option to be highlighted when there is no option in the area in the screen.
  • An electroencephalogram interface apparatus is used in an electroencephalogram interface system that presents options related to the operation of a device on a screen, and controls the operation of the device using eye movement and an electroencephalogram signal of a user.
  • the electroencephalogram interface system includes an electroencephalogram measurement unit that measures an electroencephalogram signal of the user, and an eye movement measurement unit that measures eye movement of the user.
  • the electroencephalogram interface apparatus determines whether or not a predetermined time has elapsed starting from the time when the rotational angular velocity of the eye movement received from the eye movement measurement unit is less than or equal to a predetermined threshold.
  • a region in the screen at which the user is watching is identified based on the eye movement, and a highlight determination unit that determines an option to be highlighted; and the highlight determined by the highlight determination unit
  • An option is highlighted, and a component of an event-related potential included in the electroencephalogram signal received from the electroencephalogram measurement unit is identified starting from the timing when the option is highlighted, and the component of the device is identified based on the identified component.
  • An interface unit that determines an operation, and a period between when the process for displaying the screen is started and the screen is displayed Based on the eye movement, and a timing adjustment unit that adjusts the start timing of the highlight.
  • a method according to the present invention is a method used in an electroencephalogram interface system for controlling the operation of a device using a user's electroencephalogram signal, comprising the steps of: measuring the user's electroencephalogram signal; and measuring eye movement of the user Step, Step of presenting options related to the operation of the device on the screen, and whether or not a predetermined time has elapsed starting from the point when the rotational angular velocity of the eye movement is below the previously held threshold value Determining an area on the screen that the user is watching based on the eye movement when the predetermined time has elapsed, and determining an option to be highlighted; the determined option To highlight the component of the event-related potential contained in the electroencephalogram signal starting from the timing at which the option is highlighted. Based on the identified component, and based on the eye movement between the start of the process for displaying the screen and the display of the screen. , Adjust the start timing of the highlight.
  • a method according to the present invention is a method used in an electroencephalogram interface system for controlling the operation of a device using a user's electroencephalogram signal, comprising the steps of: measuring the user's electroencephalogram signal; and measuring eye movement of the user Step, Step of presenting options related to the operation of the device on the screen, and whether or not a predetermined time has elapsed starting from the point in time when the rotational angular velocity of the eye movement is below the previously held threshold value Determining an area on the screen that the user is watching based on the eye movement when the predetermined time has elapsed, and determining an option to be highlighted; the determined option And highlight the component of the event-related potential contained in the electroencephalogram signal starting from the timing at which the option is highlighted. Comprising a step of another, and determining the operation of the device based on the components identified.
  • a computer program according to the present invention is a computer program executed in an electroencephalogram interface apparatus, and the electroencephalogram interface apparatus is incorporated in an electroencephalogram interface system that controls the operation of a device using an electroencephalogram signal of a user.
  • the electroencephalogram interface system has an electroencephalogram measurement unit that measures an electroencephalogram signal of the user, an eye movement measurement unit that measures an eye movement of the user, and an output unit that presents options related to the operation of the device on the screen.
  • the computer program is predetermined based on a point in time when the rotational angular velocity of the eye movement measured by the eye movement measuring unit with respect to the computer of the electroencephalogram interface device falls below a predetermined threshold.
  • Determining whether the time has passed Identifying a region on the screen the user is looking at based on the eye movement, determining an option to highlight, and highlighting the determined option. Identifying the component of the event-related potential contained in the electroencephalogram signal starting from the timing at which the option is highlighted, determining the operation of the device based on the identified component, and displaying the screen Adjusting a highlight start timing based on the eye movement between the start of the processing for displaying and the display of the screen.
  • a computer program according to the present invention is a computer program executed in an electroencephalogram interface apparatus, and the electroencephalogram interface apparatus is incorporated in an electroencephalogram interface system that controls the operation of a device using an electroencephalogram signal of a user.
  • the electroencephalogram interface system has an electroencephalogram measurement unit that measures an electroencephalogram signal of the user, an eye movement measurement unit that measures an eye movement of the user, and an output unit that presents options related to the operation of the device on the screen.
  • the computer program is predetermined based on a point in time when the rotational angular velocity of the eye movement measured by the eye movement measuring unit with respect to the computer of the electroencephalogram interface device falls below a predetermined threshold.
  • Determining whether the time has passed Identifying a region on the screen the user is looking at based on the eye movement, determining an option to highlight, and highlighting the determined option.
  • the steps of identifying the component of the event-related potential contained in the electroencephalogram signal starting from the timing at which the option is highlighted and determining the operation of the device based on the identified component are performed.
  • the electroencephalogram interface apparatus the electroencephalogram interface apparatus, the method and the computer program of the present invention, with regard to the highlight required for the electroencephalogram interface, the target option, the timing to start it or the time interval corresponds to the eye movement of the user. It is judged based on.
  • the user may want to select an option with a clear display position on the electroencephalogram interface, or the user who is unsure about which option to use, the usability of the system or the user. Without frustration, the user can efficiently select a desired option from a large number of options.
  • FIG. 1 is a diagram showing the configuration and usage environment of an electroencephalogram interface system 1;
  • FIG. 1 is a diagram showing a functional block configuration of an electroencephalogram interface system 1 according to a first embodiment. It is a figure which shows the structure of the eye movement measurement part 13 which measures eye movement by EOG method. It is a figure which shows the structure of the eye movement measurement part 13 which measures eye movement by the corneal reflex method.
  • (A) is a figure which shows the example of the data structure of integrated 1st and 2nd calibration information
  • (b) is a figure which shows the example of the coordinate of the gaze position on a display screen.
  • FIG. 19 is a diagram showing an example of division when the interface screen of 6 ⁇ 6 options shown in FIG. 18 is divided into nine regions.
  • FIG. 10 is a flowchart showing a procedure of processing of the highlight determination unit 15.
  • 5 is a flowchart showing a procedure of processing of an electroencephalogram IF unit 14;
  • (A) to (e) are diagrams showing an example when the user operates a television in the electroencephalogram interface system 1 to watch a program of a channel that the user wants to view. It is a figure which shows the example of the interface screen in which the content display area 111 and the menu display area 110 were contained.
  • (A)-(b) is a gaze position on the interface screen in Embodiment 2, and a timing chart figure.
  • FIG. 7 is a diagram showing the configuration of an electroencephalogram interface system 1 according to a second embodiment.
  • 10 is a flowchart showing a procedure of processing of the highlight determination unit 15.
  • 10 is a flowchart showing the procedure of processing of the highlight timing adjustment unit 16;
  • 10 is a flowchart showing a procedure of processing of the highlight interval adjustment unit 17.
  • (A) And (b) is a figure which shows the example of a division
  • FIG. It is a figure which shows the example of a screen display at the time of interface provision by a prior art example.
  • an electroencephalogram interface system will be constructed in an environment in which a wearable electroencephalograph and a wearable display are combined.
  • the user always wears the electroencephalograph and the display, and can use the wearable display to view content and operate the screen.
  • the electroencephalogram interface system is constructed in an environment such as a home where a home-use television and a wearable electroencephalograph are combined. When watching the television, the user can wear an electroencephalograph to view content and manipulate the screen.
  • FIG. 1 shows the configuration and usage environment of the electroencephalogram interface system 1 assumed by the present inventors according to the latter example.
  • the electroencephalogram interface system 1 is illustrated corresponding to the system configuration of the first embodiment described later.
  • the electroencephalogram interface system 1 is a system for providing an interface for operating (controlling) the television 11 using the electroencephalogram signal of the user 10.
  • the electroencephalogram signal of the user 10 is acquired by an electroencephalograph (electroencephalogram measurement unit 12) worn by the user on the head, and transmitted to the electroencephalogram interface apparatus 2 wirelessly or by wire.
  • the eye movement of the user 10 is measured by an eye movement measuring device (eye movement measuring unit 13) worn on the head by the user, and transmitted to the electroencephalogram interface apparatus 2 wirelessly or by wire.
  • the electroencephalogram interface device 2 built in the television 11 determines the option to be highlighted and the timing and time interval to start highlighting from the eye movement, and utilizes the P300 component of the event-related potential that constitutes a part of the electroencephalogram It recognizes the user's intention and performs processing such as channel switching.
  • FIG. 2 shows a functional block configuration of the electroencephalogram interface system 1 according to the present embodiment.
  • the electroencephalogram interface system 1 includes an electroencephalogram interface device 2, an output unit 11, an electroencephalogram measurement unit 12, and an eye movement measurement unit 13.
  • the electroencephalogram interface device 2 includes an electroencephalogram interface unit (electroencephalogram IF unit) 14 and a highlight determination unit 15, and is connected to each of the output unit 11, the electroencephalogram measurement unit 12, and the eye movement measurement unit 13 by wire or wirelessly. To transmit and receive signals.
  • the blocks of user 10 are shown for the convenience of the description.
  • the output unit 11 outputs the menu to be selected in the content and the electroencephalogram interface to the user 10.
  • the television 11 shown in FIG. 1 is a specific example of the output unit, and therefore, in the following description, the reference numeral 11 is used for the output unit.
  • the output unit 11 corresponds to the display screen when the content to be output is a moving image or a still image, and when the content to be output includes an audio, the display screen and the speaker are used together as the output unit 11 Sometimes.
  • the electroencephalogram measurement unit 12 is an electroencephalograph that detects an electroencephalogram signal by measuring a potential change in an electrode attached to the head of the user 10.
  • the electroencephalograph may be a head mounted electroencephalograph as shown in FIG. It is assumed that the user 10 wears an electroencephalograph in advance.
  • Electrodes are disposed in the electroencephalogram measurement unit 12 so as to contact a predetermined position of the head when worn on the head of the user 10.
  • the arrangement of the electrodes is, for example, Pz (medial parietal), A1 (earwax) and the nose root of the user 10.
  • Pz medial parietal
  • A1 earwax
  • the electrode position is determined from the reliability of signal measurement and the ease of mounting.
  • the electroencephalogram measurement unit 12 can measure the electroencephalogram of the user 10.
  • the measured brain waves of the user 10 are sampled so that they can be processed by a computer and sent to the brain wave interface device 2.
  • the electroencephalogram measured in the electroencephalogram measurement unit 12 is subjected to band pass filter processing of, for example, 0.05 to 20 Hz in advance, for example, 200 before the interface screen is presented. It is assumed that baseline correction is performed with an average potential of milliseconds.
  • the eye movement measurement unit 13 may be a head mount type measurement device as shown in FIG. 1, and it is assumed that the user 10 is mounted before using the electroencephalogram interface system 1 in advance. Do.
  • FIG. 3 shows the configuration of an eye movement measurement unit 13 that measures eye movement by the EOG method.
  • FIG. 4 shows the configuration of an eye movement measurement unit 13 that measures eye movement by the corneal reflection method.
  • the eye movement measurement unit 13 shown in FIG. 3 measures eye movement by measuring the corneal retinal potential.
  • the eye movement measurement unit 13 shown in FIG. 4 emits near infrared rays to the eye to photograph the eye, and measures the position of the reflected image (corneal reflection image) of the light source on the pupil and corneal surface on the photographed image. Eye movement is measured by doing.
  • each of the eye movement measurement units 13 shown in FIGS. 3 and 4 specifies the rotational angular velocity and the gaze position of the eye.
  • the eye movement is defined by a physical change amount (rotation angle of eye movement in unit time), which is a rotational angular velocity when the eye moves, and a change amount of the position of the line of sight.
  • the eye movement measurement unit 13 illustrated in FIG. 3 includes a plurality of electrodes 41, a potential detection unit 42, a conversion unit 43, and a calibration information storage unit 44.
  • the plurality of electrodes 41 are attached around the eyes.
  • the potential detection unit 42 measures the corneal retinal potential obtained through the plurality of electrodes 41.
  • the calibration information storage unit 44 stores information (first calibration information) indicating the correspondence between the corneal retinal potential and the rotation angle of the eyeball.
  • the first calibration information is obtained using the property that the cornea of the eyeball is positively charged with respect to the retina, and is stored in advance in the calibration information storage unit 44.
  • the calibration information storage unit 44 also stores information (second calibration information) indicating the relationship between the rotation angle of the eyeball and the gaze position of the user 10 on the display screen.
  • the second calibration information is also stored in advance in the calibration information storage unit 44.
  • the conversion unit 43 refers to the first calibration information based on the measured corneal retinal potential, and specifies the rotational angle and rotational angular velocity of the eye. Then, the conversion unit 43 further refers to the second calibration information based on the identified rotation angle, and identifies the gaze position of the user 10 on the display screen.
  • FIG. 5A shows an example of the data structure of integrated first and second calibration information.
  • the illustrated calibration information is configured by correlating the corneal retinal potential in the horizontal direction and the vertical direction, the rotation angle of the eye, and the coordinates of the gaze position on the display screen.
  • the first and second calibration information may be provided independently without being integrated.
  • the conversion unit 43 refers to the calibration information and specifies that the gaze position in the horizontal direction is X1.
  • the conversion unit 43 similarly refers to the calibration information, and specifies that the gaze position in the vertical direction is Y1.
  • the gaze position of the user 10 on the display screen is specified as coordinates (X1, Y1).
  • FIG. 5B shows an example of coordinates of a gaze position on a display screen.
  • the amounts of change in corneal retinal potential in the horizontal and vertical directions are +50 ⁇ V and +30 ⁇ V, respectively, in one second. Therefore, according to the calibration information shown in FIG. 5A, it can be said that the eyeball moves 5 degrees to the right (degrees) and also moves 5 degrees upward. Therefore, the conversion unit 43 can specify the rotational angular velocity of the eyeball as (5 2 +5 2 ) 1/2 7.07.07 degrees / second.
  • the “rotation angle of the eyeball” and the “gaze position” in the calibration information shown in FIG. 5A depend on the distance from the user 10 to the display screen, the size of the display screen, and the like. Therefore, these values do not necessarily have to be fixed values, and may be changeable by the user 10 in the usage environment.
  • the eye movement measurement unit 13 shown in FIG. 4 includes a near infrared light source 51, a CCD camera 52, a reflected image position detection unit 53, a conversion unit 54, and a calibration information storage unit 55.
  • the near-infrared light source 51 is a near-infrared point light source, and is used to irradiate the near-infrared light to the eye.
  • the CCD camera 52 captures an eyeball irradiated with near-infrared light.
  • the reflected image position detection unit 53 recognizes the pupil and the corneal surface based on the captured image of the eyeball, and further detects the position of the reflected image (corneal reflected image) of the light source on the pupil and the corneal surface.
  • the calibration information storage unit 55 stores in advance information (third calibration information) indicating the relationship between the position of the reflected image and the rotation angle of the eye, and the user 10 on the display screen and the rotation angle of the eye
  • the information (the 4th calibration information) which shows the relation with the gaze position of 4 is stored beforehand.
  • the conversion unit 54 refers to the third calibration information based on the position of the reflection image, and specifies the rotation angle and the rotation angular velocity of the eyeball. Then, based on the obtained rotation angle of the eyeball, the conversion unit 54 refers to the fourth calibration information to specify the gaze position of the user 10 on the display screen.
  • the data structure of the third and fourth calibration information is similar to that shown in FIG.
  • the highlight determination unit 15 detects a gaze area of the user 10 on the interface screen from the gaze coordinate position of the user 10 measured by the eye movement measurement unit 13 and targets to highlight among the options based on the gaze area Determine Then, the highlight determination unit 15 determines whether or not a predetermined time (for example, 400 milliseconds) has elapsed starting from the time when the rotational angular velocity of the eyeball becomes equal to or less than the threshold held in advance.
  • the electroencephalogram IF unit 14 is instructed to start highlighting the option existing in the area where the line of sight of the user 10 exists.
  • the determination method of the threshold value regarding the rotational angular velocity of the eyeball is as follows.
  • eye movement when a human views a still image is roughly classified into gaze movement and jumping eye movement.
  • "jumping eye movement” refers to eye movement in which the sight line is moving at a high speed and information reception from the outside world is performed only a little. It has been reported that the leaping eye movement has a short duration of 40 to 50 milliseconds in duration, while the rotational angular velocity exceeds 100 degrees / second. Therefore, the eye movement threshold value (X1) may be set to 5 degrees per 50 milliseconds so that, for example, the rotational angular velocity is 100 degrees / second.
  • FIG. 6 shows an example of division when the interface screen of 6 ⁇ 6 options shown in FIG. 18 is divided into nine areas.
  • the highlight determination unit 15 holds in advance information on how the area is divided on the interface screen.
  • FIG. 7 shows an example of the data structure of division information of each interface screen.
  • the division information of the interface screen includes the number of the target interface screen, the number of each area when the interface screen is divided, the range in the X axis direction of each area, the range in the Y axis direction of each area, and the area It consists of a list of choices on the interface screen included in.
  • each interface screen in advance how (in number) split is determined by the reliability and the like of the number and eye movement measurement choices.
  • coarser divisions may be used, or finer divisions may be used. The former is effective when the accuracy of eye movement measurement is low, and the latter is effective when the accuracy is high.
  • the division of the interface screen can be determined by the positional relationship between the output unit (television) 11 and the user 10.
  • the electroencephalograph side portion 12 measures position information (for example, a two-dimensional position) of the user 10 and transmits the position information to the highlight determination unit 15.
  • the highlight determination unit 15 holds the position information of the output unit 11 in advance, and calculates the distance between the user 10 and the output unit 11 based on the position information of the user 10 and the position information of the output unit 11. Then, the division unit of the screen is determined by comparing the distance with a threshold.
  • the highlight determination unit 15 adjusts the division unit to be larger than a predetermined division unit. This is because it is difficult for the user 10 to see the items displayed on the output unit 11 in detail.
  • the highlight determination unit 15 enlarges the division unit as shown in FIG. 17 (a). As a result, even if the user 10 is separated from the output unit 11, it is possible to view the items displayed on the output unit 11 in detail.
  • the highlight determination unit 15 adjusts the division unit so as to be smaller than a predetermined division unit. This is because the distance between the user 10 and the output unit 11 is short, and the user 10 can view the items displayed on the output unit 11 in detail. Assuming that the division unit in FIG. 6 is a predetermined division unit, the highlight determination unit 15 reduces the division unit as shown in FIG. 17 (b). Thereby, the user 10 can be displayed on the output unit 11 and can view more divided detailed items.
  • the division is enlarged to emphasize the discrimination by the electroencephalogram signal.
  • the division is reduced to emphasize the discrimination based on eye movement.
  • the highlight determination unit 15 receives, from the eye movement measurement unit 13, information on the rotational angular velocity of the eyeball of the user 10 and information on the gaze coordinate position on the display screen. For example, when the rotational angular velocity of the eyeball becomes equal to or less than the threshold value, the highlight determination unit 15 detects the gaze area of the user 10 on the interface screen based on the gaze position of the user 10 and the interface screen division information.
  • the highlight determination unit 15 determines that the rotational angular velocity of the eyeball is less than or equal to the threshold for a predetermined time or more and that the gaze area of the user 10 on the interface screen is the same.
  • the electroencephalogram IF unit 14 is instructed to start highlighting.
  • the highlight determination unit 15 determines zero, one, or a plurality of options included in the area as a highlight target, and transmits the information of the highlight target to the electroencephalogram IF unit 14.
  • that there are no options included in the area means that there are no options, and in this case, the highlight determination unit 15 does not determine the options to be highlighted. means.
  • the predetermined time (T1) to start highlighting is, for example, 400 milliseconds.
  • the electroencephalogram IF unit 14 presents the user 10 with an interface screen regarding device operation via the output unit 11. Then, the electroencephalogram IF unit 14 receives the trigger from the highlight determination unit 15, highlights the option determined as the highlight target, and cuts out the P300 component of the event-related potential of the electroencephalogram measured by the electroencephalogram measurement unit 12. Identify.
  • the electroencephalogram IF unit 14 may select the one with the largest maximum amplitude of the electroencephalogram signal in a certain section for each highlighted option, The one with the highest average potential may be selected. Alternatively, the value of the correlation coefficient with the template may be selected as the largest.
  • the electroencephalogram IF unit 14 determines if the maximum amplitude or average potential of the electroencephalogram signal in a section when the option is highlighted is equal to or higher than a predetermined threshold value Alternatively, if the value of the correlation coefficient with the template is equal to or greater than a predetermined threshold value, it may be determined.
  • N times for example, 5 times, 10 times, 20 times
  • identification of the P300 component is performed.
  • the processing of the electroencephalogram IF unit 14 in the present embodiment is not limited to such a number of additions. The procedure of the process of the electroencephalogram IF unit 14 will be described later with reference to the flowchart of FIG.
  • FIG. 10 shows a display example when the user 10 selects the channel “CH21” of the television to be viewed from the 16 channels in the electroencephalogram interface system 1.
  • FIG. 8 is a flowchart showing the procedure of the process of the highlight determination unit 15.
  • the electroencephalogram IF unit 14 displays an interface screen shown in FIG. 10B via the output unit 11. Thereby, the electroencephalogram interface is activated in the electroencephalogram interface system 1.
  • the highlight determination unit 15 starts the process by receiving the screen number pre-assigned to the interface screen from the electroencephalogram IF unit 14. This screen number corresponds to "screen No" at the left end in the division information shown in FIG.
  • step S81 the highlight determination unit 15 determines whether the rotational angular velocity of the eyeball received from the eye movement measurement unit 13 is equal to or less than the threshold value X1. Only when the threshold value X1 or less is reached, the subsequent processing is performed.
  • step S 82 the highlight determination unit 15 reads the division information (FIG. 7) of the interface screen held in advance based on the screen number of the interface screen received from the electroencephalogram IF unit 14.
  • the interface screen shown in FIG. 10B is presented by the electroencephalogram IF unit 14 via the output unit 11.
  • sixteen options from the television channels CH00 to CH33 are displayed, and the interface screen is divided into four areas of area A to area D.
  • step S83 the highlight determination unit 15 determines the gaze area of the user 10 on the interface screen based on the division information of the interface screen and the gaze position of the user 10 received from the eye movement measurement unit 13 on the display screen.
  • the gaze area of the user 10 is the area C at the lower left of the screen. Note that the position at which the user 10 gazes is not always fixed, but slightly fluctuates. Therefore, in FIG. 10 (b), the gaze position is shown not as a point but as a range indicated by a dotted line.
  • step S84 the highlight determination unit 15 determines whether the gaze position of the user 10 is in the same area for a predetermined time (T1) or more. If it is in the same area, the process proceeds to step S85. If not in the same area, the process returns to step S81.
  • the "area" in which the gaze position exists means an area set in the interface screen. Even if the user 10 looks at one point outside the interface screen for a predetermined time (T1) or more, the process does not advance to step S85, and returns to step S81.
  • step S85 the highlight determination unit 15 transmits the list of the options to the electroencephalogram IF unit 14 as the option included in the area as a highlight target option.
  • the electroencephalogram IF unit 14 uses this as a trigger to start highlighting. This means that highlighting is started at the timing when a predetermined time (T1) has elapsed. In the example of FIG. 10B, four of CH 20, 21, 30, 31 included in the area C at the lower left of the screen are determined as highlight targets.
  • FIG. 9 is a flowchart showing the procedure of processing of the electroencephalogram IF unit 14.
  • the electroencephalogram IF unit 14 presents an interface screen via the output unit 11. For example, when the user 10 is viewing content, a screen before selection (in this case, news) as shown in FIG. 10A is displayed on the display of the television. At this time, a menu icon 100 described as "menu" is displayed at the lower right of the screen, and blinks at a specific frequency.
  • the electroencephalogram IF unit 14 can determine whether the user 10 is looking at the menu icon 100 by identifying the power spectrum of the frequency component of the blink cycle in the electroencephalogram signal. If it is determined that the user 10 is looking at the menu icon 100, the electroencephalogram IF unit 14 can activate the electroencephalogram interface.
  • “Startup of electroencephalogram interface” means to start an operation of providing an interface for performing selection and the like using electroencephalogram. When the electroencephalogram interface is activated, the interface screen shown in FIG. 10 (b) is displayed.
  • step S 92 the electroencephalogram IF unit 14 transmits the number of the interface screen to the highlight determination unit 15 to start the process of the above-described highlight determination unit 15.
  • step S93 the electroencephalogram IF unit 14 receives, from the highlight determination unit 15, a highlight start trigger and a list of options to be highlighted.
  • a highlight start trigger In the example of FIG. 10B, CH 20, 21, 30, and 31, which are options in the area C, are described in the list of options to be highlighted.
  • step S94 the electroencephalogram IF unit 14 determines whether the highlighting of all the options to be highlighted has ended. If not completed, the process proceeds to step S95, and if completed, the process proceeds to step S97.
  • step S95 the target options are highlighted sequentially or randomly.
  • FIG. 10C shows a state in which the brain wave IF unit 14 randomly highlights each target option via the output unit 11.
  • the interval of the highlight switching time at this time is, for example, 350 milliseconds.
  • four options included in the area C described in the list of options are targets of highlighting. Therefore, when the highlighting of all four options is completed, the process proceeds to step S97.
  • CHs 20, 21, 30, 31 are highlighted in this order.
  • the highlight may be at least one of the change in the brightness, hue and size of the option on the interface screen, and the option using the pointer using the auxiliary arrow instead of the highlight or together with the highlight May be presented.
  • the highlighting order of the options may not be random, and may follow a predetermined order such as channel number order.
  • step S96 the electroencephalogram IF unit 14 acquires, among the electroencephalogram signals measured by the electroencephalogram measurement unit 12, the P300 component of the event-related potential starting from the time when each option is highlighted.
  • step S97 the electroencephalogram IF unit 14 identifies the P300 component of the event-related potential for each option acquired in step S96, and determines the option that the user 10 is to select.
  • FIG. 10 (d) schematically shows event-related potentials starting from the time when each option is highlighted.
  • electroencephalogram signals 1 to 4 are acquired starting from the time point when each option is highlighted.
  • a characteristic positive component appears in about 300 milliseconds in the electroencephalogram signal starting from the time when CH21 is highlighted.
  • the electroencephalogram IF unit 14 identifies the appearance of this P300 component, it becomes possible to select a channel that the user 10 wanted to select.
  • step S98 when the number of options determined as the highlight target is 0, or when the positive component characteristic of the P300 component of the event-related potential does not appear, the process of step S92 is performed again. Be done. Otherwise, the process proceeds to step S99.
  • step S99 the electroencephalogram IF unit 14 executes the processing of the selected device operation.
  • the electroencephalogram IF unit 14 switches the channel to CH21 (weather forecast), whereby the weather forecast program corresponding to CH21 is displayed on the output unit 11.
  • the highlight determination unit 15 detects the gaze area on the interface screen of the user 10 from the eye movement and highlights among the options based on the gaze area. Determine the subject. Then, it is determined whether or not a predetermined time has elapsed since the point at which the rotational angular velocity of the eyeball has become equal to or less than a predetermined threshold, and highlighting is started when the predetermined time has elapsed. In this way, in a system provided with an interface using brain waves, even if there are as many as dozens or dozens of options on the interface screen, the user 10 can efficiently select the option desired from them. Can.
  • the number of highlights can be reduced to four by dividing the gaze area into nine. Therefore, it is possible to select an option more quickly.
  • the highlight determination unit 15 determines an option to be highlighted, and the electroencephalogram IF unit 14 specifies an option that the user 10 wants to select from the options determined to be a highlight, so an unnecessary highlight is selected. It can be reduced.
  • the highlight determination unit 15 is not present, and the option is highlighted only by the electroencephalogram IF unit 14, even if the user 10 does not look at the option or the user 10 has no intention to select the option. , May highlight the subject.
  • the highlight determination unit 15 determines an option to be highlighted, and the electroencephalogram IF unit 14 highlights the option to acquire an event-related potential.
  • Highlight objects are determined based on eye movement. Since the highlight target is not determined when the user 10 does not look at the option, the user 10 always looks at the option when the option is highlighted. In other words, if the option is highlighted, it does not happen that the user 10 does not look at the option.
  • FIG. 11 shows an example of an interface screen including the content display area 111 and the menu display area 110. Options to be selected by the user 10 exist only in the menu display area 110.
  • the gaze area of the user 10 is in the menu display area 110, and the menu display area in which the gaze area of the user 10 is the same for a predetermined time (T1) or more from the time the rotational angular velocity of the eye drops below the threshold Only when it exists at 110, the highlighting needs to be started.
  • T1 predetermined time
  • unnecessary highlighting can be suppressed when the user 10 is viewing content, and highlighting can be started only when the user 10 desires an apparatus operation such as menu change.
  • the target option and the timing for starting it have been determined.
  • the predetermined time from the time when the rotational angular velocity of the eyeball of the user 10 becomes equal to or less than the threshold to the start of highlighting and the time interval of highlighting are constant values.
  • FIG. 12 show the change in the gaze position of the user 10 and the time change thereof when the user 10 previously knows the position of the option.
  • FIG. 12 (a) -1 is an interface screen including items of program guide (programs A to D) and items of device operation menu.
  • the items of the device operation menu are moving direction icons for moving the program guide, up and down, right and left moving direction icons, a “search” item icon for searching for existing programs such as the program guide, and programs of the program guide etc.
  • a "recommend” item icon is displayed to display a recommended program.
  • the arrows indicate the movement of the gaze position of the user 10 from the point A to the point B.
  • the interface screen is divided into a part of items updated in sequence, such as a program guide, and a part in which the same items are always presented in the same place, such as a device operation menu.
  • the device operation menu is not limited to the one in which the same item is always presented in the same place, but is more updated than the item that is updated sequentially (for example, every hour or every day) such as a program guide. It may be a low frequency item.
  • the electroencephalogram interface screen is configured such that one item (item of the device operation menu) in which the same item is always presented in the same place in one divided area is one.
  • the electroencephalogram IF unit 14 uses the event-related potentials only to confirm whether or not there is an intention to select the option, thereby making the option quicker than when there are multiple highlight targets. Can be determined.
  • FIG. 12 (b)-1 schematically shows the time change of the point in FIG. 12 (a)-1, that is, the gaze position of the user 10.
  • the time t ⁇ in FIG. 12B-1 is the time when the process for displaying the interface screen is started
  • t ⁇ is the time when the interface screen is presented.
  • a screen as shown in FIG. 10 (b) is displayed from a screen before selection as shown in FIG. 10 (a) (a screen showing items related to the operation of the device Shows the period until the display is switched. That is, the interface screen of FIG. 12A is not displayed yet from time t ⁇ to time t ⁇ . Therefore, the user 10 is in a state in which it is not visually understood what item is displayed on the interface screen.
  • the time t ⁇ may be a predetermined time before the time when the process for displaying the interface screen is started.
  • the user 10 When the user 10 uses the electroencephalogram interface many times and gets used, the user 10 displays the interface screen presented thereafter even before the interface screen as shown in FIG. 12 (a) -1 is displayed. It is considered to store the position of the above item. It is desirable for the user 10 who is used to using the electroencephalogram interface that stores such items to be able to make a quick selection.
  • the user 10 can quickly select the next desired option. The details will be described below.
  • the user 10 stores the item displayed on the interface screen and the coordinates of the item, and clearly knows the coordinate position on the electroencephalogram interface of the desired option.
  • the rotational angular velocity of the eyeball of the user 10 performs jumping eye movement before the interface screen is presented (that is, between time t ⁇ and time t ⁇ ), and after the interface screen is displayed, the gaze state is the target option become. This is because, if the coordinate position of the target option on the interface screen is stored, the gaze position of the user 10 can be moved to the area where the target option is present before the interface screen is presented.
  • the eyeball of the user 10 performs jumping eye movement before the time t ⁇ at which the interface screen is presented, and the gaze position “searches from the area of“ program C ” Moved to the '' area. Then, after the time t ⁇ presented on the interface screen, it remains in the “search” area. This can be determined that the user 10 who stored the coordinate position of “search” on the interface screen intended to select “search” before the presentation of the interface screen.
  • jumping eye movement indicates eye movement when the presented item is moved.
  • the jumping eye movement and the eye movement when reading the display presented on the interface screen can be determined by the difference in the angular velocity of the eye movement. That is, it is possible to set the angular velocity of eye movement that can distinguish them.
  • the eye movement of the user 10 who is confused about the selection object is considered to increase the gaze time at each gaze position after the interface screen is presented. For example, if the program name to be selected is clear, it can be determined immediately after watching the program name in the program guide. However, if the program to be selected has not been determined and is lost, the gaze time becomes longer by thinking whether or not to select at each gaze position.
  • FIGS. 12 (a) -2 and (b) -2 show the change in the gaze position of the user 10 and the time change thereof when the user 10 is lost in the selection object.
  • the target option is not determined, and therefore, the coordinate position on the electroencephalogram interface of the target option is not determined. Therefore, jumping eye movement is not seen at the time before the interface screen is presented (from time t ⁇ to time t ⁇ ), and the gaze position of the user 10 is “program A” after the interface screen is presented (after time t ⁇ ), It moves to "Program C”, “Program B”, “Recommend”, “Program D”, and each gaze time is long.
  • the predetermined time from when the eye movement of the user 10 becomes less than the threshold to the start of highlighting and the time interval of highlights are adjusted based on the eye movement of the user 10.
  • the rotational angular velocity of the eyeball becomes equal to or higher than the threshold value (X1) held in advance during the period from when the interface screen is activated until it is presented, and the predetermined time after the interface screen is displayed Assume that the rotational angular velocity of the eye movement is less than or equal to the threshold (X1) for a time (T2) shorter than T1).
  • the highlight time interval may be adjusted to be shorter than the initial set value (Ta) (Tb).
  • the average value of the fixation time at each fixation position after the interface screen presentation becomes equal to or more than the predetermined time (T1), it is determined that the user 10 is lost in the selection object. Then, the time when the rotational angular velocity of the eyeball is longer than the predetermined time (T1) (T3) is determined as the highlight start timing when it is below the previously held threshold (X1), and the highlight time interval is also initial Adjust (Tc) longer than the set value (Ta).
  • Tc initial Adjust
  • the initial setting value (Ta) of the highlight time interval is 350 milliseconds
  • the case of short adjustment (Tb) is 175 milliseconds
  • the case of long adjustment (Tc) is 1.5 seconds. did.
  • Japanese Patent Laid-Open No. 2006-204855 which is a conventional document, describes that the time required for the gaze movement when a human visually recognizes is about 200 milliseconds to about 400 milliseconds. Therefore, in the present embodiment, the initial set value (T1) of the predetermined time until the highlight is started is 400 milliseconds, and in the case of short adjustment (T2) is 200 milliseconds, and in the case of long adjustment (T3), the margin is Have 800 milliseconds.
  • FIG. 13 shows the configuration of the electroencephalogram interface system 1 according to the present embodiment.
  • the electroencephalogram interface system 1 according to the present embodiment includes an electroencephalogram interface device 20 different from the electroencephalogram interface device 2 of the first embodiment.
  • the electroencephalogram interface apparatus 20 is configured by adding a highlight timing adjustment unit 16 and a highlight interval adjustment unit 17 to the electroencephalogram interface apparatus 2 of the first embodiment.
  • the highlight timing adjustment unit 16 and the highlight interval adjustment unit 17 may be simplified and described as “timing adjustment unit” and “interval adjustment unit”, respectively.
  • the highlight timing adjustment unit 16 adjusts the predetermined time from when the rotational angular velocity of the eyeball is less than or equal to the previously held threshold value (X1) until the start of highlighting.
  • the highlight interval adjustment unit 17 adjusts the time interval of highlights.
  • FIG. 14 shows the procedure of processing of the highlight judgment unit 15.
  • the difference from the flowchart (FIG. 8) of the highlight determination unit 15 in the first embodiment is that the highlight timing adjustment process of step S134 and the highlight interval adjustment unit of step S135 are added, and the electroencephalogram of step S137 The highlight interval is added to the information transmitted to the IF unit 14.
  • these processes will be described.
  • step S131 it is determined whether the rotational angular velocity of the eyeball received from the eye movement measurement unit 13 is equal to or less than the threshold value X1. Only when the threshold value X1 or less is reached, the subsequent processing is performed.
  • step S132 based on the screen number of the interface screen received from the electroencephalogram IF unit 14, the highlight determination unit 15 reads the division information (FIG. 7) of the interface screen held in advance.
  • step S133 the highlight determination unit 15 determines the gaze area of the user 10 on the interface screen based on the division information of the interface screen and the gaze position of the user 10 received from the eye movement measurement unit 13 on the display screen.
  • step S134 the highlight timing adjustment unit 16 performs adjustment processing of timing for starting highlighting. The details of this process will be described later with reference to FIG.
  • step S135 the highlight interval adjustment unit 17 performs adjustment processing of the highlight time interval. The details of this process will be described later with reference to FIG.
  • step S136 the highlight determination unit 15 determines whether the gaze position of the user 10 is in the same area for a predetermined time (T1) or more. If it is in the same area, the process proceeds to step S137, and if it is not in the same area, the process returns to step S131.
  • the predetermined time T until the highlight is started is adjusted in step S134.
  • step S137 the highlight determination unit 15 determines that the point in time is the timing to start highlighting, and sets the option included in the area as the highlight target option, the list of the option and the high adjusted in step S135.
  • the light interval is sent to the electroencephalogram IF unit 14.
  • the electroencephalogram IF unit 14 uses this as a trigger to start highlighting.
  • FIG. 15 shows the procedure of processing of the highlight timing adjustment unit 16.
  • the predetermined time until the highlighting is started is set to any one of T1, T2 and T3.
  • predetermined times T1, T2 and T3 before starting highlighting shown below are 400 ms, 200 ms and 800 ms, respectively. That is, it is assumed that the relationship of T2 ⁇ T1 ⁇ T3 is established.
  • step S141 the highlight timing adjustment unit 16 sets the threshold at which the rotational angular velocity of the eyeball is held in advance between t ⁇ and t ⁇ in FIG. 12B, that is, the time from when the interface screen is activated until it is presented. (X1) It is determined whether or not it is more than. If the threshold value X1 or more is reached, the process proceeds to step S144. Otherwise, the process proceeds to step S142.
  • step S142 the highlight timing adjustment unit 16 calculates the average value of the gaze time at each gaze position after presentation of the interface screen.
  • step S143 the highlight timing adjustment unit 16 determines whether the average value calculated in step S142 is equal to or longer than a predetermined time (T1). If it has reached the predetermined time (T1) or more, the process proceeds to step S145. Otherwise, the process proceeds to step S146.
  • step S144 the highlight timing adjustment unit 16 adjusts the predetermined time to start highlighting to T2. That is, adjustment is made shorter than the initial set value.
  • step S145 the highlight timing adjustment unit 16 adjusts the predetermined time to start highlighting to T3. That is, adjustment is made longer than the initial set value.
  • step S146 the highlight timing adjustment unit 16 adjusts the predetermined time to start highlighting to T1. That is, it is adjusted to the same value as the initial set value.
  • FIG. 16 shows the procedure of processing of the highlight interval adjustment unit 17.
  • the highlight time interval is set to any one of Ta, Tb, and Tc.
  • time intervals Ta, Tb, and Tc shown below are 350 milliseconds, 175 milliseconds, and 1.5 seconds, respectively. That is, it is assumed that the relationship of Tb ⁇ Ta ⁇ Tc is established.
  • step S171 to step S173 the highlight interval adjustment unit 17 executes the same process as step S141 to step S143 shown in FIG. 15 described above.
  • step S174 the highlight interval adjustment unit 17 adjusts the highlight time interval to Tb. That is, adjustment is made shorter than the initial set value.
  • step S175 the highlight interval adjustment unit 17 adjusts the highlight time interval to Tc. That is, adjustment is made longer than the initial set value.
  • step S176 the highlight interval adjustment unit 17 adjusts the highlight time interval to Ta. That is, it is adjusted to the same value as the initial set value.
  • the predetermined time before starting highlighting and the time interval of highlighting are adjusted based on the eye movement of the user 10 Do. Therefore, when the user 10 clearly knows the coordinate position on the electroencephalogram interface of the option to be selected, the user 10 can be made to select the option more quickly. Conversely, for the user 10 who is confused about the selection object, unnecessary highlight can be suppressed in order to perform a smooth decision-making operation.
  • the operation of the electroencephalogram interface apparatus 20 has been described with reference to the screen examples shown in (a) -1 and (a) -2 of FIG. However, this does not mean that it can not be applied to the screen example of FIG. 10B referred to in the description of the first embodiment.
  • the arrow from point A to point B shown in (a) -1 of FIG. 12 can be similarly applied to the screen example of FIG. 10 (b).
  • point A is the gaze position at the time when the process for displaying the interface screen is started by the user 10 gazing at the menu icon 100 in FIG.
  • the gaze position at the time before the interface screen of b) is presented.
  • the processing described using the flowchart may be implemented as a program executed by a computer.
  • a computer program is recorded on a recording medium such as a CD-ROM and distributed as a product to the market, or transmitted through a telecommunication line such as the Internet.
  • the electroencephalogram interface apparatus 2 shown in FIG. 2 is realized as a general-purpose processor (semiconductor circuit) that executes a computer program.
  • a general-purpose processor semiconductor circuit
  • it may be realized as a dedicated processor in which such computer program and processor are integrated.
  • the eye movement measurement unit 13 and the brain wave measurement unit 12 may also be realized as a general-purpose processor (semiconductor circuit) or a dedicated processor (semiconductor circuit) that executes a computer program.
  • a general-purpose processor semiconductor circuit
  • a dedicated processor semiconductor circuit
  • the process in which the eye movement measurement unit 13 calculates the rotation angle and the rotation angular velocity of the eyeball based on the acquired corneal retinal potential can be realized as a program.
  • the bandpass filter processing and the baseline correction processing of the electroencephalogram measurement unit 12 may be realized as a program.
  • the electroencephalogram interface apparatus and the electroencephalogram interface system incorporating the apparatus according to the present invention with regard to the highlight required for the electroencephalogram interface, the target option, the timing for starting the target, and the time interval Based on This is useful for improving the operability of an information device, an audiovisual device or the like on which a device operation interface using brain waves is mounted.

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Dermatology (AREA)
  • Neurosurgery (AREA)
  • Neurology (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • User Interface Of Digital Computer (AREA)
  • Measurement And Recording Of Electrical Phenomena And Electrical Characteristics Of The Living Body (AREA)
  • Eye Examination Apparatus (AREA)

Abstract

　脳波インタフェース上での表示位置が明確な選択肢を選択したいユーザ等に対して、システムの使いづらさやフラストレーションを感じさせることなく、多数の選択肢の中からユーザが所望する選択肢を効率良く選択させる。 　脳波インタフェースシステムは、脳波および眼球運動を計測する脳波信号計測部および眼球運動計測部と、機器の動作に関連する選択肢を画面上に提示する出力部と、眼球運動の回転角速度が予め保持した閾値以下の状態になった時点を起点として所定の時間が経過したときには、ユーザが注視している画面中の領域を眼球運動に基づいて特定し、ハイライトさせる選択肢を決定するハイライト判定部と、決定された選択肢をハイライトさせ、選択肢がハイライトされたタイミングを起点として脳波信号に含まれる事象関連電位の成分に基づいて機器の動作を決定するインタフェース部と、画面を表示するための処理が開始されてから画面が表示されるまでの間の眼球運動に基づいて、ハイライトの開始タイミングを調整するタイミング調整部とを備えている。

Description

脳波インタフェースシステム、脳波インタフェース装置、方法およびコンピュータプログラム
　本発明は、脳波を利用して機器を操作することが可能なインタフェース（脳波インタフェース）システムに関する。より具体的には、本発明は、多数の選択肢の中からユーザが所望する選択肢を効率良く選択するための機能を備えた脳波インタフェースシステムに関する。
　近年、テレビ、携帯電話、ＰＤＡ（Ｐｅｒｓｏｎａｌ　Ｄｉｇｉｔａｌ　Ａｓｓｉｓｔａｎｔ）等の様々な種類の情報機器が普及してきたため、ユーザは普段の生活の中の多くの場面で情報機器を操作する必要が生じている。通常、その操作入力手段として、例えばボタンを押す、カーソルを移動させて決定する、画面を見ながらマウスを操作する、などの方法が用いられている。
　しかし、例えば家事、育児、自動車の運転中など、両手が機器操作以外の作業のために使えない場合は、操作入力手段を利用した入力が困難となり、機器操作が実現できないことがあった。そのため、あらゆる状況で情報機器を操作したいというユーザのニーズが高まっている。
　このようなニーズに対して、ユーザの生体信号を利用した入力手段、より具体的には、ユーザの脳波の事象関連電位を利用した脳波インタフェースが開発されている。ここで「事象関連電位」とは、外的あるいは内的な事象に時間的に関連して生じる脳の一過性の電位変動をいう。脳波インタフェースでは、外的な事象の発生タイミングを起点として計測される事象関連電位が利用される。例えば、視覚刺激などに対して発生する事象関連電位のＰ３００という成分を利用すると、メニューの選択肢を選択できるとされている。この「Ｐ３００」とは、起点から約３００ミリ秒付近に現れる事象関連電位の陽性の成分のことである。
　特許文献１には、事象関連電位を用いてユーザが選択したいと思っている選択肢を識別する脳波インタフェース技術が開示されている。特許文献１に記載された技術を具体的に説明すると、選択肢を一定の時間間隔でランダムにハイライトし、選択肢がハイライトされたタイミングを起点に約３００ミリ秒後に出現する事象関連電位の波形を利用して、ユーザが選択したいと思っている選択肢の識別を実現している。この技術によれば、ユーザは両手がふさがっている状況においても、また病気等により手足が動かせない状況においても、選択したいと思った選択肢が選択できる。よって、上述のニーズに合致する機器操作等のインタフェースが実現される。
　事象関連電位をインタフェースに応用するためには、インタフェース画面上の選択肢をハイライトさせる、あるいはポップアップさせる等の視覚刺激が必要である。選択肢が多い（たとえば十数個あるいは数十個）場合には、それらを個々にハイライトさせては非常に多くの時間を要するため、効率良くハイライトさせることが重要である。
　図１８は、非特許文献１に挙げられているインタフェース画面を示す。３６個の文字を６×６の行列で表示している。非特許文献１では、各行および各列が一定の時間間隔でランダムにハイライトされ、ユーザが何行目および何列目の文字を選択したいと思っているのかを、前述の事象関連電位を利用して識別している。これにより、個々にハイライトさせる場合に３６回必要であったハイライトの回数を、６＋６の１２回に低減している。
　一方、たとえば特許文献２に示すような、視線検出装置を用いた視線入力インタフェース技術が従来から提案されている。特許文献２では、ユーザのインタフェース画面上での注視領域が検出され、当該注視領域中の選択肢が被選択状態として取り扱われる。そして被選択状態の選択肢が存在するときに、ユーザによる十分長い時間瞼を閉じる動作（閉瞼動作）が検出されると、当該選択肢の選択が確定したと判断される。これにより、情報の入力を確定する信号が出力され、選択が確定される。
　この技術では、ユーザの閉瞼動作を検出するための時間の閾値を小さな値に設定すると、例えば無意識に行われる瞬きでも選択肢の選択が確定されたと誤検出し、ユーザが意図しない情報入力が行われる可能性がある。一方、ユーザの閉瞼動作を検出するための時間の閾値を大きな値に設定すると、瞬きに関する誤検出の可能性は減少するものの、ユーザは意識的に長い時間、閉瞼動作を維持している必要があるため、力が入り過ぎて眼の周りの筋肉が疲労することがある。
　上述のように視線入力インタフェースは、選択肢の選択実行を確定する際にユーザに所定の動作を強いるものであるのに対して、脳波インタフェースは、ユーザに所定の動作を強いることなく、ユーザが選択したいと思っている選択肢を識別できるという点において、非常に有効である。
日本国特開２００５－３４６２０公報 日本国特開平１０－１８７３３４公報 エマニュエル・ドンチン（Ｅｍａｎｕｅｌ　Ｄｏｎｃｈｉｎ）、他２名、"Ｔｈｅ　Ｍｅｎｔａｌ　Ｐｒｏｓｔｈｅｓｉｓ　：　Ａｓｓｅｓｓｉｎｇ　ｔｈｅ　Ｓｐｅｅｄ　ｏｆ　ａ　Ｐ３００－Ｂａｓｅｄ　Ｂｒａｉｎ－Ｃｏｍｐｕｔｅｒ　Ｉｎｔｅｒｆａｃｅ"、ＩＥＥＥ　ＴＲＡＮＳＡＣＴＩＯＮＳ　ＯＮ　ＲＥＨＡＢＩＬＩＴＡＴＩＯＮ　ＥＮＧＩＮＥＥＲＩＮＧ、Ｖｏｌ．　８、Ｎｏ．２、２０００年６月
　上述した脳波インタフェース技術では、ハイライトの対象となる選択肢やハイライトを開始させるタイミング、およびハイライトの時間間隔は全てインタフェースのシステムによって一意に決定されていた。したがって、脳波インタフェースを利用するユーザは、希望する選択肢がハイライトされるのを待つ必要があり、また希望しない選択肢がハイライトされてもインタフェース画面を注視し続けなければならなかった。よって必ずしも効率良く選択肢を選択できなかった。
　その結果、以下のような問題を生じていた。
　第１の例を挙げると、脳波インタフェース上に表示される選択肢の座標位置が明確であったとしても、ユーザは素早く目的の選択肢を選択することができない。前述の非特許文献１における６×６個の選択肢の場合、ハイライト間隔を３５０ミリ秒とすると、１回の選択に４．２秒（＝３５０ミリ秒×１２回）もの時間を要することになる。これは、日常で使用する機器の操作を想定した場合、使いづらさやフラストレーションを感じさせるほどに長い時間である。
　第２の例を挙げると、選択対象を迷っていて未だ決めきれていないユーザがスムーズに意志決定行為を行えない。選択対象を迷っているユーザに対して多数の選択肢をハイライトさせると、ユーザにとってはそれが不必要で目障りなハイライトとなるためである。脳波インタフェースを日常的な用途に応用する際には、ユーザに使いづらさやフラストレーションを感じさせることなく、本来の機能を発揮できなければならない。
　本発明の目的は、脳波を利用するインタフェースを備えたシステムにおいて、脳波インタフェース上での表示位置が明確な選択肢を選択したいユーザや、どの選択肢を選択すべきか迷っているユーザに対して、システムの使いづらさやフラストレーションを感じさせることなく、多数の選択肢の中からユーザが所望する選択肢を効率良く選択させることにある。
　本発明による脳波インタフェースシステムは、ユーザの脳波信号を利用して機器の動作を制御するために用いられるものであって、前記脳波インタフェースシステムは、前記ユーザの脳波信号を計測する脳波計測部と、前記ユーザの眼球運動を計測する眼球運動計測部と、機器の動作に関連する選択肢を画面上に提示する出力部と、前記眼球運動の回転角速度が予め保持した閾値以下の状態になった時点を起点として所定の時間が経過したか否かを判定し、所定の時間が経過したときには、前記ユーザが注視している前記画面中の領域を前記眼球運動に基づいて特定し、ハイライトさせる選択肢を決定するハイライト判定部と、前記ハイライト判定部によって決定された前記選択肢をハイライトさせ、前記選択肢がハイライトされたタイミングを起点として前記脳波信号に含まれる事象関連電位の成分を識別し、識別した前記成分に基づいて前記機器の動作を決定するインタフェース部と、前記画面を表示するための処理が開始されてから前記画面が表示されるまでの間の前記眼球運動に基づいて、ハイライトの開始タイミングを調整するタイミング調整部とを備えている。
　前記タイミング調整部は、前記眼球運動の変化量が予め保持した閾値以上になり、かつ、前記画面表示後に、前記所定時間より短い時間、前記眼球運動の変化量が予め保持した閾値以下の状態になった時点から、前記選択肢のハイライトを開始させてもよい。
　前記タイミング調整部は、前記画面が表示された後、前記ユーザが前記画面中の領域を注視している場合に各注視領域での注視時間を測定し、測定時間の平均値が前記所定時間以上になった場合であって、かつ、前記眼球運動の変化量が前記所定時間より長い時間、予め保持した閾値以下の状態になった時点から、前記選択肢のハイライトを開始させてもよい。
　前記ハイライト判定部は、前記画面中の領域に含まれる選択肢を前記ハイライトさせる選択肢として決定してもよい。
　前記インタフェース部は、前記画面上において、前記ハイライト判定部によって決定された前記選択肢の輝度、色相および大きさの少なくとも一つを変化させることにより、決定された前記選択肢をハイライトさせてもよい。
　前記インタフェース部は、前記ハイライト判定部によって決定された前記選択肢の数に応じて、ハイライトさせる方法を変化させてもよい。
　前記ハイライト判定部によって決定された前記選択肢が複数存在する場合は、複数の選択肢をランダムにまたは順番に所定のハイライト間隔でハイライトさせてもよい。
　前記ハイライト判定部は、前記画面中の領域に選択肢が存在しない場合には、前記ハイライトさせる選択肢を決定しなくてもよい。
　脳波インタフェースシステムは、前記眼球運動に基づいて、ハイライトの時間間隔を調整する間隔調整部をさらに備えていてもよい。
　前記間隔調整部は、前記画面を表示するための処理が開始されてから前記画面が表示されるまでの間の前記眼球運動に基づいて、ハイライトの時間間隔を調整してもよい。
　前記間隔調整部は、前記眼球運動の変化量が予め保持した閾値以上になり、かつ、前記画面表示後に、前記所定時間より短い時間、前記眼球運動の変化量が予め保持した閾値以下の状態になったときにおいて、前記ハイライトの時間間隔を設定値より短く調整してもよい。
　前記間隔調整部は、前記画面が表示された後、前記ユーザが前記画面中の領域を注視している場合に各注視領域での注視時間を測定し、測定時間の平均値が前記所定時間以上になった場合には、前記ハイライトの時間間隔を設定値より長く調整してもよい。
　本発明による他の脳波インタフェースシステムは、ユーザの脳波信号を利用して機器の動作を制御するために用いられるものであって、前記脳波インタフェースシステムは、前記ユーザの脳波信号を計測する脳波計測部と、前記ユーザの眼球運動を計測する眼球運動計測部と、機器の動作に関連する選択肢を画面上に提示する出力部と、前記眼球運動の回転角速度が予め保持した閾値以下の状態になった時点を起点として所定の時間が経過したか否かを判定し、所定の時間が経過したときには、前記ユーザが注視している前記画面中の領域を前記眼球運動に基づいて特定し、ハイライトさせる選択肢を決定するハイライト判定部と、前記ハイライト判定部によって決定された前記選択肢をハイライトさせ、前記選択肢がハイライトされたタイミングを起点として前記脳波信号に含まれる事象関連電位の成分を識別し、識別した前記成分に基づいて前記機器の動作を決定するインタフェース部とを備えている。
　前記ハイライト判定部は、前記画面中の領域に含まれる選択肢を前記ハイライトさせる選択肢として決定してもよい。
　前記インタフェース部は、前記画面上において、前記ハイライト判定部によって決定された前記選択肢の輝度、色相および大きさの少なくとも一つを変化させることにより、決定された前記選択肢をハイライトさせてもよい。
　前記インタフェース部は、前記ハイライト判定部によって決定された前記選択肢の数に応じて、ハイライトさせる方法を変化させてもよい。
　前記ハイライト判定部によって決定された前記選択肢が複数存在する場合は、複数の選択肢をランダムにまたは順番に所定のハイライト間隔でハイライトさせてもよい。
　前記ハイライト判定部は、前記画面中の領域に選択肢が存在しない場合には、前記ハイライトさせる選択肢を決定しなくてもよい。
　本発明による脳波インタフェース装置は、機器の動作に関連する選択肢を画面上に提示し、ユーザの眼球運動および脳波信号を利用して、前記機器の動作を制御する脳波インタフェースシステムにおいて用いられる。前記脳波インタフェースシステムは、前記ユーザの脳波信号を計測する脳波計測部と、前記ユーザの眼球運動を計測する眼球運動計測部とを有している。前記脳波インタフェース装置は、前記眼球運動計測部から受け取った前記眼球運動の回転角速度が予め保持した閾値以下の状態になった時点を起点として所定の時間が経過したか否かを判定し、所定の時間が経過したときには、前記ユーザが注視している画面中の領域を前記眼球運動に基づいて特定し、ハイライトさせる選択肢を決定するハイライト判定部と、前記ハイライト判定部によって決定された前記選択肢をハイライトさせ、前記選択肢がハイライトされたタイミングを起点として、前記脳波計測部から受け取った前記脳波信号に含まれる事象関連電位の成分を識別し、識別した前記成分に基づいて前記機器の動作を決定するインタフェース部と、前記画面を表示するための処理が開始されてから前記画面が表示されるまでの間の前記眼球運動に基づいて、ハイライトの開始タイミングを調整するタイミング調整部とを備えている。
　本発明による方法は、ユーザの脳波信号を利用して機器の動作を制御する脳波インタフェースシステムにおいて用いられる方法であって、前記ユーザの脳波信号を計測するステップと、前記ユーザの眼球運動を計測するステップと、機器の動作に関連する選択肢を画面上に提示するステップと、記眼球運動の回転角速度が予め保持した閾値以下の状態になった時点を起点として所定の時間が経過したか否かを判定するステップと、所定の時間が経過したときには、前記ユーザが注視している前記画面中の領域を前記眼球運動に基づいて特定し、ハイライトさせる選択肢を決定するステップと、決定された前記選択肢をハイライトさせ、前記選択肢がハイライトされたタイミングを起点として前記脳波信号に含まれる事象関連電位の成分を識別するステップと、識別した前記成分に基づいて前記機器の動作を決定するステップと、前記画面を表示するための処理が開始されてから前記画面が表示されるまでの間の前記眼球運動に基づいて、ハイライトの開始タイミングを調整するステップを包含する。
　本発明による方法は、ユーザの脳波信号を利用して機器の動作を制御する脳波インタフェースシステムにおいて用いられる方法であって、前記ユーザの脳波信号を計測するステップと、前記ユーザの眼球運動を計測するステップと、機器の動作に関連する選択肢を画面上に提示するステップと、前記眼球運動の回転角速度が予め保持した閾値以下の状態になった時点を起点として所定の時間が経過したか否かを判定するステップと、所定の時間が経過したときには、前記ユーザが注視している前記画面中の領域を前記眼球運動に基づいて特定し、ハイライトさせる選択肢を決定するステップと、決定された前記選択肢をハイライトさせ、前記選択肢がハイライトされたタイミングを起点として前記脳波信号に含まれる事象関連電位の成分を識別するステップと、識別した前記成分に基づいて前記機器の動作を決定するステップとを包含する。
　本発明によるコンピュータプログラムは、脳波インタフェース装置において実行されるコンピュータプログラムであって、前記脳波インタフェース装置は、ユーザの脳波信号を利用して機器の動作を制御する脳波インタフェースシステムに組み込まれており、前記脳波インタフェースシステムは、前記ユーザの脳波信号を計測する脳波計測部と、前記ユーザの眼球運動を計測する眼球運動計測部と、機器の動作に関連する選択肢を画面上に提示する出力部とを有しており、前記コンピュータプログラムは、前記脳波インタフェース装置のコンピュータに対し、前記眼球運動計測部によって計測された、前記眼球運動の回転角速度が予め保持した閾値以下の状態になった時点を起点として所定の時間が経過したか否かを判定するステップと、所定の時間が経過したときには、前記ユーザが注視している前記画面中の領域を前記眼球運動に基づいて特定し、ハイライトさせる選択肢を決定するステップと、決定された前記選択肢をハイライトさせ、前記選択肢がハイライトされたタイミングを起点として前記脳波信号に含まれる事象関連電位の成分を識別するステップと、識別した前記成分に基づいて前記機器の動作を決定するステップと、前記画面を表示するための処理が開始されてから前記画面が表示されるまでの間の前記眼球運動に基づいて、ハイライトの開始タイミングを調整するステップとを実行させる。
　本発明によるコンピュータプログラムは、脳波インタフェース装置において実行されるコンピュータプログラムであって、前記脳波インタフェース装置は、ユーザの脳波信号を利用して機器の動作を制御する脳波インタフェースシステムに組み込まれており、前記脳波インタフェースシステムは、前記ユーザの脳波信号を計測する脳波計測部と、前記ユーザの眼球運動を計測する眼球運動計測部と、機器の動作に関連する選択肢を画面上に提示する出力部とを有しており、前記コンピュータプログラムは、前記脳波インタフェース装置のコンピュータに対し、前記眼球運動計測部によって計測された、前記眼球運動の回転角速度が予め保持した閾値以下の状態になった時点を起点として所定の時間が経過したか否かを判定するステップと、所定の時間が経過したときには、前記ユーザが注視している前記画面中の領域を前記眼球運動に基づいて特定し、ハイライトさせる選択肢を決定するステップと、決定された前記選択肢をハイライトさせ、前記選択肢がハイライトされたタイミングを起点として前記脳波信号に含まれる事象関連電位の成分を識別するステップと、識別した前記成分に基づいて前記機器の動作を決定するステップとを実行させる。
　本発明の脳波インタフェース装置、脳波インタフェース装置、方法およびコンピュータプログラムによれば、脳波インタフェースに必要とされるハイライトに関して、その対象となる選択肢や開始させるタイミング、または、時間間隔がユーザの眼球運動に基づいて判定される。これにより、脳波を利用したインタフェースを備えたシステムにおいて、脳波インタフェース上での表示位置が明確な選択肢を選択したいユーザや、どの選択肢を選択すべきか迷っているユーザに対して、システムの使いづらさやフラストレーションを感じさせることなく、多数の選択肢の中からユーザが所望する選択肢を効率良く選択させることができる。
脳波インタフェースシステム１の構成および利用環境を示す図である。 実施形態１による脳波インタフェースシステム１の機能ブロック構成を示す図である。 ＥＯＧ法によって眼球運動を計測する眼球運動計測部１３の構成を示す図である。 角膜反射法によって眼球運動を計測する眼球運動計測部１３の構成を示す図である。 （ａ）は一体化された第１および第２キャリブレーション情報のデータ構造の例を示す図であり、（ｂ）はディスプレイ画面上での注視位置の座標の例を示す図である。 図１８に示す６×６個の選択肢のインタフェース画面を９つの領域に分割した際の分割例を示す図である。 各インタフェース画面の分割情報のデータ構造の例を示す図である。 ハイライト判定部１５の処理の手順を示すフローチャートである。 脳波ＩＦ部１４の処理の手順を示すフローチャートである。 （ａ）～（ｅ）は脳波インタフェースシステム１において、テレビを操作し、ユーザ１０が視聴したいチャンネルの番組を見るときの例を示す図である。 コンテンツ表示領域１１１とメニュー表示領域１１０とが含まれたインタフェース画面の例を示す図である。 （ａ）～（ｂ）は実施形態２におけるインタフェース画面での注視位置およびタイミングチャート図である。 実施形態２による脳波インタフェースシステム１の構成を示す図である。 ハイライト判定部１５の処理の手順を示すフローチャートである。 ハイライトタイミング調整部１６の処理の手順を示すフローチャートである。 ハイライト間隔調整部１７の処理の手順を示すフローチャートである。 （ａ）および（ｂ）は、ユーザ１０と出力部１１との距離に応じて項目の分割単位を変更したときの分割例を示す図である。 従来例によるインタフェース提供時の画面表示例を示す図である。
符号の説明
　１　脳波インタフェースシステム
　２、２０　脳波インタフェース装置
　１１　出力部
　１２　脳波計測部
　１３　眼球運動計測部
　１４　脳波ＩＦ部
　１５　ハイライト判定部
　１６　ハイライトタイミング調整部
　１７　ハイライト間隔調整部
　以下、添付の図面を参照しながら、本発明による脳波インタフェースシステムおよび脳波インタフェース装置の実現形態を説明する。
　はじめに、本発明による脳波インタフェースシステムおよび脳波インタフェース装置の主要な特徴の概略を説明する。その後、脳波インタフェース装置の各実施形態を説明する。
　本願発明者らは、将来的には、装着型の脳波計と装着型のディスプレイとを組み合わせた環境で脳波インタフェースシステムが構築されることを想定している。ユーザは脳波計とディスプレイとを常に装着し、装着型ディスプレイを利用してコンテンツの視聴や画面の操作を行うことができる。また、他には、家庭用のテレビと装着型の脳波計とを組み合わせた家庭内などの環境でも、脳波インタフェースシステムが構築されることを想定している。ユーザはテレビを見るときに、脳波計を装着してコンテンツの視聴や画面の操作を行うことができる。
　例えば図１は、後者の例による、本願発明者らが想定する脳波インタフェースシステム１の構成および利用環境を示す。この脳波インタフェースシステム１は後述する実施形態１のシステム構成に対応させて例示している。
　脳波インタフェースシステム１は、ユーザ１０の脳波信号を利用してテレビ１１を操作（制御）するインタフェースを提供するためのシステムである。ユーザ１０の脳波信号はユーザが頭部に装着した脳波計（脳波計測部１２）によって取得され、無線または有線で脳波インタフェース装置２に送信される。ユーザ１０の眼球運動は、ユーザが頭部に装着した眼球運動の計測器（眼球運動計測部１３）によって計測され、無線または有線で脳波インタフェース装置２に送信される。テレビ１１に内蔵された脳波インタフェース装置２は、眼球運動からハイライトの対象となる選択肢や開始させるタイミングおよび時間間隔を決定し、脳波の一部を構成する事象関連電位のＰ３００成分を利用してユーザの意図を認識し、チャンネルの切り替えなどの処理を行う。
　（実施形態１）
　図２は、本実施形態による脳波インタフェースシステム１の機能ブロック構成を示す。脳波インタフェースシステム１は、脳波インタフェース装置２と、出力部１１と、脳波計測部１２と、眼球運動計測部１３とを有している。脳波インタフェース装置２は、脳波インタフェース部（脳波ＩＦ部）１４と、ハイライト判定部１５とで構成され、有線または無線で、出力部１１、脳波計測部１２、眼球運動計測部１３の各々と接続され、信号の送信および受信を行う。ユーザ１０のブロックは説明の便宜のために示されている。
　出力部１１は、ユーザ１０にコンテンツや脳波インタフェースにおける選択されるべきメニューを出力する。図１に示すテレビ１１は出力部の具体例であるため、以下では参照符号１１を出力部に充てて説明する。出力部１１は、出力される内容が動画や静止画の場合にはディスプレイ画面に対応し、出力される内容に音声が含まれている場合にはディスプレイ画面およびスピーカが出力部１１として併用されることもある。
　脳波計測部１２は、ユーザ１０の頭部に装着された電極における電位変化を計測することによって脳波信号を検出する脳波計である。脳波計は図１に示すようなヘッドマウント式脳波計であってもよい。ユーザ１０は予め脳波計を装着しているものとする。
　ユーザ１０の頭部に装着されたとき、その頭部の所定の位置に接触するよう、脳波計測部１２には電極が配置されている。電極の配置は、例えばＰｚ（正中頭頂）、Ａ１（耳朶）およびユーザ１０の鼻根部になる。但し、電極は最低２個あればよく、例えばＰｚとＡ１のみでも電位計測は可能である。この電極位置は、信号測定の信頼性および装着の容易さ等から決定される。
　この結果、脳波計測部１２はユーザ１０の脳波を測定することができる。測定されたユーザ１０の脳波は、コンピュータで処理できるようにサンプリングされ、脳波インタフェース装置２に送られる。なお、脳波に混入するノイズの影響を低減するため、脳波計測部１２において計測される脳波は、予め例えば０．０５から２０Ｈｚのバンドパスフィルタ処理がされ、インタフェース画面が提示される前の例えば２００ミリ秒の平均電位でベースライン補正されているものとする。
　次に、図３および図４を参照しながら、２種類の眼球運動計測部１３の構成を説明する。いずれの構成を採用するとしても、眼球運動計測部１３は、図１に示すようなヘッドマウント式計測器であってもよく、ユーザ１０は脳波インタフェースシステム１の利用前に予め装着しているとする。
　図３はＥＯＧ法によって眼球運動を計測する眼球運動計測部１３の構成を示す。一方図４は、角膜反射法によって眼球運動を計測する眼球運動計測部１３の構成を示す。図３に示す眼球運動計測部１３は、角膜網膜電位を測定することによって眼球運動を計測する。一方、図４に示す眼球運動計測部１３は、近赤外線を眼球に照射して眼球を撮影して、その撮影画像上の瞳孔および角膜表面における光源の反射像（角膜反射像）の位置を測定することによって眼球運動を計測している。
　後述のように、図３および図４に示す眼球運動計測部１３はいずれも、眼球の回転角速度および注視位置を特定する。これは、眼球運動が、眼球が動いたときの回転角速度という物理的な変化量（単位時間における眼球運動の回転角度）や、視線の位置の変化量によって定義されることを意味している。
　以下、図３および図４を参照しながら、ＥＯＧ法および角膜反射法をそれぞれ利用して、どのように眼球運動を計測するかを説明する。ただし、これらの方法は例として挙げるに過ぎない。他の計測方法を利用することも可能である。
　図３に示す眼球運動計測部１３は、複数の電極４１と、電位検出部４２と、変換部４３と、キャリブレーション情報記憶部４４とを備えている。
　複数の電極４１は目の周囲に貼り付けられる。電位検出部４２は、複数の電極４１を介して得られた角膜網膜電位を測定する。
　キャリブレーション情報記憶部４４は、角膜網膜電位と眼球の回転角度との対応関係を示す情報（第１キャリブレーション情報）を記憶している。第１キャリブレーション情報は、眼球の角膜が網膜に対して正に帯電する性質を利用して得られたものであり、予めキャリブレーション情報記憶部４４に格納されている。またキャリブレーション情報記憶部４４は、眼球の回転角度とディスプレイ画面上でのユーザ１０の注視位置との関係を示す情報（第２キャリブレーション情報）も記憶している。第２キャリブレーション情報についても、予めキャリブレーション情報記憶部４４に格納されている。
　変換部４３は、測定された角膜網膜電位に基づいて第１キャリブレーション情報を参照し、眼球の回転角度および回転角速度を特定する。そして変換部４３は、特定した回転角度に基づいてさらに第２キャリブレーション情報を参照し、ディスプレイ画面上でのユーザ１０の注視位置を特定する。
　図５（ａ）は、一体化された第１および第２キャリブレーション情報のデータ構造の例を示す。例示されたキャリブレーション情報は、水平方向および垂直方向におけるそれぞれの角膜網膜電位、眼球の回転角度、および、ディスプレイ画面上における注視位置の座標が対応付けられて構成されている。なお、第１および第２キャリブレーション情報を一体化せずに独立して設けてもよい。
　以下、キャリブレーション情報を利用した眼球の回転角度および注視位置の特定方法を説明する。
　たとえば角膜網膜電位が１秒間で水平方向について＋５０μＶ変化したときは、変換部４３は、キャリブレーション情報を参照して、水平方向の注視位置はＸ１であると特定する。垂直方向について＋３０μＶ変化をしたときは、変換部４３は同様にキャリブレーション情報を参照して、垂直方向の注視位置はＹ１であると特定する。その結果、ディスプレイ画面上でのユーザ１０の注視位置は座標（Ｘ１、Ｙ１）と特定する。図５（ｂ）は、ディスプレイ画面上での注視位置の座標の例を示す。
　さらに上述の例では、水平方向および垂直方向の角膜網膜電位の変化量は、１秒間でそれぞれ＋５０μＶおよび＋３０μＶである。よって図５（ａ）に示すキャリブレーション情報によれば、眼球は右方向に５度（ｄｅｇｒｅｅｓ）移動し、上方向にも５度移動しているといえる。そこで変換部４３は、眼球の回転角速度を（５2＋５2）1/2≒７．０７度（ｄｅｇｒｅｅｓ）／秒と特定することができる。
　なお、図５（ａ）に示すキャリブレーション情報における「眼球の回転角度」および「注視位置」は、ユーザ１０からディスプレイ画面までの距離およびディスプレイ画面の大きさなどに依存する。したがって、これらの値は必ずしも固定値でなくてもよく、ユーザ１０がその利用環境において変更可能にしてもよい。
　次に、図４を参照する。図４に示す眼球運動計測部１３は、近赤外線光源５１と、ＣＣＤカメラ５２と、反射像位置検出部５３と、変換部５４と、キャリブレーション情報記憶部５５とを備えている。
　近赤外線光源５１は近赤外線の点光源であり、近赤外線を眼球に照射するために用いられる。ＣＣＤカメラ５２は、近赤外線が照射された眼球を撮影する。反射像位置検出部５３は、撮影した眼球の映像に基づいて瞳孔および角膜表面を認識し、さらに、瞳孔および角膜表面における光源の反射像（角膜反射像）の位置を検出する。
　キャリブレーション情報記憶部５５は、反射像の位置と眼球の回転角度との関係を示す情報（第３キャリブレーション情報）を予め記憶しているともに、眼球の回転角度とディスプレイ画面上でのユーザ１０の注視位置との関係を示す情報（第４キャリブレーション情報）を予め記憶している。
　変換部５４は、反射像の位置に基づいて第３キャリブレーション情報を参照し、眼球の回転角度および回転角速度を特定する。そして、得られた眼球の回転角度に基づいて、変換部５４は第４キャリブレーション情報を参照し、ディスプレイ画面上でのユーザ１０の注視位置を特定する。第３および第４キャリブレーション情報のデータ構造は、図５（ａ）に類似するためその具体的な例示は省略する。
　再び図２を参照する。ハイライト判定部１５は、眼球運動計測部１３が計測したユーザ１０の注視座標位置から、インタフェース画面上でのユーザ１０の注視領域を検出し、注視領域に基づいて選択肢の中からハイライトさせる対象を判定する。そしてハイライト判定部１５は、眼球の回転角速度が予め保持した閾値以下になった時を起点として所定の時間（例えば、４００ミリ秒）が経過したか否かを判定し、経過したタイミングで、ユーザ１０の視線が存在する領域に存在する選択肢のハイライトを開始するよう、脳波ＩＦ部１４に指示する。
　眼球の回転角速度に関する閾値の決定方法は以下のとおりである。従来文献（特開２００６－２０４８５５公報）によれば、人間が静止画像の視認を行う際の眼球運動は、注視運動と跳躍性眼球運動に大別される。ここで「跳躍性眼球運動」とは、視線が高速で移動していて、外界からの情報受容がわずかしか行われない状態での眼球運動をいう。跳躍性眼球運動は、その持続時間が４０～５０ミリ秒と短時間である一方、回転角速度は１００度（ｄｅｇｒｅｅｓ）／秒を超えるという報告がある。従って眼球運動の閾値（Ｘ１）は、例えば回転角速度が１００度／秒となるよう、５０ミリ秒あたり５度とすればよい。
　以下、図６を参照しながらハイライト判定部１５の機能を詳細に説明する。
　まず、ユーザ１０に提示される種々のインタフェース画面は、画面ごとに予め複数の領域に分割されているとする。たとえば図６は、図１８に示す６×６個の選択肢のインタフェース画面を９つの領域に分割した際の分割例を示す。ただし、画面上にはユーザ１０が視認できるような分割線が表示されている必要はない。
　ハイライト判定部１５は、インタフェース画面においてどのように領域が分割されているかに関する情報を予め保持しているとする。
　図７は、各インタフェース画面の分割情報のデータ構造の例を示す。インタフェース画面の分割情報は、対象となるインタフェース画面の番号、当該インタフェース画面を分割した際の各領域の番号、各領域のＸ軸方向の範囲、各領域のＹ軸方向の範囲、および、当該領域に含まれるインタフェース画面上での選択肢のリストで構成されている。
　各インタフェース画面を予めどのように（いくつに）分割するかは、選択肢の数および眼球運動計測の信頼性等により決定される。例えば図６のような９分割ではなく、より粗い４分割でもよいし、より細かい３６分割でもよい。前者は眼球運動計測の精度が低い場合に有効であり、後者は精度が高い場合に有効である。
　また、インタフェース画面の分割は、出力部（テレビ）１１とユーザ１０との位置関係により決定することができる。具体的には、脳波計側部１２がユーザ１０の位置情報（例えば、二次元の位置）を計測し、位置情報をハイライト判定部１５に送信する。ハイライト判定部１５は、出力部１１の位置情報を予め保持しており、ユーザ１０の位置情報と出力部１１の位置情報とに基づいて、ユーザ１０と出力部１１との距離を算出する。そして、その距離と閾値とを比較することにより、画面の分割単位を決定する。
　例えば、ユーザ１０と出力部１１との距離が大きい場合には、ハイライト判定部１５は予め決められた分割単位よりも大きくなるよう分割単位を調整する。これは、ユーザ１０が出力部１１に表示された項目を詳細に見ることが難しいためである。いま、図６の分割単位が予め定められた分割単位であると仮定すると、ハイライト判定部１５は、図１７（ａ）に示すように、分割単位を大きくする。これにより、ユーザ１０が出力部１１から離れていても、出力部１１に表示された項目を詳細に見ることが可能になる。
　また、ユーザ１０と出力部１１との距離が小さい場合には、ハイライト判定部１５は、予め決められた分割単位よりも小さくなるよう分割単位を調整する。これは、ユーザ１０と出力部１１との距離が近く、ユーザ１０が出力部１１に表示された項目を詳細に見ることができるためである。図６の分割単位が予め定められた分割単位であると仮定すると、ハイライト判定部１５は、図１７（ｂ）に示すように、分割単位を小さくする。これにより、ユーザ１０は、出力部１１に表示され、より多く分割された詳細な項目を見ることが可能になる。
　以上のように、ユーザ１０と出力部１１との距離が比較的遠いことによって眼球運動計測の精度が低くなると考えられる場合には、分割を大きくして脳波信号による識別を重視する。一方、ユーザ１０と出力部１１との距離が比較的近いことによって眼球運動計測の精度が高くなると考えられる場合には、分割を小さくして眼球運動による識別を重視する。
　これにより、眼球運動による識別と脳波信号による識別のうち精度が高いと考えられる方を、より有効に用いることができる。
　ハイライト判定部１５は、ユーザ１０の眼球の回転角速度の情報と、ディスプレイ画面上での注視座標位置の情報を眼球運動計測部１３から受信する。例えば眼球の回転角速度が閾値以下になった場合、ハイライト判定部１５はユーザ１０の注視位置およびインタフェース画面分割情報に基づいて、インタフェース画面上でのユーザ１０の注視領域を検出する。
　ハイライト判定部１５は、所定時間以上、眼球の回転角速度が閾値以下の状態を維持しており、かつ、インタフェース画面上でのユーザ１０の注視領域が同じであると判定した場合、そのタイミングでハイライトを開始するよう、脳波ＩＦ部１４に指示する。同時にハイライト判定部１５は、当該領域に含まれる０個、１個または複数個の選択肢をハイライト対象として決定し、脳波ＩＦ部１４に対して当該ハイライト対象の選択肢の情報を送信する。なお、選択肢が０個ということは、当該領域に含まれる選択肢が存在しなかったことを意味しており、その場合にはハイライト判定部１５は、ハイライト対象となる選択肢を決定しないことを意味する。
　上述の特開２００６－２０４８５５公報によれば、人間が視認を行う際の注視運動に要する時間はおよそ２００ミリ秒から４００ミリ秒程度という報告がある。従ってハイライトを開始させるまでの所定時間（Ｔ１）は、例えば４００ミリ秒とする。ハイライト判定部１５の処理の手順は図８のフローチャートを参照しながら後述する。
　脳波ＩＦ部１４は、機器操作に関するインタフェース画面を、出力部１１を介してユーザ１０に提示する。そして脳波ＩＦ部１４は、ハイライト判定部１５からのトリガーを受けて、ハイライト対象として決定された選択肢をハイライトさせ、脳波計測部１２で計測された脳波の事象関連電位のＰ３００成分を切り出して識別する。
　ハイライト対象として決定された選択肢が複数個の場合、識別に際して脳波ＩＦ部１４は、ハイライトされた選択肢ごとの、ある区間の脳波信号の最大振幅が最大のものを選んでもよいし、ある区間の平均電位が最大のものを選んでもよい。または、テンプレートとの相関係数の値が最大のものを選んでもよい。
　ハイライト対象として決定された選択肢が１個の場合は、脳波ＩＦ部１４は、当該選択肢がハイライトされた際のある区間の脳波信号の最大振幅あるいは平均電位が所定の閾値以上であれば決定としてもよいし、またテンプレートとの相関係数の値が所定の閾値以上であれば決定としてもよい。
　なお、事象関連電位の研究では一般的に、同じ選択肢をＮ回（例えば５回、１０回、２０回）ハイライトさせ、即ちハイライト対象として決定された選択肢が４個の場合は合計４×Ｎ回のハイライトを行い、同一選択肢毎の加算平均を求めてからＰ３００成分の識別が行われる。但し、本実施形態における脳波ＩＦ部１４の処理は、そのような加算回数に限定されるものではない。脳波ＩＦ部１４の処理の手順は図９のフローチャートを参照しながら後述する。
　次に、図８および図９のフローチャートとともに図１０を参照しながら、図２に示したハイライト判定部１５および脳波ＩＦ部１４の処理の手順を説明する。この図１０は、脳波インタフェースシステム１において、ユーザ１０が１６チャンネルの中から、視聴したいテレビのチャンネル「ＣＨ２１」を選んだときの表示例を示している。
　図８は、ハイライト判定部１５の処理の手順を示すフローチャートである。
　はじめに出力部１１には、図１０（ａ）に示す画面が表示されているとする。後述する条件が満たされると、脳波ＩＦ部１４は出力部１１を介して図１０（ｂ）に示すインタフェース画面を表示する。これにより、脳波インタフェースシステム１において脳波インタフェースが起動される。
　図１０（ｂ）に示すインタフェース画面が提示された際に、ハイライト判定部１５は、脳波ＩＦ部１４から当該インタフェース画面に予め割り当てられている画面番号を受信することによって処理を開始する。この画面番号は、図７に示す分割情報において、左端の「画面Ｎｏ」に対応する。
　ステップＳ８１では、ハイライト判定部１５は、眼球運動計測部１３から受信した眼球の回転角速度が閾値Ｘ１以下か否かを判定する。閾値Ｘ１以下になった場合のみ、以降の処理を実施する。
　ステップＳ８２では、ハイライト判定部１５は脳波ＩＦ部１４から受信したインタフェース画面の画面番号に基づいて、予め保持しているインタフェース画面の分割情報（図７）を読み出す。その結果、脳波ＩＦ部１４によって出力部１１を介して図１０（ｂ）に示すインタフェース画面が提示される。図１０（ｂ）に示すインタフェース画面では、テレビのチャンネルＣＨ００からＣＨ３３までの１６個の選択肢が表示されており、インタフェース画面は領域Ａから領域Ｄの４つの領域に分割されている。
　ステップＳ８３では、ハイライト判定部１５は、インタフェース画面の分割情報と眼球運動計測部１３から受信したユーザ１０のディスプレイ画面上での注視位置とに基づいて、インタフェース画面上でのユーザ１０の注視領域を検出する。図１０（ｂ）の例では、ユーザ１０の注視位置は画面左下の領域Ｃにあると推定できるため、ユーザ１０の注視領域を画面左下の領域Ｃとする。なお、ユーザ１０の注視する位置は常に固定ではなく、僅かながらでも変動する。よって、図１０（ｂ）では、注視位置を点ではなく、点線によって示す範囲として示している。
　ステップＳ８４では、ハイライト判定部１５は、所定の時間（Ｔ１）以上、ユーザ１０の注視位置が同じ領域内にあるか否かを判別する。同じ領域にある場合はステップＳ８５に進む。同じ領域に無い場合はステップＳ８１に戻る。なお、注視位置が存在する「領域」とは、インタフェース画面内に設定された領域を意味している。ユーザ１０がインタフェース画面外の一点を所定の時間（Ｔ１）以上注視したとしても、ステップＳ８５には進まず、ステップＳ８１に戻る。
　ステップＳ８５では、ハイライト判定部１５は、当該領域に含まれる選択肢をハイライト対象の選択肢として、当該選択肢のリストを脳波ＩＦ部１４へ送信する。脳波ＩＦ部１４はこれをトリガーとしてハイライトを開始する。これは、所定の時間（Ｔ１）が経過したタイミングでハイライトが開始されることを意味している。図１０（ｂ）の例では、画面左下の領域Ｃに含まれるＣＨ２０、２１、３０、３１の４つがハイライト対象として決定されている。
　次に、図９は、脳波ＩＦ部１４の処理の手順を示すフローチャートである。ステップＳ９１では、脳波ＩＦ部１４は出力部１１を介してインタフェース画面を提示する。例えば、ユーザ１０がコンテンツを視聴している時には、テレビのディスプレイに図１０（ａ）のような選択前の画面（この場合はニュース）が表示されている。このとき、画面の右下には「メニュー」と記述されたメニューアイコン１００が表示されており、特定の周波数で点滅している。
　ユーザ１０がそのメニュー１００を見ると、脳波にはアイコン１００の点滅に対応した特定の周波数成分が重畳される。脳波ＩＦ部１４は、脳波信号における点滅周期の周波数成分のパワースペクトルを識別することにより、ユーザ１０がそのメニューアイコン１００を見ているか否かを判別できる。ユーザ１０がそのメニューアイコン１００を見ていると判別すると、脳波ＩＦ部１４は、脳波インタフェースを起動できる。「脳波インタフェースの起動」とは、脳波を用いて選択等を行うためのインタフェースの提供動作を開始することを意味する。脳波インタフェースが起動されることによって、図１０（ｂ）に示すインタフェース画面が表示される。
　ステップＳ９２では、脳波ＩＦ部１４は、当該インタフェース画面の番号をハイライト判定部１５に送信することにより、前述のハイライト判定部１５の処理を開始させる。
　ステップＳ９３では、脳波ＩＦ部１４は、ハイライト判定部１５から、ハイライトの開始トリガーとともにハイライトの対象となる選択肢のリストを受信する。図１０（ｂ）の例では、ハイライトの対象となる選択肢のリストには、領域Ｃ内の選択肢である、ＣＨ２０、２１、３０、３１が記述されている。
　ステップＳ９４では、脳波ＩＦ部１４は、ハイライトの対象となる全ての選択肢のハイライトを終了したか否かを判別する。終了していない場合はステップＳ９５に進み、終了している場合はステップＳ９７に進む。
　ステップＳ９５では、対象となる各々の選択肢を順次またはランダムにハイライトする。
　図１０（ｃ）は、脳波ＩＦ部１４が出力部１１を介して、対象となる各々の選択肢をランダムにハイライトしている様子を示している。このときのハイライトの切り替わり時間の間隔は、例えば３５０ミリ秒とする。図１０の画面（ｃ）－１～（ｃ）－４の例に示すように、選択肢のリストに記述された、領域Ｃに属する４つの選択肢がハイライトの対象となっている。よって、４つの選択肢のハイライトが全て終了した時点で処理はステップＳ９７に進む。
　図１０（ｃ）の例では、ＣＨ２０、２１、３０、３１はこの順序でハイライトされている。なお、ハイライトはインタフェース画面上での選択肢の輝度、色相および大きさの変化の少なくとも一つであればよく、また、ハイライトの代わりに、またはハイライトとともに補助的矢印を用いたポインタで選択肢を提示してもよい。また、選択肢のハイライト順序はランダムでなくてもよく、たとえばチャンネル番号順などの所定の順序にしたがってもよい。
　ステップＳ９６では、脳波ＩＦ部１４は、脳波計測部１２で計測された脳波信号のうち、各選択肢がハイライトされた時点を起点とした事象関連電位のＰ３００成分を取得する。
　ステップＳ９７では、脳波ＩＦ部１４は、ステップＳ９６で取得した各選択肢に対する事象関連電位のＰ３００成分を識別し、ユーザ１０が選択しようとしている選択肢を決定する。図１０（ｄ）は各選択肢がハイライトされた時点を起点とした事象関連電位を模式的に示している。
　今、ユーザ１０はＣＨ２１を見たいと考えていたとする。画面（ｃ）－１から画面（ｃ）－４の各々に示すように、各選択肢がハイライトされた時点を起点として脳波信号１～４が取得される。ＣＨ２１がハイライトされた画面（ｃ）－２をユーザ１０が見ると、その脳波信号には、ＣＨ２１がハイライトされた時点を起点に約３００ミリ秒付近に特徴的な陽性の成分が出現する。脳波ＩＦ部１４がこのＰ３００成分の出現を識別すると、ユーザ１０が選択したいと考えていたチャンネルの選択が可能となる。
　ステップＳ９８では、ハイライト対象として決定された選択肢が０個であった場合、または事象関連電位のＰ３００成分に特徴的な陽性の成分が出現しなかった場合には、ステップＳ９２の処理が再度実行される。それ以外の場合はステップＳ９９へ進む。
　ステップＳ９９では、脳波ＩＦ部１４は選択された機器動作の処理を実行する。図１０（ｅ）の例では、脳波ＩＦ部１４がチャンネルをＣＨ２１（天気予報）に切り替えることにより、出力部１１にＣＨ２１に対応する天気予報番組が表示されている。
　本実施形態にかかる構成および処理の手順によれば、ハイライト判定部１５は、眼球運動からユーザ１０のインタフェース画面上での注視領域を検出し、注視領域に基づいて選択肢の中からハイライトさせる対象を判定する。そして、眼球の回転角速度が予め保持した閾値以下になった時点から所定時間が経過したか否かを判定して、所定時間が経過したときにハイライトを開始させる。これにより、脳波を利用したインタフェースを備えたシステムにおいて、インタフェース画面上に十数個あるいは数十個と多くの選択肢が存在した場合でも、その中からユーザ１０が所望する選択肢を効率良く選択させることができる。
　例えば、図６に示す６×６個の選択肢が存在するとき、注視領域を９分割することにより、ハイライトの回数は４回にまで低減することができる。よって、より素早く選択肢を選択することが可能となる。
　ハイライト判定部１５がハイライト対象となる選択肢を決定し、脳波ＩＦ部１４が、ハイライト対象として決定された選択肢の中から、ユーザ１０が選択したい選択肢を特定するため、不要なハイライトを低減することができる。
　以下で、具体的に説明する。
　本実施形態によるハイライト判定部１５が存在せず、脳波ＩＦ部１４のみで選択肢をハイライトさせると、ユーザ１０が選択肢を見ていない場合や、ユーザ１０が選択肢に選択意思がない場合にも、対象をハイライトしてしまう可能性がある。
　一方、本実施形態では、ハイライト判定部１５がハイライト対象の選択肢を決定し、脳波ＩＦ部１４が当該選択肢をハイライトさせて、事象関連電位を取得する。ハイライト対象は、眼球の運動に基づいて決定されている。ユーザ１０が選択肢を見ていないときにはハイライト対象は決定されないので、選択肢がハイライトされるときにはユーザ１０は必ず選択肢を見ている。換言すれば、選択肢がハイライトされるのであれば、ユーザ１０が選択肢を見ていない、ということは起こらない。
　また、ユーザ１０が選択意思を持って選択肢を見ていなければ、１つの選択肢を所定の時間（Ｔ１）以上見続けることがないと考えられるため、そのような選択肢がハイライト対象として決定されることがない。よってユーザ１０に選択意志がない場合に、ハイライトしてしまうことも起こらない。したがって、不要なハイライトを低減することができる。
　次に、図１１を参照しながら、本実施形態の変形例を説明する。図１１は、コンテンツ表示領域１１１とメニュー表示領域１１０とが含まれたインタフェース画面の例を示している。ユーザ１０が選択すべき選択肢はメニュー表示領域１１０にのみ存在している。
　このようなインタフェース画面では、ユーザ１０の注視領域がメニュー表示領域１１０にあり、眼球の回転角速度が閾値以下になった時点から所定の時間（Ｔ１）以上、ユーザ１０の注視領域が同じメニュー表示領域１１０に存在していた場合のみ、ハイライトを開始させればよい。これにより、ユーザ１０がコンテンツ視聴中の場合は不必要なハイライトを抑制することができ、ユーザ１０がメニュー変更等の機器動作を所望する場合のみハイライトを開始することができる。
　（実施形態２）
　実施形態１による脳波インタフェースシステム１では、ユーザ１０の眼球運動に基づいて、脳波インタフェースに必要とされるハイライトに関して、その対象となる選択肢や開始させるタイミングを判定していた。実施形態１では、ユーザ１０の眼球の回転角速度が、閾値以下になった時点からハイライトを開始させるまでの所定時間やハイライトの時間間隔は一定の値であった。
　しかしながら、ユーザの状態に応じて柔軟に、より効率的な選択を行わせることができれば、なお好ましい。具体的には、ユーザ１０が脳波インタフェースシステム１を何度も使用することなどにより、脳波インタフェース画面上に表示される選択肢の位置をユーザ１０が予め知っている場合において、ユーザ１０がそのような選択肢を更に素早く選択すること、逆に選択対象を迷っているユーザ１０に対してスムーズに意志を決定させるために、不要なハイライトを抑制すること、ができれば、なお好ましいといえる。
　ここで図１２を参照しながら、上述のユーザ１０の状態に対するユーザ１０の眼球運動を説明する。
　図１２の（ａ）－１および（ｂ）－１は、選択肢の位置をユーザ１０が予め知っているときにおける、ユーザ１０の注視位置の変化およびその時間変化を示す。
　図１２（ａ）－１は、番組表の項目（番組ＡからＤ）および機器操作メニューの項目から構成されているインタフェース画面である。機器操作メニューの項目は、番組表を動かす上下右左の移動方向アイコン、番組表等の存在する番組を検索する「検索」項目アイコン、ユーザ１０の視聴履歴に基づいて番組表等に存在する番組のおすすめ番組を表示させるため「おすすめ」項目アイコンが表示されている。矢印は、点Ａから点Ｂへのユーザ１０の注視位置の移動を示している。
　インタフェース画面は、番組表のような、逐次更新される項目の部分と、機器操作メニューのような、常に同じ項目が同じ場所に提示される部分とに分けられる。ただし、機器操作メニューについては、常に同じ項目が同じ場所に提示されるものに限らず、番組表のような逐次（例えば、１時間ごと、又は１日ごとに）更新される項目よりも更新の頻度が低い項目としても良い。
　本実施形態では、１つの分割領域内に、常に同じ項目が同じ場所に提示される項目（機器操作メニューの項目）が１つになるように、脳波インタフェース画面を構成する。これにより、機器操作メニューの選択については、脳波ＩＦ部１４では、その選択肢の選択意思があったかどうかの確認のみを事象関連電位を用いて行なうことにより、ハイライト対象が複数ある場合よりも素早く選択肢を決定することができる。
　図１２（ｂ）－１は、図１２（ａ）－１における点、つまり、ユーザ１０の注視位置の時間変化を模式的に示す。図１２（ｂ）－１における時刻ｔαはインタフェース画面を表示するための処理を開始した時刻、ｔβはインタフェース画面が提示された時刻とする。具体的には、時刻ｔαから時刻ｔβの期間は、図１０（ａ）のような選択前の画面から、図１０（ｂ）のような画面（機器の動作に関連する項目が表示された画面）に表示が切り替えられるまでの期間を示している。つまり、時刻ｔαから時刻ｔβの間は、図１２（ａ）のインタフェース画面がまだ表示されていない。そのため、ユーザ１０は、目視でインタフェース画面にどのような項目が表示されるかわからない状態である。
　ここで、時刻ｔαは、インタフェース画面を表示するための処理を開始した時刻より所定時間前としても良い。
　ユーザ１０が何度も脳波インタフェースを利用し、慣れてくると、図１２（ａ）－１のようなインタフェース画面が表示される前であっても、ユーザ１０は、その後に提示されるインタフェース画面上の項目の位置を記憶していくと考えられる。このような項目を記憶している脳波インタフェースの利用に慣れたユーザ１０に対しては、素早く選択できるようにすることが望まれる。
　本実施形態においては、インタフェース画面が提示される前の時刻（時刻ｔαから時刻ｔβ）の眼球の回転角速度を観測することによって、ユーザ１０が次に所望する選択肢を素早く選択できるようにする。以下、その詳細を説明する。
　ユーザ１０がインタフェース画面に表示される項目とその項目の座標を記憶しており、かつ、目的とする選択肢の脳波インタフェース上での座標位置を明確に知っているとする。このとき、ユーザ１０の眼球の回転角速度は、インタフェース画面が提示される前に（即ち時刻ｔαから時刻ｔβの間に）跳躍性眼球運動を行い、インタフェース画面提示後は目的とする選択肢で注視状態になる。なぜなら、目的とする選択肢のインタフェース画面上での座標位置を記憶していれば、ユーザ１０の注視位置はインタフェース画面提示前に目的の選択肢がある領域へ移動できるからである。
　例えば、図１２（ｂ）－１から理解されるように、インタフェース画面が提示される時刻ｔβ前にユーザ１０の眼球は跳躍性眼球運動を行い、注視位置が「番組Ｃ」の領域から「検索」の領域に移動している。そしてインタフェース画面提示された時刻ｔβの後は「検索」の領域に留まっている。これは、インタフェース画面上での「検索」の座標位置を記憶していたユーザ１０が、インタフェース画面の提示前から「検索」を選択することを意図していたと判断できる。
　ここで、「跳躍性眼球運動」とは、提示された項目を移動した場合の眼球運動を示している。跳躍性眼球運動および、インタフェース画面上に提示された表示を読んでいるときの眼球運動は、眼球運動の角速度の違いによって判別できる。すなわち、それらを判別できる眼球運動の角速度を設定することができる。
　続いて、選択対象を迷っているユーザ１０の眼球運動を検討する。
　選択対象を迷っているユーザ１０の眼球運動は、インタフェース画面提示後の各注視位置での注視時間が長くなると考えられる。例えば、選択したい番組名が明確な場合は、番組表中の番組名を注視してからすぐに該当するか否かの判定が可能である。しかし、選択したい番組が決まっておらず、迷っている場合は、各注視位置で選択するか否かを思考する分、注視時間が長くなる。
　図１２（ａ）－２および（ｂ）－２は、ユーザ１０が選択対象を迷っているときにおける、ユーザ１０の注視位置の変化およびその時間変化を示す。
　この例では、目的とする選択肢が決まっておらず、そのため目的とする選択肢の脳波インタフェース上での座標位置も決まっていない。よって、インタフェース画面が提示される前の時刻（時刻ｔαから時刻ｔβ）では、跳躍性眼球運動は見られず、インタフェース画面提示後（時刻ｔβ以降）にユーザ１０の注視位置は「番組Ａ」、「番組Ｃ」、「番組Ｂ」、「おすすめ」、「番組Ｄ」と移動し、各々の注視時間は長くなっている。
　本実施形態による脳波インタフェースシステムでは、ユーザ１０の眼球運動が閾値以下になった時点からハイライトを開始させるまでの所定時間やハイライトの時間間隔を、ユーザ１０の眼球運動に基づいて調整する。
　より具体的には、インタフェース画面が起動してから提示されるまでの間に、眼球の回転角速度が予め保持した閾値（Ｘ１）以上になり、かつ、インタフェース画面提示後の初期値の所定時間（Ｔ１）より短い時間（Ｔ２）だけ、眼球運動の回転角速度が閾値（Ｘ１）以下の状態になった場合を想定する。
　このとき、当該ユーザ１０は選択対象が明確であり、かつ、脳波インタフェース上での座標位置を記憶していると判断される。そして当該時点を起点としてハイライトを開始する。よって、インタフェース画面が提示される前の眼球の回転角速度を観測することによって、脳波インタフェース上での座標位置を記憶しているユーザ１０は、より素早く選択することが可能になる。ハイライトの時間間隔も初期設定値（Ｔａ）より短く調整すればよい（Ｔｂ）。
　このようにハイライトを開始させるまでの時間やハイライトの時間間隔を通常より短くすることによって、前述のユーザ１０に対して更に素早く目的の選択肢を選択させることが可能となる。
　一方、インタフェース画面提示後の各注視位置での注視時間の平均値が所定時間（Ｔ１）以上になったときは、そのユーザ１０は選択対象を迷っていると判断される。そして、眼球の回転角速度が所定時間（Ｔ１）より長い時間（Ｔ３）、予め保持した閾値（Ｘ１）以下の状態になった時点をハイライトの開始タイミングと判定し、ハイライトの時間間隔も初期設定値（Ｔａ）より長く調整する（Ｔｃ）。このようにハイライトを開始させるまでの時間やハイライトの時間間隔を通常より長くすることによって、前述のユーザ１０に対して不要なハイライトを抑制することが可能となる。
　従来文献であるＥｒｉｃ　Ｗ．　Ｓｅｌｌｅｒｓ、“Ａ　Ｐ３００　ｅｖｅｎｔ－ｒｅｌａｔｅｄ　ｐｏｔｅｎｔｉａｌ　ｂｒａｉｎ－ｃｏｍｐｕｔｅｒ　ｉｎｔｅｒｆａｃｅ（ＢＣＩ）：Ｔｈｅ　ｅｆｆｅｃｔｓ　ｏｆ　ｍａｔｒｉｘ　ｓｉｚｅ　ａｎｄ　ｉｎｔｅｒ　ｓｔｉｍｕｌｕｓ　ｉｎｔｅｒｖａｌ　ｏｎ　ｐｅｒｆｏｒｍａｎｃｅ”、ＢＩＯＬＯＧＩＣＡＬ　ＰＳＹＣＨＯＬＯＧＹ、７３（２００６）、２４２－２５２、および特開２００５－２１５６９公報によれば、ハイライトの時間間隔を１７５ミリ秒、３５０ミリ秒、および１．５秒とした際の、脳波インタフェースの例が報告されている。
　そこで本実施形態においては、たとえばハイライトの時間間隔の初期設定値（Ｔａ）は３５０ミリ秒、短く調整する場合（Ｔｂ）は１７５ミリ秒、長く調整する場合（Ｔｃ）は１．５秒とした。
　また、従来文献である特開２００６－２０４８５５公報には、人間が視認を行う際の注視運動に要する時間はおよそ２００ミリ秒から４００ミリ秒程度と記載されている。そこで本実施形態においては、ハイライトを開始させるまでの所定時間の初期設定値（Ｔ１）は４００ミリ秒、短く調整する場合（Ｔ２）は２００ミリ秒、長く調整する場合（Ｔ３）は余裕を持って８００ミリ秒とする。
　図１３は、本実施形態による脳波インタフェースシステム１の構成を示す。本実施形態による脳波インタフェースシステム１は、実施形態１の脳波インタフェース装置２とは異なる脳波インタフェース装置２０を備えている。
　脳波インタフェース装置２０は、実施形態１の脳波インタフェース装置２に対して、ハイライトタイミング調整部１６およびハイライト間隔調整部１７を追加して構成されている。なお、ハイライトタイミング調整部１６およびハイライト間隔調整部１７を簡略化して、それぞれ「タイミング調整部」および「間隔調整部」と記載することがある。
　ハイライトタイミング調整部１６は、前述の通り、眼球の回転角速度が予め保持した閾値（Ｘ１）以下の状態になってからハイライトを開始させるまでの所定時間を調整する。ハイライト間隔調整部１７は、ハイライトの時間間隔を調整する。
　図１４は、ハイライト判定部１５の処理の手順を示している。実施形態１におけるハイライト判定部１５のフローチャート（図８）との相違点は、ステップＳ１３４のハイライトタイミング調整処理およびステップＳ１３５のハイライト間隔調整部が追加されたこと、および、ステップＳ１３７の脳波ＩＦ部１４へ送信する情報にハイライト間隔が追加されたことである。以下、これらの処理を説明する。
　ステップＳ１３１では、眼球運動計測部１３から受信した眼球の回転角速度が閾値Ｘ１以下か否かを判別する。閾値Ｘ１以下になった場合のみ、以降の処理を実施する。
　ステップＳ１３２では、ハイライト判定部１５は脳波ＩＦ部１４から受信したインタフェース画面の画面番号に基づいて、予め保持しているインタフェース画面の分割情報（図７）を読み出す。
　ステップＳ１３３では、ハイライト判定部１５は、インタフェース画面の分割情報と眼球運動計測部１３から受信したユーザ１０のディスプレイ画面上での注視位置とに基づいて、インタフェース画面上でのユーザ１０の注視領域を検出する。
　ステップＳ１３４では、ハイライトタイミング調整部１６がハイライトを開始させるタイミングの調整処理を行う。この処理の詳細は図１５を参照しながら後述する。
　ステップＳ１３５では、ハイライト間隔調整部１７は、ハイライトの時間間隔の調整処理を行う。この処理の詳細は図１６を参照しながら後述する。
　ステップＳ１３６では、ハイライト判定部１５は、所定の時間（Ｔ１）以上、ユーザ１０の注視位置が同じ領域内にあるか否かを判別する。同じ領域にある場合はステップＳ１３７に進み、同じ領域に無い場合はステップＳ１３１に戻る。なお、ハイライトを開始させるまでの所定時間Ｔは、ステップＳ１３４において調整されている。
　ステップＳ１３７では、ハイライト判定部１５は、その時点がハイライトを開始させるタイミングであるとして、当該領域に含まれる選択肢をハイライト対象の選択肢として、当該選択肢のリストおよびステップＳ１３５で調整されたハイライト間隔を、脳波ＩＦ部１４へ送信する。脳波ＩＦ部１４はこれをトリガーとしてハイライトを開始する。
　図１５は、ハイライトタイミング調整部１６の処理の手順を示している。図１５に示す処理により、ハイライトを開始させるまでの所定時間がＴ１、Ｔ２、Ｔ３のいずれかに設定される。
　以下に示すハイライトを開始させるまでの所定時間Ｔ１、Ｔ２、Ｔ３はそれぞれ４００ミリ秒、２００ミリ秒、８００ミリ秒であるとする。すなわち、Ｔ２＜Ｔ１＜Ｔ３の関係を持つとする。
　ステップＳ１４１では、ハイライトタイミング調整部１６は、図１２（ｂ）－１におけるｔαとｔβの間、即ちインタフェース画面が起動してから提示されるまで時間に、眼球の回転角速度が予め保持した閾値（Ｘ１）以上になっている否かを判別する。閾値Ｘ１以上になった場合はステップＳ１４４へ進み、それ以外の場合はステップＳ１４２へ進む。
　ステップＳ１４２では、ハイライトタイミング調整部１６は、インタフェース画面提示後の各注視位置での注視時間の平均値を算出する。
　ステップＳ１４３では、ハイライトタイミング調整部１６は、ステップＳ１４２で算出した平均値が所定時間（Ｔ１）以上になっているか否かを判別する。所定時間（Ｔ１）以上になった場合はステップＳ１４５へ進み、それ以外の場合はステップＳ１４６へ進む。
　ステップＳ１４４では、ハイライトタイミング調整部１６は、ハイライトを開始させるまでの所定時間をＴ２に調整する。即ち初期設定値より短めに調整する。
　ステップＳ１４５では、ハイライトタイミング調整部１６はハイライトを開始させるまでの所定時間をＴ３に調整する。即ち初期設定値より長めに調整する。
　ステップＳ１４６では、ハイライトタイミング調整部１６は、ハイライトを開始させるまでの所定時間をＴ１に調整する。即ち初期設定値と同じ値に調整する。
　図１６は、ハイライト間隔調整部１７の処理の手順を示している。図１６に示す処理により、ハイライトの時間間隔がＴａ、Ｔｂ、Ｔｃのいずれかに設定される。
　なお、以下に示すハイライトの時間間隔Ｔａ、Ｔｂ、Ｔｃはそれぞれ３５０ミリ秒、１７５ミリ秒、１．５秒であるとする。すなわち、Ｔｂ＜Ｔａ＜Ｔｃの関係を持つとする。
　ステップＳ１７１からステップＳ１７３までは、ハイライト間隔調整部１７は、上述の図１５に示すステップＳ１４１からＳ１４３までと同様の処理を実行する。
　ステップＳ１７４では、ハイライト間隔調整部１７は、ハイライトの時間間隔をＴｂに調整する。即ち初期設定値より短めに調整する。
　ステップＳ１７５では、ハイライト間隔調整部１７は、ハイライトの時間間隔をＴｃに調整する。即ち初期設定値より長めに調整する。
　ステップＳ１７６では、ハイライト間隔調整部１７は、ハイライトの時間間隔をＴａに調整する。即ち初期設定値と同じ値に調整する。
　本実施形態にかかる構成および処理の手順によれば、脳波を利用したインタフェースを備えたシステムにおいて、ハイライトを開始させるまでの所定時間やハイライトの時間間隔をユーザ１０の眼球運動に基づいて調整する。よって、ユーザ１０が、選択したい選択肢の脳波インタフェース上での座標位置を明確に知っているときには、ユーザ１０に更に素早く選択肢を選択させることができる。逆に選択対象を迷っているユーザ１０に対してはスムーズな意志決定行為を行わせるために不要なハイライトを抑制することができる。
　なお、本実施形態においては、図１２の（ａ）－１および（ａ）－２に示す画面例を参照しながら脳波インタフェース装置２０の動作を説明した。ただしこれは、実施形態１の説明において参照した図１０（ｂ）の画面例に適用できないことを意味するものではない。図１２の（ａ）－１に示す点Ａから点Ｂへの矢印は図１０（ｂ）の画面例にも同様に適用できる。ただし、このとき点Ａは、ユーザ１０が図１０（ａ）のメニューアイコン１００を注視したことによってインタフェース画面を表示するための処理を開始した時刻における注視位置であり、点Ｂは、図１０（ｂ）のインタフェース画面が提示される前の時刻における注視位置である。
　上述の実施形態のいずれについても、フローチャートを用いて説明した処理はコンピュータに実行されるプログラムとして実現され得る。そのようなコンピュータプログラムは、ＣＤ－ＲＯＭ等の記録媒体に記録されて製品として市場に流通され、または、インターネット等の電気通信回線を通じて伝送される。
　たとえば図２に示す脳波インタフェース装置２は、コンピュータプログラムを実行する汎用のプロセッサ（半導体回路）として実現される。または、そのようなコンピュータプログラムとプロセッサとが一体化された専用プロセッサとして実現される。
　眼球運動計測部１３や脳波計測部１２もまた、コンピュータプログラムを実行する汎用のプロセッサ（半導体回路）または専用のプロセッサ（半導体回路）として実現され得る。たとえば、取得した角膜網膜電位に基づいて眼球運動計測部１３が眼球の回転角度と回転角速度を算出する処理は、プログラムとして実現され得る。また、脳波計測部１２がバンドパスフィルタ処理やベースライン補正処理は、プログラムとして実現され得る。
　本発明にかかる脳波インタフェース装置およびその装置が組み込まれた脳波インタフェースシステムによれば、脳波インタフェースに必要とされるハイライトに関して、その対象となる選択肢や開始させるタイミング、および時間間隔をユーザの眼球運動に基づいて判定する。これにより、脳波を用いた機器操作インタフェースが搭載されている情報機器や映像音響機器などの操作性改善に有用である。

Claims (23)

  1. 　ユーザの脳波信号を利用して機器の動作を制御する脳波インタフェースシステムであって、
    　前記ユーザの脳波信号を計測する脳波計測部と、
    　前記ユーザの眼球運動を計測する眼球運動計測部と、
    　機器の動作に関連する選択肢を画面上に提示する出力部と、
    　前記眼球運動の回転角速度が予め保持した閾値以下の状態になった時点を起点として所定の時間が経過したか否かを判定し、所定の時間が経過したときには、前記ユーザが注視している前記画面中の領域を前記眼球運動に基づいて特定し、ハイライトさせる選択肢を決定するハイライト判定部と、
    　前記ハイライト判定部によって決定された前記選択肢をハイライトさせ、前記選択肢がハイライトされたタイミングを起点として前記脳波信号に含まれる事象関連電位の成分を識別し、識別した前記成分に基づいて前記機器の動作を決定するインタフェース部と、
    　前記画面を表示するための処理が開始されてから前記画面が表示されるまでの間の前記眼球運動に基づいて、ハイライトの開始タイミングを調整するタイミング調整部と
    　を備えた脳波インタフェースシステム。
  2. 　前記タイミング調整部は、前記眼球運動の変化量が予め保持した閾値以上になり、かつ、前記画面表示後に、前記所定時間より短い時間、前記眼球運動の変化量が予め保持した閾値以下の状態になった時点から、前記選択肢のハイライトを開始させる、請求項１に記載の脳波インタフェースシステム。
  3. 　前記タイミング調整部は、前記画面が表示された後、前記ユーザが前記画面中の領域を注視している場合に各注視領域での注視時間を測定し、測定時間の平均値が前記所定時間以上になった場合であって、かつ、前記眼球運動の変化量が前記所定時間より長い時間、予め保持した閾値以下の状態になった時点から、前記選択肢のハイライトを開始させる、請求項１に記載の脳波インタフェースシステム。
  4. 　前記ハイライト判定部は、前記画面中の領域に含まれる選択肢を前記ハイライトさせる選択肢として決定する、請求項１に記載の脳波インタフェースシステム。
  5. 　前記インタフェース部は、前記画面上において、前記ハイライト判定部によって決定された前記選択肢の輝度、色相および大きさの少なくとも一つを変化させることにより、決定された前記選択肢をハイライトさせる、請求項１に記載の脳波インタフェースシステム。
  6. 　前記インタフェース部は、前記ハイライト判定部によって決定された前記選択肢の数に応じて、ハイライトさせる方法を変化させる、請求項１に記載の脳波インタフェースシステム。
  7. 　前記ハイライト判定部によって決定された前記選択肢が複数存在する場合は、複数の選択肢をランダムにまたは順番に所定のハイライト間隔でハイライトさせる、請求項６に記載の脳波インタフェースシステム。
  8. 　前記ハイライト判定部は、前記画面中の領域に選択肢が存在しない場合には、前記ハイライトさせる選択肢を決定しない、請求項１に記載の脳波インタフェースシステム。
  9. 　前記眼球運動に基づいて、ハイライトの時間間隔を調整する間隔調整部をさらに備えた、請求項１に記載の脳波インタフェースシステム。
  10. 　前記間隔調整部は、前記画面を表示するための処理が開始されてから前記画面が表示されるまでの間の前記眼球運動に基づいて、ハイライトの時間間隔を調整する、請求項１に記載の脳波インタフェースシステム。
  11. 　前記間隔調整部は、前記眼球運動の変化量が予め保持した閾値以上になり、かつ、前記画面表示後に、前記所定時間より短い時間、前記眼球運動の変化量が予め保持した閾値以下の状態になったときにおいて、前記ハイライトの時間間隔を設定値より短く調整する、請求項１０に記載の脳波インタフェースシステム。
  12. 　前記間隔調整部は、前記画面が表示された後、前記ユーザが前記画面中の領域を注視している場合に各注視領域での注視時間を測定し、測定時間の平均値が前記所定時間以上になった場合には、前記ハイライトの時間間隔を設定値より長く調整する、請求項１に記載の脳波インタフェースシステム。
  13. 　ユーザの脳波信号を利用して機器の動作を制御する脳波インタフェースシステムであって、
    　前記ユーザの脳波信号を計測する脳波計測部と、
    　前記ユーザの眼球運動を計測する眼球運動計測部と、
    　機器の動作に関連する選択肢を画面上に提示する出力部と、
    　前記眼球運動の回転角速度が予め保持した閾値以下の状態になった時点を起点として所定の時間が経過したか否かを判定し、所定の時間が経過したときには、前記ユーザが注視している前記画面中の領域を前記眼球運動に基づいて特定し、ハイライトさせる選択肢を決定するハイライト判定部と、
    　前記ハイライト判定部によって決定された前記選択肢をハイライトさせ、前記選択肢がハイライトされたタイミングを起点として前記脳波信号に含まれる事象関連電位の成分を識別し、識別した前記成分に基づいて前記機器の動作を決定するインタフェース部と
    　を備えた脳波インタフェースシステム。
  14. 　前記ハイライト判定部は、前記画面中の領域に含まれる選択肢を前記ハイライトさせる選択肢として決定する、請求項１３に記載の脳波インタフェースシステム。
  15. 　前記インタフェース部は、前記画面上において、前記ハイライト判定部によって決定された前記選択肢の輝度、色相および大きさの少なくとも一つを変化させることにより、決定された前記選択肢をハイライトさせる、請求項１３に記載の脳波インタフェースシステム。
  16. 　前記インタフェース部は、前記ハイライト判定部によって決定された前記選択肢の数に応じて、ハイライトさせる方法を変化させる、請求項１３に記載の脳波インタフェースシステム。
  17. 　前記ハイライト判定部によって決定された前記選択肢が複数存在する場合は、複数の選択肢をランダムにまたは順番に所定のハイライト間隔でハイライトさせる、請求項１６に記載の脳波インタフェースシステム。
  18. 　前記ハイライト判定部は、前記画面中の領域に選択肢が存在しない場合には、前記ハイライトさせる選択肢を決定しない、請求項１３に記載の脳波インタフェースシステム。
  19. 　機器の動作に関連する選択肢を画面上に提示し、ユーザの眼球運動および脳波信号を利用して、前記機器の動作を制御する脳波インタフェースシステムにおいて用いられる脳波インタフェース装置であって、
    　前記脳波インタフェースシステムは、前記ユーザの脳波信号を計測する脳波計測部と、前記ユーザの眼球運動を計測する眼球運動計測部とを有しており、
    　前記眼球運動計測部から受け取った前記眼球運動の回転角速度が予め保持した閾値以下の状態になった時点を起点として所定の時間が経過したか否かを判定し、所定の時間が経過したときには、前記ユーザが注視している画面中の領域を前記眼球運動に基づいて特定し、ハイライトさせる選択肢を決定するハイライト判定部と、
    　前記ハイライト判定部によって決定された前記選択肢をハイライトさせ、前記選択肢がハイライトされたタイミングを起点として、前記脳波計測部から受け取った前記脳波信号に含まれる事象関連電位の成分を識別し、識別した前記成分に基づいて前記機器の動作を決定するインタフェース部と、
    　前記画面を表示するための処理が開始されてから前記画面が表示されるまでの間の前記眼球運動に基づいて、ハイライトの開始タイミングを調整するタイミング調整部と
    　を備えた脳波インタフェース装置。
  20. 　ユーザの脳波信号を利用して機器の動作を制御する脳波インタフェースシステムにおいて用いられる方法であって、
    　前記ユーザの脳波信号を計測するステップと、
    　前記ユーザの眼球運動を計測するステップと、
    　機器の動作に関連する選択肢を画面上に提示するステップと、
    　前記眼球運動の回転角速度が予め保持した閾値以下の状態になった時点を起点として所定の時間が経過したか否かを判定するステップと、
    　所定の時間が経過したときには、前記ユーザが注視している前記画面中の領域を前記眼球運動に基づいて特定し、ハイライトさせる選択肢を決定するステップと、
    　決定された前記選択肢をハイライトさせ、前記選択肢がハイライトされたタイミングを起点として前記脳波信号に含まれる事象関連電位の成分を識別するステップと、
    　識別した前記成分に基づいて前記機器の動作を決定するステップと、
    　前記画面を表示するための処理が開始されてから前記画面が表示されるまでの間の前記眼球運動に基づいて、ハイライトの開始タイミングを調整するステップと
    　を包含する、方法。
  21. 　ユーザの脳波信号を利用して機器の動作を制御する脳波インタフェースシステムにおいて用いられる方法であって、
    　前記ユーザの脳波信号を計測するステップと、
    　前記ユーザの眼球運動を計測するステップと、
    　機器の動作に関連する選択肢を画面上に提示するステップと、
    　前記眼球運動の回転角速度が予め保持した閾値以下の状態になった時点を起点として所定の時間が経過したか否かを判定するステップと、
    　所定の時間が経過したときには、前記ユーザが注視している前記画面中の領域を前記眼球運動に基づいて特定し、ハイライトさせる選択肢を決定するステップと、
    　決定された前記選択肢をハイライトさせ、前記選択肢がハイライトされたタイミングを起点として前記脳波信号に含まれる事象関連電位の成分を識別するステップと、
    　識別した前記成分に基づいて前記機器の動作を決定するステップと
    　を包含する、方法。
  22. 　脳波インタフェース装置において実行されるコンピュータプログラムであって、
    　前記脳波インタフェース装置は、ユーザの脳波信号を利用して機器の動作を制御する脳波インタフェースシステムに組み込まれており、
    　前記脳波インタフェースシステムは、
    　前記ユーザの脳波信号を計測する脳波計測部と、
    　前記ユーザの眼球運動を計測する眼球運動計測部と、
    　機器の動作に関連する選択肢を画面上に提示する出力部と
    　を有しており、
    　前記コンピュータプログラムは、前記脳波インタフェース装置のコンピュータに対し、
    　前記眼球運動計測部によって計測された、前記眼球運動の回転角速度が予め保持した閾値以下の状態になった時点を起点として所定の時間が経過したか否かを判定するステップと、
    　所定の時間が経過したときには、前記ユーザが注視している前記画面中の領域を前記眼球運動に基づいて特定し、ハイライトさせる選択肢を決定するステップと、
    　決定された前記選択肢をハイライトさせ、前記選択肢がハイライトされたタイミングを起点として前記脳波信号に含まれる事象関連電位の成分を識別するステップと、
    　識別した前記成分に基づいて前記機器の動作を決定するステップと、
    　前記画面を表示するための処理が開始されてから前記画面が表示されるまでの間の前記眼球運動に基づいて、ハイライトの開始タイミングを調整するステップと
    　を実行させる、コンピュータプログラム。
  23. 　脳波インタフェース装置において実行されるコンピュータプログラムであって、
    　前記脳波インタフェース装置は、ユーザの脳波信号を利用して機器の動作を制御する脳波インタフェースシステムに組み込まれており、
    　前記脳波インタフェースシステムは、
    　前記ユーザの脳波信号を計測する脳波計測部と、
    　前記ユーザの眼球運動を計測する眼球運動計測部と、
    　機器の動作に関連する選択肢を画面上に提示する出力部と
    　を有しており、
    　前記コンピュータプログラムは、前記脳波インタフェース装置のコンピュータに対し、
    　前記眼球運動計測部によって計測された、前記眼球運動の回転角速度が予め保持した閾値以下の状態になった時点を起点として所定の時間が経過したか否かを判定するステップと、
    　所定の時間が経過したときには、前記ユーザが注視している前記画面中の領域を前記眼球運動に基づいて特定し、ハイライトさせる選択肢を決定するステップと、
    　決定された前記選択肢をハイライトさせ、前記選択肢がハイライトされたタイミングを起点として前記脳波信号に含まれる事象関連電位の成分を識別するステップと、
    　識別した前記成分に基づいて前記機器の動作を決定するステップと
    　を実行させる、コンピュータプログラム。
PCT/JP2009/000172 2008-01-25 2009-01-20 脳波インタフェースシステム、脳波インタフェース装置、方法およびコンピュータプログラム WO2009093435A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN2009800002362A CN101681201B (zh) 2008-01-25 2009-01-20 脑波接口系统、脑波接口装置、方法
JP2009516809A JP4399513B2 (ja) 2008-01-25 2009-01-20 脳波インタフェースシステム、脳波インタフェース装置、方法およびコンピュータプログラム
US12/534,318 US8466875B2 (en) 2008-01-25 2009-08-03 Electroencephalogram interface system, electroencephalogram interface apparatus, method, and computer program

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2008-014901 2008-01-25
JP2008014901 2008-01-25

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US12/534,318 Continuation US8466875B2 (en) 2008-01-25 2009-08-03 Electroencephalogram interface system, electroencephalogram interface apparatus, method, and computer program

Publications (1)

Publication Number Publication Date
WO2009093435A1 true WO2009093435A1 (ja) 2009-07-30

Family

ID=40900947

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2009/000172 WO2009093435A1 (ja) 2008-01-25 2009-01-20 脳波インタフェースシステム、脳波インタフェース装置、方法およびコンピュータプログラム

Country Status (4)

Country Link
US (1) US8466875B2 (ja)
JP (1) JP4399513B2 (ja)
CN (1) CN101681201B (ja)
WO (1) WO2009093435A1 (ja)

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014106962A (ja) * 2012-11-27 2014-06-09 Hyundai Motor Company Co Ltd 瞳の動きを利用した命令入力装置及び命令入力方法
JP2015049721A (ja) * 2013-09-02 2015-03-16 ソニー株式会社 情報処理装置、情報処理方法、およびプログラム
JP2015152938A (ja) * 2014-02-10 2015-08-24 ソニー株式会社 情報処理装置、情報処理方法、及びプログラム
JP2016062330A (ja) * 2014-09-18 2016-04-25 株式会社デンソーアイティーラボラトリ 注意過多状態判定装置及び注意過多状態判定プログラム
JP2016081339A (ja) * 2014-10-17 2016-05-16 セイコーエプソン株式会社 頭部装着型表示装置、頭部装着型表示装置を制御する方法、コンピュータープログラム
JP2018088268A (ja) * 2017-10-06 2018-06-07 株式会社コナミデジタルエンタテインメント 端末装置、及びプログラム
JP2019139769A (ja) * 2018-02-05 2019-08-22 株式会社テラプローブ 脳波を用いた入力システム及びプログラム
JP2020144577A (ja) * 2019-03-06 2020-09-10 日産自動車株式会社 仮想オブジェクト出力装置及び仮想オブジェクト出力方法
JP2020532031A (ja) * 2017-08-23 2020-11-05 ニューラブル インコーポレイテッド 高速視標追跡機能を有する脳−コンピュータインタフェース
JP2021502659A (ja) * 2017-11-13 2021-01-28 ニューラブル インコーポレイテッド 高速、正確及び直観的なユーザ対話のための適合を有する脳−コンピュータインターフェース
JP2021506052A (ja) * 2017-12-07 2021-02-18 アイフリー アシスティング コミュニケ−ション リミテッドＥｙｅＦｒｅｅ Ａｓｓｉｓｔｉｎｇ Ｃｏｍｍｕｎｉｃａｔｉｏｎ Ｌｔｄ． コミュニケーション方法及びシステム
JP2021079041A (ja) * 2019-11-22 2021-05-27 パナソニックＩｐマネジメント株式会社 共感度評価システム、共感度評価方法及びプログラム

Families Citing this family (46)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9250703B2 (en) * 2006-03-06 2016-02-02 Sony Computer Entertainment Inc. Interface with gaze detection and voice input
JP5361174B2 (ja) * 2007-11-30 2013-12-04 キヤノン株式会社 表示制御装置、表示制御方法、およびプログラム
WO2011039643A1 (en) * 2009-09-30 2011-04-07 France Telecom Control device
JP5652652B2 (ja) * 2010-12-27 2015-01-14 ソニー株式会社 表示制御装置および方法
WO2012174743A1 (en) 2011-06-24 2012-12-27 Technicolor (China) Technology Co., Ltd. Computer device operable with user's eye movement and method for operating the computer device
WO2013018267A1 (ja) * 2011-07-29 2013-02-07 パナソニック株式会社 提示制御装置、及び提示制御方法
US9256285B2 (en) 2011-08-19 2016-02-09 Thompson Licensing Sa Method for gaze-controlled text size control, and methods for gaze-based measuring of a text reading speed and of a number of visual saccades per text line
CN103150007B (zh) * 2011-12-06 2016-03-30 联想(北京)有限公司 一种输入方法及装置
KR101530314B1 (ko) * 2011-12-16 2015-06-23 주식회사 케이티 수요반응 시스템 및 방법
US9691381B2 (en) 2012-02-21 2017-06-27 Mediatek Inc. Voice command recognition method and related electronic device and computer-readable medium
KR101919010B1 (ko) * 2012-03-08 2018-11-16 삼성전자주식회사 안구 동작에 기초한 디바이스의 제어 방법 및 이를 위한 디바이스
KR101850035B1 (ko) * 2012-05-02 2018-04-20 엘지전자 주식회사 이동 단말기 및 그 제어방법
KR20140011204A (ko) * 2012-07-18 2014-01-28 삼성전자주식회사 컨텐츠 제공 방법 및 이를 적용한 디스플레이 장치
JP6387352B2 (ja) 2012-10-24 2018-09-05 ドリームスケープ メディカル エルエルシー 脳系生体信号を検出するシステム
CA2942852C (en) * 2013-03-15 2023-03-28 Interaxon Inc. Wearable computing apparatus and method
JP2015125616A (ja) * 2013-12-26 2015-07-06 ソニー株式会社 表示制御装置、表示制御方法およびプログラム
US10564714B2 (en) 2014-05-09 2020-02-18 Google Llc Systems and methods for biomechanically-based eye signals for interacting with real and virtual objects
KR102173699B1 (ko) * 2014-05-09 2020-11-03 아이플루언스, 인크. 안구 신호들의 인식 및 지속적인 생체 인증을 위한 시스템과 방법들
JP6445784B2 (ja) * 2014-05-16 2018-12-26 キヤノン株式会社 画像診断支援装置、その処理方法及びプログラム
TWI511095B (zh) * 2014-07-17 2015-12-01 Nat Univ Chin Yi Technology 結合眼球影像與腦波之疲勞偵測方法
US9857871B2 (en) 2015-09-04 2018-01-02 Sony Interactive Entertainment Inc. Apparatus and method for dynamic graphics rendering based on saccade detection
TWI563970B (zh) * 2015-09-16 2017-01-01 國立交通大學 眼球位置偵測裝置及其方法
CN108700931A (zh) * 2015-12-17 2018-10-23 Looxid实验室公司 眼睛-大脑接口(ebi)系统及其控制方法
JP2017138350A (ja) * 2016-02-01 2017-08-10 アルプス電気株式会社 画像表示装置
US10372205B2 (en) * 2016-03-31 2019-08-06 Sony Interactive Entertainment Inc. Reducing rendering computation and power consumption by detecting saccades and blinks
US10192528B2 (en) 2016-03-31 2019-01-29 Sony Interactive Entertainment Inc. Real-time user adaptive foveated rendering
US10401952B2 (en) 2016-03-31 2019-09-03 Sony Interactive Entertainment Inc. Reducing rendering computation and power consumption by detecting saccades and blinks
US10169846B2 (en) 2016-03-31 2019-01-01 Sony Interactive Entertainment Inc. Selective peripheral vision filtering in a foveated rendering system
US11216119B2 (en) 2016-06-12 2022-01-04 Apple Inc. Displaying a predetermined view of an application
RU2674191C1 (ru) * 2017-11-20 2018-12-05 Юрий Вячеславович Быков Способ управления вниманием в игровом процессе
US10091554B1 (en) 2017-12-06 2018-10-02 Echostar Technologies L.L.C. Apparatus, systems and methods for generating an emotional-based content recommendation list
KR20200108888A (ko) * 2018-01-18 2020-09-21 뉴레이블 인크. 고속, 정확, 및 직관적 사용자 상호작용들을 위한 적응들을 갖는 뇌-컴퓨터 인터페이스
JP6911809B2 (ja) * 2018-05-09 2021-07-28 日本電信電話株式会社 推定方法、推定プログラム及び推定装置
US11262839B2 (en) 2018-05-17 2022-03-01 Sony Interactive Entertainment Inc. Eye tracking with prediction and late update to GPU for fast foveated rendering in an HMD environment
US10942564B2 (en) 2018-05-17 2021-03-09 Sony Interactive Entertainment Inc. Dynamic graphics rendering based on predicted saccade landing point
CN108919947B (zh) * 2018-06-20 2021-01-29 北京航空航天大学 一种通过视觉诱发电位来实现的脑机接口系统及方法
US10664050B2 (en) 2018-09-21 2020-05-26 Neurable Inc. Human-computer interface using high-speed and accurate tracking of user interactions
US11786694B2 (en) 2019-05-24 2023-10-17 NeuroLight, Inc. Device, method, and app for facilitating sleep
EP4062266A1 (en) * 2019-11-21 2022-09-28 Nextmind Sas Human-machine interface device
US11643048B2 (en) 2020-01-27 2023-05-09 Apple Inc. Mobile key enrollment and use
US11281289B2 (en) * 2020-02-21 2022-03-22 Honda Motor Co., Ltd. Content adjustment based on vehicle motion and eye gaze
US11206544B2 (en) 2020-04-13 2021-12-21 Apple Inc. Checkpoint identity verification on validation using mobile identification credential
US11526262B2 (en) 2020-05-29 2022-12-13 Apple Inc. Sharing and using passes or accounts
US11981181B2 (en) 2021-04-19 2024-05-14 Apple Inc. User interfaces for an electronic key
US11663309B2 (en) 2021-06-06 2023-05-30 Apple Inc. Digital identification credential user interfaces
CN113655882B (zh) * 2021-08-17 2022-05-03 中国人民解放军军事科学院战争研究院 一种基于眼动数据测量的人机界面信息筛选方法

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS6446122A (en) * 1987-08-14 1989-02-20 Nippon Telegraph & Telephone Gaze instruction input device

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6903723B1 (en) * 1995-03-27 2005-06-07 Donald K. Forest Data entry method and apparatus
JPH08272517A (ja) 1995-03-28 1996-10-18 Sanyo Electric Co Ltd 視線対応選択装置及び方法並びに情報処理装置
US5689619A (en) * 1996-08-09 1997-11-18 The United States Of America As Represented By The Secretary Of The Army Eyetracker control of heads-up displays
JPH10187334A (ja) 1996-12-26 1998-07-14 Canon Inc 情報入力方法および情報入力装置と情報入力用記憶媒体
US7091928B2 (en) * 2001-03-02 2006-08-15 Rajasingham Arjuna Indraeswara Intelligent eye
US7546158B2 (en) * 2003-06-05 2009-06-09 The Regents Of The University Of California Communication methods based on brain computer interfaces
JP4369290B2 (ja) 2003-07-02 2009-11-18 尚之 加納 事象関連電位を利用したヒトの心理状態等の判定装置
JP4269827B2 (ja) 2003-07-02 2009-05-27 財団法人くまもとテクノ産業財団 画像刺激−脳波意思伝達方法
US8721341B2 (en) * 2004-03-02 2014-05-13 Optimetrics, Inc. Simulated training environments based upon foveated object events
PT1607840E (pt) * 2004-06-18 2015-05-20 Tobii Ab Controlo ocular de um computador
JP2006204855A (ja) 2005-01-28 2006-08-10 Tokyo Institute Of Technology 注視運動検出装置
US7429108B2 (en) * 2005-11-05 2008-09-30 Outland Research, Llc Gaze-responsive interface to enhance on-screen user reading tasks
US8374687B2 (en) * 2006-01-21 2013-02-12 Honeywell International Inc. Rapid serial visual presentation triage prioritization based on user state assessment
GB0618978D0 (en) * 2006-09-27 2006-11-08 Malvern Scient Solutions Ltd Method of employing gaze direction tracking for cursor control in a computer

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS6446122A (en) * 1987-08-14 1989-02-20 Nippon Telegraph & Telephone Gaze instruction input device

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
KAINAKA A. ET AL.: "Jisho Kanren No Den'i (ERP) o Mochiita Communication no Tameno Hi Sentaku Komoku no Teiji Hoho", INFORMATION PROCESSING SOCIETY OF JAPAN KENKYU HOKOKU, IPSJ SIG NOTES, vol. 96, no. 85, 12 September 1996 (1996-09-12), pages 17 - 24 *

Cited By (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014106962A (ja) * 2012-11-27 2014-06-09 Hyundai Motor Company Co Ltd 瞳の動きを利用した命令入力装置及び命令入力方法
JP2015049721A (ja) * 2013-09-02 2015-03-16 ソニー株式会社 情報処理装置、情報処理方法、およびプログラム
US9939894B2 (en) 2013-09-02 2018-04-10 Sony Corporation Information processing to operate a display object based on gaze information
US10180718B2 (en) 2013-09-02 2019-01-15 Sony Corporation Information processing apparatus and information processing method
JP2015152938A (ja) * 2014-02-10 2015-08-24 ソニー株式会社 情報処理装置、情報処理方法、及びプログラム
JP2016062330A (ja) * 2014-09-18 2016-04-25 株式会社デンソーアイティーラボラトリ 注意過多状態判定装置及び注意過多状態判定プログラム
JP2016081339A (ja) * 2014-10-17 2016-05-16 セイコーエプソン株式会社 頭部装着型表示装置、頭部装着型表示装置を制御する方法、コンピュータープログラム
JP2020532031A (ja) * 2017-08-23 2020-11-05 ニューラブル インコーポレイテッド 高速視標追跡機能を有する脳−コンピュータインタフェース
US11972049B2 (en) 2017-08-23 2024-04-30 Neurable Inc. Brain-computer interface with high-speed eye tracking features
JP2018088268A (ja) * 2017-10-06 2018-06-07 株式会社コナミデジタルエンタテインメント 端末装置、及びプログラム
US12001602B2 (en) 2017-11-13 2024-06-04 Neurable Inc. Brain-computer interface with adaptations for high-speed, accurate, and intuitive user interactions
JP2021502659A (ja) * 2017-11-13 2021-01-28 ニューラブル インコーポレイテッド 高速、正確及び直観的なユーザ対話のための適合を有する脳−コンピュータインターフェース
JP7496776B2 (ja) 2017-11-13 2024-06-07 ニューラブル インコーポレイテッド 高速、正確及び直観的なユーザ対話のための適合を有する脳－コンピュータインターフェース
JP2021506052A (ja) * 2017-12-07 2021-02-18 アイフリー アシスティング コミュニケ−ション リミテッドＥｙｅＦｒｅｅ Ａｓｓｉｓｔｉｎｇ Ｃｏｍｍｕｎｉｃａｔｉｏｎ Ｌｔｄ． コミュニケーション方法及びシステム
US11612342B2 (en) 2017-12-07 2023-03-28 Eyefree Assisting Communication Ltd. Eye-tracking communication methods and systems
JP2019139769A (ja) * 2018-02-05 2019-08-22 株式会社テラプローブ 脳波を用いた入力システム及びプログラム
JP7165604B2 (ja) 2019-03-06 2022-11-04 日産自動車株式会社 仮想オブジェクト出力装置及び仮想オブジェクト出力方法
JP2020144577A (ja) * 2019-03-06 2020-09-10 日産自動車株式会社 仮想オブジェクト出力装置及び仮想オブジェクト出力方法
JP2021079041A (ja) * 2019-11-22 2021-05-27 パナソニックＩｐマネジメント株式会社 共感度評価システム、共感度評価方法及びプログラム

Also Published As

Publication number Publication date
US20090289895A1 (en) 2009-11-26
JPWO2009093435A1 (ja) 2011-05-26
CN101681201B (zh) 2012-10-17
CN101681201A (zh) 2010-03-24
JP4399513B2 (ja) 2010-01-20
US8466875B2 (en) 2013-06-18

Similar Documents

Publication Publication Date Title
WO2009093435A1 (ja) 脳波インタフェースシステム、脳波インタフェース装置、方法およびコンピュータプログラム
JP4856791B2 (ja) 脳波インタフェースシステム、脳波インタフェース提供装置、脳波インタフェースの実行方法、および、プログラム
EP2081100B1 (en) Adjusting device for brain wave identification method, adjusting method and computer program
JP4287903B2 (ja) 脳波インタフェースシステムおよび起動装置
US20180173319A1 (en) Systems and methods for gaze-based media selection and editing
US8369939B2 (en) Activation apparatus, method, and computer program for brainwave interface system
US7716697B2 (en) Information processing system, information processing apparatus, and method
JP4399515B1 (ja) 脳波信号の識別方法を調整する装置、方法およびプログラム
JP4630382B2 (ja) 脳波インタフェースシステムに組み込まれる補正装置、方法およびコンピュータプログラム
US20210349536A1 (en) Biofeedback method of modulating digital content to invoke greater pupil radius response
JP4659905B2 (ja) 脳波識別の要否を決定する装置および方法
CN110968189A (zh) 作为认知控制信号的瞳孔调制
KR101571848B1 (ko) 뇌전도 및 눈동자 움직임 기반 하이브리드형 인터페이스 장치 및 이의 제어 방법
JP7181293B2 (ja) 情報処理装置、情報処理方法、及びプログラム
WO2005001677A1 (ja) サービス提供装置
JP4460644B2 (ja) 脳波識別方法の調整装置、方法およびコンピュータプログラム
JP2009199535A (ja) 脳波識別方法の調整装置および方法
EP4062266A1 (en) Human-machine interface device
Reddy et al. Towards an Eye-Brain-Computer Interface: Combining Gaze with the Stimulus-Preceding Negativity for Target Selections in XR

Legal Events

Date Code Title Description
WWE Wipo information: entry into national phase

Ref document number: 200980000236.2

Country of ref document: CN

WWE Wipo information: entry into national phase

Ref document number: 2009516809

Country of ref document: JP

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 09704093

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 09704093

Country of ref document: EP

Kind code of ref document: A1