WO2009122685A1 - 脳波識別方法の調整装置、方法およびコンピュータプログラム - Google Patents

脳波識別方法の調整装置、方法およびコンピュータプログラム Download PDF

Info

Publication number
WO2009122685A1
WO2009122685A1 PCT/JP2009/001370 JP2009001370W WO2009122685A1 WO 2009122685 A1 WO2009122685 A1 WO 2009122685A1 JP 2009001370 W JP2009001370 W JP 2009001370W WO 2009122685 A1 WO2009122685 A1 WO 2009122685A1
Authority
WO
WIPO (PCT)
Prior art keywords
menu item
event
electroencephalogram
menu
related potential
Prior art date
Application number
PCT/JP2009/001370
Other languages
English (en)
French (fr)
Inventor
足立信夫
森川幸治
Original Assignee
パナソニック株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by パナソニック株式会社 filed Critical パナソニック株式会社
Priority to CN2009801039839A priority Critical patent/CN101932989B/zh
Priority to JP2009534007A priority patent/JP4460644B2/ja
Publication of WO2009122685A1 publication Critical patent/WO2009122685A1/ja
Priority to US12/706,065 priority patent/US8326409B2/en

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/24Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/316Modalities, i.e. specific diagnostic methods
    • A61B5/369Electroencephalography [EEG]
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/74Details of notification to user or communication with user or patient ; user input means
    • A61B5/7475User input or interface means, e.g. keyboard, pointing device, joystick
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/015Input arrangements based on nervous system activity detection, e.g. brain waves [EEG] detection, electromyograms [EMG] detection, electrodermal response detection
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/24Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/316Modalities, i.e. specific diagnostic methods
    • A61B5/369Electroencephalography [EEG]
    • A61B5/377Electroencephalography [EEG] using evoked responses

Definitions

  • the present invention relates to an interface (electroencephalogram interface) system capable of operating a device using an electroencephalogram. More specifically, in order to measure and accurately analyze the user's brain waves in real time, the user can use the negative component that appears before highlighting the menu item among the user's brain waves when using the brain wave interface, It is related with the electroencephalogram interface system provided with the apparatus which judges whether it is in the state where the electroencephalogram for selection of this is output, and removes the case where the electroencephalogram for selection is not output.
  • Non-Patent Document 1 discloses a technique for identifying an option that a user wants to select using an event-related potential of an electroencephalogram. The technique described in Non-Patent Document 1 will be described in detail. Using the P3 component of the event-related potential that appears after about 300 ms starting from the timing when the option is highlighted at random, It identifies the options that the user wants to select. With this technology, the user can specify the option he / she wants to select without using his / her hands.
  • event-related potential refers to transient potential fluctuations in the brain that occur temporally in relation to external or internal events.
  • the electroencephalogram interface uses an event-related potential obtained by a stimulus for vision as an external event.
  • P3 component of the event-related potential for the visual stimulus it is possible to perform processing such as channel switching, selection of a genre of a program desired to be viewed, and volume adjustment.
  • the “P3 component” refers to a positive component that appears in a time period from 250 ms to 500 ms after presentation of a target stimulus, regardless of the types of sensory stimuli such as auditory sense, visual sense, and somatic sensation among event-related potentials.
  • the target event-related potential for example, P3 component
  • the cause of the decrease in the identification rate can be roughly divided into two.
  • the first cause is that the S / N is low and the accuracy of the identification method is low, even though components (P3 component and the like) used for the electroencephalogram interface are included in the electroencephalogram. Therefore, it becomes difficult to identify with high accuracy, and the identification rate decreases.
  • the second cause is that, for example, according to the condition of the subject, the target electroencephalogram component does not appear in the first place, so that it cannot be identified. Since the electroencephalogram interface tries to identify it forcibly, it outputs an incorrect identification result. As a result, the identification rate decreases.
  • Patent Document 1 For the first cause described above, a method for removing noise mixed in the electroencephalogram and a highly accurate identification method are being developed.
  • Patent Document 1 using a band-pass filter, after removing noise mixed in at a frequency different from the frequency of an identification target (event-related potential) such as commercial power supply noise from among the noise included in the brain wave, A technique for improving the identification rate by performing identification is disclosed.
  • Patent Document 2 as a technique for removing noise derived from living organisms such as electrooculosis that is difficult to remove with a simple frequency filter, trials including electrooculosis are excluded from identification targets, thereby improving the identification rate.
  • Technology is disclosed.
  • the above example corresponds to the situation that the target brain wave component does not appear in the first place, which is the second cause described above. Since many such situations can be assumed, it is considered that the number of situations where discrimination based on brain waves cannot be increased.
  • the P3 component does not appear even if the menu item that the user wants to select is highlighted.
  • a menu item not intended by the user is selected. This is a problem that was not envisaged from experiments under laboratory conditions, and was first recognized when brain waves were routinely measured and used as an interface.
  • An object of the present invention is to reduce device operation that is not intended by the user in a situation where the device is operated on a daily basis using an electroencephalogram interface.
  • the adjustment apparatus includes an output unit that visually presents an operation menu of a device, a biological signal measurement unit that acquires a user's brain wave signal, and each of a plurality of menu items constituting the operation menu.
  • the event-related potential components included in the electroencephalogram signal after each menu item is highlighted are identified and identified using a predetermined identification method.
  • the apparatus is used to adjust the identification method of the electroencephalogram interface section, and the identification method includes: A method for identifying a component of the event-related potential according to whether the electroencephalogram signal meets a predetermined criterion; The slope of the waveform of the event-related potential before highlighting is compared with the slope of the waveform obtained by the analyzer and a threshold, and the slope corresponding to the slope is determined according to the comparison result.
  • the menu item includes a determination unit that determines that the user wishes to select a menu item.
  • the determination unit determines that the menu item corresponding to the slope is a menu item that the user desires to select. It may be determined, and the device may be operated based on the determination result with respect to the electroencephalogram interface unit.
  • the determination unit is configured so that the menu item is highlighted with respect to the electroencephalogram interface unit. It may be instructed not to identify the component of the event-related potential included in the electroencephalogram signal.
  • the determination unit may obtain the slope of the waveform by dividing the event-related potential ( ⁇ V) by time (s) and compare it with ⁇ 4, which is the negative threshold.
  • the determination unit When the slope of the waveform obtained by the analysis unit is larger than a threshold value, the determination unit does not instruct the EEG interface unit, and the EEG interface unit highlights each menu item.
  • the component of the event-related potential included in the later electroencephalogram signal may be identified.
  • the analysis unit acquires information t indicating a highlight time interval from the electroencephalogram interface unit, and an event from a time t2 a predetermined time before the time t1 when the menu item is highlighted to the time t1 A related potential waveform may be cut out.
  • the analysis unit may obtain the slope of the extracted waveform of the event-related potential by a least square method.
  • the adjustment method includes an output unit that visually presents an operation menu of a device, a biological signal measurement unit that acquires a brain wave signal of a user, and each of a plurality of menu items that constitute the operation menu.
  • the event-related potential components included in the electroencephalogram signal after each menu item is highlighted are identified and identified using a predetermined identification method.
  • the method is used to adjust the identification method of the electroencephalogram interface section, and the identification method includes: A method for identifying a component of the event-related potential according to whether the electroencephalogram signal meets a predetermined criterion; The slope of the waveform of the event-related potential before highlighting is compared with the threshold of the waveform obtained in the step of obtaining the slope, and the slope corresponds to the slope according to the comparison result. Determining that the menu item is a menu item that the user desires to select.
  • the computer program according to the present invention includes an output unit that visually presents an operation menu of a device, a biological signal measurement unit that acquires a brain wave signal of a user, and each of a plurality of menu items that constitute the operation menu.
  • the event-related potential components included in the electroencephalogram signal after each menu item is highlighted are identified and identified using a predetermined identification method.
  • An electroencephalogram interface system having an electroencephalogram interface section that operates the device based on the event-related potential
  • the computer program used for adjusting the identification method of the electroencephalogram interface section comprising: Identifying the event-related potential component according to whether the electroencephalogram signal meets a predetermined criterion
  • the computer program obtains an inclination of the waveform of the event-related potential before the menu item is highlighted for a computer installed in the electroencephalogram interface system, and obtains the inclination. And comparing the slope of the waveform obtained in the step with a threshold value, and determining that the menu item corresponding to the slope is a menu item that the user desires to select according to a comparison result. .
  • the user when the slope of the waveform of the event-related potential of the user is larger than the threshold before the menu item is highlighted, the user is based on the brain wave (especially the event-related potential) before the menu item is highlighted. Can determine which menu item was desired. As a result, it is possible to expect an increase in processing speed, and it is possible to realize a reduction in device operations not intended by the user. Therefore, since the device operation unintended by the user due to an electroencephalogram identification error is reduced, the operability improvement of the electroencephalogram interface can be realized.
  • FIG. 1 It is a figure which shows the structure and utilization environment of the electroencephalogram interface system.
  • (A)-(c) is a figure which shows the example when operating TV2 in the electroencephalogram interface system 1, and watching the program of the genre which the user 5 wants to view. It is a flowchart which shows the example of the process sequence A of an electroencephalogram interface. It is a flowchart which shows the process sequence B of an electroencephalogram interface. It is a flowchart which shows the process sequence by the side of the apparatus of the random experiment which the inventors of this application implemented.
  • (A) is a figure which simplifies and shows the menu item shown to the test subject
  • (b) is a figure which shows the example of the highlight of a menu item.
  • (A) And (b) is a flowchart by the side of the participant of the random experiment which the present inventors conducted. It is a figure of the total addition average waveform of the event related electric potential of 600 ms before highlight. It is the processing flow by the side of the apparatus of the descending order experiment which the present inventors conducted. It is a processing flow on the participant side of a descending order experiment conducted by the inventors of the present application. It is a figure of the addition average waveform which shows the result of a descending order experiment. It is a figure which shows the structure of the functional block of the electroencephalogram interface system 1 by embodiment of this invention. It is a flowchart which shows the process sequence of the electroencephalogram interface system 1 by embodiment of this invention. 3 is a flowchart showing a processing procedure of the electroencephalogram interface system 1.
  • the processing can be expected to speed up, and the device operation unintended by the user can be reduced. Thereby, it is possible to realize detection and selection of a menu item when the user has not issued an electroencephalogram for selecting a menu item without newly adding a line-of-sight detection device or the like.
  • FIG. 1 shows the configuration and use environment of the electroencephalogram interface system 1. This electroencephalogram interface system 1 is illustrated corresponding to the system configuration of an embodiment of the present invention described later.
  • the electroencephalogram interface system 1 is a system for providing an interface for operating the TV 2 using the electroencephalogram signal of the user 5.
  • the electroencephalogram signal of the user 5 is acquired by the biological signal measurement unit 50 worn on the head by the user and transmitted to the electroencephalogram interface unit 100 wirelessly or by wire.
  • the electroencephalogram interface unit 100 built in the TV 2 recognizes the user's intention by using a component called event-related potential that constitutes a part of the electroencephalogram, and performs processing such as channel switching.
  • FIG. 2 shows an example when the TV 2 is operated in the electroencephalogram interface system 1 and the user 5 views a program that the user 5 wants to watch.
  • FIG. 2 (a) is an example of a menu that the electroencephalogram interface unit 100 presents to the user via the screen 7a of the TV2.
  • FIG. 2A shows how the menu items “baseball”, “weather forecast”, “animation”, and “news” are sequentially or randomly highlighted on the screens 7a-1 to 7a-4. ing.
  • the option group related to the device operation shown in FIG. 2A is defined as “menu”, and each option is defined as “menu item”.
  • the event-related potential can be measured starting from the time when each menu item is highlighted.
  • the menu may be presented by a pointer using the auxiliary arrow 71 together with the highlight 70 instead of the highlight or as shown in FIG.
  • FIG. 2B schematically shows the event-related potential of the user's brain wave signal measured from the time when the menu item is highlighted.
  • the user wants to see the “weather forecast”.
  • the electroencephalogram signals 201 to 204 corresponding to the screens 7a-1 to 7a-4, when the user 5 looks at the screen 7a-2 on which “weather forecast” is highlighted, “weather forecast” is highlighted.
  • a positive component characteristic at a latency of about 400 to 450 ms appears from the set time (Non-Patent Document 1).
  • FIG. 2C shows the screen 7a-5 after the channel is switched to “weather forecast” as a result of identifying the P3 component.
  • FIG. 3 shows an example of the processing procedure of the electroencephalogram interface (processing procedure A).
  • the electroencephalogram interface unit 100 presents an electroencephalogram interface menu (left side of FIG. 2A) including, for example, four menu items.
  • the question text (right side of FIG. 2A) may be presented together with the electroencephalogram interface menu.
  • the electroencephalogram interface unit 100 selects a menu item to be highlighted next. The menu item to be highlighted next may be selected in a random order or in descending order.
  • step S103 the menu item selected in step S102 is highlighted.
  • step S104 the electroencephalogram interface unit 100 measures the event-related potential of the user for 500 ms, for example, starting from the time when the menu item was highlighted in step S103.
  • the section cut out as the event-related potential may be, for example, 800 ms or 1000 ms as long as the P3 component appearing in 300 to 500 ms is included.
  • event-related potentials 201 to 204 of the electroencephalogram signal schematically shown in FIG. 2B are measured.
  • step S105 it is identified whether or not the event-related potential measured in step S104 includes a P3 component.
  • the identification of the P3 component may be performed simply by determining whether the maximum amplitude of the waveform or the average potential of a certain section of the waveform is greater than a preset threshold value, or is previously measured for each user as described in Patent Document 2.
  • the correlation coefficient with the template created with the added average waveform of the P3 component may be obtained. Note that the threshold value may be determined for each user. If Yes in step S105, the process proceeds to step S106. If No, the process returns to step S102 to select the next menu item.
  • step S106 the electroencephalogram interface unit 100 executes processing corresponding to the menu item selected in step S105.
  • the menu item is selected and executed, and a screen 7a-5 shown in FIG. 2C is displayed.
  • a weather forecast is selected and a weather forecast program is presented.
  • step S103 if the user does not look at the menu at the timing when the menu item is highlighted, or if the brain wave for selection is not issued in the middle of selecting the menu item to be selected, P3 is selected in step S103. Ingredients are not measured. However, when noise (for example, electrooculogram) is mixed in the event-related potential acquired in step S104 and a waveform similar to the P3 component is shown, it is determined in step S105 that the P3 component is present, and the user does not intend in step S106. A menu item could be selected.
  • noise for example, electrooculogram
  • an event-related potential after each menu item is highlighted is compared, and a procedure with the highest possibility of appearance of the P3 component is selected (processing procedure B described later) Even if is used, there is a possibility that a menu item unintended by the user may be selected.
  • processing procedure B it is possible to select a component close to the P3 component by comparing event-related potentials, so that the device operation can be realized even if some noise is mixed.
  • FIG. 4 shows a processing procedure B of the electroencephalogram interface. Note that steps that perform the same processing as the processing procedure of the electroencephalogram interface shown in FIG. 3 are denoted by the same reference numerals, and description thereof is omitted.
  • step S107 the process branches depending on whether all selection items have been highlighted at least once. If Yes in step S107, the process proceeds to step S108. If No, the process returns to step S102 to select the next menu item.
  • step S108 the possibility that the event-related potential for each menu item acquired in step S104 includes the P3 component is calculated, the item is compared, the closest menu item is identified as having the P3 component, and the selection item Determine as.
  • the calculation of the possibility that the P3 component is included in the event-related potential for each item may be performed by simply selecting the waveform having the maximum amplitude as the maximum amplitude value as shown in step S104 in FIG. Alternatively, it may be obtained by obtaining the magnitude of the average potential in a certain section and selecting the one having the maximum average potential. Alternatively, it may be performed by selecting a template having a large correlation coefficient value with the template.
  • These menu item selections that are not intended by the user occur because the device cannot determine whether or not the user is generating an electroencephalogram for menu selection. If it is possible to determine whether or not the brain wave for menu selection has been issued, these unintended devices can be adjusted by adjusting the identification method, such as excluding the brain wave for menu selection from the identification target. Operation can be eliminated.
  • the inventors of the present application determine whether or not the user is outputting an electroencephalogram for menu selection by determining whether or not the electroencephalogram before highlighting the menu item of the user using the electroencephalogram interface has been negatively shifted. I found it possible. Thereby, it is possible to realize detection when the user has not issued an electroencephalogram for menu selection without newly adding a line-of-sight detection device or the like.
  • experiments and experimental results performed by the present inventors will be described with reference to FIGS.
  • Step S50 is a step of starting to measure the brain wave of the subject.
  • Step S51 is a step in which four menu items of the electroencephalogram interface menu are presented and the type of menu item is shown to the user.
  • FIG. 6A shows a simplified menu item actually presented to the subject. In our experiment it was presented for 2 seconds. Note that step S51 also has an effect of stabilizing the brain wave before starting the menu item highlight and reducing noise such as electrooculogram.
  • Step S52 is a step of randomly selecting a menu item to be highlighted next. The same menu item was not selected continuously.
  • Step S53 is a step of highlighting the menu item selected in Step S52 for 1000 ms. An example of the highlight is shown in FIG.
  • Step S54 is a step of acquiring the event-related potential by cutting out the electroencephalogram before highlighting with the time when the menu item was highlighted in step S53 as 0 ms.
  • the event-related potential to be cut out was set to 600 ms before highlighting from 600 ms before highlighting which has little influence on the previous highlight.
  • Step S55 is a branch based on the number n of highlights of the menu item. If the number of highlights is less than 21, the process proceeds to step S52 and repeats the highlight of the menu item. As a result, highlighting is executed 5 times (20 times ⁇ 4 menu items) for each menu item. This is a step for more reliably confirming the component by repeatedly averaging the event-related potentials experimentally. Note that step S55 is not necessarily executed when an electroencephalogram interface is actually used.
  • step S50 to step S55 described above event-related potentials starting from the highlight when each menu item is highlighted about 5 times can be recorded for 20 trials.
  • FIG. 7A is a diagram showing a flow on the participant's side of a condition (selection condition) for generating an electroencephalogram for menu selection.
  • Step S61 is a step of viewing the menu presented in step S51 in FIG.
  • the subject is instructed in advance to select from the top of the menu items, and moves the line of sight to the menu item to be selected.
  • the instruction of the selection target item corresponds to a device operation that the user wants to realize when actually using the electroencephalogram interface.
  • Step S62 pays attention to the menu item to be selected, looks at the highlight of the menu item presented in steps S52 to S55 in FIG. 5A, and waits for the menu item to be selected to be highlighted. State.
  • Step S63 is a branch depending on whether or not the menu item to be selected is highlighted in Step S61. If Yes in Step S63, the process proceeds to Step S64. If No, the process proceeds to Step S62.
  • Step S64 is a step of mentally counting the number of times that the menu item to be selected is highlighted in step S61. Mental counting is counting in your heart. As a result, it is known that a P3 component is generated in the event-related potential.
  • Step S65 is a branch depending on whether or not the predetermined number of highlights has been completed. If YES in step S65, the process proceeds to the end. If NO, the process proceeds to step S62.
  • FIG. 7B is a diagram showing a flow on the participant's side under a condition (no selection execution condition) that does not generate an electroencephalogram for menu selection. Steps that perform the same processing as the selection conditions shown in FIG. 7A are assigned the same reference numerals, and descriptions thereof are omitted.
  • step S63 and step S64 for generating an electroencephalogram for menu selection are no steps S63 and step S64 for generating an electroencephalogram for menu selection. As a result, the participant simply sees the highlighted menu item without intention of selection.
  • FIG. 8 is a total average waveform of event-related potentials for 600 ms before highlighting. Since the event-related potential to be analyzed is the section before highlighting, all the event-related potentials before highlighting were averaged regardless of whether or not the highlight was a selection target item. Baseline correction was performed with an average potential of 50 ms before highlighting, and trials with a maximum amplitude exceeding 100 ⁇ V were excluded from identification targets because there was a possibility that noise such as electrooculosis was mixed.
  • the total addition average waveform under the selection condition and the total addition average waveform under the selection non-execution condition are indicated by a thick solid line and a thin solid line, respectively.
  • the horizontal axis is time and the unit is ms, and the vertical axis is potential and the unit is ⁇ V.
  • the waveform is shifted negative toward 0 ms (start of the next highlight), but under the selection non-execution condition, no negative shift is observed.
  • the slope of the total average waveform using the least square method it was ⁇ 7.74 ⁇ V / s and 1.65 ⁇ V / s under the selection condition and the selection non-execution condition.
  • the inclination is shown by a thick dotted line and a thin dotted line in FIG.
  • This negative shift is considered to be a component that appears only under the selection conditions, reflecting the preparation state for the next highlight. Therefore, in an electroencephalogram interface in which menu items are randomly highlighted, it is possible to determine whether or not the user has issued an electroencephalogram for menu selection based on the presence or absence of a negative shift before highlighting.
  • the determination of the presence or absence of negative shift is easily identified by the sign of the obtained slope, which is synonymous with the comparison result between the threshold and the obtained slope when the slope 0 is used as the threshold.
  • CNV Continuous Negative Variation
  • the CNV component is a gentle negative potential recorded in a state of waiting for a command stimulus after a notice stimulus, and is strongly related to psychological factors such as expectation, attention, motivation, motivation (for example, Niwa) Shinichi, Tsukiko: “Event-related potentials Event-related potentials and the development of neuroinformatics”, Emerging Medical Publishers, 1997, p. 189).
  • Niwa Niwa
  • the descending order experiment Unlike a random experiment, in a descending order experiment that highlights menu items in descending order, the user can expect the next menu item to be highlighted and determine whether all highlights have been selected. There is no need to wait for highlights. Therefore, in the descending order experiment, the experiment is performed under the condition that the user generates an electroencephalogram for menu selection, and the influence of the difference in attitude to the highlight on the negative shift is examined. Further, it is checked whether the menu item to be selected can be determined from the brain wave before highlighting.
  • Step S71 is a step of selecting the next menu item to be highlighted in descending order.
  • Step S72 is a step of highlighting the menu item selected in step S71 for 350 ms.
  • Step S73 is a step of obtaining an event-related potential by cutting out a brain wave for 500 ms from 500 ms before highlighting to highlighting when the time when the menu item is highlighted in step S72 is 0 ms.
  • FIG. 10 is a diagram showing the flow of the participant side in the descending order experiment. Steps that perform the same processing as the flow on the participant side of the random experiment shown in FIG. 7 are assigned the same reference numerals, and descriptions thereof are omitted.
  • the experiment was conducted under the selection conditions in which the participants generate brain waves for menu selection.
  • step S63 in FIG. 7A The difference from the flow on the participant side of the random experiment shown in FIG. 7 is that the menu item to be highlighted next can be predicted in the descending order experiment, so it is selected for each highlight as in the random experiment. It is a point that the determination as to whether or not it is the target menu item (step S63 in FIG. 7A) is not performed.
  • Step S81 is a branch depending on whether one or two (multiple) previous menu items of the menu item to be selected are highlighted. If Yes in Step S81, the process goes to Step S82. If No, the process goes to Step S62. move on.
  • Step S82 is a step for preparing for a mental count in response to the highlight of one or two (plural) previous menu items of the selection target menu item in Step S81.
  • Step S83 is a branch for detecting the menu item highlight to be selected. If Yes in Step S83, the process proceeds to Step S64, and if No, the process proceeds to Step S82.
  • FIG. 11 shows a waveform in which event-related potentials for 500 ms from highlighting 500 ms before highlighting to each menu item are totaled and averaged (2 persons) based on how many menu items were before the menu item to be selected. It is. Baseline correction was performed with an average potential of 50 ms before highlighting, and trials with a maximum amplitude exceeding 100 ⁇ V were excluded from identification targets because there was a possibility that noise such as electrooculosis was mixed.
  • the total addition average waveform (hereinafter referred to as waveform 0) when the menu item to be selected is highlighted at 0 ms is indicated by a thick solid line, one item before, two items before, three items.
  • the total average waveform (hereinafter referred to as waveform 1, waveform 2, and waveform 3) when the previous menu item is highlighted is indicated by a thin solid line. From FIG. 11, the total summed average waveform (waveform 0) before the menu item to be selected is highlighted at 0 ms is relatively greatly shifted to negative, and the other waveforms 1 to 3 are shifted to negative. It turns out that it does not exist substantially.
  • the slope of waveform 0 is ⁇ 7.85 ⁇ V / s
  • the slope of waveform 1 to waveform 3 is 5.56 ⁇ V / s, respectively.
  • ⁇ 4 or ⁇ 5 can be adopted as a threshold value of the slope for discriminating between the waveform 0 and the waveforms 1 to 3.
  • the negative shift that appears in waveform 0 reflects the preparation state for highlighting of the menu item to be selected when highlighting is performed with a setting that allows prediction of menu item highlighting as in the descending order experiment. Conceivable.
  • a negative shift does not appear. Therefore, in a setting where the menu item highlight can be predicted, the user selects which menu item before highlighting the menu item based on whether the event-related potential before the menu item highlight was shifted to negative. It can be said that it can be determined.
  • highlighting is performed with a setting that allows prediction of menu item highlighting, if the waveform is negatively shifted before highlighting at least one menu item, the user generates an electroencephalogram for selection. It may be determined that
  • the identification method adjustment device obtains the slope of the event-related potential before highlighting the menu item among user brain waves when highlighting a plurality of menu items in descending order, and based on the obtained slope Then, it is determined whether or not the user has issued an electroencephalogram for menu selection, and which inclination is negatively shifted. If the user does not emit a brain wave for menu selection, it is excluded from the identification target to reduce unintended device operation, and if the user emits a brain wave for menu selection It becomes possible to specify which menu item the user wants to select.
  • Embodiment of the electroencephalogram interface system according to the present invention According to the result of the descending order experiment described above, when highlighting menu items in descending order, which menu item the user selects based on only the negative shift amount before the menu item highlight It was found that it was possible to determine whether or not was selected.
  • the menu items are highlighted in descending order, the slope of the event-related potential before highlighting (negative shift amount) is obtained for each highlight, and only from the negative shift amount. Determine the menu item to be selected.
  • the menu item to be selected can be determined immediately before highlighting, and the P3 component can be determined from the event-related potential after highlighting. There is no need to wait for identification.
  • an electroencephalogram interface excellent in operability can be realized because it operates immediately after highlighting.
  • FIG. 12 shows a functional block configuration of the electroencephalogram interface system 1 according to the present embodiment.
  • the electroencephalogram interface system 1 includes an output unit 7, an identification method adjustment device 10, a biological signal measurement unit 50, and an electroencephalogram interface (IF) unit 100.
  • FIG. 12 also shows detailed functional blocks of the adjusting device 10.
  • the user 5 block is shown for convenience of explanation.
  • the output unit 7 shows a screen for presenting a menu or the like to the user 5.
  • the user 5 does not perform an operation input only by paying attention to whether or not a menu item related to device operation presented by the electroencephalogram interface unit 100 on the output unit 7 is highlighted, but via the electroencephalogram interface unit 100. It is assumed that the device operates according to the selected menu item.
  • the identification method adjustment device 10 is connected to the biological signal measurement unit 50 and the electroencephalogram interface unit 100 by wire or wirelessly, and transmits and receives signals.
  • the biological signal measurement unit 50 and the electroencephalogram interface unit 100 are separate from the identification method adjustment device 10, but this is an example.
  • a part or all of the biological signal measurement unit 50 and the electroencephalogram interface unit 100 may be provided in the identification method adjustment apparatus 10. Or you may implement
  • the biological signal measuring unit 50 is an electroencephalograph that detects a biological signal of the user 5 and measures an electroencephalogram as a biological signal.
  • the electroencephalograph may be a head-mounted electroencephalograph as shown in FIG. It is assumed that the user 5 is wearing an electroencephalograph in advance.
  • electrodes are arranged on the biological signal measuring unit 50 so as to come into contact with a predetermined position of the head.
  • the arrangement of the electrodes is, for example, Pz (midline parietal), A1 (earlobe) and the nose root of the user 5.
  • Pz midline parietal
  • A1 earlobe
  • the nose root of the user 5 it is sufficient that there are at least two electrodes.
  • potential measurement is possible only with Pz and A1. This electrode position is determined from the reliability of signal measurement and the ease of mounting.
  • the biological signal measuring unit 50 can measure the event-related potential of the user 5.
  • the measured electroencephalogram of the user 5 is sampled so as to be processed by a computer, and is sent to the electroencephalogram interface unit 100 and the identification method adjustment device 10.
  • the brain wave measured by the biological signal measuring unit 50 is subjected to a band pass filter process of 0.05 to 20 Hz in advance, for example, for 50 ms before the menu item highlight. It is assumed that the baseline is corrected with the average potential.
  • the electroencephalogram interface unit 100 presents menu items related to device operation to the user in a random order, for example, at intervals of 1 second, and cuts out and identifies the electroencephalogram measured by the biological signal measurement unit 50.
  • the device operation is controlled according to the identification result.
  • the basic operation in the electroencephalogram interface unit 100 is as described above.
  • the device controlled using the electroencephalogram interface unit 100 is, for example, the TV 2 shown in FIG. 1, the menu is visually presented to the user 5 via the output unit 7.
  • the electroencephalogram interface unit 100 uses the time at which the menu item is highlighted as a starting point for the brain wave after the menu item highlight of the user 5 measured by the biological signal measurement unit 50 for 500 ms longer than the peak latency of the P3 component, for example.
  • the time for cutting out the electroencephalogram may be 1000 ms in consideration of the return portion from the peak of the waveform.
  • the waveform may be simply thresholded, or as described in Patent Document 2, the correlation with the template created with the addition average waveform of the P3 component measured in advance for each user. You may ask for a number.
  • the parameter for identification is adjusted by the identification method adjustment apparatus 10 by a method described later.
  • the identification method adjustment device 10 includes a negative shift amount sequential analysis unit 21 and a P3 identification necessity determination unit 31.
  • the negative shift amount sequential analysis unit 21 acquires information indicating the menu item highlight interval from the electroencephalogram interface unit 100. Further, the negative shift amount sequential analysis unit 21 is an electroencephalogram signal in a time zone before the menu item highlight of the user 5 measured by the biological signal measurement unit 50 and less affected by the previous menu item highlight (more details). Event-related potential) is received, and the waveform of the event-related potential is cut out to determine the slope of the waveform.
  • the time zone with little influence means that, for example, if the menu item highlight interval is 1 second (1000 ms) and the highlighted reference time is 0 ms, the negative shift amount sequential analysis unit 21 starts from ⁇ 600 ms. A 0 ms event-related potential waveform is cut out. The negative shift amount sequential analysis unit 21 obtains the slope of the waveform after further applying a 2 Hz low-pass filter. It is assumed that the negative shift amount sequential analysis unit 21 holds the value “600 ms” as an offset value for specifying the cutout start time retroactively from the reference time. It goes without saying that this value is shorter than the highlight interval t of the menu item.
  • the least square method is used to obtain the slope of the waveform.
  • the section in which the waveform is cut out may be a time zone in which the influence of the previous menu item highlight is small according to the menu item highlight interval.
  • the negative shift amount may be determined and determined from a waveform for one trial for each highlight, or may be determined and determined from a waveform obtained by averaging the waveforms with respect to previous highlights.
  • the P3 identification necessity determination unit 31 determines whether or not the slope of the waveform received from the negative shift amount sequential analysis unit 21 is, for example, a threshold value or less, and determines whether or not identification of the P3 component is necessary in the electroencephalogram interface unit 100. To do.
  • the threshold value may be obtained for each user, or may be set in advance, for example, as ⁇ 5 ⁇ V / s.
  • the P3 identification necessity determination unit 31 determines that the highlight is a selection item and adjusts so that the EEG interface unit 100 does not identify the P3 component. .
  • the P3 identification necessity determination unit 31 instructs the electroencephalogram interface unit 100 not to identify the P3 component.
  • the P3 identification necessity determination unit 31 instructs the electroencephalogram interface unit 100 to operate the device based on the determination result that the highlight was the selection item.
  • the P3 identification necessity determination unit 31 does nothing and the brain wave interface unit 100 identifies the P3 component.
  • the electroencephalogram interface unit 100 specifies the selected menu item based on the event-related potential within a predetermined period (for example, 0 to 500 ms) after the menu item is highlighted from the biological signal measurement unit 50.
  • FIG. 13 shows a processing procedure of the electroencephalogram interface system 1 according to the present embodiment. Note that steps S101 to S106 shown in FIG. 13 are the same as the processing procedure of the electroencephalogram interface shown in FIG. Therefore, description thereof will be omitted below. However, item selection in step S102 is performed in descending order.
  • step S201 the negative shift amount sequential analysis unit 21 cuts out the brain wave before highlighting from the brain wave measured by the biological signal measurement unit 50 in step S104, applies a low-pass filter, and then calculates the slope of the waveform for each highlight. Obtain sequentially.
  • the time width for cutting out the electroencephalogram may be about half of the interval between highlights of menu items.
  • the low-pass filter may be set to 2 Hz, for example, according to the time to cut out. In order to obtain the slope of the waveform, for example, the least square method is used.
  • the threshold value stored in advance in the P3 identification necessity determination unit 31 the slope of the waveform before highlighting with respect to a certain menu item highlight, which is sequentially obtained in step S201 by the negative shift amount sequential analysis unit 21, and the threshold value This is a branch based on the comparison result with.
  • step S301 If the slope of the waveform is smaller than the threshold value (Yes in step S301), it is determined that the user has selected the menu item, the electroencephalogram interface unit 100 is adjusted not to identify the P3 component, and the process proceeds to step S106. Execute the selected menu item.
  • step S301 if the slope of the waveform is equal to or greater than the threshold value (No in step S301), the P3 identification necessity determination unit 31 does nothing, proceeds to step S105, and the electroencephalogram interface unit 100 identifies the P3 component.
  • the threshold value in step S301 may be set to be stricter than the threshold value in step S201 because the selection item is determined only by the negative shift amount.
  • the menu items are highlighted in descending order, the negative shift amount of the electroencephalogram before highlighting is sequentially obtained for each highlight, and whether or not it is necessary to identify the P3 component in the electroencephalogram interface unit 100 based on the negative shift amount. Adjustment is possible.
  • the processing of the present embodiment shown in FIG. 13 and the processing shown in FIG. 14 can be combined.
  • the threshold value a and the threshold value b are stored and compared with the slope x of the event-related potential waveform before a certain highlight, and (1) threshold value b> slope In the case of x, the highlight is determined to be a selection item and P3 identification is not performed as in the process of FIG. 13, and (2) if threshold a> slope x> threshold b, the process of FIG. 14 is performed. It is also possible to adjust the P3 identification parameter and (3) do nothing if threshold value a ⁇ slope x.
  • step S202 the P3 identification necessity determination unit 31 compares the threshold stored in advance with the slope of the waveform before highlighting the menu item sequentially obtained by the negative shift amount sequential analysis unit 21 in step S201.
  • the identification parameter of the electroencephalogram interface unit 100 is adjusted depending on whether it is small.
  • the slope of the waveform is smaller than the threshold value, for example, a change such as lowering the threshold value for identifying the P3 component is performed so that it is easier to determine that the P3 component is included after highlighting.
  • the threshold is changed by, for example, increasing the threshold for identifying the P3 component so that it can be easily determined that the P3 component is not included.
  • the menu items are highlighted in descending order, and the slope of the event-related potential (negative shift amount) before highlighting is sequentially obtained for each highlight,
  • the identification method is adjusted so that the electroencephalogram interface unit 100 does not identify the P3 component.
  • the menu item to be selected can be determined before highlighting, and the waiting time for identifying the P3 component from the event-related potential after highlighting
  • the brain wave interface with good response and excellent operability can be realized.
  • the electroencephalogram interface unit 100 identifies the P3 component. I decided to adjust it not to do it. However, in that case, the determination result is obtained by narrowing down menu item candidates that the user desires to select based on the event-related potential before highlighting, and then identifying the P3 component in the electroencephalogram interface unit 100. You may judge whether it is contained in the candidate. As a result, the accuracy is considered to be higher.
  • highlights of menu items are arranged vertically (for example, FIG. 6), and the menu items are highlighted in descending order from the top to the bottom.
  • FIG. 6 highlights of menu items are arranged vertically (for example, FIG. 6), and the menu items are highlighted in descending order from the top to the bottom.
  • FIG. 11 highlights of menu items are arranged vertically (for example, FIG. 6), and the menu items are highlighted in descending order from the top to the bottom.
  • FIG. 11 Those skilled in the art will be able to obtain the event-related potentials shown in FIG. 11 if the user can predict which menu item will be highlighted next, based on the arrangement of menu items and the order of highlighting. Easy to judge.
  • menu items arranged obliquely are sequentially highlighted in a certain direction, or when highlighted in ascending order (from bottom to top) / a certain order learned by the user (for example, skipping one / frequency of use)
  • the menu selection processing according to the present invention can be performed even when highlighted in order.
  • the processing described using the flowchart can be realized as a program executed by a computer.
  • a computer program is recorded on a recording medium such as a CD-ROM and distributed as a product to the market, or transmitted through an electric communication line such as the Internet.
  • All or some of the constituent elements constituting the identification method processing apparatus and the electroencephalogram interface unit are realized as a general-purpose processor (semiconductor circuit) that executes a computer program.
  • the user can select a menu for the menu selection based on the negative shift amount of the electroencephalogram before highlighting by the user operating the electroencephalogram interface. It is possible to detect that no brain wave is being emitted. Since it is not necessary to add a line-of-sight detection device or the like, it is possible to reduce costs and the scale of the system.
  • the identification method adjusting device and the electroencephalogram interface system it is possible to determine which menu item the user desires to select based on the electroencephalogram (particularly the event-related potential) before the menu item is highlighted. As a result, it is possible to expect an increase in processing speed, and it is possible to realize a reduction in device operations not intended by the user. For example, when operating a wearable device (head mounted display or music player) with an electroencephalogram interface, it is assumed that noise derived from myoelectric, ocular, and commercial power is mixed, making it difficult to identify the electroencephalogram.
  • an electroencephalogram interface that is less susceptible to noise can be realized. Note that the function of such an identification method adjustment apparatus can be realized by, for example, a computer program, and can be easily implemented without significant modification of the system.

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Biomedical Technology (AREA)
  • Surgery (AREA)
  • Public Health (AREA)
  • Biophysics (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Theoretical Computer Science (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Engineering & Computer Science (AREA)
  • Pathology (AREA)
  • Veterinary Medicine (AREA)
  • Dermatology (AREA)
  • Neurology (AREA)
  • Neurosurgery (AREA)
  • Psychiatry (AREA)
  • Human Computer Interaction (AREA)
  • General Physics & Mathematics (AREA)
  • Psychology (AREA)
  • User Interface Of Digital Computer (AREA)
  • Measurement And Recording Of Electrical Phenomena And Electrical Characteristics Of The Living Body (AREA)

Abstract

 脳波を利用するインタフェースを備えたシステムにおいて、ユーザが意図しない機器動作を減少させる。  脳波識別方法の調整装置は、脳波インタフェースシステムに用いられる。当該システムは、ユーザの脳波信号を取得する生体信号計測部と、操作メニューを構成する複数のメニュー項目の各々を、出力部を介して規則的な順序で提示し、各メニュー項目がハイライトされた後の脳波信号に含まれる事象関連電位の成分を予め定められた所定の識別方法を用いて識別し、識別された事象関連電位に基づいて機器を動作させる脳波インタフェース部とを有している。調整装置は、メニュー項目がハイライトされる前の事象関連電位の波形の傾きを求める分析部と、分析部で算出した波形の傾きと閾値とを比較し、比較結果に応じて、傾きに対応するメニュー項目が、ユーザが選択を希望するメニュー項目であると判定する判定部とを備えている。

Description

脳波識別方法の調整装置、方法およびコンピュータプログラム
 本発明は、脳波を利用して機器を操作することが可能なインタフェース(脳波インタフェース)システムに関する。より具体的には、ユーザの脳波をリアルタイムで計測し、的確に解析するために、脳波インタフェース使用時のユーザの脳波のうちメニュー項目ハイライト前に出現する陰性成分を用いて、ユーザがメニュー項目の選択のための脳波を出している状態か否かを判定し、選択のための脳波を出していない場合を除去する装置を備えた脳波インタフェースシステムに関する。
 近年、テレビ、携帯電話、PDA(Personal Digital Assistant)等の様々な種類の情報機器が普及し、人間の生活に入り込んできたため、ユーザは普段の生活の中の多くの場面で情報機器を操作する必要が生じている。通常、ユーザは手を使ってボタン等の入力手段(インタフェース部)を介して入力コマンドを入力し、機器の操作を実現している。しかし、たとえば、家事、育児や運転をしているときなど、両手が機器操作以外のタスクで塞がっている状況ではインタフェース部を利用した入力が困難となり、機器操作が実現できなかった。そのため、あらゆる状況で情報機器を操作したいというユーザのニーズが高まっている。
 このようなニーズに対して、ユーザの生体信号を利用した入力手段が開発されている。たとえば非特許文献1では、脳波の事象関連電位を用いてユーザが選択したいと思っている選択肢を識別するという技術が開示されている。非特許文献1に記載された技術を具体的に説明すると、選択肢をランダムにハイライトし、選択肢がハイライトされたタイミングを起点に約300ms後に出現する事象関連電位のP3成分を利用して、ユーザが選択したいと思っている選択肢の識別を実現している。この技術によって、ユーザは手を使うことなく、選択したいと思った選択肢を特定可能となる。
 ここで「事象関連電位」とは、外的あるいは内的な事象に時間的に関連して生じる脳の一過性の電位変動をいう。脳波インタフェースは、外的な事象として視覚に対する刺激によって得られる事象関連電位を利用する。たとえば、視覚刺激に対する事象関連電位のうちの、いわゆるP3成分と呼ばれる成分を利用すると、チャンネルの切り替え、視聴を希望する番組のジャンルの選択、音量の調整などの処理を行うことができる。「P3成分」とは、事象関連電位のうちの、聴覚、視覚、体性感覚などの感覚刺激の種類に関係なく標的刺激提示後250msから500msの時間帯に出現する陽性成分をいう。
 事象関連電位をインタフェースに応用するためには、対象の事象関連電位(たとえばP3成分)を高い精度で識別することが重要である。そのために、生体信号を精度良く計測すること、および、計測した生体信号を適切な識別手法によって精度良く識別することが必要となる。
 識別率が低下する原因は、二つに大別できる。一つ目の原因は、脳波インタフェースに用いる成分(P3成分等)は脳波に含まれているにも関わらず、S/Nが低いことや識別手法の精度が低いことである。そのため、精度の高い識別が困難になり、識別率が低下する。二つ目の原因は、たとえば被験者の状態に応じて、対象の脳波成分がそもそも出現していないため、識別ができないことである。脳波インタフェースは無理に識別しようとするため、誤った識別結果を出力する。その結果、識別率が低下する。
 上述の第一の原因に対しては、脳波に混入するノイズの除去方法、精度の高い識別方法がそれぞれ開発されつつある。たとえば、特許文献1では、バンドパスフィルタを用いて、脳波に含まれるノイズのうち、商用電源ノイズ等の識別対象(事象関連電位)の周波数とは異なる周波数で混入するノイズを除去した後で、識別を行うことで識別率を向上させる技術が開示されている。また、特許文献2では、単純な周波数フィルタでは除去がしにくい眼電等の生体由来のノイズを除去する技術として、眼電が含まれた試行は識別対象から除外することで識別率を向上させる技術が開示されている。
 上述の第二の原因に対しては、対象の脳波成分が出現しない環境は排除する、という手法が採られていた。具体的には、従来の実験室条件での実験では、外乱を排除した実験室で課題に集中するよう教示したり、確認ボタンの押下をさせる等によって被験者の状態を統制することで、定常的に反応を出現させるという手法が採られてきた。
国際公開第2005/001677号パンフレット 特開平10-146323号公報 エマニュエル・ドンチン(Emanuel Donchin)、他2名、"The Mental Prosthesis : Assessing the Speed of a P300-Based Brain-Computer Interface"、IEEE TRANSACTIONS ON REHABILITATION ENGINEERING、Vol. 8、2000年6月 入戸野宏、「心理学のための事象関連電位ガイドブック」、北大路書房、2005年、32頁
 しかしながら、テレビやDVDレコーダ等の日常的に用いられる実機の操作に脳波インタフェースを利用する場合には、ユーザが画面表示に集中しているとは限らない。換言すれば、ユーザの脳波には、常にメニュー選択のための脳波が出現しているとは限らない。
 たとえば、脳波インタフェースの画面が提示されているにもかかわらずユーザがそれ以外の作業(たとえば家事や育児)を並行して行っている場合に、その作業に気を取られてメニューを見ていないという状況が発生する。このような状況下では、インタフェース画面を常に注視することは難しい。また、ユーザが次に選択するメニュー項目を選んでいる途中にメニュー項目のハイライトが開始されると、メニュー選択のための脳波が出現していないという状況が発生する。ユーザは次に選択するメニュー項目を選ぶために時間を要する。よって脳波インタフェースメニュー提示直後に選択のための脳波が出現すると考えることは難しい。
 上述の例は、前述した二つ目の原因である、対象の脳波成分がそもそも出現していないという状況に対応している。このような状況は多く想定し得るため、脳波に基づく識別ができない状況が増加すると考えられる。
 ところで、ユーザがメニュー項目を見ていない場合には、ユーザが選択したいと思っているメニュー項目がハイライトされてもP3成分は出現しない。しかしながら、たとえばP3成分に似た波形のノイズが偶然混入した場合には、ユーザの意図しないメニュー項目が選択されてしまう。これは、実験室条件の実験からは想定されなかった課題であり、脳波を日常的に計測し、インタフェースに利用するとしたときに初めて認識されたものである。
 本発明の目的は、日常的に脳波インタフェースを利用して機器が操作される状況下において、ユーザが意図しない機器動作を減少させることにある。
 本発明による調整装置は、機器の操作メニューを視覚的に提示する出力部と、ユーザの脳波信号を取得する生体信号計測部と、前記操作メニューを構成する複数のメニュー項目の各々を、前記出力部を介して規則的な順序で提示し、各メニュー項目がハイライトされた後の前記脳波信号に含まれる事象関連電位の成分を予め定められた所定の識別方法を用いて識別し、識別された前記事象関連電位に基づいて前記機器を動作させる脳波インタフェース部とを有する脳波インタフェースシステムにおいて、前記脳波インタフェース部の前記識別方法を調整するために用いられる装置であって、前記識別方法は、前記脳波信号が予め定められた基準に合致するか否かに応じて、前記事象関連電位の成分を識別する方法であり、前記メニュー項目がハイライトされる前の前記事象関連電位の波形の傾きを求める分析部と、前記分析部で求めた前記波形の傾きと閾値とを比較し、比較結果に応じて、前記傾きに対応する前記メニュー項目が、前記ユーザが選択を希望するメニュー項目であると判定する判定部とを備えている。
 前記分析部で求めた前記波形の傾きが所定の負の閾値よりも小さい場合には、前記判定部は、前記傾きに対応する前記メニュー項目が、前記ユーザが選択を希望するメニュー項目であると判定し、前記脳波インタフェース部に対して前記判定結果に基づいて前記機器を動作させてもよい。
 前記傾きに対応する前記メニュー項目が、前記ユーザが選択を希望するメニュー項目であると判定したときにおいて、前記判定部は、前記脳波インタフェース部に対して、前記各メニュー項目がハイライトされた後の前記脳波信号に含まれる事象関連電位の成分の識別を行わないよう指示してもよい。
 前記判定部は、前記事象関連電位(μV)を時間(s)で除算することによって前記波形の傾きを求め、前記負の閾値である-4と比較してもよい。
 前記分析部で求めた前記波形の傾きが閾値よりも大きい場合には、前記判定部は、前記脳波インタフェース部に対して指示をせず、前記脳波インタフェース部は、各メニュー項目がハイライトされた後の前記脳波信号に含まれる事象関連電位の成分を識別してもよい。
 前記分析部は、前記脳波インタフェース部からハイライトの時間間隔を示す情報tを取得し、前記メニュー項目がハイライトされる時刻t1よりも所定時間だけ前の時刻t2から、前記時刻t1までの事象関連電位の波形を切り出してもよい。
 前記分析部は、切り出した前記事象関連電位の波形の傾きを最小二乗法によって求めてもよい。
 本発明による調整方法は、機器の操作メニューを視覚的に提示する出力部と、ユーザの脳波信号を取得する生体信号計測部と、前記操作メニューを構成する複数のメニュー項目の各々を、前記出力部を介して規則的な順序で提示し、各メニュー項目がハイライトされた後の前記脳波信号に含まれる事象関連電位の成分を予め定められた所定の識別方法を用いて識別し、識別された前記事象関連電位に基づいて前記機器を動作させる脳波インタフェース部とを有する脳波インタフェースシステムにおいて、前記脳波インタフェース部の前記識別方法を調整するために用いられる方法であって、前記識別方法は、前記脳波信号が予め定められた基準に合致するか否かに応じて、前記事象関連電位の成分を識別する方法であり、前記メニュー項目がハイライトされる前の前記事象関連電位の波形の傾きを求めるステップと、前記傾きを求めるステップで求めた前記波形の傾きと閾値とを比較し、比較結果に応じて、前記傾きに対応する前記メニュー項目が、前記ユーザが選択を希望するメニュー項目であると判定するステップとを包含する。
 本発明によるコンピュータプログラムは、機器の操作メニューを視覚的に提示する出力部と、ユーザの脳波信号を取得する生体信号計測部と、前記操作メニューを構成する複数のメニュー項目の各々を、前記出力部を介して規則的な順序で提示し、各メニュー項目がハイライトされた後の前記脳波信号に含まれる事象関連電位の成分を予め定められた所定の識別方法を用いて識別し、識別された前記事象関連電位に基づいて前記機器を動作させる脳波インタフェース部とを有する脳波インタフェースシステムにおいて、前記脳波インタフェース部の前記識別方法を調整するために用いられるコンピュータプログラムであって、前記識別方法は、前記脳波信号が予め定められた基準に合致するか否かに応じて、前記事象関連電位の成分を識別する方法であり、前記コンピュータプログラムは、前記脳波インタフェースシステムに実装されるコンピュータに対し、前記メニュー項目がハイライトされる前の前記事象関連電位の波形の傾きを求めるステップと、前記傾きを求めるステップで求めた前記波形の傾きと閾値とを比較し、比較結果に応じて、前記傾きに対応する前記メニュー項目が、前記ユーザが選択を希望するメニュー項目であると判定するステップとを実行させる。
 本発明によれば、メニュー項目ハイライト前においてユーザの事象関連電位の波形の傾きが閾値よりも大きい場合に、メニュー項目がハイライトされる前の脳波(特に事象関連電位)に基づいて、ユーザがどのメニュー項目の選択を希望していたかを判断できる。これにより、処理の高速化が期待でき、かつ、ユーザが意図しない機器動作の減少が実現できる。よって、脳波の識別ミスによるユーザの意図しない機器動作が減少するため脳波インタフェースの操作性向上を実現できる。
脳波インタフェースシステム1の構成および利用環境を示す図である。 (a)~(c)は、脳波インタフェースシステム1においてTV2を操作し、ユーザ5が視聴したいジャンルの番組を見るときの例を示す図である。 脳波インタフェースの処理手順Aの例を示すフローチャートである。 脳波インタフェースの処理手順Bを示すフローチャートである。 本願発明者らが実施したランダム実験の機器側の処理手順を示すフローチャートである。 (a)は被験者に提示したメニュー項目を簡略化して示す図であり、(b)はメニュー項目のハイライトの例を示す図である。 (a)および(b)は、本願発明者らが実施したランダム実験の参加者側のフローチャートである。 ハイライト前600msの事象関連電位の総加算平均波形の図である。 本願発明者らが実施した降順実験の機器側の処理フローである。 本願発明者らが実施した降順実験の参加者側の処理フローである。 降順実験の結果を示す加算平均波形の図である。 本発明の実施形態による脳波インタフェースシステム1の機能ブロックの構成を示す図である。 本発明の実施形態による脳波インタフェースシステム1の処理手順を示すフローチャートである。 脳波インタフェースシステム1の処理手順を示すフローチャートである。
符号の説明
 1  脳波インタフェースシステム
 5  ユーザ
 7  出力部
 7a 画面
 10 識別方法調整装置
 21 陰性シフト量逐次分析部
 31 P3識別要否判定部
 50 生体信号計測部
 100 脳波インタフェース部
 以下、添付の図面を参照しながら、本発明による脳波インタフェースシステムおよび脳波インタフェースシステムに組み込まれる識別方法の調整装置の実施形態を説明する。
 本願発明者らは、ハイライトされた選択肢(メニュー項目)からユーザがメニュー選択のためにメニュー項目に注目しているときには、メニュー項目ハイライト前の脳波の事象関連電位に陰性シフトが出現することを発見した。事象関連電位の「陰性シフト」とは、事象関連電位が時間を追って正から負の方向へと徐々に値を小さくしていくことをいう。典型的には、事象関連電位の波形を直線近似することにより、その傾きが負になっていることによって確認できる。
 本発明では、脳波を利用したインタフェースを備えたシステムにおいて、メニュー項目ハイライト前のユーザ脳波(特に事象関連電位)に基づいて、ユーザがどのメニュー項目の選択を希望していたかを判断する。処理の高速化が期待でき、かつ、ユーザが意図しない機器動作の減少が実現できる。これにより、視線検出装置等を新たに加えることなく、ユーザがメニュー項目を選択するための脳波を出していなかった場合の検出およびメニュー項目の選択を実現できる。
 以下では、まず脳波インタフェースシステムの概要および、ユーザがメニュー選択のための脳波を出しているか否かに特徴的な脳波成分を探索するために、本願発明者らが実施した実験について説明し、その後、識別方法調整装置の構成および動作を説明する。
 1.脳波インタフェースシステムの概要
 図1は、脳波インタフェースシステム1の構成および利用環境を示す。この脳波インタフェースシステム1は後述する本発明の実施形態のシステム構成に対応させて例示している。
 脳波インタフェースシステム1は、ユーザ5の脳波信号を利用してTV2を操作するインタフェースを提供するためのシステムである。ユーザ5の脳波信号はユーザが頭部に装着した生体信号計測部50によって取得され、無線または有線で脳波インタフェース部100に送信される。TV2に内蔵された脳波インタフェース部100は、脳波の一部を構成する事象関連電位と呼ばれる成分を利用してユーザの意図を認識し、チャンネルの切り替えなどの処理を行う。
 図2は、脳波インタフェースシステム1においてTV2を操作し、ユーザ5が視聴したい番組を見るときの例を示す。
 図2(a)は、脳波インタフェース部100がTV2の画面7aを介してユーザに提示するメニューの例である。図2(a)では、画面7a-1から画面7a-4において、それぞれ「野球」、「天気予報」、「アニメ」、「ニュース」というメニュー項目が順にまたはランダムにハイライトされる様子を示している。本明細書において、図2(a)に示した機器操作に関する選択肢群を「メニュー」、選択肢の一つ一つを「メニュー項目」と定義する。メニュー項目をハイライトすることによって、それぞれのメニュー項目がハイライトされた時刻を起点とした事象関連電位が計測可能となる。なお、ハイライトの代わりに、または後述する図6(b)のように、ハイライト70と共に補助的矢印71を用いたポインタでメニューを提示してもよい。
 図2(b)は、メニュー項目がハイライトされた時刻を起点に計測したユーザの脳波信号の事象関連電位を模式的に示す。今、ユーザは「天気予報」を見たいと考えていたとする。画面7a-1から画面7a-4までのそれぞれに対応する脳波信号201~204のうち、ユーザ5が「天気予報」がハイライトされた画面7a-2を見ると、「天気予報」がハイライトされた時刻を起点に潜時約400-450msに特徴的な陽性の成分が出現する(非特許文献1)。
 脳波インタフェース部100がこのP3成分の出現を識別すると、ユーザが選択したいと考えていたメニュー項目「天気予報」の選択が可能となる。図2(c)では、P3成分を識別した結果、チャンネルが「天気予報」に切り替えられた後の画面7a-5を示している。
 図3は、脳波インタフェースの処理手順の例を示す(処理手順A)。ステップS101において、脳波インタフェース部100はたとえば4つのメニュー項目を含んだ脳波インタフェースメニュー(図2(a)の左側)を提示する。ここで、必須ではないが問いかけの文章(図2(a)の右側)を脳波インタフェースメニューと共に提示してもよい。ステップS102において、脳波インタフェース部100は次にハイライトするメニュー項目を選択する。次にハイライトするメニュー項目はランダムな順序に選択してもよいし、降順に選択してもよい。ステップS103において、ステップS102で選択されたメニュー項目をハイライトする。
 ステップS104において、脳波インタフェース部100は、ステップS103においてメニュー項目がハイライトされた時刻を起点に、たとえば500ms分のユーザの事象関連電位を計測する。事象関連電位として切り出す区間は、300-500msに出現するP3成分が含まれれば、たとえば800ms、1000msであってもよい。ここでは、図2(b)に模式的に示す脳波信号の事象関連電位201~204が計測される。
 ステップS105において、ステップS104で計測した事象関連電位にP3成分が含まれているか否かを識別する。P3成分の識別は、単純に波形の最大振幅または波形のある区間の平均電位があらかじめ設定した閾値よりも大きいかどうかによって行ってもよいし、特許文献2に記載のようにあらかじめユーザごとに計測したP3成分の加算平均波形で作成したテンプレートとの相関係数を求めることによって行ってもよい。なお、閾値は、ユーザごとに決定してもよい。ステップS105でYesの場合、ステップS106に進み、Noの場合はステップS102に戻り次のメニュー項目を選択する。
 ステップS106において、脳波インタフェース部100はステップS105において選択されたメニュー項目に対応する処理を実行する。これにより、そのメニュー項目が選択され、実行されて、図2(c)に示す画面7a-5が表示される。たとえば、図2の例で言えば、天気予報が選択され、天気予報の番組が提示された。
 このような脳波インタフェースシステム1によれば、たとえば家事や育児で両手が塞がっている場合にもユーザは手を使わずにTV2等の機器を操作することが可能となる。よって機器の操作性が格段に向上する。
 上述の処理では、メニュー項目がハイライトされたタイミングにおいて、ユーザがメニューを見ていない場合や選択するメニュー項目を選ぶ途中段階で選択のための脳波を出していない場合には、ステップS103においてP3成分は計測されない。しかしながら、ステップS104において取得した事象関連電位にノイズ(たとえば眼電)が混入しP3成分に似た波形を示した場合には、ステップS105においてP3成分ありと判定され、ステップS106においてユーザが意図しないメニュー項目が選択される可能性があった。
 別の識別方法として、たとえばそれぞれのメニュー項目がハイライトされた後の事象関連電位を比較し、最もP3成分が出現した可能性の高いものを選択するという処理の手順(後述する処理手順B)を用いたとしても同様にユーザが意図していないメニュー項目が選択される可能性があった。処理手順Bを用いた場合には、事象関連電位の比較によってP3成分と近いものの選択が可能であるため、多少のノイズが混入しても機器動作が実現できる。
 図4に、脳波インタフェースの処理手順Bを示す。なお、図3に示す脳波インタフェースの処理手順と同じ処理を行うステップについては同一の参照符号を付し、その説明は省略する。ステップS107において、全ての選択項目が少なくとも一度はハイライトされたかどうかにより分岐する。ステップS107でYesの場合、ステップS108に進み、Noの場合はステップS102に戻り次のメニュー項目を選択する。
 ステップS108において、ステップS104で取得したメニュー項目ごとの事象関連電位にP3成分が含まれる可能性を計算し、項目ごとに比較をして一番近いメニュー項目をP3成分ありと識別し、選択項目として決定する。項目ごとの事象関連電位にP3成分が含まれる可能性の計算は、図3中のステップS104のように、単純に波形の最大振幅値として最大振幅が最大のものを選ぶことによって行ってもよいし、ある区間の平均電位の大きさを求め平均電位が最大のものを選ぶことによって取得してもよい。また、テンプレートとの相関係数の値が大きいものを選ぶことによって行ってもよい。
 このように、メニュー項目ごとの事象関連電位を比較し、最もP3成分が出現した可能性の高い選択項目を選ぶことで、多少のノイズが混入しても識別が可能な識別方法が実現される。処理手順Bを用いた場合も同様である。しかしながら、ユーザがメニューを見ていない場合や選択するメニュー項目を選ぶ途中段階で選択のための脳波を出していない場合にも、P3成分が含まれている可能性のあるいずれかのメニュー項目が選択されてしまうため、ユーザの意図しないメニュー項目が選択される可能性があった。
 これらのユーザが意図しないメニュー項目の選択は、いずれもユーザがメニュー選択のための脳波を出していたかどうかを機器側が判定できないために発生する。メニュー選択のための脳波を出していたか否かの判定が可能であれば、メニュー選択のための脳波を出していない場合には識別対象から除外するなど識別方法の調整によって、これらの意図しない機器動作をなくすことができる。
 本願発明者らは、脳波インタフェースを利用するユーザのメニュー項目ハイライト前の脳波が陰性シフトしていたか否かを判定することで、ユーザがメニュー選択のための脳波を出しているかどうかの判定が可能であることを発見した。これにより、視線検出装置等を新たに加えることなく、ユーザがメニュー選択のための脳波を出していなかった場合の検出が実現できる。以下、図5から図11を参照しながら本願発明者らが実施した実験および実験結果について説明する。
 2.実験
 実験は、2名の参加者(男性)に対して、ハイライトの方法を変えて、ランダムな順番でメニュー項目のハイライトを行うランダム実験と、降順にハイライトを行う降順実験の2種類を実施した。脳波は頭皮上Pz(国際10-20法)から右耳朶を基準に計測した。また、視覚刺激は被験者の目前2mの37インチプラズマディスプレイに提示した。
 まず、ランダム実験について説明する。ランダム実験では、ユーザが選択のための脳波を出しているか否かによる波形の違いを調べるために、メニュー選択のための脳波を出す条件/出さない条件の2条件で実験を実施し、メニュー項目ハイライト前の波形を比較した。
 はじめに、図5を参照しながらランダム実験の機器側のフローを説明する。機器側のフローは、メニュー選択のための脳波を出すか出さないかの条件に関わらず、同様である。
 ステップS50は、被験者の脳波計測を開始するステップである。
 ステップS51は、脳波インタフェースメニューの4つのメニュー項目を提示し、メニュー項目の種類をユーザに示すステップである。図6(a)に実際に被験者に提示したメニュー項目を簡略化して示す。我々の実験では2秒間提示した。なお、ステップS51は、メニュー項目ハイライト開始の前に脳波を安定させ、眼電等のノイズを低減させる効果もある。
 ステップS52は、次にハイライトするメニュー項目をランダムに選択するステップである。なお、同一のメニュー項目は連続で選択しないようにした。
 ステップS53は、ステップS52で選択したメニュー項目を1000ms間ハイライトするステップである。ハイライトの例を図6(b)に示す。
 ステップS54は、ステップS53でメニュー項目がハイライトされた時刻を0msとしてハイライト前の脳波を切り出し、事象関連電位を取得するステップである。切り出す事象関連電位は、一つ前のハイライトに対する影響が少ないハイライト前600msからハイライトがされるまでの600ms間とした。
 ステップS55は、メニュー項目がハイライトされた回数nによる分岐で、ハイライトの回数が21より小さい場合にはステップS52に進み、メニュー項目のハイライトを繰り返す。これによって、メニュー項目ごとに5回(20回÷4メニュー項目)ずつハイライトを実行する。これは、実験的に事象関連電位を繰り返し加算平均して、成分の確認をより確実に行うためのステップである。なお、実際に脳波インタフェースを利用する場合にはステップS55は必ずしも実行しなくてもよい。
 前述のステップS50からステップS55によって、各メニュー項目が5回程度ずつハイライトされたときの、ハイライトを起点とした事象関連電位が20試行分収録できる。
 次に、図7を用いてランダム実験の参加者側のフローを説明する。
 図7(a)は、メニュー選択のための脳波を出す条件(選択条件)の参加者側のフローを示した図である。
 ステップS61は、図5中のステップS51で提示されたメニューを見るステップである。被験者はメニュー項目の上から順に選択するようあらかじめ指示されており、ここで選択対象のメニュー項目に視線を移動する。選択対象項目の指示は、実際に脳波インタフェースを用いる場合にユーザが実現したいと思う機器動作にあたる。
 ステップS62は、選択対象のメニュー項目を注視し、図5(a)中のステップS52からS55によって提示されるメニュー項目のハイライトを見て、選択対象のメニュー項目がハイライトされることを待つ状態である。
 ステップS63は、ステップS61で選択対象のメニュー項目がハイライトされたかどうかによる分岐で、ステップS63でYesの場合はステップS64へ、Noの場合はステップS62に進む。
 ステップS64は、ステップS61で選択対象のメニュー項目がハイライトされた回数をメンタルカウントするステップである。メンタルカウントとは、心の中で数をカウントすることである。これにより事象関連電位にP3成分が発生することが知られている。
 ステップS65は、所定回数のハイライトが終了したかどうかによる分岐で、ステップS65でYesの場合には終了へ、Noの場合にはステップS62へそれぞれ進む。
 図7(b)は、メニュー選択のための脳波を出さない条件(選択不実行条件)の参加者側のフローを示した図である。図7(a)に示す選択条件と同じ処理を行うステップについては同一の参照符号を付し、その説明は省略する。
 選択条件との差異は、メニュー選択のための脳波を出すためのステップS63およびステップS64がない点である。これにより、参加者はハイライトされるメニュー項目を選択意図を持たずにただ見ているだけの状態となる。
 実験結果の一例を図8に示す。図8は、ハイライト前600msの事象関連電位の総加算平均波形である。分析対象の事象関連電位はハイライト前の区間であるため、ハイライトが選択対象項目であったか否かに関わらず、全てのハイライト前の事象関連電位を加算平均した。なお、ハイライト前50msの平均電位でベースライン補正を行い、振幅の最大値が100μVを超えた試行は眼電等のノイズが混入した可能性があるため、識別対象から除外した。図8中に、選択条件の総加算平均波形および選択不実行条件の総加算平均波形を、それぞれ太実線および細実線で示した。横軸は時間で単位はms、縦軸は電位で単位はμVである。選択条件では、0ms(次ハイライト開始)に向かって波形が陰性にシフトしているが、選択不実行条件では、陰性シフトは見られない。最小二乗法を用いて総加算平均波形の傾きを求めた結果、選択条件、選択不実行条件において-7.74μV/s、1.65μV/sであった。傾きを図8中にそれぞれ太点線、細点線で示す。
 この陰性シフトは、次のハイライトに対する準備状態を反映して、選択条件でのみ出現する成分であると考えられる。よって、メニュー項目がランダムにハイライトされる脳波インタフェースでは、ハイライト前の陰性シフトの有無に基づき、ユーザがメニュー選択のための脳波を出していたか否かが判定可能となる。陰性シフトの有無の判定は、求めた傾きの符号によって容易に特定されるが、これは、傾き0を閾値としたときの、閾値と求めた傾きとの比較結果と同義である。
 一般的に刺激に対する準備状態を反映する陰性シフトとして、CNV(Contingent Negative Variation)と呼ばれる随伴性陰性電位が出現することが知られている。CNV成分は予告刺激の後、命令刺激を待っている状態で記録される穏やかな陰性電位であり、予期、注意、意欲、動機づけなどの心理的要因と強く関連するとされている(例えば、丹羽真一、鶴紀子:「事象関連電位事象関連電位と神経情報科学の発展」、新興医学出版社、1997年、P189参照)。しかしながら、脳波インタフェース利用時にユーザがメニュー選択のための脳波を出していたかどうかに関連して陰性シフト量に差が生じることは知られていなかった。
 次に、降順実験について説明する。ランダム実験とは異なり、メニュー項目を降順にハイライトする降順実験では、ユーザは次にハイライトされるメニュー項目の予期が可能で全てのハイライトに対して選択対象であったか否かの判定を行うためにハイライトを待ち構える必要がない。そこで、降順実験では、ユーザがメニュー選択のための脳波を出す条件で実験を実施し、ハイライトに対する構えの違いが陰性シフトに及ぼす影響を調べる。また、ハイライト前の脳波から選択対象のメニュー項目が判定可能か否かを調べる。
 はじめに、図9を用いて降順実験の機器側のフローを説明する。図5に示すランダム実験と同じ処理を行うステップについては同一の参照符号を付し、その説明は省略する。
 ランダム実験との差異は、メニュー項目を降順に、350msずつハイライトする点である。
 ステップS71は、次にハイライトするメニュー項目を降順に選択するステップである。
 ステップS72は、ステップS71で選択したメニュー項目を350ms間ハイライトするステップである。
 ステップS73は、ステップS72でメニュー項目がハイライトされた時刻を0msとしてハイライト前500msからハイライトがされるまでの500ms間の脳波を切り出し、事象関連電位を取得するステップである。
 次に、図10を用いて降順実験の参加者側のフローを説明する。
 図10は、降順実験の参加者側のフローを示した図である。図7に示すランダム実験の参加者側のフローと同じ処理を行うステップについては同一の参照符号を付し、その説明は省略する。降順実験では、参加者がメニュー選択のための脳波を出す選択条件で実験を実施した。
 図7に示したランダム実験の参加者側のフローとの差異は、降順実験では次にハイライトされるメニュー項目の予期が可能であるため、ランダム実験のように毎回のハイライトに対して選択対象メニュー項目であったか否かの判定(図7(a)のステップS63)を実施しない点である。
 降順実験では、参加者は選択対象のメニュー項目がいつハイライトされるかのタイミングの予期が可能である。そのため、予期したタイミングの周辺でのみハイライト検出の準備をして選択対象メニュー項目のハイライトを検出すると考えられる。
 ステップS81は、選択対象のメニュー項目の一つまたは二つ(複数)前のメニュー項目がハイライトされたかどうかによる分岐で、ステップS81でYesの場合はステップS82へ、Noの場合はステップS62へ進む。
 ステップS82は、ステップS81で選択対象メニュー項目の一つまたは二つ(複数)前のメニュー項目がハイライトされたことを受け、メンタルカウントの準備をするステップである。
 ステップS83は、選択対象のメニュー項目ハイライトを検出する分岐で、ステップS83でYesの場合はステップS64へ、Noの場合はステップS82へ進む。
 実験結果の一例を図11に示す。図11は、各メニュー項目ハイライト前500msからハイライトがされるまでの500ms間の事象関連電位を選択対象メニュー項目からいくつ前のメニュー項目であったかに基づいて総加算平均(2名)した波形である。なお、ハイライト前50msの平均電位でベースライン補正を行い、振幅の最大値が100μVを超えた試行は眼電等のノイズが混入した可能性があるため、識別対象から除外した。図11中には、0msにおいて選択対象のメニュー項目がハイライトされた場合の総加算平均波形(以下、波形0とする)を太実線で、選択対象項目の一つ前、二つ前、三つ前のメニュー項目がハイライトされた場合の総加算平均波形(以下、波形1、波形2、波形3とする)を細実線で示した。図11より、0msにおいて選択対象のメニュー項目がハイライトされる前の総加算平均波形(波形0)が相対的に陰性に大きくシフトしており、他の波形1から3は陰性へのシフトは実質的には存在していないことが分かる。また、最小二乗法を用いて、それぞれの総加算平均波形の傾きを求めた結果、波形0の傾きは、-7.85μV/s、波形1から波形3の傾きはそれぞれ、5.56μV/s、-0.78μV/s、2.82μV/sであった。傾きを図11中に重ねて示す。波形0と、波形1~3とを識別する傾きの閾値として、たとえば-4や-5(μV/s)を採用することができる。
 波形0において出現した陰性シフトは、降順実験のようにメニュー項目ハイライトの予期が可能な設定でハイライトを実施する場合に、選択対象のメニュー項目のハイライトに対する準備状態を反映していると考えられる。また、選択対象のメニュー項目以外がハイライトされた場合には、陰性シフトは出現しない。ゆえに、メニュー項目ハイライトの予期が可能な設定において、メニュー項目ハイライト前の事象関連電位が陰性にシフトしていたか否かに基づき、メニュー項目ハイライト前にユーザがどのメニュー項目を選択していたかを判定が可能であると言える。また、メニュー項目ハイライトの予期が可能な設定でハイライトを実施する場合には、少なくとも1つのメニュー項目ハイライト前において、波形が陰性シフトしていれば、ユーザは選択のための脳波を出していると判定してもよい。
 以下に、本発明による識別方法調整装置およびその調整装置を含む脳波インタフェースシステムを説明する。
 一般的に、たとえば降順のように規則的な順序で刺激を提示する場合には、ユーザが反応する(選択を希望するメニュー項目がハイライトされた)タイミングの予測が可能になるためP3成分の振幅は小さくなり、P3成分の識別が難しくなると言われている。そのため、識別精度が重要視される脳波インタフェースでは、ランダムな順序でハイライトを行うことが多く、降順ハイライトの設定は敬遠されてきた。
 しかしながら、選択に対するユーザの負荷の観点からすると、予測したハイライトタイミングのみで反応する降順ハイライトの方が、全てのハイライトに対して選択対象か否かの判定が必要なランダムハイライトよりも負担が少ない。これに対して本発明による識別方法調整装置は、複数のメニュー項目を降順でハイライトさせたときのユーザ脳波のうち、メニュー項目ハイライト前の事象関連電位の傾きを求め、求めた傾きに基づき、ユーザがメニュー選択のための脳波を出していたか否か、さらにはどの傾きが陰性シフトしているか否かを判定する。そして、ユーザがメニュー選択のための脳波を出していない場合には識別対象から除外してユーザが意図しない機器動作の低減をすること、ユーザがメニュー選択のための脳波を出している場合には、ユーザがどのメニュー項目の選択を希望しているかを特定することが可能になる。
 3.本発明による脳波インタフェースシステムの実施形態
 前述の降順実験の結果によれば、降順にメニュー項目をハイライトする場合には、メニュー項目ハイライト前の陰性シフト量のみに基づいて、ユーザがどのメニュー項目を選択していたかを判定することが可能であることが分かった。
 この結果に基づいて、本実施形態による脳波インタフェースシステムでは、メニュー項目を降順にハイライトし、ハイライトごとにハイライト前の事象関連電位の傾き(陰性シフト量)を求め、陰性シフト量のみから選択対象のメニュー項目を判定する。このように、ハイライト前の事象関連電位の陰性シフト量を指標に判定を行うことで、ハイライト直前に選択対象のメニュー項目の判定が可能となり、ハイライト後の事象関連電位からP3成分の識別を行うための待ち時間が不要になる。その結果、ハイライト直後に動作するためにレスポンスが良く、操作性に優れた脳波インタフェースを実現できる。
 以下、本実施形態による脳波インタフェースシステムを説明する。
 図12は、本実施形態による脳波インタフェースシステム1の機能ブロックの構成を示す。脳波インタフェースシステム1は、出力部7と、識別方法調整装置10と、生体信号計測部50と、脳波インタフェース(IF)部100とを有している。図12はまた、調整装置10の詳細な機能ブロックも示している。ユーザ5のブロックは説明の便宜のために示されている。なお、出力部7は、ユーザ5にメニュー等を提示する画面を示す。
 ユーザ5は、脳波インタフェース部100によって出力部7に提示される機器操作に関するメニュー項目がハイライトされるかどうかに注意して見ているだけで操作入力はしないが、脳波インタフェース部100を介して選択されたメニュー項目に応じて機器が動作するものとする。
 識別方法調整装置10は、有線または無線で生体信号計測部50および脳波インタフェース部100と接続され、信号の送信および受信を行う。図12においては、生体信号計測部50および脳波インタフェース部100は識別方法調整装置10とは別体であるが、これは例である。生体信号計測部50および脳波インタフェース部100の一部または全部を、識別方法調整装置10内に設けてもよい。または、1つのデバイスで実現してもよい。
 生体信号計測部50は、ユーザ5の生体信号を検出する脳波計であり、生体信号として脳波を計測する。脳波計は図1に示すようなヘッドマウント式脳波計であってもよい。ユーザ5はあらかじめ脳波計を装着しているものとする。
 ユーザ5の頭部に装着されたとき、その頭部の所定の位置に接触するよう、生体信号計測部50には電極が配置されている。電極の配置は、たとえばPz(正中頭頂)、A1(耳朶)およびユーザ5の鼻根部になる。ただし、電極は最低2個あればよく、たとえばPzとA1のみでも電位計測は可能である。この電極位置は、信号測定の信頼性および装着の容易さ等から決定される。
 この結果、生体信号計測部50はユーザ5の事象関連電位を測定することができる。測定されたユーザ5の脳波は、コンピュータで処理できるようにサンプリングされ、脳波インタフェース部100および識別方法調整装置10に送られる。なお、脳波に混入するノイズの影響を低減するため、生体信号計測部50において計測される脳波は、あらかじめたとえば0.05から20Hzのバンドパスフィルタ処理がされ、メニュー項目ハイライト前のたとえば50msの平均電位でベースライン補正されているものとする。
 脳波インタフェース部100は、機器操作に関するメニュー項目をランダムな順序で、たとえば1秒間隔でユーザに提示し、生体信号計測部50で計測された脳波を切り出して識別する。そして識別結果に応じて機器動作を制御する。脳波インタフェース部100における基本的な動作は前述の通りである。
 脳波インタフェース部100を利用して制御する機器が、たとえば図1に示すTV2であるとすると、メニューは出力部7を介して視覚的にユーザ5に提示される。
 脳波インタフェース部100は、メニュー項目がハイライトされた時刻を起点に、生体信号計測部50で計測されたユーザ5のメニュー項目ハイライト後の脳波をたとえばP3成分のピーク潜時よりも長い500ms分を切り出し、波形を識別する。脳波を切り出す時間は波形のピークからの戻りの部分も考慮して1000ms分であってもよい。事象関連電位の識別する方法としては、単純に波形を閾値処理してもよいし、特許文献2に記載のようにあらかじめユーザごとに計測したP3成分の加算平均波形で作成したテンプレートとの相関係数を求めてもよい。識別のためのパラメータは後述する方法によって識別方法調整装置10によって調整される。
 次に、本実施形態による識別方法調整装置10の詳細な構成を説明する。本発明の主要な特徴のひとつは、識別調整装置10の構成および動作にある。
 識別方法調整装置10は、陰性シフト量逐次分析部21と、P3識別要否判定部31とを有している。
 陰性シフト量逐次分析部21は、脳波インタフェース部100から、メニュー項目ハイライトの間隔を示す情報を取得する。また、陰性シフト量逐次分析部21は、生体信号計測部50で計測されたユーザ5のメニュー項目ハイライト前で、かつ、前のメニュー項目ハイライトの影響の少ない時間帯の脳波信号(より詳細には事象関連電位)の情報を受け取り、事象関連電位の波形を切り出して波形の傾きを求める。
 ここで、「影響の少ない時間帯」とは、たとえばメニュー項目ハイライトの間隔を1秒(1000ms)とし、ハイライトされる基準時刻を0msとすると、陰性シフト量逐次分析部21は-600msから0msの事象関連電位の波形を切り出す。そして陰性シフト量逐次分析部21は、さらに2Hzのローパスフィルタをかけた後に波形の傾きを求める。この「600ms」という値については、陰性シフト量逐次分析部21は、基準時刻から遡って切り出し開始時刻を特定するためのオフセット値として保持しているとする。この値は、メニュー項目のハイライト間隔tよりも短いことは言うまでもない。なお、陰性シフト量逐次分析部21は、そのようなハイライト間隔tを特定する情報を脳波インタフェース部100から取得し、その情報に基づいて、ハイライト間隔よりも短いオフセット値(T)を適宜設定してもよい。その結果、陰性シフト量逐次分析部21は、ハイライト時刻t1より時間Tだけ前の時刻t2(=t1-T)から時刻t1までの事象関連電位の波形を切り出して、波形の傾きを最小二乗法によって求めることもできる。
 波形の傾きを求めるために、たとえば最小二乗法を用いる。波形を切り出す区間は、メニュー項目ハイライトの間隔に応じて、一つ前のメニュー項目ハイライトの影響が少ない時間帯であればよい。なお、陰性シフト量は、ハイライトごとに1試行分の波形から求めて判定してもよいし、これまでのハイライトに対する波形を加算平均した波形から求めて判定してもよい。
 P3識別要否判定部31は、陰性シフト量逐次分析部21から受け取った波形の傾きが、たとえば閾値以下であったかどうかを判定し、脳波インタフェース部100においてP3成分の識別が必要か否かを判定する。閾値は、ユーザごとに求めてもよいし、予め、たとえば-5μV/sのように設定してもよい。
 本実施形態においては、メニュー提示時の陰性シフト量のみでユーザがメニュー選択のための脳波を出していたかどうかを判断し、選択項目を決定する。P3識別要否判定部31は、あるハイライト前の波形の傾きが閾値以下の場合、そのハイライトが選択項目であったと判定し、脳波インタフェース部100においてP3成分の識別を行わないよう調整する。たとえばP3識別要否判定部31は、脳波インタフェース部100に対し、P3成分の識別を行わないよう指示する。同時に、P3識別要否判定部31は、脳波インタフェース部100に対して、そのハイライトが選択項目であったという当該判定結果に基づいて機器を動作させるよう指示する。
 逆に、波形の傾きが閾値以上の場合、P3識別要否判定部31は何も行わず、脳波インタフェース部100においてP3成分の識別がなされる。脳波インタフェース部100は、生体信号計測部50からメニュー項目ハイライト後、所定期間内(たとえば0~500ms)の事象関連電位に基づいて、選択されたメニュー項目を特定する。
 このように構成することで、ハイライト前の陰性シフト量に基づき、脳波インタフェース部100においてハイライト後の事象関連電位においてP3成分の識別が必要か否の判定が可能となる。よって、ハイライト前の陰性シフト量が閾値以下の場合にハイライト前に選択対象のメニュー項目の判定が可能となり、ハイライト後の事象関連電位からP3成分の識別を行うための待ち時間がなくなり、レスポンスが良く操作性に優れた脳波インタフェースを実現できる。
 このように構成することで、ユーザが選択を希望していたメニュー項目をハイライト前の脳波の陰性シフト量を指標に判定ができる。これによって、ユーザが意図しない機器動作を減少し、ユーザにとって使いやすい脳波インタフェースが実現できる。また、メニュー項目のハイライトを一巡させると、ユーザが選択したいと考えていたメニュー項目の存否が予測できるので、迅速は処理が可能になる。
 次に、図13のフローチャートを参照しながら、脳波インタフェースシステム1において行われる全体的な処理の手順を説明する。
 図13は、本実施形態による脳波インタフェースシステム1の処理手順を示す。なお、図13に示すステップS101からステップS106は、図3に示す脳波インタフェースの処理手順と同じである。よって、以下ではそれらの説明は省略する。ただし、ステップS102における項目選択は降順に行うものとする。
 ステップS201において、陰性シフト量逐次分析部21は、ステップS104において生体信号計測部50で計測した脳波のうちハイライト前の脳波を切り出し、ローパスフィルタをかけた後に、ハイライトごとに波形の傾きを逐次求める。脳波を切り出す時間幅は、メニュー項目のハイライトが一巡する間隔の半分程度としてもよい。ローパスフィルタは、切り出す時間に応じて、たとえば2Hzに設定してもよい。波形の傾きを求めるために、たとえば最小二乗法を用いる。
 続くステップS301は、P3識別要否判定部31において、予め保持した閾値とステップS201で陰性シフト量逐次分析部21によって逐次求められたあるメニュー項目ハイライトに対するハイライト前の波形の傾きと、閾値との比較結果に基づく分岐である。
 波形の傾きが閾値よりも小さい場合(ステップS301でYes)、ユーザはそのメニュー項目を選択していたと判定し、脳波インタフェース部100におけるP3成分の識別を行わないよう調整し、ステップS106に進み判定したメニュー項目を実行する。
 逆に、波形の傾きが閾値以上の場合(ステップS301でNo)、P3識別要否判定部31は何も行わず、ステップS105に進み、脳波インタフェース部100においてP3成分の識別を行う。なお、ステップS301における閾値は、陰性シフト量のみで選択項目を決定するため、ステップS201の閾値と比較して厳しい設定としてもよい。
 このような処理によって、メニュー項目を降順にハイライトし、ハイライトごとにハイライト前の脳波の陰性シフト量を逐次求め、陰性シフト量に基づいて脳波インタフェース部100におけるP3成分識別の要否の調整が可能となる。
 なお、図13に示した本実施形態の処理と、図14に示す処理とを組み合わせた処理も可能である。たとえば、識別方法調整装置10において、閾値a、閾値b(閾値a>閾値b)を保存し、あるハイライト前の事象関連電位波形の傾きxとの比較を行い、(1)閾値b>傾きxの場合には、図13の処理のようにそのハイライトを選択項目と判定しP3識別を行わない、(2)閾値a>傾きx>閾値bの場合には、図14の処理を行いP3識別のパラメータを調整し、(3)閾値a<傾きxの場合には、何もしない、という処理も可能である。
 なお、図14に記載された、ステップS202を除くすべてのステップの説明は、図3および図13に関連して既に説明したとおりである。ステップS202では、P3識別要否判定部31は、予め保持した閾値とステップS201で陰性シフト量逐次分析部21によって逐次求められたメニュー項目ハイライト前の波形の傾きとを比較し、閾値よりも小さいかどうかによって、脳波インタフェース部100の識別パラメータを調整する。波形の傾きが閾値よりも小さい場合には、ハイライト後にP3成分が含まれたと判定されやすくなるよう、たとえばP3成分識別の閾値を下げるなどの変更を行う。逆に、波形の傾きが閾値以上の場合、P3成分が含まれていないと判定されやすくなるよう、たとえばP3成分識別の閾値を上げるなどの方法で変更する。
 本実施形態の脳波インタフェースシステム1に識別方法調整装置10を設けることにより、メニュー項目を降順にハイライトし、ハイライトごとにハイライト前の事象関連電位の傾き(陰性シフト量)を逐次求め、波形の傾きが閾値以下の場合には、脳波インタフェース部100でP3成分の識別をしないように識別方法を調整する。このように、ハイライト前の陰性シフト量が閾値以下の場合にハイライト前に選択対象のメニュー項目の判定が可能となり、ハイライト後の事象関連電位からP3成分の識別を行うための待ち時間がなくなり、レスポンスが良く操作性に優れた脳波インタフェースを実現できる。
 上述の実施形態においては、陰性シフト量が閾値より小さい場合(図13のステップS301のYes)には、ユーザがそのメニュー項目を選択していたと判定し、脳波インタフェース部100におけるP3成分の識別を行わないよう調整するとした。しかしながら、その場合において、ハイライト前の事象関連電位に基づいてユーザが選択を希望するメニュー項目の候補を絞っておき、その後、脳波インタフェース部100においてP3成分の識別を行うことにより、判定結果がその候補に含まれているか否かを判断してもよい。その結果、精度がより高くなると考えられる。
 上述の実施形態においては、メニュー項目のハイライトが上下に配置されており(たとえば図6)、その上方から下方に向けて降順にメニュー項目をハイライトとさせた。しかしながらこれは例である。メニュー項目の配置およびハイライトの順序に基づけば、ユーザが次にどのメニュー項目がハイライトされるかを予測できる場合には、図11に示す事象関連電位が得られることは当業者であれば容易に判断できる。よって、たとえば、斜めに配列されたメニュー項目を一定の方向に順にハイライトさせる場合や、昇順(下から上)にハイライトさせる場合/ユーザが学習したある順序(たとえば1つ飛ばし/使用頻度の順)でハイライトされる場合等であっても、本発明によるメニュー選択処理が可能である。
 上述の実施形態についても、フローチャートを用いて説明した処理はコンピュータに実行されるプログラムとして実現され得る。そのようなコンピュータプログラムは、CD-ROM等の記録媒体に記録されて製品として市場に流通され、または、インターネット等の電気通信回線を通じて伝送される。識別方法処理装置を構成する全部または一部の構成要素や、脳波インタフェース部は、コンピュータプログラムを実行する汎用のプロセッサ(半導体回路)として実現される。または、そのようなコンピュータプログラムとプロセッサとが一体化された専用プロセッサとして実現される。
 本発明の識別方法調整装置および識別方法調整装置が組み込まれた脳波インタフェースシステムによれば、脳波インタフェースを操作しているユーザのハイライト前の脳波の陰性シフト量によって、ユーザがメニュー選択のための脳波を出していないことが検出可能になる。視線検出装置等を加える必要が無いため、コストを抑え、システムの規模も抑えることが可能である。
 識別方法調整装置および脳波インタフェースシステムによれば、メニュー項目がハイライトされる前の脳波(特に事象関連電位)に基づいて、ユーザがどのメニュー項目の選択を希望していたかを判断できる。これにより、処理の高速化が期待でき、かつ、ユーザが意図しない機器動作の減少が実現できる。例えばウェアラブル機器(ヘッドマウントディスプレイや音楽プレーヤ)を脳波インタフェースで操作する場合には、筋電・眼電・商用電源に由来するノイズが混入し、脳波の識別が難しくなることが想定されるが、本発明の識別方法調整装置の適用により、ノイズの影響を受けにくい脳波インタフェースが実現できる。なお、このような識別方法調整装置の機能は、たとえばコンピュータプログラムによって実現することも可能であるため、システムの大幅な改変をすることなく、容易に実装できる。

Claims (9)

  1.  機器の操作メニューを視覚的に提示する出力部と、
     ユーザの脳波信号を取得する生体信号計測部と、
     前記操作メニューを構成する複数のメニュー項目の各々を、前記出力部を介して規則的な順序で提示し、各メニュー項目がハイライトされた後の前記脳波信号に含まれる事象関連電位の成分を予め定められた所定の識別方法を用いて識別し、識別された前記事象関連電位に基づいて前記機器を動作させる脳波インタフェース部と
     を有する脳波インタフェースシステムにおいて、前記脳波インタフェース部の前記識別方法を調整するために用いられる装置であって、
     前記識別方法は、前記脳波信号が予め定められた基準に合致するか否かに応じて、前記事象関連電位の成分を識別する方法であり、
     前記メニュー項目がハイライトされる前の前記事象関連電位の波形の傾きを求める分析部と、
     前記分析部で求めた前記波形の傾きと閾値とを比較し、比較結果に応じて、前記傾きに対応する前記メニュー項目が、前記ユーザが選択を希望するメニュー項目であると判定する判定部と
     を備えた、脳波識別方法の調整装置。
  2.  前記分析部で求めた前記波形の傾きが所定の負の閾値よりも小さい場合には、前記判定部は、前記傾きに対応する前記メニュー項目が、前記ユーザが選択を希望するメニュー項目であると判定し、前記脳波インタフェース部に対して前記判定結果に基づいて前記機器を動作させる、請求項1に記載の調整装置。
  3.  前記傾きに対応する前記メニュー項目が、前記ユーザが選択を希望するメニュー項目であると判定したときにおいて、前記判定部は、前記脳波インタフェース部に対して、前記各メニュー項目がハイライトされた後の前記脳波信号に含まれる事象関連電位の成分の識別を行わないよう指示する、請求項1に記載の調整装置。
  4.  前記判定部は、前記事象関連電位(μV)を時間(s)で除算することによって前記波形の傾きを求め、前記負の閾値である-4と比較する、請求項2に記載の調整装置。
  5.  前記分析部で求めた前記波形の傾きが閾値よりも大きい場合には、前記判定部は、前記脳波インタフェース部に対して指示をせず、
     前記脳波インタフェース部は、各メニュー項目がハイライトされた後の前記脳波信号に含まれる事象関連電位の成分を識別する、請求項2に記載の調整装置。
  6.  前記分析部は、前記脳波インタフェース部からハイライトの時間間隔を示す情報tを取得し、前記メニュー項目がハイライトされる時刻t1よりも所定時間だけ前の時刻t2から、前記時刻t1までの事象関連電位の波形を切り出す、請求項2に記載の調整装置。
  7.  前記分析部は、切り出した前記事象関連電位の波形の傾きを最小二乗法によって求める、請求項6に記載の調整装置。
  8.  機器の操作メニューを視覚的に提示する出力部と、
     ユーザの脳波信号を取得する生体信号計測部と、
     前記操作メニューを構成する複数のメニュー項目の各々を、前記出力部を介して規則的な順序で提示し、各メニュー項目がハイライトされた後の前記脳波信号に含まれる事象関連電位の成分を予め定められた所定の識別方法を用いて識別し、識別された前記事象関連電位に基づいて前記機器を動作させる脳波インタフェース部と
     を有する脳波インタフェースシステムにおいて、前記脳波インタフェース部の前記識別方法を調整するために用いられる方法であって、
     前記識別方法は、前記脳波信号が予め定められた基準に合致するか否かに応じて、前記事象関連電位の成分を識別する方法であり、
     前記メニュー項目がハイライトされる前の前記事象関連電位の波形の傾きを求めるステップと、
     前記傾きを求めるステップで求めた前記波形の傾きと閾値とを比較し、比較結果に応じて、前記傾きに対応する前記メニュー項目が、前記ユーザが選択を希望するメニュー項目であると判定するステップと
     を包含する、調整方法。
  9.  機器の操作メニューを視覚的に提示する出力部と、
     ユーザの脳波信号を取得する生体信号計測部と、
     前記操作メニューを構成する複数のメニュー項目の各々を、前記出力部を介して規則的な順序で提示し、各メニュー項目がハイライトされた後の前記脳波信号に含まれる事象関連電位の成分を予め定められた所定の識別方法を用いて識別し、識別された前記事象関連電位に基づいて前記機器を動作させる脳波インタフェース部と
     を有する脳波インタフェースシステムにおいて、前記脳波インタフェース部の前記識別方法を調整するために用いられるコンピュータプログラムであって、
     前記識別方法は、前記脳波信号が予め定められた基準に合致するか否かに応じて、前記事象関連電位の成分を識別する方法であり、
     前記コンピュータプログラムは、前記脳波インタフェースシステムに実装されるコンピュータに対し、
     前記メニュー項目がハイライトされる前の前記事象関連電位の波形の傾きを求めるステップと、
     前記傾きを求めるステップで求めた前記波形の傾きと閾値とを比較し、比較結果に応じて、前記傾きに対応する前記メニュー項目が、前記ユーザが選択を希望するメニュー項目であると判定するステップと
     を実行させる、コンピュータプログラム。
PCT/JP2009/001370 2008-04-04 2009-03-26 脳波識別方法の調整装置、方法およびコンピュータプログラム WO2009122685A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN2009801039839A CN101932989B (zh) 2008-04-04 2009-03-26 脑波识别方法的调整装置、方法以及计算机程序
JP2009534007A JP4460644B2 (ja) 2008-04-04 2009-03-26 脳波識別方法の調整装置、方法およびコンピュータプログラム
US12/706,065 US8326409B2 (en) 2008-04-04 2010-02-16 Adjustment device, method, and computer program for a brainwave identification system

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2008098339 2008-04-04
JP2008-098339 2008-04-04

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US12/706,065 Continuation US8326409B2 (en) 2008-04-04 2010-02-16 Adjustment device, method, and computer program for a brainwave identification system

Publications (1)

Publication Number Publication Date
WO2009122685A1 true WO2009122685A1 (ja) 2009-10-08

Family

ID=41135093

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2009/001370 WO2009122685A1 (ja) 2008-04-04 2009-03-26 脳波識別方法の調整装置、方法およびコンピュータプログラム

Country Status (4)

Country Link
US (1) US8326409B2 (ja)
JP (1) JP4460644B2 (ja)
CN (1) CN101932989B (ja)
WO (1) WO2009122685A1 (ja)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
RU2410026C2 (ru) * 2006-11-15 2011-01-27 Панасоник Корпорэйшн Аппарат настройки для способа идентификации мозговых волн, способ настройки и компьютерная программа
US10373143B2 (en) 2015-09-24 2019-08-06 Hand Held Products, Inc. Product identification using electroencephalography
TR202002077A2 (tr) * 2020-02-12 2021-08-23 Izmir Cigli Cigli Fen Lisesi Engelli̇ i̇leti̇şi̇m si̇stemi̇
CN116898439B (zh) * 2023-07-07 2024-07-19 湖北大学 一种利用深度学习模型分析脑电波的情绪识别方法及系统

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2007148469A1 (ja) * 2006-06-21 2007-12-27 Panasonic Corporation サービス提供システム

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2899194B2 (ja) * 1993-06-30 1999-06-02 キヤノン株式会社 意思伝達支援装置及び意思伝達支援方法
JP3323895B2 (ja) 1995-05-23 2002-09-09 株式会社日立製作所 電力変換器の制御装置
US5638826A (en) * 1995-06-01 1997-06-17 Health Research, Inc. Communication method and system using brain waves for multidimensional control
US6001065A (en) * 1995-08-02 1999-12-14 Ibva Technologies, Inc. Method and apparatus for measuring and analyzing physiological signals for active or passive control of physical and virtual spaces and the contents therein
JPH10146323A (ja) 1996-11-18 1998-06-02 Suzuki Motor Corp 脳波測定装置
CN2319065Y (zh) * 1997-12-03 1999-05-19 郑春池 脑电波激能装置
AU2002234125A1 (en) * 2000-12-18 2002-07-01 Human Bionics Llc Method and system for initiating activity based on sensed electrophysiological data
KR100449146B1 (ko) * 2001-12-19 2004-09-18 씨제이 주식회사 헬리코박터 파이로리 및 식중독균 억제 효과를 갖는발효식품의 제조방법 및 그 제조방법에 의해 제조된발효식품
JP3993069B2 (ja) * 2002-10-30 2007-10-17 三菱電機株式会社 脳波信号を利用した制御装置
US7546158B2 (en) * 2003-06-05 2009-06-09 The Regents Of The University Of California Communication methods based on brain computer interfaces
WO2005001677A1 (ja) 2003-06-27 2005-01-06 Matsushita Electric Industrial Co., Ltd. サービス提供装置
JP4369290B2 (ja) 2003-07-02 2009-11-18 尚之 加納 事象関連電位を利用したヒトの心理状態等の判定装置
WO2006003901A1 (ja) * 2004-07-02 2006-01-12 Matsushita Electric Industrial Co., Ltd. 生体信号利用機器およびその制御方法
CN101080752B (zh) * 2005-12-09 2010-05-19 松下电器产业株式会社 信息处理系统、信息处理装置及方法

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2007148469A1 (ja) * 2006-06-21 2007-12-27 Panasonic Corporation サービス提供システム

Also Published As

Publication number Publication date
JP4460644B2 (ja) 2010-05-12
CN101932989A (zh) 2010-12-29
US20100145218A1 (en) 2010-06-10
US8326409B2 (en) 2012-12-04
CN101932989B (zh) 2013-04-17
JPWO2009122685A1 (ja) 2011-07-28

Similar Documents

Publication Publication Date Title
JP4659905B2 (ja) 脳波識別の要否を決定する装置および方法
JP4856791B2 (ja) 脳波インタフェースシステム、脳波インタフェース提供装置、脳波インタフェースの実行方法、および、プログラム
JP4399513B2 (ja) 脳波インタフェースシステム、脳波インタフェース装置、方法およびコンピュータプログラム
JP4630382B2 (ja) 脳波インタフェースシステムに組み込まれる補正装置、方法およびコンピュータプログラム
JP4399515B1 (ja) 脳波信号の識別方法を調整する装置、方法およびプログラム
US8521271B2 (en) Brain wave identification method adjusting device and method
JP4465414B2 (ja) 脳波を用いた機器の制御方法および脳波インタフェースシステム
US7716697B2 (en) Information processing system, information processing apparatus, and method
JP4287903B2 (ja) 脳波インタフェースシステムおよび起動装置
US7536270B2 (en) Service providing system, disappointment judging system, and disappointment judging method
JP4531864B2 (ja) 咀嚼筋電を用いたインタフェースシステム
JP4460644B2 (ja) 脳波識別方法の調整装置、方法およびコンピュータプログラム
JP2009199535A (ja) 脳波識別方法の調整装置および方法
JP2009268826A (ja) 脳波識別方法調整装置および方法
EP3716016B1 (en) Method and brain-computer interface system for recognizing brainwave signals
JP2007052601A (ja) ユーザビリティ評価装置、ユーザビリティ評価方法およびプログラム

Legal Events

Date Code Title Description
WWE Wipo information: entry into national phase

Ref document number: 200980103983.9

Country of ref document: CN

WWE Wipo information: entry into national phase

Ref document number: 2009534007

Country of ref document: JP

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 09728266

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 09728266

Country of ref document: EP

Kind code of ref document: A1