WO2010004710A1 - 咀嚼筋電を用いたインタフェースシステム - Google Patents

咀嚼筋電を用いたインタフェースシステム Download PDF

Info

Publication number
WO2010004710A1
WO2010004710A1 PCT/JP2009/003078 JP2009003078W WO2010004710A1 WO 2010004710 A1 WO2010004710 A1 WO 2010004710A1 JP 2009003078 W JP2009003078 W JP 2009003078W WO 2010004710 A1 WO2010004710 A1 WO 2010004710A1
Authority
WO
WIPO (PCT)
Prior art keywords
masticatory
menu
unit
maximum amplitude
latency
Prior art date
Application number
PCT/JP2009/003078
Other languages
English (en)
French (fr)
Inventor
足立信夫
森川幸治
Original Assignee
パナソニック株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by パナソニック株式会社 filed Critical パナソニック株式会社
Priority to JP2010512454A priority Critical patent/JP4531864B2/ja
Priority to CN2009801116553A priority patent/CN101981533A/zh
Publication of WO2010004710A1 publication Critical patent/WO2010004710A1/ja
Priority to US12/715,447 priority patent/US20100160808A1/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/015—Input arrangements based on nervous system activity detection, e.g. brain waves [EEG] detection, electromyograms [EMG] detection, electrodermal response detection

Definitions

  • the present invention relates to an interface system for equipment. More specifically, the present invention relates to a device interface system using user's biological information (myoelectricity that can be measured around the head).
  • the user uses a hand to input an input command via an input means (interface unit) such as a button, thereby realizing operation of the device.
  • an input means such as a button
  • an input means such as a button
  • myoelectricity (hereinafter referred to as “masticatory electromyogram” in this specification), which is measured around the head as a biological signal and is generated by the activity of the masticatory muscles involved in mandibular movement, An input means using the above has been developed.
  • Masticatory myoelectricity is also generated by, for example, conversation in daily life and movements of the temporomandibular joint resulting from mastication to eat things. Therefore, in order to realize an interface using masticatory electromyography, it is distinguished from masticatory myoelectricity that occurs in daily life and masticatory electromyogram that appears due to masticatory muscle activity intentionally performed by the user for operation. There was a need to do. However, since there is no difference in the characteristics (frequency, amplitude, etc.) of masticatory myoelectricity that appears by biting action, whether intentional or not, from among masticatory electromyograms continuously measured during a predetermined period It was difficult to detect only the intentionally expressed masticatory electromyogram.
  • Patent Document 1 discloses a technique for detecting only intentional masticatory myoelectricity and allowing it to be used as a wheelchair control signal by causing a user to perform a special biting operation that does not occur in daily life. This technique is based on the ground that special masticatory myoelectricity generated by a special biting action can be distinguished from masticatory myoelectric in daily life.
  • Patent Document 1 as a special biting operation, (1) continuous biting operation of several hundred milliseconds (hereinafter referred to as “ms”) or more, (2) left side only / right side only biting operation, etc. I am letting you. On top of that, the intentional mastication myoelectricity generated by these special chewing methods was detected by a method of thresholding the difference value of the potential measured by the electrodes attached to the left and right foreheads. .
  • this special clenching method (1) it is possible to generate a continuous operation signal for controlling the electric wheelchair and to realize a continuous running (that is, the time interval for signal ON is specified). And (2) the left / right biting corresponds to the left / right turning of the electric wheelchair and is an easy-to-understand input method, thereby realizing an interface with less burden on the user.
  • Non-Patent Document 1 an input means for identifying an option that the user wants to select using an event-related potential of an electroencephalogram as a biological signal has been developed.
  • the option that the user wants to select is selected using the P3 component of the event-related potential that appears after about 300 ms from the timing when the option is highlighted at random.
  • Techniques for detection are disclosed. With this technology, the user can select the option he / she wishes to select without using his / her hand.
  • the input method using the masticatory electromyogram described in Patent Document 1 has a special (sustained / characteristic) chewing action to distinguish intentional masticatory electromyogram from masticatory electromyogram in daily life. Requesting the user. For this reason, there are problems that (1) operation input cannot be performed in a short time, and (2) the number of commands is limited because there are restrictions on the types of special biting methods. These are particularly problematic when applied as an interface for information devices such as TVs, mobile phones, and HMDs that require immediate operation input and have a large number of commands.
  • the input method using the electroencephalogram described in Non-Patent Document 1 simply outputs the user's selection intention (1 bit information) as to whether or not to select the highlighted menu item. Since selection is possible, there is an advantage that the user can select all commands in the same way.
  • Patent Document 1 it is necessary to attach a plurality of electrodes to the left and right of the forehead to detect the difference between left and right foreheads, and in Non-Patent Document 1, at least one electrode to detect the P3 component. Therefore, electrode mounting has been a burden on the user.
  • An object of the present invention is to provide an interface system that allows menu selection in a short time without repeating special chewing operations and highlights even in situations where masticatory electromyograms in daily life occur, such as during conversation or during meals. Is to provide.
  • the interface system includes an output unit that visually presents an operation menu of a device, a measurement unit that measures a user's masticatory electromyogram, and each menu item constituting the operation menu via the output unit.
  • a menu presentation unit that sequentially presents, an amplitude calculation unit that obtains the maximum amplitude of the potential waveform of the masticatory myoelectric signal, and a time at which the potential waveform has the maximum amplitude starting from the time when each menu item is highlighted
  • the menu presenting unit executes a process corresponding to the highlighted menu item.
  • the menu presentation unit may execute processing corresponding to the highlighted menu item.
  • the measurement unit may measure the masticatory myoelectricity based on a potential difference measured by electrodes attached to the nasal root and mastoid of the user.
  • the interface system further includes a cutout unit that cuts out the masticatory myoelectric potential waveform in accordance with the highlight of each menu item of the menu presenting unit, and the amplitude calculation unit includes a maximum amplitude of the extracted potential waveform. You may ask for.
  • the cutout unit may cut out a time zone including 150 ms to 250 ms after highlighting at least where masticatory myoelectricity for highlighting appears.
  • the determination unit displays the measured masticatory electromyogram as a highlight of the menu item. If the maximum amplitude is greater than a predetermined threshold and the latency is not in the range of about 200 ms, the measured masticatory electromyogram is It may be determined that the menu item highlight is not intentionally displayed.
  • the determination unit determines whether the measured masticatory electromyogram is based on whether the maximum amplitude is greater than a predetermined threshold of 50 ⁇ V and the latency is in the range of about 200 ms. It may be determined that the menu item highlight is intentionally displayed.
  • the determination unit acquires each average value and each variance value of the maximum amplitude and latency for each user, and based on the acquired average value and variance value, each average value ⁇ standard deviation range as a detection target range It may be determined that the measured masticatory electromyogram is intentionally expressed with respect to the highlight of the menu item.
  • the determination unit uses the acquired maximum amplitude ⁇ 50 ⁇ V and the acquired latency ⁇ 50 ms as the detection target range, and the measured masticatory myoelectricity is intentionally applied to the highlight of the menu item. It may be determined that it has been expressed.
  • the order of menu item highlights is switched in descending order or randomly, and the menu presenting unit obtains whether the menu items are switched in descending order or random order, and is detected by the determining unit
  • a switching unit for switching the range may be provided.
  • the switching unit may switch the maximum amplitude and the detection target range of the latency to 200 ⁇ 70 ⁇ V and 280 ⁇ 50 ms, respectively.
  • the menu presenting unit retains an elapsed time since the menu was last presented, and a range determination unit that sets the detection target range of the determination unit in a direction to expand when a predetermined time or more has elapsed. It may be done.
  • the range determining unit In the case where the masticatory myoelectricity is detected after the range determining unit expands the detection target range, the range determining unit newly sets the detected maximum amplitude and latency value of the masticatory myoelectricity in the detection target range.
  • the center value may be set.
  • the method according to the present invention is a method executed in an interface system, the step of visually presenting an operation menu of a device, the step of receiving a measured user's masticatory electromyogram, and each of the operation menus
  • the menu items are sequentially presented via the output unit, the step of obtaining the maximum amplitude of the potential waveform of the masticatory electromyogram, and the potential waveform is the maximum starting from the time when each menu item is highlighted. Determining a latency which is a time to become an amplitude; determining whether or not the maximum amplitude is greater than a predetermined threshold and the latency is within a range of about 200 ms; and the determination And executing a process corresponding to the highlighted menu item according to the determination result of the step.
  • a computer program executed by a computer comprises a step of visually presenting a device operation menu to the computer, a step of receiving a measured user's masticatory electromyogram, and the operation menu.
  • a potential change (masticatory electromyogram) around the head cut out from the menu item highlight is measured, and a maximum amplitude of the masticatory electromyogram is determined in advance (for example, 50 ⁇ V).
  • the measured masticatory myoelectricity is intentionally expressed with respect to the highlight of the menu item based on whether the latency is in the range of about 200 ms or not. Determine whether or not.
  • FIG. 1 It is a figure which shows a highlight type menu presentation method in time series.
  • the masticatory muscles 201 existing around the head of the human body are shown.
  • (A)-(d) is a figure which shows the position of the electrode with which it mounts
  • (A) is the figure which simplified the menu item actually shown to the test subject
  • (b) is a figure which shows the example of a highlight.
  • (A) is the figure which showed the flow on the participant side of the bite selection condition
  • (b) is the flowchart which shows the processing procedure on the participant side of the condition of eating and eating.
  • (A)-(c) is a figure which shows an example of an experimental result.
  • (A) is the figure which plotted the potential waveform cut out for every highlight with / without intentional biting operation under the biting selection condition as a feature amount with respect to latency and maximum amplitude
  • (b) is a bite selection
  • It is the figure which plotted the masticatory myoelectricity in the case where there is intentional biting of the condition, and the masticatory myoelectricity in the condition of beating and eating, with the latency and the maximum amplitude as feature quantities.
  • It is a figure which shows the structure and utilization environment of the interface system 1 using masticatory myoelectricity.
  • FIG. It is a figure which shows the example when operating TV2 in the interface system 1, and the user 5 selects and watches the program which he wants to view. It is a figure which shows the structure of the functional block of the interface system 1 by Embodiment 1.
  • FIG. It is a flowchart which shows the process sequence of the interface system 1 which determines whether the user performed intentional biting operation
  • FIG. 10 is a flowchart illustrating a processing procedure of the interface system 2 according to the second embodiment. It is the figure which plotted the result which carried out descending order experiment with respect to the same experiment participant on another day, using latency and the maximum amplitude as a feature quantity. It is a figure which shows the structure of the functional block of the interface system 3 by Embodiment 3.
  • FIG. 14 is a flowchart illustrating a processing procedure of the interface system 3 according to the third embodiment.
  • the inventors of the present application intentionally simultaneously with or immediately after the highlight of the menu item to be selected.
  • the present inventors have found a method for accurately detecting the biting operation when the biting operation is performed. Specifically, when the user performs an intentional biting operation at the same time as or immediately after the highlight of the menu item to be selected, the user's nose root and mastoid (the position where the glasses touch the ear when wearing glasses) We found that the maximum amplitude and latency of masticatory electromyogram potential waveforms extracted from menu item highlights appeared stably at around 100 ⁇ V and around 200 ms, respectively. .
  • the expression “before and after” of the numerical value X such as “around 100 ⁇ V” and “around 200 ms” is used. This is also described as “about” X. Both are intended to encompass ranges that include the numerical value X. The extent to which the range is expanded needs to be determined in consideration of multiple factors such as individual differences in biological signals corresponding to the numerical values and measurement errors of the target numerical values.
  • a “detection target range” is defined in the embodiment.
  • the detection target range may be regarded as “around X”. For example, when the maximum amplitude of the masticatory electromyogram potential waveform is “around 100 ⁇ V”, it may mean 100 ⁇ 50 ⁇ V. Further, when the latency is “around 200 ms”, it may mean a time zone including 200 ⁇ 50 ms.
  • FIG. 1 is a diagram showing a highlight menu presentation method in time series. Screens 7a-1 to 7a-4 show how the operation menus of the four devices are highlighted one by one.
  • the option group related to the device operation shown in FIG. 1 is “menu”, each option is “menu item”, and the menu item that the user wants to select is “selection item”. Define.
  • the user can select the menu item simply by outputting the presence / absence (1 bit information) of the user's intention to select the highlighted menu item. .
  • the “event-related potential” refers to a transient potential fluctuation in the brain that is temporally related to an external or internal event
  • its “P3 component” is generally an event-related potential. Of these, it is often treated as indicating a positive component of an event-related potential that appears around 300 ms from the starting point regardless of the type of sensory stimulation such as auditory, visual, and somatic sensations.
  • the P3 component When using the P3 component, it is known that a skilled user can detect the selection intention even if the highlight time interval is 125 ms. For example, if the number of menu items is four, all the menu items are displayed. The time required for highlighting is as short as 500 ms. However, since the P3 component of the event-related potential has a low S / N, it is necessary to repeat highlighting in order to accurately detect the selection intention. For example, when highlighting is repeated five times, it takes 2.5 seconds to output the selection intention.
  • the highlight interval cannot be set short because the temporal relationship between highlight onset and special masticatory myoelectricity due to intentional mastication is unknown. Therefore, for example, 1 second or more is required. Therefore, menu selection in a short time is considered difficult. Furthermore, since a long-time biting operation that does not occur in daily life is targeted for detection, a problem that the detection of the operation intention is delayed is also expected.
  • the inventors of the present application have shown the temporal relationship with the characteristics of masticatory myoelectricity that appears when an intentional biting operation is performed immediately after highlighting in highlight type menu presentation, particularly highlight onset.
  • an experiment was conducted to search for the characteristics of masticatory myoelectricity under the condition of performing a short biting action immediately after highlighting the selection target item.
  • masticatory myoelectricity appeared stably with a maximum amplitude of about 100 ⁇ V and about 200 ms after the highlight.
  • masticatory myoelectricity (non-addition) that was intentionally displayed for the selected item highlight occurred in daily life with the maximum amplitude and latency of the potential waveform cut out from the highlight as features. It was found that it can be distinguished from masticatory myoelectricity. This makes it possible to realize an interface system that allows menu selection in a short time without repeating special chewing operations or highlights even in situations where masticatory electromyograms occur in everyday life, such as during conversation or during meals. .
  • FIG. 2 shows the masticatory muscles 201 existing around the head of the human body.
  • the masticatory muscle 201 is a general term for the masseter, temporal muscle, lateral pterygoid, and medial pterygoid, but each of them is not distinguished in FIG.
  • the electrodes can be mounted at various positions around the human head.
  • the electrodes are on the eye (upper edge of the orbit), next to the eye (outer edge of the orbit (outer eyelid angle)), nose root, above the ear (ear). Attached to the upper base).
  • a so-called head mounted display has a function of measuring masticatory myoelectricity.
  • the lower part of the base) and the peripheral part of the ear such as the front part of the ear can also be used as the measurement target.
  • FIG. 3B shows an earlobe, a mastoid, a tragus, a posterior root of the ear, and the like.
  • the present inventors selected the mastoid (mastoid process), which is the projection of the skull at the base of the back of the ear, on behalf of the peripheral part of the ear, and compared with the position of the electrode conventionally used on the face part.
  • the identification rate evaluation experiment of the interface system with mastoid as the reference electrode was carried out.
  • FIG. 3 (c) is a diagram showing an electrode mounting position for potential measurement. Electrodes were attached to the nasal root and mastoid, and the potential of the nasal root relative to the mastoid was measured.
  • the nose root part and the mastoid are the parts where the nose pad and the ear pad are in contact with each other when wearing glasses, and are positions where measurement can be performed naturally when wearing the glasses-type device (FIG. 3D).
  • a system reference was attached to the mastoid on the side opposite to the reference electrode.
  • the electrode mounting position is set across the masticatory muscles. “Straddling” means that one electrode is disposed on the skin on the masticatory muscle and the other electrode is disposed on the skin at a position where the masticatory muscle does not exist. When worn under such conditions, masticatory electromyography caused by masticatory muscle activity can be reliably measured.
  • the above-described electrode mounting positions are examples, and there may be other electrode arrangements that can detect masticatory myoelectricity by straddling the masticatory muscles. The potential change was measured at a sampling frequency of 200 Hz and a time constant of 1 second.
  • a highlight menu that highlights the four menu items shown in Fig. 1 in descending order.
  • the highlight interval was 350 ms.
  • the visual stimulus was presented on a 37-inch plasma display placed 2 m in front of the subject.
  • Biting selection condition A condition for intentionally biting with respect to the highlight of the selection target item. More specifically, it is a condition that imposes a problem that an intentional biting operation is performed on the highlight by the instructed biting method.
  • intentional bite means, for example, a state in which teeth are lightly engaged (that is, a state where upper teeth and lower teeth are in contact with each other), and then the pressure of the biting force is determined from that state. It means to put it on.
  • the inventors of the present application instructed to bite for a short time immediately after highlighting a selection target item from a state where the teeth are lightly fitted as a biting method under the biting selection conditions.
  • Eating conditions This is a condition that imposes the problem of eating rice while watching the highlights of the menu items.
  • Step S50 is a step of starting measurement of the potential (masticatory electromyogram) of the subject.
  • Step S51 is a step in which four menu items of the highlight menu are presented and the type of menu item is shown to the user.
  • FIG. 5A is a simplified diagram of menu items actually presented to the subject. In the experiment by the inventors of the present application, it was presented for 2 seconds. Note that step S51 also has an effect of stabilizing the measurement potential before starting the menu item highlight and reducing noise such as electrooculosis.
  • Step S52 is a step of selecting the next menu item to be highlighted in descending order.
  • Step S53 is a step of highlighting the menu item selected in step S52 for 350 ms.
  • FIG. 5B is a diagram showing an example of highlight. As shown in FIG. 5B, the menu item itself may be highlighted, or may be indicated by an arrow or the like instead of highlighting or simultaneously with highlighting. 5A and 5B are not related to each other, and are described as examples.
  • Step S54 is a step of cutting out a potential waveform of 100 ms before highlighting (hereinafter referred to as ⁇ 100 ms) and 400 ms after highlighting, with the time when the menu item was highlighted in step S53 as 0 ms.
  • the extracted potential waveform is subjected to baseline correction using an average potential of 100 ms before highlighting.
  • Step S55 is a branch based on the number n of times that the menu item is highlighted. If the number of highlights is less than the number of menu items, the process proceeds to step S52, and all the menu items are highlighted. Since masticatory myoelectricity has strong signal strength, it can be assumed that repeated highlighting is unnecessary.
  • step S50 to step S55 described above four potential waveforms starting from the highlight when each menu item is highlighted can be recorded.
  • FIGS. 6 (a) and 6 (b) are the figures which showed the flow by the side of the participant of a bite selection condition.
  • Step S61 is a step of viewing the menu presented in step S51 in FIG.
  • the subject is instructed in advance to select from the top of the menu items, and moves the line of sight to the menu item to be selected.
  • the instruction of the selection target item corresponds to a device operation that the user wants to realize when actually using the bite interface.
  • Step S62 is a branch depending on whether or not the menu item to be selected is highlighted by looking at the highlight of the menu item presented in steps S52 to S55 in FIG. 4. If Yes in step S62, the process proceeds to step S63. If No, the process proceeds to step S61.
  • Step S63 is a step of performing a short biting operation immediately after highlighting when the menu item to be selected is highlighted in step S61.
  • the biting operation is performed by a method of “biting for a short time from a state where the teeth are lightly fitted” as instructed in advance.
  • Step S64 is a branch depending on whether or not the highlighting is completed. If Yes in Step S64, the process proceeds to the end. If No, the process proceeds to Step S61.
  • FIG. 6 (b) is a diagram showing a flow on the participant's side under the conditions of speaking and eating. Steps that perform the same processing as the selection conditions shown in FIG. 6A are given the same reference numerals, and descriptions thereof are omitted.
  • step S65 is performed instead of step S62 and step S63 for generating masticatory electromyography for menu selection.
  • Step S65 is a step of executing the act of continuously cooking under the conditions of boiling and eating rice continuously under the conditions of eating as instructed in advance.
  • FIGS. 7A to 7C show potential waveforms obtained by cutting out potential changes from ⁇ 100 to 400 ms from the highlight on the same scale.
  • the horizontal axis represents time, the unit is ms, and the vertical axis. Is potential and the unit is ⁇ V. The scale is described only in FIG.
  • FIG. 7A shows the result of the biting selection condition, and the potential waveform when the intentional biting operation is performed on the selection target item highlight is indicated by a thick solid line, and the non-selection item highlight is bitten.
  • the potential waveform in the case of not being shown is shown by a thin solid line.
  • FIG. 7 (b) shows the potential waveform in the case of continuing to speak regardless of the menu item highlight as a result of the speaking condition. Since there is no difference in conditions for each highlight, the waveforms for all highlights are shown by thin solid lines. It can be seen that each potential waveform has a high amplitude but moderate fluctuation.
  • FIG. 7 (c) shows a result of the eating condition, and shows a potential waveform when eating rice regardless of the menu item highlight. Since there is no difference in conditions for each highlight, the waveforms for all highlights are shown by thin solid lines. It can be seen that both high amplitude and high frequency changes and high amplitude and low frequency potential changes are mixed.
  • masticatory electromyograms intentionally expressed as a selection condition for chewing are obtained by using the feature quantity used for identification by the inventors of the present invention, and (1) a potential waveform of masticatory electromyogram under the non-chucking condition of the selection condition for chewing, (2) Explain that the potential waveform of masticatory myoelectricity generated by speaking and eating in daily life can be identified.
  • FIG. 8A is a diagram in which the potential waveform cut out for each highlight with / without intentional biting operation under the biting selection condition is plotted with the latency and maximum amplitude as feature quantities.
  • latency means the time at which the maximum amplitude is taken, starting from the time when the menu item is highlighted. The time when the menu item is highlighted is shown on the horizontal axis of FIG. 8A, and the unit is ms. The vertical axis indicates the maximum amplitude, and the unit is ⁇ V. The case where there is intentional biting is plotted as ⁇ (40), and the case where there is no bite is plotted as X (80).
  • Fig. 8 (a) shows that masticatory myoelectricity generated by the chewing action immediately after highlighting the menu item has a small maximum amplitude and latency dispersion.
  • the maximum amplitude and latency of masticatory electromyograms ⁇ mean dispersion of 104.3 ⁇ 32.9 ( ⁇ V) ⁇ 201.3 ⁇ 37.8 (ms).
  • the intentional masticatory electromyogram for the selection target item highlight appears characteristically at a maximum amplitude of about 100 ⁇ V at a latency of about 200 ms.
  • FIG. 8 (b) is a diagram in which masticatory electromyograms with intentional biting as a selection condition for chewing and masticatory electromyograms under the conditions of mastication and eating are plotted with the latency and maximum amplitude as feature quantities.
  • the horizontal axis represents latency (ms)
  • the vertical axis represents maximum amplitude ( ⁇ V).
  • ⁇ maximum amplitude
  • a case where there is intentional biting is indicated by a mark ⁇
  • a condition for beating is indicated by a mark *
  • a condition for eating is indicated by a mark X.
  • the plot (circle mark) in case there exists intentional biting is the same data as Fig.8 (a).
  • the maximum amplitudes under the speaking conditions and the eating conditions were 43.7 ⁇ 30.0 and 316.2 ⁇ 144.4 (average ⁇ standard deviation), respectively.
  • threshold processing is performed with a maximum amplitude of, for example, 50 ⁇ V, 30% of the speaking condition and 95% of the eating condition are erroneously detected. It is difficult to realize accuracy identification.
  • the mastication myoelectricity for the selected item highlight can be detected with high accuracy even in situations where mastication myoelectricity occurs in daily life due to limited range of maximum amplitude and latency. it can. As a result, it is possible to realize a biting interface with few malfunctions even during a conversation or a meal, for example.
  • the interface system described in the following embodiments detects masticatory myoelectricity that appears by intentional clenching operation immediately after highlighting using the maximum amplitude and latency as an index, for example, in daily life such as during conversation or during meals.
  • An interface system that enables menu selection in a short time without special chewing action or repeated highlights is realized even in the situation where chewing myoelectricity occurs. This is based on the characteristics of masticatory myoelectricity intentionally expressed with respect to the highlights found by the inventors through experiments.
  • FIG. 9 shows the configuration and usage environment of an interface system 1 (hereinafter referred to as “interface system 1”) using masticatory myoelectricity.
  • interface system 1 This interface system 1 is illustrated corresponding to the system configuration of the first embodiment described later.
  • the interface system 1 selects a menu item presented on the output unit 7 by the highlight type menu presentation unit 100 using an electrical biosignal (masticatory electromyography) measured around the head of the user 5 to select the TV 2 It is a system for providing an interface for operating.
  • the potential difference between the electrode A attached to the nose root of the user 5 (the part where the nose pad of the glasses contacts) and the electrode B attached to the mastoid (the part where the ear pad of the glasses contacts) is acquired by the biological signal measuring unit 50, It is transmitted to the masticatory electromyogram detection device 10 wirelessly or by wire.
  • the masticatory electromyogram detection device 10 built in the TV 2 detects a user's intention to select a menu using the transmitted potential change, and performs processing such as channel switching.
  • FIG. 9 shows an example in which a separate TV 2 is operated by a glasses-type operation device (biological signal measurement unit 50).
  • a glasses-type operation device biological signal measurement unit 50.
  • FIG. 10 shows an example when the user operates the TV 2 in the interface system 1 to select and watch a program that the user 5 wants to view.
  • the screens 7a-1 to 7a-4 at the top of FIG. 10 are examples of menus that the highlight menu presenting unit 100 presents to the user via the screen 7a of the TV 2.
  • the menu items “baseball” and “weather forecast” are selected from the four menu items “baseball”, “weather”, “animation” and “news”, respectively. Shows how is highlighted.
  • “animation” and “news” are displayed.
  • the potential waveform 5a-2 shows a state in which masticatory myoelectrically appeared about 200 ms after the “weather forecast” is highlighted in that situation.
  • the masticatory myoelectric detection device 10 detects intentionally expressed masticatory myoelectricity for the highlight of “weather forecast” (5a-2), and the channel is switched to “weather forecast”. It shows the state.
  • FIG. 11 shows a functional block configuration of the interface system 1 according to the present embodiment.
  • the interface system 1 includes an output unit 7, a masticatory electromyogram detection device 10, a biological signal measurement unit 50, and a highlight type menu presentation unit 100.
  • FIG. 11 also shows detailed functional blocks of the masticatory electromyogram detection apparatus 10.
  • the user 5 block is shown for convenience of explanation.
  • the output unit 7 shows a screen for presenting a menu or the like to the user 5.
  • the user 5 pays attention to whether or not the menu item related to the device operation presented on the output unit 7 by the highlight type menu presentation unit 100 is highlighted, and intentionally bites the highlight of the selection target item. It is only performed and no operation input is performed via a button or the like.
  • the interface system 1 detects the user's biting operation, identifies the menu item that is the target of the biting operation, and operates the device according to the menu item selected via the highlight menu presentation unit 100.
  • the “device” is a TV corresponding to the output unit 7, and the “operation” is a channel switching operation, but this is an example.
  • a device different from the TV for example, a recording device or a DVD playback device (not shown) may be used.
  • the masticatory myoelectric detection device 10 is connected to the biological signal measurement unit 50 and the highlight type menu presentation unit 100 by wire or wirelessly, and transmits and receives signals.
  • the biological signal measurement unit 50 and the highlight type menu presentation unit 100 are separate from the masticatory electromyogram detection apparatus 10, but this is an example. Part or all of the biological signal measuring unit 50 and the highlight type menu presenting unit may be provided in the masticatory electromyogram detection apparatus 10.
  • the biological signal measuring unit 50 is an electromyograph that detects a biological signal of the user 5 and measures myoelectricity generated by mastication or the like as a biological signal.
  • the biological signal measuring unit 50 may be a glasses-type device as shown in FIG. 1 to measure a potential difference between the nose pad and the ear pad. It is assumed that the user 5 is wearing the biological signal measuring unit 50 in advance.
  • the biological signal measuring unit 50 can measure a potential change around the face of the user 5.
  • the measured potential change of the user 5 is sampled so as to be processed by a computer, and is sent to the masticatory electromyogram detection apparatus 10 in real time.
  • the measured potential is preliminarily subjected to, for example, 0.1 to 30 Hz band-pass filter processing in the biological signal measuring unit 50, and the menu item high Assume that baseline correction is performed with an average potential of, for example, 100 ms before writing.
  • the highlight type menu presentation unit 100 highlights menu items related to device operation at intervals of 350 ms, for example. In order to specify which highlight the masticatory electromyogram is for, it is necessary to set the interval between the highlights more than the dispersion of the masticatory electromyogram latency. Since the latency dispersion is 37.8 (ms) in the above experimental result, the highlight interval may be set to 100 ms, for example.
  • the highlight menu presentation unit 100 issues a device operation control command in accordance with the identification result of the masticatory electromyogram detection apparatus 10. If the device controlled using the highlight menu presentation unit 100 is, for example, the TV 2 shown in FIG. 9, the menu is presented to the user 5 via the output unit 7 (screen 7a).
  • One of the main features of the present invention is the configuration and operation of the masticatory electromyogram detection apparatus 10.
  • the masticatory myoelectric detection device 10 includes a biological signal cutout unit 11, a maximum amplitude calculation unit 12, a latency calculation unit 13, and a mastication myoelectric determination unit 14.
  • the biological signal cutout unit 11 cuts out and extracts the potential waveform of the masticatory myoelectric signal sent from the biological signal measurement unit 50 in real time starting from the timing of the menu item highlight sent from the highlight type menu presentation unit 100. Perform baseline correction.
  • the time period for cutting out the potential waveform may be set to ⁇ 100 to 400 ms so as to include the time period from 150 to 300 ms after highlighting, with the menu item highlight timing set to 0 ms, or may be set to ⁇ 300 to 300 ms. Further, according to the highlight interval, for example, a time width may be set such that the menu item is not highlighted multiple times.
  • Baseline correction may be performed by a method of subtracting the average potential for 100 ms before highlighting the menu item from the whole, or by using an average potential of an arbitrary time width.
  • the biological signal cutout unit 11 sends the potential waveform to the maximum amplitude calculation unit 12 after completion of the waveform cutout / baseline correction.
  • the maximum amplitude calculation unit 12 calculates the maximum amplitude of the masticatory electromyogram potential waveform sent from the biological signal cutout unit 11 and sends the information to the mastication myoelectric determination unit 14.
  • the maximum amplitude of the masticatory myoelectric potential waveform is, for example, the maximum value of the potential when 0 ⁇ V is used as a reference.
  • the maximum amplitude calculator 12 sends a masticatory myoelectric potential signal to the latency calculator 13.
  • the waveform may be sent to the latency calculation unit 13 only when the maximum amplitude is greater than or equal to the threshold value.
  • the threshold value may be set to 100 ⁇ V, for example, or a value may be set for each user.
  • the latency calculation unit 13 obtains the latency of the potential waveform sent from the maximum amplitude calculation unit 12 (the time when the potential waveform has the maximum amplitude with the menu item highlight time being 0 ms), and obtains the obtained latency information. It is sent to the mastication electromyography determination unit 14.
  • the potential waveform to be processed by the maximum amplitude calculation unit 12 and the latency calculation unit 13 is a waveform obtained by being cut out by the biological signal cutout unit 11. Therefore, the start point of the received waveform corresponds to the menu item highlight timing. Therefore, if the maximum amplitude calculation unit 12 and the latency calculation unit 13 obtain the maximum amplitude and the time at each time of the received waveform, the above-described maximum amplitude and latency can be obtained.
  • the masticatory electromyogram determination unit 14 determines the presence or absence of intentionally expressed mastication myoelectricity for the menu item highlight based on the maximum amplitude and latency sent from the maximum amplitude calculation unit 12 and the latency calculation unit 13. The result is sent to the highlight type menu presentation unit.
  • a determination criterion for example, a case where the maximum amplitude / latency is in the range of 100 ⁇ 50 ⁇ V and 200 ⁇ 50 ms may be detected, and the user 5 may intentionally engage immediately after highlighting the menu item.
  • the average value and variance of the maximum amplitude / latency may be measured for each user, and the range may be set as average value ⁇ standard deviation.
  • FIG. 12 shows a processing procedure of the interface system 1 for determining whether or not the user has performed an intentional biting operation for a short time immediately after the menu item highlight.
  • step S101 the highlight type menu presenting unit 100 presents, for example, an operation menu of four menu items (for example, FIG. 5A).
  • step S102 the highlight type menu presentation unit 100 sequentially selects menu items to be highlighted one by one from the top.
  • step S103 the menu item selected in step S102 is highlighted.
  • the highlight interval may be, for example, 100 ms as long as it is larger than the dispersion of the masticatory electromyogram latency and the user 5 can recognize the highlight.
  • step S104 the biological signal measuring unit 50 measures the potential change (masticatory myoelectricity) of the user 5.
  • step S20 the masticatory electromyogram detection apparatus 10 identifies whether or not the potential waveform measured in step S104 includes masticatory myoelectrically expressed for the menu item highlight.
  • the detailed processing procedure of step S20 will be described later.
  • step S20 If Yes in step S20, the process proceeds to step S105. If No, the process returns to step S102 to select the next menu item.
  • step S106 the highlight type menu presenting unit 100 executes a process corresponding to the menu item selected in step S20. Thereby, the menu item is selected and executed.
  • menu selection can be realized in a short time without repeating special biting operations and highlights, for example, even during conversation or during a meal. Therefore, the operability of the device is greatly improved.
  • FIG. 13 is realized by the biological signal cutout unit 11, the maximum amplitude calculation unit 12, the latency calculation unit 13, and the mastication myoelectric determination unit 14 constituting the mastication electromyogram detection apparatus 10, and the user 5 immediately after the menu item highlight. Shows a detailed procedure for determining whether or not an intentional biting operation has been performed.
  • step S ⁇ b> 21 in FIG. 13 the biological signal cutout unit 11 highlights the menu item in the highlight type menu presentation unit 100 based on the potential change of the nasal root and mastoid of the user 5 measured by the biological signal measurement unit 50.
  • the potential waveform of masticatory myoelectricity is cut out from the starting timing and the baseline is corrected.
  • the time period for cutting out the potential waveform may be set to ⁇ 100 to 400 ms so as to include the time period from 150 to 300 ms after highlighting, with the menu item highlight timing set to 0 ms, or may be set to ⁇ 300 to 300 ms.
  • Baseline correction may be performed by a method of subtracting the average potential for 100 ms before highlighting the menu item from the whole, or by using an average potential of an arbitrary time width. Then, the biological signal cutout unit 11 sends the potential waveform after the baseline correction to the maximum amplitude calculation unit 12.
  • step S22 the maximum amplitude calculation unit 12 receives the potential waveform from the biological signal cutout unit 11, obtains the maximum value of the amplitude, and sends the potential waveform to the latency calculation unit 13. On the other hand, the information of the obtained maximum amplitude is sent to the mastication electromyogram determination unit 14.
  • step S23 the latency calculation unit 13 obtains the latency of the potential waveform (the time when the potential waveform has the maximum amplitude with the menu item highlight time set to 0 ms), and uses the obtained latency information as the mastication myoelectric determination unit 14. Send to.
  • step S24 the masticatory electromyogram determining unit 14 determines whether or not there is intentionally expressed masticatory myoelectricity for the menu item highlight based on the maximum amplitude and the latency sent from the maximum amplitude calculating unit 12 and the latency calculating unit 13. Determine. As a criterion, for example, a case where the maximum amplitude / latency is in the range of 100 ⁇ 50 ⁇ V and 200 ⁇ 50 ms may be detected, or the average value and variance of the maximum amplitude / latency are measured, and the average value ⁇ A range may be set like a standard deviation. If Yes in step S24, the process proceeds to step S25. If No, the process proceeds to step S26.
  • step S25 the masticatory electromyogram determination unit 14 determines that the user 5 has intentionally bitten immediately after the menu item highlight.
  • step S25 the masticatory electromyogram determination unit 14 determines that the user 5 did not perform the biting operation immediately after the menu item highlight.
  • the highlight type menu presentation unit 100 highlights the menu items in order from the top, and the intentional masticatory electromyogram that stably appears around 200 ms from the highlight is maximized.
  • a menu can be selected in a short time, and an interface with few malfunctions is realized even during a conversation or a meal.
  • the inventors of the present application conducted an additional experiment (random experiment) on the condition that menu items are highlighted in a random order in addition to the above-described experiment. We found that the maximum amplitude and latency of masticatory myoelectricity expressed in the above changes.
  • the interface system detects masticatory myoelectrically expressed by switching the detection target range of the maximum amplitude and the latency according to the order of the menu item highlight.
  • intentional masticatory myoelectricity generated by a chewing operation immediately after highlighting can be detected with high accuracy.
  • the random highlight order is particularly effective when the menu items that the user often selects on the device side are known in advance.
  • step S52 of FIG. 4 was changed, and the order of menu item highlighting was made random.
  • the other experimental settings are the same as the biting selection conditions in the above-described experiment (descending order experiment), and thus detailed description of the experiment is omitted.
  • FIG. 14 is a diagram in which the latency and the maximum amplitude are plotted as feature amounts as a result of the biting selection conditions of the random experiment and the descending order experiment.
  • the horizontal axis is the time when the menu item highlight time is 0 ms, the unit is ms, the vertical axis is the maximum amplitude, and the unit is ⁇ V.
  • the case of intentional biting in the descending order experiment is plotted as ⁇ (40), and the case of intentional biting in the random experiment is plotted as x (40). It can be seen that in the random experiment, the maximum amplitude and latency of masticatory electromyogram immediately after highlighting both change in the positive direction compared to the results of the descending order experiment.
  • Average value ⁇ dispersion of maximum amplitude and latency in random experiment is 213.0 ⁇ 74.5 ( ⁇ V) ⁇ 282.9 ⁇ 50.7 (ms), maximum amplitude and average of latency compared to descending conditions Both the value and the variance value increased.
  • the maximum amplitude and latency were significantly different (p ⁇ 0.05).
  • the reason that the maximum amplitude / latency has changed may be that the response is delayed because it is not possible to predict when the item to be selected is highlighted when it is highlighted in a random order.
  • the highlight method of the menu item may be switched so that highlighting is performed in descending order when the number of menu items is small (for example, 10 items or less) and random order when the number is large.
  • the range of maximum amplitude and latency including the characteristics of masticatory myoelectricity under both conditions is the detection target range of masticatory myoelectricity, it is assumed that the false detection rate of masticatory myoelectricity in daily life is improved.
  • the order of highlighting of menu items is either descending order or random, it is possible to cope with this by switching the detection range of the maximum amplitude and latency according to the order of menu item highlighting.
  • FIG. 15 shows a functional block configuration of the interface system 2 (hereinafter referred to as “interface system 2”) using masticatory electromyography according to the present embodiment.
  • FIG. 15 also shows detailed functional blocks of the masticatory electromyogram detection device 20.
  • the user 5 block is shown for convenience of explanation.
  • the difference between the interface system 2 and the interface system 1 is that the highlight menu can be switched in descending order / randomly according to the menu item highlight mode instead of the highlight type menu presentation unit 100.
  • the type menu presenting unit 200 is provided, and the descending / random switching unit 21 in the configuration of the masticatory electromyogram detection device 20 is newly added. Note that, among the components of the interface system 2, the same components as those of the interface system 1 are denoted by the same reference numerals and description thereof is omitted.
  • the highlight type menu presentation unit 200 switches the menu item highlight order mode and highlights the menu items in descending order or randomly. Considering that the maximum amplitude and latency dispersion tend to increase in random experiments, the number of menu items is high in descending order when the number of menu items is small (for example, 10 items or less), and random order when large. It may be switched to perform writing.
  • the descending order / random switching unit 21 acquires the menu item highlight mode from the highlight type menu presentation unit 200 and changes the detection target range of the mastication myoelectricity held in the mastication myoelectric determination unit 14.
  • the maximum amplitude / latency of the detection target range may be 100 ⁇ 50 ⁇ V ⁇ 200 ⁇ 50 ms when the highlighting order is descending, and may be 200 ⁇ 100 ⁇ V ⁇ 300 ⁇ 100 ms when random.
  • the detection target range related to the maximum amplitude and latency can be changed according to the order of highlights, so that masticatory myoelectric detection can be performed with high accuracy regardless of descending order / random.
  • FIG. 16 shows a processing procedure of the interface system 2 according to the present embodiment.
  • steps that perform the same processing as the processing of the interface system 1 are assigned the same reference numerals, and descriptions thereof are omitted.
  • step S201 the highlight type menu presentation unit 200 selects a mode related to the order of menu item highlights (descending order or random).
  • step S202 the highlight menu presentation unit 200 selects a menu item to be highlighted next based on the mode selected in step S201.
  • step S203 the descending / random switching unit 21 acquires the highlight mode from the highlight type menu presentation unit 200, and changes the detection target range of the mastication myoelectricity held in the mastication myoelectric determination unit 14.
  • the maximum amplitude / latency of the detection target range may be 100 ⁇ 50 ⁇ V ⁇ 200 ⁇ 50 ms when the highlighting order is descending, and may be 200 ⁇ 100 ⁇ V ⁇ 300 ⁇ 100 ms when random.
  • Such processing allows the detection target range related to the maximum amplitude and latency to be changed according to the order of highlights, so that masticatory EMG can be detected with high accuracy regardless of descending order / random.
  • the highlight type menu presentation unit 100 highlights the menu items in order from the top, and the intentional masticatory electromyogram that stably appears around 200 ms from the highlight is maximized.
  • the amplitude and latency as an index, a menu can be selected in a short time, and an interface with few malfunctions is realized even during a conversation or a meal.
  • the masticatory electromyogram that is intentionally expressed due to factors such as the inability to bite the same over time and the change in the wearing state of the electrode.
  • the characteristics may change and the detection accuracy of masticatory myoelectricity may be lowered.
  • FIG. 17 is a diagram in which descending order experiments are conducted on the same experiment participants on different days, and the latency and maximum amplitude are plotted as feature quantities.
  • the horizontal axis is the time when the menu item highlight time is 0 ms, the unit is ms, the vertical axis is the maximum amplitude, and the unit is ⁇ V.
  • ⁇ mark (40 pieces) and x mark (40 pieces) indicate the result of another day. The participants were instructed to chew on both days. From FIG. 17, it can be seen that the maximum amplitude is different when the mark “ ⁇ ” is compared with the mark “x”, but the variation between the marks “ ⁇ ” and the marks “x” is small. It can also be seen that the change in latency is small.
  • the maximum amplitude / latency (mean ⁇ standard deviation) of ⁇ mark and X mark is 104.3 ⁇ 32.9 ( ⁇ V), 201.3 ⁇ 37.8 (ms), 196.1 ⁇ 61.9 ( ⁇ V) -It was 220.8 +/- 53.7 (ms).
  • Possible causes of the maximum amplitude differing from day to day are (1) the same way of biting over time, and (2) different electrode mounting states.
  • the detection range for the maximum amplitude / latency is expanded and the maximum amplitude / latency is set according to the order of the menu item highlights.
  • FIG. 18 shows a functional block configuration of the interface system 3 (hereinafter referred to as “interface system 3”) using masticatory electromyography according to the present embodiment.
  • FIG. 18 also shows detailed functional blocks of the masticatory electromyogram detection device 30.
  • the user 5 block is shown for convenience of explanation.
  • the interface system 3 is different from the interface system 1 (FIG. 11) in that a detection target range determination unit 31 is newly added in the configuration of the masticatory electromyogram detection apparatus 20. Note that, among the components of the interface system 2, the same components as those of the interface system 1 are denoted by the same reference numerals and description thereof is omitted.
  • the detection target range determination unit 31 holds the elapsed time since the highlight-type menu presentation unit 100 presented the menu to the user 5, and if a certain time has passed since the previous menu presentation, It changes so that the detection target range of the mastication myoelectricity held in the myoelectric determination unit 14 may be expanded.
  • the fixed time may be, for example, one hour or one day.
  • the detection target range may be, for example, 100 ⁇ 75 ⁇ V ⁇ 200 ⁇ 75 ms for maximum amplitude and latency as long as the range is expanded.
  • the detection target range determination part 31 acquires the maximum amplitude and latency, when the masticatory electromyogram determination part 14 detects the mastication myoelectrically expressed intentionally, and sets a new detection target range
  • the detection target range of masticatory myoelectricity held in the masticatory myoelectric determination unit 14 is changed.
  • the new detection target range may be determined, for example, as acquired maximum amplitude ⁇ 50 ⁇ V and acquired latency ⁇ 50 ms, or may be determined according to the maximum amplitude and latency dispersion for each user.
  • the highlight menu presentation unit 100 presents a stimulus for the menu item highlight for calibration, and displays the maximum amplitude and latency of the intentional masticatory myoelectricity for the menu item highlight for calibration. It may be obtained and used as the center value for subsequent menu selections.
  • FIG. 19 shows a processing procedure of the interface system 3 according to the present embodiment.
  • steps that perform the same processing as the processing of the interface system 1 are assigned the same reference numerals, and descriptions thereof are omitted.
  • step S20a and step S20b differ in a detection object range, both are the same processes as step S20.
  • step S301 the detection target range determination unit 31 obtains an elapsed time since the highlight menu presentation unit 100 presented the menu last.
  • step S302 the detection target range determination unit 31 branches depending on whether or not the elapsed time obtained in step S301 is equal to or greater than a certain time. If Yes in step S302, the process proceeds to step S303. If No, the process proceeds to step S20a.
  • the fixed time may be, for example, one hour or one day.
  • the detection target range determination unit 31 changes so as to expand the detection target range of the mastication myoelectricity held in the mastication myoelectric determination unit 14.
  • the maximum amplitude / latency may be set to 100 ⁇ 75 ⁇ V ⁇ 200 ⁇ 75 ms.
  • the detection target range determination unit 31 acquires the maximum amplitude and latency of the masticatory electromyogram detected from the mastication electromyogram determination unit 14, sets a new detection target range, and The detection target range of the held masticatory electromyogram is changed.
  • the new detection target range may be determined, for example, as acquired maximum amplitude ⁇ 50 ⁇ V ⁇ acquired latency ⁇ 50 ms, or may be determined with reference to the maximum amplitude and latency dispersion for each user.
  • This process makes it possible to detect masticatory myoelectricity with high accuracy by absorbing changes in the manner of biting and the state of electrode attachment when a certain amount of time has elapsed since the previous menu selection.
  • the detection range for the maximum amplitude / latency is expanded and the maximum amplitude / latency is set according to the order of the menu item highlights.
  • ⁇ V is used as the unit of amplitude, but a specific measurement value may differ depending on the device used for measurement due to a difference in amplification factor or the like.
  • the device used as the biological signal measuring unit by the inventor of the present application is AP1124 manufactured by Digitex Laboratories.
  • a conversion magnification is determined based on the magnitude of the amplitude measured by the same user, and the magnification is applied. Should be replaced.
  • the biological signal cutout unit is provided, and the potential waveform of the masticatory myoelectric signal sent from the biological signal measurement unit 50 in real time is cut out from the timing of the menu item highlight.
  • the biological signal measurement unit 50 may output the measurement result at the timing of the menu item highlight, or the biological signal measurement unit 50 always transmits the measurement, and the masticatory muscle is based on the timing of the menu item highlight. It may be determined whether or not it is received by the electric detection device 10.
  • a display for the highlight type menu presenting unit to make the user recognize the device operation by the biting operation may be displayed on the output unit 7. For example, a message such as “Please perform a chewing action when a menu item that you want to select is highlighted” may be displayed. When the user chews, it can be recognized that the interface system selects a desired menu item from among a plurality of menu items.
  • the processing described using the flowchart may be realized as a program executed by a computer.
  • a computer program is recorded on a recording medium such as a CD-ROM and distributed as a product to the market, or transmitted through an electric communication line such as the Internet.
  • All or some of the components constituting the masticatory electromyogram detection device and the highlight menu presentation unit are realized as a general-purpose processor (semiconductor circuit) that executes a computer program.
  • the computer program that realizes the function of the masticatory electromyogram detection device may be executed by a processor that executes the computer program for realizing the function of the interface system, or may be executed by another processor in the interface system. .
  • a processor By executing such a computer program by a processor, it is possible to control output to the output unit and mastication electromyography measurement in the biological signal measurement unit.
  • the channel switching operation of a television broadcast program is given as an example, but this is an example.
  • the present invention can be applied not only to the operation of the TV screen but also to the operation of other devices.
  • the present invention can also be applied when cooking items are sequentially or randomly displayed on a display of a home appliance such as a microwave oven.
  • the user can quickly select a menu item to be highlighted based on the potential measured at a site that naturally contacts when wearing glasses. Can be selected.
  • a wearable device a head-mounted display or a music player
  • a small interface unit such as a button and that is difficult to input

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Neurosurgery (AREA)
  • General Health & Medical Sciences (AREA)
  • Neurology (AREA)
  • Health & Medical Sciences (AREA)
  • Dermatology (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Biomedical Technology (AREA)
  • User Interface Of Digital Computer (AREA)
  • Measurement And Recording Of Electrical Phenomena And Electrical Characteristics Of The Living Body (AREA)

Abstract

　会話中や食事中のように日常生活の咀嚼筋電が発生する状況においても、特殊な噛みしめ動作やハイライトの繰り返しなしに、短時間でメニュー選択が可能なインタフェースシステムを提供する。 　インタフェースシステムは、機器の操作メニューを視覚的に提示する出力部と、ユーザの咀嚼筋電を計測する計測部と、操作メニューを構成する各メニュー項目を、出力部を介して順次提示するメニュー提示部と、咀嚼筋電の電位波形の最大振幅を求める振幅算出部と、各メニュー項目がハイライトされた時刻を起点に、電位波形が最大振幅となる時間である潜時を求める潜時算出部と、最大振幅があらかじめ定められた閾値よりも大きく、かつ、潜時が２００ｍｓ前後の範囲内にあるか否かを判定する判定部とを備えている。判定部の判定結果に応じて、メニュー提示部は、ハイライトされたメニュー項目に対応する処理を実行する。

Description

咀嚼筋電を用いたインタフェースシステム
　本発明は、機器のインタフェースシステムに関する。より具体的には、本発明は、ユーザの生体情報（頭部周辺で計測可能な筋電）を利用した機器のインタフェースシステムに関する。
　近年、テレビ・携帯電話・ヘッドマウントディスプレイ（ＨＭＤ：Ｈｅａｄ　Ｍｏｕｎｔ　Ｄｉｓｐｌａｙ）等の様々な種類の情報機器が普及し生活に入り込んできている。そのため、ユーザは普段の生活の多くの場面において情報機器を操作する必要が生じている。
　通常、ユーザは手を使ってボタン等の入力手段（インタフェース部）を介して入力コマンドを入力し、それにより、機器の操作を実現している。しかし、たとえば、家事／育児／運転をしているときなど、両手が機器操作以外のタスクで塞がっている状況では手を使ってインタフェース部を操作することが困難となり、機器操作を実現できなかった。また、頸髄損傷等により、手を自由に動かすことができないユーザにとっても、手を使ってボタンを操作することが困難であった。そのため、ハンズフリーで機器を操作したいというユーザのニーズが高まっている。
　このようなニーズに対して、生体信号として頭部周辺で計測され、下顎骨の運動に関わる咀嚼筋の活動によって発生する筋電（以下、本明細書において「咀嚼筋電」（Masticatory electromyogram）と呼ぶ。）を利用した入力手段が開発されている。
　咀嚼筋電は、たとえば日常生活における会話や、物を食べる咀嚼に起因する顎関節の動作によっても発生する。そのため、咀嚼筋電を利用したインタフェースを実現するためには、日常生活で発生する咀嚼筋電と、操作のためにユーザが意図的に行った咀嚼筋の活動によって出現した咀嚼筋電とを区別する必要があった。しかしながら、意図的であってもなくても噛みしめ動作によって出現する咀嚼筋電の特徴（周波数・振幅等）には差がないため、所定の期間中に連続的に計測した咀嚼筋電のうちから、意図的に表出された咀嚼筋電のみを検出することは困難であった。
　そこで、たとえば、特許文献１では、日常生活では発生しない特殊な噛みしめ動作をユーザに行わせることで、意図的な咀嚼筋電のみを検出し車椅子の制御信号として用いる技術が開示されている。この技術は、特殊な噛みしめ動作によって発生した特殊な咀嚼筋電は、日常生活の咀嚼筋電から区別することが可能であるという根拠に基づくものである。
　特許文献１では、特殊な噛みしめ動作として、（１）数百ミリ秒（以下「ｍｓ」と記述する。）以上の持続的噛みしめ動作、（２）左側のみ／右側のみの噛みしめ動作、等をユーザにさせている。その上で、左右の額に貼り付けた複数個の電極で計測された電位の差分値を閾値処理する方法で、それらの特殊な噛み方によって発生した意図的な咀嚼筋電を検出していた。この特殊な噛みしめ方法を利用することにより、電動車椅子の制御に関して、（１）持続的な操作信号を発生させることが可能となり、持続的な走行が実現できること（すなわち、信号ＯＮの時間区間が指定できアクセル代わりに利用できること）、および、（２）左右の噛み分けが電動車椅子の左右の旋回に対応しており分かりやすい入力方法であること、からユーザにとって負担が少ないインタフェースを実現している。
　一方、生体信号として脳波の事象関連電位を用いてユーザが選択したいと思っている選択肢を識別する入力手段が開発されている。非特許文献１では、選択肢をランダムにハイライトし、選択肢がハイライトされたタイミングを起点に約３００ｍｓ後に出現する事象関連電位のＰ３成分を利用して、ユーザが選択したいと思っている選択肢を検出する技術が開示されている。この技術によって、ユーザは手を使うことなく、選択したいと思った選択肢の選択が可能となる。
特開２００７－１２５３８０号公報
エマニュエル・ドンチン（Emanuel Donchin）、他２名、"Ｔｈｅ　Ｍｅｎｔａｌ　Ｐｒｏｓｔｈｅｓｉｓ：Ａｓｓｅｓｓｉｎｇ　ｔｈｅ　Ｓｐｅｅｄ　ｏｆ　ａ　Ｐ３００－Ｂａｓｅｄ　Ｂｒａｉｎ－Ｃｏｍｐｕｔｅｒ　 Ｉｎｔｅｒｆａｃｅ"、ＴＲＡＮＳＡＣＴＩＯＮＳ　ＯＮ　ＲＥＨＡＢＩＬＩＴＡＴＩＯＮ　ＥＮＧＩＮＥＥＲＩＮＧ　２０００、Ｖｏｌ．８、２０００年６月
　しかしながら、特許文献１に記載の咀嚼筋電を利用した入力方法は、意図的な咀嚼筋電と日常生活の咀嚼筋電とを区別するために特殊な（持続的・特徴的な）噛みしめ動作をユーザに要求している。そのために、（１）短時間で操作入力できない、（２）特殊な噛みしめ方の種類に制限があるためコマンド数が限られる、といった課題があった。これらは、即時的な操作入力が求められ、かつコマンド数が多い、テレビ・携帯電話・ＨＭＤ等の情報機器のインタフェースとして適用する場合には特に問題となる。
　一方、非特許文献１に記載の脳波を用いた入力方法は、ハイライトされるメニュー項目に対して選択するか否かのユーザの選択意図（１ビットの情報）を出力するだけでメニュー項目の選択ができるため、ユーザは全てのコマンドを同じ方法で選択できるという利点がある。
　しかしながら、Ｓ／Ｎの低い事象関連電位を識別するため、５から１０回程度の加算平均（ハイライトの繰り返し）が必要であり、短時間で確実なメニュー選択が実現できないという課題があった。
　さらに、電極装着位置に関しても課題があった。特許文献１では左右の噛みしめの違いを検出するために額の左右に複数個、非特許文献１ではＰ３成分を検出するために少なくとも頭頂部に一つ、電極を装着する必要があった。そのため電極装着がユーザにとって負担となっていた。
　本発明の目的は、たとえば会話中や食事中のように日常生活の咀嚼筋電が発生する状況においても、特殊な噛みしめ動作やハイライトの繰り返しなしに、短時間でメニュー選択が可能なインタフェースシステムを提供することにある。
　本発明によるインタフェースシステムは、機器の操作メニューを視覚的に提示する出力部と、ユーザの咀嚼筋電を計測する計測部と、前記操作メニューを構成する各メニュー項目を、前記出力部を介して順次提示するメニュー提示部と、前記咀嚼筋電の電位波形の最大振幅を求める振幅算出部と、各メニュー項目がハイライトされた時刻を起点に、前記電位波形が前記最大振幅となる時間である潜時を求める潜時算出部と、前記最大振幅があらかじめ定められた閾値よりも大きく、かつ、潜時が２００ｍｓ前後の範囲内にあるか否かを判定する判定部とを備え、前記判定部の判定結果に応じて、前記メニュー提示部は、ハイライトされた前記メニュー項目に対応する処理を実行する。
　前記判定部が、前記最大振幅があらかじめ定められた閾値よりも大きく、かつ、潜時が２００ｍｓ前後の範囲内にあると判定したときにおいて、前記咀嚼筋電が意図的に表出されたとして、前記メニュー提示部は、ハイライトされた前記メニュー項目に対応する処理を実行してもよい。
　前記計測部は、前記ユーザの鼻根およびマストイドに装着した電極によって計測される電位差により、前記咀嚼筋電を計測してもよい。
　前記インタフェースシステムは、さらに、前記メニュー提示部の各メニュー項目のハイライトに応じて、前記咀嚼筋電の電位波形を切り出す切り出し部とを備え、振幅算出部は、切り出された電位波形の最大振幅を求めてもよい。
　前記切り出し部は、少なくともハイライトに対する咀嚼筋電が出現するハイライト後１５０ｍｓから２５０ｍｓを含む時間帯を切り出してもよい。
　前記判定部は、前記最大振幅があらかじめ定められた閾値よりも大きく、かつ、潜時が２００ｍｓ前後の範囲内にある場合には、計測された前記咀嚼筋電が、前記メニュー項目のハイライトに対して意図的に表出されたと判定し、前記最大振幅があらかじめ定められた閾値よりも大きく、かつ、潜時が２００ｍｓ前後の範囲内にない場合には、計測された前記咀嚼筋電が、前記メニュー項目のハイライトに対して意図的に表出されていないと判定してもよい。
　前記判定部は、前記最大振幅があらかじめ定められた閾値である５０μＶよりも大きく、かつ、潜時が２００ｍｓ前後の範囲内にあるか否かに基づいて、計測された前記咀嚼筋電が、前記メニュー項目のハイライトに対して意図的に表出されたことを判定してもよい。
　前記判定部は、ユーザごとに最大振幅および潜時の各平均値および各分散値を取得し、取得した前記平均値および分散値に基づき、それぞれの平均値±標準偏差の範囲を検出対象範囲として、計測された前記咀嚼筋電が、前記メニュー項目のハイライトに対して意図的に表出されたことを判定してもよい。
　前記判定部は、取得した前記最大振幅±５０μＶ、かつ、取得した前記潜時±５０ｍｓの範囲を検出対象範囲として、計測された前記咀嚼筋電が、前記メニュー項目のハイライトに対して意図的に表出されたことを判定してもよい。
　前記メニュー提示部において、メニュー項目ハイライトの順序を降順またはランダムに切り替えて、前記メニュー提示部においてメニュー項目が降順またはランダムのどちらの順序で切り替えられていたかを取得し、前記判定部の検出対象範囲を切り替える切り替え部が備えられていてもよい。
　前記メニュー項目ハイライトの順序がランダムの場合には、前記切り替え部は、最大振幅および潜時の検出対象範囲を、それぞれ２００±７０μVおよび２８０±５０ｍｓに切り替えてもよい。
　前記メニュー提示部において最後にメニューが提示されてからの経過時間を保持し、一定時間以上経過していた場合には、前記判定部の検出対象範囲を拡大する方向に設定する範囲決定部が備えられていてもよい。
　前記範囲決定部で前記検出対象範囲を拡大した後に前記咀嚼筋電が検出された場合において、前記範囲決定部は、検出された咀嚼筋電の最大振幅および潜時値を新たに検出対象範囲の中心値に設定してもよい。
　本発明による方法は、インタフェースシステムにおいて実行される方法であって、機器の操作メニューを視覚的に提示するステップと、計測されたユーザの咀嚼筋電を受け取るステップと、前記操作メニューを構成する各メニュー項目を、前記出力部を介して順次提示するステップと、前記咀嚼筋電の電位波形の最大振幅を求めるステップと、各メニュー項目がハイライトされた時刻を起点に、前記電位波形が前記最大振幅となる時間である潜時を求めるステップと、前記最大振幅があらかじめ定められた閾値よりも大きく、かつ、潜時が２００ｍｓ前後の範囲内にあるか否かを判定するステップと、前記判定するステップの判定結果に応じて、ハイライトされた前記メニュー項目に対応する処理を実行するステップとを包含する。
　本発明による、コンピュータによって実行されるコンピュータプログラムは、前記コンピュータに対し、機器の操作メニューを視覚的に提示するステップと、計測されたユーザの咀嚼筋電を受け取るステップと、前記操作メニューを構成する各メニュー項目を、前記出力部を介して順次提示するステップと、前記咀嚼筋電の電位波形の最大振幅を求めるステップと、各メニュー項目がハイライトされた時刻を起点に、前記電位波形が前記最大振幅となる時間である潜時を求めるステップと、前記最大振幅があらかじめ定められた閾値よりも大きく、かつ、潜時が２００ｍｓ前後の範囲内にあるか否かを判定するステップと、前記判定するステップの判定結果に応じて、ハイライトされた前記メニュー項目に対応する処理を実行するステップとを実行させる。
　本発明のインタフェースシステムによれば、メニュー項目ハイライトを起点に切り出した頭部周辺の電位変化（咀嚼筋電）を計測して、咀嚼筋電の最大振幅があらかじめ定められた閾値（たとえば５０μＶ）よりも大きく、かつ、潜時が２００ｍｓ前後の範囲内にあるか否かに基づいて、計測された前記咀嚼筋電が、前記メニュー項目のハイライトに対して意図的に表出されたといえるか否かを判定する。これにより、たとえば会話中や食事中のように日常生活の咀嚼筋電が発生する状況においても、特殊な噛みしめ動作やハイライトの繰り返しなしに、短時間でメニュー選択が可能なハンズフリーインタフェースを実現できる。
ハイライト型メニュー提示方法を時系列的に示す図である。 人体の頭部周辺に存在する咀嚼筋２０１を示す。 （ａ）～（ｄ）は、咀嚼筋電を計測するために装着する電極の位置を示す図である。 本願発明者らが行った実験中にハイライト型メニュー提示および電位計測を行う機器の処理手順を示すフローチャートである。 （ａ）は実際に被験者に提示したメニュー項目を簡略化した図であり、（ｂ）はハイライトの例を示す図である。 （ａ）は噛みしめ選択条件の参加者側のフローを示した図であり、（ｂ）は喋る条件・食べる条件の参加者側の処理手順を示すフローチャートである。 （ａ）～（ｃ）は実験結果の一例を示す図である。 （ａ）は、噛みしめ選択条件における意図的な噛みしめ動作あり／なしのハイライトごとに切り出した電位波形を、潜時および最大振幅を特徴量としてプロットした図であり、（ｂ）は、噛みしめ選択条件の意図的な噛みしめありの場合の咀嚼筋電と、喋る・食べる条件での咀嚼筋電を、潜時・最大振幅を特徴量としてプロットした図である。 咀嚼筋電を用いたインタフェースシステム１の構成および利用環境を示す図である。 インタフェースシステム１においてＴＶ２を操作し、ユーザ５が視聴したい番組を選択して見るときの例を示す図である。 実施形態１によるインタフェースシステム１の機能ブロックの構成を示す図である。 ユーザがメニュー項目ハイライトの直後に短時間の意図的な噛みしめ動作を行ったか否かの判定を行うインタフェースシステム１の処理手順を示すフローチャートである。 ユーザ５がメニュー項目ハイライトの直後に意図的な噛みしめ動作を行ったか否かを判定する咀嚼筋電検出装置１０の詳細な処理手順を示すフローチャートである。 ランダム実験と降順実験の噛みしめ選択条件の結果で、潜時・最大振幅を特徴量としてプロットした図である。 実施形態２によるインタフェースシステム２の機能ブロックの構成を示す図である。 実施形態２によるインタフェースシステム２の処理手順を示すフローチャートである。 降順実験を同じ実験参加者に対して別の日に実施した結果を潜時・最大振幅を特徴量としてプロットした図である。 実施形態３によるインタフェースシステム３の機能ブロックの構成を示す図である。 実施形態３によるインタフェースシステム３の処理手順を示すフローチャートである。
　以下、添付の図面を参照しながら、本発明による咀嚼筋電を用いたインタフェースシステムの実施形態を説明する。
　本願発明者らは、実行すべき機器操作に関連して提示されたメニュー項目が一つずつハイライトされる状況で、ユーザが選択対象のメニュー項目のハイライトと同時またはその直後に意図的な噛みしめ動作を行ったとき、その噛みしめ動作を的確に検出する方法を見出した。具体的には、ユーザが選択対象のメニュー項目のハイライトと同時またはその直後に意図的な噛みしめ動作を行ったときに、ユーザの鼻根部とマストイド（メガネ装着時にメガネが耳に接触する位置）との電位から咀嚼筋電を計測すると、メニュー項目のハイライトを起点に切り出した咀嚼筋電の電位波形の最大振幅・潜時がそれぞれ１００μＶ前後・２００ｍｓ前後に安定して出現することを発見した。また最大振幅および潜時を指標に、日常生活の咀嚼筋電と区別して検出できることを見出した。この結果、咀嚼筋電に基づいて、ユーザの意図的な噛みしめ動作を識別して、ユーザの選択意図を検出することが可能となる。
　なお、本明細書では、「１００μＶ前後」や「２００ｍｓ前後」など、数値Ｘの「前後」という表現を用いている。これは「約」Ｘとも記載される。いずれも、数値Ｘを含む範囲を包含する意図である。その範囲がどの程度まで広がるかは、その数値に対応する生体信号の個人差や、対象とする数値の計測誤差などの複合的な要因を考慮して決定される必要がある。そのような生体信号が出現しているか否かを検出するために、実施形態においては「検出対象範囲」を定めている。その検出対象範囲を「Ｘ前後」としてとらえてもよい。たとえば、咀嚼筋電の電位波形の最大振幅が「１００μＶ前後」であるときは、１００±５０μＶを意味するとしてもよい。また、潜時が「２００ｍｓ前後」であるときは、２００±５０ｍｓを含む時間帯を意味するとしてもよい。
　以下では、まずハイライト型メニュー提示方法について説明し、選択対象のメニュー項目ハイライトに対する意図的な噛みしめ動作によって出現する咀嚼筋電の特徴を探索するために、本願発明者らが実施した実験およびメニュー項目ハイライトに対する意図的な咀嚼筋電の特徴に関する発見について説明する。
　その後、実施形態として、ハイライト型メニュー提示を行うインタフェースシステムの概要および、咀嚼筋電検出装置を含むインタフェースシステムの構成および動作を説明する。
　図１は、ハイライト型メニュー提示方法を時系列的に示す図である。画面７ａ－１から画面７ａ－４は４つの機器の操作メニューを一つずつハイライトしている様子を示している。
　本明細書においては、図１に示した機器操作に関する選択肢群を「メニュー」、選択肢の一つ一つを「メニュー項目」、ユーザが選択したいと思っているメニュー項目を「選択対象項目」と定義する。
　このようにメニュー項目が画面上でハイライトされることで、ユーザはハイライトされるメニュー項目に対してユーザの選択意図の有無（１ビットの情報）を出力するだけで、メニュー項目が選択できる。
　ここで、ハイライト型メニュー提示のメニュー選択を短時間で行うためには、（１）ハイライトを繰り返さない、（２）ハイライトの間隔を短く設定する、という条件が必要である。
　たとえば、非特許文献１に記載の事象関連電位のＰ３成分を用いると、ユーザの選択意図を検出することも可能である。ここで、「事象関連電位」とは、外的あるいは内的な事象に時間的に関連して生じる脳の一過性の電位変動をいい、その「Ｐ３成分」とは、一般には事象関連電位のうちの、聴覚、視覚、体性感覚などの感覚刺激の種類に関係なく起点から約３００ｍｓ付近に現れる事象関連電位の陽性の成分を示すものとして扱われることが多い。
　Ｐ３成分を用いる場合、熟練したユーザであればハイライトの時間間隔は１２５ｍｓでも選択意図を検出可能であることが分かっており、たとえばメニュー項目数が４つであれば一通り全てのメニュー項目をハイライトするための所要時間は５００ｍｓと短時間である。しかし、事象関連電位のＰ３成分はＳ／Ｎが低いため、精度よく選択意図を検出するためにはハイライトの繰り返しが必要になる。たとえばハイライトを５回繰り返した場合には選択意図の出力に２．５秒もの時間を要する。
　一方、ハイライト型メニュー提示に対する咀嚼筋電を計測した例はない。しかしながら、特許文献１のように特殊（持続的・特徴的）な噛みしめ動作によって発生する咀嚼筋電を検出してハイライトされたメニュー項目を選択する方法も考えられる。咀嚼筋電はＳ／Ｎが高いため加算平均のためのハイライトの繰り返しが不要という特長がある。
　ところが、ハイライトのオンセットと意図的な咀嚼に起因する特殊な咀嚼筋電の時間関係が分からないため、ハイライト間隔を短く設定できないと考えられる。そのため、たとえば１秒以上が必要となる。よって、短時間でのメニュー選択は困難であると考えられる。さらに、日常生活では発生しない長時間の噛みしめ動作を検出対象とするため、操作意図の検出が遅れるという問題も予想される。
　そこで、本願発明者らは、ハイライト型メニュー提示においてハイライトとの直後に意図的な噛みしめ動作を行った場合に出現する咀嚼筋電の特徴、特にハイライトのオンセットとの時間的関係を明らかにするために、選択対象項目のハイライト直後に短時間の噛みしめ動作を行う条件で咀嚼筋電の特徴を探索する実験を実施した。その結果、選択対象項目ハイライトに対して意図的な咀嚼が行われた際には、咀嚼筋電は、最大振幅１００μＶ前後でかつハイライト後２００ｍｓ前後に安定して出現することを発見した。さらに、選択対象項目ハイライトに対して意図的に表出された咀嚼筋電（非加算）は、ハイライトを起点に切り出した電位波形の最大振幅・潜時を特徴量として日常生活によって発生した咀嚼筋電とは区別できることを見出した。これにより、たとえば会話中や食事中のように日常生活の咀嚼筋電が発生する状況においても、特殊な噛みしめ動作やハイライトの繰り返しなしに、短時間でメニュー選択が可能なインタフェースシステムを実現できる。
　以下、図２から図６を参照しながら実験および実験結果について説明する。実験は、２名の実験参加者（男性）に対して実施した。
　図２は、人体の頭部周辺に存在する咀嚼筋２０１を示す。咀嚼筋２０１は、咬筋・側頭筋・外側翼突筋・内側翼突筋の総称であるが、図２においてはその各々は区別していない。
　このような咀嚼筋２０１に対して、次に、咀嚼筋電を計測するための電極装着位置を説明する。電極は、人体頭部周辺の種々の位置に装着され得る。
　たとえば図３（ａ）および（ｂ）に示すように、電極は、目の上（眼窩の上縁）、目の横（眼窩の外縁（外眼瞼角））、鼻根、耳の上（耳付根上部）に装着される。
　いわゆるヘッドマウントディスプレイ（ＨＭＤ）に咀嚼筋電の計測機能を設けるとする。そのＨＭＤ形状および装着範囲を考察すると、頭部周辺には、眼電計測で利用されている顔面部の電極に加えて、耳朶部、耳後部（耳の付け根の後部）、耳下部（耳の付け根の下部）、耳前部などの耳周辺部も計測対象として利用することが可能である。図３（ｂ）には、耳朶、マストイド、耳珠、耳付根後部等が示されている。
　本願発明者らは、上記耳周辺部を代表して、耳の裏の付け根の頭蓋骨の突起部であるマストイド（乳様突起）を選択し、従来顔面部で利用されていた電極の位置に対し、マストイドを基準極としたインタフェースシステムの識別率評価実験を実施した。
　図３（ｃ）は、電位計測のための電極装着位置を示した図である。電極は鼻根部およびマストイドに装着し、マストイドを基準とした鼻根の電位を計測した。鼻根部・マストイドはメガネ装着時にそれぞれノーズパッド・イヤーパッドが接触する部分であり、メガネ型デバイス装着時に自然に計測ができる位置である（図３（ｄ））。図３（ｃ）には現れていないが基準電極とは反対側のマストイドにシステムリファレンスを装着した。
　電極の装着位置は、咀嚼筋をまたぐように設けられている。「またぐ」とは、一方の電極が咀嚼筋上の皮膚に配置され、他方の電極が、咀嚼筋が存在しない位置の皮膚に配置されることをいう。そのような条件で装着すると、咀嚼筋の活動に起因する咀嚼筋電を確実に計測することができる。ただし、上述した電極の装着位置は一例であり、咀嚼筋をまたぐことによって咀嚼筋電を検出することが可能な電極配置は他にも存在し得ることに留意されたい。電位変化は、サンプリング周波数２００Ｈｚ、時定数１秒で計測した。
　視覚刺激として図１に示した４つのメニュー項目を降順にハイライトするハイライト型メニューを提示した。ハイライトの間隔は３５０ｍｓとした。視覚刺激は、被験者の目前２ｍに設置した３７インチのプラズマディスプレイに提示した。
　メニュー項目ハイライトに対する意図的な噛みしめ動作によって発生する咀嚼筋電と日常生活で発生する咀嚼筋電の区別ができるか否かを調べるために、条件を変えて実験を実施した。いずれの実験においてもハイライト型メニュー提示は同様に行ない、実験参加者にはハイライト中はメニュー項目を見るように指示をした。以下、３つの実験条件をそれぞれ説明する。
　（１）噛みしめ選択条件：選択対象項目のハイライトに対して意図的な噛みしめ動作を行う条件である。より具体的には、指示された噛みしめ方法でハイライトに対して意図的な噛みしめ動作を行う、という課題を課した条件である。
　本明細書における「意図的な噛みしめ」とは、例えば、歯を軽くかみ合わせた状態（つまり、上顎の歯と下顎の歯とを接触させた状態）にした後に、その状態から噛む力の圧力をかけた状態にすることをいう。本願発明者らは、噛みしめ選択条件における噛みしめ方法として、選択対象項目のハイライト直後に歯を軽く合わせた状態から短時間噛みしめるよう指示をした。
　（２）喋る条件：メニュー項目のハイライトを見ながら喋り続ける、という課題を課した条件である。
　（３）食べる条件：メニュー項目のハイライトを見ながらご飯を食べる、という課題を課した条件である。
　図４を用いて、実験中にハイライト型メニュー提示および電位計測を行う機器側のフローを説明する。機器側のフローは、上記３条件共に同様である。
　ステップＳ５０は、被験者の電位（咀嚼筋電）の計測を開始するステップである。
　ステップＳ５１は、ハイライト型メニューの４つのメニュー項目を提示し、メニュー項目の種類をユーザに示すステップである。図５（ａ）は、実際に被験者に提示したメニュー項目を簡略化した図である。本願発明者らの実験では２秒間提示した。なお、ステップＳ５１は、メニュー項目ハイライト開始の前に計測電位を安定させ、眼電等のノイズを低減させる効果もある。
　ステップＳ５２は、次にハイライトするメニュー項目を降順に選択するステップである。
　ステップＳ５３は、ステップＳ５２で選択したメニュー項目を３５０ｍｓ間ハイライトするステップである。図５（ｂ）はハイライトの例を示す図である。図５（ｂ）に示したように、メニュー項目自体をハイライトしてもよいし、ハイライトに変えてまたはハイライトと同時に矢印等で示してもよい。なお、図５（ａ）および（ｂ）は相互に関連はなく、それぞれが一例として記載されている。
　ステップＳ５４は、ステップＳ５３でメニュー項目がハイライトされた時刻を０ｍｓとしてハイライト前１００ｍｓ(以下、－１００ｍｓとする)、ハイライト後４００ｍｓの電位波形を切り出すステップである。切り出した電位波形はハイライト前１００ｍｓの平均電位を用いてベースライン補正を行う。
　ステップＳ５５は、メニュー項目がハイライトされた回数ｎによる分岐で、ハイライトの回数がメニュー項目数より少ない場合にはステップＳ５２に進み、全てのメニュー項目を一通りハイライトする。咀嚼筋電は信号強度が強いのでハイライトの繰り返しは不要であると想定できる。
　前述のステップＳ５０からステップＳ５５によって、各メニュー項目が一通りハイライトされたときの、ハイライトを起点とした電位波形が４本分収録できる。
　次に、図６（ａ）および（ｂ）を用いて実験中の参加者側のフローを説明する。図６（ａ）は、噛みしめ選択条件の参加者側のフローを示した図である。
　ステップＳ６１は、図４中のステップＳ５１によって提示されたメニューを見るステップである。被験者はメニュー項目の上から順に選択するようあらかじめ指示されており、ここで選択対象のメニュー項目に視線を移動する。選択対象項目の指示は、実際に噛みしめインタフェースを用いる場合にユーザが実現したいと思う機器動作にあたる。
　ステップＳ６２は、図４中のステップＳ５２からＳ５５によって提示されるメニュー項目のハイライトを見て、選択対象のメニュー項目がハイライトされたかどうかによる分岐で、ステップＳ６２でＹｅｓの場合はステップＳ６３へ、Ｎｏの場合はステップＳ６１に進む。
　ステップＳ６３は、ステップＳ６１で選択対象のメニュー項目がハイライトされた場合にハイライトの直後に短時間の噛みしめ動作を行うステップである。噛みしめ動作は、あらかじめ指示されたように「歯を軽く合わせた状態から短時間噛みしめる」方法で行う。
　ステップＳ６４は、ハイライトが終了したかどうかによる分岐で、ステップＳ６４でＹｅｓの場合には終了へ、Ｎｏの場合にはステップＳ６１へそれぞれ進む。
　図６（ｂ）は、喋る条件・食べる条件の参加者側のフローを示した図である。図６（ａ）に示す選択条件と同じ処理を行うステップについては同一の参照符号を付し、その説明は省略する。
　噛みしめ選択条件との差異は、メニュー選択のための咀嚼筋電を出すためのステップＳ６２およびステップＳ６３の代わりにステップＳ６５が行われる点である。
　ステップＳ６５は、あらかじめ指示された通りに、喋る条件では連続的に喋る、食べる条件では連続的にご飯を食べる、という行為を実行するステップである。
　図７（ａ）～（ｃ）は実験結果の一例を示す。図７（ａ）～（ｃ）は、ハイライトを起点に－１００～４００ｍｓまでの電位変化を切り出した電位波形を同じスケールで示したものであり、横軸は時間で単位はｍｓ、縦軸は電位で単位はμＶである。スケールは図７（ａ）のみに記載している。
　図７（ａ）は、噛みしめ選択条件の結果で、選択対象項目ハイライトに対して意図的な噛みしめ動作を行った場合の電位波形を太実線、選択対象外項目ハイライトに対して噛みしめを行わなかった場合の電位波形を細実線で示した。噛みしめ動作を行った場合には、選択対象項目のハイライトを起点に約２００ｍｓに高振幅・高周波数の陽性電位が出現していることが分かる。
　図７（ｂ）は、喋る条件の結果で、メニュー項目ハイライトに関わらず喋り続けた場合の電位波形である。ハイライトごとに条件の差がないため全てのハイライトに対する波形を細実線で示している。それぞれの電位波形は高振幅であるが緩やかな変動であることが分かる。
　図７（ｃ）は、食べる条件の結果で、メニュー項目ハイライトに関わらずご飯を食べている場合の電位波形である。ハイライトごとに条件の差異がないため全てのハイライトに対する波形を細実線で示している。高振幅・高周波数な変化と高振幅・低周波数の電位変化の両方が混在していることが分かる。
　以下、噛みしめ選択条件の意図的に表出された咀嚼筋電は本願発明者らが識別に用いる特徴量を用いることで、（１）噛みしめ選択条件の噛みしめなし条件の咀嚼筋電の電位波形、（２）日常生活において喋る・食べるによって発生した咀嚼筋電の電位波形が識別可能となることを説明する。
　図８（ａ）は、噛みしめ選択条件における意図的な噛みしめ動作あり／なしのハイライトごとに切り出した電位波形を、潜時および最大振幅を特徴量としてプロットした図である。ここで「潜時」とは、メニュー項目がハイライトされた時刻を起点とした、最大振幅をとる時刻を意味する。メニュー項目がハイライトされた時刻は、図８（ａ）の横軸に示されており、単位はｍｓである。縦軸は最大振幅を示しており、単位はμＶである。意図的な噛みしめありの場合を○印（４０個）、噛みしめなしの場合を×印（８０個）としてプロットしている。
　図８（ａ）より、メニュー項目ハイライト直後の噛みしめ動作によって発生する咀嚼筋電は、最大振幅・潜時の分散が小さいことがわかる。咀嚼筋電の最大振幅・潜時の平均値±分散は１０４．３±３２．９（μＶ）・２０１．３±３７．８（ｍｓ）であった。これにより、選択対象項目ハイライトに対する意図的な咀嚼筋電は潜時約２００ｍｓ前後で最大振幅約１００μＶ前後に特徴的に出現するといえる。これは、本願発明者らがハイライト型メニューを提示する条件で実験を実施し、メニュー項目ハイライトを起点に電位波形を切り出して意図的に表出された咀嚼筋電の特徴を分析した結果初めて明らかとなったことであり、本願発明者らの発見といえる。
　また、図８（ａ）より、意図的な噛みしめあり／なしは最大振幅のみでの識別可能であることが見てとれる。噛みしめなしの場合の最大振幅は２３．４±１８．１（平均±標準偏差）であった。最大振幅の両側ｔ検定を実施した結果ｐ＜０．００１で有意差があった。たとえば閾値を５０μＶに設定して識別を行った場合の識別率は９７．５％であるため、メニュー項目ハイライト直後の意図的な噛みしめ動作による咀嚼筋電は、噛みしめなしの場合から識別できるといえる。
　図８（ｂ）は、噛みしめ選択条件の意図的な噛みしめありの場合の咀嚼筋電と、喋る・食べる条件での咀嚼筋電を、潜時・最大振幅を特徴量としてプロットした図である。図８（ｂ）の横軸は潜時（ｍｓ）で、縦軸は最大振幅（μＶ）である。意図的な噛みしめありの場合を○印、喋る条件を＊印、食べる条件を×印として示している。なお、意図的な噛みしめありの場合のプロット（○印）は図８（ａ）と同じデータである。
　喋る条件・食べる条件における最大振幅は、それぞれ４３．７±３０．０・３１６．２±１４４．４（平均±標準偏差）であった。前述の噛みしめあり／なしの識別と同様に最大振幅を例えば５０μＶで閾値処理した場合には、喋る条件の３０％、食べる条件の９５％を誤検出してしまうため、最大振幅のみを用いて高精度の識別を実現することは困難である。
　そこで、噛みしめ選択条件の咀嚼筋電の最大振幅・潜時の分散が小さいという前述の発見に基づき、ハイライト型メニュー提示条件ならではの潜時の概念を導入して識別を試みた。たとえば最大振幅・潜時が５０－１５０μＶ、１５０－２００ｍｓの範囲を選択対象項目ハイライトに対する咀嚼筋電として検出すると、噛みしめ選択条件の咀嚼筋電の８５％が正しく検出され、喋る条件・食べる条件の誤検出率はそれぞれ１２．５％・２．５％にとどまった。これにより、最大振幅・潜時の範囲限定により、選択対象項目ハイライトに対する咀嚼筋電は日常生活で咀嚼筋電が発生する状況においても、ハイライトに対する意図的な咀嚼筋電を高精度に検出できる。結果、たとえば会話中や食事中であっても誤動作の少ない噛みしめインタフェースが実現できる。
　以下の実施形態において説明するインタフェースシステムは、ハイライト直後の意図的な噛みしめ動作によって出現する咀嚼筋電を最大振幅・潜時を指標に検出して、たとえば会話中や食事中のように日常生活の咀嚼筋電が発生する状況においても、特殊な噛みしめ動作やハイライトの繰り返しなしに、短時間でメニュー選択が可能なインタフェースシステムを実現する。これは、本願発明者らが実験によって見出したハイライトに対して意図的に表出された咀嚼筋電の特徴に基づく。
　（実施形態１）
　以下では、まず、ハイライト型メニュー提示を行うインタフェースシステムの概要を述べる。その後、咀嚼筋電検出装置を含む本実施形態によるインタフェースシステムの構成および動作を説明する。
　図９は、咀嚼筋電を用いたインタフェースシステム１（以下「インタフェースシステム１」と記述する）の構成および利用環境を示す。このインタフェースシステム１は後述する実施形態１のシステム構成に対応させて例示している。
　インタフェースシステム１は、ユーザ５の頭部周辺で計測される電気的生体信号（咀嚼筋電）を利用してハイライト型メニュー提示部１００によって出力部７に提示されたメニュー項目を選択してTV２を操作するインタフェースを提供するためのシステムである。ユーザ５の鼻根部（メガネのノーズパットが接触する部分）に貼り付けた電極Ａとマストイド（メガネのイヤーパッドが接触する部位）に貼り付けた電極Ｂの電位差が生体信号計測部５０により取得され、無線または有線で咀嚼筋電検出装置１０に送信される。TV２に内蔵された咀嚼筋電検出装置１０は、送信された電位変化を利用してユーザのメニュー選択意図を検出し、チャンネルの切り替えなどの処理を行う。
　なお、図９ではメガネ型の操作デバイス（生体信号計測部５０）によって、別体のＴＶ２を操作する例を示したが、たとえばヘッドマウントディスプレイ（ＨＭＤ）を想定した場合には、出力部７・ハイライト型メニュー提示部１００・咀嚼筋電検出装置１０の全ての構成要素をＨＭＤ内に収めてもよい。ＨＭＤを装着した場合にも、鼻根部とマストイドは自然にユーザ５と接触する部位である。
　図１０は、インタフェースシステム１においてＴＶ２を操作し、ユーザ５が視聴したい番組を選択して見るときの例を示す。
　図１０上部の画面７ａ－１から画面７ａ-４は、ハイライト型メニュー提示部１００がＴＶ２の画面７ａを介してユーザに提示するメニューの例である。図１０では、画面７ａ－１・画面７ａ－２において、それぞれ「野球」・「天気」・「アニメ」・「ニュース」の４つのメニュー項目のうち、「野球」・「天気予報」というメニュー項目がハイライトされる様子を示している。画面７ａ－３および画面７ａ－４においては「アニメ」および「ニュース」である。
　メニュー項目をハイライトすることによって、咀嚼筋電検出装置１０においてそれぞれのメニュー項目がハイライトされた時刻を起点とした電位変化の切り出しが可能となる。図１０下部の電位波形５ａ－１から電位波形５ａ-４は、咀嚼筋電検出装置１０において切り出したメニュー項目ハイライトを起点とした電位波形を模式的に示したものである。
　今、ユーザは「天気」のチャネルを見たいと考えており、「天気」がハイライトされた直後に意図的な噛みしめ動作を行ったとする。電位波形５ａ－２は、その状況で、「天気予報」がハイライトされてから約２００ｍｓ前後に意図的に表出された咀嚼筋電が出現している様子を示している。図１０上段の画面７ｂは、咀嚼筋電検出装置１０において「天気予報」のハイライトに対する意図的に表出された咀嚼筋電が検出され（５ａ－２）、チャンネルが「天気予報」に切り替わった様子を示している。
　図１１は、本実施形態によるインタフェースシステム１の機能ブロックの構成を示す。インタフェースシステム１は、出力部７と、咀嚼筋電検出装置１０と、生体信号計測部５０と、ハイライト型メニュー提示部１００とを有している。図１１はまた、咀嚼筋電検出装置１０の詳細な機能ブロックも示している。ユーザ５のブロックは説明の便宜のために示されている。なお、出力部７はユーザ５にメニュー等を提示する画面を示す。
　ユーザ５は、ハイライト型メニュー提示部１００によって出力部７に提示される機器操作に関するメニュー項目がハイライトされるかどうかに注意し、選択対象項目のハイライトに対して意図的に噛みしめ動作を行うだけで、ボタン等を介した操作入力は行わない。インタフェースシステム１はユーザの噛みしめ動作を検出して、その噛みしめ動作を行った対象となるメニュー項目を特定し、ハイライト型メニュー提示部１００を介して選択されたメニュー項目に応じて機器を動作させるとする。たとえば、この「機器」とは、出力部７に相当するＴＶであり、「動作」とはチャンネル切り替え動作であるが、これは例である。ＴＶとは異なる機器、たとえば録画装置、ＤＶＤ再生装置（図示せず）であってもよい。
　咀嚼筋電検出装置１０は、有線または無線で生体信号計測部５０およびハイライト型メニュー提示部１００と接続され、信号の送信および受信を行う。図１１においては、生体信号計測部５０およびハイライト型メニュー提示部１００は咀嚼筋電検出装置１０とは別体であるが、これは例である。生体信号計測部５０およびハイライト型メニュー提示部の一部または全部を、咀嚼筋電検出装置１０内に設けてもよい。
　生体信号計測部５０は、ユーザ５の生体信号を検出する筋電計であり、生体信号として咀嚼等によって発生する筋電を計測する。生体信号計測部５０を図１に示すようなメガネ型デバイスとして、ノーズパッドとイヤーパッド間の電位差を計測してもよい。ユーザ５はあらかじめ生体信号計測部５０を装着しているものとする。
　この結果、生体信号計測部５０はユーザ５の顔周辺の電位変化を測定することができる。測定されたユーザ５の電位変化は、コンピュータで処理できるようにサンプリングされ、リアルタイムに咀嚼筋電検出装置１０に送られる。なお、計測した電位に混入する商用電源ノイズの影響を低減するために、生体信号計測部５０においては計測される電位はあらかじめ、たとえば０．１から３０Ｈｚのバンドパスフィルタ処理がされ、メニュー項目ハイライト前のたとえば１００ｍｓの平均電位でベースライン補正されているものとする。
　ハイライト型メニュー提示部１００は、機器操作に関するメニュー項目をたとえば３５０ｍｓ間隔でハイライトする。どのハイライトに対する咀嚼筋電かを特定するために、ハイライトの間隔は咀嚼筋電の潜時の分散以上に設定する必要がある。前述の実験結果において潜時の分散が３７．８（ｍｓ）であったことからハイライト間隔はたとえば１００ｍｓとしてもよい。ハイライト型メニュー提示部１００は、咀嚼筋電検出装置１０の識別結果に応じて機器動作の制御指令を出す。ハイライト型メニュー提示部１００を利用して制御する機器が、たとえば図９に示すＴＶ２であるとすると、メニューは出力部７（画面７ａ）を介してユーザ５に提示される。
　次に、本実施形態による咀嚼筋電検出装置１０の詳細な構成を説明する。本発明の主要な特徴のひとつは、咀嚼筋電検出装置１０の構成および動作にある。
　咀嚼筋電検出装置１０は、生体信号切り出し部１１と、最大振幅算出部１２と、潜時算出部１３と、咀嚼筋電判定部１４とを有している。
　生体信号切り出し部１１は、ハイライト型メニュー提示部１００から送られるメニュー項目ハイライトのタイミングを起点として、生体信号計測部５０からリアルタイムで送られる咀嚼筋電の電位波形を切り出し、切り出した電位波形のベースライン補正を行う。電位波形を切り出す時間帯はメニュー項目ハイライトのタイミングを０ｍｓとしてハイライト後１５０から３００ｍｓまでの時間帯を含むように－１００から４００ｍｓとしてもよいし、－３００から３００ｍｓとしてもよい。また、ハイライトの間隔にあわせて、たとえばメニュー項目が複数回ハイライトされないような時間幅としてもよい。また、ベースライン補正はメニュー項目ハイライト前１００ｍｓ間の平均電位を全体から引くという方法で実施してもよいし、任意の時間幅の平均電位を用いて実施してもよい。生体信号切り出し部１１は、波形の切り出し・ベースライン補正完了後に電位波形を最大振幅算出部１２へ送る。
　最大振幅算出部１２は、生体信号切り出し部１１から送られた咀嚼筋電の電位波形の最大振幅を求め、その情報を咀嚼筋電判定部１４に送る。咀嚼筋電の電位波形の最大振幅は、たとえば０μＶを基準としたときの電位の最大値である。また最大振幅算出部１２は、潜時算出部１３に咀嚼筋電の電位信号を送る。なお、最大振幅が閾値以上の場合のみ潜時算出部１３に波形を送ってもよい。この場合、閾値はたとえば１００μＶとしてもよいし、ユーザごとに値を設定してもよい。
　潜時算出部１３は、最大振幅算出部１２から送られた電位波形の潜時（メニュー項目ハイライトの時刻を０ｍｓとして電位波形が最大振幅となる時間）を求め、求めた潜時の情報を咀嚼筋電判定部１４に送る。
　なお、最大振幅算出部１２および潜時算出部１３が処理の対象とする電位波形は、生体信号切り出し部１１によって切り出されて得られた波形である。したがって、受け取った波形の開始点が、メニュー項目ハイライトのタイミングに対応している。したがって、最大振幅算出部１２および潜時算出部１３は、受け取った波形のそれぞれ最大振幅およびそのときの時間を求めれば、上述の最大振幅および潜時が得られることになる。
　咀嚼筋電判定部１４は、最大振幅算出部１２と潜時算出部１３から送られた最大振幅と潜時に基づき、メニュー項目ハイライトに対する意図的に表出された咀嚼筋電の有無を判定し、ハイライト型メニュー提示部に結果を送る。判定基準として、たとえば最大振幅・潜時が１００±５０μＶ、２００±５０ｍｓの範囲であった場合を検出し、ユーザ５がメニュー項目ハイライト直後に意図的な噛みしめ動作を行ったとしてもよい。また、ユーザごとに最大振幅・潜時の平均値および分散を測定し、それぞれ平均値±標準偏差のように範囲を設定してもよい。
　次に、図１２のフローチャートを参照しながら、図１１のインタフェースシステム１において行われる全体的な処理手順を説明する。
　図１２は、ユーザがメニュー項目ハイライトの直後に短時間の意図的な噛みしめ動作を行ったか否かの判定を行うインタフェースシステム１の処理手順を示す。
　ステップＳ１０１において、ハイライト型メニュー提示部１００はたとえば４つのメニュー項目の操作メニュー（たとえば図５（ａ））を提示する。
　ステップＳ１０２において、ハイライト型メニュー提示部１００は次にハイライトするメニュー項目を上から一つずつ順次選択する。
　ステップＳ１０３において、ステップＳ１０２によって選択されたメニュー項目をハイライトする。ハイライトの間隔は咀嚼筋電の潜時の分散よりも大きく、かつユーザ５がハイライトを認識できれば、たとえば１００ｍｓでもよい。
　ステップＳ１０４において、生体信号計測部５０はユーザ５の電位変化（咀嚼筋電）を計測する。
　ステップＳ２０において、咀嚼筋電検出装置１０はステップＳ１０４で計測した電位波形にメニュー項目ハイライトに対する意図的に表出された咀嚼筋電が含まれるか否かを識別する。ステップＳ２０の詳細な処理手順は後ほど述べる。
　ステップＳ２０でＹｅｓの場合、ステップＳ１０５に進み、Ｎｏの場合はステップＳ１０２に戻り次のメニュー項目を選択する。
　ステップＳ１０６において、ハイライト型メニュー提示部１００はステップＳ２０によって選択されたメニュー項目に対応する処理を実行する。これにより、そのメニュー項目が選択され、実行される。
　このようなインタフェースシステム１によれば、たとえば会話中や食事中であっても、特殊な噛みしめ動作やハイライトの繰り返しなしに短時間でメニュー選択を実現できる。よって機器の操作性が格段に向上する。
　図１３は、咀嚼筋電検出装置１０を構成する生体信号切り出し部１１と最大振幅算出部１２と潜時算出部１３と咀嚼筋電判定部１４によって実現され、ユーザ５がメニュー項目ハイライトの直後に意図的な噛みしめ動作を行ったか否かを判定する詳細な手順を示す。
　すなわち、図１３中のステップＳ２１において、生体信号切り出し部１１は生体信号計測部５０で計測したユーザ５の鼻根とマストイドの電位変化から、ハイライト型メニュー提示部１００においてメニュー項目がハイライトされたタイミングを起点に咀嚼筋電の電位波形を切り出し、ベースライン補正を行う。電位波形を切り出す時間帯はメニュー項目ハイライトのタイミングを０ｍｓとしてハイライト後１５０から３００ｍｓまでの時間帯を含むように－１００から４００ｍｓとしてもよいし、－３００から３００ｍｓとしてもよい。また、ベースライン補正はメニュー項目ハイライト前１００ｍｓ間の平均電位を全体から引くという方法で実施してもよいし、任意の時間幅の平均電位を用いて実施してもよい。そして生体信号切り出し部１１はベースライン補正後の電位波形を最大振幅算出部１２へ送る。
　ステップＳ２２において、最大振幅算出部１２は生体信号切り出し部１１より電位波形を受け取り振幅の最大値を求め、電位波形を潜時算出部１３に送る。その一方、求めた最大振幅の情報を咀嚼筋電判定部１４に送る。
　ステップＳ２３において、潜時算出部１３は電位波形の潜時（メニュー項目ハイライトの時刻を０ｍｓとして電位波形が最大振幅となる時間）を求め、求めた潜時の情報を咀嚼筋電判定部１４に送る。
　ステップＳ２４において、咀嚼筋電判定部１４は最大振幅算出部１２と潜時算出部１３から送られた最大振幅と潜時に基づき、メニュー項目ハイライトに対する意図的に表出された咀嚼筋電の有無を判定する。判定基準として、たとえば最大振幅・潜時が１００±５０μＶ、２００±５０ｍｓの範囲であった場合を検出してもよいし、最大振幅・潜時の平均値および分散を測定し、それぞれ平均値±標準偏差のように範囲を設定してもよい。ステップＳ２４でＹｅｓの場合はステップＳ２５へ、Ｎｏの場合はステップＳ２６へ進む。
　ステップＳ２５において、咀嚼筋電判定部１４はユーザ５がメニュー項目ハイライトの直後に意図的な噛みしめ動作をしたと判定する。
　ステップＳ２５において、咀嚼筋電判定部１４はユーザ５がメニュー項目ハイライトの直後に噛みしめ動作をしなかったと判定する。
　このような処理によって、ハイライト直後にユーザがメニュー選択のために実施した噛みしめ動作が検出できる。
　本実施形態の噛みしめインタフェースインタフェースシステム１より、メニュー項目ハイライトを起点とした電位波形の最大振幅・潜時を特徴量に、ハイライト直後の意図的な噛みしめ動作によって発生する咀嚼筋電の検出が可能となる。これにより、短時間でメニュー選択が可能で、かつ会話中・食事中であっても誤動作の少ない、使いやすいインタフェースが実現できる。具体的には、電話をしながらたとえばマルチタスクで携帯電話の他の機能（たとえばインターネット機能等）のメニュー選択を行う場合に、会話によって出現した咀嚼筋電によって誤ってメニュー選択がされる可能性の低いインタフェースが実現できる。また、食事中にＴＶを見ているときに、たとえばおすすめ番組に関するハイライト型メニューが自動的に提示されても、食事によって出現した咀嚼筋電による誤動作の少ないインタフェースが実現できる。
　（実施形態２）
　実施形態１によるインタフェースシステム１では、ハイライト型メニュー提示部１００はメニュー項目を上から順にハイライトし、ハイライトを起点に約２００ｍｓ前後に安定して出現する意図的な咀嚼筋電を、最大振幅および潜時を指標に検出することで、短時間でメニュー選択が可能で、かつ会話中・食事中であっても誤動作の少ないインタフェースを実現していた。
　本願発明者らは、前述の実験に加えてメニュー項目をランダムな順序でハイライトする条件で追加実験（ランダム実験）を実施した結果、メニュー項目をランダムな順序でハイライトした場合には意図的に表出された咀嚼筋電の最大振幅・潜時が変化することを発見した。
　そこで、本実施形態によるインタフェースシステムでは、メニュー項目ハイライトの順序に応じて最大振幅・潜時の検出対象範囲を切り替えて意図的に表出された咀嚼筋電を検出する。これによって、ランダムな順序でメニュー項目をハイライトしても、ハイライト直後の噛みしめ動作によって発生する意図的な咀嚼筋電を高精度で検出できるようになる。ハイライトをランダムな順序で実施することで、たとえば選択したいメニュー項目が下方にあった場合に早くハイライトされる可能性があり、操作時間が短縮されるという利点がある。そのため、ランダムなハイライト順序は機器側でユーザがよく選択するメニュー項目があらかじめ分かっている場合に特に有効である。
　まず、ランダム実験について述べる。ランダム実験では、図４のステップＳ５２を変更し、メニュー項目ハイライトの順序をランダムにした。それ以外の実験設定は前述の実験（降順実験）の噛みしめ選択条件と同様であるため、実験の詳細説明は省略する。
　図１４は、ランダム実験と降順実験の噛みしめ選択条件の結果で、潜時・最大振幅を特徴量としてプロットした図である。横軸はメニュー項目ハイライトの時刻を０ｍｓとした時間で単位はｍｓ、縦軸は最大振幅で単位はμＶである。降順実験の意図的な噛みしめありの場合を○印（４０個）、ランダム実験の意図的な噛みしめありの場合を×印（４０個）としてプロットしている。ランダム実験においてハイライト直後の咀嚼筋電の最大振幅および潜時が、降順実験の結果と比べてどちらもプラス方向に変化していることが見て分かる。ランダム実験における最大振幅・潜時の平均値±分散は２１３．０±７４．５（μＶ）・２８２．９±５０．７（ｍｓ）であり、降順条件と比べて最大振幅および潜時の平均値・分散値がいずれも増大した。なお、ｔ検定の結果有意に最大振幅・潜時が異なった（ｐ＜．０５）。この結果、ハイライトの順序に応じて出現する咀嚼筋電の特徴が変化することが明らかとなった。最大振幅・潜時が変化した理由として、ランダムな順序でハイライトされた場合には選択対象項目がハイライトされるタイミングを予測できないため反応が遅れた可能性が考えられる。また、降順条件に比べてランダム実験では最大振幅・潜時の分散が大きくなったことから、降順条件の方が意図的に表出した咀嚼筋電の検出精度が高いことが分かる。よって、メニュー項目のハイライト方法は、メニュー項目数が少ない場合（たとえば１０項目以下）の場合には降順に、多い場合にはランダムな順序でハイライトを行うように切り替えてもよい。
　両条件の咀嚼筋電の特徴を包含する最大振幅・潜時の範囲を咀嚼筋電の検出対象範囲とした場合、日常生活の咀嚼筋電を誤検出率が向上することが想定される。また、メニュー項目のハイライトの順序は降順またはランダムのどちらかであるため、メニュー項目ハイライトの順序に応じて、最大振幅・潜時の検出対象範囲を切り替えることで対応が可能である。
　図１５は、本実施形態による咀嚼筋電を用いたインタフェースシステム２（以下「インタフェースシステム２」と記述する。）の機能ブロックの構成を示す。図１５はまた、咀嚼筋電検出装置２０の詳細な機能ブロックも示している。ユーザ５のブロックは説明の便宜のために示されている。
　インタフェースシステム２がインタフェースシステム１（図１１）と相違する点は、ハイライト型メニュー提示部１００に代えてメニュー項目ハイライトのモードに応じてハイライトの順序を降順／ランダムに切り替え可能なハイライト型メニュー提示部２００を備えたこと、および、咀嚼筋電検出装置２０の構成のうち降順／ランダム切り替え部２１を新たに加えたことである。なお、インタフェースシステム２の構成要素のうち、インタフェースシステム１と同じ構成要素については同じ参照符号を付しその説明を省略する。
　ハイライト型メニュー提示部２００は、メニュー項目ハイライトの順序に関するモードを切り替えて降順またはランダムにメニュー項目をハイライトする。ランダム実験では最大振幅・潜時の分散が大きくなる傾向があることを考慮して、メニュー項目数が少ない場合（たとえば１０項目以下）の場合には降順に、多い場合にはランダムな順序でハイライトを行うように切り替えてもよい。
　降順／ランダム切り替え部２１は、ハイライト型メニュー提示部２００からメニュー項目ハイライトのモードを取得し、咀嚼筋電判定部１４に保持した咀嚼筋電の検出対象範囲を変更する。たとえば、検出対象範囲の最大振幅・潜時は、ハイライトの順序が降順の場合には１００±５０μＶ・２００±５０ｍｓとし、ランダムの場合には２００±１００μＶ・３００±１００ｍｓとしてもよい。
　このように構成することで、ハイライトの順序に応じて最大振幅・潜時に関する検出対象範囲の変更ができるため、降順／ランダムに関わらず高精度で咀嚼筋電の検出が可能となる。
　次に、図１６のフローチャートを参照しながら、インタフェースシステム２において行われる全体的な処理の手順を説明する。
　図１６は、本実施形態によるインタフェースシステム２の処理手順を示す。図１６では、インタフェースシステム１（図１２）の処理と同じ処理を行うステップについては同一の参照符号を付し、その説明は省略する。
　ステップＳ２０１において、ハイライト型メニュー提示部２００はメニュー項目ハイライトの順序に関するモードを選択する（降順またはランダム）。
　ステップＳ２０２において、ハイライト型メニュー提示部２００はステップＳ２０１で選択したモードに基づき、次にハイライトするメニュー項目を選択する。
　ステップＳ２０３において、降順／ランダム切り替え部２１はハイライト型メニュー提示部２００からハイライトのモードを取得し、咀嚼筋電判定部１４に保持した咀嚼筋電の検出対象範囲を変更する。たとえば、検出対象範囲の最大振幅・潜時は、ハイライトの順序が降順の場合には１００±５０μＶ・２００±５０ｍｓとし、ランダムの場合には２００±１００μＶ・３００±１００ｍｓとしてもよい。
　このような処理によって、ハイライトの順序に応じて最大振幅・潜時に関する検出対象範囲の変更ができるため、降順／ランダムに関わらず高精度で咀嚼筋電の検出が可能となる。
　本実施形態のインタフェースシステム２により、メニュー項目を降順またはランダムにハイライトした場合にも、最大振幅・潜時に関する検出対象範囲を変更することで、高精度な咀嚼筋電の検出が可能となる。これにより、特にメニュー項目数が多い場合にもランダムな順序でのハイライトによって短時間でメニュー選択が可能で、かつ会話中・食事中であっても誤動作の少ない、使いやすいインタフェースが実現できる。
　（実施形態３）
　実施形態１によるインタフェースシステム１では、ハイライト型メニュー提示部１００はメニュー項目を上から順にハイライトし、ハイライトを起点に約２００ｍｓ前後に安定して出現する意図的な咀嚼筋電を、最大振幅および潜時を指標に検出することで、短時間でメニュー選択が可能で、かつ会話中・食事中であっても誤動作の少ないインタフェースを実現していた。
　誤動作を恒常的に少なく維持することが理想であるが、時間の経過により同じような噛みしめ方ができない、電極の装着状態が変化する、等の要因により意図的に表出された咀嚼筋電の特徴が変化する場合があり、咀嚼筋電の検出精度が下がる可能性があった。
　たとえば図１７は、降順実験を同じ実験参加者に対して別の日に実施した結果を潜時・最大振幅を特徴量としてプロットした図である。横軸はメニュー項目ハイライトの時刻を０ｍｓとした時間で単位はｍｓ、縦軸は最大振幅で単位はμＶである。○印（４０個）と×印（４０個）は別の日の結果であることを示す。実験参加者には両日とも同様の噛みしめ方をするように指示した。図１７から、○印と×印を比較すると最大振幅が異なっているが、○印同士、×印同士のバラつきは小さいことが分かる。また、潜時の変化は小さいことがわかる。○印、×印の最大振幅・潜時（平均±標準偏差）は１０４．３±３２．９（μＶ）・２０１．３±３７．８（ｍｓ）、１９６．１±６１．９（μＶ）・２２０．８±５３．７（ｍｓ）であった。最大振幅が日によって異なる原因として、（１）時間の経過により同じような噛みしめ方ができなくなった、（２）電極の装着状態が異なった、が考えられる。
　本実施形態によるインタフェースシステムでは、一定以上の時間が経過した後の最初の選択に対しては、最大振幅・潜時の検出対象範囲を拡大しメニュー項目ハイライトの順序に応じて最大振幅・潜時の検出対象範囲を拡大して意図的に表出された咀嚼筋電を検出し、その咀嚼筋電の最大振幅・潜時から新たに検出対象範囲を決定することで、噛みしめ方や電極の装着状態の変化を吸収し、咀嚼筋電の検出精度を維持する。
　図１８は、本実施形態による咀嚼筋電を用いたインタフェースシステム３（以下「インタフェースシステム３」と記述する。）の機能ブロックの構成を示す。図１８はまた、咀嚼筋電検出装置３０の詳細な機能ブロックも示している。ユーザ５のブロックは説明の便宜のために示されている。
　インタフェースシステム３がインタフェースシステム１（図１１）と相違する点は、咀嚼筋電検出装置２０の構成のうち検出対象範囲決定部３１を新たに加えたことである。なお、インタフェースシステム２の構成要素のうち、インタフェースシステム１と同じ構成要素については同じ参照符号を付しその説明を省略する。
　検出対象範囲決定部３１は、ハイライト型メニュー提示部１００がユーザ５にメニュー提示をしてからの経過時刻を保持し、前回のメニュー提示から一定以上の時間が経過している場合に、咀嚼筋電判定部１４に保持した咀嚼筋電の検出対象範囲を拡大するように変更する。一定時間とはたとえば１時間としてもよいし、１日としてもよい。また検出対象範囲は、範囲を広げる方向であれば最大振幅・潜時はたとえば１００±７５μＶ・２００±７５ｍｓとしてもよい。そして、検出対象範囲決定部３１は、咀嚼筋電判定部１４が意図的に表出された咀嚼筋電を検出した場合、その最大振幅および潜時を取得し、新たな検出対象範囲を設定し、咀嚼筋電判定部１４に保持した咀嚼筋電の検出対象範囲を変更する。新たな検出対象範囲は、たとえば取得した最大振幅±５０μＶ・取得した潜時±５０ｍｓのように決めてもよいし、ユーザごとの最大振幅・潜時の分散に応じて決めてもよい。
　このように構成することで、前回のメニュー選択から一定以上時間が経過した場合に噛みしめ方や電極の装着状態の変化を吸収して高精度で咀嚼筋電の検出が可能となる。なお、一定時間経過後にハイライト型メニュー提示部１００によりキャリブレーション用のメニュー項目ハイライトの刺激を提示し、キャリブレーション用のメニュー項目ハイライトに対する意図的な咀嚼筋電の最大振幅および潜時を取得し、それ以降のメニュー選択の中心値としてもよい。
　次に、図１９のフローチャートを参照しながら、インタフェースシステム３において行われる全体的な処理の手順を説明する。
　図１９は、本実施形態によるインタフェースシステム３の処理手順を示す。図１６では、インタフェースシステム１（図１２）の処理と同じ処理を行うステップについては同一の参照符号を付し、その説明は省略する。なお、ステップＳ２０ａ、ステップＳ２０ｂは検出対象範囲は異なるがどちらもステップＳ２０と同じ処理である。
　ステップＳ３０１において、検出対象範囲決定部３１はハイライト型メニュー提示部１００が最後にメニューを提示してからの経過時間を求める。
　ステップＳ３０２において、検出対象範囲決定部３１はステップＳ３０１で求めた経過時間が一定以上であったか否かによって分岐する。ステップＳ３０２でＹｅｓの場合はステップＳ３０３へ、Ｎｏの場合はステップＳ２０ａへ進む。一定時間とはたとえば１時間としてもよいし、１日としてもよい。
　ステップＳ３０３において、検出対象範囲決定部３１は咀嚼筋電判定部１４に保持した咀嚼筋電の検出対象範囲を拡大するように変更する。最大振幅・潜時をたとえば１００±７５μＶ・２００±７５ｍｓのように設定してもよい。
　ステップＳ３０４において、検出対象範囲決定部３１は咀嚼筋電判定部１４から検出された咀嚼筋電の最大振幅および潜時を取得し、新たな検出対象範囲を設定し、咀嚼筋電判定部１４に保持した咀嚼筋電の検出対象範囲を変更する。新たな検出対象範囲は、たとえば取得した最大振幅±５０μＶ・取得した潜時±５０ｍｓのように決めてもよいし、ユーザごとの最大振幅・潜時の分散を参考に決めてもよい。
　このような処理によって、前回のメニュー選択から一定以上時間が経過した場合に噛みしめ方や電極の装着状態の変化を吸収して高精度で咀嚼筋電の検出が可能となる。
　本実施形態によるインタフェースシステムでは、一定以上の時間が経過した後の最初の選択に対しては、最大振幅・潜時の検出対象範囲を拡大しメニュー項目ハイライトの順序に応じて最大振幅・潜時の検出対象範囲を拡大して咀嚼筋電を検出し、その咀嚼筋電の最大振幅・潜時から新たに検出対象範囲を決定することで、噛みしめ方や電極の装着状態の変化を吸収し、意図的に表出された咀嚼筋電の検出精度の維持が可能となる。なお、特にユーザが動きながらメニュー選択を行う場合には電極の装着状態が頻繁に変化することが想定されるため、一定時間をたとえば１０分のように短く設定して頻繁にキャリブレーションを行ってもよい。
　上述の説明では、振幅の単位として「μＶ」を用いて説明したが、具体的な計測値は、増幅率等の相違により、計測に利用する機器によって異なる場合がある。たとえば本願発明者が生体信号計測部として用いた機器は、デジテックス研究所製のＡＰ１１２４である。当該機器とは異なる機器を用いて咀嚼筋電を計測した場合には、同じユーザでそれぞれ計測した振幅の大きさに基づいて、たとえば変換倍率を決定して、当該倍率を適用して本願明細書を読み替えればよい。
　また、実施形態の説明では、生体信号切り出し部を設け、メニュー項目ハイライトのタイミングを起点として、生体信号計測部５０からリアルタイムで送られる咀嚼筋電の電位波形を切り出すとして説明した。しかしながら、生体信号切り出し部を設けることは必須ではない。たとえば生体信号計測部５０がメニュー項目ハイライトのタイミングで計測結果を出力するようにしてもよいし、生体信号計測部５０には常時計測を送信させ、メニュー項目ハイライトのタイミングに基づいて咀嚼筋電検出装置１０で受信するかどうかを決定してもよい。
　また、メニュー項目のハイライト前に、ハイライト型メニュー提示部が、ユーザに噛みしめ動作による機器操作を認識してもらうための表示を出力部７にしてもよい。たとえば、「選択したいと思ったメニュー項目がハイライトされた時に、噛みしめ動作を行って下さい。」などの表示を行えばよい。ユーザが咀嚼することにより、複数のメニュー項目のうち所望のメニュー項目を選択するインタフェースシステムであることを認識させることができる。
　上述の実施形態に関して、フローチャートを用いて説明した処理はコンピュータに実行されるプログラムとして実現され得る。そのようなコンピュータプログラムは、ＣＤ－ＲＯＭ等の記録媒体に記録されて製品として市場に流通され、または、インターネット等の電気通信回線を通じて伝送される。咀嚼筋電検出装置を構成する全部または一部の構成要素や、ハイライト型メニュー提示部は、コンピュータプログラムを実行する汎用のプロセッサ（半導体回路）として実現される。または、そのようなコンピュータプログラムとプロセッサとが一体化された専用プロセッサとして実現される。咀嚼筋電検出装置の機能を実現するコンピュータプログラムは、インタフェースシステムの機能を実現するためのコンピュータプログラムを実行するプロセッサによって実行されてもよいし、インタフェースシステム内の他のプロセッサによって実行されてもよい。そのようなコンピュータプログラムは、プロセッサによって実行されることにより、出力部への出力や、生体信号計測部での咀嚼筋電計測を制御することが可能である。
　なお、上述の各実施形態の説明では、テレビの放送番組のチャンネル切り替え操作を例に挙げたが、これは例である。テレビ画面の操作に関する場合のみならず、他の機器の操作にも適用できる。たとえば電子レンジのような家電製品の表示ディスプレイに順次またはランダムに調理項目が表示される場合にも本願発明は適用可能である。
　本発明の咀嚼筋電検出装置および咀嚼筋電検出装置が組み込まれたインタフェースシステムによれば、メガネ装着時に自然に接触する部位で計測した電位に基づき、ユーザはハイライトされるメニュー項目を短時間で選択できる。たとえばボタン等のインタフェース部が小さく操作入力が難しいウェアラブル機器（ヘッドマウントディスプレイや音楽プレーヤ）の操作がハンズフリーで実現できる。
　５　　ユーザ
　７　　出力部
　７ａ　画面
　１０　咀嚼筋電検出装置
　１１　生体信号切り出し部
　１２　最大振幅算出部
　１３　潜時算出部
　１４　咀嚼筋電判定部
　２１　降順／ランダム切り替え部
　３１　検出対象決定部
　５０　生体信号計測部
　１００　ハイライト型メニュー提示部
　２００　ハイライト型メニュー提示部

Claims (15)

  1. 　機器の操作メニューを視覚的に提示する出力部と、
    　ユーザの咀嚼筋電を計測する計測部と、
    　前記操作メニューを構成する各メニュー項目を、前記出力部を介して順次提示するメニュー提示部と、
    　前記咀嚼筋電の電位波形の最大振幅を求める振幅算出部と、
    　各メニュー項目がハイライトされた時刻を起点に、前記電位波形が前記最大振幅となる時間である潜時を求める潜時算出部と、
    　前記最大振幅があらかじめ定められた閾値よりも大きく、かつ、潜時が２００ｍｓ前後の範囲内にあるか否かを判定する判定部と
    　を備え、前記判定部の判定結果に応じて、前記メニュー提示部は、ハイライトされた前記メニュー項目に対応する処理を実行する、インタフェースシステム。
  2. 　前記判定部が、前記最大振幅があらかじめ定められた閾値よりも大きく、かつ、潜時が２００ｍｓ前後の範囲内にあると判定したときにおいて、
    　前記咀嚼筋電が意図的に表出されたとして、前記メニュー提示部は、ハイライトされた前記メニュー項目に対応する処理を実行する、請求項１に記載のインタフェースシステム。
  3. 　前記計測部は、前記ユーザの鼻根およびマストイドに装着した電極によって計測される電位差により、前記咀嚼筋電を計測する、請求項１に記載のインタフェースシステム。
  4. 　さらに、前記メニュー提示部の各メニュー項目のハイライトに応じて、前記咀嚼筋電の電位波形を切り出す切り出し部とを備え、
    　振幅算出部は、切り出された電位波形の最大振幅を求める、請求項１に記載のインタフェースシステム。
  5. 　前記切り出し部は、少なくともハイライトに対する咀嚼筋電が出現するハイライト後１５０ｍｓから２５０ｍｓを含む時間帯を切り出す、請求項４に記載のインタフェースシステム。
  6. 　前記判定部は、前記最大振幅があらかじめ定められた閾値よりも大きく、かつ、潜時が２００ｍｓ前後の範囲内にある場合には、計測された前記咀嚼筋電が、前記メニュー項目のハイライトに対して意図的に表出されたと判定し、前記最大振幅があらかじめ定められた閾値よりも大きく、かつ、潜時が２００ｍｓ前後の範囲内にない場合には、計測された前記咀嚼筋電が、前記メニュー項目のハイライトに対して意図的に表出されていないと判定する、請求項２に記載のインタフェースシステム。
  7. 　前記判定部は、前記最大振幅があらかじめ定められた閾値である５０μＶよりも大きく、かつ、潜時が２００ｍｓ前後の範囲内にあるか否かに基づいて、計測された前記咀嚼筋電が、前記メニュー項目のハイライトに対して意図的に表出されたことを判定する、請求項２に記載のインタフェースシステム。
  8. 　前記判定部は、ユーザごとに最大振幅および潜時の各平均値および各分散値を取得し、取得した前記平均値および分散値に基づき、それぞれの平均値±標準偏差の範囲を検出対象範囲として、計測された前記咀嚼筋電が、前記メニュー項目のハイライトに対して意図的に表出されたことを判定する、請求項２に記載のインタフェースシステム。
  9. 　前記判定部は、取得した前記最大振幅±５０μＶ、かつ、取得した前記潜時±５０ｍｓの範囲を検出対象範囲として、計測された前記咀嚼筋電が、前記メニュー項目のハイライトに対して意図的に表出されたことを判定する、請求項２に記載のインタフェースシステム。
  10. 　前記メニュー提示部において、メニュー項目ハイライトの順序を降順またはランダムに切り替えて、前記メニュー提示部においてメニュー項目が降順またはランダムのどちらの順序で切り替えられていたかを取得し、前記判定部の検出対象範囲を切り替える切り替え部を備えた、請求項１に記載のインタフェースシステム。
  11. 　前記メニュー項目ハイライトの順序がランダムの場合には、前記切り替え部は、最大振幅および潜時の検出対象範囲を、それぞれ２００±７０μVおよび２８０±５０ｍｓに切り替える、請求項１０に記載のインタフェースシステム。
  12. 　前記メニュー提示部において最後にメニューが提示されてからの経過時間を保持し、一定時間以上経過していた場合には、前記判定部の検出対象範囲を拡大する方向に設定する範囲決定部を備えた、請求項１に記載のインタフェースシステム。
  13. 　前記範囲決定部で前記検出対象範囲を拡大した後に前記咀嚼筋電が検出された場合において、前記範囲決定部は、検出された咀嚼筋電の最大振幅および潜時値を新たに検出対象範囲の中心値に設定する、請求項１２に記載のインタフェースシステム。
  14. 　機器の操作メニューを視覚的に提示するステップと、
    　計測されたユーザの咀嚼筋電を受け取るステップと、
    　前記操作メニューを構成する各メニュー項目を、前記出力部を介して順次提示するステップと、
    　前記咀嚼筋電の電位波形の最大振幅を求めるステップと、
    　各メニュー項目がハイライトされた時刻を起点に、前記電位波形が前記最大振幅となる時間である潜時を求めるステップと、
    　前記最大振幅があらかじめ定められた閾値よりも大きく、かつ、潜時が２００ｍｓ前後の範囲内にあるか否かを判定するステップと、
    　前記判定するステップの判定結果に応じて、ハイライトされた前記メニュー項目に対応する処理を実行するステップと
    　を包含する、インタフェースシステムにおいて実行される方法。
  15. 　コンピュータによって実行されるコンピュータプログラムであって、
    　前記コンピュータプログラムは、前記コンピュータに対し、
    　機器の操作メニューを視覚的に提示するステップと、
    　計測されたユーザの咀嚼筋電を受け取るステップと、
    　前記操作メニューを構成する各メニュー項目を、前記出力部を介して順次提示するステップと、
    　前記咀嚼筋電の電位波形の最大振幅を求めるステップと、
    　各メニュー項目がハイライトされた時刻を起点に、前記電位波形が前記最大振幅となる時間である潜時を求めるステップと、
    　前記最大振幅があらかじめ定められた閾値よりも大きく、かつ、潜時が２００ｍｓ前後の範囲内にあるか否かを判定するステップと、
    　前記判定するステップの判定結果に応じて、ハイライトされた前記メニュー項目に対応する処理を実行するステップと
    　を実行させる、コンピュータプログラム。
PCT/JP2009/003078 2008-07-11 2009-07-02 咀嚼筋電を用いたインタフェースシステム WO2010004710A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2010512454A JP4531864B2 (ja) 2008-07-11 2009-07-02 咀嚼筋電を用いたインタフェースシステム
CN2009801116553A CN101981533A (zh) 2008-07-11 2009-07-02 利用咀嚼肌肌电的接口系统
US12/715,447 US20100160808A1 (en) 2008-07-11 2010-03-02 Interface system utilizing musticatory electromyogram

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2008181670 2008-07-11
JP2008-181670 2008-07-11

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US12/715,447 Continuation US20100160808A1 (en) 2008-07-11 2010-03-02 Interface system utilizing musticatory electromyogram

Publications (1)

Publication Number Publication Date
WO2010004710A1 true WO2010004710A1 (ja) 2010-01-14

Family

ID=41506838

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2009/003078 WO2010004710A1 (ja) 2008-07-11 2009-07-02 咀嚼筋電を用いたインタフェースシステム

Country Status (4)

Country Link
US (1) US20100160808A1 (ja)
JP (1) JP4531864B2 (ja)
CN (1) CN101981533A (ja)
WO (1) WO2010004710A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023233972A1 (ja) * 2022-06-02 2023-12-07 パナソニックＩｐマネジメント株式会社 情報処理方法及びシステム

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150081225A1 (en) * 2013-06-23 2015-03-19 Keady John P Method and System for the Visualization of Brain Activity
CN106137188A (zh) * 2015-04-10 2016-11-23 青岛智拓智能科技有限公司 一种肌电信号传输方法和系统
ITUB20153680A1 (it) * 2015-09-16 2017-03-16 Liquidweb Srl Sistema di controllo di tecnologie assistive e relativo metodo
CN106994014A (zh) * 2016-01-22 2017-08-01 周常安 耳戴式电极结构及穿戴式生理感测装置及系统
CN107080541B (zh) * 2017-03-01 2020-03-24 英华达（南京）科技有限公司 单边咀嚼监测设备及其方法
CN107049327B (zh) * 2017-03-14 2020-07-21 英华达（南京）科技有限公司 单边咀嚼监测设备及监测方法
CN107049328B (zh) * 2017-03-14 2020-03-06 英华达（南京）科技有限公司 单边咀嚼监测设备及监测方法
CN107049326B (zh) * 2017-03-15 2019-10-25 英华达（南京）科技有限公司 单边咀嚼监测设备及其方法

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0490244U (ja) * 1990-12-13 1992-08-06
JPH10207592A (ja) * 1997-01-20 1998-08-07 Technos Japan:Kk 生体信号を利用した意思伝達装置
JPH11203022A (ja) * 1998-01-16 1999-07-30 Technos Japan:Kk 生体信号を機器の制御信号として応用する方法及びその装置
JP2000172407A (ja) * 1998-12-07 2000-06-23 Hitachi Ltd 生体信号による機器制御装置
JP2004180817A (ja) * 2002-12-02 2004-07-02 National Institute Of Advanced Industrial & Technology 生体信号を利用した作業支援マニピュレータシステム
JP2004348382A (ja) * 2003-05-21 2004-12-09 Ntt Docomo Inc 携帯型電子装置およびその制御方法
JP2007125380A (ja) * 2005-10-28 2007-05-24 Korea Electronics Telecommun 歯噛みを用いた移動機器制御装置及び方法

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1008925B1 (en) * 1998-12-07 2006-01-11 Hitachi, Ltd. Device for controlling equipment by using signals from a living body
JP3813552B2 (ja) * 2002-07-22 2006-08-23 横浜ゴム株式会社 作業中ストレス判定装置、作業中ストレス判定プログラム及び作業中ストレス判定方法
WO2005051329A2 (en) * 2003-11-26 2005-06-09 Mitchell Eugene Tyler Systems and methods for altering vestibular biology
KR100652010B1 (ko) * 2005-12-02 2006-12-01 한국전자통신연구원 이물기를 이용한 문자 형성 장치 및 방법
WO2008059878A1 (fr) * 2006-11-15 2008-05-22 Panasonic Corporation Dispositif d'ajustement pour un procédé d'identification d'ondes cérébrales, procédé d'ajustement et programme informatique

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0490244U (ja) * 1990-12-13 1992-08-06
JPH10207592A (ja) * 1997-01-20 1998-08-07 Technos Japan:Kk 生体信号を利用した意思伝達装置
JPH11203022A (ja) * 1998-01-16 1999-07-30 Technos Japan:Kk 生体信号を機器の制御信号として応用する方法及びその装置
JP2000172407A (ja) * 1998-12-07 2000-06-23 Hitachi Ltd 生体信号による機器制御装置
JP2004180817A (ja) * 2002-12-02 2004-07-02 National Institute Of Advanced Industrial & Technology 生体信号を利用した作業支援マニピュレータシステム
JP2004348382A (ja) * 2003-05-21 2004-12-09 Ntt Docomo Inc 携帯型電子装置およびその制御方法
JP2007125380A (ja) * 2005-10-28 2007-05-24 Korea Electronics Telecommun 歯噛みを用いた移動機器制御装置及び方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023233972A1 (ja) * 2022-06-02 2023-12-07 パナソニックＩｐマネジメント株式会社 情報処理方法及びシステム

Also Published As

Publication number Publication date
JP4531864B2 (ja) 2010-08-25
CN101981533A (zh) 2011-02-23
US20100160808A1 (en) 2010-06-24
JPWO2010004710A1 (ja) 2011-12-22

Similar Documents

Publication Publication Date Title
JP4531864B2 (ja) 咀嚼筋電を用いたインタフェースシステム
Park et al. Development of an online home appliance control system using augmented reality and an SSVEP-based brain–computer interface
JP4287903B2 (ja) 脳波インタフェースシステムおよび起動装置
JP4264126B2 (ja) 脳波識別方法調整装置および方法
JP4856791B2 (ja) 脳波インタフェースシステム、脳波インタフェース提供装置、脳波インタフェースの実行方法、および、プログラム
JP4399513B2 (ja) 脳波インタフェースシステム、脳波インタフェース装置、方法およびコンピュータプログラム
CN102016757B (zh) 使用了脑电波的设备的控制方法和脑电波接口系统
JP4659905B2 (ja) 脳波識別の要否を決定する装置および方法
JP5352029B1 (ja) 聴覚事象関連電位計測システム、聴覚事象関連電位計測装置、聴覚事象関連電位計測方法およびそのコンピュータプログラム
US20120029336A1 (en) Electrode attachment state determination system, electrode attachment state determination method, and program thereof
CN102821681A (zh) 脑电波测量装置、电噪声的推定方法、以及执行电噪声的推定方法的计算机程序
WO2009139119A1 (ja) 脳波信号の識別方法を調整する装置、方法およびプログラム
JP2013544546A (ja) Ｓｓｖｅｐに基づく電気デバイス制御システムおよび方法
Xia et al. Asynchronous brain–computer interface based on steady-state visual-evoked potential
WO2013017985A1 (en) Command detection device and method
Park et al. Brain-controlled, AR-based Home automation system using SSVEP-based brain-computer interface and EOG-based eye tracker: A feasibility study for the elderly end User
JP2009268826A (ja) 脳波識別方法調整装置および方法
Kick et al. Evaluation of different spelling layouts for SSVEP based BCIs
JP2009199535A (ja) 脳波識別方法の調整装置および方法
JP4460644B2 (ja) 脳波識別方法の調整装置、方法およびコンピュータプログラム
JP2005018167A (ja) 生体反応利用機器制御装置及び機器の制御方法
Valeriani et al. Towards a wearable device for controlling a smartphone with eye winks
Park et al. Development of an online home appliance control system for the elderly based on ssvep-based brain-computer interface: A feasibility study
JP6960619B2 (ja) 脳波判定システム
Deravi et al. Usability and performance measure of a consumer-grade brain computer interface system for environmental control by neurological patients

Legal Events

Date Code Title Description
WWE Wipo information: entry into national phase

Ref document number: 200980111655.3

Country of ref document: CN

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 09794158

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 2010512454

Country of ref document: JP

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 09794158

Country of ref document: EP

Kind code of ref document: A1