JPWO2010004710A1 - 咀嚼筋電を用いたインタフェースシステム - Google Patents

Abstract

会話中や食事中のように日常生活の咀嚼筋電が発生する状況においても、特殊な噛みしめ動作やハイライトの繰り返しなしに、短時間でメニュー選択が可能なインタフェースシステムを提供する。インタフェースシステムは、機器の操作メニューを視覚的に提示する出力部と、ユーザの咀嚼筋電を計測する計測部と、操作メニューを構成する各メニュー項目を、出力部を介して順次提示するメニュー提示部と、咀嚼筋電の電位波形の最大振幅を求める振幅算出部と、各メニュー項目がハイライトされた時刻を起点に、電位波形が最大振幅となる時間である潜時を求める潜時算出部と、最大振幅があらかじめ定められた閾値よりも大きく、かつ、潜時が２００ｍｓ前後の範囲内にあるか否かを判定する判定部とを備えている。判定部の判定結果に応じて、メニュー提示部は、ハイライトされたメニュー項目に対応する処理を実行する。

Description

本発明は、機器のインタフェースシステムに関する。より具体的には、本発明は、ユーザの生体情報（頭部周辺で計測可能な筋電）を利用した機器のインタフェースシステムに関する。

近年、テレビ・携帯電話・ヘッドマウントディスプレイ（ＨＭＤ：Ｈｅａｄ Ｍｏｕｎｔ Ｄｉｓｐｌａｙ）等の様々な種類の情報機器が普及し生活に入り込んできている。そのため、ユーザは普段の生活の多くの場面において情報機器を操作する必要が生じている。

通常、ユーザは手を使ってボタン等の入力手段（インタフェース部）を介して入力コマンドを入力し、それにより、機器の操作を実現している。しかし、たとえば、家事／育児／運転をしているときなど、両手が機器操作以外のタスクで塞がっている状況では手を使ってインタフェース部を操作することが困難となり、機器操作を実現できなかった。また、頸髄損傷等により、手を自由に動かすことができないユーザにとっても、手を使ってボタンを操作することが困難であった。そのため、ハンズフリーで機器を操作したいというユーザのニーズが高まっている。

このようなニーズに対して、生体信号として頭部周辺で計測され、下顎骨の運動に関わる咀嚼筋の活動によって発生する筋電（以下、本明細書において「咀嚼筋電」（Masticatory electromyogram）と呼ぶ。）を利用した入力手段が開発されている。

咀嚼筋電は、たとえば日常生活における会話や、物を食べる咀嚼に起因する顎関節の動作によっても発生する。そのため、咀嚼筋電を利用したインタフェースを実現するためには、日常生活で発生する咀嚼筋電と、操作のためにユーザが意図的に行った咀嚼筋の活動によって出現した咀嚼筋電とを区別する必要があった。しかしながら、意図的であってもなくても噛みしめ動作によって出現する咀嚼筋電の特徴（周波数・振幅等）には差がないため、所定の期間中に連続的に計測した咀嚼筋電のうちから、意図的に表出された咀嚼筋電のみを検出することは困難であった。

そこで、たとえば、特許文献１では、日常生活では発生しない特殊な噛みしめ動作をユーザに行わせることで、意図的な咀嚼筋電のみを検出し車椅子の制御信号として用いる技術が開示されている。この技術は、特殊な噛みしめ動作によって発生した特殊な咀嚼筋電は、日常生活の咀嚼筋電から区別することが可能であるという根拠に基づくものである。

特許文献１では、特殊な噛みしめ動作として、（１）数百ミリ秒（以下「ｍｓ」と記述する。）以上の持続的噛みしめ動作、（２）左側のみ／右側のみの噛みしめ動作、等をユーザにさせている。その上で、左右の額に貼り付けた複数個の電極で計測された電位の差分値を閾値処理する方法で、それらの特殊な噛み方によって発生した意図的な咀嚼筋電を検出していた。この特殊な噛みしめ方法を利用することにより、電動車椅子の制御に関して、（１）持続的な操作信号を発生させることが可能となり、持続的な走行が実現できること（すなわち、信号ＯＮの時間区間が指定できアクセル代わりに利用できること）、および、（２）左右の噛み分けが電動車椅子の左右の旋回に対応しており分かりやすい入力方法であること、からユーザにとって負担が少ないインタフェースを実現している。

一方、生体信号として脳波の事象関連電位を用いてユーザが選択したいと思っている選択肢を識別する入力手段が開発されている。非特許文献１では、選択肢をランダムにハイライトし、選択肢がハイライトされたタイミングを起点に約３００ｍｓ後に出現する事象関連電位のＰ３成分を利用して、ユーザが選択したいと思っている選択肢を検出する技術が開示されている。この技術によって、ユーザは手を使うことなく、選択したいと思った選択肢の選択が可能となる。

特開２００７−１２５３８０号公報

エマニュエル・ドンチン（Emanuel Donchin）、他２名、"Ｔｈｅ Ｍｅｎｔａｌ Ｐｒｏｓｔｈｅｓｉｓ：Ａｓｓｅｓｓｉｎｇ ｔｈｅ Ｓｐｅｅｄ ｏｆ ａ Ｐ３００−Ｂａｓｅｄ Ｂｒａｉｎ−Ｃｏｍｐｕｔｅｒ Ｉｎｔｅｒｆａｃｅ"、ＴＲＡＮＳＡＣＴＩＯＮＳ ＯＮ ＲＥＨＡＢＩＬＩＴＡＴＩＯＮ ＥＮＧＩＮＥＥＲＩＮＧ ２０００、Ｖｏｌ．８、２０００年６月

しかしながら、特許文献１に記載の咀嚼筋電を利用した入力方法は、意図的な咀嚼筋電と日常生活の咀嚼筋電とを区別するために特殊な（持続的・特徴的な）噛みしめ動作をユーザに要求している。そのために、（１）短時間で操作入力できない、（２）特殊な噛みしめ方の種類に制限があるためコマンド数が限られる、といった課題があった。これらは、即時的な操作入力が求められ、かつコマンド数が多い、テレビ・携帯電話・ＨＭＤ等の情報機器のインタフェースとして適用する場合には特に問題となる。

一方、非特許文献１に記載の脳波を用いた入力方法は、ハイライトされるメニュー項目に対して選択するか否かのユーザの選択意図（１ビットの情報）を出力するだけでメニュー項目の選択ができるため、ユーザは全てのコマンドを同じ方法で選択できるという利点がある。

しかしながら、Ｓ／Ｎの低い事象関連電位を識別するため、５から１０回程度の加算平均（ハイライトの繰り返し）が必要であり、短時間で確実なメニュー選択が実現できないという課題があった。

さらに、電極装着位置に関しても課題があった。特許文献１では左右の噛みしめの違いを検出するために額の左右に複数個、非特許文献１ではＰ３成分を検出するために少なくとも頭頂部に一つ、電極を装着する必要があった。そのため電極装着がユーザにとって負担となっていた。

本発明の目的は、たとえば会話中や食事中のように日常生活の咀嚼筋電が発生する状況においても、特殊な噛みしめ動作やハイライトの繰り返しなしに、短時間でメニュー選択が可能なインタフェースシステムを提供することにある。

本発明によるインタフェースシステムは、機器の操作メニューを視覚的に提示する出力部と、ユーザの咀嚼筋電を計測する計測部と、前記操作メニューを構成する各メニュー項目を、前記出力部を介して順次提示するメニュー提示部と、前記咀嚼筋電の電位波形の最大振幅を求める振幅算出部と、各メニュー項目がハイライトされた時刻を起点に、前記電位波形が前記最大振幅となる時間である潜時を求める潜時算出部と、前記最大振幅があらかじめ定められた閾値よりも大きく、かつ、潜時が２００ｍｓ前後の範囲内にあるか否かを判定する判定部とを備え、前記判定部の判定結果に応じて、前記メニュー提示部は、ハイライトされた前記メニュー項目に対応する処理を実行する。

前記判定部が、前記最大振幅があらかじめ定められた閾値よりも大きく、かつ、潜時が２００ｍｓ前後の範囲内にあると判定したときにおいて、前記咀嚼筋電が意図的に表出されたとして、前記メニュー提示部は、ハイライトされた前記メニュー項目に対応する処理を実行してもよい。

前記計測部は、前記ユーザの鼻根およびマストイドに装着した電極によって計測される電位差により、前記咀嚼筋電を計測してもよい。

前記インタフェースシステムは、さらに、前記メニュー提示部の各メニュー項目のハイライトに応じて、前記咀嚼筋電の電位波形を切り出す切り出し部とを備え、振幅算出部は、切り出された電位波形の最大振幅を求めてもよい。

前記切り出し部は、少なくともハイライトに対する咀嚼筋電が出現するハイライト後１５０ｍｓから２５０ｍｓを含む時間帯を切り出してもよい。

前記判定部は、前記最大振幅があらかじめ定められた閾値よりも大きく、かつ、潜時が２００ｍｓ前後の範囲内にある場合には、計測された前記咀嚼筋電が、前記メニュー項目のハイライトに対して意図的に表出されたと判定し、前記最大振幅があらかじめ定められた閾値よりも大きく、かつ、潜時が２００ｍｓ前後の範囲内にない場合には、計測された前記咀嚼筋電が、前記メニュー項目のハイライトに対して意図的に表出されていないと判定してもよい。

前記判定部は、前記最大振幅があらかじめ定められた閾値である５０μＶよりも大きく、かつ、潜時が２００ｍｓ前後の範囲内にあるか否かに基づいて、計測された前記咀嚼筋電が、前記メニュー項目のハイライトに対して意図的に表出されたことを判定してもよい。

前記判定部は、ユーザごとに最大振幅および潜時の各平均値および各分散値を取得し、取得した前記平均値および分散値に基づき、それぞれの平均値±標準偏差の範囲を検出対象範囲として、計測された前記咀嚼筋電が、前記メニュー項目のハイライトに対して意図的に表出されたことを判定してもよい。

前記判定部は、取得した前記最大振幅±５０μＶ、かつ、取得した前記潜時±５０ｍｓの範囲を検出対象範囲として、計測された前記咀嚼筋電が、前記メニュー項目のハイライトに対して意図的に表出されたことを判定してもよい。

前記メニュー提示部において、メニュー項目ハイライトの順序を降順またはランダムに切り替えて、前記メニュー提示部においてメニュー項目が降順またはランダムのどちらの順序で切り替えられていたかを取得し、前記判定部の検出対象範囲を切り替える切り替え部が備えられていてもよい。

前記メニュー項目ハイライトの順序がランダムの場合には、前記切り替え部は、最大振幅および潜時の検出対象範囲を、それぞれ２００±７０μVおよび２８０±５０ｍｓに切り替えてもよい。

前記メニュー提示部において最後にメニューが提示されてからの経過時間を保持し、一定時間以上経過していた場合には、前記判定部の検出対象範囲を拡大する方向に設定する範囲決定部が備えられていてもよい。

前記範囲決定部で前記検出対象範囲を拡大した後に前記咀嚼筋電が検出された場合において、前記範囲決定部は、検出された咀嚼筋電の最大振幅および潜時値を新たに検出対象範囲の中心値に設定してもよい。

本発明による方法は、インタフェースシステムにおいて実行される方法であって、機器の操作メニューを視覚的に提示するステップと、計測されたユーザの咀嚼筋電を受け取るステップと、前記操作メニューを構成する各メニュー項目を、前記出力部を介して順次提示するステップと、前記咀嚼筋電の電位波形の最大振幅を求めるステップと、各メニュー項目がハイライトされた時刻を起点に、前記電位波形が前記最大振幅となる時間である潜時を求めるステップと、前記最大振幅があらかじめ定められた閾値よりも大きく、かつ、潜時が２００ｍｓ前後の範囲内にあるか否かを判定するステップと、前記判定するステップの判定結果に応じて、ハイライトされた前記メニュー項目に対応する処理を実行するステップとを包含する。

本発明による、コンピュータによって実行されるコンピュータプログラムは、前記コンピュータに対し、機器の操作メニューを視覚的に提示するステップと、計測されたユーザの咀嚼筋電を受け取るステップと、前記操作メニューを構成する各メニュー項目を、前記出力部を介して順次提示するステップと、前記咀嚼筋電の電位波形の最大振幅を求めるステップと、各メニュー項目がハイライトされた時刻を起点に、前記電位波形が前記最大振幅となる時間である潜時を求めるステップと、前記最大振幅があらかじめ定められた閾値よりも大きく、かつ、潜時が２００ｍｓ前後の範囲内にあるか否かを判定するステップと、前記判定するステップの判定結果に応じて、ハイライトされた前記メニュー項目に対応する処理を実行するステップとを実行させる。

本発明のインタフェースシステムによれば、メニュー項目ハイライトを起点に切り出した頭部周辺の電位変化（咀嚼筋電）を計測して、咀嚼筋電の最大振幅があらかじめ定められた閾値（たとえば５０μＶ）よりも大きく、かつ、潜時が２００ｍｓ前後の範囲内にあるか否かに基づいて、計測された前記咀嚼筋電が、前記メニュー項目のハイライトに対して意図的に表出されたといえるか否かを判定する。これにより、たとえば会話中や食事中のように日常生活の咀嚼筋電が発生する状況においても、特殊な噛みしめ動作やハイライトの繰り返しなしに、短時間でメニュー選択が可能なハンズフリーインタフェースを実現できる。

ハイライト型メニュー提示方法を時系列的に示す図である。 人体の頭部周辺に存在する咀嚼筋２０１を示す。 （ａ）〜（ｄ）は、咀嚼筋電を計測するために装着する電極の位置を示す図である。 本願発明者らが行った実験中にハイライト型メニュー提示および電位計測を行う機器の処理手順を示すフローチャートである。 （ａ）は実際に被験者に提示したメニュー項目を簡略化した図であり、（ｂ）はハイライトの例を示す図である。 （ａ）は噛みしめ選択条件の参加者側のフローを示した図であり、（ｂ）は喋る条件・食べる条件の参加者側の処理手順を示すフローチャートである。 （ａ）〜（ｃ）は実験結果の一例を示す図である。 （ａ）は、噛みしめ選択条件における意図的な噛みしめ動作あり／なしのハイライトごとに切り出した電位波形を、潜時および最大振幅を特徴量としてプロットした図であり、（ｂ）は、噛みしめ選択条件の意図的な噛みしめありの場合の咀嚼筋電と、喋る・食べる条件での咀嚼筋電を、潜時・最大振幅を特徴量としてプロットした図である。 咀嚼筋電を用いたインタフェースシステム１の構成および利用環境を示す図である。 インタフェースシステム１においてＴＶ２を操作し、ユーザ５が視聴したい番組を選択して見るときの例を示す図である。 実施形態１によるインタフェースシステム１の機能ブロックの構成を示す図である。 ユーザがメニュー項目ハイライトの直後に短時間の意図的な噛みしめ動作を行ったか否かの判定を行うインタフェースシステム１の処理手順を示すフローチャートである。 ユーザ５がメニュー項目ハイライトの直後に意図的な噛みしめ動作を行ったか否かを判定する咀嚼筋電検出装置１０の詳細な処理手順を示すフローチャートである。 ランダム実験と降順実験の噛みしめ選択条件の結果で、潜時・最大振幅を特徴量としてプロットした図である。 実施形態２によるインタフェースシステム２の機能ブロックの構成を示す図である。 実施形態２によるインタフェースシステム２の処理手順を示すフローチャートである。 降順実験を同じ実験参加者に対して別の日に実施した結果を潜時・最大振幅を特徴量としてプロットした図である。 実施形態３によるインタフェースシステム３の機能ブロックの構成を示す図である。 実施形態３によるインタフェースシステム３の処理手順を示すフローチャートである。

以下、添付の図面を参照しながら、本発明による咀嚼筋電を用いたインタフェースシステムの実施形態を説明する。

本願発明者らは、実行すべき機器操作に関連して提示されたメニュー項目が一つずつハイライトされる状況で、ユーザが選択対象のメニュー項目のハイライトと同時またはその直後に意図的な噛みしめ動作を行ったとき、その噛みしめ動作を的確に検出する方法を見出した。具体的には、ユーザが選択対象のメニュー項目のハイライトと同時またはその直後に意図的な噛みしめ動作を行ったときに、ユーザの鼻根部とマストイド（メガネ装着時にメガネが耳に接触する位置）との電位から咀嚼筋電を計測すると、メニュー項目のハイライトを起点に切り出した咀嚼筋電の電位波形の最大振幅・潜時がそれぞれ１００μＶ前後・２００ｍｓ前後に安定して出現することを発見した。また最大振幅および潜時を指標に、日常生活の咀嚼筋電と区別して検出できることを見出した。この結果、咀嚼筋電に基づいて、ユーザの意図的な噛みしめ動作を識別して、ユーザの選択意図を検出することが可能となる。

なお、本明細書では、「１００μＶ前後」や「２００ｍｓ前後」など、数値Ｘの「前後」という表現を用いている。これは「約」Ｘとも記載される。いずれも、数値Ｘを含む範囲を包含する意図である。その範囲がどの程度まで広がるかは、その数値に対応する生体信号の個人差や、対象とする数値の計測誤差などの複合的な要因を考慮して決定される必要がある。そのような生体信号が出現しているか否かを検出するために、実施形態においては「検出対象範囲」を定めている。その検出対象範囲を「Ｘ前後」としてとらえてもよい。たとえば、咀嚼筋電の電位波形の最大振幅が「１００μＶ前後」であるときは、１００±５０μＶを意味するとしてもよい。また、潜時が「２００ｍｓ前後」であるときは、２００±５０ｍｓを含む時間帯を意味するとしてもよい。

以下では、まずハイライト型メニュー提示方法について説明し、選択対象のメニュー項目ハイライトに対する意図的な噛みしめ動作によって出現する咀嚼筋電の特徴を探索するために、本願発明者らが実施した実験およびメニュー項目ハイライトに対する意図的な咀嚼筋電の特徴に関する発見について説明する。

その後、実施形態として、ハイライト型メニュー提示を行うインタフェースシステムの概要および、咀嚼筋電検出装置を含むインタフェースシステムの構成および動作を説明する。

図１は、ハイライト型メニュー提示方法を時系列的に示す図である。画面７ａ−１から画面７ａ−４は４つの機器の操作メニューを一つずつハイライトしている様子を示している。

本明細書においては、図１に示した機器操作に関する選択肢群を「メニュー」、選択肢の一つ一つを「メニュー項目」、ユーザが選択したいと思っているメニュー項目を「選択対象項目」と定義する。

このようにメニュー項目が画面上でハイライトされることで、ユーザはハイライトされるメニュー項目に対してユーザの選択意図の有無（１ビットの情報）を出力するだけで、メニュー項目が選択できる。

ここで、ハイライト型メニュー提示のメニュー選択を短時間で行うためには、（１）ハイライトを繰り返さない、（２）ハイライトの間隔を短く設定する、という条件が必要である。

たとえば、非特許文献１に記載の事象関連電位のＰ３成分を用いると、ユーザの選択意図を検出することも可能である。ここで、「事象関連電位」とは、外的あるいは内的な事象に時間的に関連して生じる脳の一過性の電位変動をいい、その「Ｐ３成分」とは、一般には事象関連電位のうちの、聴覚、視覚、体性感覚などの感覚刺激の種類に関係なく起点から約３００ｍｓ付近に現れる事象関連電位の陽性の成分を示すものとして扱われることが多い。

Ｐ３成分を用いる場合、熟練したユーザであればハイライトの時間間隔は１２５ｍｓでも選択意図を検出可能であることが分かっており、たとえばメニュー項目数が４つであれば一通り全てのメニュー項目をハイライトするための所要時間は５００ｍｓと短時間である。しかし、事象関連電位のＰ３成分はＳ／Ｎが低いため、精度よく選択意図を検出するためにはハイライトの繰り返しが必要になる。たとえばハイライトを５回繰り返した場合には選択意図の出力に２．５秒もの時間を要する。

一方、ハイライト型メニュー提示に対する咀嚼筋電を計測した例はない。しかしながら、特許文献１のように特殊（持続的・特徴的）な噛みしめ動作によって発生する咀嚼筋電を検出してハイライトされたメニュー項目を選択する方法も考えられる。咀嚼筋電はＳ／Ｎが高いため加算平均のためのハイライトの繰り返しが不要という特長がある。

ところが、ハイライトのオンセットと意図的な咀嚼に起因する特殊な咀嚼筋電の時間関係が分からないため、ハイライト間隔を短く設定できないと考えられる。そのため、たとえば１秒以上が必要となる。よって、短時間でのメニュー選択は困難であると考えられる。さらに、日常生活では発生しない長時間の噛みしめ動作を検出対象とするため、操作意図の検出が遅れるという問題も予想される。

そこで、本願発明者らは、ハイライト型メニュー提示においてハイライトとの直後に意図的な噛みしめ動作を行った場合に出現する咀嚼筋電の特徴、特にハイライトのオンセットとの時間的関係を明らかにするために、選択対象項目のハイライト直後に短時間の噛みしめ動作を行う条件で咀嚼筋電の特徴を探索する実験を実施した。その結果、選択対象項目ハイライトに対して意図的な咀嚼が行われた際には、咀嚼筋電は、最大振幅１００μＶ前後でかつハイライト後２００ｍｓ前後に安定して出現することを発見した。さらに、選択対象項目ハイライトに対して意図的に表出された咀嚼筋電（非加算）は、ハイライトを起点に切り出した電位波形の最大振幅・潜時を特徴量として日常生活によって発生した咀嚼筋電とは区別できることを見出した。これにより、たとえば会話中や食事中のように日常生活の咀嚼筋電が発生する状況においても、特殊な噛みしめ動作やハイライトの繰り返しなしに、短時間でメニュー選択が可能なインタフェースシステムを実現できる。

以下、図２から図６を参照しながら実験および実験結果について説明する。実験は、２名の実験参加者（男性）に対して実施した。

図２は、人体の頭部周辺に存在する咀嚼筋２０１を示す。咀嚼筋２０１は、咬筋・側頭筋・外側翼突筋・内側翼突筋の総称であるが、図２においてはその各々は区別していない。

このような咀嚼筋２０１に対して、次に、咀嚼筋電を計測するための電極装着位置を説明する。電極は、人体頭部周辺の種々の位置に装着され得る。

たとえば図３（ａ）および（ｂ）に示すように、電極は、目の上（眼窩の上縁）、目の横（眼窩の外縁（外眼瞼角））、鼻根、耳の上（耳付根上部）に装着される。

いわゆるヘッドマウントディスプレイ（ＨＭＤ）に咀嚼筋電の計測機能を設けるとする。そのＨＭＤ形状および装着範囲を考察すると、頭部周辺には、眼電計測で利用されている顔面部の電極に加えて、耳朶部、耳後部（耳の付け根の後部）、耳下部（耳の付け根の下部）、耳前部などの耳周辺部も計測対象として利用することが可能である。図３（ｂ）には、耳朶、マストイド、耳珠、耳付根後部等が示されている。

本願発明者らは、上記耳周辺部を代表して、耳の裏の付け根の頭蓋骨の突起部であるマストイド（乳様突起）を選択し、従来顔面部で利用されていた電極の位置に対し、マストイドを基準極としたインタフェースシステムの識別率評価実験を実施した。

図３（ｃ）は、電位計測のための電極装着位置を示した図である。電極は鼻根部およびマストイドに装着し、マストイドを基準とした鼻根の電位を計測した。鼻根部・マストイドはメガネ装着時にそれぞれノーズパッド・イヤーパッドが接触する部分であり、メガネ型デバイス装着時に自然に計測ができる位置である（図３（ｄ））。図３（ｃ）には現れていないが基準電極とは反対側のマストイドにシステムリファレンスを装着した。

電極の装着位置は、咀嚼筋をまたぐように設けられている。「またぐ」とは、一方の電極が咀嚼筋上の皮膚に配置され、他方の電極が、咀嚼筋が存在しない位置の皮膚に配置されることをいう。そのような条件で装着すると、咀嚼筋の活動に起因する咀嚼筋電を確実に計測することができる。ただし、上述した電極の装着位置は一例であり、咀嚼筋をまたぐことによって咀嚼筋電を検出することが可能な電極配置は他にも存在し得ることに留意されたい。電位変化は、サンプリング周波数２００Ｈｚ、時定数１秒で計測した。

視覚刺激として図１に示した４つのメニュー項目を降順にハイライトするハイライト型メニューを提示した。ハイライトの間隔は３５０ｍｓとした。視覚刺激は、被験者の目前２ｍに設置した３７インチのプラズマディスプレイに提示した。

メニュー項目ハイライトに対する意図的な噛みしめ動作によって発生する咀嚼筋電と日常生活で発生する咀嚼筋電の区別ができるか否かを調べるために、条件を変えて実験を実施した。いずれの実験においてもハイライト型メニュー提示は同様に行ない、実験参加者にはハイライト中はメニュー項目を見るように指示をした。以下、３つの実験条件をそれぞれ説明する。

（１）噛みしめ選択条件：選択対象項目のハイライトに対して意図的な噛みしめ動作を行う条件である。より具体的には、指示された噛みしめ方法でハイライトに対して意図的な噛みしめ動作を行う、という課題を課した条件である。

本明細書における「意図的な噛みしめ」とは、例えば、歯を軽くかみ合わせた状態（つまり、上顎の歯と下顎の歯とを接触させた状態）にした後に、その状態から噛む力の圧力をかけた状態にすることをいう。本願発明者らは、噛みしめ選択条件における噛みしめ方法として、選択対象項目のハイライト直後に歯を軽く合わせた状態から短時間噛みしめるよう指示をした。

（２）喋る条件：メニュー項目のハイライトを見ながら喋り続ける、という課題を課した条件である。

（３）食べる条件：メニュー項目のハイライトを見ながらご飯を食べる、という課題を課した条件である。

図４を用いて、実験中にハイライト型メニュー提示および電位計測を行う機器側のフローを説明する。機器側のフローは、上記３条件共に同様である。

ステップＳ５０は、被験者の電位（咀嚼筋電）の計測を開始するステップである。

ステップＳ５１は、ハイライト型メニューの４つのメニュー項目を提示し、メニュー項目の種類をユーザに示すステップである。図５（ａ）は、実際に被験者に提示したメニュー項目を簡略化した図である。本願発明者らの実験では２秒間提示した。なお、ステップＳ５１は、メニュー項目ハイライト開始の前に計測電位を安定させ、眼電等のノイズを低減させる効果もある。

ステップＳ５２は、次にハイライトするメニュー項目を降順に選択するステップである。

ステップＳ５３は、ステップＳ５２で選択したメニュー項目を３５０ｍｓ間ハイライトするステップである。図５（ｂ）はハイライトの例を示す図である。図５（ｂ）に示したように、メニュー項目自体をハイライトしてもよいし、ハイライトに変えてまたはハイライトと同時に矢印等で示してもよい。なお、図５（ａ）および（ｂ）は相互に関連はなく、それぞれが一例として記載されている。

ステップＳ５４は、ステップＳ５３でメニュー項目がハイライトされた時刻を０ｍｓとしてハイライト前１００ｍｓ(以下、−１００ｍｓとする)、ハイライト後４００ｍｓの電位波形を切り出すステップである。切り出した電位波形はハイライト前１００ｍｓの平均電位を用いてベースライン補正を行う。

ステップＳ５５は、メニュー項目がハイライトされた回数ｎによる分岐で、ハイライトの回数がメニュー項目数より少ない場合にはステップＳ５２に進み、全てのメニュー項目を一通りハイライトする。咀嚼筋電は信号強度が強いのでハイライトの繰り返しは不要であると想定できる。

前述のステップＳ５０からステップＳ５５によって、各メニュー項目が一通りハイライトされたときの、ハイライトを起点とした電位波形が４本分収録できる。

次に、図６（ａ）および（ｂ）を用いて実験中の参加者側のフローを説明する。図６（ａ）は、噛みしめ選択条件の参加者側のフローを示した図である。

ステップＳ６１は、図４中のステップＳ５１によって提示されたメニューを見るステップである。被験者はメニュー項目の上から順に選択するようあらかじめ指示されており、ここで選択対象のメニュー項目に視線を移動する。選択対象項目の指示は、実際に噛みしめインタフェースを用いる場合にユーザが実現したいと思う機器動作にあたる。

ステップＳ６２は、図４中のステップＳ５２からＳ５５によって提示されるメニュー項目のハイライトを見て、選択対象のメニュー項目がハイライトされたかどうかによる分岐で、ステップＳ６２でＹｅｓの場合はステップＳ６３へ、Ｎｏの場合はステップＳ６１に進む。

ステップＳ６３は、ステップＳ６１で選択対象のメニュー項目がハイライトされた場合にハイライトの直後に短時間の噛みしめ動作を行うステップである。噛みしめ動作は、あらかじめ指示されたように「歯を軽く合わせた状態から短時間噛みしめる」方法で行う。

ステップＳ６４は、ハイライトが終了したかどうかによる分岐で、ステップＳ６４でＹｅｓの場合には終了へ、Ｎｏの場合にはステップＳ６１へそれぞれ進む。

図６（ｂ）は、喋る条件・食べる条件の参加者側のフローを示した図である。図６（ａ）に示す選択条件と同じ処理を行うステップについては同一の参照符号を付し、その説明は省略する。

噛みしめ選択条件との差異は、メニュー選択のための咀嚼筋電を出すためのステップＳ６２およびステップＳ６３の代わりにステップＳ６５が行われる点である。

ステップＳ６５は、あらかじめ指示された通りに、喋る条件では連続的に喋る、食べる条件では連続的にご飯を食べる、という行為を実行するステップである。

図７（ａ）〜（ｃ）は実験結果の一例を示す。図７（ａ）〜（ｃ）は、ハイライトを起点に−１００〜４００ｍｓまでの電位変化を切り出した電位波形を同じスケールで示したものであり、横軸は時間で単位はｍｓ、縦軸は電位で単位はμＶである。スケールは図７（ａ）のみに記載している。

図７（ａ）は、噛みしめ選択条件の結果で、選択対象項目ハイライトに対して意図的な噛みしめ動作を行った場合の電位波形を太実線、選択対象外項目ハイライトに対して噛みしめを行わなかった場合の電位波形を細実線で示した。噛みしめ動作を行った場合には、選択対象項目のハイライトを起点に約２００ｍｓに高振幅・高周波数の陽性電位が出現していることが分かる。

図７（ｂ）は、喋る条件の結果で、メニュー項目ハイライトに関わらず喋り続けた場合の電位波形である。ハイライトごとに条件の差がないため全てのハイライトに対する波形を細実線で示している。それぞれの電位波形は高振幅であるが緩やかな変動であることが分かる。

図７（ｃ）は、食べる条件の結果で、メニュー項目ハイライトに関わらずご飯を食べている場合の電位波形である。ハイライトごとに条件の差異がないため全てのハイライトに対する波形を細実線で示している。高振幅・高周波数な変化と高振幅・低周波数の電位変化の両方が混在していることが分かる。

以下、噛みしめ選択条件の意図的に表出された咀嚼筋電は本願発明者らが識別に用いる特徴量を用いることで、（１）噛みしめ選択条件の噛みしめなし条件の咀嚼筋電の電位波形、（２）日常生活において喋る・食べるによって発生した咀嚼筋電の電位波形が識別可能となることを説明する。

図８（ａ）は、噛みしめ選択条件における意図的な噛みしめ動作あり／なしのハイライトごとに切り出した電位波形を、潜時および最大振幅を特徴量としてプロットした図である。ここで「潜時」とは、メニュー項目がハイライトされた時刻を起点とした、最大振幅をとる時刻を意味する。メニュー項目がハイライトされた時刻は、図８（ａ）の横軸に示されており、単位はｍｓである。縦軸は最大振幅を示しており、単位はμＶである。意図的な噛みしめありの場合を○印（４０個）、噛みしめなしの場合を×印（８０個）としてプロットしている。

図８（ａ）より、メニュー項目ハイライト直後の噛みしめ動作によって発生する咀嚼筋電は、最大振幅・潜時の分散が小さいことがわかる。咀嚼筋電の最大振幅・潜時の平均値±分散は１０４．３±３２．９（μＶ）・２０１．３±３７．８（ｍｓ）であった。これにより、選択対象項目ハイライトに対する意図的な咀嚼筋電は潜時約２００ｍｓ前後で最大振幅約１００μＶ前後に特徴的に出現するといえる。これは、本願発明者らがハイライト型メニューを提示する条件で実験を実施し、メニュー項目ハイライトを起点に電位波形を切り出して意図的に表出された咀嚼筋電の特徴を分析した結果初めて明らかとなったことであり、本願発明者らの発見といえる。

また、図８（ａ）より、意図的な噛みしめあり／なしは最大振幅のみでの識別可能であることが見てとれる。噛みしめなしの場合の最大振幅は２３．４±１８．１（平均±標準偏差）であった。最大振幅の両側ｔ検定を実施した結果ｐ＜０．００１で有意差があった。たとえば閾値を５０μＶに設定して識別を行った場合の識別率は９７．５％であるため、メニュー項目ハイライト直後の意図的な噛みしめ動作による咀嚼筋電は、噛みしめなしの場合から識別できるといえる。

図８（ｂ）は、噛みしめ選択条件の意図的な噛みしめありの場合の咀嚼筋電と、喋る・食べる条件での咀嚼筋電を、潜時・最大振幅を特徴量としてプロットした図である。図８（ｂ）の横軸は潜時（ｍｓ）で、縦軸は最大振幅（μＶ）である。意図的な噛みしめありの場合を○印、喋る条件を＊印、食べる条件を×印として示している。なお、意図的な噛みしめありの場合のプロット（○印）は図８（ａ）と同じデータである。

喋る条件・食べる条件における最大振幅は、それぞれ４３．７±３０．０・３１６．２±１４４．４（平均±標準偏差）であった。前述の噛みしめあり／なしの識別と同様に最大振幅を例えば５０μＶで閾値処理した場合には、喋る条件の３０％、食べる条件の９５％を誤検出してしまうため、最大振幅のみを用いて高精度の識別を実現することは困難である。

そこで、噛みしめ選択条件の咀嚼筋電の最大振幅・潜時の分散が小さいという前述の発見に基づき、ハイライト型メニュー提示条件ならではの潜時の概念を導入して識別を試みた。たとえば最大振幅・潜時が５０−１５０μＶ、１５０−２００ｍｓの範囲を選択対象項目ハイライトに対する咀嚼筋電として検出すると、噛みしめ選択条件の咀嚼筋電の８５％が正しく検出され、喋る条件・食べる条件の誤検出率はそれぞれ１２．５％・２．５％にとどまった。これにより、最大振幅・潜時の範囲限定により、選択対象項目ハイライトに対する咀嚼筋電は日常生活で咀嚼筋電が発生する状況においても、ハイライトに対する意図的な咀嚼筋電を高精度に検出できる。結果、たとえば会話中や食事中であっても誤動作の少ない噛みしめインタフェースが実現できる。

以下の実施形態において説明するインタフェースシステムは、ハイライト直後の意図的な噛みしめ動作によって出現する咀嚼筋電を最大振幅・潜時を指標に検出して、たとえば会話中や食事中のように日常生活の咀嚼筋電が発生する状況においても、特殊な噛みしめ動作やハイライトの繰り返しなしに、短時間でメニュー選択が可能なインタフェースシステムを実現する。これは、本願発明者らが実験によって見出したハイライトに対して意図的に表出された咀嚼筋電の特徴に基づく。

（実施形態１）
以下では、まず、ハイライト型メニュー提示を行うインタフェースシステムの概要を述べる。その後、咀嚼筋電検出装置を含む本実施形態によるインタフェースシステムの構成および動作を説明する。

図９は、咀嚼筋電を用いたインタフェースシステム１（以下「インタフェースシステム１」と記述する）の構成および利用環境を示す。このインタフェースシステム１は後述する実施形態１のシステム構成に対応させて例示している。

インタフェースシステム１は、ユーザ５の頭部周辺で計測される電気的生体信号（咀嚼筋電）を利用してハイライト型メニュー提示部１００によって出力部７に提示されたメニュー項目を選択してTV２を操作するインタフェースを提供するためのシステムである。ユーザ５の鼻根部（メガネのノーズパットが接触する部分）に貼り付けた電極Ａとマストイド（メガネのイヤーパッドが接触する部位）に貼り付けた電極Ｂの電位差が生体信号計測部５０により取得され、無線または有線で咀嚼筋電検出装置１０に送信される。TV２に内蔵された咀嚼筋電検出装置１０は、送信された電位変化を利用してユーザのメニュー選択意図を検出し、チャンネルの切り替えなどの処理を行う。

なお、図９ではメガネ型の操作デバイス（生体信号計測部５０）によって、別体のＴＶ２を操作する例を示したが、たとえばヘッドマウントディスプレイ（ＨＭＤ）を想定した場合には、出力部７・ハイライト型メニュー提示部１００・咀嚼筋電検出装置１０の全ての構成要素をＨＭＤ内に収めてもよい。ＨＭＤを装着した場合にも、鼻根部とマストイドは自然にユーザ５と接触する部位である。

図１０は、インタフェースシステム１においてＴＶ２を操作し、ユーザ５が視聴したい番組を選択して見るときの例を示す。

図１０上部の画面７ａ−１から画面７ａ-４は、ハイライト型メニュー提示部１００がＴＶ２の画面７ａを介してユーザに提示するメニューの例である。図１０では、画面７ａ−１・画面７ａ−２において、それぞれ「野球」・「天気」・「アニメ」・「ニュース」の４つのメニュー項目のうち、「野球」・「天気予報」というメニュー項目がハイライトされる様子を示している。画面７ａ−３および画面７ａ−４においては「アニメ」および「ニュース」である。

メニュー項目をハイライトすることによって、咀嚼筋電検出装置１０においてそれぞれのメニュー項目がハイライトされた時刻を起点とした電位変化の切り出しが可能となる。図１０下部の電位波形５ａ−１から電位波形５ａ-４は、咀嚼筋電検出装置１０において切り出したメニュー項目ハイライトを起点とした電位波形を模式的に示したものである。

今、ユーザは「天気」のチャネルを見たいと考えており、「天気」がハイライトされた直後に意図的な噛みしめ動作を行ったとする。電位波形５ａ−２は、その状況で、「天気予報」がハイライトされてから約２００ｍｓ前後に意図的に表出された咀嚼筋電が出現している様子を示している。図１０上段の画面７ｂは、咀嚼筋電検出装置１０において「天気予報」のハイライトに対する意図的に表出された咀嚼筋電が検出され（５ａ−２）、チャンネルが「天気予報」に切り替わった様子を示している。

図１１は、本実施形態によるインタフェースシステム１の機能ブロックの構成を示す。インタフェースシステム１は、出力部７と、咀嚼筋電検出装置１０と、生体信号計測部５０と、ハイライト型メニュー提示部１００とを有している。図１１はまた、咀嚼筋電検出装置１０の詳細な機能ブロックも示している。ユーザ５のブロックは説明の便宜のために示されている。なお、出力部７はユーザ５にメニュー等を提示する画面を示す。

ユーザ５は、ハイライト型メニュー提示部１００によって出力部７に提示される機器操作に関するメニュー項目がハイライトされるかどうかに注意し、選択対象項目のハイライトに対して意図的に噛みしめ動作を行うだけで、ボタン等を介した操作入力は行わない。インタフェースシステム１はユーザの噛みしめ動作を検出して、その噛みしめ動作を行った対象となるメニュー項目を特定し、ハイライト型メニュー提示部１００を介して選択されたメニュー項目に応じて機器を動作させるとする。たとえば、この「機器」とは、出力部７に相当するＴＶであり、「動作」とはチャンネル切り替え動作であるが、これは例である。ＴＶとは異なる機器、たとえば録画装置、ＤＶＤ再生装置（図示せず）であってもよい。

咀嚼筋電検出装置１０は、有線または無線で生体信号計測部５０およびハイライト型メニュー提示部１００と接続され、信号の送信および受信を行う。図１１においては、生体信号計測部５０およびハイライト型メニュー提示部１００は咀嚼筋電検出装置１０とは別体であるが、これは例である。生体信号計測部５０およびハイライト型メニュー提示部の一部または全部を、咀嚼筋電検出装置１０内に設けてもよい。

生体信号計測部５０は、ユーザ５の生体信号を検出する筋電計であり、生体信号として咀嚼等によって発生する筋電を計測する。生体信号計測部５０を図１に示すようなメガネ型デバイスとして、ノーズパッドとイヤーパッド間の電位差を計測してもよい。ユーザ５はあらかじめ生体信号計測部５０を装着しているものとする。

この結果、生体信号計測部５０はユーザ５の顔周辺の電位変化を測定することができる。測定されたユーザ５の電位変化は、コンピュータで処理できるようにサンプリングされ、リアルタイムに咀嚼筋電検出装置１０に送られる。なお、計測した電位に混入する商用電源ノイズの影響を低減するために、生体信号計測部５０においては計測される電位はあらかじめ、たとえば０．１から３０Ｈｚのバンドパスフィルタ処理がされ、メニュー項目ハイライト前のたとえば１００ｍｓの平均電位でベースライン補正されているものとする。

ハイライト型メニュー提示部１００は、機器操作に関するメニュー項目をたとえば３５０ｍｓ間隔でハイライトする。どのハイライトに対する咀嚼筋電かを特定するために、ハイライトの間隔は咀嚼筋電の潜時の分散以上に設定する必要がある。前述の実験結果において潜時の分散が３７．８（ｍｓ）であったことからハイライト間隔はたとえば１００ｍｓとしてもよい。ハイライト型メニュー提示部１００は、咀嚼筋電検出装置１０の識別結果に応じて機器動作の制御指令を出す。ハイライト型メニュー提示部１００を利用して制御する機器が、たとえば図９に示すＴＶ２であるとすると、メニューは出力部７（画面７ａ）を介してユーザ５に提示される。

次に、本実施形態による咀嚼筋電検出装置１０の詳細な構成を説明する。本発明の主要な特徴のひとつは、咀嚼筋電検出装置１０の構成および動作にある。

咀嚼筋電検出装置１０は、生体信号切り出し部１１と、最大振幅算出部１２と、潜時算出部１３と、咀嚼筋電判定部１４とを有している。

生体信号切り出し部１１は、ハイライト型メニュー提示部１００から送られるメニュー項目ハイライトのタイミングを起点として、生体信号計測部５０からリアルタイムで送られる咀嚼筋電の電位波形を切り出し、切り出した電位波形のベースライン補正を行う。電位波形を切り出す時間帯はメニュー項目ハイライトのタイミングを０ｍｓとしてハイライト後１５０から３００ｍｓまでの時間帯を含むように−１００から４００ｍｓとしてもよいし、−３００から３００ｍｓとしてもよい。また、ハイライトの間隔にあわせて、たとえばメニュー項目が複数回ハイライトされないような時間幅としてもよい。また、ベースライン補正はメニュー項目ハイライト前１００ｍｓ間の平均電位を全体から引くという方法で実施してもよいし、任意の時間幅の平均電位を用いて実施してもよい。生体信号切り出し部１１は、波形の切り出し・ベースライン補正完了後に電位波形を最大振幅算出部１２へ送る。

最大振幅算出部１２は、生体信号切り出し部１１から送られた咀嚼筋電の電位波形の最大振幅を求め、その情報を咀嚼筋電判定部１４に送る。咀嚼筋電の電位波形の最大振幅は、たとえば０μＶを基準としたときの電位の最大値である。また最大振幅算出部１２は、潜時算出部１３に咀嚼筋電の電位信号を送る。なお、最大振幅が閾値以上の場合のみ潜時算出部１３に波形を送ってもよい。この場合、閾値はたとえば１００μＶとしてもよいし、ユーザごとに値を設定してもよい。

潜時算出部１３は、最大振幅算出部１２から送られた電位波形の潜時（メニュー項目ハイライトの時刻を０ｍｓとして電位波形が最大振幅となる時間）を求め、求めた潜時の情報を咀嚼筋電判定部１４に送る。

なお、最大振幅算出部１２および潜時算出部１３が処理の対象とする電位波形は、生体信号切り出し部１１によって切り出されて得られた波形である。したがって、受け取った波形の開始点が、メニュー項目ハイライトのタイミングに対応している。したがって、最大振幅算出部１２および潜時算出部１３は、受け取った波形のそれぞれ最大振幅およびそのときの時間を求めれば、上述の最大振幅および潜時が得られることになる。

咀嚼筋電判定部１４は、最大振幅算出部１２と潜時算出部１３から送られた最大振幅と潜時に基づき、メニュー項目ハイライトに対する意図的に表出された咀嚼筋電の有無を判定し、ハイライト型メニュー提示部に結果を送る。判定基準として、たとえば最大振幅・潜時が１００±５０μＶ、２００±５０ｍｓの範囲であった場合を検出し、ユーザ５がメニュー項目ハイライト直後に意図的な噛みしめ動作を行ったとしてもよい。また、ユーザごとに最大振幅・潜時の平均値および分散を測定し、それぞれ平均値±標準偏差のように範囲を設定してもよい。

次に、図１２のフローチャートを参照しながら、図１１のインタフェースシステム１において行われる全体的な処理手順を説明する。

図１２は、ユーザがメニュー項目ハイライトの直後に短時間の意図的な噛みしめ動作を行ったか否かの判定を行うインタフェースシステム１の処理手順を示す。

ステップＳ１０１において、ハイライト型メニュー提示部１００はたとえば４つのメニュー項目の操作メニュー（たとえば図５（ａ））を提示する。

ステップＳ１０２において、ハイライト型メニュー提示部１００は次にハイライトするメニュー項目を上から一つずつ順次選択する。

ステップＳ１０３において、ステップＳ１０２によって選択されたメニュー項目をハイライトする。ハイライトの間隔は咀嚼筋電の潜時の分散よりも大きく、かつユーザ５がハイライトを認識できれば、たとえば１００ｍｓでもよい。

ステップＳ１０４において、生体信号計測部５０はユーザ５の電位変化（咀嚼筋電）を計測する。

ステップＳ２０において、咀嚼筋電検出装置１０はステップＳ１０４で計測した電位波形にメニュー項目ハイライトに対する意図的に表出された咀嚼筋電が含まれるか否かを識別する。ステップＳ２０の詳細な処理手順は後ほど述べる。

ステップＳ２０でＹｅｓの場合、ステップＳ１０５に進み、Ｎｏの場合はステップＳ１０２に戻り次のメニュー項目を選択する。

ステップＳ１０６において、ハイライト型メニュー提示部１００はステップＳ２０によって選択されたメニュー項目に対応する処理を実行する。これにより、そのメニュー項目が選択され、実行される。

このようなインタフェースシステム１によれば、たとえば会話中や食事中であっても、特殊な噛みしめ動作やハイライトの繰り返しなしに短時間でメニュー選択を実現できる。よって機器の操作性が格段に向上する。

図１３は、咀嚼筋電検出装置１０を構成する生体信号切り出し部１１と最大振幅算出部１２と潜時算出部１３と咀嚼筋電判定部１４によって実現され、ユーザ５がメニュー項目ハイライトの直後に意図的な噛みしめ動作を行ったか否かを判定する詳細な手順を示す。

すなわち、図１３中のステップＳ２１において、生体信号切り出し部１１は生体信号計測部５０で計測したユーザ５の鼻根とマストイドの電位変化から、ハイライト型メニュー提示部１００においてメニュー項目がハイライトされたタイミングを起点に咀嚼筋電の電位波形を切り出し、ベースライン補正を行う。電位波形を切り出す時間帯はメニュー項目ハイライトのタイミングを０ｍｓとしてハイライト後１５０から３００ｍｓまでの時間帯を含むように−１００から４００ｍｓとしてもよいし、−３００から３００ｍｓとしてもよい。また、ベースライン補正はメニュー項目ハイライト前１００ｍｓ間の平均電位を全体から引くという方法で実施してもよいし、任意の時間幅の平均電位を用いて実施してもよい。そして生体信号切り出し部１１はベースライン補正後の電位波形を最大振幅算出部１２へ送る。

ステップＳ２２において、最大振幅算出部１２は生体信号切り出し部１１より電位波形を受け取り振幅の最大値を求め、電位波形を潜時算出部１３に送る。その一方、求めた最大振幅の情報を咀嚼筋電判定部１４に送る。

ステップＳ２３において、潜時算出部１３は電位波形の潜時（メニュー項目ハイライトの時刻を０ｍｓとして電位波形が最大振幅となる時間）を求め、求めた潜時の情報を咀嚼筋電判定部１４に送る。

ステップＳ２４において、咀嚼筋電判定部１４は最大振幅算出部１２と潜時算出部１３から送られた最大振幅と潜時に基づき、メニュー項目ハイライトに対する意図的に表出された咀嚼筋電の有無を判定する。判定基準として、たとえば最大振幅・潜時が１００±５０μＶ、２００±５０ｍｓの範囲であった場合を検出してもよいし、最大振幅・潜時の平均値および分散を測定し、それぞれ平均値±標準偏差のように範囲を設定してもよい。ステップＳ２４でＹｅｓの場合はステップＳ２５へ、Ｎｏの場合はステップＳ２６へ進む。

ステップＳ２５において、咀嚼筋電判定部１４はユーザ５がメニュー項目ハイライトの直後に意図的な噛みしめ動作をしたと判定する。

ステップＳ２５において、咀嚼筋電判定部１４はユーザ５がメニュー項目ハイライトの直後に噛みしめ動作をしなかったと判定する。

このような処理によって、ハイライト直後にユーザがメニュー選択のために実施した噛みしめ動作が検出できる。

本実施形態の噛みしめインタフェースインタフェースシステム１より、メニュー項目ハイライトを起点とした電位波形の最大振幅・潜時を特徴量に、ハイライト直後の意図的な噛みしめ動作によって発生する咀嚼筋電の検出が可能となる。これにより、短時間でメニュー選択が可能で、かつ会話中・食事中であっても誤動作の少ない、使いやすいインタフェースが実現できる。具体的には、電話をしながらたとえばマルチタスクで携帯電話の他の機能（たとえばインターネット機能等）のメニュー選択を行う場合に、会話によって出現した咀嚼筋電によって誤ってメニュー選択がされる可能性の低いインタフェースが実現できる。また、食事中にＴＶを見ているときに、たとえばおすすめ番組に関するハイライト型メニューが自動的に提示されても、食事によって出現した咀嚼筋電による誤動作の少ないインタフェースが実現できる。

（実施形態２）
実施形態１によるインタフェースシステム１では、ハイライト型メニュー提示部１００はメニュー項目を上から順にハイライトし、ハイライトを起点に約２００ｍｓ前後に安定して出現する意図的な咀嚼筋電を、最大振幅および潜時を指標に検出することで、短時間でメニュー選択が可能で、かつ会話中・食事中であっても誤動作の少ないインタフェースを実現していた。

本願発明者らは、前述の実験に加えてメニュー項目をランダムな順序でハイライトする条件で追加実験（ランダム実験）を実施した結果、メニュー項目をランダムな順序でハイライトした場合には意図的に表出された咀嚼筋電の最大振幅・潜時が変化することを発見した。

そこで、本実施形態によるインタフェースシステムでは、メニュー項目ハイライトの順序に応じて最大振幅・潜時の検出対象範囲を切り替えて意図的に表出された咀嚼筋電を検出する。これによって、ランダムな順序でメニュー項目をハイライトしても、ハイライト直後の噛みしめ動作によって発生する意図的な咀嚼筋電を高精度で検出できるようになる。ハイライトをランダムな順序で実施することで、たとえば選択したいメニュー項目が下方にあった場合に早くハイライトされる可能性があり、操作時間が短縮されるという利点がある。そのため、ランダムなハイライト順序は機器側でユーザがよく選択するメニュー項目があらかじめ分かっている場合に特に有効である。

まず、ランダム実験について述べる。ランダム実験では、図４のステップＳ５２を変更し、メニュー項目ハイライトの順序をランダムにした。それ以外の実験設定は前述の実験（降順実験）の噛みしめ選択条件と同様であるため、実験の詳細説明は省略する。

図１４は、ランダム実験と降順実験の噛みしめ選択条件の結果で、潜時・最大振幅を特徴量としてプロットした図である。横軸はメニュー項目ハイライトの時刻を０ｍｓとした時間で単位はｍｓ、縦軸は最大振幅で単位はμＶである。降順実験の意図的な噛みしめありの場合を○印（４０個）、ランダム実験の意図的な噛みしめありの場合を×印（４０個）としてプロットしている。ランダム実験においてハイライト直後の咀嚼筋電の最大振幅および潜時が、降順実験の結果と比べてどちらもプラス方向に変化していることが見て分かる。ランダム実験における最大振幅・潜時の平均値±分散は２１３．０±７４．５（μＶ）・２８２．９±５０．７（ｍｓ）であり、降順条件と比べて最大振幅および潜時の平均値・分散値がいずれも増大した。なお、ｔ検定の結果有意に最大振幅・潜時が異なった（ｐ＜．０５）。この結果、ハイライトの順序に応じて出現する咀嚼筋電の特徴が変化することが明らかとなった。最大振幅・潜時が変化した理由として、ランダムな順序でハイライトされた場合には選択対象項目がハイライトされるタイミングを予測できないため反応が遅れた可能性が考えられる。また、降順条件に比べてランダム実験では最大振幅・潜時の分散が大きくなったことから、降順条件の方が意図的に表出した咀嚼筋電の検出精度が高いことが分かる。よって、メニュー項目のハイライト方法は、メニュー項目数が少ない場合（たとえば１０項目以下）の場合には降順に、多い場合にはランダムな順序でハイライトを行うように切り替えてもよい。

両条件の咀嚼筋電の特徴を包含する最大振幅・潜時の範囲を咀嚼筋電の検出対象範囲とした場合、日常生活の咀嚼筋電を誤検出率が向上することが想定される。また、メニュー項目のハイライトの順序は降順またはランダムのどちらかであるため、メニュー項目ハイライトの順序に応じて、最大振幅・潜時の検出対象範囲を切り替えることで対応が可能である。

図１５は、本実施形態による咀嚼筋電を用いたインタフェースシステム２（以下「インタフェースシステム２」と記述する。）の機能ブロックの構成を示す。図１５はまた、咀嚼筋電検出装置２０の詳細な機能ブロックも示している。ユーザ５のブロックは説明の便宜のために示されている。

インタフェースシステム２がインタフェースシステム１（図１１）と相違する点は、ハイライト型メニュー提示部１００に代えてメニュー項目ハイライトのモードに応じてハイライトの順序を降順／ランダムに切り替え可能なハイライト型メニュー提示部２００を備えたこと、および、咀嚼筋電検出装置２０の構成のうち降順／ランダム切り替え部２１を新たに加えたことである。なお、インタフェースシステム２の構成要素のうち、インタフェースシステム１と同じ構成要素については同じ参照符号を付しその説明を省略する。

ハイライト型メニュー提示部２００は、メニュー項目ハイライトの順序に関するモードを切り替えて降順またはランダムにメニュー項目をハイライトする。ランダム実験では最大振幅・潜時の分散が大きくなる傾向があることを考慮して、メニュー項目数が少ない場合（たとえば１０項目以下）の場合には降順に、多い場合にはランダムな順序でハイライトを行うように切り替えてもよい。

降順／ランダム切り替え部２１は、ハイライト型メニュー提示部２００からメニュー項目ハイライトのモードを取得し、咀嚼筋電判定部１４に保持した咀嚼筋電の検出対象範囲を変更する。たとえば、検出対象範囲の最大振幅・潜時は、ハイライトの順序が降順の場合には１００±５０μＶ・２００±５０ｍｓとし、ランダムの場合には２００±１００μＶ・３００±１００ｍｓとしてもよい。

このように構成することで、ハイライトの順序に応じて最大振幅・潜時に関する検出対象範囲の変更ができるため、降順／ランダムに関わらず高精度で咀嚼筋電の検出が可能となる。

次に、図１６のフローチャートを参照しながら、インタフェースシステム２において行われる全体的な処理の手順を説明する。

図１６は、本実施形態によるインタフェースシステム２の処理手順を示す。図１６では、インタフェースシステム１（図１２）の処理と同じ処理を行うステップについては同一の参照符号を付し、その説明は省略する。

ステップＳ２０１において、ハイライト型メニュー提示部２００はメニュー項目ハイライトの順序に関するモードを選択する（降順またはランダム）。

ステップＳ２０２において、ハイライト型メニュー提示部２００はステップＳ２０１で選択したモードに基づき、次にハイライトするメニュー項目を選択する。

ステップＳ２０３において、降順／ランダム切り替え部２１はハイライト型メニュー提示部２００からハイライトのモードを取得し、咀嚼筋電判定部１４に保持した咀嚼筋電の検出対象範囲を変更する。たとえば、検出対象範囲の最大振幅・潜時は、ハイライトの順序が降順の場合には１００±５０μＶ・２００±５０ｍｓとし、ランダムの場合には２００±１００μＶ・３００±１００ｍｓとしてもよい。

このような処理によって、ハイライトの順序に応じて最大振幅・潜時に関する検出対象範囲の変更ができるため、降順／ランダムに関わらず高精度で咀嚼筋電の検出が可能となる。

本実施形態のインタフェースシステム２により、メニュー項目を降順またはランダムにハイライトした場合にも、最大振幅・潜時に関する検出対象範囲を変更することで、高精度な咀嚼筋電の検出が可能となる。これにより、特にメニュー項目数が多い場合にもランダムな順序でのハイライトによって短時間でメニュー選択が可能で、かつ会話中・食事中であっても誤動作の少ない、使いやすいインタフェースが実現できる。

（実施形態３）
実施形態１によるインタフェースシステム１では、ハイライト型メニュー提示部１００はメニュー項目を上から順にハイライトし、ハイライトを起点に約２００ｍｓ前後に安定して出現する意図的な咀嚼筋電を、最大振幅および潜時を指標に検出することで、短時間でメニュー選択が可能で、かつ会話中・食事中であっても誤動作の少ないインタフェースを実現していた。

誤動作を恒常的に少なく維持することが理想であるが、時間の経過により同じような噛みしめ方ができない、電極の装着状態が変化する、等の要因により意図的に表出された咀嚼筋電の特徴が変化する場合があり、咀嚼筋電の検出精度が下がる可能性があった。

たとえば図１７は、降順実験を同じ実験参加者に対して別の日に実施した結果を潜時・最大振幅を特徴量としてプロットした図である。横軸はメニュー項目ハイライトの時刻を０ｍｓとした時間で単位はｍｓ、縦軸は最大振幅で単位はμＶである。○印（４０個）と×印（４０個）は別の日の結果であることを示す。実験参加者には両日とも同様の噛みしめ方をするように指示した。図１７から、○印と×印を比較すると最大振幅が異なっているが、○印同士、×印同士のバラつきは小さいことが分かる。また、潜時の変化は小さいことがわかる。○印、×印の最大振幅・潜時（平均±標準偏差）は１０４．３±３２．９（μＶ）・２０１．３±３７．８（ｍｓ）、１９６．１±６１．９（μＶ）・２２０．８±５３．７（ｍｓ）であった。最大振幅が日によって異なる原因として、（１）時間の経過により同じような噛みしめ方ができなくなった、（２）電極の装着状態が異なった、が考えられる。

本実施形態によるインタフェースシステムでは、一定以上の時間が経過した後の最初の選択に対しては、最大振幅・潜時の検出対象範囲を拡大しメニュー項目ハイライトの順序に応じて最大振幅・潜時の検出対象範囲を拡大して意図的に表出された咀嚼筋電を検出し、その咀嚼筋電の最大振幅・潜時から新たに検出対象範囲を決定することで、噛みしめ方や電極の装着状態の変化を吸収し、咀嚼筋電の検出精度を維持する。

図１８は、本実施形態による咀嚼筋電を用いたインタフェースシステム３（以下「インタフェースシステム３」と記述する。）の機能ブロックの構成を示す。図１８はまた、咀嚼筋電検出装置３０の詳細な機能ブロックも示している。ユーザ５のブロックは説明の便宜のために示されている。

インタフェースシステム３がインタフェースシステム１（図１１）と相違する点は、咀嚼筋電検出装置２０の構成のうち検出対象範囲決定部３１を新たに加えたことである。なお、インタフェースシステム２の構成要素のうち、インタフェースシステム１と同じ構成要素については同じ参照符号を付しその説明を省略する。

検出対象範囲決定部３１は、ハイライト型メニュー提示部１００がユーザ５にメニュー提示をしてからの経過時刻を保持し、前回のメニュー提示から一定以上の時間が経過している場合に、咀嚼筋電判定部１４に保持した咀嚼筋電の検出対象範囲を拡大するように変更する。一定時間とはたとえば１時間としてもよいし、１日としてもよい。また検出対象範囲は、範囲を広げる方向であれば最大振幅・潜時はたとえば１００±７５μＶ・２００±７５ｍｓとしてもよい。そして、検出対象範囲決定部３１は、咀嚼筋電判定部１４が意図的に表出された咀嚼筋電を検出した場合、その最大振幅および潜時を取得し、新たな検出対象範囲を設定し、咀嚼筋電判定部１４に保持した咀嚼筋電の検出対象範囲を変更する。新たな検出対象範囲は、たとえば取得した最大振幅±５０μＶ・取得した潜時±５０ｍｓのように決めてもよいし、ユーザごとの最大振幅・潜時の分散に応じて決めてもよい。

このように構成することで、前回のメニュー選択から一定以上時間が経過した場合に噛みしめ方や電極の装着状態の変化を吸収して高精度で咀嚼筋電の検出が可能となる。なお、一定時間経過後にハイライト型メニュー提示部１００によりキャリブレーション用のメニュー項目ハイライトの刺激を提示し、キャリブレーション用のメニュー項目ハイライトに対する意図的な咀嚼筋電の最大振幅および潜時を取得し、それ以降のメニュー選択の中心値としてもよい。

次に、図１９のフローチャートを参照しながら、インタフェースシステム３において行われる全体的な処理の手順を説明する。

図１９は、本実施形態によるインタフェースシステム３の処理手順を示す。図１６では、インタフェースシステム１（図１２）の処理と同じ処理を行うステップについては同一の参照符号を付し、その説明は省略する。なお、ステップＳ２０ａ、ステップＳ２０ｂは検出対象範囲は異なるがどちらもステップＳ２０と同じ処理である。

ステップＳ３０１において、検出対象範囲決定部３１はハイライト型メニュー提示部１００が最後にメニューを提示してからの経過時間を求める。

ステップＳ３０２において、検出対象範囲決定部３１はステップＳ３０１で求めた経過時間が一定以上であったか否かによって分岐する。ステップＳ３０２でＹｅｓの場合はステップＳ３０３へ、Ｎｏの場合はステップＳ２０ａへ進む。一定時間とはたとえば１時間としてもよいし、１日としてもよい。

ステップＳ３０３において、検出対象範囲決定部３１は咀嚼筋電判定部１４に保持した咀嚼筋電の検出対象範囲を拡大するように変更する。最大振幅・潜時をたとえば１００±７５μＶ・２００±７５ｍｓのように設定してもよい。

ステップＳ３０４において、検出対象範囲決定部３１は咀嚼筋電判定部１４から検出された咀嚼筋電の最大振幅および潜時を取得し、新たな検出対象範囲を設定し、咀嚼筋電判定部１４に保持した咀嚼筋電の検出対象範囲を変更する。新たな検出対象範囲は、たとえば取得した最大振幅±５０μＶ・取得した潜時±５０ｍｓのように決めてもよいし、ユーザごとの最大振幅・潜時の分散を参考に決めてもよい。

このような処理によって、前回のメニュー選択から一定以上時間が経過した場合に噛みしめ方や電極の装着状態の変化を吸収して高精度で咀嚼筋電の検出が可能となる。

本実施形態によるインタフェースシステムでは、一定以上の時間が経過した後の最初の選択に対しては、最大振幅・潜時の検出対象範囲を拡大しメニュー項目ハイライトの順序に応じて最大振幅・潜時の検出対象範囲を拡大して咀嚼筋電を検出し、その咀嚼筋電の最大振幅・潜時から新たに検出対象範囲を決定することで、噛みしめ方や電極の装着状態の変化を吸収し、意図的に表出された咀嚼筋電の検出精度の維持が可能となる。なお、特にユーザが動きながらメニュー選択を行う場合には電極の装着状態が頻繁に変化することが想定されるため、一定時間をたとえば１０分のように短く設定して頻繁にキャリブレーションを行ってもよい。

上述の説明では、振幅の単位として「μＶ」を用いて説明したが、具体的な計測値は、増幅率等の相違により、計測に利用する機器によって異なる場合がある。たとえば本願発明者が生体信号計測部として用いた機器は、デジテックス研究所製のＡＰ１１２４である。当該機器とは異なる機器を用いて咀嚼筋電を計測した場合には、同じユーザでそれぞれ計測した振幅の大きさに基づいて、たとえば変換倍率を決定して、当該倍率を適用して本願明細書を読み替えればよい。

また、実施形態の説明では、生体信号切り出し部を設け、メニュー項目ハイライトのタイミングを起点として、生体信号計測部５０からリアルタイムで送られる咀嚼筋電の電位波形を切り出すとして説明した。しかしながら、生体信号切り出し部を設けることは必須ではない。たとえば生体信号計測部５０がメニュー項目ハイライトのタイミングで計測結果を出力するようにしてもよいし、生体信号計測部５０には常時計測を送信させ、メニュー項目ハイライトのタイミングに基づいて咀嚼筋電検出装置１０で受信するかどうかを決定してもよい。

また、メニュー項目のハイライト前に、ハイライト型メニュー提示部が、ユーザに噛みしめ動作による機器操作を認識してもらうための表示を出力部７にしてもよい。たとえば、「選択したいと思ったメニュー項目がハイライトされた時に、噛みしめ動作を行って下さい。」などの表示を行えばよい。ユーザが咀嚼することにより、複数のメニュー項目のうち所望のメニュー項目を選択するインタフェースシステムであることを認識させることができる。

上述の実施形態に関して、フローチャートを用いて説明した処理はコンピュータに実行されるプログラムとして実現され得る。そのようなコンピュータプログラムは、ＣＤ−ＲＯＭ等の記録媒体に記録されて製品として市場に流通され、または、インターネット等の電気通信回線を通じて伝送される。咀嚼筋電検出装置を構成する全部または一部の構成要素や、ハイライト型メニュー提示部は、コンピュータプログラムを実行する汎用のプロセッサ（半導体回路）として実現される。または、そのようなコンピュータプログラムとプロセッサとが一体化された専用プロセッサとして実現される。咀嚼筋電検出装置の機能を実現するコンピュータプログラムは、インタフェースシステムの機能を実現するためのコンピュータプログラムを実行するプロセッサによって実行されてもよいし、インタフェースシステム内の他のプロセッサによって実行されてもよい。そのようなコンピュータプログラムは、プロセッサによって実行されることにより、出力部への出力や、生体信号計測部での咀嚼筋電計測を制御することが可能である。

なお、上述の各実施形態の説明では、テレビの放送番組のチャンネル切り替え操作を例に挙げたが、これは例である。テレビ画面の操作に関する場合のみならず、他の機器の操作にも適用できる。たとえば電子レンジのような家電製品の表示ディスプレイに順次またはランダムに調理項目が表示される場合にも本願発明は適用可能である。

本発明の咀嚼筋電検出装置および咀嚼筋電検出装置が組み込まれたインタフェースシステムによれば、メガネ装着時に自然に接触する部位で計測した電位に基づき、ユーザはハイライトされるメニュー項目を短時間で選択できる。たとえばボタン等のインタフェース部が小さく操作入力が難しいウェアラブル機器（ヘッドマウントディスプレイや音楽プレーヤ）の操作がハンズフリーで実現できる。

５ ユーザ
７ 出力部
７ａ 画面
１０ 咀嚼筋電検出装置
１１ 生体信号切り出し部
１２ 最大振幅算出部
１３ 潜時算出部
１４ 咀嚼筋電判定部
２１ 降順／ランダム切り替え部
３１ 検出対象決定部
５０ 生体信号計測部
１００ ハイライト型メニュー提示部
２００ ハイライト型メニュー提示部

本発明は、機器のインタフェースシステムに関する。より具体的には、本発明は、ユーザの生体情報（頭部周辺で計測可能な筋電）を利用した機器のインタフェースシステムに関する。

近年、テレビ・携帯電話・ヘッドマウントディスプレイ（ＨＭＤ：Ｈｅａｄ Ｍｏｕｎｔ Ｄｉｓｐｌａｙ）等の様々な種類の情報機器が普及し生活に入り込んできている。そのため、ユーザは普段の生活の多くの場面において情報機器を操作する必要が生じている。

通常、ユーザは手を使ってボタン等の入力手段（インタフェース部）を介して入力コマンドを入力し、それにより、機器の操作を実現している。しかし、たとえば、家事／育児／運転をしているときなど、両手が機器操作以外のタスクで塞がっている状況では手を使ってインタフェース部を操作することが困難となり、機器操作を実現できなかった。また、頸髄損傷等により、手を自由に動かすことができないユーザにとっても、手を使ってボタンを操作することが困難であった。そのため、ハンズフリーで機器を操作したいというユーザのニーズが高まっている。

このようなニーズに対して、生体信号として頭部周辺で計測され、下顎骨の運動に関わる咀嚼筋の活動によって発生する筋電（以下、本明細書において「咀嚼筋電」（Masticatory electromyogram）と呼ぶ。）を利用した入力手段が開発されている。

咀嚼筋電は、たとえば日常生活における会話や、物を食べる咀嚼に起因する顎関節の動作によっても発生する。そのため、咀嚼筋電を利用したインタフェースを実現するためには、日常生活で発生する咀嚼筋電と、操作のためにユーザが意図的に行った咀嚼筋の活動によって出現した咀嚼筋電とを区別する必要があった。しかしながら、意図的であってもなくても噛みしめ動作によって出現する咀嚼筋電の特徴（周波数・振幅等）には差がないため、所定の期間中に連続的に計測した咀嚼筋電のうちから、意図的に表出された咀嚼筋電のみを検出することは困難であった。

そこで、たとえば、特許文献１では、日常生活では発生しない特殊な噛みしめ動作をユーザに行わせることで、意図的な咀嚼筋電のみを検出し車椅子の制御信号として用いる技術が開示されている。この技術は、特殊な噛みしめ動作によって発生した特殊な咀嚼筋電は、日常生活の咀嚼筋電から区別することが可能であるという根拠に基づくものである。

特許文献１では、特殊な噛みしめ動作として、（１）数百ミリ秒（以下「ｍｓ」と記述する。）以上の持続的噛みしめ動作、（２）左側のみ／右側のみの噛みしめ動作、等をユーザにさせている。その上で、左右の額に貼り付けた複数個の電極で計測された電位の差分値を閾値処理する方法で、それらの特殊な噛み方によって発生した意図的な咀嚼筋電を検出していた。この特殊な噛みしめ方法を利用することにより、電動車椅子の制御に関して、（１）持続的な操作信号を発生させることが可能となり、持続的な走行が実現できること（すなわち、信号ＯＮの時間区間が指定できアクセル代わりに利用できること）、および、（２）左右の噛み分けが電動車椅子の左右の旋回に対応しており分かりやすい入力方法であること、からユーザにとって負担が少ないインタフェースを実現している。

一方、生体信号として脳波の事象関連電位を用いてユーザが選択したいと思っている選択肢を識別する入力手段が開発されている。非特許文献１では、選択肢をランダムにハイライトし、選択肢がハイライトされたタイミングを起点に約３００ｍｓ後に出現する事象関連電位のＰ３成分を利用して、ユーザが選択したいと思っている選択肢を検出する技術が開示されている。この技術によって、ユーザは手を使うことなく、選択したいと思った選択肢の選択が可能となる。

特開２００７−１２５３８０号公報

エマニュエル・ドンチン（Emanuel Donchin）、他２名、"Ｔｈｅ Ｍｅｎｔａｌ Ｐｒｏｓｔｈｅｓｉｓ：Ａｓｓｅｓｓｉｎｇ ｔｈｅ Ｓｐｅｅｄ ｏｆ ａ Ｐ３００−Ｂａｓｅｄ Ｂｒａｉｎ−Ｃｏｍｐｕｔｅｒ Ｉｎｔｅｒｆａｃｅ"、ＴＲＡＮＳＡＣＴＩＯＮＳ ＯＮ ＲＥＨＡＢＩＬＩＴＡＴＩＯＮ ＥＮＧＩＮＥＥＲＩＮＧ ２０００、Ｖｏｌ．８、２０００年６月

しかしながら、特許文献１に記載の咀嚼筋電を利用した入力方法は、意図的な咀嚼筋電と日常生活の咀嚼筋電とを区別するために特殊な（持続的・特徴的な）噛みしめ動作をユーザに要求している。そのために、（１）短時間で操作入力できない、（２）特殊な噛みしめ方の種類に制限があるためコマンド数が限られる、といった課題があった。これらは、即時的な操作入力が求められ、かつコマンド数が多い、テレビ・携帯電話・ＨＭＤ等の情報機器のインタフェースとして適用する場合には特に問題となる。

一方、非特許文献１に記載の脳波を用いた入力方法は、ハイライトされるメニュー項目に対して選択するか否かのユーザの選択意図（１ビットの情報）を出力するだけでメニュー項目の選択ができるため、ユーザは全てのコマンドを同じ方法で選択できるという利点がある。

しかしながら、Ｓ／Ｎの低い事象関連電位を識別するため、５から１０回程度の加算平均（ハイライトの繰り返し）が必要であり、短時間で確実なメニュー選択が実現できないという課題があった。

さらに、電極装着位置に関しても課題があった。特許文献１では左右の噛みしめの違いを検出するために額の左右に複数個、非特許文献１ではＰ３成分を検出するために少なくとも頭頂部に一つ、電極を装着する必要があった。そのため電極装着がユーザにとって負担となっていた。

本発明の目的は、たとえば会話中や食事中のように日常生活の咀嚼筋電が発生する状況においても、特殊な噛みしめ動作やハイライトの繰り返しなしに、短時間でメニュー選択が可能なインタフェースシステムを提供することにある。

本発明によるインタフェースシステムは、機器の操作メニューを視覚的に提示する出力部と、ユーザの咀嚼筋電を計測する計測部と、前記操作メニューを構成する各メニュー項目を、前記出力部を介して順次提示するメニュー提示部と、前記咀嚼筋電の電位波形の最大振幅を求める振幅算出部と、各メニュー項目がハイライトされた時刻を起点に、前記電位波形が前記最大振幅となる時間である潜時を求める潜時算出部と、前記最大振幅があらかじめ定められた閾値よりも大きく、かつ、潜時が２００ｍｓ前後の範囲内にあるか否かを判定する判定部とを備え、前記判定部の判定結果に応じて、前記メニュー提示部は、ハイライトされた前記メニュー項目に対応する処理を実行する。

前記判定部が、前記最大振幅があらかじめ定められた閾値よりも大きく、かつ、潜時が２００ｍｓ前後の範囲内にあると判定したときにおいて、前記咀嚼筋電が意図的に表出されたとして、前記メニュー提示部は、ハイライトされた前記メニュー項目に対応する処理を実行してもよい。

前記計測部は、前記ユーザの鼻根およびマストイドに装着した電極によって計測される電位差により、前記咀嚼筋電を計測してもよい。

前記インタフェースシステムは、さらに、前記メニュー提示部の各メニュー項目のハイライトに応じて、前記咀嚼筋電の電位波形を切り出す切り出し部とを備え、振幅算出部は、切り出された電位波形の最大振幅を求めてもよい。

前記切り出し部は、少なくともハイライトに対する咀嚼筋電が出現するハイライト後１５０ｍｓから２５０ｍｓを含む時間帯を切り出してもよい。

前記判定部は、前記最大振幅があらかじめ定められた閾値よりも大きく、かつ、潜時が２００ｍｓ前後の範囲内にある場合には、計測された前記咀嚼筋電が、前記メニュー項目のハイライトに対して意図的に表出されたと判定し、前記最大振幅があらかじめ定められた閾値よりも大きく、かつ、潜時が２００ｍｓ前後の範囲内にない場合には、計測された前記咀嚼筋電が、前記メニュー項目のハイライトに対して意図的に表出されていないと判定してもよい。

前記判定部は、前記最大振幅があらかじめ定められた閾値である５０μＶよりも大きく、かつ、潜時が２００ｍｓ前後の範囲内にあるか否かに基づいて、計測された前記咀嚼筋電が、前記メニュー項目のハイライトに対して意図的に表出されたことを判定してもよい。

前記判定部は、ユーザごとに最大振幅および潜時の各平均値および各分散値を取得し、取得した前記平均値および分散値に基づき、それぞれの平均値±標準偏差の範囲を検出対象範囲として、計測された前記咀嚼筋電が、前記メニュー項目のハイライトに対して意図的に表出されたことを判定してもよい。

前記判定部は、取得した前記最大振幅±５０μＶ、かつ、取得した前記潜時±５０ｍｓの範囲を検出対象範囲として、計測された前記咀嚼筋電が、前記メニュー項目のハイライトに対して意図的に表出されたことを判定してもよい。

前記メニュー提示部において、メニュー項目ハイライトの順序を降順またはランダムに切り替えて、前記メニュー提示部においてメニュー項目が降順またはランダムのどちらの順序で切り替えられていたかを取得し、前記判定部の検出対象範囲を切り替える切り替え部が備えられていてもよい。

前記メニュー項目ハイライトの順序がランダムの場合には、前記切り替え部は、最大振幅および潜時の検出対象範囲を、それぞれ２００±７０μVおよび２８０±５０ｍｓに切り替えてもよい。

前記メニュー提示部において最後にメニューが提示されてからの経過時間を保持し、一定時間以上経過していた場合には、前記判定部の検出対象範囲を拡大する方向に設定する範囲決定部が備えられていてもよい。

前記範囲決定部で前記検出対象範囲を拡大した後に前記咀嚼筋電が検出された場合において、前記範囲決定部は、検出された咀嚼筋電の最大振幅および潜時値を新たに検出対象範囲の中心値に設定してもよい。

本発明による方法は、インタフェースシステムにおいて実行される方法であって、機器の操作メニューを視覚的に提示するステップと、計測されたユーザの咀嚼筋電を受け取るステップと、前記操作メニューを構成する各メニュー項目を、前記出力部を介して順次提示するステップと、前記咀嚼筋電の電位波形の最大振幅を求めるステップと、各メニュー項目がハイライトされた時刻を起点に、前記電位波形が前記最大振幅となる時間である潜時を求めるステップと、前記最大振幅があらかじめ定められた閾値よりも大きく、かつ、潜時が２００ｍｓ前後の範囲内にあるか否かを判定するステップと、前記判定するステップの判定結果に応じて、ハイライトされた前記メニュー項目に対応する処理を実行するステップとを包含する。

本発明による、コンピュータによって実行されるコンピュータプログラムは、前記コンピュータに対し、機器の操作メニューを視覚的に提示するステップと、計測されたユーザの咀嚼筋電を受け取るステップと、前記操作メニューを構成する各メニュー項目を、前記出力部を介して順次提示するステップと、前記咀嚼筋電の電位波形の最大振幅を求めるステップと、各メニュー項目がハイライトされた時刻を起点に、前記電位波形が前記最大振幅となる時間である潜時を求めるステップと、前記最大振幅があらかじめ定められた閾値よりも大きく、かつ、潜時が２００ｍｓ前後の範囲内にあるか否かを判定するステップと、前記判定するステップの判定結果に応じて、ハイライトされた前記メニュー項目に対応する処理を実行するステップとを実行させる。

本発明のインタフェースシステムによれば、メニュー項目ハイライトを起点に切り出した頭部周辺の電位変化（咀嚼筋電）を計測して、咀嚼筋電の最大振幅があらかじめ定められた閾値（たとえば５０μＶ）よりも大きく、かつ、潜時が２００ｍｓ前後の範囲内にあるか否かに基づいて、計測された前記咀嚼筋電が、前記メニュー項目のハイライトに対して意図的に表出されたといえるか否かを判定する。これにより、たとえば会話中や食事中のように日常生活の咀嚼筋電が発生する状況においても、特殊な噛みしめ動作やハイライトの繰り返しなしに、短時間でメニュー選択が可能なハンズフリーインタフェースを実現できる。

ハイライト型メニュー提示方法を時系列的に示す図である。 人体の頭部周辺に存在する咀嚼筋２０１を示す。 （ａ）〜（ｄ）は、咀嚼筋電を計測するために装着する電極の位置を示す図である。 本願発明者らが行った実験中にハイライト型メニュー提示および電位計測を行う機器の処理手順を示すフローチャートである。 （ａ）は実際に被験者に提示したメニュー項目を簡略化した図であり、（ｂ）はハイライトの例を示す図である。 （ａ）は噛みしめ選択条件の参加者側のフローを示した図であり、（ｂ）は喋る条件・食べる条件の参加者側の処理手順を示すフローチャートである。 （ａ）〜（ｃ）は実験結果の一例を示す図である。 （ａ）は、噛みしめ選択条件における意図的な噛みしめ動作あり／なしのハイライトごとに切り出した電位波形を、潜時および最大振幅を特徴量としてプロットした図であり、（ｂ）は、噛みしめ選択条件の意図的な噛みしめありの場合の咀嚼筋電と、喋る・食べる条件での咀嚼筋電を、潜時・最大振幅を特徴量としてプロットした図である。 咀嚼筋電を用いたインタフェースシステム１の構成および利用環境を示す図である。 インタフェースシステム１においてＴＶ２を操作し、ユーザ５が視聴したい番組を選択して見るときの例を示す図である。 実施形態１によるインタフェースシステム１の機能ブロックの構成を示す図である。 ユーザがメニュー項目ハイライトの直後に短時間の意図的な噛みしめ動作を行ったか否かの判定を行うインタフェースシステム１の処理手順を示すフローチャートである。 ユーザ５がメニュー項目ハイライトの直後に意図的な噛みしめ動作を行ったか否かを判定する咀嚼筋電検出装置１０の詳細な処理手順を示すフローチャートである。 ランダム実験と降順実験の噛みしめ選択条件の結果で、潜時・最大振幅を特徴量としてプロットした図である。 実施形態２によるインタフェースシステム２の機能ブロックの構成を示す図である。 実施形態２によるインタフェースシステム２の処理手順を示すフローチャートである。 降順実験を同じ実験参加者に対して別の日に実施した結果を潜時・最大振幅を特徴量としてプロットした図である。 実施形態３によるインタフェースシステム３の機能ブロックの構成を示す図である。 実施形態３によるインタフェースシステム３の処理手順を示すフローチャートである。

以下、添付の図面を参照しながら、本発明による咀嚼筋電を用いたインタフェースシステムの実施形態を説明する。

本願発明者らは、実行すべき機器操作に関連して提示されたメニュー項目が一つずつハイライトされる状況で、ユーザが選択対象のメニュー項目のハイライトと同時またはその直後に意図的な噛みしめ動作を行ったとき、その噛みしめ動作を的確に検出する方法を見出した。具体的には、ユーザが選択対象のメニュー項目のハイライトと同時またはその直後に意図的な噛みしめ動作を行ったときに、ユーザの鼻根部とマストイド（メガネ装着時にメガネが耳に接触する位置）との電位から咀嚼筋電を計測すると、メニュー項目のハイライトを起点に切り出した咀嚼筋電の電位波形の最大振幅・潜時がそれぞれ１００μＶ前後・２００ｍｓ前後に安定して出現することを発見した。また最大振幅および潜時を指標に、日常生活の咀嚼筋電と区別して検出できることを見出した。この結果、咀嚼筋電に基づいて、ユーザの意図的な噛みしめ動作を識別して、ユーザの選択意図を検出することが可能となる。

なお、本明細書では、「１００μＶ前後」や「２００ｍｓ前後」など、数値Ｘの「前後」という表現を用いている。これは「約」Ｘとも記載される。いずれも、数値Ｘを含む範囲を包含する意図である。その範囲がどの程度まで広がるかは、その数値に対応する生体信号の個人差や、対象とする数値の計測誤差などの複合的な要因を考慮して決定される必要がある。そのような生体信号が出現しているか否かを検出するために、実施形態においては「検出対象範囲」を定めている。その検出対象範囲を「Ｘ前後」としてとらえてもよい。たとえば、咀嚼筋電の電位波形の最大振幅が「１００μＶ前後」であるときは、１００±５０μＶを意味するとしてもよい。また、潜時が「２００ｍｓ前後」であるときは、２００±５０ｍｓを含む時間帯を意味するとしてもよい。

以下では、まずハイライト型メニュー提示方法について説明し、選択対象のメニュー項目ハイライトに対する意図的な噛みしめ動作によって出現する咀嚼筋電の特徴を探索するために、本願発明者らが実施した実験およびメニュー項目ハイライトに対する意図的な咀嚼筋電の特徴に関する発見について説明する。

その後、実施形態として、ハイライト型メニュー提示を行うインタフェースシステムの概要および、咀嚼筋電検出装置を含むインタフェースシステムの構成および動作を説明する。

図１は、ハイライト型メニュー提示方法を時系列的に示す図である。画面７ａ−１から画面７ａ−４は４つの機器の操作メニューを一つずつハイライトしている様子を示している。

本明細書においては、図１に示した機器操作に関する選択肢群を「メニュー」、選択肢の一つ一つを「メニュー項目」、ユーザが選択したいと思っているメニュー項目を「選択対象項目」と定義する。

このようにメニュー項目が画面上でハイライトされることで、ユーザはハイライトされるメニュー項目に対してユーザの選択意図の有無（１ビットの情報）を出力するだけで、メニュー項目が選択できる。

ここで、ハイライト型メニュー提示のメニュー選択を短時間で行うためには、（１）ハイライトを繰り返さない、（２）ハイライトの間隔を短く設定する、という条件が必要である。

たとえば、非特許文献１に記載の事象関連電位のＰ３成分を用いると、ユーザの選択意図を検出することも可能である。ここで、「事象関連電位」とは、外的あるいは内的な事象に時間的に関連して生じる脳の一過性の電位変動をいい、その「Ｐ３成分」とは、一般には事象関連電位のうちの、聴覚、視覚、体性感覚などの感覚刺激の種類に関係なく起点から約３００ｍｓ付近に現れる事象関連電位の陽性の成分を示すものとして扱われることが多い。

Ｐ３成分を用いる場合、熟練したユーザであればハイライトの時間間隔は１２５ｍｓでも選択意図を検出可能であることが分かっており、たとえばメニュー項目数が４つであれば一通り全てのメニュー項目をハイライトするための所要時間は５００ｍｓと短時間である。しかし、事象関連電位のＰ３成分はＳ／Ｎが低いため、精度よく選択意図を検出するためにはハイライトの繰り返しが必要になる。たとえばハイライトを５回繰り返した場合には選択意図の出力に２．５秒もの時間を要する。

一方、ハイライト型メニュー提示に対する咀嚼筋電を計測した例はない。しかしながら、特許文献１のように特殊（持続的・特徴的）な噛みしめ動作によって発生する咀嚼筋電を検出してハイライトされたメニュー項目を選択する方法も考えられる。咀嚼筋電はＳ／Ｎが高いため加算平均のためのハイライトの繰り返しが不要という特長がある。

ところが、ハイライトのオンセットと意図的な咀嚼に起因する特殊な咀嚼筋電の時間関係が分からないため、ハイライト間隔を短く設定できないと考えられる。そのため、たとえば１秒以上が必要となる。よって、短時間でのメニュー選択は困難であると考えられる。さらに、日常生活では発生しない長時間の噛みしめ動作を検出対象とするため、操作意図の検出が遅れるという問題も予想される。

そこで、本願発明者らは、ハイライト型メニュー提示においてハイライトとの直後に意図的な噛みしめ動作を行った場合に出現する咀嚼筋電の特徴、特にハイライトのオンセットとの時間的関係を明らかにするために、選択対象項目のハイライト直後に短時間の噛みしめ動作を行う条件で咀嚼筋電の特徴を探索する実験を実施した。その結果、選択対象項目ハイライトに対して意図的な咀嚼が行われた際には、咀嚼筋電は、最大振幅１００μＶ前後でかつハイライト後２００ｍｓ前後に安定して出現することを発見した。さらに、選択対象項目ハイライトに対して意図的に表出された咀嚼筋電（非加算）は、ハイライトを起点に切り出した電位波形の最大振幅・潜時を特徴量として日常生活によって発生した咀嚼筋電とは区別できることを見出した。これにより、たとえば会話中や食事中のように日常生活の咀嚼筋電が発生する状況においても、特殊な噛みしめ動作やハイライトの繰り返しなしに、短時間でメニュー選択が可能なインタフェースシステムを実現できる。

以下、図２から図６を参照しながら実験および実験結果について説明する。実験は、２名の実験参加者（男性）に対して実施した。

図２は、人体の頭部周辺に存在する咀嚼筋２０１を示す。咀嚼筋２０１は、咬筋・側頭筋・外側翼突筋・内側翼突筋の総称であるが、図２においてはその各々は区別していない。

このような咀嚼筋２０１に対して、次に、咀嚼筋電を計測するための電極装着位置を説明する。電極は、人体頭部周辺の種々の位置に装着され得る。

たとえば図３（ａ）および（ｂ）に示すように、電極は、目の上（眼窩の上縁）、目の横（眼窩の外縁（外眼瞼角））、鼻根、耳の上（耳付根上部）に装着される。

いわゆるヘッドマウントディスプレイ（ＨＭＤ）に咀嚼筋電の計測機能を設けるとする。そのＨＭＤ形状および装着範囲を考察すると、頭部周辺には、眼電計測で利用されている顔面部の電極に加えて、耳朶部、耳後部（耳の付け根の後部）、耳下部（耳の付け根の下部）、耳前部などの耳周辺部も計測対象として利用することが可能である。図３（ｂ）には、耳朶、マストイド、耳珠、耳付根後部等が示されている。

本願発明者らは、上記耳周辺部を代表して、耳の裏の付け根の頭蓋骨の突起部であるマストイド（乳様突起）を選択し、従来顔面部で利用されていた電極の位置に対し、マストイドを基準極としたインタフェースシステムの識別率評価実験を実施した。

図３（ｃ）は、電位計測のための電極装着位置を示した図である。電極は鼻根部およびマストイドに装着し、マストイドを基準とした鼻根の電位を計測した。鼻根部・マストイドはメガネ装着時にそれぞれノーズパッド・イヤーパッドが接触する部分であり、メガネ型デバイス装着時に自然に計測ができる位置である（図３（ｄ））。図３（ｃ）には現れていないが基準電極とは反対側のマストイドにシステムリファレンスを装着した。

電極の装着位置は、咀嚼筋をまたぐように設けられている。「またぐ」とは、一方の電極が咀嚼筋上の皮膚に配置され、他方の電極が、咀嚼筋が存在しない位置の皮膚に配置されることをいう。そのような条件で装着すると、咀嚼筋の活動に起因する咀嚼筋電を確実に計測することができる。ただし、上述した電極の装着位置は一例であり、咀嚼筋をまたぐことによって咀嚼筋電を検出することが可能な電極配置は他にも存在し得ることに留意されたい。電位変化は、サンプリング周波数２００Ｈｚ、時定数１秒で計測した。

視覚刺激として図１に示した４つのメニュー項目を降順にハイライトするハイライト型メニューを提示した。ハイライトの間隔は３５０ｍｓとした。視覚刺激は、被験者の目前２ｍに設置した３７インチのプラズマディスプレイに提示した。

メニュー項目ハイライトに対する意図的な噛みしめ動作によって発生する咀嚼筋電と日常生活で発生する咀嚼筋電の区別ができるか否かを調べるために、条件を変えて実験を実施した。いずれの実験においてもハイライト型メニュー提示は同様に行ない、実験参加者にはハイライト中はメニュー項目を見るように指示をした。以下、３つの実験条件をそれぞれ説明する。

（１）噛みしめ選択条件：選択対象項目のハイライトに対して意図的な噛みしめ動作を行う条件である。より具体的には、指示された噛みしめ方法でハイライトに対して意図的な噛みしめ動作を行う、という課題を課した条件である。

本明細書における「意図的な噛みしめ」とは、例えば、歯を軽くかみ合わせた状態（つまり、上顎の歯と下顎の歯とを接触させた状態）にした後に、その状態から噛む力の圧力をかけた状態にすることをいう。本願発明者らは、噛みしめ選択条件における噛みしめ方法として、選択対象項目のハイライト直後に歯を軽く合わせた状態から短時間噛みしめるよう指示をした。

（２）喋る条件：メニュー項目のハイライトを見ながら喋り続ける、という課題を課した条件である。

（３）食べる条件：メニュー項目のハイライトを見ながらご飯を食べる、という課題を課した条件である。

図４を用いて、実験中にハイライト型メニュー提示および電位計測を行う機器側のフローを説明する。機器側のフローは、上記３条件共に同様である。

ステップＳ５０は、被験者の電位（咀嚼筋電）の計測を開始するステップである。

ステップＳ５１は、ハイライト型メニューの４つのメニュー項目を提示し、メニュー項目の種類をユーザに示すステップである。図５（ａ）は、実際に被験者に提示したメニュー項目を簡略化した図である。本願発明者らの実験では２秒間提示した。なお、ステップＳ５１は、メニュー項目ハイライト開始の前に計測電位を安定させ、眼電等のノイズを低減させる効果もある。

ステップＳ５２は、次にハイライトするメニュー項目を降順に選択するステップである。

ステップＳ５３は、ステップＳ５２で選択したメニュー項目を３５０ｍｓ間ハイライトするステップである。図５（ｂ）はハイライトの例を示す図である。図５（ｂ）に示したように、メニュー項目自体をハイライトしてもよいし、ハイライトに変えてまたはハイライトと同時に矢印等で示してもよい。なお、図５（ａ）および（ｂ）は相互に関連はなく、それぞれが一例として記載されている。

ステップＳ５４は、ステップＳ５３でメニュー項目がハイライトされた時刻を０ｍｓとしてハイライト前１００ｍｓ(以下、−１００ｍｓとする)、ハイライト後４００ｍｓの電位波形を切り出すステップである。切り出した電位波形はハイライト前１００ｍｓの平均電位を用いてベースライン補正を行う。

ステップＳ５５は、メニュー項目がハイライトされた回数ｎによる分岐で、ハイライトの回数がメニュー項目数より少ない場合にはステップＳ５２に進み、全てのメニュー項目を一通りハイライトする。咀嚼筋電は信号強度が強いのでハイライトの繰り返しは不要であると想定できる。

前述のステップＳ５０からステップＳ５５によって、各メニュー項目が一通りハイライトされたときの、ハイライトを起点とした電位波形が４本分収録できる。

次に、図６（ａ）および（ｂ）を用いて実験中の参加者側のフローを説明する。図６（ａ）は、噛みしめ選択条件の参加者側のフローを示した図である。

ステップＳ６１は、図４中のステップＳ５１によって提示されたメニューを見るステップである。被験者はメニュー項目の上から順に選択するようあらかじめ指示されており、ここで選択対象のメニュー項目に視線を移動する。選択対象項目の指示は、実際に噛みしめインタフェースを用いる場合にユーザが実現したいと思う機器動作にあたる。

ステップＳ６２は、図４中のステップＳ５２からＳ５５によって提示されるメニュー項目のハイライトを見て、選択対象のメニュー項目がハイライトされたかどうかによる分岐で、ステップＳ６２でＹｅｓの場合はステップＳ６３へ、Ｎｏの場合はステップＳ６１に進む。

ステップＳ６３は、ステップＳ６１で選択対象のメニュー項目がハイライトされた場合にハイライトの直後に短時間の噛みしめ動作を行うステップである。噛みしめ動作は、あらかじめ指示されたように「歯を軽く合わせた状態から短時間噛みしめる」方法で行う。

ステップＳ６４は、ハイライトが終了したかどうかによる分岐で、ステップＳ６４でＹｅｓの場合には終了へ、Ｎｏの場合にはステップＳ６１へそれぞれ進む。

図６（ｂ）は、喋る条件・食べる条件の参加者側のフローを示した図である。図６（ａ）に示す選択条件と同じ処理を行うステップについては同一の参照符号を付し、その説明は省略する。

噛みしめ選択条件との差異は、メニュー選択のための咀嚼筋電を出すためのステップＳ６２およびステップＳ６３の代わりにステップＳ６５が行われる点である。

ステップＳ６５は、あらかじめ指示された通りに、喋る条件では連続的に喋る、食べる条件では連続的にご飯を食べる、という行為を実行するステップである。

図７（ａ）〜（ｃ）は実験結果の一例を示す。図７（ａ）〜（ｃ）は、ハイライトを起点に−１００〜４００ｍｓまでの電位変化を切り出した電位波形を同じスケールで示したものであり、横軸は時間で単位はｍｓ、縦軸は電位で単位はμＶである。スケールは図７（ａ）のみに記載している。

図７（ａ）は、噛みしめ選択条件の結果で、選択対象項目ハイライトに対して意図的な噛みしめ動作を行った場合の電位波形を太実線、選択対象外項目ハイライトに対して噛みしめを行わなかった場合の電位波形を細実線で示した。噛みしめ動作を行った場合には、選択対象項目のハイライトを起点に約２００ｍｓに高振幅・高周波数の陽性電位が出現していることが分かる。

図７（ｂ）は、喋る条件の結果で、メニュー項目ハイライトに関わらず喋り続けた場合の電位波形である。ハイライトごとに条件の差がないため全てのハイライトに対する波形を細実線で示している。それぞれの電位波形は高振幅であるが緩やかな変動であることが分かる。

図７（ｃ）は、食べる条件の結果で、メニュー項目ハイライトに関わらずご飯を食べている場合の電位波形である。ハイライトごとに条件の差異がないため全てのハイライトに対する波形を細実線で示している。高振幅・高周波数な変化と高振幅・低周波数の電位変化の両方が混在していることが分かる。

以下、噛みしめ選択条件の意図的に表出された咀嚼筋電は本願発明者らが識別に用いる特徴量を用いることで、（１）噛みしめ選択条件の噛みしめなし条件の咀嚼筋電の電位波形、（２）日常生活において喋る・食べるによって発生した咀嚼筋電の電位波形が識別可能となることを説明する。

図８（ａ）は、噛みしめ選択条件における意図的な噛みしめ動作あり／なしのハイライトごとに切り出した電位波形を、潜時および最大振幅を特徴量としてプロットした図である。ここで「潜時」とは、メニュー項目がハイライトされた時刻を起点とした、最大振幅をとる時刻を意味する。メニュー項目がハイライトされた時刻は、図８（ａ）の横軸に示されており、単位はｍｓである。縦軸は最大振幅を示しており、単位はμＶである。意図的な噛みしめありの場合を○印（４０個）、噛みしめなしの場合を×印（８０個）としてプロットしている。

図８（ａ）より、メニュー項目ハイライト直後の噛みしめ動作によって発生する咀嚼筋電は、最大振幅・潜時の分散が小さいことがわかる。咀嚼筋電の最大振幅・潜時の平均値±分散は１０４．３±３２．９（μＶ）・２０１．３±３７．８（ｍｓ）であった。これにより、選択対象項目ハイライトに対する意図的な咀嚼筋電は潜時約２００ｍｓ前後で最大振幅約１００μＶ前後に特徴的に出現するといえる。これは、本願発明者らがハイライト型メニューを提示する条件で実験を実施し、メニュー項目ハイライトを起点に電位波形を切り出して意図的に表出された咀嚼筋電の特徴を分析した結果初めて明らかとなったことであり、本願発明者らの発見といえる。

また、図８（ａ）より、意図的な噛みしめあり／なしは最大振幅のみでの識別可能であることが見てとれる。噛みしめなしの場合の最大振幅は２３．４±１８．１（平均±標準偏差）であった。最大振幅の両側ｔ検定を実施した結果ｐ＜０．００１で有意差があった。たとえば閾値を５０μＶに設定して識別を行った場合の識別率は９７．５％であるため、メニュー項目ハイライト直後の意図的な噛みしめ動作による咀嚼筋電は、噛みしめなしの場合から識別できるといえる。

図８（ｂ）は、噛みしめ選択条件の意図的な噛みしめありの場合の咀嚼筋電と、喋る・食べる条件での咀嚼筋電を、潜時・最大振幅を特徴量としてプロットした図である。図８（ｂ）の横軸は潜時（ｍｓ）で、縦軸は最大振幅（μＶ）である。意図的な噛みしめありの場合を○印、喋る条件を＊印、食べる条件を×印として示している。なお、意図的な噛みしめありの場合のプロット（○印）は図８（ａ）と同じデータである。

喋る条件・食べる条件における最大振幅は、それぞれ４３．７±３０．０・３１６．２±１４４．４（平均±標準偏差）であった。前述の噛みしめあり／なしの識別と同様に最大振幅を例えば５０μＶで閾値処理した場合には、喋る条件の３０％、食べる条件の９５％を誤検出してしまうため、最大振幅のみを用いて高精度の識別を実現することは困難である。

そこで、噛みしめ選択条件の咀嚼筋電の最大振幅・潜時の分散が小さいという前述の発見に基づき、ハイライト型メニュー提示条件ならではの潜時の概念を導入して識別を試みた。たとえば最大振幅・潜時が５０−１５０μＶ、１５０−２００ｍｓの範囲を選択対象項目ハイライトに対する咀嚼筋電として検出すると、噛みしめ選択条件の咀嚼筋電の８５％が正しく検出され、喋る条件・食べる条件の誤検出率はそれぞれ１２．５％・２．５％にとどまった。これにより、最大振幅・潜時の範囲限定により、選択対象項目ハイライトに対する咀嚼筋電は日常生活で咀嚼筋電が発生する状況においても、ハイライトに対する意図的な咀嚼筋電を高精度に検出できる。結果、たとえば会話中や食事中であっても誤動作の少ない噛みしめインタフェースが実現できる。

以下の実施形態において説明するインタフェースシステムは、ハイライト直後の意図的な噛みしめ動作によって出現する咀嚼筋電を最大振幅・潜時を指標に検出して、たとえば会話中や食事中のように日常生活の咀嚼筋電が発生する状況においても、特殊な噛みしめ動作やハイライトの繰り返しなしに、短時間でメニュー選択が可能なインタフェースシステムを実現する。これは、本願発明者らが実験によって見出したハイライトに対して意図的に表出された咀嚼筋電の特徴に基づく。

（実施形態１）
以下では、まず、ハイライト型メニュー提示を行うインタフェースシステムの概要を述べる。その後、咀嚼筋電検出装置を含む本実施形態によるインタフェースシステムの構成および動作を説明する。

図９は、咀嚼筋電を用いたインタフェースシステム１（以下「インタフェースシステム１」と記述する）の構成および利用環境を示す。このインタフェースシステム１は後述する実施形態１のシステム構成に対応させて例示している。

インタフェースシステム１は、ユーザ５の頭部周辺で計測される電気的生体信号（咀嚼筋電）を利用してハイライト型メニュー提示部１００によって出力部７に提示されたメニュー項目を選択してTV２を操作するインタフェースを提供するためのシステムである。ユーザ５の鼻根部（メガネのノーズパットが接触する部分）に貼り付けた電極Ａとマストイド（メガネのイヤーパッドが接触する部位）に貼り付けた電極Ｂの電位差が生体信号計測部５０により取得され、無線または有線で咀嚼筋電検出装置１０に送信される。TV２に内蔵された咀嚼筋電検出装置１０は、送信された電位変化を利用してユーザのメニュー選択意図を検出し、チャンネルの切り替えなどの処理を行う。

なお、図９ではメガネ型の操作デバイス（生体信号計測部５０）によって、別体のＴＶ２を操作する例を示したが、たとえばヘッドマウントディスプレイ（ＨＭＤ）を想定した場合には、出力部７・ハイライト型メニュー提示部１００・咀嚼筋電検出装置１０の全ての構成要素をＨＭＤ内に収めてもよい。ＨＭＤを装着した場合にも、鼻根部とマストイドは自然にユーザ５と接触する部位である。

図１０は、インタフェースシステム１においてＴＶ２を操作し、ユーザ５が視聴したい番組を選択して見るときの例を示す。

図１０上部の画面７ａ−１から画面７ａ-４は、ハイライト型メニュー提示部１００がＴＶ２の画面７ａを介してユーザに提示するメニューの例である。図１０では、画面７ａ−１・画面７ａ−２において、それぞれ「野球」・「天気」・「アニメ」・「ニュース」の４つのメニュー項目のうち、「野球」・「天気予報」というメニュー項目がハイライトされる様子を示している。画面７ａ−３および画面７ａ−４においては「アニメ」および「ニュース」である。

メニュー項目をハイライトすることによって、咀嚼筋電検出装置１０においてそれぞれのメニュー項目がハイライトされた時刻を起点とした電位変化の切り出しが可能となる。図１０下部の電位波形５ａ−１から電位波形５ａ-４は、咀嚼筋電検出装置１０において切り出したメニュー項目ハイライトを起点とした電位波形を模式的に示したものである。

今、ユーザは「天気」のチャネルを見たいと考えており、「天気」がハイライトされた直後に意図的な噛みしめ動作を行ったとする。電位波形５ａ−２は、その状況で、「天気予報」がハイライトされてから約２００ｍｓ前後に意図的に表出された咀嚼筋電が出現している様子を示している。図１０上段の画面７ｂは、咀嚼筋電検出装置１０において「天気予報」のハイライトに対する意図的に表出された咀嚼筋電が検出され（５ａ−２）、チャンネルが「天気予報」に切り替わった様子を示している。

図１１は、本実施形態によるインタフェースシステム１の機能ブロックの構成を示す。インタフェースシステム１は、出力部７と、咀嚼筋電検出装置１０と、生体信号計測部５０と、ハイライト型メニュー提示部１００とを有している。図１１はまた、咀嚼筋電検出装置１０の詳細な機能ブロックも示している。ユーザ５のブロックは説明の便宜のために示されている。なお、出力部７はユーザ５にメニュー等を提示する画面を示す。

ユーザ５は、ハイライト型メニュー提示部１００によって出力部７に提示される機器操作に関するメニュー項目がハイライトされるかどうかに注意し、選択対象項目のハイライトに対して意図的に噛みしめ動作を行うだけで、ボタン等を介した操作入力は行わない。インタフェースシステム１はユーザの噛みしめ動作を検出して、その噛みしめ動作を行った対象となるメニュー項目を特定し、ハイライト型メニュー提示部１００を介して選択されたメニュー項目に応じて機器を動作させるとする。たとえば、この「機器」とは、出力部７に相当するＴＶであり、「動作」とはチャンネル切り替え動作であるが、これは例である。ＴＶとは異なる機器、たとえば録画装置、ＤＶＤ再生装置（図示せず）であってもよい。

咀嚼筋電検出装置１０は、有線または無線で生体信号計測部５０およびハイライト型メニュー提示部１００と接続され、信号の送信および受信を行う。図１１においては、生体信号計測部５０およびハイライト型メニュー提示部１００は咀嚼筋電検出装置１０とは別体であるが、これは例である。生体信号計測部５０およびハイライト型メニュー提示部の一部または全部を、咀嚼筋電検出装置１０内に設けてもよい。

生体信号計測部５０は、ユーザ５の生体信号を検出する筋電計であり、生体信号として咀嚼等によって発生する筋電を計測する。生体信号計測部５０を図１に示すようなメガネ型デバイスとして、ノーズパッドとイヤーパッド間の電位差を計測してもよい。ユーザ５はあらかじめ生体信号計測部５０を装着しているものとする。

この結果、生体信号計測部５０はユーザ５の顔周辺の電位変化を測定することができる。測定されたユーザ５の電位変化は、コンピュータで処理できるようにサンプリングされ、リアルタイムに咀嚼筋電検出装置１０に送られる。なお、計測した電位に混入する商用電源ノイズの影響を低減するために、生体信号計測部５０においては計測される電位はあらかじめ、たとえば０．１から３０Ｈｚのバンドパスフィルタ処理がされ、メニュー項目ハイライト前のたとえば１００ｍｓの平均電位でベースライン補正されているものとする。

ハイライト型メニュー提示部１００は、機器操作に関するメニュー項目をたとえば３５０ｍｓ間隔でハイライトする。どのハイライトに対する咀嚼筋電かを特定するために、ハイライトの間隔は咀嚼筋電の潜時の分散以上に設定する必要がある。前述の実験結果において潜時の分散が３７．８（ｍｓ）であったことからハイライト間隔はたとえば１００ｍｓとしてもよい。ハイライト型メニュー提示部１００は、咀嚼筋電検出装置１０の識別結果に応じて機器動作の制御指令を出す。ハイライト型メニュー提示部１００を利用して制御する機器が、たとえば図９に示すＴＶ２であるとすると、メニューは出力部７（画面７ａ）を介してユーザ５に提示される。

次に、本実施形態による咀嚼筋電検出装置１０の詳細な構成を説明する。本発明の主要な特徴のひとつは、咀嚼筋電検出装置１０の構成および動作にある。

咀嚼筋電検出装置１０は、生体信号切り出し部１１と、最大振幅算出部１２と、潜時算出部１３と、咀嚼筋電判定部１４とを有している。

生体信号切り出し部１１は、ハイライト型メニュー提示部１００から送られるメニュー項目ハイライトのタイミングを起点として、生体信号計測部５０からリアルタイムで送られる咀嚼筋電の電位波形を切り出し、切り出した電位波形のベースライン補正を行う。電位波形を切り出す時間帯はメニュー項目ハイライトのタイミングを０ｍｓとしてハイライト後１５０から３００ｍｓまでの時間帯を含むように−１００から４００ｍｓとしてもよいし、−３００から３００ｍｓとしてもよい。また、ハイライトの間隔にあわせて、たとえばメニュー項目が複数回ハイライトされないような時間幅としてもよい。また、ベースライン補正はメニュー項目ハイライト前１００ｍｓ間の平均電位を全体から引くという方法で実施してもよいし、任意の時間幅の平均電位を用いて実施してもよい。生体信号切り出し部１１は、波形の切り出し・ベースライン補正完了後に電位波形を最大振幅算出部１２へ送る。

最大振幅算出部１２は、生体信号切り出し部１１から送られた咀嚼筋電の電位波形の最大振幅を求め、その情報を咀嚼筋電判定部１４に送る。咀嚼筋電の電位波形の最大振幅は、たとえば０μＶを基準としたときの電位の最大値である。また最大振幅算出部１２は、潜時算出部１３に咀嚼筋電の電位信号を送る。なお、最大振幅が閾値以上の場合のみ潜時算出部１３に波形を送ってもよい。この場合、閾値はたとえば１００μＶとしてもよいし、ユーザごとに値を設定してもよい。

潜時算出部１３は、最大振幅算出部１２から送られた電位波形の潜時（メニュー項目ハイライトの時刻を０ｍｓとして電位波形が最大振幅となる時間）を求め、求めた潜時の情報を咀嚼筋電判定部１４に送る。

なお、最大振幅算出部１２および潜時算出部１３が処理の対象とする電位波形は、生体信号切り出し部１１によって切り出されて得られた波形である。したがって、受け取った波形の開始点が、メニュー項目ハイライトのタイミングに対応している。したがって、最大振幅算出部１２および潜時算出部１３は、受け取った波形のそれぞれ最大振幅およびそのときの時間を求めれば、上述の最大振幅および潜時が得られることになる。

咀嚼筋電判定部１４は、最大振幅算出部１２と潜時算出部１３から送られた最大振幅と潜時に基づき、メニュー項目ハイライトに対する意図的に表出された咀嚼筋電の有無を判定し、ハイライト型メニュー提示部に結果を送る。判定基準として、たとえば最大振幅・潜時が１００±５０μＶ、２００±５０ｍｓの範囲であった場合を検出し、ユーザ５がメニュー項目ハイライト直後に意図的な噛みしめ動作を行ったとしてもよい。また、ユーザごとに最大振幅・潜時の平均値および分散を測定し、それぞれ平均値±標準偏差のように範囲を設定してもよい。

次に、図１２のフローチャートを参照しながら、図１１のインタフェースシステム１において行われる全体的な処理手順を説明する。

図１２は、ユーザがメニュー項目ハイライトの直後に短時間の意図的な噛みしめ動作を行ったか否かの判定を行うインタフェースシステム１の処理手順を示す。

ステップＳ１０１において、ハイライト型メニュー提示部１００はたとえば４つのメニュー項目の操作メニュー（たとえば図５（ａ））を提示する。

ステップＳ１０２において、ハイライト型メニュー提示部１００は次にハイライトするメニュー項目を上から一つずつ順次選択する。

ステップＳ１０３において、ステップＳ１０２によって選択されたメニュー項目をハイライトする。ハイライトの間隔は咀嚼筋電の潜時の分散よりも大きく、かつユーザ５がハイライトを認識できれば、たとえば１００ｍｓでもよい。

ステップＳ１０４において、生体信号計測部５０はユーザ５の電位変化（咀嚼筋電）を計測する。

ステップＳ２０において、咀嚼筋電検出装置１０はステップＳ１０４で計測した電位波形にメニュー項目ハイライトに対する意図的に表出された咀嚼筋電が含まれるか否かを識別する。ステップＳ２０の詳細な処理手順は後ほど述べる。

ステップＳ２０でＹｅｓの場合、ステップＳ１０５に進み、Ｎｏの場合はステップＳ１０２に戻り次のメニュー項目を選択する。

ステップＳ１０６において、ハイライト型メニュー提示部１００はステップＳ２０によって選択されたメニュー項目に対応する処理を実行する。これにより、そのメニュー項目が選択され、実行される。

このようなインタフェースシステム１によれば、たとえば会話中や食事中であっても、特殊な噛みしめ動作やハイライトの繰り返しなしに短時間でメニュー選択を実現できる。よって機器の操作性が格段に向上する。

図１３は、咀嚼筋電検出装置１０を構成する生体信号切り出し部１１と最大振幅算出部１２と潜時算出部１３と咀嚼筋電判定部１４によって実現され、ユーザ５がメニュー項目ハイライトの直後に意図的な噛みしめ動作を行ったか否かを判定する詳細な手順を示す。

すなわち、図１３中のステップＳ２１において、生体信号切り出し部１１は生体信号計測部５０で計測したユーザ５の鼻根とマストイドの電位変化から、ハイライト型メニュー提示部１００においてメニュー項目がハイライトされたタイミングを起点に咀嚼筋電の電位波形を切り出し、ベースライン補正を行う。電位波形を切り出す時間帯はメニュー項目ハイライトのタイミングを０ｍｓとしてハイライト後１５０から３００ｍｓまでの時間帯を含むように−１００から４００ｍｓとしてもよいし、−３００から３００ｍｓとしてもよい。また、ベースライン補正はメニュー項目ハイライト前１００ｍｓ間の平均電位を全体から引くという方法で実施してもよいし、任意の時間幅の平均電位を用いて実施してもよい。そして生体信号切り出し部１１はベースライン補正後の電位波形を最大振幅算出部１２へ送る。

ステップＳ２２において、最大振幅算出部１２は生体信号切り出し部１１より電位波形を受け取り振幅の最大値を求め、電位波形を潜時算出部１３に送る。その一方、求めた最大振幅の情報を咀嚼筋電判定部１４に送る。

ステップＳ２３において、潜時算出部１３は電位波形の潜時（メニュー項目ハイライトの時刻を０ｍｓとして電位波形が最大振幅となる時間）を求め、求めた潜時の情報を咀嚼筋電判定部１４に送る。

ステップＳ２４において、咀嚼筋電判定部１４は最大振幅算出部１２と潜時算出部１３から送られた最大振幅と潜時に基づき、メニュー項目ハイライトに対する意図的に表出された咀嚼筋電の有無を判定する。判定基準として、たとえば最大振幅・潜時が１００±５０μＶ、２００±５０ｍｓの範囲であった場合を検出してもよいし、最大振幅・潜時の平均値および分散を測定し、それぞれ平均値±標準偏差のように範囲を設定してもよい。ステップＳ２４でＹｅｓの場合はステップＳ２５へ、Ｎｏの場合はステップＳ２６へ進む。

ステップＳ２５において、咀嚼筋電判定部１４はユーザ５がメニュー項目ハイライトの直後に意図的な噛みしめ動作をしたと判定する。

ステップＳ２５において、咀嚼筋電判定部１４はユーザ５がメニュー項目ハイライトの直後に噛みしめ動作をしなかったと判定する。

このような処理によって、ハイライト直後にユーザがメニュー選択のために実施した噛みしめ動作が検出できる。

本実施形態の噛みしめインタフェースインタフェースシステム１より、メニュー項目ハイライトを起点とした電位波形の最大振幅・潜時を特徴量に、ハイライト直後の意図的な噛みしめ動作によって発生する咀嚼筋電の検出が可能となる。これにより、短時間でメニュー選択が可能で、かつ会話中・食事中であっても誤動作の少ない、使いやすいインタフェースが実現できる。具体的には、電話をしながらたとえばマルチタスクで携帯電話の他の機能（たとえばインターネット機能等）のメニュー選択を行う場合に、会話によって出現した咀嚼筋電によって誤ってメニュー選択がされる可能性の低いインタフェースが実現できる。また、食事中にＴＶを見ているときに、たとえばおすすめ番組に関するハイライト型メニューが自動的に提示されても、食事によって出現した咀嚼筋電による誤動作の少ないインタフェースが実現できる。

（実施形態２）
実施形態１によるインタフェースシステム１では、ハイライト型メニュー提示部１００はメニュー項目を上から順にハイライトし、ハイライトを起点に約２００ｍｓ前後に安定して出現する意図的な咀嚼筋電を、最大振幅および潜時を指標に検出することで、短時間でメニュー選択が可能で、かつ会話中・食事中であっても誤動作の少ないインタフェースを実現していた。

本願発明者らは、前述の実験に加えてメニュー項目をランダムな順序でハイライトする条件で追加実験（ランダム実験）を実施した結果、メニュー項目をランダムな順序でハイライトした場合には意図的に表出された咀嚼筋電の最大振幅・潜時が変化することを発見した。

そこで、本実施形態によるインタフェースシステムでは、メニュー項目ハイライトの順序に応じて最大振幅・潜時の検出対象範囲を切り替えて意図的に表出された咀嚼筋電を検出する。これによって、ランダムな順序でメニュー項目をハイライトしても、ハイライト直後の噛みしめ動作によって発生する意図的な咀嚼筋電を高精度で検出できるようになる。ハイライトをランダムな順序で実施することで、たとえば選択したいメニュー項目が下方にあった場合に早くハイライトされる可能性があり、操作時間が短縮されるという利点がある。そのため、ランダムなハイライト順序は機器側でユーザがよく選択するメニュー項目があらかじめ分かっている場合に特に有効である。

まず、ランダム実験について述べる。ランダム実験では、図４のステップＳ５２を変更し、メニュー項目ハイライトの順序をランダムにした。それ以外の実験設定は前述の実験（降順実験）の噛みしめ選択条件と同様であるため、実験の詳細説明は省略する。

図１４は、ランダム実験と降順実験の噛みしめ選択条件の結果で、潜時・最大振幅を特徴量としてプロットした図である。横軸はメニュー項目ハイライトの時刻を０ｍｓとした時間で単位はｍｓ、縦軸は最大振幅で単位はμＶである。降順実験の意図的な噛みしめありの場合を○印（４０個）、ランダム実験の意図的な噛みしめありの場合を×印（４０個）としてプロットしている。ランダム実験においてハイライト直後の咀嚼筋電の最大振幅および潜時が、降順実験の結果と比べてどちらもプラス方向に変化していることが見て分かる。ランダム実験における最大振幅・潜時の平均値±分散は２１３．０±７４．５（μＶ）・２８２．９±５０．７（ｍｓ）であり、降順条件と比べて最大振幅および潜時の平均値・分散値がいずれも増大した。なお、ｔ検定の結果有意に最大振幅・潜時が異なった（ｐ＜．０５）。この結果、ハイライトの順序に応じて出現する咀嚼筋電の特徴が変化することが明らかとなった。最大振幅・潜時が変化した理由として、ランダムな順序でハイライトされた場合には選択対象項目がハイライトされるタイミングを予測できないため反応が遅れた可能性が考えられる。また、降順条件に比べてランダム実験では最大振幅・潜時の分散が大きくなったことから、降順条件の方が意図的に表出した咀嚼筋電の検出精度が高いことが分かる。よって、メニュー項目のハイライト方法は、メニュー項目数が少ない場合（たとえば１０項目以下）の場合には降順に、多い場合にはランダムな順序でハイライトを行うように切り替えてもよい。

両条件の咀嚼筋電の特徴を包含する最大振幅・潜時の範囲を咀嚼筋電の検出対象範囲とした場合、日常生活の咀嚼筋電を誤検出率が向上することが想定される。また、メニュー項目のハイライトの順序は降順またはランダムのどちらかであるため、メニュー項目ハイライトの順序に応じて、最大振幅・潜時の検出対象範囲を切り替えることで対応が可能である。

図１５は、本実施形態による咀嚼筋電を用いたインタフェースシステム２（以下「インタフェースシステム２」と記述する。）の機能ブロックの構成を示す。図１５はまた、咀嚼筋電検出装置２０の詳細な機能ブロックも示している。ユーザ５のブロックは説明の便宜のために示されている。

インタフェースシステム２がインタフェースシステム１（図１１）と相違する点は、ハイライト型メニュー提示部１００に代えてメニュー項目ハイライトのモードに応じてハイライトの順序を降順／ランダムに切り替え可能なハイライト型メニュー提示部２００を備えたこと、および、咀嚼筋電検出装置２０の構成のうち降順／ランダム切り替え部２１を新たに加えたことである。なお、インタフェースシステム２の構成要素のうち、インタフェースシステム１と同じ構成要素については同じ参照符号を付しその説明を省略する。

ハイライト型メニュー提示部２００は、メニュー項目ハイライトの順序に関するモードを切り替えて降順またはランダムにメニュー項目をハイライトする。ランダム実験では最大振幅・潜時の分散が大きくなる傾向があることを考慮して、メニュー項目数が少ない場合（たとえば１０項目以下）の場合には降順に、多い場合にはランダムな順序でハイライトを行うように切り替えてもよい。

降順／ランダム切り替え部２１は、ハイライト型メニュー提示部２００からメニュー項目ハイライトのモードを取得し、咀嚼筋電判定部１４に保持した咀嚼筋電の検出対象範囲を変更する。たとえば、検出対象範囲の最大振幅・潜時は、ハイライトの順序が降順の場合には１００±５０μＶ・２００±５０ｍｓとし、ランダムの場合には２００±１００μＶ・３００±１００ｍｓとしてもよい。

このように構成することで、ハイライトの順序に応じて最大振幅・潜時に関する検出対象範囲の変更ができるため、降順／ランダムに関わらず高精度で咀嚼筋電の検出が可能となる。

次に、図１６のフローチャートを参照しながら、インタフェースシステム２において行われる全体的な処理の手順を説明する。

図１６は、本実施形態によるインタフェースシステム２の処理手順を示す。図１６では、インタフェースシステム１（図１２）の処理と同じ処理を行うステップについては同一の参照符号を付し、その説明は省略する。

ステップＳ２０１において、ハイライト型メニュー提示部２００はメニュー項目ハイライトの順序に関するモードを選択する（降順またはランダム）。

ステップＳ２０２において、ハイライト型メニュー提示部２００はステップＳ２０１で選択したモードに基づき、次にハイライトするメニュー項目を選択する。

ステップＳ２０３において、降順／ランダム切り替え部２１はハイライト型メニュー提示部２００からハイライトのモードを取得し、咀嚼筋電判定部１４に保持した咀嚼筋電の検出対象範囲を変更する。たとえば、検出対象範囲の最大振幅・潜時は、ハイライトの順序が降順の場合には１００±５０μＶ・２００±５０ｍｓとし、ランダムの場合には２００±１００μＶ・３００±１００ｍｓとしてもよい。

このような処理によって、ハイライトの順序に応じて最大振幅・潜時に関する検出対象範囲の変更ができるため、降順／ランダムに関わらず高精度で咀嚼筋電の検出が可能となる。

本実施形態のインタフェースシステム２により、メニュー項目を降順またはランダムにハイライトした場合にも、最大振幅・潜時に関する検出対象範囲を変更することで、高精度な咀嚼筋電の検出が可能となる。これにより、特にメニュー項目数が多い場合にもランダムな順序でのハイライトによって短時間でメニュー選択が可能で、かつ会話中・食事中であっても誤動作の少ない、使いやすいインタフェースが実現できる。

（実施形態３）
実施形態１によるインタフェースシステム１では、ハイライト型メニュー提示部１００はメニュー項目を上から順にハイライトし、ハイライトを起点に約２００ｍｓ前後に安定して出現する意図的な咀嚼筋電を、最大振幅および潜時を指標に検出することで、短時間でメニュー選択が可能で、かつ会話中・食事中であっても誤動作の少ないインタフェースを実現していた。

誤動作を恒常的に少なく維持することが理想であるが、時間の経過により同じような噛みしめ方ができない、電極の装着状態が変化する、等の要因により意図的に表出された咀嚼筋電の特徴が変化する場合があり、咀嚼筋電の検出精度が下がる可能性があった。

たとえば図１７は、降順実験を同じ実験参加者に対して別の日に実施した結果を潜時・最大振幅を特徴量としてプロットした図である。横軸はメニュー項目ハイライトの時刻を０ｍｓとした時間で単位はｍｓ、縦軸は最大振幅で単位はμＶである。○印（４０個）と×印（４０個）は別の日の結果であることを示す。実験参加者には両日とも同様の噛みしめ方をするように指示した。図１７から、○印と×印を比較すると最大振幅が異なっているが、○印同士、×印同士のバラつきは小さいことが分かる。また、潜時の変化は小さいことがわかる。○印、×印の最大振幅・潜時（平均±標準偏差）は１０４．３±３２．９（μＶ）・２０１．３±３７．８（ｍｓ）、１９６．１±６１．９（μＶ）・２２０．８±５３．７（ｍｓ）であった。最大振幅が日によって異なる原因として、（１）時間の経過により同じような噛みしめ方ができなくなった、（２）電極の装着状態が異なった、が考えられる。

本実施形態によるインタフェースシステムでは、一定以上の時間が経過した後の最初の選択に対しては、最大振幅・潜時の検出対象範囲を拡大しメニュー項目ハイライトの順序に応じて最大振幅・潜時の検出対象範囲を拡大して意図的に表出された咀嚼筋電を検出し、その咀嚼筋電の最大振幅・潜時から新たに検出対象範囲を決定することで、噛みしめ方や電極の装着状態の変化を吸収し、咀嚼筋電の検出精度を維持する。

図１８は、本実施形態による咀嚼筋電を用いたインタフェースシステム３（以下「インタフェースシステム３」と記述する。）の機能ブロックの構成を示す。図１８はまた、咀嚼筋電検出装置３０の詳細な機能ブロックも示している。ユーザ５のブロックは説明の便宜のために示されている。

インタフェースシステム３がインタフェースシステム１（図１１）と相違する点は、咀嚼筋電検出装置２０の構成のうち検出対象範囲決定部３１を新たに加えたことである。なお、インタフェースシステム２の構成要素のうち、インタフェースシステム１と同じ構成要素については同じ参照符号を付しその説明を省略する。

検出対象範囲決定部３１は、ハイライト型メニュー提示部１００がユーザ５にメニュー提示をしてからの経過時刻を保持し、前回のメニュー提示から一定以上の時間が経過している場合に、咀嚼筋電判定部１４に保持した咀嚼筋電の検出対象範囲を拡大するように変更する。一定時間とはたとえば１時間としてもよいし、１日としてもよい。また検出対象範囲は、範囲を広げる方向であれば最大振幅・潜時はたとえば１００±７５μＶ・２００±７５ｍｓとしてもよい。そして、検出対象範囲決定部３１は、咀嚼筋電判定部１４が意図的に表出された咀嚼筋電を検出した場合、その最大振幅および潜時を取得し、新たな検出対象範囲を設定し、咀嚼筋電判定部１４に保持した咀嚼筋電の検出対象範囲を変更する。新たな検出対象範囲は、たとえば取得した最大振幅±５０μＶ・取得した潜時±５０ｍｓのように決めてもよいし、ユーザごとの最大振幅・潜時の分散に応じて決めてもよい。

このように構成することで、前回のメニュー選択から一定以上時間が経過した場合に噛みしめ方や電極の装着状態の変化を吸収して高精度で咀嚼筋電の検出が可能となる。なお、一定時間経過後にハイライト型メニュー提示部１００によりキャリブレーション用のメニュー項目ハイライトの刺激を提示し、キャリブレーション用のメニュー項目ハイライトに対する意図的な咀嚼筋電の最大振幅および潜時を取得し、それ以降のメニュー選択の中心値としてもよい。

次に、図１９のフローチャートを参照しながら、インタフェースシステム３において行われる全体的な処理の手順を説明する。

図１９は、本実施形態によるインタフェースシステム３の処理手順を示す。図１６では、インタフェースシステム１（図１２）の処理と同じ処理を行うステップについては同一の参照符号を付し、その説明は省略する。なお、ステップＳ２０ａ、ステップＳ２０ｂは検出対象範囲は異なるがどちらもステップＳ２０と同じ処理である。

ステップＳ３０１において、検出対象範囲決定部３１はハイライト型メニュー提示部１００が最後にメニューを提示してからの経過時間を求める。

ステップＳ３０２において、検出対象範囲決定部３１はステップＳ３０１で求めた経過時間が一定以上であったか否かによって分岐する。ステップＳ３０２でＹｅｓの場合はステップＳ３０３へ、Ｎｏの場合はステップＳ２０ａへ進む。一定時間とはたとえば１時間としてもよいし、１日としてもよい。

ステップＳ３０３において、検出対象範囲決定部３１は咀嚼筋電判定部１４に保持した咀嚼筋電の検出対象範囲を拡大するように変更する。最大振幅・潜時をたとえば１００±７５μＶ・２００±７５ｍｓのように設定してもよい。

ステップＳ３０４において、検出対象範囲決定部３１は咀嚼筋電判定部１４から検出された咀嚼筋電の最大振幅および潜時を取得し、新たな検出対象範囲を設定し、咀嚼筋電判定部１４に保持した咀嚼筋電の検出対象範囲を変更する。新たな検出対象範囲は、たとえば取得した最大振幅±５０μＶ・取得した潜時±５０ｍｓのように決めてもよいし、ユーザごとの最大振幅・潜時の分散を参考に決めてもよい。

このような処理によって、前回のメニュー選択から一定以上時間が経過した場合に噛みしめ方や電極の装着状態の変化を吸収して高精度で咀嚼筋電の検出が可能となる。

本実施形態によるインタフェースシステムでは、一定以上の時間が経過した後の最初の選択に対しては、最大振幅・潜時の検出対象範囲を拡大しメニュー項目ハイライトの順序に応じて最大振幅・潜時の検出対象範囲を拡大して咀嚼筋電を検出し、その咀嚼筋電の最大振幅・潜時から新たに検出対象範囲を決定することで、噛みしめ方や電極の装着状態の変化を吸収し、意図的に表出された咀嚼筋電の検出精度の維持が可能となる。なお、特にユーザが動きながらメニュー選択を行う場合には電極の装着状態が頻繁に変化することが想定されるため、一定時間をたとえば１０分のように短く設定して頻繁にキャリブレーションを行ってもよい。

上述の説明では、振幅の単位として「μＶ」を用いて説明したが、具体的な計測値は、増幅率等の相違により、計測に利用する機器によって異なる場合がある。たとえば本願発明者が生体信号計測部として用いた機器は、デジテックス研究所製のＡＰ１１２４である。当該機器とは異なる機器を用いて咀嚼筋電を計測した場合には、同じユーザでそれぞれ計測した振幅の大きさに基づいて、たとえば変換倍率を決定して、当該倍率を適用して本願明細書を読み替えればよい。

また、実施形態の説明では、生体信号切り出し部を設け、メニュー項目ハイライトのタイミングを起点として、生体信号計測部５０からリアルタイムで送られる咀嚼筋電の電位波形を切り出すとして説明した。しかしながら、生体信号切り出し部を設けることは必須ではない。たとえば生体信号計測部５０がメニュー項目ハイライトのタイミングで計測結果を出力するようにしてもよいし、生体信号計測部５０には常時計測を送信させ、メニュー項目ハイライトのタイミングに基づいて咀嚼筋電検出装置１０で受信するかどうかを決定してもよい。

また、メニュー項目のハイライト前に、ハイライト型メニュー提示部が、ユーザに噛みしめ動作による機器操作を認識してもらうための表示を出力部７にしてもよい。たとえば、「選択したいと思ったメニュー項目がハイライトされた時に、噛みしめ動作を行って下さい。」などの表示を行えばよい。ユーザが咀嚼することにより、複数のメニュー項目のうち所望のメニュー項目を選択するインタフェースシステムであることを認識させることができる。

上述の実施形態に関して、フローチャートを用いて説明した処理はコンピュータに実行されるプログラムとして実現され得る。そのようなコンピュータプログラムは、ＣＤ−ＲＯＭ等の記録媒体に記録されて製品として市場に流通され、または、インターネット等の電気通信回線を通じて伝送される。咀嚼筋電検出装置を構成する全部または一部の構成要素や、ハイライト型メニュー提示部は、コンピュータプログラムを実行する汎用のプロセッサ（半導体回路）として実現される。または、そのようなコンピュータプログラムとプロセッサとが一体化された専用プロセッサとして実現される。咀嚼筋電検出装置の機能を実現するコンピュータプログラムは、インタフェースシステムの機能を実現するためのコンピュータプログラムを実行するプロセッサによって実行されてもよいし、インタフェースシステム内の他のプロセッサによって実行されてもよい。そのようなコンピュータプログラムは、プロセッサによって実行されることにより、出力部への出力や、生体信号計測部での咀嚼筋電計測を制御することが可能である。

なお、上述の各実施形態の説明では、テレビの放送番組のチャンネル切り替え操作を例に挙げたが、これは例である。テレビ画面の操作に関する場合のみならず、他の機器の操作にも適用できる。たとえば電子レンジのような家電製品の表示ディスプレイに順次またはランダムに調理項目が表示される場合にも本願発明は適用可能である。

本発明の咀嚼筋電検出装置および咀嚼筋電検出装置が組み込まれたインタフェースシステムによれば、メガネ装着時に自然に接触する部位で計測した電位に基づき、ユーザはハイライトされるメニュー項目を短時間で選択できる。たとえばボタン等のインタフェース部が小さく操作入力が難しいウェアラブル機器（ヘッドマウントディスプレイや音楽プレーヤ）の操作がハンズフリーで実現できる。

５ ユーザ
７ 出力部
７ａ 画面
１０ 咀嚼筋電検出装置
１１ 生体信号切り出し部
１２ 最大振幅算出部
１３ 潜時算出部
１４ 咀嚼筋電判定部
２１ 降順／ランダム切り替え部
３１ 検出対象決定部
５０ 生体信号計測部
１００ ハイライト型メニュー提示部
２００ ハイライト型メニュー提示部

Claims (15)

1. 機器の操作メニューを視覚的に提示する出力部と、
   ユーザの咀嚼筋電を計測する計測部と、
   前記操作メニューを構成する各メニュー項目を、前記出力部を介して順次提示するメニュー提示部と、
   前記咀嚼筋電の電位波形の最大振幅を求める振幅算出部と、
   各メニュー項目がハイライトされた時刻を起点に、前記電位波形が前記最大振幅となる時間である潜時を求める潜時算出部と、
   前記最大振幅があらかじめ定められた閾値よりも大きく、かつ、潜時が２００ｍｓ前後の範囲内にあるか否かを判定する判定部と
   を備え、前記判定部の判定結果に応じて、前記メニュー提示部は、ハイライトされた前記メニュー項目に対応する処理を実行する、インタフェースシステム。
2. 前記判定部が、前記最大振幅があらかじめ定められた閾値よりも大きく、かつ、潜時が２００ｍｓ前後の範囲内にあると判定したときにおいて、
   前記咀嚼筋電が意図的に表出されたとして、前記メニュー提示部は、ハイライトされた前記メニュー項目に対応する処理を実行する、請求項１に記載のインタフェースシステム。
3. 前記計測部は、前記ユーザの鼻根およびマストイドに装着した電極によって計測される電位差により、前記咀嚼筋電を計測する、請求項１に記載のインタフェースシステム。
4. さらに、前記メニュー提示部の各メニュー項目のハイライトに応じて、前記咀嚼筋電の電位波形を切り出す切り出し部とを備え、
   振幅算出部は、切り出された電位波形の最大振幅を求める、請求項１に記載のインタフェースシステム。
5. 前記切り出し部は、少なくともハイライトに対する咀嚼筋電が出現するハイライト後１５０ｍｓから２５０ｍｓを含む時間帯を切り出す、請求項４に記載のインタフェースシステム。
6. 前記判定部は、前記最大振幅があらかじめ定められた閾値よりも大きく、かつ、潜時が２００ｍｓ前後の範囲内にある場合には、計測された前記咀嚼筋電が、前記メニュー項目のハイライトに対して意図的に表出されたと判定し、前記最大振幅があらかじめ定められた閾値よりも大きく、かつ、潜時が２００ｍｓ前後の範囲内にない場合には、計測された前記咀嚼筋電が、前記メニュー項目のハイライトに対して意図的に表出されていないと判定する、請求項２に記載のインタフェースシステム。
7. 前記判定部は、前記最大振幅があらかじめ定められた閾値である５０μＶよりも大きく、かつ、潜時が２００ｍｓ前後の範囲内にあるか否かに基づいて、計測された前記咀嚼筋電が、前記メニュー項目のハイライトに対して意図的に表出されたことを判定する、請求項２に記載のインタフェースシステム。
8. 前記判定部は、ユーザごとに最大振幅および潜時の各平均値および各分散値を取得し、取得した前記平均値および分散値に基づき、それぞれの平均値±標準偏差の範囲を検出対象範囲として、計測された前記咀嚼筋電が、前記メニュー項目のハイライトに対して意図的に表出されたことを判定する、請求項２に記載のインタフェースシステム。
9. 前記判定部は、取得した前記最大振幅±５０μＶ、かつ、取得した前記潜時±５０ｍｓの範囲を検出対象範囲として、計測された前記咀嚼筋電が、前記メニュー項目のハイライトに対して意図的に表出されたことを判定する、請求項２に記載のインタフェースシステム。
10. 前記メニュー提示部において、メニュー項目ハイライトの順序を降順またはランダムに切り替えて、前記メニュー提示部においてメニュー項目が降順またはランダムのどちらの順序で切り替えられていたかを取得し、前記判定部の検出対象範囲を切り替える切り替え部を備えた、請求項１に記載のインタフェースシステム。
11. 前記メニュー項目ハイライトの順序がランダムの場合には、前記切り替え部は、最大振幅および潜時の検出対象範囲を、それぞれ２００±７０μVおよび２８０±５０ｍｓに切り替える、請求項１０に記載のインタフェースシステム。
12. 前記メニュー提示部において最後にメニューが提示されてからの経過時間を保持し、一定時間以上経過していた場合には、前記判定部の検出対象範囲を拡大する方向に設定する範囲決定部を備えた、請求項１に記載のインタフェースシステム。
13. 前記範囲決定部で前記検出対象範囲を拡大した後に前記咀嚼筋電が検出された場合において、前記範囲決定部は、検出された咀嚼筋電の最大振幅および潜時値を新たに検出対象範囲の中心値に設定する、請求項１２に記載のインタフェースシステム。
14. 機器の操作メニューを視覚的に提示するステップと、
    計測されたユーザの咀嚼筋電を受け取るステップと、
    前記操作メニューを構成する各メニュー項目を、前記出力部を介して順次提示するステップと、
    前記咀嚼筋電の電位波形の最大振幅を求めるステップと、
    各メニュー項目がハイライトされた時刻を起点に、前記電位波形が前記最大振幅となる時間である潜時を求めるステップと、
    前記最大振幅があらかじめ定められた閾値よりも大きく、かつ、潜時が２００ｍｓ前後の範囲内にあるか否かを判定するステップと、
    前記判定するステップの判定結果に応じて、ハイライトされた前記メニュー項目に対応する処理を実行するステップと
    を包含する、インタフェースシステムにおいて実行される方法。
15. コンピュータによって実行されるコンピュータプログラムであって、
    前記コンピュータプログラムは、前記コンピュータに対し、
    機器の操作メニューを視覚的に提示するステップと、
    計測されたユーザの咀嚼筋電を受け取るステップと、
    前記操作メニューを構成する各メニュー項目を、前記出力部を介して順次提示するステップと、
    前記咀嚼筋電の電位波形の最大振幅を求めるステップと、
    各メニュー項目がハイライトされた時刻を起点に、前記電位波形が前記最大振幅となる時間である潜時を求めるステップと、
    前記最大振幅があらかじめ定められた閾値よりも大きく、かつ、潜時が２００ｍｓ前後の範囲内にあるか否かを判定するステップと、
    前記判定するステップの判定結果に応じて、ハイライトされた前記メニュー項目に対応する処理を実行するステップと
    を実行させる、コンピュータプログラム。

Images