JP5483152B2 - 眼電位を用いたマウスカーソル制御システム - Google Patents

Description

本発明は、人の眼球周辺から計測される眼電位を用いて視線方向を識別する視線入力インターフェースに関する。特に、本発明は、眼電位をマウスカーソルの制御に用いるシステムに関する。

現在、日本には２万１千人を超える筋委縮性側策硬化症の患者がいる。筋委縮性側策硬化症(ALS：Amyotrophic Lateral Screlosis ）とは、身体を動かすための神経系が侵され、手足・のど・舌の筋肉や呼吸に必要な筋肉がだんだんやせて力がなくなっていく病気である。しかし、動き以外では知覚神経や自律神経は侵されないので、五感（視覚、聴覚、嗅覚、味覚、触覚）記憶、知性を司る神経には障害は見られない。すなわち、患者の意志は病状末期でも明確であるため会話や手話を使って家族や友人、愛する人とコミュニケーションがとれない精神的なストレスは計り知れない。

その一方で、ＡＬＳ患者の特徴として眼球周辺の筋肉が侵されにくいことが挙げられる。そこで、比較的後期まで随意運動が残る眼球運動を用いた視線入力インターフェースの開発が多くの研究者により行われている。

眼球運動を用いた入力方式には、角膜反射法、サーチコイル法、オプティカルレバー法、眼電図法がある。このうち角膜反射法は、眼球運動に伴う角膜上での虚像の移動をビデオカメラで撮影する方法である。しかし、角膜反射法は外部光に弱く、装置も大規模になるという問題点を有している。一方、サーチコイル法とオプティカルレバー法は、高い精度で眼球運動を測定することができる。しかし、特殊なコンタクトレンズを用いる必要があり、患者側の負担が大きい。また、特殊なコンタクトレンズは、長時間の使用や扱いに注意が必要である。

ところで、眼電図法は、眼球運動を電位変動として測定する。このため、眼電図法は、他の手法に比して安価にシステムを構築することができる。また、眼窩周辺に装着する装置の取り付けも容易である。加えて、装着装置の取り付けによる患者に対する負担も少なく済み、長時間の使用にも適している。

特開２００５−１１０３７号公報 特開２００７−２５２８７９号公報

これらの特性より、発明者らは、眼電図法を用いた入力インターフェースの実用化を検討した。しかしながら、眼電図法の入力インターフェースへの適用には、電源ノイズ対策や眼球運動とは無関係に電位が変動する現象（いわゆるドリフト現象）への対策が必要であることが分かった。

そこで、発明者らは、眼球を挟んで上下に配置される一対の電極より検出される第１の眼電位信号と、眼球を挟んで左右に配置される一対の電極より検出される第２の眼電位信号とを増幅する増幅回路と、増幅後の第１及び第２の眼電位信号をそれぞれディジタル値に変換するアナログ／ディジタル変換回路と、アナログ／ディジタル変換回路から入力される第１及び第２の眼電位信号に対応する各ディジタル値のそれぞれから電源ノイズ成分を除去するノイズカット処理部と、ノイズカット処理部から入力される各ディジタル値のそれぞれと各ディジタル値に対応するキャリブレーション値との差分を算出し、算出された各差分と各眼電位信号に対応する変化方向別の閾値との比較結果に基づいて表示画面上における視線の移動方向を識別し、当該識別方向にマウスカーソルを設定量だけ移動制御するマウスカーソル制御信号生成部とを有するマウスカーソル制御システムを提案する。

なお、マウスカーソル制御信号生成部は、スクロール機能が特定の方向に割り当てられている場合において、当該割り当て方向に対する視線移動が識別されたとき、表示画面上のマウスカーソルをスクロール制御する機能を有することが望ましい。

また、マウスカーソル制御信号生成部は、クリック機能が特定の方向に割り当て当てられている場合において、当該割り当て方向に対する視線移動が識別されたとき、クリック操作をアプリケーションプログラムに出力する機能を有することが望ましい。

また、マウスカーソル制御信号生成部は、視線の移動方向の識別処理の基準値として使用されるキャリブレーション値を、マウスカーソルの表示位置に応じて随時更新する機能を有することが望ましい。

また、マウスカーソル制御信号生成部は、識別方向別に設定される各閾値の大きさを、マウスカーソルの表示位置に応じて随時更新する機能を有することが望ましい。

更に、眼球を挟んで上下に配置される一対の電極より検出される第１の眼電位信号と、眼球を挟んで左右に配置される一対の電極より検出される第２の眼電位信号とを増幅する増幅回路と、増幅回路で増幅された前記第１及び第２の眼電位信号をそれぞれディジタル値に変換するアナログ／ディジタル変換回路と、アナログ／ディジタル変換回路から入力される第１及び第２の眼電位信号に対応する各ディジタル値のそれぞれから電源ノイズ成分を除去するノイズカット処理部と、ノイズカット処理部から入力される各ディジタル値のそれぞれと、各ディジタル値に対応するキャリブレーション値との差分に基づいて表示画面上におけるマウスカーソルの表示座標を算出し、当該表示座標に基づいてマウスカーソルの表示座標を制御するマウスカーソル制御信号生成部とを有するマウスカーソル制御システムを提案する。

発明に係るマウスカーソル制御システムの場合、眼電位信号から電源ノイズの影響を除去でき、マウスカーソル制御部における眼球運動の検出精度を高めることができる。これにより、眼電位信号を用いたマウスカーソルの移動制御を実現することができる。この結果、眼電位信号の検出電極を装着したユーザによる眼球運動又は視線移動に基づいて、表示画面上におけるマウスカーソルの移動操作を実現することができる。また、当該マウスカーソルの制御技術を医療福祉分野に応用することにより、従来以上に豊かなコミュニケーションや知的活動を利用者に提供することができる。

眼球の回転方向と眼電位との関係を説明する図である。 マウスカーソル制御システムの全体構成例を示す図である。 電源ノイズ成分の除去動作イメージを説明する図である。 表示領域に対する座標の設定例を示す図である。 視線の４方向識別イメージを示す図である。 ４方向識別処理を実現するフローチャート例である。 視線の８方向識別イメージを利用した機能の割当例を示す図である。 ８方向識別処理を実現するフローチャート例である。 キャリブレーション値の更新処理を実現するフローチャート例である。 位置情報に応じたキャリブレーション値の更新条件の変化を説明する図である。 判定窓Ｂ２の更新条件を示す図である。 判定窓Ｂ１の更新条件を示す図である。 判定窓Ｂ３の更新条件を示す図である。 位置情報に応じた方向識別条件の変化を説明する図である。

以下、本発明に係るマウスカーソル制御システムの形態例を説明する。

（１）眼電図法の概要
図１を用い、眼電図法の概要を説明する。眼球には角膜側に正の電位が帯電し、網膜側に負の電位が帯電している。従って、眼球の回転運動に伴って眼球周辺の電位勾配も変化する。眼電図法では、眼球周辺の皮膚上に一対の電極を貼り付けることにより、眼球の回転に伴う電位変化を検出する。検出できる活動電位は、おおよそ０Ｖから約１ｍＶであり、その周波数は０から５０Ｈｚ程度である。

図１（ａ）は、眼球が垂直方向に回転する場合の電位変化を説明する図である。図中左端の絵は眼球が正面を向いている状態、図中中央の絵は眼球が上方に回転した状態、図中右端の絵は眼球が下方に回転した状態の電位変化を表している。図１（ａ）に示すように、眼球が上方に回転すると、眼電位はキャリブレーション値（眼球が正面を向いているときの眼電位）よりも上がることが分かる。反対に、眼球が下方に回転すると、眼電位はキャリブレーション値よりも下がることが分かる。なお、この眼電位の測定は、眼球の上下に位置するように一対の電極を貼り付けることより行う。

図１（ｂ）は、眼球が水平方向に回転する場合の電位変化を説明する図である。図中左端の絵は眼球が左方向に回転した状態、図中中央の絵は眼球が正面を向いている状態、図中右端の絵は眼球が右方向に回転した状態の電位変化を表している。図１（ｂ）に示すように、眼球が左方向に回転すると、眼電位はキャリブレーション値（眼球が正面を向いているときの眼電位）よりも下がることが分かる。反対に、眼球が右方向に回転すると、眼電位はキャリブレーション値よりも上がることが分かる。なお、この眼電位の測定は、眼球の左右に位置するように一対の電極を貼り付けることより行う。なお、貼り付け位置は、検出対象とする眼の眼尻と目元の位置でも良いし、検出対象とする眼の眼尻と他方の眼の眼尻の位置でも良い。

因みに、図１（ａ）及び（ｂ）は眼電位のおおよその変化方向を説明するためのものであり、測定条件等によってキャリブレーション値は異なることに注意する。また、図１（ａ）及び（ｂ）のそれぞれでは、おおよその変化方向を表現するため眼電位を直流で表現しているが、前述したように実際の眼電位の変化は０Ｈｚから５０Ｈｚの交流波形として検出される。

以下では、このような電位変化が認められる眼電位を入力信号とするマウスカーソル制御システムの形態例を説明する。

（２）基本システムの構成
図２に、形態例に係るマウスカーソル制御システム１００の全体構成例を示す。マウスカーソル制御システム１００は、左右一対の電極１０１と、上下一対の電極１０２と、手首用の電極１０３と、増幅回路１１１と、Ａ／Ｄ変換回路１１２と、マウスカーソル制御部１１３と、表示装置１１４とで構成される。

図２の場合、左右一対の電極１０１は、左右の目尻付近に貼り付けられる。この形態例の場合、電極１０１には、Neuroline700（Ａｇ−ＡｇＣｌ電極）を使用する。勿論、同様の性能を有していれば他の電極を用いることができる。この左右一対の電極１０１に発生する電位の変化を、この明細書では眼電位信号１（ＣＨ１）と呼ぶ。

上下一対の電極１０２は、いずれか一方の眼の上下付近に貼り付けられる。図２は、右目の上下に貼り付けた例を示している。この電極１０２にも、Neuroline700（Ａｇ−ＡｇＣｌ電極）を使用する。この上下一対の電極１０２に発生する電位の変化を、この明細書では眼電位信号２（ＣＨ２）と呼ぶ。

電極１０３は、左右いずれのかの手首に貼り付けられる。図２の場合には右手に貼り付けている。この電極１０３は接地電位ＧＮＤ（図１の０Ｖ）を設定するために使用する。なお、電極１０３の貼り付け位置は任意であり、例えば額の位置に貼り付けても構わない。

増幅回路１１１は、眼電位信号１と眼電位信号２を増幅する回路である。この形態例の場合、増幅回路１１１には計測アンプＩＮＡ１１６を用い、増幅率は１０００倍に設定する。また、増幅回路１１１には５Ｖの電圧源を使用する。

Ａ／Ｄ変換回路１１２は、０から５０Ｈｚで現れる眼電位信号１及び２のそれぞれを個別にサンプリングし、それぞれに対応するディジタルデータに変換する回路である。この形態例の場合、サンプリング周波数を９６０Ｈｚに設定する。また、この形態例の場合、Ａ／Ｄ変換回路１１２には、ＰＣＩ−３５２３Ａを使用し、その分解能は１２ビット、入力レンジは±１０Ｖに設定した。

マウスカーソル制御部１１３は、Ａ／Ｄ変換回路１１２から入力されるディジタルデータからマウスカーソル制御信号を生成するハードウェア又はソフトウェアである。この形態例の場合、マウスカーソル制御部１１３は、コンピュータ（算術論理ユニット、制御回路、記憶装置、入出力装置）上で実行されるプログラム機能の一つとして実現される。マウスカーソル制御部１１３によるマウスカーソル座標の生成動作の具体例は、後述する手法１に〜手法３において説明する。

ここでは、全ての形態例に共通する機能として、マウスカーソル制御部１１３が採用する電源ノイズのノイズカット機能について説明する。この機能を搭載するのは、Ａ／Ｄ変換回路１１２からマウスカーソル制御部１１３に入力されるディジタルデータに電源ノイズが重畳するのを避け得ないためである。図３（ａ）に、電源ノイズ成分（太線で示す）と眼電位信号成分（細線で示す）の重畳イメージを示す。

このため、Ａ／Ｄ変換回路１１２から入力されるディジタルデータをそのままマウスカーソルの移動制御に用いると、電源ノイズの影響により眼球運動の識別精度が低下する問題が予想される。そこで、発明者らは、マウスカーソル制御部１１３における前処理として、電源ノイズ成分をディジタル的に除去するカットフィルタ機能を実行する。例えば電圧源の周波数が６０Ｈｚの場合、ディジタルデータを４８０Ｈｚでサンプリングし、サンプリング値を平均化する処理を実行する。従って、６０Ｈｚのノイズ成分の場合、１周期について８つのサンプルデータを取得できる。この形態例の場合は、サンプリング数を１６とすることにより、２周期分のノイズ成分を平均化する。図３（ｂ）に、平均化処理後の電源ノイズ成分と眼電位信号成分の重畳イメージを示す。図３（ｂ）に示すように、平均化処理を実行しても眼電位信号成分には大きな変化は生じないのに対し、電源ノイズ成分は大幅に低減することができる。従って、マウスカーソル制御部１１３は、その前処理として電源ノイズのカットフィルタを実行する。

表示装置１１４は、マウスカーソル制御部１１３において生成されたマウスカーソル座標にマウスカーソル１１５を、アプリケーション画像に重ねて表示する表示デバイスである。この表示装置１１４は、例えば液晶ディスプレイ装置、プラズマディスプレイ装置の他、プロジェクタ装置でも良い。

（３）マウスカーソル制御部の処理手法例
以下では、マウスカーソル制御部１１３に搭載して好適な制御手法例を順番に説明する。
（３−１）手法１
ここでは、マウスカーソル制御部１１３が、眼電位信号（ディジタル信号）からポインティング座標を直接求める場合について説明する。

なお、後述する処理動作の前提として、マウスカーソル制御部１１３は、眼電位信号（ディジタル信号）に対して電源ノイズの除去処理を実行しているものとする。

また、この手法１の場合、表示装置１１４の表示領域面に図４に示すような座標が設定されている場合を考える。すなわち、表示領域の左上隅を原点とし、水平方向（Ｘ方向）の最大座標を１０２４ピクセル、垂直方向（Ｙ座標）の最大座標を７６８ピクセルとする場合について考える。なお、この場合、表示領域の中央の座標は（Ｘ座標，Ｙ座標）＝（５１２，３８６）で与えられる。

この場合、マウスカーソル制御部１１３は、式１及び式２に基づいて、眼電位信号１及び２に基づいてポインティング座標（ｘpos，ｙpos）を算出する。

ｘpos ＝５１２＋｛５１２／（ｘc −ｘm）｝ｘ（ｘc−ｘin） （式１）
ｙpos ＝３８４＋｛３８４／（ｙc −ｙm）｝ｘ（ｙc−ｙin） （式２）

なお、式１及び２におけるｘc 及びｙc は、それぞれ表示領域の中心部分に視線を合わせた場合に検出される眼電位信号値（キャリブレーション値）である。すなわち、ｘc は、表示領域の中心部分に視線を合わせた場合に一対の電極１０１について検出される眼電位信号の値である。また、ｙc は、表示領域の中心部分に視線を合わせた場合に一対の電極１０２から検出される眼電位信号の値である。

また、式１及び２におけるｘm とｙm は、それぞれ眼電位信号が採り得る最大値で与えられるものとする。すなわち、ｘm は、視線を表示領域の左端又は右端に合わせた場合に一対の電極１０１について検出される眼電位信号の値である。また、ｙm は、視線を表示領域の上端又は下端に合わせた場合に一対の電極１０２から検出される眼電位信号の値である。

また、式１及び２におけるｘinとｙinは、それぞれ眼電位信号の入力値である。すなわち、ｘinは一対の電極１０１について検出される眼電位信号の値であり、ｙinは一対の電極１０１について検出される眼電位信号の値である。ただし、ｘin＞ｘc かつｙin＞ｙc を満たすものとする。従って、式１及び２は、図４に示す破線で区切られた４つの領域のうち第４象限に対応する領域部分の座標値の算出にのみ適用可能である。

また、式１及び２に現れる５１２と３８４の数値は、それぞれ表示領域の中心座標を与えるｘ座標値とｙ座標値である。

なお、式１及び２におけるｘc 、ｙc 、ｘm とｙm は、眼電位信号をポインティング座標の入力に使用する前に実行されるキャリブレーション動作時に、マウスカーソル制御部１１３に取り込まれる。これらの値は、不図示の記憶部にキャリブレーション値として格納される。このうち、ｘc 、ｙcは、眼球の回転方向の基準点を与えるキャリブレーション値を与え、他の手法でも使用される。一方、ｘm とｙm は、手法１に固有のキャリブレーション値である。

これらのキャリブレーション値は、例えば表示領域中央に視線を合わせるための第１のターゲットと、表示領域の右端に視線を合わせるための第２のターゲットと、表示領域の下端に視線を合わせるための第３のターゲットを表示領域上に順番に表示することにより取り込むことができる。また、これらのキャリブレーション値は、例えば表示領域中央に視線を合わせるための第１のターゲットと、表示領域の右下端に視線を合わせるための第２のターゲットとを表示領域上に順番に表示することにより取得することができる。

これらのターゲットの表示は、マウスカーソル制御部１１３に実装されたキャリブレーションプログラムによって実現される。なお、キャリブレーション機能の実行は、電極の装着者や補助者による操作入力により実行しても良いし、プログラム的に定期的に実行しても良い。

この後、マウスカーソル制御部１１３は、算出されたポインティング座標をマウスカーソル制御信号の生成プログラムに与え、表示画面上のマウスカーソル１１５の表示位置を移動制御する。なお、マウスカーソル制御信号の生成プログラム自体は既知であるため詳細な説明は省略する。

以上のように、この手法１を用いれば、電源ノイズの影響を受けることなく、眼球の回転方向（視線位置）を正確に検出できる。また、手法１の場合には、実時間でマウスカーソル１１５の表示位置（座標値）を計算することができるため、応答性の高いマウスカーソル制御システムを実現することができる。

（３−２）手法２
ここでは、眼電位信号値に基づいて眼球の回転方向（視線の移動方向）を識別し、マウスカーソルの表示位置を、画面中央に対して上下左右の４方向に移動制御する手法について説明する。図５に、マウスカーソル１１５の移動制御イメージを示す。

この形態例の場合、マウスカーソル制御部１１３は、キャリブレーション値と眼電位信号１及び２の各信号値との差分に基づいて眼球の回転方向（視線の移動方向）を検出し、その検出方向にマウスカーソル１１５（図１）を設定量だけ移動させる。なお、この形態例の場合には、視線の移動方向を４方向についてのみ識別しているが、検出可能な限り識別可能な方向の数はこれに限らない。

図６に、マウスカーソル制御部１１３に搭載する制御機能のフローチャートを示す。まず、マウスカーソル制御部１１３は、眼電位信号１（ＣＨ１）及び眼電位信号２（ＣＨ２）のそれぞれを対象として平均化処理を実行する（ステップ６０１）。この処理により各眼電位信号に含まれる電源ノイズ成分を除去する。

次に、マウスカーソル制御部１１３は、表示画面の中心を視認する場合に検出される眼電位信号１（ＣＨ１）及び眼電位信号２（ＣＨ２）の信号値（キャリブレーション値）に変化がないか否かを判定する（ステップ６０２）。この判定は、現在の入力値である眼電位信号１（ＣＨ１）及び眼電位信号２（ＣＨ２）のそれぞれと対応するキャリブレーション値との差分が閾値より小さい状態が一定時間、例えば２秒以上継続するかの判定処理により行う。

差分値が閾値より小さい状態が２秒以上継続する場合（図６の肯定結果の場合）、マウスカーソル制御部１１３は、眼電位信号１（ＣＨ１）及び眼電位信号２（ＣＨ２）の各値でキャリブレーション値を更新する（ステップ６０３）。

これに対し、差分値が閾値より小さい状態が２秒以上継続しない場合（図６の否定結果の場合）、マウスカーソル制御部１１３は、方向識別処理を実行する（ステップ６０４）。この場合、マウスカーソル制御部１１３は、図１（ａ）及び（ｂ）で説明したように、眼電位信号１（ＣＨ１）及び眼電位信号２（ＣＨ２）のそれぞれについて眼電位の変化方向を検出する。そして、検出された方向に設定量（例えば２０ピクセル）だけマウスカーソル１１５を移動させることを指示するマウスカーソル制御信号を発生する。移動方向と移動量が与えられた状態でのマウスカーソル制御信号の発生方法は既知であるので詳細な説明は省略する。

なお、この形態例の場合、キャリブレーション値の更新処理が実行された後も、この方向識別処理を実行する。勿論、キャリブレーション値が更新された場合は、視線が表示画面の中央に位置していることを意味するので、マウスカーソル１１５の移動を命じるマウスカーソル制御信号は生成されない。

以上の制御の後、マウスカーソル制御部１１３は、再びステップ６０１に戻り、一連の処理動作を繰り返し実行する。

以上のように、この手法２を用いれば、検出用の電極の装着者は、一定時間視線を一定方向に向け続けることにより、表示画面上におけるマウスカーソル１１５を一定方向に移動させ続けることができる。勿論、移動方向の検出に使用される眼電位信号からは電源ノイズの影響が取り除かれているため、マウスカーソル１１５の移動に装着者の意図を高い精度で反映させることができる。また、この手法２の場合には、閾値を用いた移動の判定であるため、視線の移動量が閾値より小さければ、表示画面上におけるマウスカーソルの表示位置も静止させることができる。

（３−３）手法３
ここでは、手法２の処理機能に加え、マウスカーソル１１５の左右方向へのスクロール制御機能とクリック入力機能を実現できる手法について説明する。なお、この形態例の場合、マウスカーソル制御部１１３は、眼電位信号値に基づいて眼球の回転方向（視線の移動方向）を上、下、左、右、左上、左下、右上、右下の８方向について識別できるものとする。この手法３の場合、マウスカーソル制御部１１３は、図７に示すように、右上方向に左右スクロール機能を割り当て、左下方向にクリック入力機能を割り当てるものとする。

図８に、マウスカーソル制御部１１３に搭載する制御機能のフローチャートを示す。ステップ８０１からステップ８０４までの処理は、手法２におけるステップ６０１からステップ６０４までの処理と同じである。すなわち、マウスカーソル制御部１１３は、キャリブレーション値と眼電位信号１及び２の各信号値との差分に基づいて眼球の回転方向（視線の移動方向）を検出する。ただし、この形態例の場合、マウスカーソル制御部１１３は、検出方向が上、下、右、左の４方向の場合にのみ検出方向にマウスカーソル１１５（図１）を設定量だけ移動させるマウスカーソル制御信号を生成する（ステップ８０４）。

ステップ８０４における検出方向が左上、左下、右上、右下のいずれかであった場合、マウスカーソル制御部１１３は、手法２で説明したような移動制御は実行せず、ステップ８０５の処理に移る。

ステップ８０５の処理において、マウスカーソル制御部１１３は、検出された方向が右上であるか否かを判定する。肯定結果が得られた場合、マウスカーソル制御部１１３は、左右スクロールへの切り替え機能が選択されたと判定する（ステップ８０６）。この状態で、視線が右方向に移動されたことが検出された場合、マウスカーソル制御部１１３は、マウスカーソル１１５を画面上で右方向にスクロールさせる処理を実行する。一方、視線が左方向に移動されたことが検出された場合、マウスカーソル制御部１１３は、マウスカーソル１１５を画面上で左方向にスクロールさせる処理を実行する。

なお、マウスカーソル制御部１１３は、単位量だけマウスカーソルをスクロールすると、ステップ８０７に移動し、視線が上又は下方向に移動されたか否か判定する。この判定処理において否定結果が得られた場合、マウスカーソル制御部１１３は、ステップ８０６に戻り、視線の入力方向にマウスカーソル１１５をスクロールさせる処理を実行する。一方、ステップ８０７の判定処理において肯定結果が得られた場合、マウスカーソル制御部１１３は、スクロール機能が解除されたと判定し、ステップ８０４の方向識別処理に戻る。

ステップ８０４に戻ったマウスカーソル制御部１１３は、視線方向の識別処理を再び実行し、上下左右の４方向が検出された場合には、各方向に対する所定の移動量、例えば２０ピクセル分だけマウスカーソル１１５を移動制御する動作を実行する。

ステップ８０４における検出方向が左上、左下、右上、右下のいずれかであった場合、マウスカーソル制御部１１３は、ステップ８０５の判定処理を再び実行する。ここでは、否定結果が得られたものとする。その場合、マウスカーソル制御部１１３は、検出された方向が左下であるか否かを判定する（ステップ８０８）。肯定結果が得られた場合、マウスカーソル制御部１１３は、クリック機能が選択されたと判定し、クリック信号を発生する（ステップ８０９）。この後、マウスカーソル制御部１１３はステップ８１０に移動し、視線が上又は下方向に移動されたか否か判定する。この判定処理において否定結果が得られた場合、マウスカーソル制御部１１３は、ステップ８０９に戻り、クリック信号を再度発生する。一方、ステップ８１０の判定処理において肯定結果が得られた場合、マウスカーソル制御部１１３は、スクロール機能が解除されたと判定し、ステップ８０４の方向識別処理に戻る。なお、図８に示したステップ８１０の処理を省略し、クリック信号の発生後（ステップ８０９）は直接、ステップ８０４の処理に戻っても良い。

ステップ８０４に戻ったマウスカーソル制御部１１３は、視線方向の識別処理を再び実行し、上下左右の４方向が検出された場合には、各方向に対する所定の移動量、例えば２０ピクセル分だけマウスカーソル１１５を移動制御する動作を実行する。

なお、ステップ８０４において、図７における左上方向と右下方向とが検出された場合、マウスカーソル制御部１１３は、ステップ８０５とステップ８０８のそれぞれにおいて否定結果を得、再びステップ８０１に戻り、前述した一連の処理動作を繰り返し実行する。

以上のように、この手法３を用いれば、手法２の効果に加え、マウスカーソル１１５の水平方向への高速スクロールを実現することができる。これにより、操作時間の短縮を実現できる。また、この手法３の場合には、装着者によるクリック入力が可能になる。クリック入力が可能になることにより、装着者が操作可能なアプリケーションが格段に拡大し、装着者の意図や意思をより多く他者に対して伝えることができる。

なお、この形態例の場合、左上方向と右下方向には機能を割り当てていないが、勿論、これらの方向にも機能を割り当てることができる。例えば左上方向に左スクロール機能を割り当て、右上方向に右スクロール機能を割り当てることもできる。また例えば右下方向にダブルクリック機能を割り当てることもできる。

（３−４）手法４
ここでは、手法２及び３の改良機能例について説明する。具体的には、装着者がマウスカーソル１１５を目視した状態のまま、マウスカーソル１１５の移動方向を指示入力できるマウスカーソル制御部１１３の機能について説明する。この機能の実現のため、手法４では、手法２及び３の処理機能に追加して、キャリブレーション値の随時更新機能を搭載する。以下では、このキャリブレーション値の随時更新機能について説明する。

図９に、キャリブレーション値の随時更新機能を実現するフローチャート例を示す。キャリブレーション機能が有効化されている場合、マウスカーソル制御部１１３は、眼電位信号１及び２について更新判定処理（窓Ａ）を実行する（ステップ９０１）。この更新判定処理（窓Ａ）では、キャリブレーション値と眼電位信号値との差分値を入力として、入力が方向識別状態か否かを判定する。なお、更新判定処理（窓Ａ）の判定条件は固定であり、後段の更新判定処理（窓Ｂ）よりも判定条件が緩く設定されている。具体的には、判定窓Ａの大きさが判定窓Ｂよりも大きく設定されている。なお、差分値の許容範囲を与える判定窓Ａの上下方向の大きさと左右方向の大きさは別々に定められている。

更新判定処理（窓Ａ）において差分値が判定窓Ａに含まれると判定された場合（すなわち、方向識別状態でないと判定された場合）、マウスカーソル制御部１１３は、２つ目の更新判定処理（窓Ｂ）に移る（ステップ９０２）。この更新判定処理（窓Ｂ）の場合も、キャリブレーション値と眼電位信号値との差分値が入力値として与えられる。更新判定処理（窓Ｂ）では、マウスカーソルの位置と視線方向との整合性が確認される。更新判定処理（窓Ｂ）は１つ目の更新判定処理（窓Ａ）とは異なり、判定条件がマウスカーソル１１５の表示位置に応じて可変的に設定される。

図１０に、更新判定処理（窓Ｂ）において使用する判定条件のイメージを示す。図中に破線で囲んだ範囲が判定窓Ｂ１、Ｂ２及びＢ３である。これら判定窓Ｂ１、Ｂ２及びＢ３の拡大図を図１１、図１２及び図１３に示す。判定窓Ｂ１、Ｂ２及びＢ３は、直前時点におけるマウスカーソル１１５の表示位置を中心に設定される。図１０〜図１３に示すように、マウスカーソル１１５の表示位置により判定窓の大きさや方向別の許容量が変化していることが分かる。

例えば画面中央に対応する判定窓Ｂ１では、中心位置に対して左方向への許容量と右方向への許容量とが均等に設定されている。また、上方向への許容量と下方向への許容量とが均等に設定されている。

また、画面左下に対応する判定窓Ｂ２では、マウスカーソル１１５の移動量が限られる表示画面外側方向への許容量が小さく、反対に画面中央方向への許容量が大きく設定されている。

同様に、画面右上に対応する判定窓Ｂ３も、マウスカーソル１１５の移動量が限られる表示画面外側方向への許容量が小さく、反対に画面中央方向への許容量が大きく設定されている。

マウスカーソル制御部１１３は、水平方向又は上下方向に対する差分値が判定窓Ｂに含まれる場合（すなわち、マウスカーソル１１５の表示位置と視線方向との一致が確認された場合）、肯定結果を得て３つ目の更新判定処理（窓Ｃ）に移る（ステップ９０４）。この更新判定処理（窓Ｃ）では、眼電位信号値が変化していないか否かが判定される。このため、更新判定処理（窓Ｃ）では、眼電位信号値の変化量を入力値として使用する。

この更新判定処理（窓Ｃ）の判定条件も更新判定処理（窓Ｂ）と同様、判定条件がマウスカーソル１１５の表示位置に応じて可変的に設定される。ただし、眼電位信号値の変化の有無を判定対象とするため、判定窓Ｃの大きさが同位置の判定窓Ｂよりも小さく設定されている。この例の場合、判定窓Ｃの大きさは、判定窓Ｂの３分の１の面積に設定する。

この判定窓Ｃを用いた判定でも肯定結果が得られた場合、マウスカーソル制御部１１３は、キャリブレーション値の更新処理を継続する。なお、更新判定処理（窓Ａ）、（Ｂ）及び（Ｃ）のいずれかにおいて否定結果が得られるとキャリブレーション値の更新処理は中止される。すなわち、更新判定処理（窓Ａ）で入力が方向識別状態であると判定された場合、更新判定処理（窓Ｂ）でカーソル表示位置と視線方向とが一致しないと判定された場合、更新判定処理（窓Ｃ）で眼電位信号値の閾値以上の変化が検出された場合、キャリブレーション値の更新処理は中止される。

さて、更新判定処理（窓Ｃ）において肯定結果が得られた場合、マウスカーソル制御部１１３は、この判定処理が得られたのが５回目か否かを判定する（ステップ９０４）。４回目以下と判定された場合、マウスカーソル制御部１１３は、２回目の更新判定処理（窓Ｂ）と２回目の更新判定処理（窓Ｃ）を実行する。

そして、この２回目の更新判定処理（窓Ｂ）と２回目の更新判定処理（窓Ｃ）のループ処理が５回に達した時点で、マウスカーソル制御部１１３は、眼電位の現在値にキャリブレーション値を更新する（ステップ９０５）。勿論、ここでの更新は、眼電位信号１と眼電位信号２の両方について実行される。

以上の処理により、キャリブレーション値がマウスカーソルの移動に伴って更新される。このことは、表示画面内でのマウスカーソル１１５の表示位置に応じてキャリブレーション値を変更できることを意味する。すなわち、視線の方向を考慮しながら移動中心を与えるキャリブレーション値を更新することができる。この機能により、マウスカーソル１１５を表示画面上に目視した状態のまま眼電位によるマウスカーソル１１５の移動制御が可能になる。

ところで、このようにキャリブレーション値を更新した状態で、視線の移動方向を識別する場合には工夫が必要である。例えば表示画面上の位置とは関係無く同じ大きさの閾値を用いて視線の移動方向を識別した場合、上手く識別できない場合が認められた。その理由として、マウスカーソル１１５を見ている目の位置（目線）から眼球を動かせる範囲が変化することが考えられる。

そこで、発明者らは、図１４に示すように、方向識別用の閾値についてもマウスカーソル１１５の位置情報に応じて変更する機能を追加する。具体的には、表示画面の外周部付近では、マウスカーソル１１５の移動余白の小さい方向への眼電位の変化は小さくても視線の移動として識別するのに対し、移動余白の大きい方向への眼電位の変化は相対的に大きく変化しないと視線の移動として識別しないようにする。

これらの処理機能をマウスカーソル制御部１１３に実装することにより、視線の変化方向を適切に識別することができる。その結果、電極１０１〜１０３の装着者は、マウスカーソル１１５を見ながらその移動方向を制御することができる。

また、この眼電位の中心位置をキャリブレーションする機能が実装されることにより、眼電位が無意識に変動する現象（ドリフト現象）にも実時間で対応することができる。

（４）他の形態例
前述の形態例の説明では、６０Ｈｚの電源ノイズが眼電位に重畳する場合について説明した。しかし、５０Ｈｚの電源ノイズが重畳する場合には、この５０Ｈｚの電源ノイズ成分だけを除去できる平均化処理を実行すれば良い。

前述した手法１の場合には、表示領域の第４象限に対応するポインティング座標（ｘpos，ｙpos）のみを算出により求めたが、計算式や座標の与え方を工夫すれば他の象限についてもポインティング座標を算出することができる。

１００…マウスカーソル制御システム
１０１…電極
１０２…電極
１０３…電極
１１１…増幅回路
１１２…Ａ／Ｄ変換回路
１１３…マウスカーソル制御部
１１４…表示装置
１１５…マウスカーソル

Claims (7)

1. 眼球を挟んで上下に配置される一対の電極より検出される第１の眼電位信号と、眼球を挟んで左右に配置される一対の電極より検出される第２の眼電位信号とを増幅する増幅回路と、
   前記増幅回路で増幅された前記第１及び第２の眼電位信号をそれぞれディジタル値に変換するアナログ／ディジタル変換回路と、
   前記アナログ／ディジタル変換回路から入力される前記第１及び第２の眼電位信号に対応する各ディジタル値のそれぞれから電源ノイズ成分を除去するノイズカット処理部と、
   前記ノイズカット処理部から入力される前記各ディジタル値のそれぞれと各ディジタル値に対応するキャリブレーション値との差分を算出し、算出された各差分と各眼電位信号に対応する変化方向別の閾値との比較結果に基づいて表示画面上における視線の移動方向を識別し、当該識別方向にマウスカーソルを設定量だけ移動制御するマウスカーソル制御信号生成部と
   を有し、
   前記マウスカーソル制御信号生成部は、
   前記第１及び第２の眼電位信号に対応する各ディジタル値が、表示画面上に表示された任意の位置のマウスカーソルを用いたキャリブレーションの実行に基づく入力であるか否かを逐次判定し、キャリブレーションの実行に基づく入力であると判定された場合には、前記第１及び第２の眼電位信号に対応する各ディジタル値の現在値で前記キャリブレーション値を更新し、キャリブレーションの実行に基づく入力でないと判定された場合には、キャリブレーション値を変更しないものであり、
   前記マウスカーソル制御信号生成部は、
   キャリブレーションの実行に基づく入力であるか否かの前記判定として、
   現在の前記キャリブレーション値と前記第１及び第２の眼電位信号に対応する各ディジタル値との各差分が第１の判定範囲に含まれるか否か判定する第１の処理と、
   前記第１の処理において前記各差分がいずれも前記第１の判定範囲に含まれると判定される場合、前記各差分がマウスカーソルの表示位置に応じて設定される前記第１の判定範囲より制限された第２の判定範囲に含まれるか否か判定する第２の処理と、
   前記第２の処理において前記各差分がいずれも前記第２の判定範囲に含まれると判定される場合、前記第１及び第２の眼電位信号に対応する各ディジタル値の変化量がマウスカーソルの表示位置に応じて設定される第３の判定範囲に含まれるか否か判定する第３の処理と
   を一組とする更新判定処理を所定回実行し、
   前記更新判定処理の全ての判定条件が前記所定回の全てにおいて満たされた場合、前記第１及び第２の眼電位信号に対応する各ディジタル値は前記キャリブレーションの実行に基づく入力であると判定する
   ことを特徴とするマウスカーソル制御システム。
2. 前記マウスカーソル制御信号生成部は、
   スクロール機能が特定の方向に割り当て当てられている場合において、当該割り当て方向に対する視線移動が識別されたとき、表示画面上のマウスカーソルをスクロール制御する請求項１に記載のマウスカーソル制御システム。
3. 前記マウスカーソル制御信号生成部は、
   クリック機能が特定の方向に割り当て当てられている場合において、当該割り当て方向に対する視線移動が識別されたとき、クリック操作をアプリケーションプログラムに出力する請求項１に記載のマウスカーソル制御システム。
4. 前記マウスカーソル制御信号生成部は、
   識別方向別に設定される各閾値の大きさを、マウスカーソルの表示位置に応じて随時更新する請求項１に記載のマウスカーソル制御システム。
5. 眼球を挟んで上下に配置される一対の電極より検出される第１の眼電位信号と、眼球を挟んで左右に配置される一対の電極より検出される第２の眼電位信号とを増幅する増幅回路と、
   前記増幅回路で増幅された前記第１及び第２の眼電位信号をそれぞれディジタル値に変換するアナログ／ディジタル変換回路と、
   前記アナログ／ディジタル変換回路から入力される前記第１及び第２の眼電位信号に対応する各ディジタル値のそれぞれから電源ノイズ成分を除去するノイズカット処理部と、
   前記ノイズカット処理部から入力される前記各ディジタル値のそれぞれと、各ディジタル値に対応するキャリブレーション値との差分に基づいて表示画面上におけるマウスカーソルの表示座標を算出し、当該表示座標に基づいてマウスカーソルの表示座標を制御するマウスカーソル制御信号生成部と
   を有し、
   前記マウスカーソル制御信号生成部は、
   前記第１及び第２の眼電位信号に対応する各ディジタル値が、表示画面上に表示された任意の位置のマウスカーソルを用いたキャリブレーションの実行に基づく入力であるか否かを逐次判定し、キャリブレーションの実行に基づく入力であると判定された場合には、前記第１及び第２の眼電位信号に対応する各ディジタル値の現在値で前記キャリブレーション値を更新し、キャリブレーションの実行に基づく入力でないと判定された場合には、キャリブレーション値を変更しないものであり、
   前記マウスカーソル制御信号生成部は、
   キャリブレーションの実行に基づく入力であるか否かの前記判定として、
   現在の前記キャリブレーション値と前記第１及び第２の眼電位信号に対応する各ディジタル値との各差分が第１の判定範囲に含まれるか否か判定する第１の処理と、
   前記第１の処理において前記各差分がいずれも前記第１の判定範囲に含まれると判定される場合、前記各差分がマウスカーソルの表示位置に応じて設定される前記第１の判定範囲より制限された第２の判定範囲に含まれるか否か判定する第２の処理と、
   前記第２の処理において前記各差分がいずれも前記第２の判定範囲に含まれると判定される場合、前記第１及び第２の眼電位信号に対応する各ディジタル値の変化量がマウスカーソルの表示位置に応じて設定される第３の判定範囲に含まれるか否か判定する第３の処理と
   を一組とする更新判定処理を所定回実行し、
   前記更新判定処理の全ての判定条件が前記所定回の全てにおいて満たされた場合、前記第１及び第２の眼電位信号に対応する各ディジタル値は前記キャリブレーションの実行に基づく入力であると判定する
   ことを特徴とするマウスカーソル制御システム。
6. 眼球を挟んで上下に配置される一対の電極より検出される第１の眼電位信号と、眼球を挟んで左右に配置される一対の電極より検出される第２の眼電位信号に対応するディジタル値のそれぞれから電源ノイズ成分を除去する処理と、
   前記処理後の各ディジタル値のそれぞれと各ディジタル値に対応するキャリブレーション値との差分を算出する処理と、
   算出された各差分と各眼電位信号に対応する変化方向別の閾値との比較結果に基づいて表示画面上における視線の移動方向を識別する処理と、
   当該識別方向にマウスカーソルを設定量だけ移動制御する処理と、
   前記第１及び第２の眼電位信号に対応する各ディジタル値が、表示画面上に表示された任意の位置のマウスカーソルを用いたキャリブレーションの実行に基づく入力であるか否かを逐次判定し、キャリブレーションの実行に基づく入力であると判定された場合には、前記第１及び第２の眼電位信号に対応する各ディジタル値の現在値で前記キャリブレーション値を更新し、キャリブレーションの実行に基づく入力でないと判定された場合には、キャリブレーション値を変更しない処理と
   をコンピュータに実行させ、
   さらに、キャリブレーションの実行に基づく入力であるか否かの前記判定として、
   現在の前記キャリブレーション値と前記第１及び第２の眼電位信号に対応する各ディジタル値との各差分が第１の判定範囲に含まれるか否か判定する第１の処理と、
   前記第１の処理において前記各差分がいずれも前記第１の判定範囲に含まれると判定される場合、前記各差分がマウスカーソルの表示位置に応じて設定される前記第１の判定範囲より制限された第２の判定範囲に含まれるか否か判定する第２の処理と、
   前記第２の処理において前記各差分がいずれも前記第２の判定範囲に含まれると判定される場合、前記第１及び第２の眼電位信号に対応する各ディジタル値の変化量がマウスカーソルの表示位置に応じて設定される第３の判定範囲に含まれるか否か判定する第３の処理と
   を一組とする更新判定処理を所定回実行させ、
   前記更新判定処理の全ての判定条件が前記所定回の全てにおいて満たされた場合、前記第１及び第２の眼電位信号に対応する各ディジタル値は前記キャリブレーションの実行に基づく入力であると判定する処理と
   をコンピュータに実行させるプログラム。
7. 眼球を挟んで上下に配置される一対の電極より検出される第１の眼電位信号と、眼球を挟んで左右に配置される一対の電極より検出される第２の眼電位信号に対応するディジタル値のそれぞれから電源ノイズ成分を除去する処理と、
   前記処理後の各ディジタル値のそれぞれと、各ディジタル値に対応するキャリブレーション値との差分を算出する処理と、
   算出された各差分に基づいて表示画面上におけるマウスカーソルの表示座標を算出する処理と、
   当該表示座標に基づいてマウスカーソルの表示座標を制御する処理と、
   前記第１及び第２の眼電位信号に対応する各ディジタル値が、表示画面上に表示された任意の位置のマウスカーソルを用いたキャリブレーションの実行に基づく入力であるか否かを逐次判定し、キャリブレーションの実行に基づく入力であると判定された場合には、前記第１及び第２の眼電位信号に対応する各ディジタル値の現在値で前記キャリブレーション値を更新し、キャリブレーションの実行に基づく入力でないと判定された場合には、キャリブレーション値を変更しない処理と
   をコンピュータに実行させ、
   さらに、キャリブレーションの実行に基づく入力であるか否かの前記判定として、
   現在の前記キャリブレーション値と前記第１及び第２の眼電位信号に対応する各ディジタル値との各差分が第１の判定範囲に含まれるか否か判定する第１の処理と、
   前記第１の処理において前記各差分がいずれも前記第１の判定範囲に含まれると判定される場合、前記各差分がマウスカーソルの表示位置に応じて設定される前記第１の判定範囲より制限された第２の判定範囲に含まれるか否か判定する第２の処理と、
   前記第２の処理において前記各差分がいずれも前記第２の判定範囲に含まれると判定される場合、前記第１及び第２の眼電位信号に対応する各ディジタル値の変化量がマウスカーソルの表示位置に応じて設定される第３の判定範囲に含まれるか否か判定する第３の処理と
   を一組とする更新判定処理を所定回実行させ、
   前記更新判定処理の全ての判定条件が前記所定回の全てにおいて満たされた場合、前記第１及び第２の眼電位信号に対応する各ディジタル値は前記キャリブレーションの実行に基づく入力であると判定する処理と
   をコンピュータに実行させるプログラム。

Images