JPH0473042A - 視線トレーサ - Google Patents

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】 ［産業上の利用分野］ この発明は、皮膚表面電極から検出された眼筋筋電信号
を高速フーリエ変換して周波数解析したパターンを神経
回路網によって認識して、視線の方向を検出して視線方
向を出力する視線トレーサに関するものである。

［従来の技術１ 従来、人の視線方向を検出する方法としては、第１に、
眼球に近接して装着されたＬＥＤから放射される近赤外
光を眼球に照射し、その反射光をフォトトランジスタで
受光し、反射光の強度が眼球の場所によって違うことを
利用し、反射光の２次元的な強度分布から視線方向を検
出する方法があったが、系の構成物であるＬＥＤ、眼球
、受光素子としてのフォトトランジスタの光軸の較正が
簡便でなく、較正精度によって視線方向測定時の視線角
度の測定精度が大きく左右されるという問題があった。

第２に、臨床医学的に眼球の動きを検査する方法として
、眼球に近接する筋肉上の数カ所に皮膚表面電極を貼付
し、眼球の動きを調べる眼振図があるが、この方法は、
眼球を動かす筋肉から得られる筋電信号の高周波成分を
遮断し、記録紙に記録される眼振図を測定者が肉眼で認
識し、眼球の動作方向を検出できるものであるが、皮膚
表面電極は眼球動作に直接関与する筋肉の直上に装着す
る必要があった。また、眼球運動、すなわち視線方向の
角度検出はできなかった。

眼振図は眼球動作のための筋肉から得られる筋電図を検
出するものであり、筋電図と眼球の動作の関係は、従来
の筋電義手のための筋電から手動作の認識を自動的に行
う手法の応用として、　（１）前記のように眼球動作に
直接関与する筋肉の直上に電極を装着する場合において
は、得られた筋電を平滑整流し、設定域値を越えたら眼
球が動作したと検出する方法、　（２）得られた筋電に
帯域フィルタをかけて周波数分割した筋電の周波数スペ
クトルに対して、線形識別関数によって眼球動作方向を
検出する方法が容易に考えられるが、前記線形識別関数
の性質からノイズが入ったり、数種の眼部動作の筋電が
同時に混在すると、識別関数の学習が収束しない、もし
くは動作を認識できない、さらに筋電から眼球動作方向
の角度検出を行うことは充分にはできないという欠点が
あった。

［発明が解決しようとする課題］ 上記、従来の技術において、第１の近赤外光を用いる方
法では、眼球とセンサの光軸設定における較正が簡便で
ないという問題点があり、第２の眼球動作における眼部
の筋電を検出する眼振図による方法は、従来は通常は測
定者が目視でおおまかな眼球動作方向を検出するにすぎ
ず、同時に、皮膚表面電極の装着位置に厳密性が要求さ
れる問題があり、筋電義手に見られる従来の筋電認識技
術を応用する方法も容易に考えられるが、従来の方法の
応用では認識のための識別関数の収束性、認識率が悪い
等の問題があった。

この発明の目的は、眼前筋電パターンを認識学習するこ
とにより視線を正確に、かつ容易に測定できる視線トレ
ーサを提供することにある。

［課題を解決するための手段］ この発明にかかる視線トレーサは、眼前筋電信号を検出
する眼前筋電信号検出部と、 前記眼前筋電信号を高速フーリエ変換して周波数解析す
る高速フーリエ変換部と、 周波数解析された前記眼前筋電信号のバンド幅側の信号
成分レベルを数値マトリクスパターンに変換するマトリ
クスパターン変換部と、複数のユニットとそれらユニッ
トを結ぶ重み付のリンクからなる学習機能を有する神経
回路網で構成され、前記数値マトリクスパターンを入力
として、そのパターンに対応する眼球の視線方向を出力
する認識部と、 前記神経回路網で構成された認識部に対して学習用視線
角度教師用データを出力する視線方向角度教師用データ
生成部と、 からなるものである・ ［作用］ この発明においては、使用に際してはターゲットを目で
追いかけることによる視線方向角度教師用データ生成部
によって認識用神経回路網に教師用データを呈示し認識
部の学習を行うことにより皮膚表面電極の貼付位置の自
由度が大きく、認識部の学習後、視線方向、視線角度の
検出が左右の眼球について独立に行うことができる。

［実施例］ 第１図はこの発明の一実施例の全体の構成を示すブロッ
ク図である。なお、以下の信号の添え字において、Ｌは
左側の眼球、Ｒは右側の眼球に関する記号、ｔは教師信
号、ｙはヨー角、ｐはピッチ角とする。そして、添え字
による区別が必要でないときは添え字をとる。

第１図において、１−Ｌｌ、１−Ｒ１，１−Ｌ２．１〜
Ｒ２は皮膚表面電極、２はメガネフレームであって、前
記各皮膚表面電極１−Ｌｌ、ＩＲｌはメガネフレーム２
の鼻あてを兼ね、また、各皮膚表面電極１−Ｌ２．１−
Ｒ２はメガネフレームラ２の耳かけに位置する。３−Ｌ
、３−Ｒは増幅器、４−Ｌ、４−Ｒはローカットフィル
タ、５−Ｌ、５−Ｒはハイカットフィルタであり、以上
で眼筋筋電信号検出部が構成される。６−Ｌ。

６−Ｒは高速フーリエ変換部、７−Ｌ、７−Ｒはマトリ
クスパターン変換部、８−Ｌ、８−Ｒは認識部、９は視
線方向角度教師用データ作成部である。また、ａ−Ｌｌ
、　ａ−Ｒ２，ａ−Ｒ１’、　ａ　−Ｒ２は前記皮膚表
面電極１−ＬＬ、１−Ｒ２，１−Ｒ１，１−Ｒ２により
検出された信号、ｂＬ。

ｂＲは筋電信号、ｃＬ、ｃＲは低周波成分を遮断された
筋電信号、ｄＬ、ｄＲはそれぞれ筋電信号ｃＬ、ｃＲに
対して高周波成分を遮断された信号、ｅＬ、ｅＲはＦＦ
Ｔ変換された筋電の周波数解析された信号、ｆＬ、−ｆ
Ｒは周波数解析された筋電信号のバンド幅別の信号成分
レベルの数値マトリクスパターン、θＶ　Ｌ　＋　　θ
ｙＲはそれぞれ左目の左右視線方向角度、右目の左右視
線方向角度、θｐＬ＋　　θｐＲはそれぞれ左目の上下
視線方向角度。

右目の上下視線方向角度、θｔｙＬ、　θｔｙＲはそれ
ぞれ左目の左右視線角度教師用データ、右目の左右視線
角度教師用データ、θ１．Ｌ、θｔｐＲはそれぞれ左目
の上下視線方向角度教師用データ、右目の上下視線方向
角度教師用データである。

第２図は、第１図の視線方向角度教師用データ作成部９
の構成例の詳細を示すもので、９−１は視線ターゲット
表示用デイスプレィ、９−２は頭部固定用額押え部、９
−３は頭部固定用顎押え部、９−４は眼球−視線ターゲ
ット表示用デイスプレィ間距離測定用スケール、９−５
は測定オペレータ用移動指針、９−６は視線方向角度演
算処理部、Ｋは注視点である。

第３図（ａ）、（ｂ）は視線方向角度教師用データ生成
を説明する図で、Ｋは注視点、Ｅ−Ｌ。

Ｅ−Ｒは左眼球、右眼球を示す。

第４図はメガネフレーム２の詳細を示すもので、２はメ
ガネフレームで、レンズ２−１と耳つるべ部２−２とか
らなり、皮膚表面電極１−Ｌｌ、１−Ｒ１，１−Ｒ２，
１−Ｒ２が設けられる。２−３は前記電極からのリート
線を示す。

第５図は、第１図の認識部８の構成例で、８−１は認識
用人カバターン、８−２は出力バタン、８−３は学習用
教師信号パターン、８−４は神経回路網の入力層、８−
５は神経回路網の中間層、８−６は神経回路網の出力層
である。

第６図は学習モード時の全体構成を示すブロック図で、
９−７はターゲット制御部で、その他は第１図、第２図
に示したものと同じである。

第７図、第８図はこの発明の処理の流れ図、第９図（ａ
）〜（ｃ）は筋電信号の変換の過程を示す図である。

以下、第１図から第９図に基づき神経回路網の学習モー
ド（Ａ）と、検出される眼球付近の筋電から視線方向角
度を認識する認識モード（Ｂ）の２つに大別してこの発
明の説明を行う。

まず、認識部８の神経回路網の学習モードから説明を行
う。

はじめに、概要を説明すると、メガネフレーム２からの
筋電位パターンを入力として、また、視線方向角度教師
用データ生成部９で算出される視線方向角度を出力とし
て神経回路網から構成されて認識部８に送出し、認識部
８はこれらの入力と出力との対応づけを記憶する。これ
を繰り返し行うと、入カバターンに対応した視線方向角
度を認識モードにおいては出力するようになる。

さて、測定オペレータは被験者に遠方を見つめてもらい
、被験者の眼球間隔℃。（第３図（ａ））を測定する。

次に第２図において、被験者はメガネフレーム２を装着
し、そのまま視線方向角度教師用データ生成部９の顎押
え部９−３に顎をのせ、額を額押え部９−２に軽（押し
当て頭部を固定する。オペレータは測定オペレータ用移
動指針９−５を被験者の右側９０度方向から眼球表面に
あわせ、スケール９−４をよんで被験者の眼球と視線タ
ーゲット表示用デイスプレィ９−１の距離を測定する。

次に、視線を種々のターゲット位置に合わせ、同時に測
定された筋電パターンとターゲット位置から算出される
視線方向角度の関係を認識部８の神経回路網に学習させ
る。

次に、第３図（ａ）、（ｂ）によって、視線ターゲット
表示用デイスプレィ９−１に表示されるターゲットと、
視線方向角度の関係を説明する。

第３図（ａ）、（ｂ）における眼球表示と視線ターゲッ
ト表示用デイスプレィ９−１の距離、左右眼球中心間隔
距離！！、０は前記のとおりオペレータによって測定さ
れ既知であり、眼球半径Ｉ２２は個人差はあるが、通常
の人の眼球半径ジ２の平均的な値を常数として使用する
。いま、視線ターゲット表示用デイスプレィ９−１上の
視線ターゲットが左右の眼球ＥＬ、ＥＲの中間の正面か
ら左に移動し、ヨ一方向に関して眼球正面左側を十の角
度、右側を−の角度とし、！２３に関して左右眼球の中
間を正面左を＋、右側を−とするとき、左目の視線方向
角度θ、Ｌはヨ一方向に対しては、であり、右目の視線
方向角度θｙＲはヨ一方向に対しては、 である。また、第３図（ｂ）において、視線ターゲット
がデイスプレィ９−１上で上方へ移動し、ピッチ方向に
関して顔面正面上方を十の角度、下方を−の角度とし、
℃４に関して水平方向を＋、下方を−とするとき、左目
の視線方向角度θｐＬはピッチ方向に対しては であり、右目の視線方向角度θｐＲはピッチ方向に対し
ては、 である。

以上得られた視線方向角度は、認識部８の神経回路網へ
の教師データとして後述する正規化の後、神経回路網の
出力層８−６に与えられる。

次に、主として第５図、第９図に基づき皮膚表面電極１
−Ｌｌ、１−Ｒ１，１−Ｌ２．１−Ｒ２から検出される
筋電信号の変換過程を示す。前記の視線方向角度教師用
データ生成部９により被験者が視線ターゲット表示用デ
イスプレィ９−１のターゲットを目で追いかけている最
中に、第１図の皮膚表面電極１によって検出された信号
ａは増幅器３−Ｌ、３−Ｒにより左右の目に対して別々
に増幅され、時系筋電信号すとしてローカットフィルタ
４−Ｌ、４−Ｒを通して信号Ｃとなり、さらに、ハイカ
ットフィルタ５−Ｌ、５−Ｒを通して信号ｄとなる。い
ま、信号ｄとしてローカット周波数５０Ｈｚ、ハイカッ
ト周波数１５０００Ｈｚとして測定した例を第９図（ａ
）に示す。時系列筋電信号ｄは各眼球の動作中にある時
間窓の長さ間高速フーリエ変換部６−Ｌ、６−Ｒにとり
こまれ、それぞれの眼球の動作状態において、検出され
た信号ｄの１／３オクタ一ブ周波数解析されたパターン
ｅに変換される。パターンｅとして３０バンド１／３オ
クターブで５０Ｈｚから５００Ｈｚまで、高速フーリエ
変換した例を第９図（ｂ）に示す。パターンｅはマトリ
クス変換手段により各バンド幅ごとにその信号成分レベ
ルが数値マトリクスｆ（パターンｆ）に変換される。以
下、認識部８の神経回路網の学習について説明する。

第５図の例では神経回路網は入力層８−４が１０ユニツ
ト、中間層８−５が６ユニツト、出力層８−６が２ユニ
ツトの例を示す。入力層８−４の１０ユニツトは高速フ
ーリエ変換されたパターンｆの１０バンドのレベル値に
対応し、出力層８−６の２ユニツトは２個の眼球のうち
、一方の側の眼球の視線方向のヨー角とピッチ角の２つ
に対応する。高速フーリエ変換の数値マトリクスｆは認
識部８の入力層８−４に入力される。同時に、認識部８
の出力層８−６にはパターンｆに対応したときの眼球の
視線方向角度データθｙＬ　＋　　θ訛。

θＪ＋　θ、Ｒが教師信号データθｔｙｔ、　ｌ　θ、
註。

θｔｙＲ＋　　θｔｐＲとして与えられる。ここで、認
識部８の神経回路網の性質から、教師データは、のよう
に、正規化した後に認識部８に与えるものとする。認識
部８の神経回路網の学習は、パターンｆとパターンθ、
の入力を同じ視線方向、もしくは異なる視線方向の眼球
動作に対して複数回、例えばパックプロパゲーション法
（文献り、　Ｅ、　Ｒｕｍ−ｅｌｈａｒｔら、Ｐａｒａ
ｌｌｅｌ　Ｄｉｓｔｒｉｂｕｔｅｄ　Ｐｒｏｃｅｓｓｉ
ｎｇ。

ＭＩＴ　Ｐｒｅｓｓ　１９８６）で繰り返す。例えばパ
ターンｆを前記神経回路網に入力したときの神経回路網
の視線方向角度θＦＬ＋　θｐＬ、θＶＲ＋　θｐＲと
教師信号データθｔｙＬ　、　　θｔｐＬ　＋　０１．
Ｒ５θｔｐＲをそれぞれ比較して、各ユニットの値とも
に両者の誤差が１％以内に収まったときを学習終了とす
る。以上の学習モード（Ａ）のフローをまとめたのが第
７図である。

次に、神経回路網の認識モード（Ｂ）について説明する
。認識モード（Ｂ）とは視線方向角度教師用データ生成
部９から被験者が頭を離して、自由な状態における視線
方向をメガネフレーム２に取り付けられた皮膚表面電極
１から検出される筋電位パターンを認識部８の神経回路
網が認識して視線方向角度を出力するモードである。こ
れを第１図および第８図に基づいて説明する。メガネフ
レーム２を装着した被験者が眼球を動かすと、眼球動作
中に検出された時系列筋電信号は時間軸上に開いた高速
フーリエ変換の時間窓ごとに離散化して周波数解析され
、マトリクスパターン変換部７にパターンｅとして入力
される。パターンｅは学習モード（Ａ）時と同様にパタ
ーンｆとして変換される。パターンｆは学習モード（Ａ
）で既に学習されたパターンに基づき対応する眼球の視
線方向角度θ１７　Ｌ　＋　θｌ）Ｌ＋　θＶ　Ｒ＋　
θｙＲを出力する。また、未学習のパターンに対しても
、神経回路網の−Ｍ的性質により補間した出力値を出力
する。ここで、出力された視線方向角度は神経回路網の
性質によりＯと１の間に正規化した値であって、学習モ
ード（Ａ）時に教師データを出力層８−６に教示したと
きの逆変換して角度値として出力する。

本実施例では、皮膚表面電極１をメガネフレーム２の鼻
あておよび耳つるべ部２−２に装着した例を示したが、
皮膚表面電極１をメガネフレーム２に装着せずに単独で
貼付し、電極位置を眼球近傍のほかの場所とすること、
スキーゴーグル状のゴーグルと顔面の接触部分に皮膚表
面電極１を内蔵すること、皮膚表面電極１の対の数を増
やして各電極からの信号高速フーリエ変換処理して各バ
ンド別レベル数値パターンに変換して各眼球に対して１
対の電極からだけでなく、数対の電極からパターンを同
時に入力すること、高速フーリエ変換処理のバンド幅、
バンド数を変更すること、認識部８の神経回路網にバッ
クプロパゲーション法以外の線形分離不可能なパターン
をパターンの属性別に分離する能力を有する神経回路網
を用いること、視線方向角度教師用データ生成部９にお
ける視線方向の検出をターゲットの追跡によって行うの
でな（、眼球を正面からカメラで捉えた映像において、
眼球の黒目部分を画像抽出し、眼球の黒目の真円に対す
るゆがみから視線方向を検出して認識部８に対する視線
方向の教師用データを生成する方法はそれぞれ独立に実
施することが可能である。

［発明の効果１ 以上説明したように、この発明は、眼球近傍に装着され
た皮膚表面電極からの筋電信号を認識して視線方向角度
を出力する視線トレーサにおいて、眼部から離れた部位
に装着された皮膚表面電極からの筋電信号は多数の筋肉
からの信号が混在する信号であるが、高速フーリエ変換
によって周波数解析することによって各筋肉側の筋活動
にある程度分離し、さらに、高速）・−リエ変換されで
ある程度筋肉活動が分離されたパターンと眼球の視線方
向角度の関係を線形分離不可能なパターンをパターンの
属性別に識別する能力を有し、学習機能を有する神経回
路網によって複数個教師あり学習し、学習後に神経回路
網によって前記電極から検出される筋電を認識して視線
方向角度を検出するので、前記神経回路網のパターン特
徴の自動化、類似パターンの高識別化、高耐性能力から
、前記学習モード時に眼部の直上に電極が位置しなくて
も、学習用パターンが多くても、学習用パターンにノイ
ズが混入しても、学習が収束し認識モード時に電極の位
置ずれや筋電信号にノイズやアーチファクトが混入して
も、数種の前群が並列的に動く眼球動作時に眼前の直上
に電極が位置しなくても、数種の前群から発生する筋電
が同時に非線形に干渉、混合して皮膚表面に到達する皮
膚表面電極から対応する眼球の動作である視線方向角度
を検出できるので、従来の眼振図の測定のように、皮膚
表面電極の貼付位置が限定されずに電極位置に関しての
自由度が大きいので、通常のメガネフレームと顔面の接
触位置に皮膚表面電極を内蔵することが可能であり、測
定時の被験者の美観をそこねにくいという利点がある。

また、視線方向認識時の視線方向の検出においては、光
学的な方法は使用しないので、光軸の調整のような較正
が必要ないという利点がある。また、左右の眼球につい
て視線方向角度を左右独立に検出できるという利点があ
る。

応用分野としては、人間工学的研究や臨床医学的研究の
ためのツールとしての視線トレーサとしての利用、視覚
装置を有する遠隔ロボットの操縦時におけるロボットの
視覚装置の視線方向をロボットのオペレータが眼球動作
によって遠隔制御するだめの利用、航空機パイロットの
有視界による目標補足と追尾、身障者のコンピュータ操
作自助具としてのボインティングツール、フライトシミ
ュレータのビジュアルシステムにおいて、ＣＧの演算負
荷減少のためにパイロットの視野方向付近のみ高精細画
像とするための視線トレーサとして利用、コンピュータ
操作従事者のためのカーソルボインティングツールとし
ての利用、レム睡眠検出のための眼球運動計測装置とし
ての利用等が考えられる。

【図面の簡単な説明】

第１図はこの発明の一実施例を示す全体の構成図、第２
図は、第１図において視線方向角度教師用データ生成部
の構成例を示す図、第３図（ａ）、（ｂ）は視線方向角
度教師用データ生成を説明する図、第４図は、第１図に
おけるメガネフレームの詳細を示す斜視図、第５図は、
第１図における認識部の神経回路網による構成例を示す
図、第６図はこの発明における学習モードの説明図、第
７図、第８図はこの発明における学習モードと認識モー
ドの処理の流れ図、第９図（ａ）〜（ｃ）は筋電信号の
変換の過程を示す図である。 図中、１は皮膚表面電極、２はメガネフレーム、３は増
幅器、４はローカットフィルタ、５はハイカットフィル
タ、６は高速フーリエ変換部、７はマトリクスパターン
変換部、８は認識部、９は視線方向角度教師用データ生
成部、Ｅは眼球である。 第２図 第 図（ａ） 眼球 第 図 第 図 第 図

Claims (1)

1. 【特許請求の範囲】 眼筋筋電信号を検出する眼筋筋電信号検出部と、 前記眼筋筋電信号を高速フーリエ変換して周波数解析す
   る高速フーリエ変換部と、 周波数解析された前記眼筋筋電信号のバンド幅別の信号
   成分レベルを数値マトリクスパターンに変換するマトリ
   クスパターン変換部と、 複数のユニットとそれらユニットを結ぶ重み付のリンク
   からなる学習機能を有する神経回路網で構成され、前記
   数値マトリクスパターンを入力として、そのパターンに
   対応する眼球の視線方向を出力する認識部と、 前記神経回路網で構成された認識部に対して学習用視線
   角度教師用データを出力する視線方向角度教師用データ
   生成部と、 からなることを特徴とする視線トレーサ。