JP6181974B2 - 視線計測装置及び視線計測方法 - Google Patents

視線計測装置及び視線計測方法 Download PDF

Info

Publication number
JP6181974B2
JP6181974B2 JP2013109148A JP2013109148A JP6181974B2 JP 6181974 B2 JP6181974 B2 JP 6181974B2 JP 2013109148 A JP2013109148 A JP 2013109148A JP 2013109148 A JP2013109148 A JP 2013109148A JP 6181974 B2 JP6181974 B2 JP 6181974B2
Authority
JP
Japan
Prior art keywords
line
sight
time
angle
change
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2013109148A
Other languages
English (en)
Other versions
JP2014226377A (ja
Inventor
真鍋 宏幸
宏幸 真鍋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NTT Docomo Inc
Original Assignee
NTT Docomo Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NTT Docomo Inc filed Critical NTT Docomo Inc
Priority to JP2013109148A priority Critical patent/JP6181974B2/ja
Publication of JP2014226377A publication Critical patent/JP2014226377A/ja
Application granted granted Critical
Publication of JP6181974B2 publication Critical patent/JP6181974B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Measurement And Recording Of Electrical Phenomena And Electrical Characteristics Of The Living Body (AREA)
  • Eye Examination Apparatus (AREA)

Description

本発明は、EOG法(Electrooculography)を用いた視線計測装置及び視線計測方法に関する。
ユーザの視線はユーザの意図を表現しており、視線をインタフェースに応用することで、ユーザの利便性向上を図ることができる。肢体不自由者であっても視線を随意的に動かせることが多いため、視線入力インタフェースは障害者向けインタフェースとして広く研究されてきたが、計測装置の小型化や低価格化などにより、近年では障害者向けだけでなく幅広い応用が試みられてきている。
視線計測手法の一つにEOG法が知られている。EOG法は、角膜網膜電位を顔面に複数貼付した電極で計測し、それらの電位変化から視線の動きを推定する手法であり、簡便で安価であるという特徴がある。このため、EOG法は日常的に視線を入力インタフェースとする手段の一つである。
一般にEOG法を用いた視線計測ではドリフトが問題となる。ドリフトは計測信号のベースラインが変化することであり、視線推定精度が時間と共に低下してしまう。ドリフトを低減するために、ハイパスフィルタを適用することや、定期的なオフセット補正(キャリブレーション)を行うことが行われるが、前者では視線の絶対値の推定や眼球の追従運動をとらえることができず、後者では煩わしいオフセット補正を行わなければならなかった。また、Kalmanフィルタを用いてドリフトを低減する手法もあるが、ドリフトによる推定精度の低下は避けられない。
一方、下記特許文献1では、ドリフトによる影響を自動的に補正する技術が提案されている。
特開2007−252879号公報
特許文献1は、計測される電位差と眼球の状態の関係を数式でモデル化し、そのモデルを用いて視線を推定する。この特許文献1では、ドリフトの原因を「網膜神経細胞のイオンポンプの働きの変化」、モデルを使って言えば、ドリフトの原因を網膜から角膜へ流れる電流密度が変化することとして捉えており、この電流密度を推定することでドリフト問題を解決できるとしている。しかし、電流密度の変化は、周囲の照明環境によってEOGの大きさが変わるという既知の現象を表したものであり、ドリフトの主原因ではない。ドリフトの原因は電流密度の変化ではなく、電極電位のバランスの変化が主であるため、特許文献1ではドリフト問題を解決することは難しい(前者は変化するものが1つだけであるが、後者では電極毎に異なる、という点で大きく異なる)。
つまり、従来技術ではドリフトを低減することはできたとしても、蓄積されたドリフトによるオフセットを解消することはできず、オフセットを解消するためには、煩わしい明示的なオフセット補正を行う必要があった。このため、EOG法では視線の相対的な変化量を用いた入力インタフェースしか、実現できないという制約があった。
本発明は、上記課題を鑑みてなされたものであり、ユーザが明示的なオフセット補正を行わなくても、ドリフトによって生じるオフセットを補正することができる視線計測装置及び視線計測方法を提供することを目的とする。
上記課題を解決するため、本発明の視線計測装置は、顔面に貼付される複数の電極と、電極により測定された電位を増幅する増幅手段と、第1の時刻及び第2の時刻における増幅手段の出力の変化量と、あらかじめ定められている非線形関数とを用いて、第1の時刻及び第2の時刻における電極装着者の視線角度を推定する計算手段と、を備える。
従来技術では、第1の時刻(時刻t1)から第2の時刻(時刻t2)の間の視線角度の変化量しか推定することはできず、時刻t2の視線角度を求めるためには、時刻t1での視線角度が正確に推定されていなければならなかった。一方、このような視線計測装置によれば、視線角度と計測されるEOGが非線形であることを利用することで、時刻t2の視線角度を直接推定することができる。これにより、推定した視線角度に誤差が累積していくことがなくなり、仮に誤差(ドリフトによるオフセット)が生じたとしても、電極装着者による明示的なオフセット補正を行わなくても、ドリフトによるオフセットを補正することができるようになる。
また、本発明の視線計測装置において、増幅手段の出力に基づいてサッケードが生じたことを検出するサッケード検出手段をさらに備え、計算手段は、サッケード検出手段によってサッケードが検出された際に、サッケードの直前及びサッケードの直後における増幅手段の出力の変化量と、あらかじめ定められている非線形関数とを用いて、サッケードの直前及び直後における電極装着者の視線角度を推定することが好ましい。ここで、サッケードとは、見たい対象に視線を向ける時や、文字を読んでいる時などに生じる素早い眼球運動のことであり、日常生活において非常に頻繁にあらわれる。かかる構成を採れば、視線角度の変化量が小さい時に、EOGと視線角度の非線形性を利用した視線角度推定手法を用いると、誤差が生じやすいという課題を解決できるようになる。
また、本発明の視線計測装置において、第1の時刻及び第2の時刻における増幅手段の出力の変化量から、第1の時刻及び第2の時刻における電極装着者の視線の移動量を推定する視線変化量推定手段をさらに備え、視線変化量推定手段は、サッケード検出手段によってサッケードが生じたことが検出されない際に、電極装着者の視線角度の変化量を推定することが好ましい。かかる構成を採れば、サッケード検出手段がサッケードが生じていないと判定した時に、視線変化量推定手段を用いて視線角度の変化量が推定される。これにより、視線角度の変化量が小さい時には、視線角度の変化量を推定する手法を用いることで、常に視線角度の推定が行えるようになる。
また、本発明の視線計測装置において、非線形関数は、電極装着者があらかじめ定められた通りに視線を動かした際の増幅手段からの出力に基づいて算出されたことが好ましい。かかる構成を採れば、電極貼付位置をあらかじめ厳密に決定しておく必要がなくなるため、手順が簡略化され、利用時に最適な非線形関数を適用できるので、推定精度を高めることができる。
また、本発明の視線計測装置において、非線形関数は、視線角度のn次多項式であることが好ましい。かかる構成を採れば、どのような場合であっても適切な非線形関数を用いることができるようになるため、推定精度を高めることができる。
また、本発明の視線計測装置において、非線形関数を用いて電極装着者の視線角度を推定するのは、視線角度の水平成分のみであることが好ましい。かかる構成を採れば、利用手順や計算量が削減される。
また、本発明の視線計測装置において、計算手段は、非線形関数を用いて電極装着者の視線角度を推定する際に、第1の時刻及び第2の時刻における増幅手段の出力の変化量と、出力の変化量に対する重みと、非線形関数とを用いて、第1の時刻及び第2の時刻における電極装着者の視線角度を推定することが好ましい。かかる構成を採れば、計測信号に含まれるノイズに応じて、推定結果に与える影響度合いを調整することができるようになるので、推定精度を高めることができる。
ところで、本発明は、上記のように装置の発明として記述できる他に、以下のようにそれぞれ方法の発明としても記述することができる。これはカテゴリが異なるだけで、実質的に同一の発明であり、同様の作用及び効果を奏する。
即ち、本発明に係る視線計測方法は、顔面に貼付される複数の電極と、電極により測定された電位を増幅する増幅器と、増幅器の出力から電極装着者の視線を推定する計算機とを備える視線計測装置により実行される視線計測方法であって、計算機が、第1の時刻及び第2の時刻における増幅器の出力の変化量と、あらかじめ定められている非線形関数とを用いて、第1の時刻及び第2の時刻における電極装着者の視線角度を推定するステップを含む。
本発明によれば、ユーザが明示的なオフセット補正を行わなくても、ドリフトによって生じるオフセットを補正することができる。
視線とEOGの関係の例を示すグラフである。 本発明の第1実施形態に係る視線計測装置の構成図である。 本発明の実施形態に係る視線計測装置のハードウェア構成を示す図である。 本発明の第1実施形態に係る視線計測装置で実行される処理(視線計測方法)を示すフローチャートである。 本発明の第2実施形態に係る視線計測装置の構成図である。 本発明の第2実施形態に係る視線計測装置で実行される処理(視線計測方法)を示すフローチャートである。 本発明の第3実施形態に係る視線計測装置の構成図である。 本発明の第3実施形態に係る視線計測装置で実行される処理(視線計測方法)を示すフローチャートである。
以下、図面とともに本発明による視線計測装置及び視線計測方法の好適な実施形態について詳細に説明する。なお、図面の説明においては同一要素には同一符号を付し、重複する説明を省略する。
従来では、計測されるEOGと視線の変化量は線形である、という前提のもとで視線が推定されてきた。実際にEOGと視線の変化量を計測してみても、ほぼ線形であることが確認されている。両者が線形であれば、計測されたEOGから視線を求めることは簡単である。しかし、ドリフトによりEOGの値に変化が生じてしまうと、推定された視線もドリフトに呼応するように変化してしまうという問題が生じる。
図1は、EOGと視線の計測例を示すグラフである。電極装着者は、初期の視線角度(水平方向に−40度から30度まで10度間隔の8通り)から10度プラス方向に視線を動かす。例えば初期視線角度が−30度であれば、−20度に視線を動かすということである。なお、単純化するために、垂直方向の視線移動はない。顔面には電極を6つ貼付してあり、1つをアース電極(電極1)として、残り5つ(電極2から電極6)をEOG導出用電極として使用している。EOGは2つの電極間の電位差であるから、電極2から電極6までの5つの電極からは、10通りのEOGを算出することができるが、この中の4つ、電極2−電極3(Ch.1)、電極2−電極4(Ch.2)、電極2−電極5(Ch.3)、電極2−電極6(Ch.4)に関して、視線の動きの前後におけるEOGの変化量をプロットしたのが、図1である。
EOGと視線の変化量が線形である場合には、視線が初期の視線角度にあるときのEOGと、視線が10度動いた後のEOGとの差は、初期の視線角度によらず、一定となるはずである。図1でCh.4は、初期の視線角度によらず、ほぼ一定の値となっており、線形であると言ってもよい。しかし、Ch.1、Ch.2、Ch.3は、初期の視線角度に応じてEOGの変化量も変化しており、もはや視線の変化量とEOGの変化量とが線形であるとは言えない。つまり、視線の変化量とEOGの変化量とが非線形であるということである。さらにここで着目すべきなのは、Ch.1、Ch.2、Ch.3はそれぞれ異なる非線形性を示していることである。EOGの変化量が線形であるかどうか、またどのような非線形性を有しているのかは、算出元となる電極の貼付位置に依存する。従来のEOG法では、Ch.4となるような位置に電極を貼付することで、EOGの変化量と視線の変化量を線形と見なしてきた。逆に言えば、電極貼付位置はほぼ決まっていたとも言える。
それに対し本実施形態に係る視線計測装置では、電極貼付位置を従来の貼付位置とは異なる位置に変え、あえてEOGの変化量と視線の変化量とが非線形な関係を有するようにする。そして、この非線形性を積極的に利用することで、視線の絶対角を推定することを特徴とする。
[第1実施形態]
図2は、本発明の第1実施形態に係る視線計測装置1の概要図である。図2に示す通り、視線計測装置1は、ユーザ(電極装着者)の顔面に貼付される複数の電極2(電極)と、電極2に接続され、電極2により測定された電位を増幅する増幅器3(増幅手段)と、増幅器3の出力からユーザの視線を推定する計算機4(計算手段)とを含んで構成される。なお、視線計測装置1は、計算機4で推定されたユーザの視線を表示装置や他の装置に出力する出力手段(不図示)を備えてもよい。
電極2は、貼付された顔面における角膜網膜電位を計測し、増幅器3に出力する。なお図2において、電極2は電極2a、2b、2c及び2cを含んで構成されているが、これに限られず、2つ以上の電極を含んで構成されてもよい。増幅器3は、電極2から入力された角膜網膜電位を増幅し、計算機4に出力する。
計算機4は、増幅器3からの出力に基づいてユーザの視線を推定する。より具体的には、計算機4は、第1の時刻(時刻t1)及び第2の時刻(時刻t2)における増幅器3の出力の変化量と、あらかじめ定められている非線形関数とを用いて、第1の時刻及び第2の時刻におけるユーザの視線角度を推定する。非線形関数は、ユーザがあらかじめ定められた通りに視線を動かした際の増幅器3からの出力に基づいて算出された関数であってもよいし、視線角度のn次多項式であってもよい。
また、計算機4は、非線形関数を用いてユーザの視線角度を推定するのは、視線角度の水平成分のみであってもよい。また、計算機4は、非線形関数を用いてユーザの視線角度を推定する際に、時刻t1及び時刻t1よりも未来である時刻t2における増幅器3の出力の変化量と、時刻t1において推定されていたユーザの視線の絶対角と、非線形関数とを用いて、時刻t2におけるユーザの視線角度を推定してもよい。また、計算機4は、非線形関数を用いてユーザの視線角度を推定する際に、時刻t1及び時刻t2における増幅器3の出力の変化量と、出力の変化量に対する重みと、非線形関数とを用いて、時刻t1及び時刻t2におけるユーザの視線角度を推定してもよい。計算機4の詳細な推定方法については後述する。
視線計測装置1は、CPU等のハードウェアから構成されているものである。図3は、視線計測装置1のハードウェア構成の一例を示す図である。図2に示される装置1は、物理的には、図3に示すように、CPU100、主記憶装置であるRAM101及びROM102、ディスプレイ等の入出力装置103、通信モジュール104、及び補助記憶装置105などを含むコンピュータシステムとして構成されている。
図2に示す視線計測装置1の各構成要素の機能は、図3に示すCPU100、RAM101等のハードウェア上に所定のコンピュータソフトウェアを読み込ませることにより、CPU100の制御のもとで入出力装置103、通信モジュール104、及び補助記憶装置105を動作させるとともに、RAM101におけるデータの読み出し及び書き込みを行うことで実現される。
以下、図2に示す視線計測装置1の計算機4が行うユーザの視線の推定方法について具体的に説明する。なお、以下の説明では、計算機4がどのようにして視線の絶対角を推定するのかを、数式を用いて説明する。なお、説明をわかりやすくするために、水平方向の視線移動についてのみ考えることとするが、垂直方向を加えた拡張も可能である。また、以下で説明する処理の主体は計算機4であり、計算機4は各数式に基づいた処理を実行することで、ユーザの視線の推定を行う。
まず、電極0と電極1から得られるEOGを、電極0の電位E、電極1の電位Eを用いて以下の式(1)のように表す。

、Eは時刻tの関数である。ここで、視線の角度がθ(t)の時に得られる理想的な、つまりドリフトやノイズがないとした時のEOGをp(θ(t))とすると、実際に観測されるEOGは、ドリフトやノイズの成分を表すe(t)を用いて、以下の式(2)で表すことができる。

ある2つの時刻tとt(t<t)におけるEOGの変化量ΔEOG(t,t)は、以下の式(3)及び(4)で表すことができる。

従来法では、EOGの変化量と視線の変化量は線形であると仮定するので、係数aを用いて、以下の式(5)及び(6)となる。


さらに、Δe(t,t)、つまりドリフトやノイズによる変化量は無視できると仮定して以下の式(7)が得られる。

ドリフトやノイズによる変化量が無視できる場合には、上記の式を用いて、ほぼ正確な視線を推定できるが、無視できなくなった場合には、推定精度が劣化する。
以上説明したように、従来法では1つのEOGから視線を推定するのに対し、視線計測装置1では複数のEOGから視線を推定する。ただし、視線計測装置1は必ずしもより多くの電極を必要とするというわけではない。例えば、4つのEOG導出用電極を用いた場合には、2つの電極ペアを6組作ることができるため、6つのEOGを算出することができる。従来法では、特定の電極ペア、つまり先の例で言えば6組の中の1つのみを用いるのに対し、視線計測装置1では6組の中から複数の電極ペアを使うということであり、必ずしも電極の数が多い必要はない。もちろん、高精度な推定を行うためには、より多くの電極があることが望ましい。
計算機4では、式(4)から、i番目のEOGの変化量を以下の式(8)のように表す。

ここで、サッケードなど、短時間に大きな視線移動が生じた時を考えると、Δe(t,t)は無視できるようになる。視線移動の前後の視線角度をそれぞれθ、θ、その時のEOGの変化量をΔEOG(θ,θ)と表すと、以下の式(9)で表すことができる。

ここで重要なことは、先ほどまで用いていたΔEOG(t,t)が時刻の関数であるのに対し、式(9)は時刻tの関数ではないということである。
(θ)が線形関数ではなく、非線形関数であり、かつそれが既知であるとすれば、観測されたm個のEOGの変化量

と、p(θ)を用いて(m≧2)、以下の式(10)

を解くことで、θ、θそれぞれを求めることができる。なお、上記の式を解くためには、観測されたEOGの変化量が2種類以上あり、さらにそれらが、少なくとも2つ以上の独立な非線形関数で表現されることが必要である。この条件は、電極配置位置を工夫すれば、通常のEOG計測と同じ電極設置数で容易に実現可能である。本手法の基本的な動作フローを図4に示す。
図4に示すフローチャート図を用いて、視線計測装置1の計算機4における視線計測方法の処理について説明する。まず、EOGが計測される(ステップS1)。次に、S1にて計測されたEOGに基づいて、ΔEOGが算出される(ステップS2)。次に、S2にて算出されたΔEOGに基づいて、式(10)により視線角度が推定される(ステップS3)。次に、S3にて推定された視線角度が出力される(ステップS4)。
なお、p(θ)は既知であるとしたが、電極の貼付位置によってp(θ)は変わるため、毎回にp(θ)を決定し直すことが望ましい。p(θ)は以下のようにして決定することができる。電極装着後、装着者に視線をθk0からθk1に動かしてもらい、その時のi番目のEOGの変化量

を記録する。これをK回繰り返すことで、K種類の

を得ることができる。p(θ)がどのような関数であるか事前にわかっている場合、つまりp(θ)が複数の未知の係数を含んでおり、それらが決定されれば、p(θ)が一意に決まる場合、以下の式(11)

を解くことで、p(θ)の未知の係数を決定することができる。p(θ)には、例えば下記従来研究1で提案されている式を用いれば良い。しかし、p(θ)の関数を厳密に設定してしまうと、観測データとp(θ)とがうまく適合しなくなり、適切なp(θ)とはならない場合がある。
[従来研究1]伊月宣之、久保賢倫、白石学、西川偉一、三村康男:眼球常在電位解析のための眼球の電池モデル、日本眼科学会雑誌、Vol.99、pp.1012−1016(1995)。
(θ)に、単純なn次の多項式を適用すれば、そのような問題は発生しない。つまり、以下の式(12)及び(13)のようにp(θ)を設定すれば良い。


なお、このようにして推定した非線形関数の例を図1のグラフにおける実線で示す。
視線の推定精度を高めるために、以下の方法を組み合わせることも可能である。一般に、観測データにはノイズが含まれているため、それぞれに信頼度は異なる。式(10)では、観測データに含まれる誤差は、全て同等に扱われているが、観測データの中でノイズが少なく信頼度が高いと考えられるものは推定結果に与える影響を大きくし、逆に信頼度が低いと考えられるものは推定結果に与える影響を小さくすることで、最終的な推定結果の精度を向上させることができる。例えば、図1の散布図に見られるように、Ch.1は観測データの分散が小さく、信頼度は相対的に高いと言えるが、Ch.4は観測データの分散が大きく、信頼度は相対的に低い。この場合、Ch.1には高い重みをつけ、Ch.4には低い重みを付与することで、精度を向上させることができる。例えば、p(θ)を決定する際に得られる観測データの分散から、それぞれの重みwを算出しておき(w≧0)、式(10)を以下の式(14)のように変形すればよい。
また、式(10)では、θおよびθの両方を未知の変数として推定しているが、通常の場合、直前の視線の絶対角は推定が完了しているため、θを新たに求める必要はない。式(10)において、直前の視線推定結果を利用すれば、未知の変数はθ1だけとなるため、より高精度な推定を行うことが可能となる。
また、視線角度は水平成分と垂直成分とに分けられるが、非線形関数を用いた視線角度の推定を、水平成分のみに適用しても良い。これにより、計算量が削減され、容易に実装できるようになり、またp(θ)を求める際に必要な視線の動きを減らすことができるので、装着者への負担も低減する。垂直成分の視線角度を正確に推定できなくなるという欠点が生じるが、視線の水平成分の動きの方が多くの場合重要であるため、アプリケーション側で工夫することにより、その欠点を隠蔽することができる。
[第2実施形態]
図5は、本発明の第2実施形態に係る視線計測装置1Aの概要図である。図5に示す通り、視線計測装置1Aは視線計測装置1が備える構成要素を全て含み、さらにサッケード検出機構5(サッケード検出手段)を含んで構成される。本実施形態では、視線計測装置1との差分についてのみ説明する。なお、視線計測装置1Aは、図3に示す通り、視線計測装置1と同様のハードウェア構成から構成されており、視線計測装置1Aの各構成要素の機能は、視線計測装置1と同様に、図3に示す各ハードウェアが協働することで実現される。
増幅器3は、電極2から入力された角膜網膜電位を増幅し、計算機4及びサッケード検出機構5に出力する。サッケード検出機構5は、増幅器3の出力に基づいてサッケードが生じたことを検出し、検出結果を計算機4に出力する。
そして、計算機4は、サッケード検出機構5から入力された検出結果に基づいて、サッケードが生じた時にのみに、非線形関数を用いた視線角度推定を行う。具体的には、計算機4は、サッケード検出機構5によってサッケードが検出された際に、サッケードの直前及びサッケードの直後における増幅器3の出力の変化量と、あらかじめ定められている非線形関数とを用いて、サッケードの直前及び直後におけるユーザの視線角度を推定する。
視線の動きが小さい場合には、観測値の変化量も小さくなる。一方で観測値には、必ず誤差が含まれるため、視線の動きが小さい時には、SN比が低下することとなる。そのため、視線の動きが小さい場合に、非線形関数を用いた視線角度推定を行うと、推定した視線角度に大きな誤差が生じてしまう。そこで、視線の動きが大きい場合、つまりサッケードが生じた時にのみ、非線形関数を用いた視線角度推定を行うことが望ましい。このサッケードが生じた時にのみ、非線形関数を用いた視線角度推定を行う場合の動作フローを図6に示す。
図6に示すフローチャート図を用いて、視線計測装置1Aの計算機4における視線計測方法の処理について説明する。まず、EOGが計測される(ステップS10)。次に、サッケード検出機構5から入力された検出結果に基づいて、サッケードが検出されたか否かが判定される(ステップS11)。S11にてサッケードが検出されなかった場合、S10に戻る。S11にてサッケードが検出された場合、S10にて計測されたEOGに基づいて、非線形関数を用いて視線角度が推定される(ステップS12)。次に、S12にて推定された視線角度が出力される(ステップS13)。
以上の通り、視線計測装置1Aでは、サッケード検出機構5を用いることで、サッケードが生じるたびに自動的にドリフトにより生じたオフセットを補正することができる。また、サッケードをコマンドとして認識するサッケードベースの視線入力インタフェースを容易に構築できるようになる。
[第3実施形態]
図7は、本発明の第3実施形態に係る視線計測装置1Bの概要図である。図7に示す通り、視線計測装置1Bは視線計測装置1Aが備える構成要素を全て含み、さらに視線変化量推定機構6(視線変化量推定手段)を含んで構成される。本実施形態では、視線計測装置1Aとの差分についてのみ説明する。なお、視線計測装置1Bは、図3に示す通り、視線計測装置1と同様のハードウェア構成から構成されており、視線計測装置1Bの各構成要素の機能は、視線計測装置1と同様に、図3に示す各ハードウェアが協働することで実現される。
増幅器3は、電極2から入力された角膜網膜電位を増幅し、計算機4、サッケード検出機構5及び視線変化量推定機構6に出力する。サッケード検出機構5は、増幅器3の出力に基づいてサッケードが生じたことを検出し、検出結果を計算機4及び視線変化量推定機構6に出力する。視線変化量推定機構6は、増幅器3から入力された変化量に基づいて、視線の移動量を推定する。より具体的には、視線変化量推定機構6は、時刻t1及び時刻t2における増幅器3の出力の変化量から、時刻t1及び時刻t2におけるユーザの視線の移動量を推定する。また、視線変化量推定機構6は、サッケード検出機構5によってサッケードが生じたことが検出されない際に、ユーザの視線角度の変化量を推定する。
このような視線計測装置1Bによれば、サッケードが生じていない時の視線の動きを推定することができるようになる。この時の動作フローを図8に示す。
図8に示すフローチャート図を用いて、視線計測装置1Bの計算機4及び視線変化量推定機構6における視線計測方法の処理について説明する。なお、図8において、計算機4が行うS21〜S24は、それぞれ図6におけるS10〜S13と同様のため、説明を省略する。S22にてサッケードが検出されなかった場合、視線変化量推定機構6により、視線角度の変化量が推定される(ステップS25)。次に、視線変化量推定機構6により、S25にて推定された視線角度の変化量に基づいて、視線角度が算出される(ステップS26)。次に、計算機4により、S26にて算出された視線角度が出力される(ステップS24)。
以上の通り、視線計測装置1Bでは、視線変化量推定機構6を用いることで、従来の視線推定手法をそのまま利用することが可能である。
[まとめ]
以上の各実施形態で説明した視線計測装置1、1A及び1Bは、DC結合を用いたEOG計測値に対しても、AC結合を用いたEOG計測値に対しても適用可能である。従来の、AC結合を用いたEOG計測では、視線の変化量しか推定できていなかったのに対し、視線計測装置1、1A及び1Bは、視線角度そのものを直接推定できる点で優れている。
また、視線計測装置1、1A及び1Bでは、視線角度とEOGの非線形性を利用することで、観測されたEOGの変化量から、視線角度を直接推定できる。従来手法では、視線角度の変化量しか推定できなかったため、ドリフトによって生じたオフセットは、時間と共に累積していくことになるのに対し、視線計測装置1、1A及び1Bでは、そのオフセットが生じない。また、仮にオフセットが生じたとしても、そのオフセットを(自動的に)補正することができる。これにより、電極装着者による明示的なオフセット補正を行うことなく、常に正確な視線角度を推定できるようになり、利便性が向上する。
また、視線計測装置1、1A及び1Bでは、ユーザが視線を動かすたびに自動的にオフセット補正を行えるようになる。これにより、EOG法を用いた場合であっても視線の絶対角を用いた入力インタフェースを実現することができるようになる。
1・1A・1B…視線計測装置、2・2a・2b・2c・2d…電極、3…増幅器、4…計算機、5…サッケード検出機構、6…視線変化量推定機構。

Claims (8)

  1. 顔面に貼付される複数の電極と、
    前記電極により測定された電位を増幅する増幅手段と、
    第1の時刻及び第2の時刻における前記増幅手段の出力の変化量と、あらかじめ定められている非線形関数とを用いて、第1の時刻及び第2の時刻における電極装着者の視線角度を推定する計算手段と、
    を備える視線計測装置。
  2. 前記増幅手段の出力に基づいてサッケードが生じたことを検出するサッケード検出手段をさらに備え、
    前記計算手段は、前記サッケード検出手段によってサッケードが検出された際に、サッケードの直前及びサッケードの直後における前記増幅手段の出力の変化量と、あらかじめ定められている非線形関数とを用いて、サッケードの直前及び直後における電極装着者の視線角度を推定することを特徴とする請求項1に記載の視線計測装置。
  3. 第1の時刻及び第2の時刻における前記増幅手段の出力の変化量から、第1の時刻及び第2の時刻における電極装着者の視線の移動量を推定する視線変化量推定手段をさらに備え、
    前記視線変化量推定手段は、前記サッケード検出手段によってサッケードが生じたことが検出されない際に、電極装着者の視線角度の変化量を推定することを特徴とする請求項2に記載の視線計測装置。
  4. 前記非線形関数は、電極装着者があらかじめ定められた通りに視線を動かした際の前記増幅手段からの出力に基づいて算出されたことを特徴とする請求項1〜3の何れか一項に記載の視線計測装置。
  5. 前記非線形関数は、視線角度のn次多項式であることを特徴とする請求項1〜4の何れか一項に記載の視線計測装置。
  6. 前記非線形関数を用いて電極装着者の視線角度を推定するのは、視線角度の水平成分のみであることを特徴とする請求項1〜5の何れか一項に記載の視線計測装置。
  7. 前記計算手段は、前記非線形関数を用いて電極装着者の視線角度を推定する際に、第1の時刻及び第2の時刻における前記増幅手段の出力の変化量と、前記出力の変化量に対する重みと、前記非線形関数とを用いて、第1の時刻及び第2の時刻における電極装着者の視線角度を推定することを特徴とする請求項1〜の何れか一項に記載の視線計測装置。
  8. 顔面に貼付される複数の電極と、前記電極により測定された電位を増幅する増幅器と、前記増幅器の出力から電極装着者の視線を推定する計算機とを備える視線計測装置により実行される視線計測方法であって、
    前記計算機が、第1の時刻及び第2の時刻における前記増幅器の出力の変化量と、あらかじめ定められている非線形関数とを用いて、第1の時刻及び第2の時刻における電極装着者の視線角度を推定するステップを含む視線計測方法。
JP2013109148A 2013-05-23 2013-05-23 視線計測装置及び視線計測方法 Active JP6181974B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2013109148A JP6181974B2 (ja) 2013-05-23 2013-05-23 視線計測装置及び視線計測方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2013109148A JP6181974B2 (ja) 2013-05-23 2013-05-23 視線計測装置及び視線計測方法

Publications (2)

Publication Number Publication Date
JP2014226377A JP2014226377A (ja) 2014-12-08
JP6181974B2 true JP6181974B2 (ja) 2017-08-16

Family

ID=52126757

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2013109148A Active JP6181974B2 (ja) 2013-05-23 2013-05-23 視線計測装置及び視線計測方法

Country Status (1)

Country Link
JP (1) JP6181974B2 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019135281A1 (ja) * 2018-01-05 2019-07-11 三菱電機株式会社 視線方向較正装置、視線方向較正方法および視線方向較正プログラム
US11514602B2 (en) 2018-12-25 2022-11-29 Samsung Electronics Co., Ltd. Method and apparatus for gaze estimation

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4802329B2 (ja) * 2006-02-27 2011-10-26 国立大学法人電気通信大学 眼球位置計測方法及び眼球位置計測装置
JP5204781B2 (ja) * 2008-05-20 2013-06-05 パナソニック株式会社 視線検出装置、撮像装置、視線検出方法、プログラム、及び集積回路
US8333475B2 (en) * 2009-11-12 2012-12-18 Panasonic Corporation Electro-oculography measuring device, ophthalmological diagnosis device, eye-gaze tracking device, wearable camera, head-mounted display, electronic eyeglasses, electro-oculography measuring method, and recording medium
JP5613025B2 (ja) * 2009-11-18 2014-10-22 パナソニック株式会社 視線検出装置、視線検出方法、眼電位計測装置、ウェアラブルカメラ、ヘッドマウントディスプレイ、電子めがねおよび眼科診断装置
JP5613533B2 (ja) * 2009-11-19 2014-10-22 パナソニック株式会社 ノイズ低減装置、眼電位計測装置、眼科診断装置、視線検出装置、ウェアラブルカメラ、ヘッドマウントディスプレイ、電子めがね、及びプログラム

Also Published As

Publication number Publication date
JP2014226377A (ja) 2014-12-08

Similar Documents

Publication Publication Date Title
JP5613025B2 (ja) 視線検出装置、視線検出方法、眼電位計測装置、ウェアラブルカメラ、ヘッドマウントディスプレイ、電子めがねおよび眼科診断装置
EP2962633A1 (en) Pulse wave propagation time calculation device
WO2014197678A2 (en) Accelerometer-based sleep analysis
KR20150140822A (ko) 생리적 신호의 자동화된 품질 평가
JP6181974B2 (ja) 視線計測装置及び視線計測方法
US20180271383A1 (en) Pulse Measurement Device and Computing Device Using Same
US20160069767A1 (en) Physical quantity sensor adjustment method, and physical quantity sensor
US10990168B2 (en) Compensating for a movement of a sensor attached to a body of a user
CN106792799A (zh) 一种基于贝叶斯网络的移动传感器网络降噪和校准方法
JP2013220315A (ja) 睡眠品質推定装置、睡眠品質推定方法及び睡眠品質推定用プログラム
JP4802329B2 (ja) 眼球位置計測方法及び眼球位置計測装置
US20220104756A1 (en) Digital biomarker
EP3662813B1 (en) Wearable device-compatible electrooculography data processing device, spectacle-type wearable device provided with same, and wearable device-compatible electrooculography data processing method
KR20210074008A (ko) 이미지 분석을 이용한 사시 진단 시스템 및 방법
US20220104729A1 (en) Digital biomarker
US20220104753A1 (en) Digital biomarker
US20220104754A1 (en) Digital biomarker
US20240108275A1 (en) Analysis system, analysis method, analytical data acquisition device, and analysis program
KR102306111B1 (ko) 장시간 안구 움직임 검출을 위한 기준선 드리프트 제거 알고리즘을 이용한 eog 기반 안구 추적 프로토콜의 방법 및 장치
JP6431005B2 (ja) センサ装置
WO2019216387A1 (ja) 推定方法、推定プログラム及び推定装置
US20200183489A1 (en) Adaptive eye-tracking calibration method
JP2007020594A (ja) 脳機能測定装置
US9295609B2 (en) Cardiopulmonary resuscitation monitoring apparatus
TWI740169B (zh) 量測裝置及量測方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20160215

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20161219

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20170117

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20170209

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20170718

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20170721

R150 Certificate of patent or registration of utility model

Ref document number: 6181974

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250