JP4054713B2

JP4054713B2 - Puzzled detection method and puzzled detection program

Info

Publication number: JP4054713B2
Application number: JP2003122991A
Authority: JP
Inventors: 佐々木　　実; 京虎崔; 憲之青山; 悠子谷口; 忠彦福田; 靖哲田中; 正士中村; 浩司吉川
Original assignee: 忠彦福田; 株式会社電算システム; 財団法人ソフトピアジャパン
Priority date: 2003-04-25
Filing date: 2003-04-25
Publication date: 2008-03-05
Anticipated expiration: 2023-04-25
Also published as: JP2004321621A

Description

【０００１】
【発明の属する技術分野】
本発明は、戸惑い検出方法及びプログラムに係り、詳しくは視線の観察のみで戸惑いの状態を自動検出する戸惑い検出方法に関するものである。
【０００２】
【従来の技術】
従来より、人間の感情などを外部観察により検出しようとする試みがなされていた。それは、例えばマン−マシンインタフェースの改善のために、ユーザが操作上戸惑いを感じる操作をピックアップして問題点を抽出するためなどに用いられる。その方法としては、顔の位置、腕の動作、音声、筋肉の変化、発汗、心拍数、血圧或いは表情など様々なデータを検出して、これらの検出データに基づいて被験者の感情を推測していた。だが、１種類だけの検出データでは推測の精度が上がらず、複数の検出データに基づいて感情を推測するものが多かった。
【０００３】
そこで、特許文献１に示すような視線情報解析装置などが提案された。この視線情報解析装置では、眼球運動検出装置によって眼球の運動を検出し、解析装置によって検出された眼球の時系列変化を周波数領域で解析し、画像入力部画像入力部から入力された表示される画像の内容を表示内容解析装置で解析し、両者を統合解析部で統合処理をすることにより、被験者の心理的な観察状態、画像に対する客観的な評価について信頼性の高いデータを得るものである（要約参照）。このような視線情報解析装置であれば、画像を評価しようとする被験者の意思決定過程を、眼球運動の時間軸上で見た挙動の変化と、提示される画像内容と眼球運動との相関付けから推定し、人の画像に対する客観的な評価結果を得ることができる。なお、特許文献２には、視線の位置の検出の方法の一例が開示されている。
【０００４】
【特許文献１】
特開平６−１６２号公報図１
【特許文献２】
特開平６−３１９７０１号公報
【０００５】
【発明が解決しようとする課題】
しかしながら、この視線情報解析装置では、画像内容が既知で、眼球の挙動が未知の場合、または眼球の挙動が既知で、画像内容が未知の場合、それぞれの未知量を予め記述された予測関数で推定することはできても、実際の戸惑いまでも検出できるものではないという問題があった。
【０００６】
上記課題を解決するため、本発明は、視線を観察するだけで、被験者の戸惑いを自動的に検出できる戸惑い検出方法を提供することを目的とする。
【０００７】
【課題を解決するための手段】
請求項１に係る戸惑い検出方法では、入力手段と表示手段とを備えたコンピュータが、所定時間間隔で視線検出手段により被験者の視線の位置を検出する視線位置検出のステップと、検出した視線の位置の変化を視線速度データとして生成する視線速度データ生成のステップと、所定個数の連続して生成された視線速度データを視線速度履歴データとして記憶する視線速度履歴データ記憶のステップと、前記視線速度履歴データを所定のパターンと比較することで、被験者が戸惑いの状態であるか否かを判断する戸惑い判定のステップとを実行することを要旨とする。
【０００８】
この構成に係る戸惑い検出方法では、視線位置検出のステップで検出した視線の位置を、視線速度データ生成のステップで速度データとして生成し、視線速度履歴データ記憶のステップで視線速度履歴データとして記憶する。この視線速度履歴データを戸惑い判定のステップで所定のパターンと比較することで被験者が戸惑いの状態であるか否かを判断することができるという効果がある。
【０００９】
請求項２に係る戸惑い検出方法では、請求項１に記載の戸惑い検出方法の構成に加え、前記視線位置検出のステップにおいて、所定時間間隔が、２００分の１秒以上、１５分の１以下であることを要旨とする。
【００１０】
この構成に係る戸惑い検出方法では、請求項１に記載の戸惑い検出方法の効果に加え、視線位置検出のステップにおける所定時間間隔を２００分の１秒以上、１５分の１以下とすることで、被験者の戸惑いの検出を実用的な時間の遅れ無しに、かつコンピュータの処理量を過多にせず処理することができるという効果がある。特に３０分の１秒においては、最も好ましい結果を得ることができた。
【００１１】
請求項３に係る戸惑い検出方法では、請求項１又は請求項２に記載の戸惑い検出方法の構成に加え、前記視線速度履歴データ記憶のステップにおいて、視線速度履歴データとして連続して検出される視線速度データの所定個数が少なくとも３０以上であることを要旨とする。
【００１２】
この構成に係る戸惑い検出方法では、請求項１又は請求項２に記載の戸惑い検出方法の効果に加え、視線速度履歴データとして連続して検出される視線速度データの所定個数を少なくとも３０以上とすることで、所定のパターンとの比較をするために必要な情報量を確保することができるという効果がある。
【００１３】
請求項４に係る戸惑い検出方法では、請求項１乃至請求項３のいずれか１項に記載の戸惑い検出方法の構成に加え、前記視線速度履歴データ記憶のステップにおいて、視線速度履歴データとして連続して検出される視線速度データの合計時間長が０．５秒以上５秒以下であることを要旨とする。
【００１４】
この構成に係る戸惑い検出方法では、請求項１乃至請求項３のいずれか１項に記載の戸惑い検出方法の効果に加え、前記視線速度履歴データ記憶のステップにおける視線速度履歴データとして連続して検出される視線速度データの合計時間長を０．５秒以上とすることで精度の信頼性を確保し、５秒以下とすることで処理速度の向上や処理の負担の軽減をはかることで、戸惑いの状態を判断するのに必要かつ十分な時間とすることができるという効果がある。
【００１５】
請求項５に係る戸惑い検出方法では、請求項１乃至請求項４のいずれか１項に記載の戸惑い検出方法の構成に加え、前記視線速度履歴データ記憶のステップにおいて、前記視線速度データ生成のステップで視線の速度データを生成する毎に前記視線速度履歴データを生成し記憶することを要旨とする。
【００１６】
この構成に係る戸惑い検出方法では、請求項１乃至請求項４のいずれか１項に記載の戸惑い検出方法の効果に加え、視線速度履歴データ記憶のステップにおける視線速度履歴データを生成し記憶するタイミングを視線速度データ生成のステップで視線速度データを生成する毎にすることで、検出時間の遅れを生じることなく精度良く戸惑いの状態を判断することができるという効果がある。
【００１７】
請求項６に係る戸惑い検出方法では、請求項１乃至請求項５のいずれか１項に記載の戸惑い検出方法の構成に加え、前記戸惑い判定のステップは、ニューラルネットワークを用いたパターンマッチングによることを要旨とする。
【００１８】
この構成に係る戸惑い検出方法では、請求項１乃至請求項５のいずれか１項に記載の戸惑い検出方法の効果に加え、戸惑い判定のステップを、ニューラルネットワークを用いたパターンマッチングによることで、非線形の複雑なパターンの視線速度履歴をもつ戸惑いの状態でも高速かつ正確に検出することができるという効果がある。
【００１９】
請求項７に係る戸惑い検出方法では、請求項６に記載の戸惑い検出方法の構成に加え、前記戸惑い判定のステップにおいて、前記ニューラルネットワークはフィードフォワード方式の階層型ニューラルネットワークであって、ノード関数がシグモイド関数を用いたことを要旨とする。
【００２０】
この構成に係る戸惑い検出方法では、請求項６に記載の戸惑い検出方法の効果に加え、ノード関数をシグモイド関数とすることで、戸惑い状態の検出精度を高めることができるという効果がある。
【００２１】
請求項８に係る戸惑い検出方法では、請求項７に記載の戸惑い検出方法の構成に加え、前記戸惑い判定のステップにおいて、比較される所定のパターンは、被験者に正解がない若しくは正解が重複する設問により解答を画面上で選択させるトラップを回答させる状態における前記視線速度履歴データに基づいて生成する学習のステップをさらに実行することを要旨とする。
【００２２】
この構成に係る戸惑い検出方法では、請求項７に記載の戸惑い検出方法の効果に加え、戸惑い判定のステップにおいて、比較される所定のパターンを、被験者に対して、正解がない若しくは正解が重複する設問により解答を画面上で選択させるトラップを回答させることで、直ちにかつ確実に被験者に戸惑いの状態を導出させ、この状態を学習することで比較される所定パターンの精度を高めることができるという効果がある。
【００２３】
請求項９に係る戸惑い検出方法では、請求項８に記載の戸惑い検出方法の構成に加え、前記学習のステップにおいて、前記トラップが表示されている時間中の特定の時間の視線速度履歴データのみを学習し、前記トラップが表示されている時間中の他の時間の視線速度履歴データは学習しないことを要旨とする。
【００２４】
この構成に係る戸惑い検出方法では、請求項８に記載の戸惑い検出方法の効果に加え、学習のステップにおいて、トラップが表示されている時間中の特定の時間、例えば最初の視線速度履歴データのみを学習し、トラップが表示されている時間中の他の視線速度履歴データは学習しないことで戸惑いが現に生じている確度の高いデータのみを用いて学習させ、確度の低いデータを排除することで学習効果を高めることができるという効果がある。
【００２５】
請求項１０に係る戸惑い検出方法では、請求項１乃至請求項９のいずれかに記載の戸惑い検出方法の構成に加え、前記戸惑い判定のステップにおいて、被験者が戸惑いの状態であるか否かを判断する視線速度履歴データと所定のパターンとの比較は、所定の閾値を基準として一致又は不一致の２値で行われることを要旨とする。
【００２６】
この構成に係る戸惑い検出方法では、請求項１乃至請求項９のいずれか１項に記載の戸惑い検出方法の効果に加え、戸惑い判定のステップにおける視線速度履歴データのパターンと所定のパターンとのパターンマッチングによる比較を所定の閾値を基準として一致又は不一致の２値で出力させることで、処理量を軽減させ処理を高速化することができるという効果がある。
【００２７】
請求項１１に係る戸惑い検出プログラムでは、入力手段と表示手段とを備えたコンピュータに、所定時間間隔で視線検出手段により被験者の視線の位置を検出する視線位置検出のステップと、検出した視線の位置の変化を視線速度データとして生成する視線速度データ生成のステップと、所定個数の連続して生成された視線速度データを視線速度履歴データとして記憶する視線速度履歴データ記憶のステップと、前記視線速度履歴データを所定のパターンと比較することで、被験者が戸惑いの状態であるか否かを判断する戸惑い判定のステップとを実行させることを要旨とする。
【００２８】
この構成に係る戸惑い検出プログラムでは、コンピュータに視線位置検出のステップで検出させた視線の位置を、視線速度データ生成のステップで視線速度データとして生成させ、視線速度履歴データ記憶のステップで視線速度履歴データとして記憶させる。この視線速度履歴データを戸惑い判定のステップで所定のパターンと比較させることで被験者が戸惑いの状態であるか否かを判断する処理を実行させることができるという効果がある。
【００２９】
【発明の実施の形態】
以下、本発明を具体化した一実施形態である戸惑い検出システム１により実行される人の戸惑い検出方法を図１〜図１１に従って説明する。ここで、「戸惑い」とは、本実施形態においては、人がコンピュータ端末等の操作時において、どのように操作したらよいか判らなくなる困惑状態をいうものとする。図１は、戸惑い検出システム１の構成を示すブロック図である。
【００３０】
（ハード構成）
戸惑い検出システム１は、ＣＰＵ３、ＲＡＭ４、ＲＯＭ５を備えた周知のパーソナルコンピュータから構成されるコンピュータ２を備える。このコンピュータ２には、入出力を制御するインタフェース６を介して、外部記憶装置であるＨＤＤ（ＨａｒｄＤｉｓｋＤｒｉｖｅ）７が接続されている。また、ＣＲＴ（Ｃａｔｈｏｄｅ−ＲａｙＴｕｂｅ）やＬＣ（ＬｉｑｕｉｄＣｒｙｓｔａｌ）からなる出力手段、表示手段であるディスプレー８を備える。なお、図示を省略したが検出を管理するためのモニタを備えてよく、また、出力手段としてプリンタなどを備えてもよい。また、入力手段であるキーボード９、マウス１０を備える。なお、シリアル入力が可能な他の入力手段を用いてもよい。また、被験者の全体を捉えるモニタカメラ１１と、被験者の眼球をアップで映し出す視線検出用カメラ１２と、視線認識対象の眼球Ｅの角膜上に結像させるための幾何学的な特徴を有する図形パターンの光源Ｐ１，Ｐ２を備える。
【００３１】
本実施形態の戸惑い検出システム１を構成するコンピュータ２は、図１では１つのＣＰＵ３を備えた１台のコンピュータ２により構成されているが、複数のＣＰＵを備え、或いは複数のコンピュータを備えて構成されてもよい。特に、ニューラルネットワークの処理は大量の演算を必要とするため、十分な能力を備えたものが望ましい。例えば、本発明者の実験では、動作クロック３ＧＨｚ程度のパーソナルコンピュータ４台で並列処理を行い、動作確認を行っている。また、処理を機能毎に複数のコンピュータに分散化してもよい。
【００３２】
図２はＨＤＤ７の記憶内容を模式的に示す図である。ＨＤＤ７は、ＯＳ（オペレーションシステム）７ａ、本発明の戸惑い検出プログラム７ｂや視線位置検出プログラム７ｃ等のプログラムが記憶される。また、戸惑いを示す視線速度履歴データのパターンが学習されたニューラルネットワーク７ｄ、さらに検出された視線速度データの一時保存ファイル７ｅ、ここから生成された視線速度履歴データのファイル７ｆなどのファイルが記憶される。
【００３３】
視線検出用カメラ１２、光源Ｐ１，Ｐ２は、視線速度検出のために視線の認識を行う。これらが本発明の視線検出手段の一部に相当する。視線認識に使われている特徴点としては、瞳孔、黒目、角膜反射像、水晶体反射像等様々なものが使われている。それらの中でも、角膜反射像は、輝度が高く抽出しやすいことから、非常によく使われている特徴点である。この特徴点を用いた視線認識技術の一つとしてアイマークレコーダがあげられる。これは、眼球の回転中心と眼球を観測する観測系と点光源の位置が固定されているという条件（具体的には、観測系、光源の付いた装置を頭部に固定する。）の下では、角膜反射像は眼球の回転に応じて移動するという性質を用いたものである。角膜上皮が球面の一部としてモデル化されている場合には、複数の角膜反射像の位置から角膜の曲率中心を求めることができる。
【００３４】
また、例えば、上述の特許文献２に開示されている視線認識装置などでは、頭部に検出のための装置を装着しなくても視線を認識することができる。本実施形態ではこの方法を例に視線の認識を説明し、詳細な説明は省略する。この視線の認識方法では、視線認識対象の眼球Ｅの角膜上に結像させるための幾何学的な特徴を有する図形パターンの光源Ｐ１、Ｐ２を被験者の視界の両サイドに被験者の眼球に照射する。角膜上に結像された図形パターンを撮像装置で撮像し、その結像した図形パターンの特徴・位置から眼球Ｅの角膜曲率中心を幾何学的に計算して求める。そして求められた眼球角膜曲率中心情報を用いて視線を認識する。
【００３５】
ここで、本実施態様の被験者の戸惑いの検出のための学習の概略について説明する。図３は、視線の位置を検出する方法を示す図である。まず、被験者はディスプレー８を見ながら、キーボード９、マウス１０が操作可能な状態で着座して待機する。このとき、図３に示すように被験者の眼球Ｅと略同じ高さの前方両サイドには、被験者の視界に入るように光源Ｐ１，Ｐ２が配置される。光源Ｐ１には十字形、光源Ｐ２には円形の光源パターンが形成されており、視線検出用カメラ１２により被験者の眼球に結像した光源パターンの映像を記録する。視線検出用カメラ１２は、例えばＣＣＤビデオカメラで、コンピュータ２に制御されて時刻情報とともにＨＤＤ７に映像のデータが記録される。
【００３６】
撮影された映像から図形パターンの特徴・位置がコンピュータ２によって認識され、眼球Ｅの角膜曲率中心が幾何学的に計算して求められる。そして求められた眼球角膜曲率中心情報を用いて視線を認識する。この際、眼球角膜曲率中心情報に加えて、瞳孔中心位置等の眼球の他の情報を用いて視線を認識する。このようにして本実施形態では、所定間隔、例えば３０分の１秒毎の間隔で視線が認識される。この手順が、本発明の所定時間間隔で視線検出手段により被験者の視線の位置を検出する視線位置検出のステップに相当する。
【００３７】
なお、本発明者の試行錯誤の結果、この視線位置検出のステップにおいては、所定時間間隔が、３０分の１秒が最も好ましいことがわかったが、少なくとも２００分の１秒以上、１５分の１以下の範囲内であればよい。１５分の１秒を超える時間間隔であっても視線の速度を把握できるが、それ以上の間隔であると、その時間間隔内に視線が往復した動きをした場合等の影響が大きくなりやすく、検出する速度の精度が下がり好ましくはない。一方、２００分の１秒以下であると、現状のコンピュータの処理能力では負担が大きくなる。もちろん将来的にコンピュータの処理能力が向上すれば２００分の１秒未満の時間間隔とすることも可能である。なお、眼球の動きは大きく視線を変える動きと、視線方向を保ったまま振動するような動きを示しているため、必ずしも戸惑いを検出するためには、間隔が短ければよいというわけではない。
【００３８】
そして、ここで認識された眼球角膜曲率中心の位置と、その３０分の１秒前に認識された眼球角膜曲率中心の位置の移動距離を視線速度として計測する。あるいは、このとき認識された視線の方向と３０分の１秒前に認識された視線の方向とから視線の角度の差を視線の角速度として計測する。そしてこれが１フレームの視線速度データとなる。この手順が、本発明の検出した視線の位置の変化を視線速度データとして生成する視線速度データ生成のステップに相当する。このとき測定時間は３０分の１秒で一定であるため、計測された角速度若しくは移動距離は、いずれも視線速度に比例する。
本発明でいう「視線速度」は、例えば、所定時間当たりの眼球中心からの角膜曲率中心の移動する角速度、若しくは眼球の角膜曲率中心の移動距離のいずれでもよい。視線速度の変化をパターンで判断するため、時系列に速度変化が把握できればよいからである。眼球全体は概ね球体であるから、いずれの数値であって、速度変化の傾向はほぼ同一となるから同等の精度が期待できるからである。また、眼球の正確な形状の把握の困難さなど、観測値が技術的な問題から理論的な真の数値に対して誤差が含まれていると考えられる場合がある。しかしそのような場合でも本発明では、速度変化のパターンマッチングにより判断するため、そのままの未加工の生データを用いることができ、あえて修正や加工をする必要がない。比較するいずれのパターンにも同等に誤差が含まれることになるからである。したがって、被験者による学習やテストなども、観測条件を同一にする限り極めて簡易な処理とすることができる。
【００３９】
次に、このように検出された視線速度データが視線速度履歴データとしてＨＤＤ７に記憶される。この「視線速度履歴データ」は、連続した５０フレームの視線速度データを１つの塊として「パターン」としたものである。つまり、３０分の１秒毎で５０フレームであるので、１つの視線速度履歴データのパターンは、およそ１．７秒の時間長となる。
【００４０】
３０分の１秒毎に集計する視線速度履歴データをシフトしながら直近の連続する５０フレーム分からこのパターンを生成する。この手順が、本発明の所定個数の連続して生成された視線速度データを視線速度履歴データとして記憶する視線速度履歴データ記憶のステップに相当する。視線速度履歴データ記憶のステップにおいて、視線速度生成のステップで視線の速度データを生成する毎に視線速度履歴データを記憶することが好ましい。ただし、処理の負担などを考慮して、視線の速度データを生成する毎ではなく、１つおき、あるいはそれ以上の間隔で視線速度履歴データを生成するようにすることもできる。戸惑いを検出する被験者から得たパターンを「比較パターン」、戸惑い状態が導出された被験者から学習して得たパターンを「戸惑いパターン」という。但し、「戸惑いパターン」は、ニューラルネットワークにより記憶された概念的なもので、視線速度履歴データとして顕在化されたものではない。
【００４１】
なお、本実施形態では、望ましい例として視線速度履歴データを構成する連続した視線速度データの数を５０フレームとしているが、視線速度履歴データとして連続して検出される速度データの所定個数が少なくとも３０以上であれば、十分な精度となる。また、本実施形態では、望ましい例として、１つの視線速度履歴データのパターンの時間長が、およそ１．７秒の時間長とされているが、視線速度履歴記憶データのステップにおいて、視線速度履歴データとして連続して検出される速度データの時間長が０．５秒以上５秒以下であれば好ましい。視線速度履歴データの時間長が０．５秒未満であるとサンプリングの時間間隔にもよるが、パターンとしてデータ不足になりやすい。一方、時間長が５秒を超えると、時間内に戸惑い状態が解消してしまう場合もあり、却って精度が低下する虞がある。
【００４２】
（トラップの表示）次に、戸惑い状態にある被験者の視線速度履歴データのパターンをニューラルネットワークが記憶するための「戸惑いパターン」を取得する「トラップ」による学習を説明する。本実施形態では、戸惑い判定のステップにおいて、「比較パターン」とパターンマッチングにより比較される戸惑い状態か否かの基準とされる所定のパターンである「戸惑いパターン」は、学習によりニューロネットワークの中にその特徴が取得される。この学習は、被験者に誤操作をしやすい操作をさせたり、「正解がない設問」若しくは「正解が重複する設問」により解答を画面上で選択させるトラップを回答させたりする。そして、戸惑い状態における視線速度履歴データを「教師」として、ニューラルネットワークに入力する。この手順は、本発明の学習のステップに相当する。学習においては、被験者にはコンピュータのモニタを見せながら、「戸惑い」導出用のプログラムが表示させるディスプレー８の画面の指示に従って、キーボード９、マウス１０からキー入力、マウス入力をさせる。本実施形態では、このプログラムで表示させる「戸惑い」導出用の画面を「トラップ」、このプログラムを「トラッププログラム」と呼ぶ。
【００４３】
（トラップＴ０）このトラッププログラムは、例えば、アプリケーションソフトウエアのインストール画面を模した画面を表示させる。被験者が通常馴染んでいるＯＳにより示されるアプリケーションソフトのインストール画面と同様の画面が連続して表示される。ここには、このＯＳで共通な画面が示され、例えば、操作に必要な「次へ」ボタン、「戻る」ボタン、「キャンセル」ボタンも、このＯＳに共通な配列で表示されている。ところが、図４に示すように、このトラップＴ０では、「次へ」ボタンＴ０ａと、「戻る」ボタンＴ０ｂが通常の配列とは逆になっている。同じような正しい配列のメッセージボックスが連続して出現した後で、全体としてはそれまでのメッセージボックスと同じであるが、トラップＴ０では、操作ボタンだけが図４に示すように通常の配列と異なった配列で表示される。そのため、被験者は操作ミスを起こしそうになり戸惑いを生じるか、さらに誤操作をしてしまった場合もやはり戸惑いを生じる。従って確実に「通常状態（戸惑いを生じていない状態）」にある被験者に「戸惑い状態（戸惑いを生じている状態）」を導出できる。
（トラップＴ１）また、図５に示すトラップＴ１では、「目標値」Ｔ１ａと「現在値」Ｔ１ｂが表示され、「現在値」Ｔ１ｂにボタンＴ１ｃ若しくはボタンＴ１ｄを選択してクリックすることでその選択した数が加算されて目標値にするものである。しかし、「現在値９」に対して「＋２」しても「−２」しても、「目標値１０」にはならないため、被験者は戸惑い状態となる。極めて、分かり易い設定であり、かつ被験者は与えられた条件では解決できないことが短時間にわかるため、戸惑い状態の発生が速やかで、発生時間が管理しやすいものである。
【００４４】
（トラップＴ２）図６に示すトラップＴ２では、正解の選択肢がある計算問題が順次示された後にトラップＴ２が表示される。トラップＴ２では問題Ｔ２ａに示された「２＋２＝？」という、瞬時に計算できる問題に対して、解答Ｔ２ｂが「５」、解答Ｔ２ｃが「６」、解答２ｄが「７」と、正解の「４」に当たる解答がない。一定時間後、正解が候補の中に出現する。従って、確実に被験者に戸惑い状態を導出することができる。
【００４５】
（トラップＴ３）図７に示すトラップＴ３では、指示項目Ｔ３ａに示された「次の数字を選択して下さい２８」という指示に対して、解答Ｔ３ｂが「２８」、解答Ｔ３ｃが「２８」、解答Ｔ３ｄが「２８」といずれも正解である。そのため、被験者は、これらの解答のいずれを選択すべきか根拠を見いだせず、極めて短時間に被験者に戸惑い状態を導出することができる。
【００４６】
（トラップＴ４）そして、図８に示すトラップＴ４では、図５に示すトラップＴ１と同様に、順次設問が表示されるが、現在値Ｔ４ｂを目標値Ｔ４ａにするための加算又は減算するボタンが表示されるべき設問であるにも拘わらず、解答に必要なボタン表示がなく、解答不能になる。この場合も被験者に直ちに戸惑い状態を導出させることができる。
【００４７】
以上例示したようなトラップＴ０〜トラップＴ４によれば、設定した時間に表示することで被験者に直ちに戸惑い状態を導出できる。そのため、確実に戸惑い状態の視線をサンプリングすることができ、確実に戸惑い状態にある中で視線速度履歴データを採取して入力し、適切な「教師」として学習させることができる。
【００４８】
（トラップ以外の戸惑い）なお、上記トラップは、戸惑い状態を所定時刻に確実に導出させることができるため、学習の効果を高めることができる。ただし、このようなトラップによらなくても、正しい操作であっても経験的に戸惑いを生じる操作、例えば、表示している意味が分かりにくい、或いは誤操作が著しく多い、被験者が操作を停止して考え込む等々明らかな戸惑い状態を生じている操作を再現して学習させることもできる。
【００４９】
このトラップＴ０〜Ｔ４では、短時間のうちに確実に被験者を戸惑い状態にできるが、必ずしもトラップを表示している間、ずっと被験者に戸惑い状態が継続されて導出されている訳ではない。つまり、トラップＴ０乃至トラップＴ４等を表示してから、被験者がこれを理解して戸惑い状態になるまでには被験者の違いやトラップの種類により若干のリードタームの差があり、さらに状況を理解し戸惑い状態が解消するまでにも時間差がある。そこで、学習のステップにおいて、トラップが表示されている時間中の特定の時間、例えば、表示から３秒経過したときを戸惑い状態としてサンプリングする。それ以外は、戸惑い状態か通常状態かの判別が困難であるため、戸惑い状態としても通常状態としても学習のデータとしてサンプリングしないようにする。このような構成とすることで、確実に適切な「教師」のみを学習させることで学習の精度を向上させている。ここで、図９は、学習のステップにおけるニューラルネットワークの学習を示す模式図である。ここでは、「H istory of eye movement speed」と表示された部分ＥＭが、視線速度を示し、網がけで表示された部分がトラップｔが表示された時間である。その下部の「０００…１」で表示された部分がサンプリングのタイミングを示す。ここに示すようにトラップｔが表示されるまでのサンプリングＳ０では通常状態を示す「０」としてサンプリングしている。また、トラップｔが表示された最初のサンプリングＳ１では、戸惑い状態を示す「１」のサンプルとして学習させるが、その後に続くサンプリングＳ２は、「０」とも「１」ともサンプリングしない。トラップｔの表示が終了した後はサンプリングＳ３で通常状態の「０」としてサンプリングする。
【００５０】
（戸惑い検出）次に、以上のような学習を行ったニューラルネットワークを用いて被験者の戸惑いを検出する方法について説明する。上述のように被験者は視線の検出を行える状態で、戸惑いを検出したい作業を行う。この作業は、パーソナルコンピュータのアプリケーションソフトの操作や、銀行のＡＴＭ（Ａｕｔｏｍａｔｅｄ−ＴｅｌｌｅｒＭａｃｈｉｎｅ）の操作、その他機械の操作用コンソールなど、マン−マシンインタフェースに関わるものが代表的なものである。これらは、操作時に戸惑いを生じないことがマン−マシンインタフェースの向上に直接関係するためである。また、これらは操作の履歴が時間情報と共に再現しやすいからである。もちろん作業はこれらに限らず、印刷された文書や写真、映像などを見せたときの反応などを調べることもできる。本実施形態では、視線の認識を行うため、被験者が見ている対象物を画面表示しながら、その画像上でアイポイントを表示するようなこともできる。また、モニタカメラ１１により被験者自身の表情や、動作を映像として記録しておくこともできる。
【００５１】
本実施形態では、視線速度履歴データの作成と同時にモニタカメラ１１で被験者のデジタルビデオ映像を記録する。これは、時刻情報とともに記録され、時刻情報は、画面に時刻をスーパインポーズをしたり、視線速度履歴データとの同期をはかるために用いられる。このデジタルビデオ映像からは、被験者の態度、表情などが映し出され、戸惑い状態の発現との関連を観察できる。
【００５２】
もちろん、マルチ画面として、被験者が見ている表示画面、被験者の表情、被験者の眼球、観測された数値・パターン、戸惑いの発現の表示を同一画面に表示することも好ましい。
【００５３】
このような作業を行いつつ、前記視線速度履歴データをニューラルネットワークでパターンマッチングにより比較することで、被験者が戸惑いの状態であるか否かを判断する。この手順が本発明の戸惑い判定のステップに相当する。この手順はニューラルネットワークを用いたパターンマッチングにより、パターンが一致するとの判断、即ち、ニューラルネットワークが「１」を出力した場合は、戸惑い状態が発現していると判断する。また、パターンが一致しないと判断された場合は「０」が出力される。即ち、本実施形態では、戸惑い判定のステップにおいて、被験者が戸惑いの状態であるか否かを判断する視線速度履歴と所定のパターンとの比較は、所定の閾値を基準として一致を示す「１」、又は不一致を示す「０」の２値のいずれかで出力される。
【００５４】
本実施形態の戸惑い判定のステップでは、ニューラルネットワークにより戸惑いの判定をしている。そのため、他の方法に比較してパターンマッチングの精度が高く確実に戸惑いの発現を捉えることができる。本実施形態のニューラルネットワークは、教師あり学習アルゴリズムを備えた階層型ニューラルネットワークであって、入力された信号は内部で前向きのみに流れるフィードフォワード方式で処理される。また、ノード関数はシグモイド関数を用いている（図１１参照）。本発明者らは、トラップＴ０〜Ｔ４を用いた実験を行い、これらのデータを使ってニューラルネットワークによる戸惑い状態検出モデルを作成した。実験データを学習データとして使った結果、収束するモデルが作成された。そして学習後のニューラルネットワークの認識結果を図１０に示す。ここに示すように、全視線速度履歴ＷＨに対して、学習したトラップを示した部分ＰＴでは、検出結果ＤＲに示すように戸惑い状態として検出されている。さらに、実験データに５％のノイズを加えたデータを戸惑い状態検出モデルに与え、戸惑い状態の検出テストを行った。その結果、全ての戸惑い状態ポイントを特定することができた。
【００５５】
次に、作成した戸惑い状態検出ニューラルネットワークモデルを検証するために、未知データとして被験者１０人を対象にトラップＴ２の基本パターン画面を使って検証実験を行った。検証実験データをモデルに入力して戸惑い状態検出を行った。ここで図１２は、検証実験データをモデルに入力して未知の戸惑い状態の検出を行った結果を示す図である。図は、横軸が時間軸であり、上段の枠の部分が、戸惑い状態パターン画面であるトラップｔ１〜ｔ１０が表示されていた時間である。下段の下に伸びている線がモデルが戸惑い状態と判定した箇所を示している。その結果、図１２に示すように戸惑い状態検出モデルは、１０の未知のトラップｔ１〜ｔ１０に対して、ｔ１０以外は戸惑い状態を検出し、９０％の検出率を示した。
【００５６】
上記実施形態の戸惑い検出方法によれば、以下のような特徴を得ることができる。
・上記戸惑い検出方法では、被験者の視線を観察するだけで、他の要素を含まずに被験者の戸惑いを検出することができるという効果がある。したがって、被験者に負担をかけず、かつ極めて容易に被験者の戸惑いを検出できる。このように戸惑いを正確に検出することで、通常の観察では摘出できない戸惑い状態の発生を客観的かつ確実に検出することで、マン−マシンインターフェースの問題部分を摘出することができる。
【００５７】
・また、戸惑い状態の判定にニューラルネットワークを用いているため、複雑な視線速度履歴データを的確に判断し、精度の高い検出をすることができるという効果がある。特に、本実施形態のニューラルネットワークは、パターンマッチングに適した教師あり学習アルゴリズムを備えた階層型ニューラルネットワークである。加えて入力された信号は内部で前向きのみに流れるフィードフォワード方式で処理され、ノード関数はシグモイド関数を用いている。そのため、パーソナルコンピュータなどを用いて、高い精度の判定を行うことができるという効果がある。
【００５８】
・また、ニューラルネットワークの学習に、トラップＴ０〜Ｔ４を用いているため、精度の高い学習を行わせることができるという効果がある。
なお、上記実施形態は以下のように変更してもよい。
【００５９】
○ 本実施形態では、戸惑い判定のステップを、フィードフォワード方式のニューラルネットワークを用いたパターンマッチングにより処理しているが、バックプロパゲーション（誤差逆伝播法）の学習アルゴリズムで行ってもよい。その他にも、ボルツマンマシン、これを簡易化した平均場近似学習マシンや、ＲＢＦネット（放射状基関数ネット）、学習ベクトル量子化、ファジー・アートマップ、コグニトロンなど種々の技法を採用又は応用しうるものである。
【００６０】
○ 本実施形態では、戸惑い判定のステップを、入力信号の処理の流れでノード関数がシグモイド関数を用いたニューラルネットワークを用いているが、他にも閾値関数などを用い得る。また、シグモイド関数や閾値関数においても、さらに「ゆらぎ」をプラスした処理をしてもよく、入力和をそのまま出力する線形関数などによることも考えられる。また、ボルツマンマシンであれば傾きを次第に急にする。
【００６１】
【発明の効果】
以上、詳述したように、本願発明では、本発明は、視線を観察するだけで、被験者の戸惑いを自動的にかつ適切に検出できるという効果がある。
【図面の簡単な説明】
【図１】戸惑い検出システム１の構成を示すブロック図。
【図２】ＨＤＤ７の記憶内容を模式的に示す図。
【図３】視線の位置を検出する方法を示す図。
【図４】トラップＴ０を示す図。
【図５】トラップＴ１を示す図。
【図６】トラップＴ２を示す図。
【図７】トラップＴ３を示す図。
【図８】トラップＴ４を示す図。
【図９】ニューラルネットワークの学習を示す模式図。
【図１０】学習後の全視線速度履歴とトラップの位置と戸惑いの検出の関係を示す図。
【図１１】シグモイド関数の例を示す図。
【図１２】検証実験データをモデルに入力して未知の戸惑い状態の検出を行った結果を示す図。
【符号の説明】
１…戸惑い検出装置、２…コンピュータ、３…ＣＰＵ、４…ＲＡＭ、５…ＲＯＭ、６…インタフェース、７…ＨＤＤ、８…ディスプレー、９…キーボード、１０…マウス、１１…モニタカメラ、１２…視線検出用カメラ、Ｐ１，Ｐ２…光源、Ｔ０〜Ｔ４…トラップ[0001]
BACKGROUND OF THE INVENTION
The present invention relates to a confusion detection method and program, and more particularly to a confusion detection method for automatically detecting a confusion state only by observing a line of sight.
[0002]
[Prior art]
Conventionally, attempts have been made to detect human emotions by external observation. It is used, for example, to extract problems by picking up operations that the user feels uncomfortable in order to improve the man-machine interface. As the method, various data such as face position, arm movement, voice, muscle change, sweating, heart rate, blood pressure or facial expression are detected, and the emotion of the subject is estimated based on these detection data. It was. However, only one type of detection data does not improve the accuracy of estimation, and there are many that estimate emotion based on a plurality of detection data.
[0003]
Therefore, a line-of-sight information analysis apparatus as shown in Patent Document 1 has been proposed. In this line-of-sight information analyzer, the eye movement is detected by the eye movement detector, the time-series change of the eye detected by the analyzer is analyzed in the frequency domain, and the image input unit is displayed as input from the image input unit Analyzing the contents of an image with a display content analysis device and integrating them with an integrated analysis unit, we obtain highly reliable data on the subject's psychological observation state and objective evaluation of the image (See summary). With such a line-of-sight information analysis device, the subject's decision-making process for evaluating an image is correlated with the change in behavior seen on the time axis of eye movement and the displayed image content and eye movement. It is possible to obtain an objective evaluation result for a human image. Note that Patent Literature 2 discloses an example of a method for detecting the position of the line of sight.
[0004]
[Patent Document 1]
Japanese Patent Laid-Open No. 6-162 FIG.
[Patent Document 2]
Japanese Patent Laid-Open No. 6-319701
[0005]
[Problems to be solved by the invention]
However, in this line-of-sight information analysis apparatus, when the image content is known and the behavior of the eyeball is unknown, or when the behavior of the eyeball is known and the image content is unknown, each unknown amount is represented by a prediction function described in advance. There is a problem that even though it can be estimated, it cannot be detected even in actual confusion.
[0006]
In order to solve the above-described problems, an object of the present invention is to provide a confusion detection method capable of automatically detecting a confusion of a subject simply by observing a line of sight.
[0007]
[Means for Solving the Problems]
In the confusion detection method according to claim 1, a step of gaze position detection in which a computer including input means and display means detects the gaze position of the subject by the gaze detection means at predetermined time intervals, and the detected gaze position A line-of-sight speed data generation step for generating a change in the eye-gaze speed data, a line-of-sight speed history data storage step for storing a predetermined number of continuously generated line-of-sight speed data as line-of-sight speed history data, and the line-of-sight speed history The gist of the present invention is to execute a puzzle determination step of determining whether or not the subject is in a puzzled state by comparing the data with a predetermined pattern.
[0008]
In the confusion detection method according to this configuration, the line-of-sight position detected in the line-of-sight position detection step is generated as speed data in the line-of-sight speed data generation step, and is stored as line-of-sight speed history data in the line-of-sight speed history data storage step. . There is an effect that it is possible to determine whether or not the subject is in a confused state by comparing this line-of-sight speed history data with a predetermined pattern in the confusing determination step.
[0009]
In the puzzle detection method according to claim 2, in addition to the configuration of the puzzle detection method according to claim 1, in the step of detecting the gaze position, the predetermined time interval is 1/200 second or more and 1/15 or less. It is a summary.
[0010]
In the confusion detection method according to this configuration, in addition to the effect of the confusion detection method according to claim 1, by setting the predetermined time interval in the step of gaze position detection to 1/200 second or more and 1/15 or less, There is an effect that the detection of the subject's confusion can be processed without a practical time delay and without excessively processing the computer. In particular, the most preferable result could be obtained in 1/30 second.
[0011]
In the puzzle detection method according to claim 3, in addition to the configuration of the puzzle detection method according to claim 1 or 2, the line of sight continuously detected as line of sight velocity history data in the step of storing the line of sight velocity history data. The gist is that the predetermined number of velocity data is at least 30 or more.
[0012]
In the confusion detection method according to this configuration, in addition to the effect of the confusion detection method according to claim 1 or claim 2, the predetermined number of visual velocity data continuously detected as visual velocity history data is at least 30 or more. Thus, there is an effect that an amount of information necessary for comparison with a predetermined pattern can be ensured.
[0013]
In addition to the configuration of the confusion detection method according to any one of claims 1 to 3, in the confusion detection method according to claim 4, in the step of storing the line-of-sight speed history data, the line-of-sight speed history data is continuously recorded. The total time length of the line-of-sight velocity data detected in this manner is from 0.5 seconds to 5 seconds.
[0014]
In the confusion detection method according to this configuration, in addition to the effect of the confusion detection method according to any one of claims 1 to 3, detection is continuously detected as visual line speed history data in the step of storing the visual line speed history data. The reliability of accuracy is ensured by setting the total time length of the line-of-sight velocity data to 0.5 seconds or more, and it is confusing by improving the processing speed and reducing the processing burden by making it 5 seconds or less. There is an effect that it is possible to make the time necessary and sufficient to determine the state of
[0015]
In the confusion detection method according to claim 5, in addition to the constitution of the confusion detection method according to any one of claims 1 to 4, in the step of storing the line-of-sight velocity history data, the step of generating the line-of-sight velocity data The gist speed history data is generated and stored every time the gaze speed data is generated.
[0016]
In the confusion detection method according to this configuration, in addition to the effect of the confusion detection method according to any one of claims 1 to 4, timing for generating and storing gaze speed history data in the step of gaze speed history data storage Whenever the visual velocity data is generated in the visual velocity data generation step, there is an effect that it is possible to accurately determine the confusion state without causing a detection time delay.
[0017]
In the puzzle detection method according to claim 6, in addition to the configuration of the puzzle detection method according to any one of claims 1 to 5, the puzzle determination step is performed by pattern matching using a neural network. The gist.
[0018]
In the confusion detection method according to this configuration, in addition to the effect of the confusion detection method according to any one of claims 1 to 5, the confusion determination step is performed by pattern matching using a neural network. Even in a confused state having a gaze speed history of a complicated pattern, it is possible to detect at high speed and accurately.
[0019]
In the puzzle detection method according to claim 7, in addition to the configuration of the puzzle detection method according to claim 6, in the puzzle determination step, the neural network is a feed-forward hierarchical neural network, and a node function is The gist is that a sigmoid function is used.
[0020]
In the confusion detection method according to this configuration, in addition to the effect of the confusion detection method according to the sixth aspect, there is an effect that the detection accuracy of the confusion state can be improved by making the node function a sigmoid function.
[0021]
In the puzzle detection method according to claim 8, in addition to the configuration of the puzzle detection method according to claim 7, in the puzzle determination step, the predetermined pattern to be compared is a question in which the subject has no correct answer or duplicate correct answers. The gist of the present invention is to further execute a learning step that is generated based on the line-of-sight velocity history data in a state in which a trap for selecting an answer on the screen is answered.
[0022]
In the confusion detection method according to this configuration, in addition to the effect of the confusion detection method according to claim 7, in the step of confusion determination, the predetermined pattern to be compared has no correct answer or duplicate correct answers for the subject. The effect of being able to improve the accuracy of the predetermined pattern to be compared by letting the subject derive the state of confusion immediately and surely by letting the answer to select the answer on the screen by the question and learning this state There is.
[0023]
In the puzzle detection method according to claim 9, in addition to the configuration of the puzzle detection method according to claim 8, in the learning step, only gaze speed history data at a specific time in the time when the trap is displayed is obtained. The gist is that the eye gaze speed history data at other times during the time when the trap is displayed is not learned.
[0024]
In the confusion detection method according to this configuration, in addition to the effect of the confusion detection method according to claim 8, in the learning step, only a specific time during the time when the trap is displayed, for example, only the first gaze speed history data is obtained. Learning and not learning other gaze speed history data during the time when the trap is displayed, learning by using only highly accurate data that is actually confused and eliminating low accuracy data There is an effect that the effect can be enhanced.
[0025]
In the puzzle detection method according to claim 10, in addition to the configuration of the puzzle detection method according to any one of claims 1 to 9, it is determined whether or not the subject is in a puzzle state in the puzzle determination step. The gist speed history data to be compared with the predetermined pattern is summarized to be a binary value that matches or does not match with a predetermined threshold as a reference.
[0026]
In the confusion detection method according to this configuration, in addition to the effect of the confusion detection method according to any one of claims 1 to 9, a pattern of line-of-sight speed history data and a predetermined pattern in the confusion determination step By outputting the comparison by matching with binary values that match or do not match with a predetermined threshold as a reference, there is an effect that the processing amount can be reduced and the processing speed can be increased.
[0027]
In the puzzle detection program according to claim 11, a step of gaze position detection in which a gaze detection unit detects a gaze position of a subject by a gaze detection unit at a predetermined time interval on a computer including an input unit and a display unit, and the detected gaze position A line-of-sight speed data generation step for generating a change in the eye-gaze speed data, a line-of-sight speed history data storage step for storing a predetermined number of continuously generated line-of-sight speed data as line-of-sight speed history data, and the line-of-sight speed history The gist of the present invention is to execute a puzzle determination step of determining whether or not the subject is in a puzzled state by comparing the data with a predetermined pattern.
[0028]
In the confusion detection program according to this configuration, the line-of-sight position detected by the computer in the line-of-sight position detection step is generated as line-of-sight speed data in the line-of-sight speed data generation step, and the line-of-sight speed history data is stored in the line-of-sight speed history data storage step. Store as data. By comparing this line-of-sight speed history data with a predetermined pattern in the puzzle determination step, there is an effect that a process for determining whether or not the subject is in a puzzle state can be executed.
[0029]
DETAILED DESCRIPTION OF THE INVENTION
Hereinafter, a human confusion detection method executed by the confusion detection system 1 according to an embodiment of the present invention will be described with reference to FIGS. Here, in the present embodiment, “confused” refers to a confusion state in which a person cannot know how to operate a computer terminal or the like. FIG. 1 is a block diagram showing a configuration of the puzzle detection system 1.
[0030]
(Hardware configuration)
The puzzle detection system 1 includes a computer 2 configured by a known personal computer including a CPU 3, a RAM 4, and a ROM 5. An HDD (Hard Disk Drive) 7 that is an external storage device is connected to the computer 2 via an interface 6 that controls input / output. Moreover, the display 8 which is an output means and display means which consist of CRT (Cathode-Ray Tube) and LC (Liquid Crystal) is provided. Although not shown, a monitor for managing detection may be provided, and a printer or the like may be provided as output means. In addition, a keyboard 9 and a mouse 10 are provided as input means. Note that other input means capable of serial input may be used. In addition, a monitor camera 11 that captures the entire subject, a gaze detection camera 12 that projects the subject's eyeball up, and a graphic pattern having a geometric feature for forming an image on the cornea of the eyeball E that is subject to gaze recognition. Light sources P1 and P2.
[0031]
The computer 2 constituting the puzzle detection system 1 according to the present embodiment is configured by one computer 2 having one CPU 3 in FIG. 1, but includes a plurality of CPUs or a plurality of computers. May be. In particular, the processing of the neural network requires a large amount of computation, so that it is desirable to have sufficient capability. For example, in the experiment of the present inventor, parallel processing is performed by four personal computers having an operation clock of about 3 GHz, and the operation is confirmed. Further, the processing may be distributed to a plurality of computers for each function.
[0032]
FIG. 2 is a diagram schematically showing the contents stored in the HDD 7. The HDD 7 stores programs such as an OS (Operation System) 7a, a puzzle detection program 7b of the present invention, and a line-of-sight position detection program 7c. Also stored are a neural network 7d in which a pattern of gaze speed history data indicating confusion has been learned, a temporarily saved file 7e of detected gaze speed data, a file 7f of gaze speed history data generated therefrom, and the like. The
[0033]
The line-of-sight detection camera 12 and the light sources P1 and P2 perform line-of-sight recognition for line-of-sight speed detection. These correspond to a part of the line-of-sight detection means of the present invention. Various features such as pupils, black eyes, cornea reflection images, and lens reflection images are used as feature points used for line-of-sight recognition. Among them, the cornea reflection image is a feature point that is very often used because of its high brightness and easy extraction. One of the line-of-sight recognition techniques using these feature points is an eye mark recorder. This is under the condition that the center of the eyeball, the observation system for observing the eyeball, and the position of the point light source are fixed (specifically, the observation system and the device with the light source are fixed to the head). Then, the cornea reflection image uses the property of moving according to the rotation of the eyeball. When the corneal epithelium is modeled as a part of a spherical surface, the center of curvature of the cornea can be obtained from the positions of a plurality of corneal reflection images.
[0034]
Further, for example, in the gaze recognition device disclosed in Patent Document 2 described above, it is possible to recognize the gaze without wearing a detection device on the head. In the present embodiment, the recognition of the line of sight will be described using this method as an example, and detailed description thereof will be omitted. In this line-of-sight recognition method, the subject's eyeball is irradiated on both sides of the subject's field of vision with light sources P1 and P2 having a geometric feature for forming an image on the cornea of the eyeball E to be recognized. . The figure pattern imaged on the cornea is imaged by an imaging device, and the corneal curvature center of the eyeball E is calculated geometrically from the feature / position of the imaged figure pattern. Then, the line of sight is recognized using the obtained eyeball corneal curvature center information.
[0035]
Here, an outline of learning for detecting the confusion of the subject according to the present embodiment will be described. FIG. 3 is a diagram illustrating a method for detecting the position of the line of sight. First, while looking at the display 8, the subject sits in a state where the keyboard 9 and the mouse 10 can be operated and stands by. At this time, as shown in FIG. 3, light sources P <b> 1 and P <b> 2 are arranged on both front sides that are substantially the same height as the eyeball E of the subject so as to enter the field of view of the subject. The light source P1 is formed with a cross-shaped light source pattern, and the light source P2 is formed with a circular light source pattern, and an image of the light source pattern formed on the eyeball of the subject by the line-of-sight detection camera 12 is recorded. The line-of-sight detection camera 12 is a CCD video camera, for example, and is controlled by the computer 2 to record video data on the HDD 7 together with time information.
[0036]
The feature / position of the figure pattern is recognized by the computer 2 from the photographed image, and the corneal curvature center of the eyeball E is obtained by geometric calculation. Then, the line of sight is recognized using the obtained eyeball corneal curvature center information. At this time, the line of sight is recognized using other information of the eyeball such as the pupil center position in addition to the eyeball corneal curvature center information. In this way, in the present embodiment, the line of sight is recognized at a predetermined interval, for example, every 30 seconds. This procedure corresponds to a gaze position detection step in which the gaze detection means detects the gaze position of the subject at a predetermined time interval according to the present invention.
[0037]
As a result of trial and error by the present inventor, it was found that the predetermined time interval is most preferably 1/30 second in this gaze position detection step, but at least 1/200 second or more and 15 minutes. It may be within the range of 1 or less. Even if it is a time interval exceeding 1/15 second, the speed of the line of sight can be grasped, but if it is longer than that, the influence such as when the line of sight moves back and forth within the time interval is likely to increase, The accuracy of the detection speed decreases, which is not preferable. On the other hand, if it is 1/200 second or less, the load of the current computer processing capacity increases. Of course, if the processing capability of the computer is improved in the future, the time interval can be set to less than 1/200 second. Note that the movement of the eyeball shows a movement that greatly changes the line of sight and a movement that vibrates while maintaining the direction of the line of sight, so that the interval is not necessarily short in order to detect confusion.
[0038]
Then, the movement distance between the position of the center of the eyeball corneal curvature recognized here and the position of the center of the eyeball corneal curvature recognized 30 seconds before that is measured as the visual line velocity. Alternatively, the difference in the gaze angle is measured as the gaze angular velocity from the gaze direction recognized at this time and the gaze direction recognized 1/30 second ago. This becomes the gaze speed data of one frame. This procedure corresponds to a line-of-sight speed data generation step of generating a change in the position of the line-of-sight detected by the present invention as line-of-sight speed data. At this time, since the measurement time is constant at 1/30 second, the measured angular velocity or moving distance is proportional to the line-of-sight velocity.
The “line-of-sight velocity” referred to in the present invention may be, for example, either the angular velocity of movement of the corneal curvature center from the eyeball center per predetermined time or the movement distance of the corneal curvature center of the eyeball. This is because the change in the line-of-sight speed is determined by the pattern, and it is only necessary to grasp the speed change in time series. This is because since the entire eyeball is generally a sphere, any numerical value and the tendency of speed change are almost the same, so that equivalent accuracy can be expected. In addition, there are cases where the observed value includes an error from the theoretical true numerical value due to technical problems, such as difficulty in grasping the exact shape of the eyeball. However, even in such a case, in the present invention, since the determination is made by the pattern matching of the speed change, the raw raw data can be used as it is, and there is no need to modify or process it. This is because any pattern to be compared includes an error equally. Therefore, learning and testing by the subject can be extremely simple as long as the observation conditions are the same.
[0039]
Next, the line-of-sight speed data detected in this way is stored in the HDD 7 as line-of-sight speed history data. This “line-of-sight speed history data” is a series of 50 frames of line-of-sight speed data as a single “pattern”. That is, since there are 50 frames every 1 / 30th of a second, the pattern of one gaze speed history data has a time length of about 1.7 seconds.
[0040]
This pattern is generated from the latest 50 consecutive frames while shifting the line-of-sight speed history data to be aggregated every 1/30 second. This procedure corresponds to the step of storing gaze speed history data in which a predetermined number of continuously generated gaze speed data of the present invention is stored as gaze speed history data. In the step of storing the line-of-sight speed history data, it is preferable to store the line-of-sight speed history data every time the line-of-sight speed data is generated in the line-of-sight speed generation step. However, in consideration of the processing load, the line-of-sight speed history data may be generated at every other interval or more than every time the line-of-sight speed data is generated. A pattern obtained from a subject who detects confusion is referred to as a “comparison pattern”, and a pattern obtained by learning from a subject from whom a confusion is derived is referred to as a “confused pattern”. However, the “confusing pattern” is a conceptual pattern stored by the neural network, and is not manifested as line-of-sight speed history data.
[0041]
In the present embodiment, as a desirable example, the number of continuous line-of-sight speed data constituting the line-of-sight speed history data is 50 frames, but the predetermined number of speed data continuously detected as the line-of-sight speed history data is at least 30. If it is above, it will become sufficient precision. In this embodiment, as a desirable example, the time length of one line-of-sight speed history data pattern is approximately 1.7 seconds, but in the step of line-of-sight speed history storage data, It is preferable that the time length of the speed data continuously detected as data is 0.5 seconds or more and 5 seconds or less. If the time length of the line-of-sight speed history data is less than 0.5 seconds, the data tends to be insufficient as a pattern although it depends on the sampling time interval. On the other hand, if the time length exceeds 5 seconds, the puzzled state may be resolved within the time, and the accuracy may be lowered.
[0042]
(Display of Trap) Next, learning by “trap” for acquiring a “confused pattern” for the neural network to store the pattern of the gaze speed history data of the subject who is in a confused state will be described. In this embodiment, in the step of determining confusion, a “confused pattern”, which is a predetermined pattern that is used as a reference for whether or not a confusion state is compared with the “comparison pattern” by pattern matching, is included in the neuro network by learning. That feature is acquired. In this learning, the subject is caused to perform an operation that is easy to perform an erroneous operation, or a trap that causes an answer to be selected on the screen by “a question with no correct answer” or “a question with duplicate correct answers” is answered. Then, the gaze speed history data in the confused state is input to the neural network as “teacher”. This procedure corresponds to the learning step of the present invention. In the learning, the subject is made to perform key input and mouse input from the keyboard 9 and the mouse 10 according to the instructions on the screen of the display 8 displayed by the program for deriving “confused” while showing the computer monitor. In the present embodiment, the “confusing” derivation screen displayed by this program is called “trap”, and this program is called “trap program”.
[0043]
(Trap T0) This trap program displays, for example, a screen simulating an application software installation screen. A screen similar to the installation screen of the application software indicated by the OS that the subject is usually familiar with is continuously displayed. Here, a screen common to the OS is shown. For example, a “next” button, a “back” button, and a “cancel” button necessary for the operation are also displayed in an arrangement common to the OS. However, as shown in FIG. 4, in this trap T0, the “next” button T0a and the “back” button T0b are reversed from the normal arrangement. After message boxes with the same correct arrangement appear continuously, the whole is the same as the previous message boxes. However, in the trap T0, only the operation buttons are different from the normal arrangement as shown in FIG. Are displayed in a sequence. Therefore, the test subject is likely to make an operation error and is confused, or even when the operation is further erroneous, the test subject is also confused. Accordingly, it is possible to reliably derive the “confused state (the state in which confusion is caused)” to the subject who is in the “normal state (the state in which no confusion occurs)”.
(Trap T1) Further, in the trap T1 shown in FIG. 5, "target value" T1a and "current value" T1b are displayed, and the selection is made by selecting the button T1c or the button T1d and clicking on the "current value" T1b. These numbers are added to the target value. However, since “+2” or “−2” with respect to “current value 9” does not become “target value 10”, the subject becomes confused. The setting is extremely easy to understand, and since the test subject can quickly understand that the problem cannot be solved under the given conditions, the occurrence of the confusion is quick and the generation time is easy to manage.
[0044]
(Trap T2) In the trap T2 shown in FIG. 6, the trap T2 is displayed after the calculation problems with correct choices are sequentially displayed. In the trap T2, the answer T2b is “5”, the answer T2c is “6”, the answer 2d is “7”, and the correct answer is “2 + 2 =?” Shown in the question T2a. There is no answer to 4 ”. After a certain time, the correct answer appears in the candidates. Therefore, it is possible to reliably derive a puzzled state from the subject.
[0045]
(Trap T3) In the trap T3 shown in FIG. 7, the answer T3b is “28”, the answer T3c is “28” in response to the instruction “Please select the next number 28” shown in the instruction item T3a. The answer T3d is “28” and both are correct answers. Therefore, the test subject cannot find out the basis of which of these answers should be selected, and can derive a puzzled state from the test subject in a very short time.
[0046]
(Trap T4) In the trap T4 shown in FIG. 8, the questions are sequentially displayed as in the trap T1 shown in FIG. 5, but a button for adding or subtracting the current value T4b to the target value T4a is displayed. Despite being a question to be asked, there is no button display necessary for answering, and answering becomes impossible. In this case as well, the subject can be immediately confused.
[0047]
According to the traps T0 to T4 as exemplified above, it is possible to immediately derive a puzzled state from the subject by displaying it at the set time. Therefore, it is possible to reliably sample the gaze in a confused state, and to collect and input gaze speed history data in a surely confused state, and to learn as an appropriate “teacher”.
[0048]
(Embarrassment other than traps) In addition, since the above-mentioned trap can surely derive a puzzled state at a predetermined time, the effect of learning can be enhanced. However, even if it is not based on such a trap, an operation that causes confusing experience even if it is a correct operation, for example, it is difficult to understand the displayed meaning or there are many erroneous operations, and the subject stops the operation. It is also possible to reproduce and learn an operation that causes an obvious confusion such as thinking.
[0049]
In this trap T0 to T4, the subject can be surely confused in a short time, but the confused state is not always derived from the subject while the trap is displayed. In other words, there is a slight difference in lead terms depending on the subject and the type of trap until the subject understands this and becomes confused after displaying the traps T0 to T4. There is also a time difference before the puzzled state is resolved. Therefore, in the learning step, a specific time during the time when the trap is displayed, for example, when 3 seconds have elapsed from the display, is sampled as a confused state. Other than that, since it is difficult to discriminate between the confused state and the normal state, neither the confused state nor the normal state is sampled as learning data. By adopting such a configuration, only the appropriate “teacher” is surely learned to improve the accuracy of learning. Here, FIG. 9 is a schematic diagram showing learning of the neural network in the learning step. Here, the part EM displayed as “H istory of eye movement speed” indicates the line-of-sight speed, and the part displayed by shading is the time when the trap t is displayed. The portion indicated by “0 0 0... 1” at the bottom indicates the sampling timing. As shown here, the sampling S0 until the trap t is displayed is sampled as “0” indicating the normal state. In the first sampling S1 where the trap t is displayed, learning is performed as a sample of “1” indicating a confused state, but subsequent sampling S2 does not sample “0” or “1”. After the display of the trap t is completed, sampling is performed as “0” in the normal state in sampling S3.
[0050]
(Detection of confusion) Next, a method for detecting the confusion of a subject using a neural network that has been subjected to learning as described above will be described. As described above, the subject performs an operation for detecting the confusion in a state where the gaze can be detected. This work is typically related to a man-machine interface, such as operation of application software of a personal computer, operation of an ATM (Automated-Teller Machine) of a bank, and other machine operation consoles. This is because it is directly related to the improvement of the man-machine interface that no confusion occurs during operation. Moreover, these are because the history of operation is easy to reproduce with time information. Of course, the work is not limited to these, and it is possible to examine the reaction when a printed document, photograph, video, etc. is shown. In the present embodiment, in order to recognize the line of sight, it is also possible to display an eye point on the image while displaying the object that the subject is viewing on the screen. The monitor camera 11 can also record the subject's own facial expressions and actions as video.
[0051]
In this embodiment, the digital video image of the subject is recorded by the monitor camera 11 simultaneously with the creation of the line-of-sight speed history data. This is recorded together with the time information, and the time information is used to superimpose the time on the screen and to synchronize with the visual line speed history data. From this digital video image, the subject's attitude, facial expression, etc. are projected, and the relationship with the onset of confusion can be observed.
[0052]
Of course, as a multi-screen, it is also preferable to display on the same screen the display screen that the subject is viewing, the facial expression of the subject, the eyeball of the subject, the observed numerical value / pattern, and the expression of confusion.
[0053]
While performing such work, it is determined whether or not the subject is in a confused state by comparing the line-of-sight speed history data by pattern matching using a neural network. This procedure corresponds to the puzzle determination step of the present invention. In this procedure, it is determined by pattern matching using a neural network that the patterns match, that is, if the neural network outputs “1”, it is determined that a confusing state has occurred. If it is determined that the patterns do not match, “0” is output. That is, in this embodiment, in the step of determining confusion, the comparison between the line-of-sight speed history for determining whether or not the subject is in a state of confusion and a predetermined pattern indicates “1” indicating a match based on a predetermined threshold. Or a binary value of “0” indicating a mismatch.
[0054]
In the puzzle determination step of this embodiment, the puzzle is determined by a neural network. Therefore, compared with other methods, the accuracy of pattern matching is high, and the expression of confusion can be captured with certainty. The neural network according to the present embodiment is a hierarchical neural network having a supervised learning algorithm, and an input signal is processed in a feedforward manner in which only the forward flow flows inside. The node function uses a sigmoid function (see FIG. 11). The inventors conducted experiments using the traps T0 to T4 and created a puzzle state detection model using a neural network using these data. As a result of using experimental data as learning data, a converging model was created. FIG. 10 shows the recognition result of the neural network after learning. As shown here, with respect to the total line-of-sight speed history WH, the partial PT indicating the learned trap is detected as a confused state as shown in the detection result DR. Furthermore, a test for detecting a confused state was performed by giving data obtained by adding 5% noise to the experimental data to the confused state detecting model. As a result, all puzzled state points could be identified.
[0055]
Next, in order to verify the puzzled state detection neural network model created, a verification experiment was performed using the basic pattern screen of the trap T2 for 10 subjects as unknown data. The verification experiment data was input into the model and the confusion state was detected. Here, FIG. 12 is a diagram showing a result of detecting unknown confusion by inputting verification experiment data into the model. In the figure, the horizontal axis is the time axis, and the upper frame portion is the time when the traps t1 to t10 which are puzzled state pattern screens are displayed. The line extending below the lower row shows the part that the model has judged to be confused. As a result, as shown in FIG. 12, the puzzled state detection model detected a puzzled state except for t10 with respect to 10 unknown traps t1 to t10, and showed a detection rate of 90%.
[0056]
According to the puzzle detection method of the above embodiment, the following features can be obtained.
-The above-described confusion detection method has an effect that the confusion of the subject can be detected without observing other elements only by observing the subject's line of sight. Therefore, the subject's confusion can be detected very easily without placing a burden on the subject. By accurately detecting the puzzle as described above, it is possible to objectively and reliably detect the occurrence of the puzzled state that cannot be extracted by ordinary observation, thereby extracting the problematic part of the man-machine interface.
[0057]
In addition, since the neural network is used for the determination of the confused state, there is an effect that complicated gaze speed history data can be accurately determined and highly accurate detection can be performed. In particular, the neural network of this embodiment is a hierarchical neural network provided with a supervised learning algorithm suitable for pattern matching. In addition, the input signal is processed in a feed-forward manner that flows only forward in the interior, and the sigmoid function is used as the node function. Therefore, there is an effect that determination with high accuracy can be performed using a personal computer or the like.
[0058]
Further, since the traps T0 to T4 are used for learning of the neural network, there is an effect that highly accurate learning can be performed.
In addition, you may change the said embodiment as follows.
[0059]
In this embodiment, the puzzle determination step is processed by pattern matching using a feedforward type neural network, but may be performed by a learning algorithm of back propagation (error back propagation method). In addition to this, various techniques such as Boltzmann machine, mean field approximation learning machine that simplifies this, RBF net (radial basis function net), learning vector quantization, fuzzy art map, cognitoron, etc. can be adopted or applied. It is.
[0060]
In this embodiment, the step of determining confusion uses a neural network in which the node function uses a sigmoid function in the flow of input signal processing, but a threshold function or the like can also be used. In addition, the sigmoid function and the threshold function may be further processed by adding “fluctuation”, and may be a linear function that outputs the input sum as it is. In the case of a Boltzmann machine, the inclination gradually becomes steeper.
[0061]
【The invention's effect】
As described above in detail, in the present invention, the present invention has an effect that it is possible to automatically and appropriately detect the subject's confusion only by observing the line of sight.
[Brief description of the drawings]
FIG. 1 is a block diagram showing a configuration of a puzzle detection system 1;
FIG. 2 is a diagram schematically showing storage contents of an HDD.
FIG. 3 is a diagram illustrating a method for detecting the position of a line of sight.
FIG. 4 is a diagram showing a trap T0.
FIG. 5 is a diagram showing a trap T1.
FIG. 6 is a diagram showing a trap T2.
FIG. 7 is a diagram showing a trap T3.
FIG. 8 is a diagram showing a trap T4.
FIG. 9 is a schematic diagram showing learning of a neural network.
FIG. 10 is a diagram illustrating a relationship between a total line-of-sight speed history after learning, a trap position, and a perplexity detection.
FIG. 11 is a diagram showing an example of a sigmoid function.
FIG. 12 is a diagram showing a result of detecting unknown confusion by inputting verification experiment data into a model.
[Explanation of symbols]
DESCRIPTION OF SYMBOLS 1 ... Confusion detection apparatus, 2 ... Computer, 3 ... CPU, 4 ... RAM, 5 ... ROM, 6 ... Interface, 7 ... HDD, 8 ... Display, 9 ... Keyboard, 10 ... Mouse, 11 ... Monitor camera, 12 ... Line of sight Camera for detection, P1, P2 ... Light source, T0-T4 ... Trap

Claims

A computer provided with an input means and a display means,
A step of gaze position detection for detecting the position of the gaze of the subject by the gaze detection means at a predetermined time interval;
Gaze velocity data generation step for generating the detected gaze position change as gaze velocity data;
A step of storing gaze speed history data for storing a predetermined number of continuously generated gaze speed data as gaze speed history data;
A puzzle detection method comprising: performing a puzzle determination step of determining whether or not a subject is in a puzzle state by comparing the line-of-sight speed history data with a predetermined pattern.

2. The confusion detection method according to claim 1, wherein in the line-of-sight position detection step, the predetermined time interval is not less than 1/200 seconds and not more than 1/15.

3. The confusion detection according to claim 1, wherein, in the step of storing the line-of-sight speed history data, a predetermined number of the line-of-sight speed data continuously detected as the line-of-sight speed history data is at least 30 or more. Method.

The total time length of the line-of-sight speed data continuously detected as the line-of-sight speed history data in the step of storing the line-of-sight speed history data is 0.5 second or more and 5 seconds or less. 4. The confusion detection method according to any one of 3 above.

5. The visual line speed history data is generated and stored every time the visual line speed data is generated in the visual line speed data generation step in the step of storing the visual line speed history data. The confusion detection method according to claim 1.

6. The puzzle detection method according to claim 1, wherein the puzzle determination step is performed by pattern matching using a neural network.

7. The confusion detection method according to claim 6, wherein, in the confusion determination step, the neural network is a feed-forward hierarchical neural network, and a node function uses a sigmoid function.

In the puzzle determination step, the predetermined pattern to be compared is generated based on the line-of-sight speed history data in a state in which a subject is made to answer a trap that selects an answer on the screen according to a question with no correct answer or a correct answer. 8. The confusion detection method according to claim 7, further comprising executing a learning step.

In the learning step, only the gaze speed history data at a specific time during the time when the trap is displayed is learned, and the gaze speed history data at other times during the time when the trap is displayed is not learned. The confusion detection method according to claim 8.

In the step of determining confusion, the comparison between the line-of-sight speed history data and the predetermined pattern for determining whether or not the subject is in a state of confusion is performed with binary values that match or do not match with a predetermined threshold as a reference. The confusion detection method according to any one of claims 1 to 9, characterized in that:

In a computer equipped with input means and display means,
A step of gaze position detection for detecting the position of the gaze of the subject by the gaze detection means at a predetermined time interval;
Gaze velocity data generation step for generating the detected gaze position change as gaze velocity data;
A step of storing gaze speed history data for storing a predetermined number of continuously generated gaze speed data as gaze speed history data;
A puzzle detection program that executes a puzzle determination step of determining whether or not a subject is in a puzzle state by comparing the line-of-sight speed history data with a predetermined pattern.