JP7214986B2 - 反射性判定装置、反射性判定方法、プログラム - Google Patents

反射性判定装置、反射性判定方法、プログラム Download PDF

Info

Publication number
JP7214986B2
JP7214986B2 JP2018119437A JP2018119437A JP7214986B2 JP 7214986 B2 JP7214986 B2 JP 7214986B2 JP 2018119437 A JP2018119437 A JP 2018119437A JP 2018119437 A JP2018119437 A JP 2018119437A JP 7214986 B2 JP7214986 B2 JP 7214986B2
Authority
JP
Japan
Prior art keywords
saccade
appearing
subject
movement
determination
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2018119437A
Other languages
English (en)
Other versions
JP2020000266A (ja
Inventor
慎平 山岸
惇 米家
茂人 古川
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nippon Telegraph and Telephone Corp
Original Assignee
Nippon Telegraph and Telephone Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nippon Telegraph and Telephone Corp filed Critical Nippon Telegraph and Telephone Corp
Priority to JP2018119437A priority Critical patent/JP7214986B2/ja
Priority to US17/255,499 priority patent/US20210275016A1/en
Priority to PCT/JP2019/019836 priority patent/WO2020003804A1/ja
Publication of JP2020000266A publication Critical patent/JP2020000266A/ja
Application granted granted Critical
Publication of JP7214986B2 publication Critical patent/JP7214986B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/0091Fixation targets for viewing direction
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/113Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for determining or recording eye movement
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/16Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/163Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state by tracking eye movement, gaze, or pupil change
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • G06T7/246Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10048Infrared image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30041Eye; Retina; Ophthalmic

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Public Health (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Veterinary Medicine (AREA)
  • Ophthalmology & Optometry (AREA)
  • Human Computer Interaction (AREA)
  • Developmental Disabilities (AREA)
  • Child & Adolescent Psychology (AREA)
  • Educational Technology (AREA)
  • Hospice & Palliative Care (AREA)
  • Psychiatry (AREA)
  • Psychology (AREA)
  • Social Psychology (AREA)
  • Pathology (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Eye Examination Apparatus (AREA)

Description

本発明は、眼球運動が反射性であるか否かを判定する技術に関する。
従来、音を受聴可能な状態にあるヒトの眼のサッカードに関する特徴量に基づいて、当該音が目立つ音(顕著性の高い音)であるか否かを判別する技術が知られている(特許文献1)。この技術では、音が呈示されているときのサッカードの特徴量と音が呈示されていないときのサッカードの特徴量との相違度合いに基づいて、呈示された音が目立つ音であるか否かを判別する。
特開2015-132782号公報
特許文献1では、目立つ音として、注意せずに不意に聞こえてしまう音(注意を引きつけられてしまう音)だけでなく、注意深く聞こうとしているときに聞こえる音も含むため、眼球の動きが、外部刺激によって無意識的に(反射的に)引き起こされたものなのか、意識的に引き起こされたものなのかについては判別することができない。つまり、眼球運動が外部刺激によって引き起こされた反射的なものであるのか否かなど、眼球運動の反射性に関して判定することができない。
そこで本発明では、眼球運動の反射性を判定する技術を提供することを目的とする。
本発明の反射性判定装置は、特徴量抽出部と、判定部を含む。判定部は、特徴量抽出部が抽出した対象者の眼球運動に現れるサッカードの特徴量を用いて、対象者の眼球運動の反射性や対象者の眼に関する反射性についての判定結果を生成する。
本発明によれば、眼球運動の反射性を判定することが可能となる。
各実施形態の発明の基礎となる実験の様子を示す図。 実験結果を示す図。 実験結果を示す図。 反射性判定装置100の構成の一例を示すブロック図。 反射性判定装置100の動作の一例を示すフローチャート。 ステップ応答モデルのパラメータを説明する図。 反射性判定装置200/300の構成の一例を示すブロック図。 反射性判定装置200/300の動作の一例を示すフローチャート。 反射性判定モデル学習装置400の構成の一例を示すブロック図。 反射性判定モデル学習装置400の動作の一例を示すフローチャート。 実験結果を示す図。 反射性判定装置500/600の構成の一例を示すブロック図。 反射性判定装置500/600の動作の一例を示すフローチャート。 反射性判定モデル学習装置700の構成の一例を示すブロック図。 反射性判定モデル学習装置700の動作の一例を示すフローチャート。
以下、本発明の実施の形態について、詳細に説明する。なお、同じ機能を有する構成部には同じ番号を付し、重複説明を省略する。
<技術的背景>
各実施形態の発明は、外部刺激により反射的に眼が動いてしまうときのサッカードの特徴量と、反射を抑えて意識的に眼を動かそうとしているときのサッカードの特徴量とに差があるという自然法則の発見に基づくものであり、この発見を利用して眼球運動の反射性を判定するものである。
以下、基礎となる実験とその結果について説明する。
[実験1]
(1)タスク1A
被験者の前に置かれたディスプレイに視覚的合図となる注視点の画像を表示し、一定時間後に注視点の位置が左または右に移動するので、それを追従して眼を動かすように被験者に指示しておく。
注視点の画像を初期位置(中央)に一定時間表示した後、注視点の画像を一定時間消去した後、注視点の位置を左または右のいずれかへ移動させた画像を表示する(図1(A)参照)。ここで、初期位置に注視点の画像を表示している時間区間を“第1時間区間”、注視点の画像を消去している時間区間を“第2時間区間”、移動後の注視点の画像を表示している時間区間を“第3時間区間”と呼ぶこととする。第3時間区間が、被験者が眼を動かすタスクを実行する時間区間であり、この時間区間での被験者の眼の動きを赤外線カメラ等で撮像し、1回のサッカードの特徴量を抽出する。ここでは、サッカードの特徴量を瞳孔の動きまたは瞳孔と虹彩の動きの差から抽出するものとする。具体的には、瞳孔のサッカードの減衰係数、瞳孔のサッカードの減衰係数と虹彩のサッカードの減衰係数との差を特徴量として用いる。減衰係数の詳細については後述する。
(2)タスク1B
被験者の前に置かれたディスプレイに注視点の画像を表示し、一定時間後に注視点の位置が左または右に移動するので、注視点の移動方向とは逆の方向に眼を動かすように被験者に指示しておく。
以下の手順は、タスク1Aと同様とする。したがって、第1時間区間~第3時間区間の定義や抽出するサッカードの特徴量はタスク1Aと同じある。
[実験2]
実験1では、ディスプレイに表示された注視点の画像の動きに合わせて眼を動かしたが、実験2では、画像の代わりに音を用いる。そのため、被験者の正面、左側、右側の3箇所にそれぞれスピーカを設置する。
(1)タスク2A
被験者の正面に置かれたスピーカから聴覚的合図となる音を発生させ、一定時間後に左側または右側のいずれかのスピーカから音を発生させるので、それを追従して眼を動かすように被験者に指示しておく。
以下の手順は、タスク1Aと同様とする(図1(B)参照)。つまり、第1時間区間では正面のスピーカから音を発生させ、第3時間区間では左右いずれかのスピーカから音を発生させる。そして、第3時間区間での被験者の眼の動きからサッカードの特徴量を抽出する。なお、スピーカの代わりに、ヘッドホンを用いてもよい。
(2)タスク2B
被験者の正面に置かれたスピーカから音を発生させ、一定時間後に左側または右側のいずれかのスピーカから音を発生させるので、音を発生させているスピーカとは逆の方向に眼を動かすように被験者に指示しておく。
以下の手順は、タスク2Aと同様であり、第3時間区間での被験者の眼の動きからサッカードの特徴量を抽出する。
[実験結果]
図2は、実験結果を示す図である。減衰係数の値は、複数の被験者に対して、タスク1A~タスク2Bの4種類のタスクをそれぞれ複数回試行してもらい、各試行で抽出したサッカードの減衰係数の平均値である。図2(A)は、瞳孔の動きから抽出した減衰係数のタスク毎の値、図2(B)は、虹彩の動きから抽出した減衰係数のタスク毎の値を示している。いずれの図も左から順にタスク1A、タスク1B、タスク2A、タスク2Bの減衰係数を示している。この実験結果からわかるように、図2(A)の場合、すなわち瞳孔の動き(瞳孔運動)に着目すると、タスク1Aやタスク2Aよりもタスク1Bやタスク2Bの方が減衰係数が大きくなるという傾向がある。一方、図2(B)の場合、すなわち虹彩の動き(虹彩運動)に着目すると、タスクによる有意差は見られないことがわかる。
また、図3は、縦軸を、瞳孔運動の減衰係数と虹彩運動の減衰係数との差としたものであるが、同様の傾向、つまり、タスク1Bやタスク2Bの方が減衰係数の差が大きくなるという傾向が見られた。サッカード後の虹彩の振動(オーバーシュート)は、瞳孔のそれに比べると小さいものの、全く発生しないわけではない。そこで、瞳孔運動の減衰係数と虹彩運動の減衰係数との差を取ることによって、眼球全体のオーバーシュート(虹彩のエッジから抽出した動き)に対する相対的な瞳孔のオーバーシュートを見ることが可能となる。つまり、眼球全体の動きを差し引いた瞳孔の振動を特徴量として抽出することが可能となる。
一般に、注視点が動いたり、特定方向から目立つ音が発生したりすると、反射的に眼がその方向に動く傾向がある。タスク1Aやタスク2Aでは、注視点の動き・音が発生している方向と眼を動かすべき方向が一致するので、反射的に動きに任せて眼を動かせばよいが、タスク1Bやタスク2Bでは、反射的な動きに逆らって意識的に眼を逆方向に動かす必要がある。つまり、タスク1Bやタスク2Bは眼の動きを意識的にコントロールしようとしている状態、タスク1Aやタスク2Aは眼の動きについて特に意識をしていない状態であるといえる。したがって、本実験結果は、眼の動きについて特に意識をしていない、反射的な動きに任せているときのサッカードの減衰係数は、眼の動きを意識的にコントロールしようとしているときのサッカードの減衰係数よりも小さくなる傾向にあることを示しているといえる。
以下、外的要因によって引き起こされる眼球運動のことをプロサッカード、プロサッカードを抑えて実行する随意的な眼球運動のことをアンチサッカードという。
<第1実施形態>
反射性判定装置100は、対象者の眼球運動が反射的に起きたものであるか否かを判定
する。
以下、図4~図5を参照して、反射性判定装置100を説明する。図4は、反射性判定装置100の構成を示すブロック図である。図5は、反射性判定装置100の動作を示すフローチャートである。図4に示すように反射性判定装置100は、呈示部110と、眼球運動取得部120と、特徴量抽出部130と、判定部140と、制御部180と、記録部190を含む。記録部190は、反射性判定装置100の処理に必要な情報を適宜記録する構成部である。
図5に従い反射性判定装置100の動作について説明する。
[呈示部110]
S110において、呈示部110は、タスク1Aまたはタスク1Bの注視点の画像を視覚的合図として対象者に呈示する。具体的には、対象者の正面にあるディスプレイの中央に注視点の画像を表示、一定時間注視点の画像を消去した後、中央から左または右のいずれかへ移動した注視点の画像を表示する。注視点の画像の呈示は、制御部180からの指示に従うものとする。なお、タスク1Aまたはタスク1Bの開始時点において注視点の画像を表示する位置(以下、注視点の初期位置という)は、ディスプレイの中央に限るものではなく、中央から所定の誤差範囲に含まれればよい。
なお、呈示部110は、タスク1Aまたはタスク1Bの注視点の画像を呈示する代わりに、タスク2Aまたはタスク2Bの音を呈示するようにしてもよい。つまり、S110において、呈示部110は、タスク2Aまたはタスク2Bの音を聴覚的合図として対象者に呈示する。具体的には、対象者の正面にあるスピーカから音を発生させ、一定時間の無音時間が経過した後、対象者の左側または右側のいずれかに位置するスピーカから音を発生させる。音の呈示は、制御部180からの指示に従うものとする。
[制御部180]
制御部180は、呈示部110による画像(音)の呈示を制御するとともに、画像(音)呈示中の第3時間区間における対象者の眼球運動の情報を眼球運動取得部120が取得するよう制御することにより、タスク1Aまたはタスク1B(タスク2Aまたはタスク2B)を実行するよう制御する。その際、制御部180は、タスク1A、タスク1B(タスク2A、タスク2B)それぞれについて、少なくとも1回以上実行するように制御する。また、制御部180は、タスク1Aまたはタスク1B(タスク2Aまたはタスク2B)のいずれかを実行する都度、どちらのタスクを実行するよう指示したのかを特定する情報(以下、タスク種別という)を特徴量抽出部130に出力する。
[眼球運動取得部120]
S120において、眼球運動取得部120は、制御部180からの指示に従い、第3時間区間における対象者の眼球運動の情報を取得し、出力する。例えば、タスク実行中の対象者の眼球の動きを赤外線カメラにより撮像する。そして、撮像した結果を画像処理することで、時間毎(例えば、1000Hz)の眼球の位置情報の時系列を眼球運動の情報として取得する。なお、左右両方の眼球の位置情報を取得してもよいし、何れか一方の眼球の位置情報のみを取得してもよい。本実施形態では、一方の眼球の位置情報のみを取得するものとする。また、ここでは、眼球運動は瞳孔運動であり、眼球運動の情報として瞳孔の位置情報の時系列を取得する。
[特徴量抽出部130]
S130において、特徴量抽出部130は、S120で取得した眼球運動の情報と制御部180からの入力であるタスク種別から、タスク1Aまたはタスク2A(つまり、視覚
的合図又は聴覚的合図を追従するように眼を動かすタスク)における対象者の眼球運動に現れるサッカードの特徴量(以下、第1の特徴量という)と、タスク1Bまたはタスク2B(つまり、視覚的合図又は聴覚的合図とは逆の方向に眼を動かすタスク)における対象者の眼球運動に現れるサッカードの特徴量(以下、第2の特徴量という)とを抽出し、出力する。ここでは、第1の特徴量、第2の特徴量は、瞳孔に関する特徴量(瞳孔運動の特徴量)となる。
以下、特徴量の抽出方法について説明する。最初に、眼球運動の情報(眼球の位置情報の時系列)からサッカードが起きている区間を検出する。例えば、眼球の位置情報の時系列について1次階差系列を計算し、階差系列の絶対値が所定の閾値を上回る時間区間をサッカードが起きている区間として検出する。取得された眼球の位置情報にノイズが多く含まれると判断される場合などには、1次階差系列の計算にあたって適当な範囲での移動平均値を用いてもよい。検出に用いる閾値には、階差系列の標準偏差の6倍程度の値を用いることが好ましい。
次に、サッカードが起きているときの眼球の位置情報の時系列を位置制御系のステップ応答としてモデル化することにより、特徴量を抽出する。以下、説明する。位置制御系のステップ応答は、固有角振動数をωとして、
Figure 0007214986000001
と表される。ここでG(s)は伝達係数,y(t)は位置, y'(t)は速度を表す。また、減衰率λ、減衰係数ζ、固有角振動数をωは、それぞれ
Figure 0007214986000002
と表される。ただし、tは時刻を表すインデックスであり、sはラプラス変換によるパラメタ(複素数)である。固有角振動数ωはサッカードの応答の速さを表す指標に相当し、減衰係数ζはサッカードの応答の正確性に対応する指標に相当する。また、A, Vmax, Ao, Vo,Tpはそれぞれ以下を表す(図6参照)。
(1)基準振幅A:サッカードによる眼球の動きが収束したときの移動量である。
(2)最大速度Vmax:基準振幅A+オーバーシュートの振幅Aoに達するまでの最大の速度である。
(3)オーバーシュートの振幅Ao:サッカードによって基準振幅Aを超過した(行き過ぎた)部分の量である。オーバーシュートとは、波形の立ち上がり部分で、波形が基準振幅Aを超えて突出する現象、または、その突出した波形である。言い換えると、オーバーシュートの振幅とは、突出した部分の量である。
(4)オーバーシュートの速度Vo:基準振幅A+オーバーシュートの振幅Aoから基準振幅Aに収束しようとする際の最大の速度である。
(5)立ち上がり時間Tp:基準振幅A+オーバーシュートの振幅Aoに達する(立ち上がる)までにかかる時間である。なお、基準振幅A+オーバーシュートの振幅Aoに達するまでにかかる時間は、最大速度Vmaxからオーバーシュートの速度Voに達するまでにかかる時間と同じ値となる。
このようにステップ応答としてモデル化することにより、眼球運動に現れるサッカードの特徴量として、減衰係数ζ、減衰率λ、基準振幅A、最大速度Vmax、固有角振動数ωなどが得られる。
ここで、眼球運動取得部120が取得する眼球運動の情報(眼球の位置情報の時系列)は瞳孔の位置情報の時系列であるので、眼球運動に現れるサッカードの特徴量として、瞳孔運動に現れるサッカードの減衰係数ζ、減衰率λ、基準振幅A、最大速度Vmax、固有角振動数ωを得ることができるが、ここでは、減衰係数ζを抽出することにする。つまり、特徴量抽出部130が抽出する眼球運動に現れるサッカードの特徴量は、瞳孔運動に現れるサッカードの減衰係数である。
なお、タスク1A、タスク1B(タスク2A、タスク2B)について複数回実行した場合には、抽出した値の代表値を第1の特徴量、第2の特徴量とすればよい。代表値には、平均値、中央値、最大値、最小値などを用いることができる。
[判定部140]
S140において、判定部140は、S130で抽出した第1の特徴量とS130で抽出した第2の特徴量の相違度合に基づいて、対象者の眼球運動が反射的に起きたものであるか否かを示す判定結果を生成し、出力する。具体的には、判定部140は、相違度合が大きい場合、対象者の瞳孔運動が反射的に起きたものであることを示す判定結果を生成し、それ以外の場合、対象者の瞳孔運動が反射的に起きたものとはいえないことを示す判定結果を生成する。以下、詳しく説明する。ζ1を第1の特徴量、ζ2を第2の特徴量、Δ(Δ≧0)を所定の値とし、第2の特徴量と第1の特徴量との差ζ21が所定の値Δより大きい又は所定の値Δ以上である場合は、対象者の眼球運動が反射的に起きたものであることを示す判定結果を生成し、それ以外の場合は対象者の眼球運動が反射的に起きたものとはいえないことを示す判定結果を生成する。なお、Δ>0とすることにより、大小関係判定時の誤差を許容することができる。
なお、本実施形態においては、瞳孔運動の特徴量に基づいて、眼球運動が反射的に起きたものであるか否かを判定している。ここで、特徴量の抽出対象が“瞳孔”であるのは、<技術的背景>で示した通り、有意差が表れるのが眼の中でも瞳孔に関する特徴量だからである。ただし、眼の反射的な動きというのは眼球全体の動きのことであるため、判定の対象は“眼球運動”としている 。
(変形例1)
上記説明では、特徴量として、瞳孔運動に現れるサッカードの減衰係数を用いたが、減衰係数の代わりに、瞳孔運動に現れるサッカードの減衰係数と正の相関関係にあるものを用いてもよいし、負の相関関係にあるものを用いてもよい。例えば、瞳孔運動に現れるサッカードの減衰率を用いてもよい。減衰率は、減衰係数と負の相関関係にある。この場合、眼球運動取得部120が取得する眼球運動の情報(眼球の位置情報の時系列)を瞳孔の位置情報の時系列とし、特徴量抽出部130は、瞳孔運動に現れるサッカードの減衰率を眼球運動に現れるサッカードの特徴量として抽出する。また、判定部140は、λ1を第1の特徴量、λ2を第2の特徴量、Δ(Δ≧0)を所定の値とし、第1の特徴量と第2の特徴量との差λ12が所定の値Δより大きい又は所定の値Δ以上である場合は対象者の眼球運動が反射的に起きたものであることを示す判定結果を生成し、それ以外の場合は対象者の眼球運動が反射的に起きたものとはいえないことを示す判定結果を生成する。
本実施形態の発明によれば、眼球運動の反射性を判定することが可能となる。具体的には、対象者の眼球運動が反射的に起きたものであるか否かを判定することが可能となる。
<第2実施形態>
反射性判定装置200は、対象者の眼が反射的に動きやすい状態にあるか否かを判定する。
以下、図7~図8を参照して、反射性判定装置200を説明する。図7は、反射性判定装置200の構成を示すブロック図である。図8は、反射性判定装置200の動作を示すフローチャートである。図7に示すように反射性判定装置200は、眼球運動取得部220と、特徴量抽出部230と、判定部240と、記録部190を含む。記録部190は、反射性判定装置200の処理に必要な情報を適宜記録する構成部である。例えば、記録部190には、意識を集中させている状態における対象者の眼球運動に現れるサッカードの特徴量である基準値を事前に記録しておく。例えば、以下のようにして基準値を準備する。対象者がタスク1B(タスク2B)を実行することにより得られる第3時間区間における対象者の眼球運動の情報から、対象者の眼球運動に現れるサッカードの特徴量を抽出する。これを複数回繰り返し、その代表値を基準値とする。代表値には、平均値、中央値、最大値、最小値などを用いることができる。なお、基準値とする眼球運動に現れるサッカードの特徴量は、特徴量抽出部230が抽出する眼球運動に現れるサッカードの特徴量と
同一のものを用いる必要がある。
図8に従い反射性判定装置200の動作について説明する。
[眼球運動取得部220]
S220において、眼球運動取得部220は、所定の時間区間における対象者の眼球運動の情報を取得し、出力する。眼球運動の情報の取得方法は、眼球運動取得部120と同様でよい。また、ここでは、眼球運動の情報として瞳孔の位置情報の時系列を取得する。
[特徴量抽出部230]
S230において、特徴量抽出部230は、S220で取得した眼球運動の情報から、対象者の眼球運動に現れるサッカードの特徴量を抽出し、出力する。特徴量の抽出方法は、特徴量抽出部130と同様でよい。また、眼球運動に現れるサッカードの特徴量として瞳孔運動に現れるサッカードの減衰係数を抽出する。
なお、複数回実行した場合には、抽出した値の代表値を特徴量とすればよい。代表値には、平均値、中央値、最大値、最小値などを用いることができる。また、所定の時間区間においてサッカードが起きている区間が複数検出された場合も、同様に、代表値を特徴量とすればよい。
[判定部240]
S240において、判定部240は、記録部190に記録した基準値とS230で抽出した特徴量の相違度合に基づいて、対象者の眼が反射的に動きやすい状態にあるか否かを示す判定結果を生成し、出力する。具体的には、判定部240は、相違度合が大きい場合、対象者の眼が反射的に動きやすい状態にあることを示す判定結果を生成し、それ以外の場合、対象者の眼が反射的に動きやすい状態にあるとはいえないことを示す判定結果を生成する。以下、詳しく説明する。ζを特徴量、ζcを基準値、Δ(Δ≧0)を所定の値とし、基準値と特徴量との差ζc-ζが所定の値Δより大きい又は所定の値Δ以上である場合は、対象者の眼が反射的に動きやすい状態にあることを示す判定結果を生成し、それ以外の場合は対象者の眼が反射的に動きやすい状態にあるとはいえないことを示す判定結果を生成する。つまり、特徴量ζが基準値ζcより小さい場合、対象者の眼が反射的に動きやすい状態にあると判定する。なお、Δ>0とすることにより、大小関係判定時の誤差を許容することができる。
(変形例1)
上記説明では、特徴量・基準値として、瞳孔運動に現れるサッカードの減衰係数を用いたが、減衰係数の代わりに、瞳孔運動に現れるサッカードの減衰係数と正の相関関係にあるものを用いてもよいし、負の相関関係にあるものを用いてもよい。例えば、瞳孔運動に現れるサッカードの減衰率を用いてもよい。減衰率は、減衰係数と負の相関関係にある。この場合、眼球運動取得部220が取得する眼球運動の情報(眼球の位置情報の時系列)を瞳孔の位置情報の時系列とし、特徴量抽出部230は、瞳孔運動に現れるサッカードの減衰率を眼球運動に現れるサッカードの特徴量として抽出する。また、判定部240は、λを特徴量、λcを基準値、Δ(Δ≧0)を所定の値とし、特徴量と基準値との差λ-λcが所定の値Δより大きい又は所定の値Δ以上である場合は、対象者の眼が反射的に動きやすい状態にあることを示す判定結果を生成し、それ以外の場合は対象者の眼が反射的に動きやすい状態にあるとはいえないことを示す判定結果を生成する。
(変形例2)
眼球運動取得部220が取得する眼球運動の情報(眼球の位置情報の時系列)を瞳孔の位置情報の時系列と虹彩の位置情報の時系列とし、特徴量抽出部230が抽出する眼球運
動に現れるサッカードの特徴量を瞳孔運動に現れるサッカードの減衰係数と虹彩運動に現れるサッカードの減衰係数との差としてもよい。この場合、眼球運動取得部220は、瞳孔の位置情報の時系列と虹彩の位置情報の時系列を眼球運動の情報として取得する。また、特徴量抽出部230は、S220で取得した眼球運動の情報である瞳孔の位置情報の時系列と虹彩の位置情報の時系列から、それぞれ瞳孔運動に現れるサッカードの減衰係数と虹彩運動に現れるサッカードの減衰係数を求め、瞳孔運動に現れるサッカードの減衰係数と虹彩運動に現れるサッカードの減衰係数との差(つまり、“瞳孔運動に現れるサッカードの減衰係数”-“虹彩運動に現れるサッカードの減衰係数”)を対象者の眼球運動に現れるサッカードの特徴量として抽出し、出力する。なお、虹彩運動に現れるサッカードの特徴量は、瞳孔運動に現れるサッカードの特徴量と同様に、ステップ応答モデルを用いて求めればよい。さらに、判定部240は、αを特徴量(すなわち、“瞳孔運動に現れるサッカードの減衰係数”-“虹彩運動に現れるサッカードの減衰係数”)、αcを基準値、Δ(Δ≧0)を所定の値とし、基準値と特徴量との差αc-αが所定の値Δより大きい又は所定の値Δ以上である場合は、対象者の眼が反射的に動きやすい状態にあることを示す判定結果を生成し、それ以外の場合は対象者の眼が反射的に動きやすい状態にあるとはいえないことを示す判定結果を生成する。
別の例として、瞳孔運動に現れるサッカードの減衰係数、虹彩運動に現れるサッカードの減衰係数の代わりに、瞳孔運動に現れるサッカードの減衰率、虹彩運動に現れるサッカードの減衰率を用いてもよい。この場合、眼球運動取得部220は、瞳孔の位置情報の時系列と虹彩の位置情報の時系列を眼球運動の情報として取得する。また、特徴量抽出部230は、S220で取得した眼球運動の情報である瞳孔の位置情報の時系列と虹彩の位置情報の時系列から、それぞれ瞳孔運動に現れるサッカードの減衰率と虹彩運動に現れるサッカードの減衰率を求め、瞳孔運動に現れるサッカードの減衰率と虹彩運動に現れるサッカードの減衰率との差(つまり、“瞳孔運動に現れるサッカードの減衰率”-“虹彩運動に現れるサッカードの減衰率”)を対象者の眼球運動に現れるサッカードの特徴量として抽出し、出力する。さらに、判定部240は、βを特徴量(すなわち、“瞳孔運動に現れるサッカードの減衰率”-“虹彩運動に現れるサッカードの減衰率”)、βcを基準値、Δ(Δ≧0)を所定の値とし、特徴量と基準値との差β-βcが所定の値Δより大きい又は所定の値Δ以上である場合は、対象者の眼が反射的に動きやすい状態にあることを示す判定結果を生成し、それ以外の場合は対象者の眼が反射的に動きやすい状態にあるとはいえないことを示す判定結果を生成する。
本実施形態の発明によれば、眼球運動の反射性を判定することが可能となる。具体的には、対象者の眼が反射的に動きやすい状態にあるか否かを判定することが可能となる。
<第3実施形態>
先述の通り、特徴量としては、減衰係数や減衰率のほかにも、基準振幅、最大速度、固有角振動数などがある。ここでは、これらを減衰係数や減衰率と組み合わせた特徴量を用いて、対象者の眼が反射的に動きやすい状態にあるか否かを判定する実施形態について説明する。その際、機械学習の手法により学習した、眼球運動に現れるサッカードの特徴量を入力として、眼が反射的に動きやすい状態にあるか否かを示す判定結果を出力する反射性判定モデルを用いる。これにより、より精度の高い判定結果を生成することが可能になる。
反射性判定装置300は、反射性判定装置200と同様、対象者の眼が反射的に動きやすい状態にあるか否かを判定する。
以下、図7~図8を参照して、反射性判定装置300を説明する。図7は、反射性判定装置300の構成を示すブロック図である。図8は、反射性判定装置300の動作を示す
フローチャートである。図7に示すように反射性判定装置300は、眼球運動取得部220と、特徴量抽出部330と、判定部340と、記録部190を含む。記録部190は、反射性判定装置300の処理に必要な情報を適宜記録する構成部である。例えば、記録部190には、反射性判定モデルを事前に記録しておく。ここで、反射性判定モデルとは、眼球運動に現れるサッカードの特徴量を入力として、眼が反射的に動きやすい状態にあるか否かを示す判定結果を出力するように、機械学習の手法により学習された学習済みモデルである。入力とする特徴量は、少なくとも、減衰係数と正の相関関係にある特徴量(例えば、減衰係数)または減衰係数と負の相関関係にある特徴量(例えば、減衰率)のいずれか1つを含むものとする。具体的には、特徴量は、少なくとも、瞳孔運動に現れるサッカードの減衰係数、瞳孔運動に現れるサッカードの減衰係数と虹彩運動に現れるサッカードの減衰係数との差、瞳孔運動に現れるサッカードの減衰率、瞳孔運動に現れるサッカードの減衰率と虹彩運動に現れるサッカードの減衰率との差のいずれか1つを含むものとする。加えて、最大速度、基準振幅、固有角振動数などを特徴量として含んでもよい。
反射性判定モデルの学習方法については、後述する。
図8に従い反射性判定装置300の動作について説明する。
[眼球運動取得部220]
S220において、眼球運動取得部220は、所定の時間区間における対象者の眼球運動の情報を取得し、出力する。なお、眼球運動取得部220は、瞳孔の位置情報の時系列のみか、瞳孔の位置情報の時系列と虹彩の位置情報の時系列のいずれかを眼球運動の情報として取得する。いずれであるかは、反射性判定モデルの入力となる特徴量により定まる。
[特徴量抽出部330]
S330において、特徴量抽出部330は、S220で取得した眼球運動の情報から、対象者の眼球運動に現れるサッカードの特徴量を抽出し、出力する。特徴量は、特徴量抽出部130と同様、ステップ応答モデルを用いて求めればよい。ここで抽出する特徴量は、反射性判定モデルの入力となる特徴量と同一となる。例えば、反射性判定モデルの入力が瞳孔運動に現れるサッカードの減衰係数、最大速度、基準振幅の組である場合には、特徴量抽出部330は、瞳孔運動に現れるサッカードの減衰係数、最大速度、基準振幅を抽出することになる。
[判定部340]
S340において、判定部340は、記録部190に記録した反射性判定モデルを用いて、S330で抽出した対象者の眼球運動に現れるサッカードの特徴量から、対象者の眼が反射的に動きやすい状態にあるか否かを示す判定結果を生成し、出力する。
本実施形態の発明によれば、眼球運動の反射性を判定することが可能となる。具体的には、対象者の眼が反射的に動きやすい状態にあるか否かを判定することが可能となる。
<第4実施形態>
反射性判定モデル学習装置400は、反射性判定装置300が用いる反射性判定モデルを学習する。
以下、図9~図10を参照して、反射性判定モデル学習装置400を説明する。図9は、反射性判定モデル学習装置400の構成を示すブロック図である。図10は、反射性判定モデル学習装置400の動作を示すフローチャートである。図9に示すように反射性判定モデル学習装置400は、呈示部110と、眼球運動取得部120と、特徴量抽出部4
30と、学習部440と、制御部180と、記録部190を含む。記録部190は、反射性判定モデル学習装置400の処理に必要な情報を適宜記録する構成部である。
図10に従い反射性判定モデル学習装置400の動作について説明する。
[眼球運動取得部120]
S120において、眼球運動取得部120は、制御部180からの指示に従い、第3時間区間における対象者の眼球運動の情報を取得し、出力する。なお、眼球運動に現れるサッカードの特徴量として瞳孔運動に現れるサッカードの特徴量のみを用いる場合は、眼球運動取得部120は、眼球運動の情報として瞳孔の位置情報の時系列のみを取得する。また、眼球運動に現れるサッカードの特徴量として瞳孔運動に現れるサッカードの特徴量と虹彩運動に現れるサッカードの特徴量を用いる場合は、眼球運動取得部120は、眼球運動の情報として瞳孔の位置情報の時系列と虹彩の位置情報の時系列を取得する。
[特徴量抽出部430]
S430において、特徴量抽出部430は、S120で取得した眼球運動の情報と制御部180からの入力であるタスク種別を入力とし、眼球運動の情報から対象者の眼球運動に現れるサッカードの特徴量を抽出し、当該特徴量と出力ラベルの組を学習データとして生成し、出力する。ここで抽出する特徴量は、反射性判定モデルの入力となる特徴量と同一となる。なお、学習データの要素である出力ラベルは、タスク種別に応じて付されるラベルであり、正解ラベルに相当する。タスク種別がタスク1Aまたはタスク2Aであれば、対象者の眼が反射的に動きやすい状態にあることを示すラベルとし、タスク種別がタスク1Bまたはタスク2Bであれば、対象者の眼が反射的に動きやすい状態にあるとはいえない(反射的に動きにくい状態にある)ことを示すラベルとする。生成した学習データは、記録部190に記録される。
なお、特徴量は、特徴量抽出部130と同様、ステップ応答モデルを用いて求めればよい。
S430で生成した学習データの集合のことを学習データ集合という。この学習データ集合は、制御部180がタスク1Aまたはタスク2A(視覚的合図又は聴覚的合図を追従するように眼を動かすタスク)と、タスク1Bまたはタスク2B(視覚的合図又は聴覚的合図とは逆の方向に眼を動かすタスク)とをそれぞれ複数回実行させるようにして、生成する。
[学習部440]
S440において、学習部440は、S430で生成した学習データの集合である学習データ集合を用いて、反射性判定モデルを学習する。
反射性判定モデルの学習には、例えばサポートベクターマシン(SVM)やニューラルネットワークを用いることができる。SVMの場合、特徴量をベクトルとして扱うこととして(以下、特徴量ベクトルという)、特徴量ベクトル空間における、視覚的合図又は聴覚的合図を追従するように眼を動かすタスクでのサッカードの特徴量ベクトルに対応する点群(眼が反射的に動きやすい状態にあることを示すラベルに対応する特徴量ベクトルからなる点群)と、視覚的合図又は聴覚的合図とは逆の方向に眼を動かすタスクでのサッカードの特徴量ベクトルに対応する点群(眼が反射的に動きやすい状態にあるとはいえない(反射的に動きにくい状態にある)ことを示すラベルに対応する特徴量ベクトルからなる点群)を分離(識別)する超平面を求めることになる。これにより、未知のサッカードの特徴量(特徴量ベクトル)が入力されたとき、その特徴量ベクトルが超平面のどちら側に属するかによって眼が反射的に動きやすい状態にあるか否かのラベル(判定結果)を生成
する分類器(学習済みモデル)を学習することができる。つまり、その特徴量ベクトルが視覚的合図又は聴覚的合図を追従するように眼を動かすタスクでのサッカードの特徴量ベクトルに対応する点群が属する側にある場合、対象者の眼は反射的に動きやすい状態にあることを示す判定結果を、その特徴量ベクトルが視覚的合図又は聴覚的合図とは逆の方向に眼を動かすタスクでのサッカードの特徴量ベクトルに対応する点群が属する側にある場合、対象者の眼は反射的に動きやすい状態にあるとはいえないことを示す判定結果を生成する分類器が学習されることになる。
また、ニューラルネットワークの場合、学習データの要素である眼球運動に現れるサッカードの特徴量をニューラルネットワークに入力したときの出力結果(出力ラベルの推定結果)が学習データ中の当該特徴量と組となる出力ラベル(正解の出力ラベル)となるように、ニューラルネットワークの各パラメータを更新することにより、モデルを学習する。学習アルゴリズムには、周知のものを用いればよい。また、ニューラルネットワークの各パラメータには、適当な初期値を設定し学習を開始するとよい。
(変形例1)
反射性判定モデル学習装置400が学習に用いる学習データを、タスク1A及びタスク1B(タスク2A及びタスク2B)に基づいて生成したが、対象者の眼が反射的に動いている状態とそうでない状態とを判別可能な状況において対象者から取得したサッカードの特徴量とそのときの状態(正解の出力ラベル)の組を学習データとして生成できるのであれば、どのようなタスクから学習データを生成するようにしてもよい。
本実施形態の発明によれば、眼球運動の反射性を判定するために用いる反射性判定モデルを学習することが可能となる。
<第5実施形態>
第1実施形態~第3実施形態は、ひとりの者から抽出された特徴量を比較することにより、その者の眼球運動の反射性を判定するものであった。ここでは、複数の者の特徴量と比較することにより、ある者の眼球運動の反射性を判定する実施形態について説明する。
まず、背景となる実験結果について説明する。
[背景となる実験結果]
複数の被験者にタスク1Aとタスク1B(またはタスク2Aとタスク2B)を実行させた場合に、図11に示すような傾向が見られた。図11の横軸は、ある被験者が実行したタスク1B/タスク2B(つまり、アンチサッカードタスク)の全試行回数に対する、誤って順方向(注視点の移動方向)に眼を向けてしまった試行回数の割合(エラー率)である。また、図11の縦軸は、ある被験者が実行したタスク1A/タスク2A(つまり、プロサッカードタスク)における瞳孔運動の減衰係数と虹彩運動の減衰係数との差である。つまり、図11は、各被験者に関するエラー率と減衰係数の差をプロットしたものである。図11は、エラー率の高い被験者の方がエラー率の低い被験者よりも減衰係数の差が小さい傾向にあることを示している。この結果から、減衰係数の差が小さい被験者の方が、減衰係数の差が大きい被験者よりもタスクを間違えやすい傾向、反射の影響を受けやすい傾向があると考えられる。
本実施形態の発明は、この自然法則の発見に基づくものである。
反射性判定装置500は、対象者の眼が反射の影響を受けやすいか否かを判定する。
以下、図12~図13を参照して、反射性判定装置500を説明する。図12は、反射
性判定装置500の構成を示すブロック図である。図13は、反射性判定装置500の動作を示すフローチャートである。図12に示すように反射性判定装置500は、呈示部510と、眼球運動取得部520と、特徴量抽出部530と、判定部540と、制御部580と、記録部190を含む。記録部190は、反射性判定装置500の処理に必要な情報を適宜記録する構成部である。例えば、記録部190には、眼球運動に現れるサッカードの特徴量である基準値を事前に記録しておく。ここでは、眼球運動に現れるサッカードの特徴量として、瞳孔運動に現れるサッカードの減衰係数と虹彩運動に現れるサッカードの減衰係数との差を用いる。例えば、以下のようにして基準値を準備する。被験者がタスク1A(タスク2A)を実行することにより得られる第3時間区間における被験者の眼球運動の情報から、被験者の眼球運動に現れるサッカードの特徴量として、瞳孔運動に現れるサッカードの減衰係数と虹彩運動に現れるサッカードの減衰係数との差を抽出する。これを複数回繰り返す。さらに、この作業を複数の被験者に対して行う。このようにして得られた差の代表値を基準値とする。代表値には、平均値、中央値、最大値、最小値などを用いることができる。
図13に従い反射性判定装置500の動作について説明する。
[呈示部510]
S510において、呈示部510は、タスク1Aの注視点の画像を視覚的合図として対象者に呈示する。あるいは、S510において、呈示部510は、タスク2Aの音を聴覚的合図として対象者に呈示する。注視点の画像・音の呈示は、制御部580からの指示に従うものとする。
[制御部580]
制御部580は、呈示部510による画像(音)の呈示を制御するとともに、画像(音)呈示中の第3時間区間における対象者の眼球運動の情報を眼球運動取得部520が取得するよう制御することにより、タスク1A(タスク2A)を実行するよう制御する。
[眼球運動取得部520]
S520において、眼球運動取得部520は、制御部580からの指示に従い、第3時間区間における対象者の眼球運動の情報を取得し、出力する。ここでは、眼球運動の情報として瞳孔の位置情報の時系列と虹彩の位置情報の時系列を取得する。
[特徴量抽出部530]
S530において、特徴量抽出部530は、S520で取得した眼球運動の情報から、対象者の眼球運動に現れるサッカードの特徴量を抽出し、出力する。具体的には、瞳孔の位置情報の時系列から瞳孔に現れるサッカードの減衰係数を求め、虹彩の位置情報の時系列から虹彩に現れるサッカードの減衰係数を求め、瞳孔に現れるサッカードの減衰係数と虹彩に現れるサッカードの減衰係数との差を眼球運動に現れるサッカードの特徴量として抽出する。特徴量は、特徴量抽出部130と同様、ステップ応答モデルを用いて求めればよい。
なお、複数回実行した場合には、抽出した値の代表値を特徴量とすればよい。代表値には、平均値、中央値、最大値、最小値などを用いることができる。
[判定部540]
S540において、判定部540は、記録部190に記録した基準値とS530で抽出した特徴量の相違度合に基づいて、対象者の眼が反射の影響を受けやすいか否かを示す判定結果を生成し、出力する。具体的には、判定部540は、相違度合が大きい場合、対象者の眼が反射の影響を受けやすいことを示す判定結果を生成し、それ以外の場合、対象者
の眼が反射の影響を受けやすいとはいえないことを示す判定結果を生成する。以下、詳しく説明する。αを特徴量、αcを基準値、Δ(Δ≧0)を所定の値とし、基準値と特徴量との差αc-αが所定の値Δより大きい又は所定の値Δ以上である場合は、対象者の眼が反射の影響を受けやすいことを示す判定結果を生成し、それ以外の場合は対象者の眼が反射の影響を受けやすいとはいえないことを示す判定結果を生成する。なお、Δ>0とすることにより、大小関係判定時の誤差を許容することができる。
本実施形態の発明によれば、眼球運動の反射性を判定することが可能となる。具体的には、対象者の眼が反射の影響を受けやすいか否かを判定することが可能となる。
<第6実施形態>
ここでは、第5実施形態で説明した知見に基づいて、対象者の眼に関する反射の影響の受けやすさを判定する実施形態について説明する。当該形態では、機械学習の手法により学習した、眼球運動に現れるサッカードの特徴量を入力として、眼に関する反射の影響の受けやすさの程度を示す情報を出力する反射性判定モデルを用いる。
反射性判定装置600は、対象者の眼に関する反射の影響の受けやすさの程度を示す情報を生成する。
以下、図12~図13を参照して、反射性判定装置600を説明する。図12は、反射性判定装置600の構成を示すブロック図である。図13は、反射性判定装置600の動作を示すフローチャートである。図12に示すように反射性判定装置600は、呈示部510と、眼球運動取得部520と、特徴量抽出部530と、判定部640と、制御部580と、記録部190を含む。記録部190は、反射性判定装置600の処理に必要な情報を適宜記録する構成部である。例えば、記録部190には、反射性判定モデルを事前に記録しておく。ここで、反射性判定モデルとは、眼球運動に現れるサッカードの特徴量を入力として、眼に関する反射の影響の受けやすさの程度を示す情報を出力するように、機械学習の手法により学習された学習済みモデルである。入力とする特徴量は、瞳孔運動に現れるサッカードの減衰係数と虹彩運動に現れるサッカードの減衰係数との差である。また、反射の影響の受けやすさの程度を示す情報とは、反射の影響の受けやすさのランクを示すものである。例えば、ランクをA、B、Cの3つの階層とし、Aから順に反射の影響を受けやすいことを示すものとするとよい。この場合、Aが反射の影響を最も受けやすいことを、Cが反射の影響を最も受けにくいことを示すものとなる。
反射性判定モデルの学習方法については、後述する。
図13に従い反射性判定装置600の動作について説明する。
[判定部640]
S640において、判定部640は、記録部190に記録した反射性判定モデルを用いて、S530で抽出した対象者の眼球運動に現れるサッカードの特徴量(つまり、瞳孔運動に現れるサッカードの減衰係数と虹彩運動に現れるサッカードの減衰係数との差)から、対象者の眼に関する反射の影響の受けやすさを示す情報を判定結果として生成し、出力する。
本実施形態の発明によれば、眼球運動の反射性を判定することが可能となる。具体的には、対象者の眼に関する反射の影響の受けやすさを判定することが可能となる。
<第7実施形態>
反射性判定モデル学習装置700は、反射性判定装置600が用いる反射性判定モデル
を学習する。
以下、図14~図15を参照して、反射性判定モデル学習装置700を説明する。図14は、反射性判定モデル学習装置700の構成を示すブロック図である。図15は、反射性判定モデル学習装置700の動作を示すフローチャートである。図14に示すように反射性判定モデル学習装置700は、呈示部110と、眼球運動取得部120と、特徴量抽出部730と、学習部740と、制御部180と、記録部190を含む。記録部190は、反射性判定モデル学習装置700の処理に必要な情報を適宜記録する構成部である。
図14に従い反射性判定モデル学習装置700の動作について説明する。
[眼球運動取得部120]
S120において、眼球運動取得部120は、制御部180からの指示に従い、第3時間区間における被験者の眼球運動の情報を取得し、出力する。ここでは、眼球運動の情報として瞳孔の位置情報の時系列と虹彩の位置情報の時系列を取得する。
[特徴量抽出部730]
S730において、特徴量抽出部730は、S120で取得した眼球運動の情報と制御部180からの入力であるタスク種別を入力とし、被験者が実行したタスク1A(タスク2A)における眼球運動の情報から当該被験者の眼球運動に現れるサッカードの特徴量を抽出し、当該被験者が実行したタスク1B(タスク2B)の全試行回数に対する、誤って順方向(注視点の移動方向)に眼を向けてしまった試行回数の割合であるエラー率に基づいて、当該被験者の眼に関する反射の影響の受けやすさを示す情報を計算し、当該特徴量と当該眼に関する反射の影響の受けやすさを示す情報の組を学習データとして生成し、出力する。ここで抽出する特徴量は、反射性判定モデルの入力となる特徴量と同一、つまり、瞳孔に現れるサッカードの減衰係数と虹彩に現れるサッカードの減衰係数との差となる。なお、学習データの要素である眼に関する反射の影響の受けやすさを示す情報が正解ラベルに相当する。生成した学習データは記録部190に記録される。
なお、眼に関する反射の影響を受けやすさを示す情報として上記エラー率そのものを用いてもよい。この場合、エラー率が高いほど反射の影響を受けやすいことを示すことになる。また、エラー率のとりうる範囲を複数の区間に分割し、各区間にランクを示すラベルを付与し、当該ランクを反射の影響の受けやすさを示す情報としてもよい。例えば、エラー率の高い区間から順に、A,B,Cとラベルを付すと、Aが反射の影響を最も受けやすいことを、Cが反射の影響を最も受けにくいことを示す情報となる。
S730で生成した学習データの集合のことを学習データ集合という。この学習データ集合は、制御部180がタスク1Aまたはタスク2A(プロサッカードタスク)と、タスク1Bまたはタスク2B(アンチサッカードタスク)とを複数の被験者に複数回実行させるようにして、生成する。
[学習部740]
S740において、学習部740は、S730で生成した学習データの集合である学習データ集合を用いて、反射性判定モデルを学習する。
反射性判定モデルの学習には、学習部440と同様、例えばサポートベクターマシン(SVM)やニューラルネットワークを用いることができる。
本実施形態の発明によれば、眼球運動の反射性を判定するために用いる反射性判定モデルを学習することが可能となる。
<第8実施形態>
対象者の眼が反射的に動きやすい状態にある場合、対象者の意識が外的要因に向きやすい状態にあると考えられる。したがって、反射性判定装置200/300を用いると、対象者の意識が外的要因に向きやすい状態にあるか否かを判定できるようになる。例えば、集中を要する作業などのように、外的要因に意識が向かない方が適している作業において、対象者が現在その作業を行うのに適した状態にあるか否かを判定することが可能となる。また、逆に、外的要因に意識が向きやすい状態の方が適している運動や作業において、対象者が現在その運動・作業を行うのに適した状態にあるか否かを判定することも可能となる。
対象者の意識が外的要因に向きやすい状態にあるか否かを判定できるようにするには、判定部240/340が、対象者の眼が反射的に動きやすい状態にあるか否かを示す判定結果を生成する代わりに、対象者の意識が外的要因に向きやすい状態にあるか否かを示す判定結果を生成するようにすればよい。
<補記>
本発明の装置は、例えば単一のハードウェアエンティティとして、キーボードなどが接続可能な入力部、液晶ディスプレイなどが接続可能な出力部、ハードウェアエンティティの外部に通信可能な通信装置(例えば通信ケーブル)が接続可能な通信部、CPU(Central Processing Unit、キャッシュメモリやレジスタなどを備えていてもよい)、メモリであるRAMやROM、ハードディスクである外部記憶装置並びにこれらの入力部、出力部、通信部、CPU、RAM、ROM、外部記憶装置の間のデータのやり取りが可能なように接続するバスを有している。また必要に応じて、ハードウェアエンティティに、CD-ROMなどの記録媒体を読み書きできる装置(ドライブ)などを設けることとしてもよい。このようなハードウェア資源を備えた物理的実体としては、汎用コンピュータなどがある。
ハードウェアエンティティの外部記憶装置には、上述の機能を実現するために必要となるプログラムおよびこのプログラムの処理において必要となるデータなどが記憶されている(外部記憶装置に限らず、例えばプログラムを読み出し専用記憶装置であるROMに記憶させておくこととしてもよい)。また、これらのプログラムの処理によって得られるデータなどは、RAMや外部記憶装置などに適宜に記憶される。
ハードウェアエンティティでは、外部記憶装置(あるいはROMなど)に記憶された各プログラムとこの各プログラムの処理に必要なデータが必要に応じてメモリに読み込まれて、適宜にCPUで解釈実行・処理される。その結果、CPUが所定の機能(上記、…部、…手段などと表した各構成要件)を実現する。
本発明は上述の実施形態に限定されるものではなく、本発明の趣旨を逸脱しない範囲で適宜変更が可能である。また、上記実施形態において説明した処理は、記載の順に従って時系列に実行されるのみならず、処理を実行する装置の処理能力あるいは必要に応じて並列的にあるいは個別に実行されるとしてもよい。
既述のように、上記実施形態において説明したハードウェアエンティティ(本発明の装置)における処理機能をコンピュータによって実現する場合、ハードウェアエンティティが有すべき機能の処理内容はプログラムによって記述される。そして、このプログラムをコンピュータで実行することにより、上記ハードウェアエンティティにおける処理機能がコンピュータ上で実現される。
この処理内容を記述したプログラムは、コンピュータで読み取り可能な記録媒体に記録しておくことができる。コンピュータで読み取り可能な記録媒体としては、例えば、磁気記録装置、光ディスク、光磁気記録媒体、半導体メモリ等どのようなものでもよい。具体的には、例えば、磁気記録装置として、ハードディスク装置、フレキシブルディスク、磁気テープ等を、光ディスクとして、DVD(Digital Versatile Disc)、DVD-RAM(Random Access Memory)、CD-ROM(Compact Disc Read Only Memory)、CD-R(Recordable)/RW(ReWritable)等を、光磁気記録媒体として、MO(Magneto-Optical disc)等を、半導体メモリとしてEEP-ROM(Electronically Erasable and Programmable-Read Only Memory)等を用いることができる。
また、このプログラムの流通は、例えば、そのプログラムを記録したDVD、CD-ROM等の可搬型記録媒体を販売、譲渡、貸与等することによって行う。さらに、このプログラムをサーバコンピュータの記憶装置に格納しておき、ネットワークを介して、サーバコンピュータから他のコンピュータにそのプログラムを転送することにより、このプログラムを流通させる構成としてもよい。
このようなプログラムを実行するコンピュータは、例えば、まず、可搬型記録媒体に記録されたプログラムもしくはサーバコンピュータから転送されたプログラムを、一旦、自己の記憶装置に格納する。そして、処理の実行時、このコンピュータは、自己の記録媒体に格納されたプログラムを読み取り、読み取ったプログラムに従った処理を実行する。また、このプログラムの別の実行形態として、コンピュータが可搬型記録媒体から直接プログラムを読み取り、そのプログラムに従った処理を実行することとしてもよく、さらに、このコンピュータにサーバコンピュータからプログラムが転送されるたびに、逐次、受け取ったプログラムに従った処理を実行することとしてもよい。また、サーバコンピュータから、このコンピュータへのプログラムの転送は行わず、その実行指示と結果取得のみによって処理機能を実現する、いわゆるASP(Application Service Provider)型のサービスによって、上述の処理を実行する構成としてもよい。なお、本形態におけるプログラムには、電子計算機による処理の用に供する情報であってプログラムに準ずるもの(コンピュータに対する直接の指令ではないがコンピュータの処理を規定する性質を有するデータ等)を含むものとする。
また、この形態では、コンピュータ上で所定のプログラムを実行させることにより、ハードウェアエンティティを構成することとしたが、これらの処理内容の少なくとも一部をハードウェア的に実現することとしてもよい。

Claims (9)

  1. 対象者の眼球運動に現れるサッカードの特徴量を抽出する特徴量抽出部と、
    意識を集中させている状態における前記対象者の眼球運動に現れるサッカードの特徴量(以下、基準値という)と前記特徴量の相違度合に基づいて、前記対象者の眼が反射的に動きやすい状態にあるか否かを示す判定結果を生成する判定部と
    を含む反射性判定装置であって、
    前記眼球運動に現れるサッカードの特徴量は、瞳孔の位置情報の時系列、虹彩の位置情報の時系列をそれぞれ位置制御系のステップ応答としてモデル化して得られる、瞳孔運動に現れるサッカードの減衰係数と虹彩運動に現れるサッカードの減衰係数との差であり、
    前記判定部は、
    前記相違度合が大きい場合、前記対象者の眼が反射的に動きやすい状態にあることを示す判定結果を生成し、それ以外の場合、前記対象者の眼が反射的に動きやすい状態にあるとはいえないことを示す判定結果を生成するものであり、
    前記基準値から前記特徴量を減じることにより得られる差が所定の値より大きい又は所定の値以上である場合に前記対象者の眼が反射的に動きやすい状態にあることを示す判定結果を生成するものである
    反射性判定装置。
  2. 対象者の眼球運動に現れるサッカードの特徴量を抽出する特徴量抽出部と、
    眼球運動に現れるサッカードの特徴量を入力として、眼が反射的に動きやすい状態にあるか否かを示す判定結果を出力するように学習された反射性判定モデルを用いて、前記特徴量から前記対象者の眼が反射的に動きやすい状態にあるか否かを示す判定結果を生成する判定部と
    を含む反射性判定装置であって、
    前記眼球運動に現れるサッカードの特徴量は、少なくとも瞳孔運動に現れるサッカードの減衰係数と虹彩運動に現れるサッカードの減衰係数との差、瞳孔運動に現れるサッカードの減衰率と虹彩運動に現れるサッカードの減衰率との差のいずれか1つを含み、瞳孔の位置情報の時系列、虹彩の位置情報の時系列をそれぞれ位置制御系のステップ応答としてモデル化して得られる特徴量である
    反射性判定装置。
  3. 視覚的合図又は聴覚的合図を追従するように眼を動かすタスクにおける対象者の眼球運動に現れるサッカードの特徴量を抽出する特徴量抽出部と、
    複数の被験者が視覚的合図又は聴覚的合図を追従するように眼を動かすタスクを実行することにより得られる眼球運動に現れるサッカードの特徴量(以下、基準値という)と前記特徴量の相違度合に基づいて、前記対象者の眼が反射の影響を受けやすいか否かを示す判定結果を生成する判定部と
    を含む反射性判定装置であって、
    前記判定部は、
    前記相違度合が大きい場合、前記対象者の眼が反射の影響を受けやすいことを示す判定結果を生成し、それ以外の場合、前記対象者の眼が反射の影響を受けやすいとはいえないことを示す判定結果を生成し、
    前記眼球運動に現れるサッカードの特徴量は、瞳孔運動に現れるサッカードの減衰係数と虹彩運動に現れるサッカードの減衰係数との差であり、瞳孔の位置情報の時系列、虹彩の位置情報の時系列をそれぞれ位置制御系のステップ応答としてモデル化して得られる特徴量であり、
    前記基準値は、前記複数の被験者から得られる、瞳孔運動に現れるサッカードの減衰係数と虹彩運動に現れるサッカードの減衰係数との差の平均値、中央値、最大値、最小値のいずれかである
    反射性判定装置。
  4. 対象者の眼球運動に現れるサッカードの特徴量を抽出する特徴量抽出部と、
    眼球運動に現れるサッカードの特徴量を入力として、眼に関する反射の影響の受けやすさの程度を示す情報を出力するように学習された反射性判定モデルを用いて、前記特徴量から前記対象者の眼に関する反射の影響を受けやすさの程度を示す情報を判定結果として生成する判定部と
    を含む反射性判定装置であって、
    前記眼球運動に現れるサッカードの特徴量は、瞳孔運動に現れるサッカードの減衰係数と虹彩運動に現れるサッカードの減衰係数との差であり、瞳孔の位置情報の時系列、虹彩の位置情報の時系列をそれぞれ位置制御系のステップ応答としてモデル化して得られる特徴量である
    反射性判定装置。
  5. 反射性判定装置が、対象者の眼球運動に現れるサッカードの特徴量を抽出する特徴量抽出ステップと、
    前記反射性判定装置が、意識を集中させている状態における前記対象者の眼球運動に現れるサッカードの特徴量(以下、基準値という)と前記特徴量の相違度合に基づいて、前記対象者の眼が反射的に動きやすい状態にあるか否かを示す判定結果を生成する判定ステップと
    を含む反射性判定方法であって、
    前記眼球運動に現れるサッカードの特徴量は、瞳孔の位置情報の時系列、虹彩の位置情報の時系列をそれぞれ位置制御系のステップ応答としてモデル化して得られる、瞳孔運動に現れるサッカードの減衰係数と虹彩運動に現れるサッカードの減衰係数との差であり、
    前記判定ステップは、
    前記相違度合が大きい場合、前記対象者の眼が反射的に動きやすい状態にあることを示す判定結果を生成し、それ以外の場合、前記対象者の眼が反射的に動きやすい状態にあるとはいえないことを示す判定結果を生成ものであり、
    前記基準値から前記特徴量を減じることにより得られる差が所定の値より大きい又は所定の値以上である場合に前記対象者の眼が反射的に動きやすい状態にあることを示す判定結果を生成するものである
    反射性判定方法。
  6. 反射性判定装置が、対象者の眼球運動に現れるサッカードの特徴量を抽出する特徴量抽出ステップと、
    前記反射性判定装置が、眼球運動に現れるサッカードの特徴量を入力として、眼が反射的に動きやすい状態にあるか否かを示す判定結果を出力するように学習された反射性判定モデルを用いて、前記特徴量から前記対象者の眼が反射的に動きやすい状態にあるか否かを示す判定結果を生成する判定ステップと
    を含む反射性判定方法であって、
    前記眼球運動に現れるサッカードの特徴量は、少なくとも瞳孔運動に現れるサッカードの減衰係数と虹彩運動に現れるサッカードの減衰係数との差、瞳孔運動に現れるサッカードの減衰率と虹彩運動に現れるサッカードの減衰率との差のいずれか1つを含み、瞳孔の位置情報の時系列、虹彩の位置情報の時系列をそれぞれ位置制御系のステップ応答としてモデル化して得られる特徴量である
    反射性判定方法。
  7. 反射性判定装置が、視覚的合図又は聴覚的合図を追従するように眼を動かすタスクにおける対象者の眼球運動に現れるサッカードの特徴量を抽出する特徴量抽出ステップと、
    前記反射性判定装置が、複数の被験者が視覚的合図又は聴覚的合図を追従するように眼を動かすタスクを実行することにより得られる眼球運動に現れるサッカードの特徴量(以下、基準値という)と前記特徴量の相違度合に基づいて、前記対象者の眼が反射の影響を受けやすいか否かを示す判定結果を生成する判定ステップと
    を含む反射性判定方法であって、
    前記判定ステップは、
    前記相違度合が大きい場合、前記対象者の眼が反射の影響を受けやすいことを示す判定結果を生成し、それ以外の場合、前記対象者の眼が反射の影響を受けやすいとはいえないことを示す判定結果を生成し、
    前記眼球運動に現れるサッカードの特徴量は、瞳孔運動に現れるサッカードの減衰係数と虹彩運動に現れるサッカードの減衰係数との差であり、瞳孔の位置情報の時系列、虹彩の位置情報の時系列をそれぞれ位置制御系のステップ応答としてモデル化して得られる特徴量であり、
    前記基準値は、前記複数の被験者から得られる、瞳孔運動に現れるサッカードの減衰係数と虹彩運動に現れるサッカードの減衰係数との差の平均値、中央値、最大値、最小値のいずれかである
    反射性判定方法。
  8. 反射性判定装置が、対象者の眼球運動に現れるサッカードの特徴量を抽出する特徴量抽出ステップと、
    前記反射性判定装置が、眼球運動に現れるサッカードの特徴量を入力として、眼に関する反射の影響の受けやすさの程度を示す情報を出力するように学習された反射性判定モデルを用いて、前記特徴量から前記対象者の眼に関する反射の影響を受けやすさの程度を示す情報を判定結果として生成する判定ステップと
    を含む反射性判定方法であって、
    前記眼球運動に現れるサッカードの特徴量は、瞳孔運動に現れるサッカードの減衰係数と虹彩運動に現れるサッカードの減衰係数との差であり、瞳孔の位置情報の時系列、虹彩の位置情報の時系列をそれぞれ位置制御系のステップ応答としてモデル化して得られる特徴量である
    反射性判定方法。
  9. 請求項1ないし4のいずれか1項に記載の反射性判定装置としてコンピュータを機能させるためのプログラム。
JP2018119437A 2018-06-25 2018-06-25 反射性判定装置、反射性判定方法、プログラム Active JP7214986B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2018119437A JP7214986B2 (ja) 2018-06-25 2018-06-25 反射性判定装置、反射性判定方法、プログラム
US17/255,499 US20210275016A1 (en) 2018-06-25 2019-05-20 Reflectivity judgement apparatus, reflectivity judgement method, and program
PCT/JP2019/019836 WO2020003804A1 (ja) 2018-06-25 2019-05-20 反射性判定装置、反射性判定方法、プログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2018119437A JP7214986B2 (ja) 2018-06-25 2018-06-25 反射性判定装置、反射性判定方法、プログラム

Publications (2)

Publication Number Publication Date
JP2020000266A JP2020000266A (ja) 2020-01-09
JP7214986B2 true JP7214986B2 (ja) 2023-01-31

Family

ID=68986362

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018119437A Active JP7214986B2 (ja) 2018-06-25 2018-06-25 反射性判定装置、反射性判定方法、プログラム

Country Status (3)

Country Link
US (1) US20210275016A1 (ja)
JP (1) JP7214986B2 (ja)
WO (1) WO2020003804A1 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023047519A1 (ja) * 2021-09-24 2023-03-30 日本電信電話株式会社 学習装置、推定装置、学習方法、推定方法、およびプログラム
CN116974370B (zh) * 2023-07-18 2024-04-16 深圳市本顿科技有限公司 一种防沉迷儿童学习平板电脑控制方法及系统

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140249447A1 (en) 2013-03-04 2014-09-04 Anne Bibiana Sereno Touch sensitive system and method for cognitive and behavioral testing and evaluation
JP2016151849A (ja) 2015-02-17 2016-08-22 日本電信電話株式会社 個人識別方法、個人識別装置、プログラム
JP2017526078A (ja) 2014-05-09 2017-09-07 グーグル インコーポレイテッド 実在および仮想のオブジェクトと対話するための生体力学ベースの眼球信号のためのシステムおよび方法
JP2017215963A (ja) 2016-05-30 2017-12-07 日本電信電話株式会社 注目範囲推定装置、学習装置、それらの方法およびプログラム

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6839041B2 (en) * 2001-08-01 2005-01-04 Thermwood Corporation Virtual reality viewing system and method
JP5030142B2 (ja) * 2006-09-26 2012-09-19 トヨタ自動車株式会社 集中度評価装置及びこれを用いた車両用表示装置
US9687145B2 (en) * 2014-11-10 2017-06-27 University Of Houston System Optical coherence elastography to assess biomechanics and detect progression of ocular and other tissues degenerative diseases

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140249447A1 (en) 2013-03-04 2014-09-04 Anne Bibiana Sereno Touch sensitive system and method for cognitive and behavioral testing and evaluation
JP2017526078A (ja) 2014-05-09 2017-09-07 グーグル インコーポレイテッド 実在および仮想のオブジェクトと対話するための生体力学ベースの眼球信号のためのシステムおよび方法
JP2016151849A (ja) 2015-02-17 2016-08-22 日本電信電話株式会社 個人識別方法、個人識別装置、プログラム
JP2017215963A (ja) 2016-05-30 2017-12-07 日本電信電話株式会社 注目範囲推定装置、学習装置、それらの方法およびプログラム

Also Published As

Publication number Publication date
WO2020003804A1 (ja) 2020-01-02
JP2020000266A (ja) 2020-01-09
US20210275016A1 (en) 2021-09-09

Similar Documents

Publication Publication Date Title
JP6815486B2 (ja) 精神障害の療法のためのモバイルおよびウェアラブルビデオ捕捉およびフィードバックプラットフォーム
JP5718493B1 (ja) 音の顕著度推定装置、その方法、及びプログラム
JP2019141697A (ja) 眼科検査を実行するためのヘッドマウントディスプレイ
JP7070605B2 (ja) 注目範囲推定装置、その方法およびプログラム
US10706281B2 (en) Controlling focal parameters of a head mounted display based on estimated user age
JP2023116604A (ja) 軽度認知障害判定システム
CN109765991A (zh) 社交互动系统、用于帮助用户进行社交互动的系统及非暂时性计算机可读存储介质
JP6755839B2 (ja) 運動パフォーマンス推定装置、その方法、およびプログラム
Sungkur et al. Eye tracking system for enhanced learning experiences
US11157074B2 (en) Presenting assessment content to a user
JP7214986B2 (ja) 反射性判定装置、反射性判定方法、プログラム
JP6939533B2 (ja) 注意レベル推定装置、注意レベル推定モデル学習装置、注意レベル推定方法、注意レベル推定モデル学習方法、およびプログラム
JP5718494B1 (ja) 印象推定装置、その方法、及びプログラム
JP6479708B2 (ja) 特徴量抽出装置、推定装置、それらの方法、およびプログラム
JP5718495B1 (ja) 印象推定装置、その方法、及びプログラム
JP6377545B2 (ja) 個人識別方法、個人識別装置、プログラム
JP5718492B1 (ja) 音の顕著度推定装置、その方法、及びプログラム
JP2017086529A (ja) 印象推定装置およびプログラム
JP6904269B2 (ja) 聴覚的注意推定装置、聴覚的注意推定方法、プログラム
JP2017202048A (ja) 特徴量抽出装置、推定装置、それらの方法、およびプログラム
JP6445418B2 (ja) 印象推定装置、印象推定方法、およびプログラム
WO2020036019A1 (ja) 瞳孔特徴量抽出装置、瞳孔特徴量抽出方法、プログラム
WO2023047519A1 (ja) 学習装置、推定装置、学習方法、推定方法、およびプログラム
JP7017171B2 (ja) 運動パフォーマンス推定装置、トレーニング装置、それらの方法、およびプログラム
Wong et al. Automatic pupillary light reflex detection in eyewear computing

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210113

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220208

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220404

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220726

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220914

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20221220

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230102

R150 Certificate of patent or registration of utility model

Ref document number: 7214986

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150