JP6737234B2 - 評価装置、評価方法、及び評価プログラム - Google Patents

評価装置、評価方法、及び評価プログラム Download PDF

Info

Publication number
JP6737234B2
JP6737234B2 JP2017100871A JP2017100871A JP6737234B2 JP 6737234 B2 JP6737234 B2 JP 6737234B2 JP 2017100871 A JP2017100871 A JP 2017100871A JP 2017100871 A JP2017100871 A JP 2017100871A JP 6737234 B2 JP6737234 B2 JP 6737234B2
Authority
JP
Japan
Prior art keywords
data
display
evaluation
subject
gazing point
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2017100871A
Other languages
English (en)
Other versions
JP2018192195A (ja
Inventor
首藤 勝行
勝行 首藤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
JVCKenwood Corp
Original Assignee
JVCKenwood Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by JVCKenwood Corp filed Critical JVCKenwood Corp
Priority to JP2017100871A priority Critical patent/JP6737234B2/ja
Priority to PCT/JP2018/012230 priority patent/WO2018216347A1/ja
Priority to EP18805965.3A priority patent/EP3613334A4/en
Publication of JP2018192195A publication Critical patent/JP2018192195A/ja
Priority to US16/674,009 priority patent/US20200069230A1/en
Application granted granted Critical
Publication of JP6737234B2 publication Critical patent/JP6737234B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B10/00Other methods or instruments for diagnosis, e.g. instruments for taking a cell sample, for biopsy, for vaccination diagnosis; Sex determination; Ovulation-period determination; Throat striking implements
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/113Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for determining or recording eye movement
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/103Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/1126Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb using a particular sensing technique
    • A61B5/1128Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb using a particular sensing technique using image analysis
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/16Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/163Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state by tracking eye movement, gaze, or pupil change
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/40Detecting, measuring or recording for evaluating the nervous system
    • A61B5/4029Detecting, measuring or recording for evaluating the nervous system for evaluating the peripheral nervous systems
    • A61B5/4041Evaluating nerves condition
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09BEDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B19/00Teaching not covered by other main groups of this subclass
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00ICT specially adapted for the handling or processing of medical images
    • G16H30/40ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/0016Operational features thereof
    • A61B3/0025Operational features thereof characterised by electronic signal processing, e.g. eye models
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/11Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for measuring interpupillary distance or diameter of pupils
    • A61B3/111Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for measuring interpupillary distance or diameter of pupils for measuring interpupillary distance

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Public Health (AREA)
  • Medical Informatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Physics & Mathematics (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Veterinary Medicine (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Biophysics (AREA)
  • Pathology (AREA)
  • Educational Technology (AREA)
  • Neurology (AREA)
  • Business, Economics & Management (AREA)
  • Ophthalmology & Optometry (AREA)
  • Hospice & Palliative Care (AREA)
  • Human Computer Interaction (AREA)
  • Social Psychology (AREA)
  • Psychology (AREA)
  • Child & Adolescent Psychology (AREA)
  • Developmental Disabilities (AREA)
  • Psychiatry (AREA)
  • Epidemiology (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Physiology (AREA)
  • Primary Health Care (AREA)
  • Radiology & Medical Imaging (AREA)
  • Neurosurgery (AREA)
  • Educational Administration (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Dentistry (AREA)
  • Data Mining & Analysis (AREA)

Description

本発明は、評価装置、評価方法、及び評価プログラムに関する。
視線検出技術の一つとして角膜反射法が知られている。角膜反射法は、光源から射出された赤外光を被験者に照射し、赤外光が照射された被験者の眼をカメラで撮影し、角膜表面における光源の反射像である角膜反射像に対する瞳孔の位置を検出して、被験者の視線を検出する。
このような被験者の視線を検出した結果を用いて、各種評価が行われている。例えば、特許文献1には、眼球運動を検出することにより、脳機能を検査する技術が記載されている。
特開2003−038443号公報
近年、認知症等の脳神経疾病・障がい者が増加傾向にあるといわれている。また、このような脳神経疾病・障がいを早期に発見し、症状の重さを定量的に評価することが求められている。例えば、脳神経疾病・障がいの症状は、記憶力に影響することが知られている。このため、被験者の記憶力を計測することにより、被験者を高精度に評価することが求められている。
本発明は、上記に鑑みてなされたものであり、被験者の評価を高精度に行うことが可能な評価装置、評価方法、及び評価プログラムを提供することを目的とする。
本発明に係る評価装置は、被験者の眼球の画像データを取得する画像データ取得部と、前記画像データに基づいて、前記被験者の注視点の位置データを検出する注視点検出部と、複数の対象物を表示画面に表示させる表示動作と、前記表示動作を開始した後に所定のタイミングで前記対象物を非表示とする非表示動作と、を行う表示制御部と、前記表示画面において前記対象物のそれぞれに対応した複数の対応領域を設定する領域設定部と、前記注視点の位置データに基づいて、前記非表示動作が行われる非表示期間に前記注視点が前記対応領域に存在するか否かをそれぞれ判定し、判定データを出力する判定部と、前記判定データに基づいて、前記対応領域のうち前記非表示期間に前記注視点が検出された前記対応領域を示す領域データをそれぞれ求める演算部と、前記領域データに基づいて、前記被験者の評価データを求める評価部と、前記評価データを出力する出力制御部とを備える。
本発明に係る評価方法は、被験者の眼球の画像データを取得することと、前記画像データに基づいて、前記被験者の注視点の位置データを検出することと、複数の対象物を表示画面に表示させる表示動作と、前記表示動作を開始した後に所定のタイミングで前記対象物を非表示とする非表示動作と、を行うことと、前記表示画面において前記対象物のそれぞれに対応した複数の対応領域を設定することと、前記注視点の位置データに基づいて、前記非表示動作が行われる非表示期間に前記注視点が前記対応領域に存在するか否かをそれぞれ判定し、判定データを出力することと、前記判定データに基づいて、前記対応領域のうち前記非表示期間に前記注視点が検出された前記対応領域を示す領域データをそれぞれ求めることと、前記領域データに基づいて、前記被験者の評価データを求めることと、前記評価データを出力することとを含む。
本発明に係る評価プログラムは、被験者の眼球の画像データを取得する処理と、前記画像データに基づいて、前記被験者の注視点の位置データを検出する処理と、複数の対象物を表示画面に表示させる表示動作と、前記表示動作を開始した後に所定のタイミングで前記対象物を非表示とする非表示動作と、を行う処理と、前記表示画面において前記対象物のそれぞれに対応した複数の対応領域を設定する処理と、前記注視点の位置データに基づいて、前記非表示動作が行われる非表示期間に前記注視点が前記対応領域に存在するか否かをそれぞれ判定し、判定データを出力する処理と、前記判定データに基づいて、前記対応領域のうち前記非表示期間に前記注視点が検出された前記対応領域を示す領域データをそれぞれ求める処理と、前記領域データに基づいて、前記被験者の評価データを求める処理と、前記評価データを出力する処理とをコンピュータに実行させる。
本発明によれば、被験者の視線検出結果を用いた評価を高精度に行うことが可能となる。
図1は、第1実施形態に係る視線検出装置の一例を模式的に示す斜視図である。 図2は、本実施形態に係る表示装置とステレオカメラ装置と照明装置と被験者の眼との位置関係を模式的に示す図である。 図3は、本実施形態に係る視線検出装置のハードウェア構成の一例を示す図である。 図4は、本実施形態に係る視線検出装置の一例を示す機能ブロック図である。 図5は、本実施形態に係る角膜曲率中心の位置データの算出方法を説明するための模式図である。 図6は、本実施形態に係る角膜曲率中心の位置データの算出方法を説明するための模式図である。 図7は、本実施形態に係る視線検出方法の一例を示すフローチャートである。 図8は、本実施形態に係るキャリブレーション処理の一例を説明するための模式図である。 図9は、本実施形態に係るキャリブレーション処理の一例を示すフローチャートである。 図10は、本実施形態に係る注視点検出処理の一例を説明するための模式図である。 図11は、本実施形態に係る注視点検出処理の一例を示すフローチャートである。 図12は、本実施形態に係る表示制御部が表示装置に表示させる映像の一例を示す図である。 図13は、被験者の注視点の動きの一例を示す図である。 図14は、本実施形態に係る表示制御部が表示装置に表示させる映像の一例を示す図である。 図15は、本実施形態に係る表示制御部が表示装置に表示させる映像の一例を示す図である。 図16は、本実施形態に係る表示制御部が表示装置に表示させる映像の一例を示す図である。 図17は、本実施形態に係る表示制御部が表示装置に表示させる映像の一例を示す図である。 図18は、本実施形態に係る表示制御部が表示装置に表示させる映像の一例を示す図である。 図19は、本実施形態に係る表示制御部が表示装置に表示させる映像の一例を示す図である。 図20は、本実施形態に係る表示制御部が表示装置に表示させる映像の一例を示す図である。 図21は、各映像が表示される時刻を示すタイムチャートである。 図22は、本実施形態に係る評価方法の一例を示すフローチャートである。 図23は、第2実施形態に係る評価方法の一例を示すフローチャートである。
以下、本発明に係る実施形態について図面を参照しながら説明するが、本発明はこれに限定されない。以下で説明する実施形態の構成要素は、適宜組み合わせることができる。また、一部の構成要素を用いない場合もある。
以下の説明においては、三次元グローバル座標系を設定して各部の位置関係について説明する。所定面の第1軸と平行な方向をX軸方向とし、第1軸と直交する所定面の第2軸と平行な方向をY軸方向とし、第1軸及び第2軸のそれぞれと直交する第3軸と平行な方向をZ軸方向とする。所定面はXY平面を含む。
<第1実施形態>
第1実施形態について説明する。図1は、本実施形態に係る視線検出装置100の一例を模式的に示す斜視図である。本実施形態において、視線検出装置100は、被験者の関心対象を評価する評価装置として用いられる。
図1に示すように、視線検出装置100は、表示装置101と、ステレオカメラ装置102と、照明装置103とを備える。
表示装置101は、液晶ディスプレイ(liquid crystal display:LCD)又は有機ELディスプレイ(organic electroluminescence display:OLED)のようなフラットパネルディスプレイを含む。表示装置101は、表示部として機能する。
本実施形態において、表示装置101の表示画面101Sは、XY平面と実質的に平行である。X軸方向は表示画面101Sの左右方向であり、Y軸方向は表示画面101Sの上下方向であり、Z軸方向は表示画面101Sと直交する奥行方向である。
ステレオカメラ装置102は、第1カメラ102A及び第2カメラ102Bを有する。ステレオカメラ装置102は、表示装置101の表示画面101Sよりも下方に配置される。第1カメラ102Aと第2カメラ102BとはX軸方向に配置される。第1カメラ102Aは、第2カメラ102Bよりも−X方向に配置される。第1カメラ102A及び第2カメラ102Bはそれぞれ、赤外線カメラを含み、例えば波長850[nm]の近赤外光を透過可能な光学系と、その近赤外光を受光可能な撮像素子とを有する。
照明装置103は、第1光源103A及び第2光源103Bを有する。照明装置103は、表示装置101の表示画面101Sよりも下方に配置される。第1光源103Aと第2光源103BとはX軸方向に配置される。第1光源103Aは、第1カメラ102Aよりも−X方向に配置される。第2光源103Bは、第2カメラ102Bよりも+X方向に配置される。第1光源103A及び第2光源103Bはそれぞれ、LED(light emitting diode)光源を含み、例えば波長850[nm]の近赤外光を射出可能である。なお、第1光源103A及び第2光源103Bは、第1カメラ102Aと第2カメラ102Bとの間に配置されてもよい。
図2は、本実施形態に係る表示装置101とステレオカメラ装置102と照明装置103と被験者の眼球111との位置関係を模式的に示す図である。
照明装置103は、検出光である近赤外光を射出して、被験者の眼球111を照明する。ステレオカメラ装置102は、第1光源103Aから射出された検出光が眼球111に照射されたときに第2カメラ102Bで眼球111を撮影し、第2光源103Bから射出された検出光が眼球111に照射されたときに第1カメラ102Aで眼球111を撮影する。
第1カメラ102A及び第2カメラ102Bの少なくとも一方からフレーム同期信号が出力される。第1光源103A及び第2光源103Bは、フレーム同期信号に基づいて検出光を射出する。第1カメラ102Aは、第2光源103Bから射出された検出光が眼球111に照射されたときに、眼球111の画像データを取得する。第2カメラ102Bは、第1光源103Aから射出された検出光が眼球111に照射されたときに、眼球111の画像データを取得する。
眼球111に検出光が照射されると、その検出光の一部は瞳孔112で反射し、その瞳孔112からの光がステレオカメラ装置102に入射する。また、眼球111に検出光が照射されると、角膜の虚像である角膜反射像113が眼球111に形成され、その角膜反射像113からの光がステレオカメラ装置102に入射する。
第1カメラ102A及び第2カメラ102Bと第1光源103A及び第2光源103Bとの相対位置が適切に設定されることにより、瞳孔112からステレオカメラ装置102に入射する光の強度は低くなり、角膜反射像113からステレオカメラ装置102に入射する光の強度は高くなる。すなわち、ステレオカメラ装置102で取得される瞳孔112の画像は低輝度となり、角膜反射像113の画像は高輝度となる。ステレオカメラ装置102は、取得される画像の輝度に基づいて、瞳孔112の位置及び角膜反射像113の位置を検出することができる。
図3は、本実施形態に係る視線検出装置100のハードウェア構成の一例を示す図である。図3に示すように、視線検出装置100は、表示装置101と、ステレオカメラ装置102と、照明装置103と、コンピュータシステム20と、入出力インターフェース装置30と、駆動回路40と、出力装置50と、入力装置60と、音声出力装置70とを備える。コンピュータシステム20は、演算処理装置20A及び記憶装置20Bを含む。
コンピュータシステム20と、駆動回路40と、出力装置50と、入力装置60と、音声出力装置70とは、入出力インターフェース装置30を介してデータ通信する。
演算処理装置20Aは、CPU(central processing unit)のようなマイクロプロセッサを含む。記憶装置20Bは、ROM(read only memory)及びRAM(random access memory)のようなメモリ又はストレージを含む。演算処理装置20Aは、記憶装置20Bに記憶されているコンピュータプログラム20Cに従って演算処理を実施する。
駆動回路40は、駆動信号を生成して、表示装置101、ステレオカメラ装置102、及び照明装置103に出力する。また、駆動回路40は、ステレオカメラ装置102で取得された眼球111の画像データを、入出力インターフェース装置30を介してコンピュータシステム20に供給する。
出力装置50は、フラットパネルディスプレイのような表示装置を含む。なお、出力装置50は、印刷装置を含んでもよい。入力装置60は、操作されることにより入力データを生成する。入力装置60は、コンピュータシステム用のキーボード又はマウスを含む。なお、入力装置60が表示装置である出力装置50の表示画面に設けられたタッチセンサを含んでもよい。音声出力装置70は、スピーカを含み、例えば被験者に注意を促すための音声を出力する。
本実施形態においては、表示装置101とコンピュータシステム20とは別々の装置である。なお、表示装置101とコンピュータシステム20とが一体でもよい。例えば視線検出装置100がタブレット型パーソナルコンピュータを含む場合、そのタブレット型パーソナルコンピュータに、コンピュータシステム20、入出力インターフェース装置30、駆動回路40、及び表示装置101が搭載されてもよい。
図4は、本実施形態に係る視線検出装置100の一例を示す機能ブロック図である。図4に示すように、入出力インターフェース装置30は、入出力部302を有する。駆動回路40は、表示装置101を駆動するための駆動信号を生成して表示装置101に出力する表示装置駆動部402と、第1カメラ102Aを駆動するための駆動信号を生成して第1カメラ102Aに出力する第1カメラ入出力部404Aと、第2カメラ102Bを駆動するための駆動信号を生成して第2カメラ102Bに出力する第2カメラ入出力部404Bと、第1光源103A及び第2光源103Bを駆動するための駆動信号を生成して第1光源103A及び第2光源103Bに出力する光源駆動部406とを有する。また、第1カメラ入出力部404Aは、第1カメラ102Aで取得された眼球111の画像データを、入出力部302を介してコンピュータシステム20に供給する。第2カメラ入出力部404Bは、第2カメラ102Bで取得された眼球111の画像データを、入出力部302を介してコンピュータシステム20に供給する。
コンピュータシステム20は、視線検出装置100を制御する。コンピュータシステム20は、表示制御部202と、光源制御部204と、画像データ取得部206と、入力データ取得部208と、位置検出部210と、曲率中心算出部212と、注視点検出部214と、領域設定部216と、判定部218と、演算部220と、記憶部222と、評価部224と、出力制御部226とを有する。コンピュータシステム20の機能は、演算処理装置20A及び記憶装置20Bによって発揮される。
表示制御部202は、複数の対象物を表示画面101Sに表示させる表示動作と、表示動作を開始した後に所定のタイミングで対象物を非表示とする非表示動作と、を繰り返し行う。表示動作により複数の対象物が表示されている期間を表示期間とし、非表示動作により複数の対象物が非表示となっている期間を非表示期間とする。表示制御部202は、例えば被験者に見せるための映像を表示装置101の表示画面101Sに表示させる。この映像には、複数の対象物を表示させる場面と、複数の対象物を非表示とする場面とを含む。したがって、表示制御部202は、映像を再生させることにより、表示画面101Sに複数の対象物を表示させる表示動作と、複数の対象物を非表示とする非表示動作とを行うようになっている。なお、この映像は、複数の対象物に対応する対応領域の範囲を示す範囲領域を表示する場面を含む。また、この映像は、被験者に対して指示を行うための文字情報等を表示する場面を含む。
光源制御部204は、光源駆動部406を制御して、第1光源103A及び第2光源103Bの作動状態を制御する。光源制御部204は、第1光源103Aと第2光源103Bとが異なるタイミングで検出光を射出するように第1光源103A及び第2光源103Bを制御する。
画像データ取得部206は、第1カメラ102A及び第2カメラ102Bを含むステレオカメラ装置102によって取得された被験者の眼球111の画像データを、入出力部302を介してステレオカメラ装置102から取得する。
入力データ取得部208は、入力装置60が操作されることにより生成された入力データを、入出力部302を介して入力装置60から取得する。
位置検出部210は、画像データ取得部206で取得された眼球111の画像データに基づいて、瞳孔中心の位置データを検出する。また、位置検出部210は、画像データ取得部206で取得された眼球111の画像データに基づいて、角膜反射中心の位置データを検出する。瞳孔中心は、瞳孔112の中心である。角膜反射中心は、角膜反射像113の中心である。位置検出部210は、被験者の左右それぞれの眼球111について、瞳孔中心の位置データ及び角膜反射中心の位置データを検出する。
曲率中心算出部212は、画像データ取得部206で取得された眼球111の画像データに基づいて、眼球111の角膜曲率中心の位置データを算出する。
注視点検出部214は、画像データ取得部206で取得された眼球111の画像データに基づいて、被験者の注視点の位置データを検出する。本実施形態において、注視点の位置データとは、三次元グローバル座標系で規定される被験者の視線ベクトルと表示装置101の表示画面101Sとの交点の位置データをいう。注視点検出部214は、眼球111の画像データから取得された瞳孔中心の位置データ及び角膜曲率中心の位置データに基づいて、被験者の左右それぞれの眼球111の視線ベクトルを検出する。視線ベクトルが検出された後、注視点検出部214は、視線ベクトルと表示画面101Sとの交点を示す注視点の位置データを検出する。
領域設定部216は、表示装置101の表示画面101Sにおいて複数の対象物のそれぞれに対応した対応領域を設定する。領域設定部216は、複数の対象物のうち被験者に見つめさせる対象物に対応した対応領域を、特定領域として設定する。
判定部218は、注視点の位置データに基づいて、非表示動作が行われる非表示期間に注視点が複数の対応領域に存在するか否かをそれぞれ判定し、判定データを出力する。判定部218は、例えば一定時間毎に注視点が対応領域に存在するか否かをそれぞれ判定する。一定時間としては、例えば第1カメラ102A及び第2カメラ102Bから出力されるフレーム同期信号の周期(例えば50[msec]毎)とすることができる。
演算部220は、判定部218の判定データに基づいて、複数の対応領域のうち非表示期間に注視点が検出された対応領域を示す領域データを求める。また、演算部220は、判定部218の判定データに基づいて、非表示期間に注視点が複数の対応領域に存在した存在時間を示す存在時間データを算出する。また、演算部220は、判定部218の判定データに基づいて、非表示動作の開始時刻から注視点が特定領域に最初に到達するまでの到達時間を示す到達時間データを算出する。
なお、演算部220は、映像の再生時間を管理する管理タイマと、表示画面101Sに映像が表示されてからの経過時間を検出する検出タイマを有する。演算部220は、検出タイマの検出結果に基づいて、表示画面101Sに表示される映像がタイムチャートにおける複数の期間(図21の期間T1〜T13参照)のうちいずれの期間の映像かを検出可能である。また、演算部220は、各対応領域について注視点が存在すると判定された判定回数をカウントする。演算部220は、各対応領域について判定回数をカウントするカウンタを有する。また、演算部220は、非表示動作の開始時刻から注視点が特定領域に最初に到達するまでの到達時間を示す到達時間データをカウントするカウンタを有する。
評価部224は、少なくとも領域データに基づいて、被験者の評価データを求める。評価データは、表示動作において表示画面101Sに表示される複数の対象物の位置について被験者がどの程度記憶しているかを示すデータである。なお、評価部224は、領域データと存在時間データとに基づいて評価データを求めることが可能である。また、評価部224は、領域データと、存在時間データと、到達時間データとに基づいて評価データを求めることも可能である。この場合、例えば到達時間データよりも存在時間データに重みをつけて評価データを求めてもよい。
記憶部222は、上記の領域データ、存在時間データ、到達時間データ、評価データを記憶する。また、記憶部222は、被験者の眼球の画像データを取得する処理と、画像データに基づいて、被験者の注視点の位置データを検出する処理と、複数の対象物を表示画面に表示させる表示動作と、表示動作を開始した後に所定のタイミングで対象物を非表示とする非表示動作と、を行う処理と、表示画面において対象物のそれぞれに対応した複数の対応領域を設定する処理と、注視点の位置データに基づいて、非表示動作が行われる非表示期間に注視点が対応領域に存在するか否かをそれぞれ判定し、判定データを出力する処理と、判定データに基づいて、対応領域のうち非表示期間に注視点が検出された対応領域を示す領域データをそれぞれ求める処理と、領域データに基づいて、被験者の評価データを求める処理と、評価データを出力する処理とをコンピュータに実行させる評価プログラムを記憶する。
出力制御部226は、表示装置101、出力装置50、及び音声出力装置70の少なくとも一つにデータを出力する。本実施形態において、出力制御部226は、演算部220で算出された領域データ及び時間データを表示装置101又は出力装置50に表示させる。また、出力制御部226は、被験者の左右それぞれの眼球111の注視点の位置データを表示装置101又は出力装置50に表示させる。また、出力制御部226は、評価部224から出力された評価データを表示装置101又は出力装置50に表示させる。
次に、本実施形態に係る曲率中心算出部212の処理の概要について説明する。曲率中心算出部212は、眼球111の画像データに基づいて、眼球111の角膜曲率中心の位置データを算出する。
図5及び図6は、本実施形態に係る角膜曲率中心110の位置データの算出方法を説明するための模式図である。図5は、1つの光源103Cで眼球111が照明される例を示す。図6は、第1光源103A及び第2光源103Bで眼球111が照明される例を示す。
まず、図5に示す例について説明する。光源103Cは、第1カメラ102Aと第2カメラ102Bとの間に配置される。瞳孔中心112Cは、瞳孔112の中心である。角膜反射中心113Cは、角膜反射像113の中心である。図5において、瞳孔中心112Cは、眼球111が1つの光源103Cで照明されたときの瞳孔中心を示す。角膜反射中心113Cは、眼球111が1つの光源103Cで照明されたときの角膜反射中心を示す。
角膜反射中心113Cは、光源103Cと角膜曲率中心110とを結ぶ直線上に存在する。角膜反射中心113Cは、角膜表面と角膜曲率中心110との中間点に位置付けられる。角膜曲率半径109は、角膜表面と角膜曲率中心110との距離である。
角膜反射中心113Cの位置データは、ステレオカメラ装置102によって検出される。角膜曲率中心110は、光源103Cと角膜反射中心113Cとを結ぶ直線上に存在する。曲率中心算出部212は、その直線上において角膜反射中心113Cからの距離が所定値となる位置データを、角膜曲率中心110の位置データとして算出する。所定値は、一般的な角膜の曲率半径値などから事前に定められた値であり、記憶部222に記憶されている。
次に、図6に示す例について説明する。本実施形態においては、第1カメラ102A及び第2光源103Bと、第2カメラ102B及び第1光源103Aとは、第1カメラ102Aと第2カメラ102Bとの中間位置を通る直線に対して左右対称の位置に配置される。第1カメラ102Aと第2カメラ102Bとの中間位置に仮想光源103Vが存在するとみなすことができる。
角膜反射中心121は、第2カメラ102Bで眼球111を撮影した画像における角膜反射中心を示す。角膜反射中心122は、第1カメラ102Aで眼球111を撮影した画像における角膜反射中心を示す。角膜反射中心124は、仮想光源103Vに対応する角膜反射中心を示す。
角膜反射中心124の位置データは、ステレオカメラ装置102で取得された角膜反射中心121の位置データ及び角膜反射中心122の位置データに基づいて算出される。ステレオカメラ装置102は、ステレオカメラ装置102に規定される三次元ローカル座標系において角膜反射中心121の位置データ及び角膜反射中心122の位置データを検出する。ステレオカメラ装置102について、事前にステレオ較正法によるカメラ較正が実施され、ステレオカメラ装置102の三次元ローカル座標系を三次元グローバル座標系に変換する変換パラメータが算出される。その変換パラメータは、記憶部222に記憶されている。
曲率中心算出部212は、ステレオカメラ装置102で取得された角膜反射中心121の位置データ及び角膜反射中心122の位置データを、変換パラメータを使って、三次元グローバル座標系における位置データに変換する。曲率中心算出部212は、三次元グローバル座標系で規定される角膜反射中心121の位置データ及び角膜反射中心122の位置データに基づいて、三次元グローバル座標系における角膜反射中心124の位置データを算出する。
角膜曲率中心110は、仮想光源103Vと角膜反射中心124とを結ぶ直線123上に存在する。曲率中心算出部212は、直線123上において角膜反射中心124からの距離が所定値となる位置データを、角膜曲率中心110の位置データとして算出する。所定値は、一般的な角膜の曲率半径値などから事前に定められた値であり、記憶部222に記憶されている。
このように、光源が2つある場合でも、光源が1つである場合の方法と同様の方法で、角膜曲率中心110が算出される。
角膜曲率半径109は、角膜表面と角膜曲率中心110との距離である。したがって、角膜表面の位置データ及び角膜曲率中心110の位置データが算出されることにより、角膜曲率半径109が算出される。
[視線検出方法]
次に、本実施形態に係る視線検出方法の一例について説明する。図7は、本実施形態に係る視線検出方法の一例を示すフローチャートである。本実施形態においては、角膜曲率中心110の位置データの算出処理及び瞳孔中心112Cと角膜曲率中心110との距離データの算出処理を含むキャリブレーション処理(ステップS100)と、注視点検出処理(ステップS200)が実施される。
(キャリブレーション処理)
キャリブレーション処理(ステップS100)について説明する。図8は、本実施形態に係るキャリブレーション処理の一例を説明するための模式図である。キャリブレーション処理は、角膜曲率中心110の位置データを算出すること、及び瞳孔中心112Cと角膜曲率中心110との距離126を算出することを含む。
被験者に注視させるための目標位置130が設定される。目標位置130は、三次元グローバル座標系において規定される。本実施形態において、目標位置130は、例えば表示装置101の表示画面101Sの中央位置に設定される。なお、目標位置130は、表示画面101Sの端部位置に設定されてもよい。
表示制御部202は、設定された目標位置130に目標画像を表示させる。これにより、被験者は、目標位置130を注視し易くなる。
直線131は、仮想光源103Vと角膜反射中心113Cとを結ぶ直線である。直線132は、目標位置130と瞳孔中心112Cとを結ぶ直線である。角膜曲率中心110は、直線131と直線132との交点である。曲率中心算出部212は、仮想光源103Vの位置データと、目標位置130の位置データと、瞳孔中心112Cの位置データと、角膜反射中心113Cの位置データとに基づいて、角膜曲率中心110の位置データを算出することができる。
図9は、本実施形態に係るキャリブレーション処理(ステップS100)の一例を示すフローチャートである。出力制御部226は、表示装置101の表示画面101Sに目標画像を表示させる(ステップS101)。被験者は、目標画像を注視することにより、目標位置130を注視することができる。
次に、光源制御部204は、光源駆動部406を制御して、第1光源103A及び第2光源103Bのうち一方の光源から検出光を射出させる(ステップS102)。ステレオカメラ装置102は、第1カメラ102A及び第2カメラ102Bのうち検出光を射出した光源からの距離が長い方のカメラで被験者の眼を撮影する(ステップS103)。
次に、光源制御部204は、光源駆動部406を制御して、第1光源103A及び第2光源103Bのうち他方の光源から検出光を射出させる(ステップS104)。ステレオカメラ装置102は、第1カメラ102A及び第2カメラ102Bのうち検出光を射出した光源からの距離が長い方のカメラで被験者の眼を撮影する(ステップS105)。
瞳孔112は、暗い部分としてステレオカメラ装置102に検出され、角膜反射像113は、明るい部分としてステレオカメラ装置102に検出される。すなわち、ステレオカメラ装置102で取得される瞳孔112の画像は低輝度となり、角膜反射像113の画像は高輝度となる。位置検出部210は、取得される画像の輝度に基づいて、瞳孔112の位置データ及び角膜反射像113の位置データを検出することができる。また、位置検出部210は、瞳孔112の画像データに基づいて、瞳孔中心112Cの位置データを算出する。また、位置検出部210は、角膜反射像113の画像データに基づいて、角膜反射中心113Cの位置データを算出する(ステップS106)。
ステレオカメラ装置102によって検出された位置データは、3次元のローカル座標系で規定される位置データである。位置検出部210は、記憶部222に記憶されている変換パラメータを使用して、ステレオカメラ装置102で検出された瞳孔中心112Cの位置データ及び角膜反射中心113Cの位置データを座標変換して、三次元グローバル座標系で規定される瞳孔中心112Cの位置データ及び角膜反射中心113Cの位置データを算出する(ステップS107)。
曲率中心算出部212は、グローバル座標系で規定される角膜反射中心113Cと仮想光源103Vとを結ぶ直線131を算出する(ステップS108)。
次に、曲率中心算出部212は、表示装置101の表示画面101Sに規定される目標位置130と瞳孔中心112Cとを結ぶ直線132を算出する(ステップS109)。曲率中心算出部212は、ステップS108で算出した直線131とステップS109で算出した直線132との交点を求め、この交点を角膜曲率中心110とする(ステップS110)。
曲率中心算出部212は、瞳孔中心112Cと角膜曲率中心110との距離126を算出して、記憶部222に記憶する(ステップS111)。記憶された距離は、ステップS200の注視点検出処理において、角膜曲率中心110を算出するために使用される。
(注視点検出処理)
次に、注視点検出処理(ステップS200)について説明する。注視点検出処理は、キャリブレーション処理の後に実施される。注視点検出部214は、眼111の画像データに基づいて、被験者の視線ベクトル及び注視点の位置データを算出する。
図10は、本実施形態に係る注視点検出処理の一例を説明するための模式図である。注視点検出処理は、キャリブレーション処理(ステップS100)で求めた瞳孔中心112Cと角膜曲率中心110との距離126を用いて、角膜曲率中心110の位置を補正すること、及び補正された角膜曲率中心110の位置データを使って注視点を算出することを含む。
図10において、注視点165は、一般的な曲率半径値を用いて算出された角膜曲率中心から求めた注視点を示す。注視点166は、キャリブレーション処理で求められた距離126を用いて算出された角膜曲率中心から求めた注視点を示す。
瞳孔中心112Cは、キャリブレーション処理において算出された瞳孔中心を示し、角膜反射中心113Cは、キャリブレーション処理において算出された角膜反射中心を示す。
直線173は、仮想光源103Vと角膜反射中心113Cとを結ぶ直線である。角膜曲率中心110は、一般的な曲率半径値から算出した角膜曲率中心の位置である。
距離126は、キャリブレーション処理により算出した瞳孔中心112Cと角膜曲率中心110との距離である。
角膜曲率中心110Hは、距離126を用いて角膜曲率中心110を補正した補正後の角膜曲率中心の位置を示す。
角膜曲率中心110Hは、角膜曲率中心110が直線173上に存在すること、及び瞳孔中心112Cと角膜曲率中心110との距離が距離126であることから求められる。これにより、一般的な曲率半径値を用いる場合に算出される視線177は、視線178に補正される。また、表示装置101の表示画面101S上の注視点は、注視点165から注視点166に補正される。
図11は、本実施形態に係る注視点検出処理(ステップS200)の一例を示すフローチャートである。なお、図11に示すステップS201からステップS207までの処理は、図9に示したステップS102からステップS108までの処理と同様であるため説明を省略する。
曲率中心算出部212は、ステップS207で算出した直線173上であって、瞳孔中心112Cからの距離がキャリブレーション処理によって求めた距離126と等しい位置を角膜曲率中心110Hとして算出する(ステップS208)。
注視点検出部214は、瞳孔中心112Cと角膜曲率中心110Hとを結ぶ視線ベクトルを算出する(ステップS209)。視線ベクトルは、被験者が見ている視線方向を示す。注視点検出部214は、視線ベクトルと表示装置101の表示画面101Sとの交点の位置データを算出する(ステップS210)。視線ベクトルと表示装置101の表示画面101Sとの交点の位置データが、三次元グローバル座標系で規定される表示画面101Sにおける被験者の注視点の位置データである。
注視点検出部214は、三次元グローバル座標系で規定される注視点の位置データを、2次元座標系で規定される表示装置101の表示画面101Sにおける位置データに変換する(ステップS211)。これにより、被験者が見つめる表示装置101の表示画面101S上の注視点の位置データが算出される。
次に、本実施形態に係る評価方法について説明する。本実施形態において、視線検出装置100は、例えば被験者の関心対象を評価する評価装置に使用される。以下の説明においては、視線検出装置100を適宜、評価装置100、と称する場合がある。
図12は、表示制御部202が表示装置101に表示させる映像の一例を示す図である。図12に示すように、表示制御部202は、表示装置101の表示画面101Sに、例えば5つの対象物M1〜M5を表示する。表示制御部202は、対象物M1〜M5を、例えば表示画面101Sに互いに離れた状態で表示する。
対象物M1〜M5は、例えば数字を示す画像である。対象物M1は「1」を示し、対象物M2は「2」を示し、対象物M3は「3」を示し、対象物M4は「4」を示し、対象物M5は「5」を示している。図12では、対象物M1〜M5として数字を示す画像を例に挙げて示しているが、これに限定されるものではない。このような対象物として、例えば「A」「B」「C」等のアルファベットを示す画像、「あ」「い」「う」等のひらがなを示す画像、「ア」「イ」「ウ」等のカタカナを示す画像、「りんご」「みかん」「バナナ」等の果物を示す画像等、互いに識別可能であれば他の種類の画像であってもよい。
また、領域設定部216は、表示画面101Sに対応領域A1〜A5を設定する。領域設定部216は、対象物M1〜M5に対応する領域にそれぞれ対応領域A1〜A5を設定する。図12に示す例において、領域設定部216は、対応領域A1〜A5を、例えばそれぞれ円形状で等しい寸法に設定し、対象物M1〜M5を囲う部分に設定する。
なお、対応領域A1〜A5は、同一の形状及び寸法である必要はなく、形状及び寸法が互いに異なってもよい。また、対応領域A1〜A5は、形状が円形状に限定されるものではなく、三角形、四角形、星形等の多角形であってもよいし、楕円形等の他の形状であってもよい。例えば、対応領域A1〜A5は、それぞれ対象物M1〜M5の輪郭に沿った形状であってもよい。また、領域設定部216は、対応領域A1〜A5を、それぞれ対象物M1〜M5の一部のみを含む部分に設定してもよい。
なお、本実施形態において、表示制御部202は、表示装置101の表示画面101Sに、範囲領域H1〜H5を表示する。範囲領域H1〜H5は、各対応領域A1〜A5の範囲を示す領域である。範囲領域H1〜H5が表示画面101Sに表示されることにより、被験者が対応領域A1〜A5の範囲を把握しやすくなる。範囲領域H1〜H5は、例えば対応領域A1〜A5と同一形状、すなわち対応領域A1〜A5の相似形とすることができるが、これに限定されない。範囲領域H1〜H5は、例えば対応領域A1〜A5に含まれる範囲に設定されるが、これに限定されず、対応領域A1〜A5の領域の外側に設定されてもよい。また、範囲領域H1〜H5は、表示させなくてもよい。
また、表示制御部202は、表示画面101Sの上辺側の指示領域A0に被験者への指示を表示させる。指示領域A0は、被験者に対象物M1〜M5の種類及び位置を記憶させるように指示する場合や、被験者に対応領域A1〜A5のうち所定の対応領域である特定領域を見つめる、つまり特定領域に視点を合わせるように指示する場合等に、それぞれ指示の内容を表示させる。
図13は、被験者の注視点の動きの一例を示す図であって、出力制御部226により表示装置101に表示される注視点の一例を示す図である。図13では、図12の対応領域A1、A4を見た場合の注視点を示している。出力制御部226は、被験者の注視点の位置データを示すプロット点Pを表示装置101に表示させる。注視点の位置データの検出は、例えば第1カメラ102A及び第2カメラ102Bから出力されるフレーム同期信号の周期で(例えば50[msec]毎に)実施される。第1カメラ102A及び第2カメラ102Bは、同期して撮像する。したがって、表示画面101Sのうちプロット点Pが密集している領域ほど、被験者が注視していることを示す。また、プロット点Pの数が多い領域ほど、被験者がその領域を注視している時間が長いことを示す。
図13では、対象物M1〜M5が表示されず、範囲領域H1〜H5が表示される場合を示している。この場合、注視点Pは、まず初期位置P0から対応領域A4及び範囲領域H4側(図13の上方向)に移動し、当該対応領域A4及び範囲領域H4に入っている。その後、注視点は、対応領域A4及び範囲領域H4の内部を移動した後、対応領域A4及び範囲領域H4の外側に出て、対応領域A1及び範囲領域H1側(図13の右下側)に移動し、当該対応領域A1及び範囲領域H1に入っている。図13の例では、被験者が表示画面101Sに表示された複数の範囲領域H1〜H5のうち範囲領域H4から範囲領域H1に視線を移す動作を行った結果、注視点Pが被験者の視線の移動に伴って対応領域A4と対応領域A1とに入ったことを示している。
脳神経疾病・障がいの症状は、記憶力に影響することが知られている。被験者が脳神経疾病・障がい者ではない場合、表示画面101Sに表示される対象物M1〜M5の種類及び位置を短期間で記憶することができる。一方、被験者が脳神経疾病・障がい者である場合、表示画面101Sに表示される対象物M1〜M5の種類及び位置を短期間で記憶することができない場合、または記憶しても直ぐに忘れてしまう場合がある。
このため、例えば以下の手順を行うことにより、被験者を評価することが可能である。まず、表示画面101Sに対象物M1〜M5を表示させた状態で被験者に対象物M1〜M5の種類及び位置を記憶させる。その後、表示画面101Sに対象物M1〜M5を表示させない状態として被験者に対象物M1〜M5のうち1つの位置に視点を合わせるように指示する。この場合に、被験者が対象物M1〜M5に対応する対応領域A1〜A5のうちどの対応領域を最初に注視するか、または長時間しっかり注視できるかを検出することにより、被験者を評価することが可能である。
図14から図20は、本実施形態に係る表示制御部202が表示画面101Sに表示させる映像の一例を示す図である。図21は、各映像が表示される時刻を示すタイムチャートである。表示制御部202により映像が再生された場合、まず、図14に示すように、表示画面101Sには、対象物M1〜M5及び範囲領域H1〜H5と、指示領域A0の「数字の位置を覚えて下さい」という指示とが、所定期間(図21の期間T1)表示される。
期間T1が経過した後、図15に示すように、表示画面101Sから指示領域A0の指示が消去される。したがって、表示画面101Sには、対象物M1〜M5及び範囲領域H1〜H5が所定時間(図21の期間T2)表示される(表示動作)。期間T2は、表示動作が行われる表示期間である。なお、上記の期間T1においても、対象物M1〜M5が表示されるため、表示期間に含めてもよい。なお、期間T2においては、指示領域A0に残り時間を表示してもよい。
期間T2が経過した後、図16に示すように、対象物M1〜M5の表示が表示画面101Sから消去される。したがって、表示画面101Sには、対象物M1〜M5が表示されない状態で、範囲領域H1〜H5と、「『1』の位置を見つめて下さい」という指示とが所定期間(図21の期間T3)表示画面101Sに表示される。
期間T3が経過した後、図17に示すように、表示画面101Sから指示領域A0の指示が消去される。したがって、表示画面101Sには、対象物M1〜M5が表示されない状態で、範囲領域H1〜H5が所定期間(図21の期間T4)表示される(非表示動作)。期間T4は、非表示動作が行われる非表示期間である。期間T4の開始時刻は、非表示期間の開始時刻t1となる(図21参照)。なお、上記の期間T3においても、対象物M1〜M5が表示されない状態となるため、非表示期間に含めてもよい。この場合、期間T3の開始時刻が非表示期間の開始時刻t1となる。期間T3及び期間T4において、出力制御部226は、被験者の注視点の位置データを示すプロット点Pを表示画面101Sに表示させてもよい。なお、表示画面101Sには表示されないが、領域設定部216は、期間T3及び期間T4において、対象物M1(数字『1』)に対応する対応領域A1を特定領域APとして設定する。
期間T4が経過した後、図18に示すように、表示画面101Sに「『2』の位置を見つめて下さい」という指示が表示される。したがって、表示画面101Sには、対象物M1〜M5が表示されない状態で、範囲領域H1〜H5と、「『2』の位置を見つめて下さい」という指示とが所定時間(図21の期間T5)表示される。期間T5が経過した後、図19に示すように、表示画面101Sから指示領域A0の指示が消去される。したがって、表示画面101Sには、対象物M1〜M5が表示されない状態で、範囲領域H1〜H5が所定期間(図21の期間T6)表示される(非表示動作)。期間T6は、非表示動作が行われる非表示期間である。期間T6の開始時刻は、非表示期間の開始時刻t2となる(図21参照)。なお、上記の期間T5においても、対象物M1〜M5が表示されない状態となるため、非表示期間に含めてもよい。この場合、期間T5の開始時刻が非表示期間の開始時刻t2となる。期間T6において、出力制御部226は、被験者の注視点の位置データを示すプロット点Pを表示画面101Sに表示させてもよい。なお、表示画面101Sには表示されないが、領域設定部216は、期間T5及び期間T6において、対象物M2(数字『2』)に対応する対応領域A2を特定領域APとして設定する。
以降、表示画面101Sの図示を省略するが、期間T6が経過した後、表示画面101Sには、対象物M1〜M5が表示されない状態で、範囲領域H1〜H5と、「『3』の位置を見つめて下さい」という指示とが所定時間(図21の期間T7)表示される。期間T7が経過した後、表示画面101Sから指示領域A0の指示が消去され、表示画面101Sには、対象物M1〜M5が表示されない状態で、範囲領域H1〜H5が所定期間(図21の期間T8)表示される(非表示動作)。なお、表示画面101Sには表示されないが、領域設定部216は、期間T7及び期間T8において、対象物M3(数字『3』)に対応する対応領域A3を特定領域APとして設定する。
期間T8が経過した後、表示画面101Sには、対象物M1〜M5が表示されない状態で、範囲領域H1〜H5と、「『4』の位置を見つめて下さい」という指示とが所定時間(図21の期間T9)表示される。期間T9が経過した後、表示画面101Sから指示領域A0の指示が消去され、表示画面101Sには、対象物M1〜M5が表示されない状態で、範囲領域H1〜H5が所定期間(図21の期間T10)表示される(非表示動作)。なお、表示画面101Sには表示されないが、領域設定部216は、期間T9及び期間T10において、対象物M4(数字『4』)に対応する対応領域A4を特定領域APとして設定する。
期間T10が経過した後、表示画面101Sには、対象物M1〜M5が表示されない状態で、範囲領域H1〜H5と、「『5』の位置を見つめて下さい」という指示とが所定時間(図21の期間T11)表示される。期間T11が経過した後、表示画面101Sから指示領域A0の指示が消去され、表示画面101Sには、対象物M1〜M5が表示されない状態で、範囲領域H1〜H5が所定期間(図21の期間T12)表示される(非表示動作)。なお、表示画面101Sには表示されないが、領域設定部216は、期間T11及び期間T12において、対象物M5(数字『5』)に対応する対応領域A5を特定領域APとして設定する。
上記の各期間T8、T10、T12は、非表示動作が行われる非表示期間である。期間T8、T10、T12の開始時刻は、非表示期間の開始時刻t3、t4、t5となる(図21参照)。なお、上記の期間T7、T9、T11においても、対象物M1〜M5が表示されない状態となるため、非表示期間に含めてもよい。この場合、期間T7、T9、T11の開始時刻が非表示期間の開始時刻t3、t4、t5となる。期間T8、T10、T12において、出力制御部226は、被験者の注視点の位置データを示すプロット点Pを表示画面101Sに表示させてもよい。
期間T12が経過した後、図20に示すように、表示画面101Sには、対象物M1〜M5が表示され、「元の数字です」等の指示が指示領域A0に表示される(図21の期間T13)。期間T13が経過した後、映像の再生が終了する。なお、期間T13においては、映像が終了した旨が表示画面101Sに表示されてもよい。
被験者が脳神経疾病・障がい者ではない場合、対象物M1〜M5のうち1つの位置を見つめるように指示された場合、記憶に基づいて正解の位置に視点を合わせることができる。一方、被験者が脳神経疾病・障がい者である場合、対象物M1〜M5のうち1つの位置を見つめるように指示された場合、正解の位置に視線を合わせることができない場合がある。
上記の非表示期間である期間T4、T6、T8、T10、T12において、判定部218は、注視点が複数の対応領域A1〜A5に存在するか否かをそれぞれ判定し、判定データを出力する。また、演算部220は、非表示期間である期間T4、T6、T8、T10、T12において、判定データに基づいて、注視点を示すプロット点Pが対応領域A1〜A5に存在した存在時間をそれぞれ示す存在時間データを算出する。本実施形態において、存在時間は、例えば複数の対応領域A1〜A5のうち特定領域APに注視点が存在する第1存在時間と、特定領域APとは異なる対応領域に注視点が存在する第2存在時間とを含む。したがって、存在時間データは、第1存在時間を示す第1存在時間データと、第2存在時間を示す第2存在時間データとを含む。なお、本実施形態において、第1存在時間(第1存在時間データ)及び第2存在時間(第2存在時間データ)は、それぞれ期間T4、T6、T8、T10、T12において求められる値の合計とすることができる。
また、本実施形態において、判定部218において注視点が存在すると判定された回数が多い対応領域ほど、その対応領域に注視点が存在した存在時間が長いと推定することができる。したがって、本実施形態において、存在時間データは、例えば対応領域A1〜A5について非表示期間内に判定部218で注視点が存在すると判定された回数とすることができる。つまり、存在時間データは、非表示期間内に対応領域A1〜A5のそれぞれにおいて検出されるプロット点Pの数とすることができる。演算部220は、判定部218に設けられるカウンタのカウント結果を用いて存在時間データを算出可能である。
本実施形態において、評価部224は、領域データ、存在時間データ及び到達時間データに基づいて評価データを求める場合、例えば、以下のように行うことができる。
まず、各期間T4、T6、T8、T10、T12において、演算部220に設けられるカウンタは、第1存在時間データと、第2存在時間データと、到達時間データとをカウントする。なお、到達時間データをカウントする場合、カウンタは、計測フラグに基づいてカウントを行う。計測フラグは、演算部220により「0」又は「1」のいずれかの値に設定される。計測フラグの値が「0」である場合、カウンタは、到達時間データをカウントしない。計測フラグの値が「1」である場合、カウンタは、到達時間データをカウントする。ここで、第1存在時間データのカウンタ値をCNTAとし、第2存在時間データのカウンタ値をCNTBとし、到達時間データのカウンタ値をCNTCとする。なお、本実施形態では、カウンタ値CNTA及びカウンタ値CNTBは、期間T4、T6、T8、T10、T12を通算した値である。また、カウンタ値CNTCは、期間T4、T6、T8、T10、T12ごとにカウントされる値である。
この場合、評価データを求めるための評価値は、以下のように求めることができる。例えば、被験者の注視点が特定領域APに存在した時間の長さを判断することにより、評価値を求めることができる。被験者が対象物M1の位置を記憶している場合、特定領域APを注視する時間が長くなる。特定領域APに存在する注視点の存在時間が長いほど、カウンタ値CNTAの値が大きくなる。このため、第1存在時間データであるカウンタ値CNTAの値が所定値以上か否かを判断することで評価値を求めることができる。例えばカウンタ値CNTAの値が所定値以上である場合、被験者が脳神経疾病・障がい者である可能性は低いと評価することができる。また、カウンタ値CNTAの値が所定値未満である場合、被験者が脳神経疾病・障がい者である可能性は高いと評価することができる。
なお、所定値としては、例えば脳神経疾病・障がい者ではない被験者のカウンタ値CNTAの平均値、又は当該平均値に基づいて設定される値等を用いることができる。また、所定値として、例えば脳神経疾病・障がい者ではない被験者のカウンタ値CNTAの最低値を用いてもよい。この場合、予め所定値を年齢及び性別ごとに設定しておき、被験者の年齢及び性別に応じた値を用いるようにしてもよい。
また、例えば、以下の式(1)により評価値を求めることができる。
ANS1=CNTA/(CNTA+CNTB) ・・・(1)
上記のANS1において、CNTA/(CNTA+CNTB)の値は、カウンタ値CNTAとカウンタ値CNTBとの和に対する、カウンタ値CNTAの割合を示している。つまり、被験者の注視点が特定領域APに存在する第1存在時間の比率を示している。以下、ANS1を特定領域注視率と表記する。
特定領域注視率ANS1の値は、カウンタ値CNTAが大きいほど大きい値となる。つまり、特定領域注視率ANS1の値は、非表示期間である期間T4のうち、第1存在時間が長いほど大きい値となる。また、特定領域注視率ANS1の値は、カウンタ値CNTBが0である場合、つまり第2存在時間が0である場合に、最大値である1となる。
この場合、特定領域注視率ANS1が所定値以上か否かを判断することで評価値を求めることができる。例えば、特定領域注視率ANS1の値が所定値以上である場合、被験者が脳神経疾病・障がい者である可能性は低いと評価することができる。また、特定領域注視率ANS1の値が所定値未満である場合、被験者が脳神経疾病・障がい者である可能性は高いと評価することができる。
なお、所定値としては、例えば脳神経疾病・障がい者ではない被験者の特定領域注視率ANS1の平均値、又は当該平均値に基づいて設定される値等を用いることができる。また、所定値として、例えば脳神経疾病・障がい者ではない被験者の特定領域注視率ANS1の最低値を用いてもよい。この場合、予め所定値を年齢及び性別ごとに設定しておき、被験者の年齢及び性別に応じた値を用いるようにしてもよい。
また、例えば、被験者の注視点が非表示期間の開始時刻t1から最初に特定領域APに到達するまでの到達時間を判断することにより、評価値を求めることができる。被験者が対象物M1の位置を記憶している場合、特定領域APに最初に視点が到達するまでの時間が短くなる。特定領域APに到達した到達時間が短いほど、カウンタ値CNTCの値が小さくなる。このため、例えば到達時間データであるカウンタ値CNTCの値が所定値以下か否かを判断することで評価値を求めることができる。例えば、カウンタ値CNTCが所定値以上である場合、被験者が脳神経疾病・障がい者である可能性は低いと評価することができる。また、カウンタ値CNTCが所定値未満である場合、被験者が脳神経疾病・障がい者である可能性は高いと評価することができる。
また、例えば、以下の式(2)により評価値を求めることができる。
ANS=ANS1×K1+ANS2×K2 ・・・(2)
(ただし、ASN2=K3−CNTC)
上記の式(2)において、値ANS2は、基準値となるK3からカウンタ値CNTC、つまり到達時間を引いた値である。以下、ANS2を到達時間評価値と表記する。定数K3としては、例えば脳神経疾病・障がい者ではない被験者のカウンタ値CNTCの平均値、又は当該平均値に基づいて設定される値等を用いることができる。また、定数K3として、例えば脳神経疾病・障がい者ではない被験者のカウンタ値CNTCの最低値を用いてもよい。この場合、予め定数K3を年齢及び性別ごとに設定しておき、被験者の年齢及び性別に応じた値を用いるようにしてもよい。
定数K1、K2は、重みづけのための定数である。上記式(2)においてK1>K2とした場合、到達時間評価値ANS2の影響よりも、特定領域注視率ANS1の影響に重みをつけた評価値ANSを求めることができる。また、上記式(2)においてK1<K2とした場合、特定領域注視率ANS1の影響よりも、到達時間評価値ANS2の影響に重みをつけた評価値ANSを求めることができる。
なお、非表示期間が終了した時点で注視点が特定領域APに到達しない場合、カウンタ値CNTCが他の値に比べて大きな値になる。このため、非表示期間が終了した時点で注視点が特定領域APに到達しない場合にはカウンタ値CNTCが所定の上限値となるように設定してもよい。
上記式(2)で示される評価値ANSは、値が大きいほど、被験者の注視点が特定領域APに存在した時間が長く、特定領域APに到達するまでの時間が短いと評価することができる。また、評価値ANSは、値が小さいほど、被験者の注視点が特定領域APに存在した時間が短く、特定領域APに到達するまでの時間が長いと評価することができる。このため、評価値ANSが所定値以上か否かを判断することで評価データを求めることができる。例えば評価値ANSが所定値以上である場合、被験者が脳神経疾病・障がい者である可能性は低いと評価することができる。また、評価値ANSが所定値未満である場合、被験者が脳神経疾病・障がい者である可能性は高いと評価することができる。
本実施形態において、出力制御部226は、評価部224が評価データを出力した場合、評価データに応じて、例えば「被験者は脳神経疾病・障がい者である可能性が低いと思われます」の文字データや、「被験者は脳神経疾病・障がい者である可能性が高いと思われます」の文字データ等を出力装置50に出力させることができる。
次に、本実施形態に係る評価方法の一例について、図22を参照しながら説明する。図22は、本実施形態に係る評価方法の一例を示すフローチャートである。本実施形態においては、表示制御部202は、映像の再生を開始させる(ステップS301)。表示画面101Sには、図14から図20に示す映像が順に表示される。
また、演算部220は、映像の再生時間を管理する管理タイマと、図21に示すタイムチャートにおける期間T1〜期間T13のうち現在再生されている映像がどの区分に属するかを検出する検出タイマとをリセットして、それぞれ計測を開始させる(ステップS302)。また、判定部218は、カウンタ値CNTA、CNTB、CNTCをそれぞれ0にリセットして計測を開始させる(ステップS303)。また、演算部220は、カウンタ値CNTCの計測フラグの値を0に設定する(ステップS304)。
注視点検出部214は、表示装置101に表示された映像を被験者に見せた状態で、規定のサンプリング周期(例えば50[msec])毎に、表示装置101の表示画面101Sにおける被験者の注視点の位置データを検出する(ステップS305)。
位置データが検出された場合(ステップS306のNo)、演算部220は、検出タイマの検出結果により、期間T1〜T13のうちどの期間の映像が表示画面101Sに表示されているかを検出する(ステップS307)。領域設定部216は、演算部220の検出結果に基づいて、複数の対応領域A1〜A5から特定領域APを設定する(ステップS308)。例えば、期間T3、T4の映像が表示画面101Sに表示されている場合、領域設定部216は、対応領域A1を特定領域APに設定する。期間T5、T6の映像が表示画面101Sに表示されている場合、領域設定部216は、対応領域A2を特定領域APに設定する。期間T7、T8の映像が表示画面101Sに表示されている場合、領域設定部216は、対応領域A3を特定領域APに設定する。期間T9、T10の映像が表示画面101Sに表示されている場合、領域設定部216は、対応領域A4を特定領域APに設定する。期間T11、T12の映像が表示画面101Sに表示されている場合、領域設定部216は、対応領域A5を特定領域APに設定する。
特定領域APが設定された後、演算部220は、管理タイマの検出結果に基づいて、非表示動作の開始時刻t1、t2、t3、t4、t5に到達したか否かを判断する(ステップS309)。演算部220は、非表示動作の開始時刻t1、t2、t3、t4、t5に到達したと判断した場合(ステップS309のYes)、到達時間データのカウンタ値CNTCをリセットし、到達時間データの計測フラグの値を「1」に設定する(ステップS310)。
演算部220は、非表示動作の開始時刻t1、t2、t3、t4、t5に到達していないと判断した場合(ステップS309のNo)、又はステップS310の処理を行った場合、到達時間データの計測フラグの値が「1」であるか否かを判断する(ステップS311)。演算部220は、到達時間データの計測フラグの値が「1」であると判断した場合(ステップS311のYes)、到達時間データのカウンタ値CNTCを+1とする(ステップS312)。
また、演算部220は、到達時間データの計測フラグの値が「1」ではないと判断した場合(ステップS311のNo)、又はステップS312の処理を行った場合、表示画面101Sに表示されている映像が期間T4、T6、T8、T10、T12のいずれかであるか否かを判断する(ステップS313)。
演算部220により表示画面101Sに表示されている映像が期間T4、T6、T8、T10、T12のいずれかであると判断された場合(ステップS313のYes)、判定部218は、注視点が特定領域AP内に存在するか否かを判定する(ステップS314)。演算部220は、判定部218により注視点が特定領域AP内に存在すると判定された場合(ステップS314のYes)、第1存在時間データのカウンタ値CNTAを+1とし、到達時間データの計測フラグの値を「0」にする(ステップS315)。また、演算部220は、判定部218により注視点が特定領域AP内に存在しないと判定された場合(ステップS314のNo)、第2存在時間データのカウンタ値CNTBを+1とする(ステップS316)。
演算部220は、ステップS315若しくはステップS316の処理を行った場合、表示画面101Sに表示されている映像が期間T4、T6、T8、T10、T12のいずれでもないと判断した場合(ステップS313のNo)、又はステップS306において位置データの検出に失敗した場合(ステップS306のNo)に、管理タイマの検出結果に基づいて、映像の再生が完了する時刻に到達したか否かを判断する(ステップS317)。演算部220により映像の再生が完了する時刻に到達していないと判断された場合(ステップS317のNo)、上記のステップS305以降の処理を繰り返し行う。
演算部220により映像の再生が完了する時刻に到達したと判断された場合(ステップS317のYes)、表示制御部202は、映像の再生を停止させる(ステップS318)。映像の再生が停止された後、評価部224は、上記の処理結果から得られる領域データ、存在時間データ及び到達時間データに基づいて、評価値ANSを算出し(ステップS319)、評価値ANSに基づいて評価データを求める。その後、出力制御部226は、評価部224で求められた評価データを出力する(ステップS320)。
以上のように、本実施形態に係る評価装置100は、被験者の眼球の画像データを取得する画像データ取得部206と、画像データに基づいて、被験者の注視点の位置データを検出する注視点検出部214と、複数の対象物M1〜M5を表示画面101Sに表示させる表示動作と、表示動作を開始した後に所定のタイミング(時刻t1、t2、t3、t4、t5)で対象物M1〜M5を非表示とする非表示動作と、を行う表示制御部202と、表示画面101Sにおいて対象物M1〜M5のそれぞれに対応した複数の対応領域A1〜A5を設定する領域設定部216と、注視点の位置データに基づいて、非表示動作が行われる非表示期間(期間T4、T6、T8、T10、T12)に注視点が対応領域A1〜A5に存在するか否かをそれぞれ判定し、判定データを出力する判定部218と、判定データに基づいて、対応領域A1〜A5のうち非表示期間に注視点が検出された対応領域A1〜A5を示す領域データをそれぞれ求める演算部220と、領域データに基づいて、被験者の評価データを求める評価部224と、評価データを出力する出力制御部226とを備える。
この構成により、非表示期間に被験者の注視点が検出された対応領域A1〜A5を示す領域データが求められ、領域データに基づいて被験者の評価データを求められる。このため、評価装置100は、非表示期間における被験者の視線の動きにより、被験者の記憶力を評価することができる。これにより、評価装置100は、被験者の評価を高精度に行うことが可能となる。
また、本実施形態に係る評価装置100において、演算部220は、判定データに基づいて、非表示期間に注視点が対応領域A1〜A5に存在した存在時間に基づく存在時間データを算出し、評価部224は、領域データと存在時間データとに基づいて評価データを求める。これにより、評価データを求める際に用いるデータの種類が多くなるため、被験者の記憶力をより高精度に評価することができる。
また、本実施形態に係る評価装置100において、存在時間データは、非表示期間に注視点が対応領域A1〜A5のうち所定の対応領域である特定領域APに存在した第1存在時間を示す第1存在時間データと、非表示期間に注視点が特定領域APとは異なる対応領域A1〜A5に存在した第2存在時間を示す第2存在時間データと、を含む。これにより、評価データを求める際に用いるデータの種類が多くかつ詳細になるため、被験者の記憶力をより高精度に評価することができる。
また、本実施形態に係る評価装置100において、表示制御部202は、表示動作と非表示動作を繰り返して複数回行い、演算部220は、期間T4、T6、T8、T10、T12を通算した第1存在時間データ及び第2存在時間データを算出する。これにより、非表示動作を複数回行う場合において、被験者の記憶力を総合的に評価することができる。
また、本実施形態に係る評価装置100において、演算部220は、判定データに基づいて、非表示動作の開始時刻から注視点が特定領域APに最初に到達するまでの到達時間データを算出し、評価部224は、領域データと、存在時間データと、到達時間データとに基づいて評価データを求める。これにより、評価データを求める際に用いるデータの種類が更に多くなるため、被験者の記憶力をより高精度に評価することができる。
また、本実施形態に係る評価装置100において、表示制御部202は、非表示動作において、それぞれの対応領域A1〜A5の範囲を示す範囲領域H1〜H5を表示画面101Sに表示させる。これにより、被験者が対応領域A1〜A5に視線を合わせやすくすることができる。
<第2実施形態>
第2実施形態について説明する。以下の説明において上述の実施形態と同一又は同等の構成要素については同一の符号を付し、その説明を簡略又は省略する。第1実施形態において、第1存在時間(第1存在時間データ)を示すカウンタ値CNTA及び第2存在時間(第2存在時間データ)を示すカウンタ値CNTBが、それぞれ期間T4、T6、T8、T10、T12における通算の値であるとして説明したが、これに限定されない。本実施形態では、期間T4、T6、T8、T10、T12ごとに第1存在時間(第1存在時間データ)を示すカウンタ値及び第2存在時間(第2存在時間データ)を示すカウンタ値を独立して算出する場合を説明する。
期間T4、T6、T8、T10、T12において、演算部220に設けられるカウンタは、第1存在時間データと、第2存在時間データと、到達時間データとをそれぞれカウントする。例えば、期間T4における第1存在時間データのカウンタ値をCNTA1とし、第2存在時間データのカウンタ値をCNTB1とする。また、期間T6における第1存在時間データのカウンタ値をCNTA2とし、第2存在時間データのカウンタ値をCNTB2とする。また、期間T8における第1存在時間データのカウンタ値をCNTA3とし、第2存在時間データのカウンタ値をCNTB3とする。また、期間T10における第1存在時間データのカウンタ値をCNTA4とし、第2存在時間データのカウンタ値をCNTB4とする。また、期間T12における第1存在時間データのカウンタ値をCNTA5とし、第2存在時間データのカウンタ値をCNTB5とする。
本実施形態において、評価データを求めるための評価値は、期間T4、T6、T8、T10、T12ごとに求めることができる。
例えば、被験者の注視点が特定領域APに存在した時間の長さを判断することで評価値を求める場合、カウンタ値CNTA1〜CNTA5の値が所定値以上か否かを判断することで評価値を求めることができる。例えば、カウンタ値CNTA1〜CNTA5の値が所定値以上である場合には、被験者が特定領域APを注視していたと判断し、各期間における正否評価値を正解値(例えば、+1)とする。また、また、カウンタ値CNTA1〜CNTA5の値が所定値未満である場合には、被験者が特定領域APを注視していなかったと判断し、各期間における正否評価値を不正解値(例えば、0)とする。そして、各期間の正否評価値の合計(0、1、2、3、4又は5)の値に基づいて評価値を求める。
また、例えば、以下の式(3)〜(7)により評価値を求めることができる。
ANS11=CNTA1/(CNTA1+CNTB1) ・・・(3)
ANS12=CNTA2/(CNTA2+CNTB2) ・・・(4)
ANS13=CNTA3/(CNTA3+CNTB3) ・・・(5)
ANS14=CNTA4/(CNTA4+CNTB4) ・・・(6)
ANS15=CNTA5/(CNTA5+CNTB5) ・・・(7)
上記の式(3)〜(7)では、期間T4、T6、T8、T10、T12ごとに特定領域注視率ANS11〜ANS15を求める。そして、特定領域注視率ANS11〜ANS15の値が所定値以上である場合には、被験者が特定領域APを注視していたと判断し、各期間における正否評価値を正解値(例えば、+1)とする。また、特定領域注視率ANS11〜ANS15の値が所定値未満である場合には、被験者が特定領域APを注視していなかったと判断し、各期間における正否評価値を不正解値(例えば、0)とする。そして、各期間の正否評価値の合計(0、1、2、3、4又は5)の値に基づいて評価値を求める。
また、例えば、以下の式(8)〜(12)により評価値を求めることができる。
ANS01=ANS11×K11+ANS2×K21 ・・・(8)
ANS02=ANS12×K12+ANS2×K22 ・・・(9)
ANS03=ANS13×K13+ANS2×K23 ・・・(10)
ANS04=ANS14×K14+ANS2×K24 ・・・(11)
ANS05=ANS15×K15+ANS2×K25 ・・・(12)
(ただし、ASN2=K3−CNTC)
上記の式(8)〜(12)では、期間T4、T6、T8、T10、T12ごとに期間評価値ANS01〜ANS05を求める。そして、期間評価値ANS01〜ANS05が所定値以上である場合には、被験者が特定領域APを注視していたと判断し、各期間における正否評価値を正解値(例えば、+1)とする。また、期間評価値ANS01〜ANS05が所定値未満である場合には、被験者が特定領域APを注視していなかったと判断し、各期間における正否評価値を不正解値(例えば、0)とする。そして、各期間の正否評価値の合計(0、1、2、3、4又は5)の値に基づいて評価値を求める。また、定数K11〜K15、K21〜K25は、重みづけのための定数である。
次に、第2実施形態に係る評価方法の一例について、図23を参照しながら説明する。図23は、第2実施形態に係る評価方法の一例を示すフローチャートである。本実施形態においては、表示制御部202は、映像の再生を開始させる(ステップS401)。表示画面101Sには、図14から図20に示す映像が順に表示される。以下、ステップS402からステップS414までの各処理は、第1実施形態のステップS302からステップS314までの各処理と同様である。
演算部220は、判定部218により注視点が特定領域AP内に存在すると判定された場合(ステップS414のYes)、期間T4、T6、T8、T10、T12に対応する第1存在時間データのカウンタ値CNTA1〜CNTA5を設定する(ステップS415)。そして、演算部220は、設定したカウンタ値(CNTA1〜CNTA5のいずれか1つ)を+1とし、到達時間データの計測フラグの値を「0」にする(ステップS416)。また、演算部220は、判定部218により注視点が特定領域AP内に存在しないと判定された場合(ステップS414のNo)、期間T4、T6、T8、T10、T12に対応する第2存在時間データのカウンタ値CNTB1〜CNTB5を設定し(ステップS417)、設定したカウンタ値(CNTB1〜CNTB5のいずれか1つ)を+1とする(ステップS418)。
演算部220は、ステップS416若しくはステップS418の処理を行った場合、又は表示画面101Sに表示されている映像が期間T4、T6、T8、T10、T12のいずれでもないと判断した場合(ステップS413のNo)、又はステップS406において位置データの検出に失敗した場合(ステップS406のNo)に、管理タイマの検出結果に基づいて、映像の再生が完了する時刻に到達したか否かを判断する(ステップS419)。演算部220により映像の再生が完了する時刻に到達していないと判断された場合(ステップS419のNo)、上記のステップS405以降の処理を繰り返し行う。
演算部220により映像の再生が完了する時刻に到達したと判断された場合(ステップS419のYes)、表示制御部202は、映像の再生を停止させる(ステップS420)。映像の再生が停止された後、評価部224は、上記の処理結果から得られる領域データ、存在時間データ及び到達時間データに基づいて、評価値ANSを算出し(ステップS421)、評価値ANSに基づいて評価データを求める。その後、出力制御部226は、評価部224で求められた評価データを出力する(ステップS422)。
以上のように、本実施形態によれば、期間T4、T6、T8、T10、T12ごとに第1存在時間(第1存在時間データ)及び第2存在時間(第2存在時間データ)を独立して算出する。これにより、評価データを求める際に用いるデータの種類が多くかつ詳細になるため、被験者の記憶力をより高精度に評価することができる。
本発明の技術範囲は上記実施形態に限定されるものではなく、本発明の趣旨を逸脱しない範囲で適宜変更を加えることができる。例えば、上記各実施形態では、評価装置100を、脳神経疾病・障がい者である可能性を評価する評価装置として用いる場合を例に挙げて説明したが、これに限定されない。例えば、評価装置100は、脳神経疾病・障がい者ではない被験者の記憶力を評価する評価装置として用いてもよい。
A0…指示領域、A1〜A5…対応領域、AP…特定領域、H1〜H5…範囲領域、M1〜M5…対象物、P…プロット点、165,166…注視点、P0…初期位置、T1〜T13…期間、ANS…評価値、ANS1,ANS11〜ANS15…特定領域注視率、ANS2…到達時間評価値、CNTA,CNTB,CNTC,CNTA1〜CNTA5,CNTB1〜CNTB5…カウンタ値、ANS01〜ANS05…期間評価値、20…コンピュータシステム、20A…演算処理装置、20B…記憶装置、20C…コンピュータプログラム、30…入出力インターフェース装置、40…駆動回路、50…出力装置、60…入力装置、70…音声出力装置、100…視線検出装置,評価装置、101…表示装置、101S…表示画面、102…ステレオカメラ装置、102A…第1カメラ、102B…第2カメラ、103…照明装置、103A…第1光源、103B…第2光源、103C…光源、103V…仮想光源、109…角膜曲率半径、110,110H…角膜曲率中心、111…眼球,眼、112…瞳孔、112C…瞳孔中心、113…角膜反射像、113C,121,122,124…角膜反射中心、123,131,132,173…直線、126…距離、130…目標位置、177,178…視線、202…表示制御部、204…光源制御部、206…画像データ取得部、208…入力データ取得部、210…位置検出部、212…曲率中心算出部、214…注視点検出部、216…領域設定部、218…判定部、220…演算部、222…記憶部、224…評価部、226…出力制御部、302…入出力部、402…表示装置駆動部、404A…第1カメラ入出力部、404B…第2カメラ入出力部、406…光源駆動部。

Claims (9)

  1. 被験者の眼球の画像データを取得する画像データ取得部と、
    前記画像データに基づいて、前記被験者の注視点の位置データを検出する注視点検出部と、
    複数の対象物を表示画面に表示させる表示動作と、前記表示動作を開始した後に所定のタイミングで前記対象物を非表示とする非表示動作と、を行う表示制御部と、
    前記表示画面において前記対象物のそれぞれに対応した複数の対応領域を設定する領域設定部と、
    前記注視点の位置データに基づいて、前記非表示動作が行われる非表示期間に前記注視点が前記対応領域に存在するか否かをそれぞれ判定し、判定データを出力する判定部と、
    前記判定データに基づいて、前記対応領域のうち前記非表示期間に前記注視点が検出された前記対応領域を示す領域データをそれぞれ求める演算部と、
    前記領域データに基づいて、前記被験者の評価データを求める評価部と、
    前記評価データを出力する出力制御部と
    を備える評価装置。
  2. 前記演算部は、前記判定データに基づいて、前記非表示期間に前記注視点が前記対応領域に存在した存在時間に基づく存在時間データを算出し、
    前記評価部は、前記領域データと前記存在時間データとに基づいて前記評価データを求める
    請求項1に記載の評価装置。
  3. 前記存在時間データは、前記非表示期間に前記注視点が前記対応領域のうち所定の前記対応領域である特定領域に存在した第1存在時間を示す第1存在時間データと、前記非表示期間に前記注視点が前記特定領域とは異なる前記対応領域に存在した第2存在時間を示す第2存在時間データと、を含む
    請求項2に記載の評価装置。
  4. 前記表示制御部は、前記表示動作と前記非表示動作を繰り返して複数回行い、
    前記演算部は、前記非表示動作の前記非表示期間を通算した前記第1存在時間データ及び前記第2存在時間を算出する
    請求項3に記載の評価装置。
  5. 前記表示制御部は、前記表示動作と前記非表示動作を繰り返して複数回行い、
    前記演算部は、前記非表示動作の前記非表示期間ごとに前記第1存在時間データ及び前記第2存在時間データを算出する
    請求項3に記載の評価装置。
  6. 前記演算部は、前記判定データに基づいて、前記非表示動作の開始時刻から前記注視点が前記特定領域に最初に到達するまでの到達時間データを算出し、
    前記評価部は、前記領域データと、前記存在時間データと、前記到達時間データとに基づいて前記評価データを求める
    請求項から請求項5のいずれか一項に記載の評価装置。
  7. 前記表示制御部は、前記非表示動作において、それぞれの前記対応領域の範囲を示す範囲領域を前記表示画面に表示させる
    請求項1から請求項6のいずれか一項に記載の評価装置。
  8. 被験者の眼球の画像データを取得することと、
    前記画像データに基づいて、前記被験者の注視点の位置データを検出することと、
    複数の対象物を表示画面に表示させる表示動作と、前記表示動作を開始した後に所定のタイミングで前記対象物を非表示とする非表示動作と、を行うことと、
    前記表示画面において前記対象物のそれぞれに対応した複数の対応領域を設定することと、
    前記注視点の位置データに基づいて、前記非表示動作が行われる非表示期間に前記注視点が前記対応領域に存在するか否かをそれぞれ判定し、判定データを出力することと、
    前記判定データに基づいて、前記対応領域のうち前記非表示期間に前記注視点が検出された前記対応領域を示す領域データをそれぞれ求めることと、
    前記領域データに基づいて、前記被験者の評価データを求めることと、
    前記評価データを出力することと
    を含む評価方法。
  9. 被験者の眼球の画像データを取得する処理と、
    前記画像データに基づいて、前記被験者の注視点の位置データを検出する処理と、
    複数の対象物を表示画面に表示させる表示動作と、前記表示動作を開始した後に所定のタイミングで前記対象物を非表示とする非表示動作と、を行う処理と、
    前記表示画面において前記対象物のそれぞれに対応した複数の対応領域を設定する処理と、
    前記注視点の位置データに基づいて、前記非表示動作が行われる非表示期間に前記注視点が前記対応領域に存在するか否かをそれぞれ判定し、判定データを出力する処理と、
    前記判定データに基づいて、前記対応領域のうち前記非表示期間に前記注視点が検出された前記対応領域を示す領域データをそれぞれ求める処理と、
    前記領域データに基づいて、前記被験者の評価データを求める処理と、
    前記評価データを出力する処理と
    をコンピュータに実行させる評価プログラム。
JP2017100871A 2017-05-22 2017-05-22 評価装置、評価方法、及び評価プログラム Active JP6737234B2 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2017100871A JP6737234B2 (ja) 2017-05-22 2017-05-22 評価装置、評価方法、及び評価プログラム
PCT/JP2018/012230 WO2018216347A1 (ja) 2017-05-22 2018-03-26 評価装置、評価方法、及び評価プログラム
EP18805965.3A EP3613334A4 (en) 2017-05-22 2018-03-26 EVALUATION DEVICE, EVALUATION PROCEDURE AND EVALUATION PROGRAM
US16/674,009 US20200069230A1 (en) 2017-05-22 2019-11-05 Evaluation device, evaluation method, and evaluation program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2017100871A JP6737234B2 (ja) 2017-05-22 2017-05-22 評価装置、評価方法、及び評価プログラム

Publications (2)

Publication Number Publication Date
JP2018192195A JP2018192195A (ja) 2018-12-06
JP6737234B2 true JP6737234B2 (ja) 2020-08-05

Family

ID=64396663

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017100871A Active JP6737234B2 (ja) 2017-05-22 2017-05-22 評価装置、評価方法、及び評価プログラム

Country Status (4)

Country Link
US (1) US20200069230A1 (ja)
EP (1) EP3613334A4 (ja)
JP (1) JP6737234B2 (ja)
WO (1) WO2018216347A1 (ja)

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6883242B2 (ja) * 2017-07-28 2021-06-09 株式会社Jvcケンウッド 評価装置、評価方法、及び評価プログラム
JP7167737B2 (ja) 2018-03-26 2022-11-09 株式会社Jvcケンウッド 評価装置、評価方法、及び評価プログラム
WO2020031471A1 (ja) * 2018-08-08 2020-02-13 株式会社Jvcケンウッド 評価装置、評価方法、及び評価プログラム
JP7057483B2 (ja) * 2018-12-14 2022-04-20 株式会社Jvcケンウッド 評価装置、評価方法、及び評価プログラム
JP7056550B2 (ja) * 2018-12-28 2022-04-19 株式会社Jvcケンウッド 評価装置、評価方法、及び評価プログラム
JP6958540B2 (ja) * 2018-12-28 2021-11-02 株式会社Jvcケンウッド 評価装置、評価方法、及び評価プログラム
JP6988787B2 (ja) * 2018-12-28 2022-01-05 株式会社Jvcケンウッド 表示装置、表示方法、およびプログラム
JP7255203B2 (ja) * 2019-01-29 2023-04-11 株式会社Jvcケンウッド 評価装置、評価装置の作動方法、及び評価プログラム
JP7107242B2 (ja) * 2019-02-12 2022-07-27 株式会社Jvcケンウッド 評価装置、評価方法、及び評価プログラム
JP7215246B2 (ja) * 2019-03-08 2023-01-31 株式会社Jvcケンウッド 表示装置、表示方法、及び表示プログラム
JP7272027B2 (ja) * 2019-03-18 2023-05-12 オムロンヘルスケア株式会社 生体情報取得装置及び生体情報取得方法
JP7092082B2 (ja) * 2019-03-22 2022-06-28 株式会社Jvcケンウッド 評価装置、評価方法、及び評価プログラム
JP7172870B2 (ja) * 2019-06-19 2022-11-16 株式会社Jvcケンウッド 評価装置、評価方法、及び評価プログラム
JP7363377B2 (ja) * 2019-10-31 2023-10-18 株式会社Jvcケンウッド 運転支援装置、運転支援方法、及び運転支援プログラム

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4543594B2 (ja) * 2001-07-31 2010-09-15 パナソニック電工株式会社 脳機能検査装置および脳機能検査システム
JP5926210B2 (ja) * 2012-03-21 2016-05-25 国立大学法人浜松医科大学 自閉症診断支援システム及び自閉症診断支援装置
JP5983135B2 (ja) * 2012-07-23 2016-08-31 株式会社Jvcケンウッド 診断支援装置および診断支援方法
JP5962402B2 (ja) * 2012-09-28 2016-08-03 株式会社Jvcケンウッド 診断支援装置および診断支援方法
AU2014249335B2 (en) * 2013-03-13 2018-03-22 The Henry M. Jackson Foundation For The Advancement Of Military Medicine, Inc. Enhanced neuropsychological assessment with eye tracking
JP2015144635A (ja) * 2014-01-31 2015-08-13 株式会社Jvcケンウッド 検出装置および検出方法
US20170188930A1 (en) * 2014-09-10 2017-07-06 Oregon Health & Science University Animation-based autism spectrum disorder assessment

Also Published As

Publication number Publication date
JP2018192195A (ja) 2018-12-06
US20200069230A1 (en) 2020-03-05
EP3613334A4 (en) 2020-04-29
EP3613334A1 (en) 2020-02-26
WO2018216347A1 (ja) 2018-11-29

Similar Documents

Publication Publication Date Title
JP6737234B2 (ja) 評価装置、評価方法、及び評価プログラム
JP6736920B2 (ja) 診断支援装置及び診断支援方法
JP7167737B2 (ja) 評価装置、評価方法、及び評価プログラム
JP6848526B2 (ja) 評価装置、評価方法、及び評価プログラム
JP7067502B2 (ja) 評価装置、評価方法、及び評価プログラム
JP7239856B2 (ja) 評価装置、評価方法、及び評価プログラム
JP6747172B2 (ja) 診断支援装置、診断支援方法、及びコンピュータプログラム
EP3928713B1 (en) Evaluation device, evaluation method, and evaluation program
WO2020044691A1 (ja) 評価装置、評価方法、及び評価プログラム
JP6883242B2 (ja) 評価装置、評価方法、及び評価プログラム
WO2020026574A1 (ja) 視線検出装置、視線検出方法及び視線検出プログラム
JP6996343B2 (ja) 評価装置、評価方法、及び評価プログラム
JP2023015167A (ja) 評価装置、評価方法、及び評価プログラム
WO2020031471A1 (ja) 評価装置、評価方法、及び評価プログラム
WO2019188152A1 (ja) 評価装置、評価方法、及び評価プログラム
JP7057483B2 (ja) 評価装置、評価方法、及び評価プログラム
JP7027958B2 (ja) 評価装置、評価方法、及び評価プログラム
JP7247690B2 (ja) 評価装置、評価方法、及び評価プログラム
JP2020142015A (ja) 表示装置、表示方法、及び表示プログラム
JP6849110B2 (ja) トレーニング支援装置、及びトレーニング支援方法
JP7172787B2 (ja) 評価装置、評価方法、及び評価プログラム
JP2021087825A (ja) 評価装置、評価方法、及び評価プログラム
JP2020103855A (ja) 評価装置、評価方法、及び評価プログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190930

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200414

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200514

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20200616

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20200629

R150 Certificate of patent or registration of utility model

Ref document number: 6737234

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150