JP6530239B2 - 両眼計測装置、両眼計測方法、及び両眼計測プログラム - Google Patents

両眼計測装置、両眼計測方法、及び両眼計測プログラム Download PDF

Info

Publication number
JP6530239B2
JP6530239B2 JP2015108367A JP2015108367A JP6530239B2 JP 6530239 B2 JP6530239 B2 JP 6530239B2 JP 2015108367 A JP2015108367 A JP 2015108367A JP 2015108367 A JP2015108367 A JP 2015108367A JP 6530239 B2 JP6530239 B2 JP 6530239B2
Authority
JP
Japan
Prior art keywords
feature amount
eye
calculation unit
value
blink
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2015108367A
Other languages
English (en)
Other versions
JP2016220801A (ja
Inventor
一隆 鈴木
一隆 鈴木
宅見 宗則
宗則 宅見
直俊 袴田
直俊 袴田
豊田 晴義
晴義 豊田
克宜 松井
克宜 松井
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hamamatsu Photonics KK
Original Assignee
Hamamatsu Photonics KK
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hamamatsu Photonics KK filed Critical Hamamatsu Photonics KK
Priority to JP2015108367A priority Critical patent/JP6530239B2/ja
Priority to CN201680030746.4A priority patent/CN107613847B/zh
Priority to US15/575,856 priority patent/US10893800B2/en
Priority to PCT/JP2016/060517 priority patent/WO2016189966A1/ja
Publication of JP2016220801A publication Critical patent/JP2016220801A/ja
Application granted granted Critical
Publication of JP6530239B2 publication Critical patent/JP6530239B2/ja
Priority to US17/099,993 priority patent/US11723534B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/113Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for determining or recording eye movement
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/0016Operational features thereof
    • A61B3/0025Operational features thereof characterised by electronic signal processing, e.g. eye models
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/11Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for measuring interpupillary distance or diameter of pupils
    • A61B3/112Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for measuring interpupillary distance or diameter of pupils for measuring diameter of pupils
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/14Arrangements specially adapted for eye photography
    • A61B3/145Arrangements specially adapted for eye photography by video means
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/22Matching criteria, e.g. proximity measures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304Detection arrangements using opto-electronic means
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/761Proximity, similarity or dissimilarity measures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161Detection; Localisation; Normalisation
    • G06V40/165Detection; Localisation; Normalisation using facial parts and geometric relationships
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18Eye characteristics, e.g. of the iris
    • G06V40/19Sensors therefor
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/02Subjective types, i.e. testing apparatus requiring the active assistance of the patient
    • A61B3/08Subjective types, i.e. testing apparatus requiring the active assistance of the patient for testing binocular or stereoscopic vision, e.g. strabismus

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • Ophthalmology & Optometry (AREA)
  • Medical Informatics (AREA)
  • General Physics & Mathematics (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Veterinary Medicine (AREA)
  • Public Health (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Evolutionary Computation (AREA)
  • Signal Processing (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Geometry (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Eye Examination Apparatus (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)

Description

本発明の一側面は、対象者の両眼を計測する両眼計測装置、両眼計測方法、及び両眼計測プログラムに関する。
眼は生物が成長する過程で脳から分化してできた器官であり、脳に直結した臓器の中で唯一対外から非侵襲に観察できる器官である。そのため、眼部の挙動を定量化することで脳の健康を数値化できると考えられている。従来から、脳機能を定量評価する際には、PET(ポジトロン断層法)、CT、MRIといった大掛かりな設備を用いて行われてきている。このような評価手法は、一定の信頼度を得られている一方、費用面で負担が大きいという問題や、診断に専門知識を有した医師が必要であるなど、より簡便な方法による評価の確立が要望されている。
一方で、従来から、脳機能の計測方法の1つとして、被験者の眼の挙動を検査する手法が知られている。例えば、被験者の瞬目を計測する手法(下記非特許文献1参照。)や、被験者の固視微動を計測する手法(下記非特許文献2参照。)が、簡便な脳機能疾患の抽出やスクリーニング手法の1つとして検討されている。
新井田孝裕,「神経眼科入門シリーズ96 眼瞼2 瞬目」, Neuro-ophthalmol.Jpn. Vol.29 No.2,p204-212,2012年 Engbert R., "Microsaccades: amicrocosm for research on oculomotor control, attention, and visual perception", Martinez-Conde, Macknik,Martinez, Alonso & Tse (Eds.) Progress in Brain Research, 2006年, vol.154, p.177-192
しかしながら、上記非特許文献1に記載の手法では、複数の電極を備える誘発電位記録装置を用いて電気刺激による反射性瞬目を計測しており、検査時の被験者の負担が大きくなりがちである。また、上記非特許文献1及び非特許文献2に記載の手法によっては、被験者の両眼の挙動の違いを適切に評価することは難しい。
そこで、本発明の一側面は、かかる課題に鑑みて為されたものであり、被験者の両眼の挙動の違いを簡易かつ適切に評価することが可能な両眼計測装置及び両眼計測方法を提供することを目的とする。
上記課題を解決するため、本願発明者らは、パーキンソン病等の各種病気の患者と健常者との両眼の挙動の違いを定量評価する手法について検討を進めた。その結果、本願発明者らは、右眼の動きを基に算出した特徴量と、左目の動きを基に算出した特徴量とを比較した比較値を評価することによって、脳疾患患者と健常者の区別や、疲労作業の前後の状態を定量評価できる新たな指標になることを見い出した。
すなわち、本発明の一形態に係る両眼計測装置は、対象者の右眼及び左眼からの光を検出し、当該光の検出信号を出力する光検出器と、検出信号に基づいて、右眼に対応した第1の特徴量と左眼に対応した第2の特徴量とを算出する特徴量算出部と、第1の特徴量及び第2の特徴量を基に、第1の特徴量と第2の特徴量とを比較した比較値を算出する比較値算出部と、を備える。
或いは、本発明の他の形態に係る両眼計測方法は、光検出器を用いて、対象者の右眼及び左眼からの光を検出し、当該光の検出信号を出力するステップと、検出信号に基づいて、右眼に対応した第1の特徴量と左眼に対応した第2の特徴量とを算出するステップと、第1の特徴量及び第2の特徴量を基に、第1の特徴量と第2の特徴量とを比較した比較値を算出するステップと、を備える。
或いは、本発明の他の形態に係る両眼計測プログラムは、対象者の右眼及び左眼を含む部位の画像を用いて、対象者の両眼を計測する両眼計測装置に備えられるプロセッサを、画像に基づいて、右眼に対応した第1の特徴量と左眼に対応した第2の特徴量とを算出する特徴量算出部、及び第1の特徴量及び第2の特徴量を基に、第1の特徴量と第2の特徴量とを比較した比較値を算出する比較値算出部、として機能させる。
上記形態の両眼計測装置、両眼計測方法、及び両眼計測プログラムによれば、右眼及び左眼からの光の検出信号(画像)を基に、右眼に関する第1の特徴量と左眼に関する第2の特徴量が算出され、その第1の特徴量と第2の特徴量とを比較した比較値が算出される。これにより、対象者の眼の挙動に関する評価値を、対象者に負担を課すことなく、かつ、簡易な装置構成によって取得することができる。さらには、この評価値によって対象者の眼の挙動を適切に評価することができる。
比較値算出部は、第1の特徴量と第2の特徴量との差或いは比に基づいた比較値を算出する、ことが好適である。かかる構成を備えれば、簡易な計算によって対象者の眼の挙動を適切に評価することができる。
また、特徴量算出部は、第1の特徴量及び第2の特徴量として、瞬目に関する特徴量を算出してもよいし、第1の特徴量及び第2の特徴量として、固視微動に関する特徴量を算出してもよく、第1の特徴量及び第2の特徴量として、瞳孔に関する特徴量を算出してもよい。このような特徴量を基にした評価値を得ることにより、対象者の眼の挙動を適切に評価することができる。
さらに、光検出器は、複数の画素が2次元配列された受光面を有する2次元光検出器を含む、ことも好適である。かかる2次元光検出器を備えれば、右眼及び左眼の特徴量を精度よく得ることができ、その結果、眼の挙動の評価精度を高めることができる。
本発明の一側面によれば、被験者の両眼の挙動の違いを簡易かつ適切に評価することができる。
本発明の好適な一実施形態に係る両眼計測システム1の概略構成を示すブロック図である。 図1の特徴量算出部11によって算出された上瞼位置及び上瞼速度の時間変化の一例を示すグラフである。 図1の両眼計測システム1による比較値の計測動作の手順を示すフローチャートである。 図1の両眼計測システム1による比較値の計測動作の手順を示すフローチャートである。 図1の両眼計測システム1によって得られた閉瞬目最大速度の時刻の左右差及び閉瞬目最大速度の左右差の頻度値を示すグラフである。 図1の両眼計測システム1によって得られた閉瞬目最大速度の時刻の左右差の平均値及び閉瞬目最大速度の時刻の左右差の分散値を示すグラフである。 図1の両眼計測システム1によって得られた閉瞬目最大速度の時刻の左右差の標準偏差及び閉瞬目最大速度の時刻の左右差の最大値と最小値の差を示すグラフである。 図1の両眼計測システム1によって得られた閉瞬目最大速度の時刻の左右差の最大値及び閉瞬目最大速度の時刻の左右差の最小値を示すグラフである。 図1の両眼計測システム1によって得られた閉瞬目最大速度の左右差の平均値及び閉瞬目最大速度の左右差の分散値を示すグラフである。 図1の両眼計測システム1によって得られた閉瞬目最大速度の左右差の標準偏差及び閉瞬目最大速度の左右差の最大値と最小値の差を示すグラフである。 図1の両眼計測システム1によって得られた閉瞬目最大速度の左右差の最大値及び閉瞬目最大速度の左右差の最小値を示すグラフである。 図1の両眼計測システム1によって得られた左眼の閉瞬目最大速度の平均値の分布、右眼の閉瞬目最大速度の平均値の分布、及び閉瞬目最大速度の平均値の左右差の分布を示すグラフである。 図1の両眼計測システム1によって得られた閉瞬目最大速度の時刻の左右差の平均値と標準偏差、及び閉瞬目最大速度の左右差の平均値と標準偏差を示すグラフである。 図1の両眼計測システム1によって得られた閉瞬目時の上眼瞼移動量の平均値の左右差の頻度、閉瞬目期間の平均値の左右差の頻度、及び閉眼期間の平均値の左右差の頻度を示すグラフである。 図1の両眼計測システム1によって得られた開瞬目時の上眼瞼移動量、開瞬目期間の平均値の左右差、及び開瞬目最大速度の平均値の左右差を示すグラフである。 図1の特徴量算出部11によって算出された眼球運動速度の時間変化及び眼球位置の時間変化の一例を示すグラフである。 図1の特徴量算出部11によって算出された眼球位置の時間変化の一例を示すグラフである。 図1の両眼計測システム1による比較値の計測動作の手順を示すフローチャートである。 図1の両眼計測システム1による固視微動の解析処理の詳細手順を示すフローチャートである。 図1の両眼計測システム1による固視微動の解析処理の詳細手順を示すフローチャートである。 図1の両眼計測システム1による固視微動の解析処理の詳細手順を示すフローチャートである。 図1の両眼計測システム1による比較値の計測動作の手順を示すフローチャートである。 図1の両眼計測システム1によって得られたフリック最大速度及びフリック最大速度時刻の左右差を示すグラフである。 図1の両眼計測システム1によって得られたフリック幅、フリック移動距離、最大速度時のフリック角度、及びフリック期間の角度の左右差の頻度値を示すグラフである。 図1の両眼計測システム1によって得られたトレモアの運動周波数の左右差の平均値と標準偏差を示すグラフである。 図1の特徴量算出部11によって算出された瞳孔直径の時間変化の一例を示すグラフである。 図1の両眼計測システム1による比較値の計測動作の手順を示すフローチャートである。 図1の両眼計測システム1による比較値の計測動作の手順を示すフローチャートである。
以下、図面を参照しつつ本発明の一側面に係る両眼計測装置、両眼計測方法、及び両眼計測プログラムの好適な実施形態について詳細に説明する。なお、図面の説明においては同一又は相当部分には同一符号を付し、重複する説明を省略する。
図1は、本発明の好適な一実施形態に係る両眼計測システム1の概略構成を示すブロック図である。図1に示す両眼計測システム1は、所定のフレームレートで時間的に連続して被験者(対象者)の右眼E及び左眼Eからの光を検出し、被験者の左右の眼の挙動の違いを定量化して出力するように構成されている。この両眼計測システム1は、対象者の右眼E及び左眼Eに対して照明光を照射する光源3R,3Lと、光源3R,3Lを制御する照明制御装置5と、右眼E及び左眼Eからの光を検出する光検出器7と、光検出器7から出力される検出信号を処理するプロセッサ9とを備えている。
光源3R,3Lは、被験者の右眼E及び左眼Eのそれぞれをその周辺を含めて照らす照明手段であり、例えば赤外光を発生させるLEDによって好適に構成される。光源3R,3Lが眼E,E及びそれらの周辺に赤外光を照射することにより、眼E,E及びそれらの周辺において赤外光が反射して光像が生じる。なお、光源3R,3Lとしては赤外光LEDに限らず他の種類の光源を用いることができる。例えば、近赤外光を発する光源であってもよいし、ランプ光源に赤外光或いは近赤外光を通過させるフィルムを組み合わせた構成であってもよいし、安全基準を満たしたレーザー光を直接光として或いは間接光として利用する構成であってもよい。また、適切な照度を実現するための構成として、複数の照明を併用した構成のほか、発光部にレンズが組み込まれた構成によって、照明光の散乱を抑え、所望の領域を効率よく照明するように構成されてもよい。また、空間変調デバイスを用いてレーザー光のエネルギーを所望の照明形状に整え、効率的な眼部照明を行う構成を採用してもよい。
照明制御装置5は、被験者の右眼E及び左眼Eのそれぞれを所定の明るさで照らすように光源3R,3Lの光量を制御する制御ユニットである。併せて、照明制御装置5は、被験者の右眼E及び左眼Eを対象にした検出内容に適した光量、照明光波長、反射光形状が得られるように、光源3R,3Lの光量及び発光波長を調整及び制御する。さらに、照明制御装置5は、プロセッサ9と電気的に接続されており、プロセッサ9による同期制御により、被験者の右眼E及び左眼Eのそれぞれに対する発光タイミングを制御する。また、照明制御装置5は、プロセッサ9或いは光検出器7によって被験者の右眼E及び左眼Eが光検出器7の計測範囲内に収まっていることを判定可能にするために、あるいは、プロセッサ9或いは光検出器7による被験者の右眼E及び左眼Eの位置合わせの機能を実現するために、光源3R,3Lの照明光を計測開始前に点滅させるように制御してもよい。
光検出器7は、複数の画素が2次元配列された受光面を有し、所定のフレームレートで右眼E及び左眼Eからの反射光を検出して二次元の画像信号(検出信号)を生成及び出力する撮像装置である。このような撮像装置としては、画像の取得から画像処理まで行うビジョンチップを有するビジョンカメラが挙げられる。このような光検出器7は、2台で被験者の右眼E及び左眼Eのそれぞれを個別に撮影してもよいし、1台で被験者の右眼E及び左眼Eを同時に撮影してもよい。また、光検出器7は、被験者の検出内容である眼球運動、固視微動、瞬目、及び瞳孔のそれぞれに最適な仕様又は設定(例えば、波長感度、光量感度、レンズの画角、レンズの倍率、及びフレームレート等)を有する複数の撮像装置を組み合わせて構成されていてもよい。
なお、光検出器7は、一般的なビデオカメラよりも高速なフレームレートでの撮影が可能な構成であることが好ましく、被験者の検出内容の運動周波数の2倍の周波数以上のフレームレートに設定された構成であることが好ましい。例えば、固視微動のトレモアを検出内容とする場合には、トレモアは100Hzほどの動きとされているため、200Hz以上のフレームレートのものが用いられる。また、マイクロサッカードを検出内容とする場合には、マイクロサッカードは約20msecで行われることが多いため、100Hz以上のフレームレートのものが用いられる。瞬目時の眼瞼動作は200msecほどで行われるため、フレームレートが10Hz程であれば大まかな眼瞼動作の挙動を捉えることができるが、瞬目動作時の細かな変則的動作を検出可能にするためには、高速なフレームレートのみでなく高精度の計測が要求される。そのため、瞬目時の眼瞼動作を検出内容とする場合には、高速なフレームレートのみでなく、高解像度の撮影が可能な構成が用いられる。
ここで、光検出器7としては、ビデオカメラ以外を用いてもよい。眼球運動や固視微動を検出内容とする場合であって、光検出器7としてビデオカメラを用いる場合には、画像信号から角膜反射光を検出し、重心演算によって眼球位置の経時変化が求められる。その代わりに、光検出器7として、プロファイルセンサ等の輝点の位置を検出して位置情報を出力するセンサのほか、フォトダイオード、フォトディテクタ、リニアセンサ、或いはエリアセンサなどのより簡易なセンサを用いてもよい。瞬目を検出内容とする場合であって、光検出器7としてビデオカメラを用いる場合には、エッジ抽出やハフ変換等の画像処理技術を用いた眼瞼位置抽出処理、又は、画像信号から計算した輝度プロファイルから眼瞼位置を求める処理等が行われる。その代わりに、光検出器7として、線状あるいはそれに類する形状のマーカーを眼部に照射・投影する照明部(例えば、ラインレーザー、LEDアレイ等)と、皮膚上での散乱光を捉えることなく眼表面上での反射を捉えることで瞼位置を抽出する検出部(例えば、プロファイルセンサ、フォトダイオード、フォトディテクタ、リニアセンサ、エリアセンサ等)とを含む構成を採用してもよい。瞳孔を検出内容とする場合であって、光検出器7としてビデオカメラを用いる場合には、瞳孔に対して正面から照明光を照射した際に生じる反射光によって明るくなった部分を画像処理の二値化によって抽出することにより、瞳孔領が抽出される。その代わりに、フォトダイオードやフォトディテクタを用いて、明るくなった部位の明るさの総和を検出することにより瞳孔領の時間変化の情報を取得してもよい。このとき検出される明るさの総和は、瞳孔領と比例関係にある。
プロセッサ9は、光検出器7から出力された画像信号を処理するCPUとRAM及びROM等のメモリとを内蔵する画像処理プロセッサであり、パーソナルコンピュータ、又はスマートフォン、タブレット側コンピュータに代表される携帯端末等によって構成される。このプロセッサ9は、機能的な構成要素として、特徴量算出部11、比較値算出部13、結果出力部15、及び同期制御部17を含んでいる。これらの特徴量算出部11、比較値算出部13、結果出力部15、及び同期制御部17は、プロセッサ9内のハードウェアによって実現されてもよいし、プロセッサ9内に記憶されたソフトウェア(両眼計測プログラム)によって実現されてもよい。また、特徴量算出部11、比較値算出部13、結果出力部15、及び同期制御部17の機能は、同じプロセッサで実現してもよいし、異なるプロセッサによって実現してもよい。プロセッサ9を特徴量算出部11、比較値算出部13、結果出力部15、及び同期制御部17として機能させるプログラムは、プロセッサ9内の記憶装置(記憶媒体)に記憶されてもよいし、プロセッサ9と電気的に接続される記憶媒体に記憶されてもよい。
プロセッサ9の特徴量算出部11は、光検出器7から出力された画像信号に基づいて、被験者の右眼Eに対応した右眼特徴量と被験者の左眼Eに対応した左眼特徴量とを算出する。例えば、特徴量算出部11は、右眼特徴量及び左眼特徴量として、瞬目に関する特徴量、固視微動に関する特徴量、及び瞳孔に関する特徴量を算出する。このとき、特徴量算出部11は、これらの3種類の特徴量を全て算出してもよいし、いずれか一部を算出してもよい。特徴量の算出対象の固視微動には、100Hz前後の周波数の1μm程度(20〜40秒角)の振幅の微細な動きであるトレモア、ゆっくりとずれていく動きであるドリフト、ドリフト後に発生する0.04度角〜2分角の衝動性の眼球運動(跳躍運動)であるフリック(マイクロサッカードともいう。)が含まれる。
プロセッサ9の比較値算出部13は、特徴量算出部11によって算出された右眼特徴量及び左眼特徴量を基に、右眼特徴量と左眼特徴量とを比較した比較値を算出する。なお、比較値算出部13は、右眼特徴量と左眼特徴量とから直接比較値を算出してもよいし、右眼特徴量と左眼特徴量とのそれぞれから統計量を算出し、それらの統計量の比較値を算出してもよい。このような統計量としては、平均、分散、標準偏差、尖度、歪度などの高次モーメントから求められる統計量、中央値、四分位点、最大値、最小値、最頻値、最大値と最小値の差等が挙げられる。このとき、比較値算出部13は、右眼特徴量と左眼特徴量との差の絶対値、又は、右眼特徴量と左眼特徴量との比を、比較値として算出する。
プロセッサ9の結果出力部15は、比較値算出部13によって算出された比較値をディスプレイ等の出力装置に出力する。このとき、結果出力部15は、比較値を無線通信、有線通信等を用いて外部に出力してもよいし、内部のメモリに出力してもよい。結果出力部15は、比較値に代表される数値データのほか、テキストデータや、取得画像そのものを出力してもよいし、比較値を表す数値データの統計値を出力してもよい。このような統計量としては、平均、分散、標準偏差、尖度、歪度などの高次モーメントから求められる統計量、中央値、四分位点、最大値、最小値、最頻値、最大値と最小値の差等が挙げられる。また、結果出力部15は、比較値を集計した平均値等の集計値を出力してもよいし、閾値を設定して比較値が閾値を超えた期間やそれに類するデータ、頻度等を出力してもよい。
プロセッサ9の同期制御部17は、両眼計測システム1における各装置及び各機能部の動作の同期を制御する。例えば、同期制御部17は、光検出器7による撮影(検出)タイミングと光源3R,3Lの発光タイミングとの同期を制御する。また、同期制御部17は、光検出器7による画像信号の出力タイミングに応じて、特徴量算出部11、比較値算出部13、及び結果出力部15の動作タイミングを制御する。なお、プロセッサ9は、同期制御部17の代わりに共有メモリを利用して、各装置及び各機能部を非同期で動作させる構成が採用されてもよい。例えば、光検出器7は、共有メモリに画像信号を基にした画像データを随時保存し、特徴量算出部11は、共有メモリに画像データが新たに保存されたか否かを随時監視し、保存を検出したタイミングで右眼特徴量及び左眼特徴量を算出して共有メモリにそれぞれ保存する。同時に、比較値算出部13は、共有メモリに右眼特徴量及び左眼特徴量が新たに保存されたか否かを常時監視し、新たな右眼特徴量及び左眼特徴量の保存を検出したタイミングでそれらを対象に比較値を算出して共有メモリに保存する。同様に、結果出力部15は、共有メモリに比較値が保存されたか否かを常時監視し、新たな比較値の保存を検出したタイミングで比較値及びそれに関連するデータを出力する。また、結果出力部15は、光検出器7、特徴量算出部11、及び比較値算出部13からの処理終了の信号を受けたタイミングで比較値を出力してもよい。この場合、照明制御装置5の制御は、光検出器7から行ってもよいし、プロセッサ9内の特徴量算出部11又は比較値算出部13から行ってもよい。
ここで、上述した照明制御装置5は、光検出器7又はプロセッサ9内に内蔵されてもよい。例えば、光検出器7として演算機能を有するビジョンカメラが用いられた場合には、光検出器7は、画像処理機能のほか処理結果や外部制御信号を出力する機能等を備えている。このような光検出器7を用いて、画像処理と並行した光源3R,3Lの点滅制御等のリアルタイム制御を行ってもよい。
同様に、プロセッサ9の一部或いは全部の機能部は、光検出器7に内蔵されていてもよい。例えば、光検出器7は画像信号の出力までの処理を行い後段の処理をプロセッサ9で実行する形態であってもよいし、光検出器7で特徴量算出部11の一部の処理までを行いそれ以降の処理をプロセッサ9で実行する形態であってもよいし、光検出器7で特徴量算出部11の特徴量算出処理までを行いそれ以降の処理をプロセッサ9で実行する形態であってもよい。
また、光検出器7或いはプロセッサ9は、被験者の右眼E及び左眼Eが光検出器7の計測範囲内に収まっていることを判定する機能を有していてもよい。具体的には、プロセッサ9が、照明制御装置5によって計測開始前に光源3R,3Lを一定周期で点滅させるように制御すると同時に、光検出器7で取得された画像信号中で所定周期及び所定明度で点滅する箇所の有無を判定することにより、計測範囲内に眼部が存在しているか否かを判定する。これは、被験者において、照明光が皮膚や毛では散乱し眼部では反射する結果、画像信号において眼部が明るく映ることを利用している。また、プロセッサ9は、2つの光源3R,3Lをそれぞれ異なる周期で点滅させるように制御することにより、右眼E及び左眼Eのそれぞれの位置を把握することもできる。両眼E,Eの位置が把握できることにより、光検出器7としてビデオカメラを用いた場合、画像信号中の眼部に相当する部分のみを部分読み出しすることで、計測時のフレームレートをより高速に設定したり、画像データ保存用のデータ領域のファイルサイズを抑えることが可能となる。
以下、プロセッサ9による特徴量及び比較値の算出機能について詳細に説明する。本実施形態のプロセッサ9は、被験者の瞬目を検出内容としている。
プロセッサ9の特徴量算出部11は、光検出器7から出力された画像信号を基に、上瞼位置の時間変化を算出する。上瞼位置は、画像信号を対象にしたエッジ抽出やハフ変換等の画像処理、又は、画像信号から計算した輝度プロファイルから眼瞼位置を求める処理(特開2012-085691号公報参照)によって算出される。加えて、特徴量算出部11は、上瞼位置の時間変化に基づいて、上瞼速度の時間変化を算出する。図2(a)は、特徴量算出部11によって算出された上瞼位置の時間変化の一例を示すグラフ、図2(b)は、特徴量算出部11によって算出された上瞼速度の時間変化の一例を示すグラフである。図2(b)に示す±Vthは瞬目動作検出閾値を表す。本閾値を上回る速度で上瞼が動いている期間を本例では瞬目期間と定義し、図2(a)に示すように、被験者の瞬目動作に応じて上瞼位置の下降および上昇が検出され、図2(b)に示すように、上瞼位置の下降中の速度のピーク、及び上瞼位置の上昇中の速度のピークが検出される。このように、開眼状態では上に位置していた上瞼が瞬目によって下がっていき、下がり切ったところでしばらく閉眼状態を維持した後に開眼していく状態が示される。また、閉眼時には下向きに上瞼速度が変化し、開眼時には上向きに上瞼速度が変化していく状態が示される。特徴量算出部11は、上瞼位置の時間変化及び上瞼速度の時間変化を右眼E及び左眼Eのそれぞれについて別々に算出する。
さらに、特徴量算出部11は、算出した上瞼位置の時間変化及び上瞼速度の時間変化を基に、瞬目に関する特徴量である瞬目特徴量を、右眼E及び左眼Eのそれぞれについて別々に算出する。まず、特徴量算出部11は、上瞼速度の時間変化を予め設定された負の速度閾値−Vthと比較することによって、瞬目開始から上瞼速度が速度閾値−Vthを超えた時刻を閉瞬目の期間T1の開始時刻t1として特定し、時刻t1の後に上瞼速度が再度速度閾値−Vthを下回り始めた時刻を閉瞬目の期間T1の終了時刻t2、かつ、閉眼期間T2の開始時刻t2として特定する。さらに、特徴量算出部11は、上瞼速度の時間変化において、時刻t2の後に上瞼速度が予め設定された正の速度閾値+Vthを上回り始めた時刻を閉眼期間T2の終了時刻t3、かつ開瞬目の期間T3の開始時刻t3として特定し、時刻t3の後に上瞼速度が再度速度閾値+Vthを下回り始めた時刻を開瞬目の期間T3の終了時刻t4として特定する。そして、特徴量算出部11は、瞬目特徴量として、「前の瞬目との時間間隔」、「閉瞬目時の上眼瞼移動量」、「閉瞬目の期間」、「閉瞬目最大速度」、「閉瞬目最大速度の時刻」、「閉眼期間」、「開瞬目時の上眼瞼移動量」、「開瞬目の期間」、「開瞬目最大速度」、及び「開瞬目最大速度の時刻」のうちの少なくとも1つを算出する。「前の瞬目との時間間隔」は、前回の瞬目動作時に検出された開始時刻t1と今回検出された開始時刻t1との期間T0として算出される。「閉瞬目時の上眼瞼移動量」は、閉瞬目の期間T1における上瞼の移動量ΔP1として算出され、「閉瞬目の期間」は、期間T1の長さとして算出され、「閉瞬目最大速度」は、期間T1における最大速度として算出され、「閉瞬目最大速度の時刻」は、その速度が検出された時刻として算出され、「閉眼期間」は、期間T2の長さとして算出される。さらに、「開瞬目時の上眼瞼移動量」は、開瞬目の期間T3における上瞼の移動量ΔP2として算出され、「開瞬目の期間」は、期間T3の長さとして算出され、「開瞬目最大速度」は、期間T3における最大速度として算出され、「開瞬目最大速度の時刻」は、その速度が検出された時刻として算出される。
プロセッサ9の比較値算出部13は、特徴量算出部11によって算出された右眼E及び左眼Eのそれぞれについての瞬目特徴量を用いて、比較値を算出する。2つの瞬目特徴量から直接比較値を算出してもよいし、2つの瞬目特徴量から統計量を算出し、それらの統計量の比較値を算出してもよい。比較値算出部13は、統計値を算出する場合には、右眼E及び左眼Eのそれぞれについて、計測中に時間的に連続して得られる複数の特徴量を対象に平均値等の統計値を計算する。
また、プロセッサ9の結果出力部15は、比較値算出部13によって算出された比較値に基づいて、数値データ、テキストデータ、又は取得画像を出力する。ここで、結果出力部15は、比較値そのものを示すデータを出力してもよいし、比較値を表す数値データの統計値を出力してもよい。その場合、結果出力部15は、計測中に時間的に連続して得られる複数の比較値を対象に平均値等の統計値を計算する。
次に、両眼計測システム1による比較値の計測動作の詳細手順について説明するとともに、本実施形態に係る両眼計測方法について詳述する。図3及び図4は、両眼計測システム1による比較値の計測動作の手順を示すフローチャートである。図3は、右眼E及び左眼Eの画像を同時取得して瞬目特徴量の比較値を対象に統計値を算出する場合の手順であり、図4は、右眼E及び左眼Eの画像を別々に取得して、瞬目特徴量及びその統計値を右眼E及び左眼Eについて別々に算出し、2つの統計値の比較値を算出する場合の手順である。両眼計測システム1にはいずれか一方の機能が実装されていればよい。
まず、図3を参照して、計測動作が開始されると、光検出器7により右眼E及び左眼Eの画像信号が時間的に連続して同時取得される(ステップS01)。次に、特徴量算出部11によって、画像信号を基に被験者の右眼E及び左眼Eの上瞼位置の時間変化が算出される(ステップS02)。そして、特徴量算出部11により、右眼E及び左眼Eの上瞼位置の時間変化に基づいて、右眼E及び左眼Eのそれぞれの瞬目特徴量が時間的に連続して算出される(ステップS03)。その後、比較値算出部13により、右眼E及び左眼Eのそれぞれの瞬目特徴量の比較値が時間的に連続して算出される(ステップS04)。次に、結果出力部15により、時間的に連続して得られた比較値の統計値が算出される(ステップS05)。そして、それらの統計値の集計値が算出されて出力される(ステップS06)。このステップS05、S06では、比較値の統計値を計算しないで比較値の集計値がそのまま出力されてもよい。
図4を参照して、計測動作が開始されると、光検出器7により右眼E及び左眼Eの画像信号が時間的に連続して別々に取得される(ステップS11,S12)。次に、特徴量算出部11によって、画像信号を基に被験者の右眼E及び左眼Eの上瞼位置の時間変化が別々に算出される(ステップS13)。そして、特徴量算出部11により、右眼E及び左眼Eの上瞼位置の時間変化に基づいて、右眼E及び左眼Eのそれぞれの瞬目特徴量が時間的に連続して算出される(ステップS14)。その後、比較値算出部13により、右眼E及び左眼Eのそれぞれの瞬目特徴量の統計値が別々に算出される(ステップS15)。次に、比較値算出部13により、右眼E及び左眼Eの統計値の比較値が算出され。結果出力部15により、それらの比較値が出力される(ステップS16)。このステップS11〜S15では、右眼E及び左眼Eの画像信号を蓄積してからまとめて計算する手順を採用しているが、右眼Eについての画像取得及び計算処理を行った後に、左眼Eについての画像取得及び計算処理を行ってもよい。
以上説明した両眼計測システム1によれば、右眼E及び左眼Eからの反射光の画像信号を基に、右眼Eに関する瞬目特徴量と左眼Eに関する瞬目特徴量が算出され、その2つの瞬目特徴量を比較した比較値が算出される。これにより、被験者の眼の挙動に関する評価値を、被験者に負担を課すことなく、かつ、簡易な装置構成を用いた簡易な計算処理によって取得することができる。さらには、この評価値によって被験者の眼の挙動を適切に評価することができる。具体的には、眼の挙動から非侵襲かつ容易に脳機能の定量化を行うことができる。
さらに、検出対象として2次元画像を生成する撮像装置によって得られる画像信号を用いることにより、右眼E及び左眼Eの特徴量を精度よく得ることができ、その結果、眼の挙動の評価精度を高めることができる。
次に、本実施形態の両眼計測システム1によって得られる計測データの例について示す。
図5(a)には、1人の被験者が1時間のVDT作業を行った前後における閉瞬目最大速度の時刻の左右差の頻度値を示し、図5(b)には、1人の被験者が1時間のVDT作業を行った前後における閉瞬目最大速度の左右差の頻度値を示している。ここでは、左右差を右眼の数値から左眼の数値を引いた値としており、正の値であれば右眼が左眼よりも大きな値であることを意味する。図5(a)の結果から、VDT作業後はVDT作業前よりも左右の閉瞬目最大速度の時刻の差が大きくなっていること、VDT後には左眼が右眼よりも先に最大速度に達することが分かる。図5(b)の結果も同様な傾向を示している。つまり、VDT作業前よりもVDT作業後のほうが左右の閉瞬目最大速度の差が大きくなり、VDT前には右眼の速度のほうが速かったのに対して、VDT後には左眼のほうが速い瞬目が頻発するようになっている。両眼計測システム1において、健常者データベース、疾患データベースを設け、それらのデータベースと計測データとのマハラノビス距離を算出することにより、計測データが健常者群と疾患群のいずれに近いかを判断するなど、目の機能を定量化する新たな特徴量として、使用することができる。
図6(a)には、3名の被験者のVDT作業前後における閉瞬目最大速度の時刻の左右差の平均値を示し、図6(b)には、3名の被験者のVDT作業前後における閉瞬目最大速度の時刻の左右差の分散値を示している。図6(a)に示すように、VDT作業後、3名の被験者のいずれにも閉瞬目最大速度の時刻の左右差が大きくなる傾向にあることがわかる。また、図6(b)に示すように、VDT作業後、3名の被験者のいずれにも閉瞬目最大速度の時刻の左右差のばらつきが大きくなる傾向にあることがわかる。
図7(a)には、3名の被験者のVDT作業前後における閉瞬目最大速度の時刻の左右差の標準偏差を示し、図7(b)には、3名の被験者のVDT作業前後における閉瞬目最大速度の時刻の左右差の最大値と最小値の差を示している。図7(a)に示すように、VDT作業後、3名の被験者のいずれにも閉瞬目最大速度の時刻の左右差のばらつきが大きくなる傾向にあることがわかる。また、図7(b)に示すように、VDT作業後、3名の被験者のいずれにも閉瞬目最大速度の時刻の左右差のばらつきが大きくなる傾向にあることがわかる。
図8(a)には、3名の被験者のVDT作業前後における閉瞬目最大速度の時刻の左右差の最大値を示し、図8(b)には、3名の被験者のVDT作業前後における閉瞬目最大速度の時刻の左右差の最小値を示している。図8(a)に示すように、VDT作業後、3名の被験者のいずれにも閉瞬目最大速度の時刻の左右差が大きくなる傾向にあることがわかる。また、図8(b)に示すように、VDT作業後、3名の被験者のいずれにも閉瞬目最大速度の時刻の左右差が短くなる(左右差が零になる場合もある)瞬目が発生することが分かる。
図9(a)には、3名の被験者のVDT作業前後における閉瞬目最大速度の左右差の平均値を示し、図9(b)には、3名の被験者のVDT作業前後における閉瞬目最大速度の左右差の分散値を示している。図9(a)に示すように、VDT作業後、3名の被験者のいずれにも閉瞬目最大速度の左右差が大きくなる傾向にあることがわかる。また、図9(b)に示すように、VDT作業後、3名の被験者のいずれにも閉瞬目最大速度の左右差のばらつきが大きくなる傾向にあることがわかる。
図10(a)には、3名の被験者のVDT作業前後における閉瞬目最大速度の左右差の標準偏差を示し、図10(b)には、3名の被験者のVDT作業前後における閉瞬目最大速度の左右差の最大値と最小値の差を示している。図10(a)に示すように、VDT作業後、3名の被験者のいずれにも閉瞬目最大速度の左右差のばらつきが大きくなる傾向にあることがわかる。また、図10(b)に示すように、VDT作業後、3名の被験者のいずれにも閉瞬目最大速度の左右差のばらつきが大きくなる傾向にあることがわかる。
図11(a)には、3名の被験者のVDT作業前後における閉瞬目最大速度の左右差の最大値を示し、図11(b)には、3名の被験者のVDT作業前後における閉瞬目最大速度の左右差の最小値を示している。図11(a)に示すように、VDT作業後、3名の被験者のいずれにも閉瞬目最大速度の左右差が大きくなる傾向にあることがわかる。また、図11(b)に示すように、VDT作業後、3名の被験者のいずれにも閉瞬目最大速度の左右差が大きくなる傾向があることが分かる。
図12には、健常者及び脳神経疾患患者を含む複数の被験者を対象にして、瞬目特徴量の統計値を左右それぞれについて算出した後にそれらの統計値の比較値を算出した例であり、図12(a)には、左眼の閉瞬目最大速度の平均値の分布、図12(b)には、右眼の閉瞬目最大速度の平均値の分布、図12(c)には、閉瞬目最大速度の平均値の左右差の分布がそれぞれ示されている。この結果より、脳神経疾患患者は健常者に比較して、閉瞬目最大速度の平均値の左右差が大きくなる傾向があることが分かる。
図13(a)には、3名の被験者のVDT作業前後における閉瞬目最大速度の時刻の左右差の平均値及び標準偏差を示し、図13(b)には、3名の被験者のVDT作業前後における閉瞬目最大速度の左右差の平均値及び標準偏差を示している。それぞれのグラフにおいて、平均値は丸印で標準偏差はバーの長さで示している。図13(a)に示すように、3名いずれもがVDT作業前よりも後のほうが時間差が大きくなるとともにその差のばらつきが大きくなることが分かった。また、図13(b)に示すように、3名いずれもがVDT作業前よりも後のほうが速度差が大きくなるとともにその差のばらつきが大きくなることが分かった。
図14及び図15には、健常者及び脳神経疾患患者を含む複数の被験者を対象にして、瞬目特徴量の統計値の左右差の頻度を算出した例を示しており、図14(a)には閉瞬目時の上眼瞼移動量の平均値の左右差、図14(b)には閉瞬目期間の平均値の左右差、図14(c)には閉眼期間の平均値の左右差、図15(a)には開瞬目時の上眼瞼移動量、図15(b)には開瞬目期間の平均値の左右差、図15(c)には開瞬目最大速度の平均値の左右差をそれぞれ示している。これらの検出結果においても、脳神経疾患患者は健常者に比較して、左右差が大きくなる傾向があることが分かる。
なお、本発明は、前述した実施形態に限定されるものではない。
上述した両眼計測システム1が検出対象とする被験者の検出内容は、他の種類のものであってもよい。
例えば、両眼計測システム1は被験者の固視微動を検出してもよい。この場合の変形例にかかる両眼計測システム1の構成について、上述した両眼計測システム1との相違点を中心に説明する。
[固視微動の検出のための構成]
光検出器7としてビデオカメラ等の撮像装置、又はプロファイルセンサを用いる場合、両眼計測システム1は、被験者の角膜反射光、瞳孔径、又は瞳孔中心を計測する。光検出器7としてフォトディテクタ等の光センサ、又はプロファイルセンサを利用する場合、強膜反射光を計測してもよい。角膜反射光を検出する場合、プロセッサ9の特徴量算出部11は、輝点画像を重心演算することで眼球位置を求める。光検出器7或いはプロセッサ9は、計測前に被験者の角膜の曲率の違いに起因する移動量の違いを較正してもよいし、所定の輝点を表示させて輝点間のサッカードを促し、移動量の較正のための補正係数を反映させる機能を有していてもよい。ただし、サッカードの検出中も常に被験者が固視微動を行っており輝点注視時の眼球位置が揺らぐため、輝点を点滅させる制御、安定した補正係数が得られるまで較正処理を続ける制御を行うことも好ましい。例えば、光検出器7としてビジョンカメラを用いる場合、被験者の画像信号の取得を続けながら所定のフレームレートでリアルタイムに眼球位置を演算できるため、サッカードによる移動幅が所定のばらつき幅(標準偏差などの統計値)に収まるまで輝点制御及び画像信号取得を続けてもよい。強膜反射光を検出する場合、光検出器7或いはプロセッサ9は、光センサの出力値と眼球移動量の較正処理を行う。
プロセッサ9の特徴量算出部11は、光検出器7から出力された画像信号を基に、眼球位置の時間変化を算出する。加えて、特徴量算出部11は、眼球位置の時間変化に基づいて、眼球位置の移動速度(眼球運動速度)の時間変化を算出する。図16(a)には、特徴量算出部11によって算出された眼球運動速度の時間変化を示し、図16(b)は、特徴量算出部11によって算出された眼球位置の時間変化を示している。図16(b)に示す丸印のそれぞれは、各フレームでの眼球位置を示しており、例えば時間間隔1ミリ秒で算出される。特徴量算出部11は、眼球運動速度を横方向の速度の2乗と縦方向の速度の2乗の輪の平方根を計算することにより得る。速度は眼球位置の時間変化の1次微分によって得る。図16(a)に示すように、被験者のフリックに応じて眼球運動速度のピークが観測され、そのピークの前後においてドリフト運動及びトレモア運動に伴った眼球位置のゆっくりとした移動が検出され、図16(b)に示すように、それらの運動に対応した眼球位置の変化が検出される。
そして、特徴量算出部11は、算出した眼球位置の時間変化及び眼球運動速度の時間変化を基に、固視微動に関する特徴量である固視微動特徴量を、右眼E及び左眼Eのそれぞれについて別々に算出する。まず、特徴量算出部11は、眼球運動速度の時間変化を予め設定された速度閾値Vth1と比較することによって、速度閾値Vth1を超えた期間T5をフリック期間と特定し、それ以外の期間T6をドリフト運動及びトレモア運動の期間と特定する。さらに、特徴量算出部11は、固視微動特徴量として、「フリック期間」、「フリック最大速度」、「フリック開始時刻」、「フリック終了時刻」、「フリック最大速度時刻」、「フリック頻度」、「最大速度時のフリック角度」、「フリック期間の角度」、「フリック移動距離」、及び「フリック幅」などを算出する。「フリック期間」は、観測されたフリック期間T5の長さとして算出され、「フリック最大速度」はフリック期間における眼球運動速度の最大値として算出され、「フリック最大速度の時刻」はその最大値が観測された時刻として算出され、「フリック頻度」は所定期間におけるフリックの発生頻度として算出される。「フリック期間」は、フリック最大速度の四分位点を用い、例えば最大速度の半値幅の2倍の期間として求めたものであってもよいし、速度閾値を超えた区間の前後の所定の期間とされてもよいし、速度波形に対してバイパスフィルタなどを適用して、トレモアやドリフトの影響を低減したうえで抽出されたものであってもよい。また、図17(a)に示すように、「フリック幅」は、フリック開始時刻における眼球位置X1とフリック終了時刻における眼球位置X2との間の距離として計算され、図17(b)に示すように、「フリック移動距離」は、フリック開始位置X1からフリック終了位置X2までの各観測位置間の距離を合計した値として計算され、図17(c)に示すように、「最大速度時のフリック角度」は、最大速度が検出された時点での眼球位置X3の前後の点を結んだベクトルの角度θ1として計算され、図17(d)に示すように、「フリック期間の角度」は、眼球位置X1,X2を結んだベクトルの角度θ2として計算される。
ここで、特徴量算出部11は、フリックに関する固視微動特徴量に代えて、又はそれに加えて、トレモアに関する固視微動特徴量を算出してもよい。トレモアに関する特徴量を算出する際には、フリック期間を除いた期間の眼球位置の時間変化から50Hz以上の周波数成分を抽出し、その周波数成分を対象に特徴量を算出する。特徴量算出部11は、トレモアに関する固視微動特徴量として、「周波数解析によるピーク周波数」、「周波数解析結果の周波数パワー総和」、及び「振幅」など、微小振動であるトレモアの周波数特徴量や振動の振幅に関する特徴量を算出する。周波数解析とは、「DFT(Discrete Fourier Transform)」や、「Wavelet解析」などであり、DFTをFFT(Fast Fourier Transform)で代行してもよい。「ピーク周波数」とは各周波数解析によって得られた周波数スペクトルの中で最も高いパワー値を示した周波数を示し、「周波数パワー総和」は、任意周波数帯域の周波数スペクトルのパワー値の総和として算出され、「振幅」はトレモアによる眼球位置の移動量の総和や、運動方向が反転するまでの期間の移動量として算出される。
また、特徴量算出部11は、フリック或いはトレモアに関する固視微動特徴量に代えて、又はそれに加えて、ドリフトに関する固視微動特徴量を算出してもよい。ドリフトに関する特徴量を算出する際には、フリック期間を除いた期間の眼球位置の時間変化から50Hz未満の周波数成分を抽出し、その周波数成分を対象に特徴量を算出する。特徴量算出部11は、ドリフトに関する固視微動特徴量として、「フラクタル次元」、「ピーク周波数」、「周波数パワー総和」、及び「振幅」などを算出する。「フラクタル次元」は、抽出した周波数成分を対象にフラクタル次元を算出することにより得られ、「ピーク周波数」は、抽出した周波数成分を基に算出したペクトルのピーク周波数として算出され、「振幅」はドリフトによる眼球位置の移動量の総和として算出される。
図18〜図22は、両眼計測システム1による比較値の計測動作の手順を示すフローチャートである。図18は、右眼E及び左眼Eの画像を同時取得して固視微動特徴量の比較値を対象に統計値を算出する場合の手順であり、図22は、右眼E及び左眼Eの画像を別々に取得して、固視微動特徴量及びその統計値を右眼E及び左眼Eについて別々に算出し、2つの統計値の比較値を算出する場合の手順、図19〜図21は固視微動の解析処理の詳細の手順である。両眼計測システム1には図18及び図22に示す機能のうちいずれか一方の機能が実装されていればよい。図18及び図22の手順は、処理対象を固視微動特徴量とした以外は図3及び図4に示した手順と同様である。
図19を参照して、右眼E及び左眼Eのそれぞれに関してフリックに関する特徴量を算出する際には、プロセッサ9の特徴量算出部11は、まず、眼球位置の時間変化を算出する(ステップS31)。次に、特徴量算出部11は、眼球運動速度の時間変化を利用して、フリック区間を検出する(ステップS32)。そして、特徴量算出部11は、フリック区間における眼球位置の時間変化及び眼球運動速度の時間変化を利用してフリックに関する特徴量を算出する(ステップS33)。
図20を参照して、右眼E及び左眼Eのそれぞれに関してトレモアに関する特徴量を算出する際には、プロセッサ9の特徴量算出部11は、まず、眼球位置の時間変化を算出する(ステップS41)。次に、特徴量算出部11は、眼球運動速度の時間変化を利用してフリック区間を検出し、フリック区間以外の時間変化の信号を抽出する(ステップS42)。その後、特徴量算出部11は、抽出した信号から50Hz以上の周波数成分を抽出する(ステップS43)。そして、特徴量算出部11は、抽出された眼球位置の時間変化を利用してトレモアに関する特徴量を算出する(ステップS33)。
図21を参照して、右眼E及び左眼Eのそれぞれに関してドリフトに関する特徴量を算出する際には、プロセッサ9の特徴量算出部11は、まず、眼球位置の時間変化を算出する(ステップS51)。次に、特徴量算出部11は、眼球運動速度の時間変化を利用してフリック区間を検出し、フリック区間以外の時間変化の信号を抽出する(ステップS52)。その後、特徴量算出部11は、抽出した信号から50Hz未満の周波数成分を抽出する(ステップS43)。そして、特徴量算出部11は、抽出された眼球位置の時間変化を利用してドリフトに関する特徴量を算出する(ステップS33)。
上記変形例に係る両眼計測システム1によっても、被験者の眼の挙動に関する評価値を、被験者に負担を課すことなく、かつ、簡易な装置構成を用いた簡易な計算処理によって取得することができる。さらには、この評価値によって被験者の眼の挙動を適切に評価することができ、眼の挙動から非侵襲かつ容易に脳機能の定量化を行うことができる。
次に、本変形例の両眼計測システム1によって得られた計測データの例について示す。
図23(a)には、1名の被験者のVDT作業前後におけるフリック最大速度の左右差を示し、図23(b)には、1名の被験者のVDT作業前後におけるフリック最大速度時刻の左右差を示し、図23(c)には、6名の被験者のVDT作業前後におけるフリック最大速度の左右差を示している。これらの結果に示すように、VDT作業前よりも後のほうが左右差が大きくなるとともにその差のばらつきが大きくなることが分かった。
図24(a)には、VDT作業前後におけるフリック幅の左右差の頻度値を示し、図24(b)には、VDT作業前後におけるフリック移動距離の左右差の頻度値を示し、図24(c)には、VDT作業前後における最大速度時のフリック角度の左右差の頻度値を示し、図24(d)には、VDT作業前後におけるフリック期間の角度の左右差の頻度値を示している。これらの結果から、VDT作業後は特徴量の左右差が大きくなっていることがわかる。
図25(a)には、VDT作業前後におけるトレモアの横運動周波数の左右差の平均値及び標準偏差を示し、図25(b)には、VDT作業前後におけるトレモアの縦運動周波数の左右差の平均値及び標準偏差を示している。図25(a)に示すように、横運動周波数については、VDT作業前よりも後のほうが差が大きくなるとともにその差のばらつきが大きくなることが分かった。図25(b)に示すように、縦運動周波数については、VDT作業前よりも後のほうが差が小さくなっているが、その差のばらつきは大きくなることが分かった。
また、両眼計測システム1は被験者の瞳孔を検出してもよい。この場合の変形例にかかる両眼計測システム1の構成について、上述した両眼計測システム1との相違点を中心に説明する。
[瞳孔検出のための構成]
本変形例にかかる両眼計測システム1は、被験者の瞳孔面積或いは瞳孔直径等を計測する。すなわち、プロセッサ9の特徴量算出部11は、光検出器7から出力された画像信号を基に、瞳孔面積或いは瞳孔直径の時間変化を算出する。
具体的には、特徴量算出部11は、画像信号に輝度閾値を設定し、輝度閾値に比較して輝度の低い画素の輝度値をそのまま維持し、輝度閾値に比較して輝度の高い画素の輝度値を輝度閾値以上の所定値(例えば、最大値の「255」)に変更する。この場合の閾値の設定方法としては、画像信号を小領域に分割し、各領域毎の輝度値の総和を算出し、暗部群と明部群とを分ける閾値を適応的に求める方法や、画像信号の全領域の輝度値のヒストグラムを生成し、暗い方から画素数を累積し、所定の画素数を満たした輝度値を閾値とする方法や、瞼位置より上部の最低輝度値や平均輝度値に標準偏差を加味した輝度値を閾値に設定する方法や、固定値を用いる方法などがある。このとき、画像処理の2値化処理を行い、瞳孔部を残すように処理してもよい。その後、特徴量算出部11は、画像信号に対して画像処理手法の収縮(Erosion)と膨張(Dilation)を複数回適用するなどし、角膜反射光と瞳孔部以外のノイズを除去する。なお、角膜反射光部は眼表面の涙液量や眼内レンズの影響などにより散乱・拡大する場合があり、その場合は、収縮と膨張だけでは除去できない場合がある。そのため収縮と膨張のあとに暗部中の明部の存在を画像処理のラベリングなどを適用し求め、直接明部を塗りつぶすことが好ましい。そして、特徴量算出部11は、閾値未満の輝度値の画素数を数え、それを瞳孔面積として計算する。さらに、特徴量算出部11は、暗部中の明部の角膜反射光の重心座標を横切る直線を求め、上記の収縮と膨張によるノイズ除去後に得られた閾値未満の輝度値の画素群とこの直線の交わる長さを求め、それを瞳孔直径として計算する。他の計算方法として、上記画素群と上記直線の交点の左右境界の輝度情報を用いて重心演算を行い、左右それぞれの境界の一次元座標を求め、その距離を瞳孔直径とする方法や、閾値を複数適用して求めて得た瞳孔直径を平均するなどしてもよい。
そして、特徴量算出部11は、算出した瞳孔直径の時間変化を基に、瞳孔に関する特徴量である瞳孔特徴量を、右眼E及び左眼Eのそれぞれについて別々に算出する。特徴量算出部11は、瞳孔特徴量として、「散瞳ピーク時刻から縮瞳ピーク時刻までの所要時間」、「縮瞳ピーク時刻から散瞳ピーク時刻までの所要時間」、「縮瞳ピークの瞳孔径・面積から散瞳ピークの瞳孔径・面積への変化率」、及び「散瞳ピークの瞳孔径・面積から縮瞳ピークの瞳孔径・面積への変化率」のうちの少なくとも1つを算出する。図26(a)には、特徴量算出部11によって算出された瞳孔直径の時間変化の一例を示しており、図26(b)には、特徴量算出部11によって検出された散瞳ピークの時刻及び縮瞳ピークの時刻を示している。このように、特徴量算出部11によって、瞳孔直径の時間変化の極小値に対応する時刻が縮瞳ピークの時刻として検出され、瞳孔直径の時間変化の極大値に対応する時刻が散瞳ピークの時刻として検出される。
図27及び図28は、両眼計測システム1による比較値の計測動作の手順を示すフローチャートである。図27は、右眼E及び左眼Eの画像を同時取得して瞳孔特徴量の比較値を対象に統計値を算出する場合の手順であり、図28は、右眼E及び左眼Eの画像を別々に取得して、瞳孔特徴量及びその統計値を右眼E及び左眼Eについて別々に算出し、2つの統計値の比較値を算出する場合の手順である。両眼計測システム1には図27及び図28に示す機能のうちいずれか一方の機能が実装されていればよい。図27及び図28の手順は、処理対象を瞳孔特徴量とした以外は図3及び図4に示した手順と同様である。
上記変形例に係る両眼計測システム1によっても、被験者の眼の挙動に関する評価値を、被験者に負担を課すことなく、かつ、簡易な装置構成を用いた簡易な計算処理によって取得することができる。さらには、この評価値によって被験者の眼の挙動を適切に評価することができ、眼の挙動から非侵襲かつ容易に脳機能の定量化を行うことができる。
上述した実施形態に係る両眼計測システム1においては、比較値として差或いは比を算出するが、その際瞬目などによって計測できていなかった区間は対象外として集計値に反映させることが好ましい。また、瞳孔直径の安定した検出が難しい場合には瞳孔領の面積、楕円近似した結果の面積或いは直径を利用してもよい。
上述した実施形態に係る両眼計測システム1の応用例としては、病院での病状の診断用途、病気の進行の判断や治療後の経過観察の用途等が想定される。また、個人が各自の健康を確認するためのヘルスケア用途、研究室での生理学実験や視覚実験の用途も想定される。
1…両眼計測システム、3R,3L…光源、5…照明制御装置、7…光検出器、9…プロセッサ、11…特徴量算出部、13…比較値算出部、15…結果出力部、17…同期制御部、E…左眼、E…右眼。

Claims (5)

  1. 対象者の右眼及び左眼からの光を検出し、当該光の検出信号を出力する光検出器と、
    前記検出信号に基づいて、前記右眼に対応した第1の特徴量と前記左眼に対応した第2の特徴量とを算出する特徴量算出部と、
    前記第1の特徴量及び前記第2の特徴量を基に、前記第1の特徴量と前記第2の特徴量とを比較した比較値を算出する比較値算出部と、
    を備え
    前記特徴量算出部は、前記第1の特徴量及び前記第2の特徴量として、瞬目あるいは固視微動に関する特徴量を算出する、
    両眼計測装置。
  2. 前記比較値算出部は、前記第1の特徴量と前記第2の特徴量との差或いは比に基づいた比較値を算出する、
    請求項1記載の両眼計測装置。
  3. 前記光検出器は、複数の画素が2次元配列された受光面を有する2次元光検出器を含む、
    請求項1又は2に記載の両眼計測装置。
  4. 光検出器を用いて、対象者の右眼及び左眼からの光を検出し、当該光の検出信号を出力するステップと、
    前記検出信号に基づいて、前記右眼に対応した第1の特徴量と前記左眼に対応した第2の特徴量とを算出するステップと、
    前記第1の特徴量及び前記第2の特徴量を基に、前記第1の特徴量と前記第2の特徴量とを比較した比較値を算出するステップと、
    を備え
    前記第1の特徴量及び前記第2の特徴量として、瞬目あるいは固視微動に関する特徴量を算出する、
    両眼計測方法。
  5. 対象者の右眼及び左眼を含む部位の画像を用いて、前記対象者の両眼を計測する両眼計測装置に備えられるプロセッサを、
    前記画像に基づいて、前記右眼に対応した第1の特徴量と前記左眼に対応した第2の特徴量とを算出する特徴量算出部、及び
    前記第1の特徴量及び前記第2の特徴量を基に、前記第1の特徴量と前記第2の特徴量とを比較した比較値を算出する比較値算出部、
    として機能させ
    前記特徴量算出部は、前記第1の特徴量及び前記第2の特徴量として、瞬目あるいは固視微動に関する特徴量を算出する、
    両眼計測プログラム。
JP2015108367A 2015-05-28 2015-05-28 両眼計測装置、両眼計測方法、及び両眼計測プログラム Active JP6530239B2 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
JP2015108367A JP6530239B2 (ja) 2015-05-28 2015-05-28 両眼計測装置、両眼計測方法、及び両眼計測プログラム
CN201680030746.4A CN107613847B (zh) 2015-05-28 2016-03-30 双目测量装置、双目测量方法以及双目测量程序
US15/575,856 US10893800B2 (en) 2015-05-28 2016-03-30 Binocular measurement device, binocular measurement method, and binocular measurement program
PCT/JP2016/060517 WO2016189966A1 (ja) 2015-05-28 2016-03-30 両眼計測装置、両眼計測方法、及び両眼計測プログラム
US17/099,993 US11723534B2 (en) 2015-05-28 2020-11-17 Binocular measurement device, binocular measurement method, and binocular measurement program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2015108367A JP6530239B2 (ja) 2015-05-28 2015-05-28 両眼計測装置、両眼計測方法、及び両眼計測プログラム

Publications (2)

Publication Number Publication Date
JP2016220801A JP2016220801A (ja) 2016-12-28
JP6530239B2 true JP6530239B2 (ja) 2019-06-12

Family

ID=57392702

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2015108367A Active JP6530239B2 (ja) 2015-05-28 2015-05-28 両眼計測装置、両眼計測方法、及び両眼計測プログラム

Country Status (4)

Country Link
US (2) US10893800B2 (ja)
JP (1) JP6530239B2 (ja)
CN (1) CN107613847B (ja)
WO (1) WO2016189966A1 (ja)

Families Citing this family (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6227996B2 (ja) * 2013-12-18 2017-11-08 浜松ホトニクス株式会社 計測装置及び計測方法
DE102015213935B4 (de) * 2015-07-23 2019-02-14 Siemens Healthcare Gmbh Medizinische Bildgebungsvorrichtung mit einer Positionierungseinheit sowie ein Verfahren zu einem Bestimmen einer Position auf einer Positionierungsfläche
JP6406171B2 (ja) * 2015-08-25 2018-10-17 トヨタ自動車株式会社 瞬目検知装置
JP2017202048A (ja) * 2016-05-10 2017-11-16 日本電信電話株式会社 特徴量抽出装置、推定装置、それらの方法、およびプログラム
US20180125406A1 (en) * 2016-11-08 2018-05-10 International Business Machines Corporation Mental state estimation using relationship of pupil dynamics between eyes
US10660517B2 (en) 2016-11-08 2020-05-26 International Business Machines Corporation Age estimation using feature of eye movement
WO2018097204A1 (ja) * 2016-11-22 2018-05-31 国立研究開発法人宇宙航空研究開発機構 注意力低下状態の推定のためのシステム、方法、プログラム、及びプログラムを記憶した記憶媒体
US10796147B1 (en) * 2016-12-12 2020-10-06 Keith Hanna Method and apparatus for improving the match performance and user convenience of biometric systems that use images of the human eye
EP3720336A4 (en) * 2017-12-08 2021-10-13 Beyond 700 Pty Ltd PROCEDURE BASED ON TEAR FILM BEHAVIOR
JP6930410B2 (ja) * 2017-12-14 2021-09-01 オムロン株式会社 瞳孔検出装置および検出システム
JP7107725B2 (ja) * 2018-04-10 2022-07-27 浜松ホトニクス株式会社 眼球運動特徴量算出システム、眼球運動特徴量算出方法及び眼球運動特徴量算出プログラム
US10827922B2 (en) * 2018-10-22 2020-11-10 Zongqi Hu Apparatus and method for objective visual acuity measurement using dynamic velocity threshold filter in optokinetic response processing
JP7264257B2 (ja) * 2019-09-04 2023-04-25 日本電気株式会社 制御装置、制御方法及びプログラム
CN111568368B (zh) * 2020-05-25 2023-06-06 歌尔科技有限公司 一种眼球运动异常检测的方法、装置及设备
US11803237B2 (en) * 2020-11-14 2023-10-31 Facense Ltd. Controlling an eye tracking camera according to eye movement velocity
US11899468B2 (en) * 2020-12-22 2024-02-13 Waymo Llc Sensor for flashing light detection
SE545345C2 (en) * 2021-06-30 2023-07-11 Tobii Ab Method and system for alignment of data

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07303608A (ja) * 1994-05-11 1995-11-21 Nippon Koden Corp 眼球運動測定方法
JPH09175224A (ja) * 1995-12-25 1997-07-08 Nippon Hoso Kyokai <Nhk> 瞳測定装置
JP3771973B2 (ja) * 1996-09-26 2006-05-10 オリンパス株式会社 立体映像表示装置
JP2008246143A (ja) * 2007-03-30 2008-10-16 Hamamatsu Photonics Kk 瞳孔測定装置
US8333474B2 (en) * 2007-10-19 2012-12-18 Wavetec Vision Systems, Inc. Optical instrument alignment system
JP5714951B2 (ja) * 2011-03-22 2015-05-07 パナソニック株式会社 両眼瞳孔検査装置

Also Published As

Publication number Publication date
CN107613847A (zh) 2018-01-19
CN107613847B (zh) 2019-05-21
JP2016220801A (ja) 2016-12-28
WO2016189966A1 (ja) 2016-12-01
US20210068653A1 (en) 2021-03-11
US20180125357A1 (en) 2018-05-10
US10893800B2 (en) 2021-01-19
US11723534B2 (en) 2023-08-15

Similar Documents

Publication Publication Date Title
JP6530239B2 (ja) 両眼計測装置、両眼計測方法、及び両眼計測プログラム
US11903720B2 (en) System and method for detecting neurological disease
JP5792967B2 (ja) 画像処理装置及び画像処理システム
Otero-Millan et al. Knowing what the brain is seeing in three dimensions: A novel, noninvasive, sensitive, accurate, and low-noise technique for measuring ocular torsion
JP7017002B2 (ja) 眼瞼を閉じた対象者における瞳孔の大きさを決定するための装置および方法
JP2004283609A (ja) 瞳孔不規則性検出・瞳孔追跡・瞳孔反応検出機能、緑内障検査機能、角膜解剖学的測定機能、頭蓋内圧検出機能、および、眼異常測定機能を備えた瞳孔計
CN201022701Y (zh) 一种瞳孔动态变化测量装置
JPWO2005084526A1 (ja) 網膜機能の光学計測方法と装置
US20180249941A1 (en) Oculometric Neurological Examination (ONE) Appliance
Nowak et al. System and measurement method for binocular pupillometry to study pupil size variability
US11445904B2 (en) Joint determination of accommodation and vergence
KR20220054827A (ko) 동공 반응을 평가하기 위한 시스템 및 방법
Margalit et al. New method for remote and repeatable monitoring of intraocular pressure variations
JP2008086412A (ja) 網膜画像データ取得表示装置および網膜画像データ取得表示方法
Hirota et al. Automatic recording of the target location during smooth pursuit eye movement testing using video-oculography and deep learning-based object detection
US20230064792A1 (en) Illumination of an eye fundus using non-scanning coherent light
JP7107725B2 (ja) 眼球運動特徴量算出システム、眼球運動特徴量算出方法及び眼球運動特徴量算出プログラム
RU2648202C2 (ru) Способ офтальмологического исследования поля зрения
TWI580396B (zh) 視覺生理用頭戴式系統
US20240074699A1 (en) System and Method for Quantification and Feedback of Eye Deviations
Fülep et al. Far-field infrared system for the high-accuracy in-situ measurement of ocular pupil diameter
Lee et al. Development of pupillography using image processing.
Leal et al. Development of an instrument to measure pupil dynamics in subjects suffering from Neuro-Ophthalmologic disorders
Figols Monlleó Development of eye tracking systems for medical diagnosis
RU2261650C1 (ru) Способ определения степени эктопии макулярной области по отношению к диску зрительного нерва

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20180409

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20190108

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190308

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20190514

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20190516

R150 Certificate of patent or registration of utility model

Ref document number: 6530239

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250