JP7220905B2 - 眼球運動解析システム、眼球運動解析方法およびプログラム - Google Patents

眼球運動解析システム、眼球運動解析方法およびプログラム Download PDF

Info

Publication number
JP7220905B2
JP7220905B2 JP2019038941A JP2019038941A JP7220905B2 JP 7220905 B2 JP7220905 B2 JP 7220905B2 JP 2019038941 A JP2019038941 A JP 2019038941A JP 2019038941 A JP2019038941 A JP 2019038941A JP 7220905 B2 JP7220905 B2 JP 7220905B2
Authority
JP
Japan
Prior art keywords
subject
moving image
eye
image captured
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2019038941A
Other languages
English (en)
Other versions
JP2020141762A (ja
Inventor
翔 佐々木
孝雄 林
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Teikyo Univ
Original Assignee
Teikyo Univ
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Teikyo Univ filed Critical Teikyo Univ
Priority to JP2019038941A priority Critical patent/JP7220905B2/ja
Priority to US17/433,086 priority patent/US20220087524A1/en
Priority to PCT/JP2020/008573 priority patent/WO2020179720A1/ja
Publication of JP2020141762A publication Critical patent/JP2020141762A/ja
Application granted granted Critical
Publication of JP7220905B2 publication Critical patent/JP7220905B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013Eye tracking input arrangements
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/16Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/163Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state by tracking eye movement, gaze, or pupil change
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/48Other medical applications
    • A61B5/4863Measuring or inducing nystagmus
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • G06T7/246Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/113Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for determining or recording eye movement
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30041Eye; Retina; Ophthalmic
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30204Marker
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30241Trajectory

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Molecular Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Veterinary Medicine (AREA)
  • Biophysics (AREA)
  • Public Health (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Animal Behavior & Ethology (AREA)
  • Surgery (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Pathology (AREA)
  • Ophthalmology & Optometry (AREA)
  • Hospice & Palliative Care (AREA)
  • Psychology (AREA)
  • Psychiatry (AREA)
  • Educational Technology (AREA)
  • Developmental Disabilities (AREA)
  • Child & Adolescent Psychology (AREA)
  • Social Psychology (AREA)
  • Eye Examination Apparatus (AREA)
  • Position Input By Displaying (AREA)
  • Image Analysis (AREA)

Description

本発明は、眼球運動解析システム、眼球運動解析方法およびプログラムに関する。
眼振は、眼球が自分の意志とは関係なく規則的かつ持続的に往復運動を繰り返す疾患である。眼振は特殊な条件下では健常人にもみられるが、病的眼振では、眼の揺れの程度により、見ているものが揺れて見えたり、網膜像の揺れにより視力低下をきたし日常生活に支障をきたしたりすることもある。
病的眼振の9割以上は生まれつきみられる眼振(先天眼振)である。先天眼振には、乳児眼振、先天周期交代性眼振、(顕性)潜伏眼振、眼振阻止症候群、点頭発作などがある。殆どが水平(左右)に揺れる眼振を呈する。
眼振の解析は、眼の動きを上下(右方向への眼の動きを上、左方向への眼の動きを下)の波形として表す眼振図解析が一般的である。眼振の波形は3つの重要な要素からなる。
眼振のタイプ(行き(緩徐相)と戻り(急速相)の速度変化)で分類すると、振子様眼振と、律動眼振(緩徐相速度増加型)と、律動眼振(緩徐相速度減弱型)とに分類される。
揺れの大きさ(振幅)で分類すると、大振幅と、小振幅とに分類される。小振幅の方が、大振幅よりも、視機能は良好であることが多い。
頻度(周波数:1秒間に往復する回数)で分類すると、高頻度と、低頻度とに分類される。低頻度の方が、高頻度よりも、視機能は良好であることが多い。
眼振のタイプによりそれぞれ原因となる疾患や治療法が異なるため、これを正確に分類することは診断・治療を適切に行っていく上で非常に重要である。また、振幅の大きさ、揺れの頻度は、視機能に直結するため、治療の要否や治療方法の判断基準となる。
以上のことから、眼振の定性的・定量的解析を行う必要性は極めて高い。
現在、眼振の解析手段として実施されている方法は、電気眼振図、サーチコイル法の2種類である。
電気眼振図は、眼振検査の主流である。電気眼振図では、眼の周囲に電極を設置し、眼振による電位変化を検出することで眼振計測を行う。計測用の電極を顔に多数貼り付けるため、被検者が有する不快感が強い。また、検査前に精密なキャリブレーションを要することや、被検者の緊張や力みなどによる筋電図がアーチファクトとして波形に混入する点が問題点である。
サーチコイル法では、磁場を発生する特殊なスペースの中で、電極(コイル)の埋め込まれたコンタクトレンズを眼に入れ、その動きにより生じる電位変化を捉えることで眼振計測を行う。サーチコイル法は、最も精度が良く、詳細な波形解析が可能だが、侵襲性が極めて高い点、広い空間や大がかりな磁場発生装置が必要となる点が問題である。
いずれの検査法においても、眼振患者の大部分を占め、眼振検査のメインターゲットである小児の検査が困難であるという致命的欠点を有する。そのため、小児における眼振の詳細な解析は困難であり、眼振の病態解明は進んでいないのが現状である。臨床的にも、先天眼振の病型分類や適切な治療方針の決定は困難を極めている。
また従来から、VNG(ビデオ式眼振計測装置)が知られている。VNGでは、赤外線カメラを用いて眼振が計測される。VNGは、主に耳鼻科領域でのめまい診断等に使用されている。VNGは、プルキンエ像を基準としているため精度に限界があり、詳細な波形解析に用いることができない。また、専用の大きなゴーグルを装着する必要があるため、小児における測定は困難である。
また従来から、眼球の画像から、コンピュータを用いて眼球の角速度を算出し、眼球運動を定量的に観察する解析方法が知られている(例えば特許文献1参照)。特許文献1に記載された技術では、撮像カメラからビデオ信号の形で出力される眼球の画像がAD変換され、画像データとして取り込まれる。
ところで、特許文献1に記載された技術では、ゴーグルタイプの眼球観察用装着具が使用される。つまり、特許文献1に記載された技術では、撮像カメラと被検者の眼球との距離を一定に維持した状態で、眼球の運動が解析される。そのため、特許文献1に記載された技術によっては、撮像カメラと被検者の眼球との距離が変化する場合に、被検者の眼球の運動を高精度に解析することができない。
また従来から、被検者の眼球を撮影する眼球撮影用カメラと、眼球撮影用カメラにより撮影された映像から眼球の位置を追跡する眼球追跡部とを有する眼球運動測定装置が知られている(例えば特許文献2参照)。
ところで、特許文献2に記載された技術では、眼球撮影用カメラと被検者の眼球との距離を一定に維持する必要がないものの、眼球撮影用カメラとは別個に被検者撮影用カメラを設ける必要がある。また、特許文献2に記載された技術では、事前にキャリブレーションを行わなければならない。
特開平11-225967号公報 特開2005-323905号公報
視線解析とは、赤外線光源を用いて角膜に投影した鏡面反射像(プルキンエ像)と瞳孔の相対的位置関係を赤外線カメラで投影し解析することで眼の位置や視線の動きを検出する方法である。詳細には、視線解析法では、被検者の角膜に赤外線ライトを照射して角膜表面にプルキンエ像が作成され、瞳孔の面重心との相対的位置関係から視線の移動が解析される。
本発明者等は、キャリブレーションフリーの視線解析装置を用いて小児眼振患者の眼振計測を試みた。その結果、ある程度の計測は可能となったが、得られる波形が不安定で再現性に乏しい、患児の頭部が少しでも動くと波形が大きく乱れ測定不可能となる、等の問題を解決できず、臨床的使用に耐えうる眼振解析に繋げることはできなかった。
これらの原因を分析していくと、角膜が完全な球体ではないため、中心と周辺を見たときでプルキンエ像の位置が変化するため、精度が悪いことが明らかになった。
また、角膜の最表面の涙液層は常に変動している(揺らいでいる)ため、そこに投影されるプルキンエ像は不安定な状態(常に揺らいでいる)となり、微細な測定誤差が生じる(眼が動いていないのに細かな揺れがあるように計測される)。つまり、この方法では解析精度を高めること自体が困難であることが明らかになった。
また、この方法では眼球運動と、顔そのものの動きを区別することができず、測定中に被検者の顔が動くとその動きを視線の動きとして誤検出してしまうことが避けられないことが明らかになった。
また、この方法では、測定前に精密なキャリブレーションを行う必要があり、また、赤外線カメラと被検者との距離が変化すると測定値が大きく変化してしまう。
つまり、この方法は、大まかな視線の解析には向くものの、眼振等の細かな眼の動きを検出するには向かないという欠点があった。
そこで、本発明者等は、映像から視線を追跡するためには不可欠であると考えられていたプルキンエ像を使用せず、代わりに基準となる比較対象を被検者の顔の表面に取り付けたり、被検者の顔の表面上の形態的特徴(例えばホクロなど)を比較対象として利用したりすることで、これらの欠点を解消する手法を見い出した。
また、本発明者等は、この手法が、病的眼振の解析のみならず、生理的眼振(正常者でも特定の条件下で生じる眼振)、めまい、耳や脳の病気に伴う眼球の振動、共同性斜視、非共同性斜視(つまり、眼球運動障害)、注視麻痺などの解析、正常者の眼球運動解析、固視微動解析などにも利用できることを見い出した。詳細には、本発明者等は、この手法を利用することによって、眼神経の麻痺で眼の動きが悪くなっている場合に右眼と左眼の動きの差を調べることが可能になると考えた。
つまり、本発明は、プルキンエ像を使用する必要なく、事前にキャリブレーションを行う必要なく、撮影部と被検者との距離が変化した場合であっても被検者の眼球の運動を高精度に解析することができる眼球運動解析システム、眼球運動解析方法およびプログラムを提供することを目的とする。
本発明の一態様は、被検者の右眼および左眼の少なくとも一方と、前記被検者の顔の表面上の比較対象とを含む動画像を撮影する撮影部と、前記撮影部によって撮影された前記動画像上における前記被検者の前記右眼および前記左眼の少なくとも一方と前記比較対象との関係に基づいて、前記被検者の前記右眼および前記左眼の少なくとも一方の眼球の運動を解析する解析部とを備える、眼球運動解析システムである。
本発明の一態様の眼球運動解析システムでは、前記比較対象は、前記被検者の眉間に貼り付けられるシールであってもよい。
本発明の一態様の眼球運動解析システムは、前記比較対象の情報を取得する取得部を更に備え、前記解析部は、前記取得部によって取得された前記比較対象の実寸と、前記撮影部によって撮影された前記動画像上における前記比較対象の寸法と、前記撮影部によって撮影された前記動画像上における前記被検者の前記右眼および前記左眼の少なくとも一方と前記比較対象との距離とに基づいて、前記被検者の前記右眼および前記左眼の少なくとも一方の眼球の運動を解析してもよい。
本発明の一態様の眼球運動解析システムでは、前記比較対象の実寸として、前記比較対象上の複数点の間の距離の実寸が用いられ、前記動画像上における前記比較対象の寸法として、前記動画像上における前記比較対象上の前記複数点の間の寸法が用いられてもよい。
本発明の一態様の眼球運動解析システムでは、前記比較対象が円形であり、前記解析部は、前記取得部によって取得された前記比較対象の直径または半径の実寸と、前記撮影部によって撮影された前記動画像上における前記比較対象の直径または半径と、前記撮影部によって撮影された前記動画像上における前記被検者の前記右眼上の点と前記比較対象の中心との距離とに基づいて、前記被検者の前記右眼の眼球の運動を解析し、前記取得部によって取得された前記比較対象の直径または半径の実寸と、前記撮影部によって撮影された前記動画像上における前記比較対象の直径または半径と、前記撮影部によって撮影された前記動画像上における前記被検者の前記左眼上の点と前記比較対象の中心との距離とに基づいて、前記被検者の前記左眼の眼球の運動を解析してもよい。
本発明の一態様の眼球運動解析システムでは、前記動画像上における前記被検者の前記右眼上の点が、前記動画像上における前記被検者の前記右眼の瞳孔の中心であり、前記動画像上における前記被検者の前記左眼上の点が、前記動画像上における前記被検者の前記左眼の瞳孔の中心であってもよい。
本発明の一態様の眼球運動解析システムでは、前記動画像上における前記被検者の前記右眼上の点が、前記動画像上における前記被検者の前記右眼の虹彩上の点であり、前記動画像上における前記被検者の前記左眼上の点が、前記動画像上における前記被検者の前記左眼の虹彩上の点であってもよい。
本発明の一態様の眼球運動解析システムでは、前記動画像上における前記被検者の前記右眼上の点が、前記動画像上における前記被検者の前記右眼の結膜血管上の点であり、前記動画像上における前記被検者の前記左眼上の点が、前記動画像上における前記被検者の前記左眼の結膜血管上の点であってもよい。
本発明の一態様の眼球運動解析システムでは、前記比較対象の形状が多角形であり、前記解析部は、前記取得部によって取得された前記比較対象の前記多角形の2つの頂点の間の距離の実寸と、前記撮影部によって撮影された前記動画像上における前記比較対象の前記多角形の前記2つの頂点の間の距離と、前記撮影部によって撮影された前記動画像上における前記被検者の前記右眼上の点と前記比較対象の前記多角形の前記2つの頂点との位置関係とに基づいて、前記被検者の前記右眼の眼球の運動を解析し、前記取得部によって取得された前記比較対象の前記多角形の前記2つの頂点の間の距離の実寸と、前記撮影部によって撮影された前記動画像上における前記比較対象の前記多角形の前記2つの頂点の間の距離と、前記撮影部によって撮影された前記動画像上における前記被検者の前記左眼上の点と前記比較対象の前記多角形の前記2つの頂点との位置関係とに基づいて、前記被検者の前記左眼の眼球の運動を解析してもよい。
本発明の一態様の眼球運動解析システムでは、前記比較対象の形状が多角形であり、前記解析部は、前記取得部によって取得された前記比較対象の前記多角形の2つの頂点の間の距離の実寸と、前記撮影部によって撮影された前記動画像上における前記比較対象の前記多角形の前記2つの頂点の間の距離と、前記撮影部によって撮影された前記動画像上における前記被検者の前記右眼上の2点と前記比較対象の前記多角形の前記2つの頂点との位置関係とに基づいて、前記被検者の前記右眼の眼球の運動を解析し、前記取得部によって取得された前記比較対象の前記多角形の前記2つの頂点の間の距離の実寸と、前記撮影部によって撮影された前記動画像上における前記比較対象の前記多角形の前記2つの頂点の間の距離と、前記撮影部によって撮影された前記動画像上における前記被検者の前記左眼上の2点と前記比較対象の前記多角形の前記2つの頂点との位置関係とに基づいて、前記被検者の前記左眼の眼球の運動を解析してもよい。
本発明の一態様の眼球運動解析システムでは、前記比較対象は、前記被検者の顔の表面上の形態的特徴であり、前記解析部は、前記撮影部によって撮影された前記動画像上における前記被検者の前記右眼および前記左眼の少なくとも一方と前記比較対象上の2点との関係に基づいて、前記被検者の前記右眼および前記左眼の少なくとも一方の眼球の運動を解析してもよい。
本発明の一態様の眼球運動解析システムでは、前記解析部は、前記撮影部によって撮影された前記動画像上における前記比較対象上の前記2点の間の距離と、前記撮影部によって撮影された前記動画像上における前記被検者の前記右眼上の点と前記比較対象上の前記2点との位置関係とに基づいて、前記被検者の前記右眼の眼球の運動を解析し、前記撮影部によって撮影された前記動画像上における前記比較対象上の前記2点の間の距離と、前記撮影部によって撮影された前記動画像上における前記被検者の前記左眼上の点と前記比較対象上の前記2点との位置関係とに基づいて、前記被検者の前記左眼の眼球の運動を解析してもよい。
本発明の一態様の眼球運動解析システムでは、前記比較対象としての前記シールは、前記撮影部によって撮影された前記動画像から前記被検者の顔の傾きを判別できるように、前記被検者に貼り付けられてもよい。
本発明の一態様の眼球運動解析システムでは、前記解析部は、前記シール上の少なくとも2点を用いることによって、前記撮影部により撮影された前記動画像から前記被検者の顔の傾きを判別してもよい。
本発明の一態様の眼球運動解析システムでは、前記解析部は、前記比較対象として貼り付けられた複数のシールの位置関係を用いることによって、前記撮影部により撮影された前記動画像から前記被検者の顔の傾きを判別してもよい。
本発明の一態様の眼球運動解析システムは、前記被検者に提示される視標を表示する表示部と、前記表示部および前記撮影部を一体的に移動させる移動部とを更に備えていてもよい。
本発明の一態様は、被検者の右眼および左眼の少なくとも一方と、前記被検者の顔の表面上の比較対象とを含む動画像を撮影する撮影ステップと、前記撮影ステップにおいて撮影された前記動画像上における前記被検者の前記右眼および前記左眼の少なくとも一方と前記比較対象との関係に基づいて、前記被検者の前記右眼および前記左眼の少なくとも一方の眼球の運動を解析する解析ステップとを備える、眼球運動解析方法である。
本発明の一態様は、コンピュータに、被検者の右眼および左眼の少なくとも一方と、前記被検者の顔の表面上の比較対象とを含む動画像を撮影する撮影ステップと、前記撮影ステップにおいて撮影された前記動画像上における前記被検者の前記右眼および前記左眼の少なくとも一方と前記比較対象との関係に基づいて、前記被検者の前記右眼および前記左眼の少なくとも一方の眼球の運動を解析する解析ステップとを実行させるためのプログラムである。
この発明によれば、プルキンエ像を使用する必要なく、事前にキャリブレーションを行う必要なく、撮影部と被検者との距離が変化した場合であっても被検者の眼球の運動を高精度に解析することができる眼球運動解析システム、眼球運動解析方法およびプログラムを提供することができる。
第1実施形態の眼球運動解析システムの構成の一例を示す図である。 第1実施形態の眼球運動解析システムの第1適用例を示す図である。 第1実施形態の眼球運動解析システムにおいて実行される処理の一例を説明するためのフローチャートである。 第1実施形態の眼球運動解析システムの解析部によって実行される解析の第1例を説明するための図である。 第1実施形態の眼球運動解析システムの解析部によって実行される解析の第2例を説明するための図である。 第1実施形態の眼球運動解析システムの解析部によって実行される解析の第3例を説明するための図である。 第1実施形態の眼球運動解析システムの解析部によって実行される解析の第4例を説明するための図である。 比較対象の他の例を説明するための図である。 第1実施形態の眼球運動解析システムの第2適用例を示す図である。
以下、図面を参照し、本発明の眼球運動解析システム、眼球運動解析方法およびプログラムの実施形態について説明する。
[第1実施形態]
図1は第1実施形態の眼球運動解析システム1の構成の一例を示す図である。図2は第1実施形態の眼球運動解析システム1の第1適用例を示す図である。詳細には、図2(A)は第1適用例における眼球運動解析システム1と被検者SBとの関係の一例を示しており、図2(B)は被検者SBの右眼Rと左眼Lと比較対象Mとの関係の一例を示している。
図1に示す例では、第1実施形態の眼球運動解析システム1が、取得部11と、表示部12と、撮影部13と、解析部14と、出力部15とを備えている。
取得部11は、被検者SB(図2(A)参照)の顔の表面に取り付けられた比較対象M(図2参照)の情報を取得する。比較対象Mは、被検者SBの眉間に貼り付けられるシールである。
他の例(例えば撮影部13が被検者SBの片眼のみと比較対象Mとを撮影する例)では、比較対象Mが、被検者SBの眉間以外の場所(例えば撮影される眼の真下など)に取り付けられてもよい。
図1および図2に示す例では、比較対象Mが円形である。取得部11によって取得される比較対象Mの情報には、比較対象Mの直径または半径の実寸が含まれる。
他の例では、比較対象Mが円形以外の形状を有していてもよい。
図1に示す例では、表示部12が、視標を表示する。
他の例では、眼球運動解析システム1が表示部12を備えなくてもよい。この例(例えば図2に示す例)では、撮影部13が、被検者SBに提示される視標として機能する。
図1に示す例では、撮影部13が、被検者SB(図2(A)参照)の右眼R(図2参照)および左眼L(図2参照)と、比較対象M(図2参照)とを含む動画像を撮影する。
解析部14は、取得部11によって取得された比較対象Mの情報と、撮影部13によって撮影された動画像上における被検者SBの右眼Rおよび左眼Lと比較対象Mとの関係とに基づいて、被検者SBの右眼Rおよび左眼Lの眼球の運動を解析する。
詳細には、解析部14は、取得部11によって取得された比較対象Mの実寸(単位が例えばミリメートル)と、撮影部13によって撮影された動画像上における比較対象Mの寸法(単位が例えばピクセル)と、撮影部13によって撮影された動画像上における被検者SBの右眼Rと比較対象Mとの距離(単位が例えばピクセル)とに基づいて、被検者SBの右眼Rの眼球の運動を解析する。また、解析部14は、取得部11によって取得された比較対象Mの実寸(単位が例えばミリメートル)と、撮影部13によって撮影された動画像上における比較対象Mの寸法(単位が例えばピクセル)と、撮影部13によって撮影された動画像上における被検者SBの左眼Lと比較対象Mとの距離(単位が例えばピクセル)とに基づいて、被検者SBの左眼Lの眼球の運動を解析する。
出力部15は、解析部14による解析結果を出力する。詳細には、出力部15は、被検者SBの右眼Rの眼球の運動の解析結果と左眼Lの眼球の運動の解析結果とを出力する。
図2(A)に示す例では、出力部15が解析部14による解析結果を表示するが、他の例では、出力部15が解析部14による解析結果を印刷してもよい。
図3は第1実施形態の眼球運動解析システム1において実行される処理の一例を説明するためのフローチャートである。
図3に示す例では、ステップS1において、取得部11が、被検者SBの顔の表面に取り付けられた比較対象Mの情報を取得する。
また、ステップS2では、表示部12が、視標を表示する。
次いで、ステップS3では、撮影部13が、被検者SBの右眼Rおよび左眼Lと比較対象Mとを含む動画像を撮影する。
次いで、ステップS4では、ステップS1において取得された比較対象Mの情報と、ステップS3において撮影された動画像上における被検者SBの右眼Rおよび左眼Lと比較対象Mとの関係とに基づいて、被検者SBの右眼Rおよび左眼Lの眼球の運動を解析する。
次いで、ステップS5では、出力部15が、ステップS4において実行された解析の結果を出力する。
図3に示す例では、眼球運動解析システム1においてステップS2が実行されるが、他の例では、ステップS2が実行されなくてもよい。
図4は第1実施形態の眼球運動解析システム1の解析部14によって実行される解析の第1例を説明するための図である。詳細には、図4(A)は撮影部13によって撮影された動画像のうちの、時刻t11の時点の動画像上における被検者SBの右眼Rと比較対象Mとの関係を示している。図4(B)は撮影部13によって撮影された動画像のうちの、時刻t11より後の時刻t12の時点の動画像上における被検者SBの右眼Rと比較対象Mとの関係を示している。
図4(A)および図4(B)に示す例では、取得部11が、比較対象Mの直径の実寸D1[mm]を取得する。実寸D1[mm]は、例えば5[mm]~10[mm]である。
また、撮影部13によって撮影された時刻t11の時点の動画像上における比較対象Mの直径がD11[pixel]である。更に、撮影部13によって撮影された時刻t11の時点の動画像上における被検者SBの右眼Rの瞳孔RPの中心(面重心)RP11と比較対象Mの中心(面重心)M11との距離がL11[pixel]である。
また、撮影部13によって撮影された時刻t12の時点の動画像上における比較対象Mの直径がD12[pixel]である。更に、撮影部13によって撮影された時刻t12の時点の動画像上における被検者SBの右眼Rの瞳孔RPの中心(面重心)RP12と比較対象Mの中心(面重心)M12との距離がL12[pixel]である。
図4(A)および図4(B)に示す例では、解析部14が、取得部11によって取得された比較対象Mの直径の実寸D1[mm]と、撮影部13によって撮影された動画像上における比較対象Mの直径D11[pixel]、D12[pixel]と、撮影部13によって撮影された動画像上における被検者SBの右眼Rの瞳孔RPの中心(面重心)RP11、RP12と比較対象Mの中心(面重心)M11、M12との距離L11[pixel]、L12[pixel]とに基づいて、被検者SBの右眼Rの眼球の運動を解析する。
詳細には、解析部14は、時刻t11の時点における被検者SBの右眼Rの瞳孔RPの中心(面重心)RP11と比較対象Mの中心(面重心)M11との実距離(L11[pixel]×D1[mm]/D11[pixel])を算出する。
また、解析部14は、時刻t12の時点における被検者SBの右眼Rの瞳孔RPの中心(面重心)RP12と比較対象Mの中心(面重心)M12との実距離(L12[pixel]×D1[mm]/D12[pixel])を算出する。
更に、解析部14は、例えば、時刻t11~時刻t12の期間中における被検者SBの右眼Rの瞳孔RPの中心(面重心)の実移動量(L12[pixel]×D1[mm]/D12[pixel]-L11[pixel]×D1[mm]/D11[pixel])を算出する。
また、解析部14は、例えば、時刻t11~時刻t12の期間中における被検者SBの右眼Rの瞳孔RPの中心(面重心)の実移動速度((L12[pixel]×D1[mm]/D12[pixel]-L11[pixel]×D1[mm]/D11[pixel])/(t12-t11))を算出する。
解析部14は、このような演算を行うことによって、被検者SBの右眼Rの眼球の運動(例えば眼振による右眼Rの眼球の移動量(振幅)および移動速度)を解析することができる。
つまり、図4(A)および図4(B)に示す例では、第1実施形態の眼球運動解析システム1が、プルキンエ像を使用する必要なく、事前にキャリブレーションを行う必要なく、撮影部13と被検者SBとの距離が変化した場合(例えば被検者SBの顔が動いた場合)であっても被検者SBの右眼Rの眼球の運動を非侵襲的に高精度に解析することができる。
図4(A)および図4(B)に示す例では、撮影部13によって撮影された動画像上における被検者SBの右眼R上の点として、瞳孔RPの中心(面重心)が用いられるが、他の例では、撮影部13によって撮影された動画像上における被検者SBの右眼R上の点として、瞳孔RPの中心(面重心)以外の点(例えば虹彩RR上の特徴的な点(図示せず)、結膜血管(図示せず)上の特徴的な点など)を用いてもよい。
図4(A)および図4(B)に示す例では、比較対象Mの寸法として、比較対象Mの直径が用いられるが、他の例では、比較対象Mの寸法として、比較対象Mの半径を用いてもよい。
第1実施形態の眼球運動解析システム1の解析部14によって実行される解析の第1例では、解析部14が、図4(A)および図4(B)に示す例と同様に、被検者SBの左眼Lの眼球の運動を解析する。
詳細には、解析部14が、取得部11によって取得された比較対象Mの直径または半径の実寸と、撮影部13によって撮影された動画像上における比較対象Mの直径または半径と、撮影部13によって撮影された動画像上における被検者SBの左眼L上の点(例えば左眼Lの瞳孔の中心(面重心))と比較対象Mの中心(面重心)との距離とに基づいて、被検者SBの左眼Lの眼球の運動を解析する。
第1実施形態の眼球運動解析システム1の解析部14によって実行される解析の第1例では、撮影部13として、高速赤外線ビデオカメラ(300fps)が用いられる。
他の例では、撮影部13として、高速赤外線ビデオカメラ以外のカメラが用いられてもよい。
また、第1実施形態の眼球運動解析システム1の解析部14によって実行される解析の第1例では、撮影部13としての高速赤外線ビデオカメラによって撮影された動画像が、例えば図2(A)に示すように、解析部14によって2値化される。
他の例では、解析部14が、撮影部13によって撮影された動画像に対して他の任意の画像処理を行ってもよい。
図5は第1実施形態の眼球運動解析システム1の解析部14によって実行される解析の第2例を説明するための図である。詳細には、図5(A)は撮影部13によって撮影された動画像のうちの、時刻t21の時点の動画像上における被検者SBの右眼Rと比較対象Mとの関係を示している。図5(B)は撮影部13によって撮影された動画像のうちの、時刻t21より後の時刻t22の時点の動画像上における被検者SBの右眼Rと比較対象Mとの関係を示している。
図5(A)および図5(B)に示す例では、取得部11が、比較対象Mの直径の実寸D2[mm]を取得する。実寸D2[mm]は、例えば5[mm]~10[mm]である。
また、撮影部13によって撮影された時刻t21の時点の動画像上における比較対象Mの直径がD21[pixel]である。更に、撮影部13によって撮影された時刻t21の時点の動画像上における被検者SBの右眼Rの瞳孔RPの中心(面重心)と比較対象Mの中心(面重心)M21との距離がL21[pixel]である。
また、撮影部13によって撮影された時刻t22の時点の動画像上における比較対象Mの直径が、時刻t21の時点と同様に、D21[pixel]である。
つまり、図5(A)および図5(B)に示す例では、撮影部13と被検者SBとの距離が、時刻t21と時刻t22とで変化していない。
更に、撮影部13によって撮影された時刻t22の時点の動画像上における被検者SBの右眼Rの瞳孔RPの中心(面重心)と比較対象Mの中心(面重心)M22との距離が、時刻t21の時点と同様に、L21[pixel]である。
つまり、図5(A)および図5(B)に示す例では、被検者SBの右眼Rの瞳孔RPの中心(面重心)と比較対象Mの中心(面重心)M21、M22との距離が、時刻t21と時刻t22とで変化していない。
図5(A)および図5(B)に示す例では、被検者SBの右眼Rの眼球の運動を解析するために、撮影部13によって撮影された動画像上における被検者SBの右眼Rの虹彩RR上の点E21、E31と比較対象Mの中心(面重心)M21、M22との距離が利用される。
つまり、解析部14が、取得部11によって取得された比較対象Mの直径の実寸D2[mm]と、撮影部13によって撮影された動画像上における比較対象Mの直径D21[pixel]と、撮影部13によって撮影された動画像上における被検者SBの右眼Rの虹彩RR上の点E21、E31と比較対象Mの中心(面重心)M21、M22との距離とに基づいて、被検者SBの右眼Rの眼球の運動を解析する。
詳細には、図5(A)および図5(B)に示す例では、撮影部13によって撮影された動画像上における時刻t21の時点の比較対象Mの中心(面重心)M21の2次元座標が原点(0,0)に設定される。また、撮影部13によって撮影された動画像上における時刻t21の時点の被検者SBの右眼Rの虹彩RR上の点E21の2次元座標が(X21,Y21)であり、点E31の2次元座標が(X31,Y31)である。
次いで、撮影部13によって撮影された動画像上における時刻t22の時点の比較対象Mの中心(面重心)M22の2次元座標が原点(0,0)に設定される。また、撮影部13によって撮影された動画像上における時刻t22の時点の被検者SBの右眼Rの虹彩RR上の点E21の2次元座標が(X22,Y22)(≠(X21,Y21))であり、点E31の2次元座標が(X32,Y32)(≠(X31,Y31))である。
すなわち、図5(A)および図5(B)に示す例では、解析部14が、撮影部13によって撮影された動画像上における時刻t21および時刻t22の時点の比較対象Mの直径D21[pixel]と、撮影部13によって撮影された動画像上における時刻t21の時点の被検者SBの右眼Rの虹彩RR上の点E21の2次元座標(X21,Y21)および点E31の2次元座標(X31,Y31)と、撮影部13によって撮影された動画像上における時刻t22の時点の被検者SBの右眼Rの虹彩RR上の点E21の2次元座標(X22,Y22)および点E31の2次元座標(X32,Y32)とに基づいて、時刻t21と時刻t22とで、被検者SBの右眼Rの瞳孔RPの中心(面重心)と比較対象Mの中心(面重心)M21、M22との距離が変化していないものの、被検者SBの右眼Rの眼球が、図5(B)に矢印で示すように、反時計回りに回転したことを解析することができる。
図5(A)および図5(B)に示す例では、時刻t21と時刻t22とで撮影部13と被検者SBとの距離が変化していないが、時刻t21と時刻t22とで撮影部13と被検者SBとの距離が変化する場合であっても、時刻t21の時点の動画像上における比較対象Mの直径(単位は[pixel])の情報と、時刻t22の時点の動画像上における比較対象Mの直径(単位は[pixel])の情報とを用いることによって、図5(A)および図5(B)に示す例と同様に、被検者SBの右眼Rの眼球が回転したことを解析することができる。
図5(A)および図5(B)に示す例では、比較対象Mの寸法として、比較対象Mの直径が用いられるが、他の例では、比較対象Mの寸法として、比較対象Mの半径を用いてもよい。
第1実施形態の眼球運動解析システム1の解析部14によって実行される解析の第2例では、解析部14が、図5(A)および図5(B)に示す例と同様に、被検者SBの左眼Lの眼球の運動を解析する。
詳細には、解析部14が、取得部11によって取得された比較対象Mの直径または半径の実寸と、撮影部13によって撮影された動画像上における比較対象Mの直径または半径と、撮影部13によって撮影された動画像上における被検者SBの左眼Lの虹彩上の点と比較対象Mの中心(面重心)との距離とに基づいて、被検者SBの左眼Lの眼球の運動を解析する。
すなわち、第1実施形態の眼球運動解析システム1の解析部14によって実行される解析の第2例では、解析部14が、撮影部13によって撮影された動画像上における異なる時点の比較対象Mの直径(単位は[pixel])と、撮影部13によって撮影された動画像上における異なる時点の被検者SBの左眼Lの虹彩上の2点の2次元座標とに基づいて、被検者SBの左眼Lの眼球が回転したことを解析することができる。
図6は第1実施形態の眼球運動解析システム1の解析部14によって実行される解析の第3例を説明するための図である。詳細には、図6(A)は撮影部13によって撮影された動画像のうちの、時刻t31の時点の動画像上における被検者SBの右眼Rと比較対象Mとの関係を示している。図6(B)は撮影部13によって撮影された動画像のうちの、時刻t31より後の時刻t32の時点の動画像上における被検者SBの右眼Rと比較対象Mとの関係を示している。
図6(A)および図6(B)に示す例では、比較対象Mの形状が多角形(例えば長方形)である。取得部11が、比較対象Mの頂点M11と頂点M12との間の距離の実寸S1[mm]を取得する。実寸S1[mm]は、例えば5[mm]~10[mm]である。
また、撮影部13によって撮影された動画像上における時刻t31の時点の比較対象Mの頂点M11の2次元座標が原点(0,0)に設定される。また、撮影部13によって撮影された動画像上における時刻t31の時点の比較対象Mの頂点M12の2次元座標が(X2,Y2)である。また、撮影部13によって撮影された動画像上における時刻t31の時点の被検者SBの右眼Rの虹彩RR上の点E41の2次元座標が(X41,Y41)である。
次いで、撮影部13によって撮影された動画像上における時刻t32の時点の比較対象Mの頂点M11の2次元座標が原点(0,0)に設定される。また、撮影部13によって撮影された動画像上における時刻t32の時点の比較対象Mの頂点M12の2次元座標が、時刻t31の時点と同様に(X2,Y2)である。
つまり、図6(A)および図6(B)に示す例では、撮影部13と被検者SBとの距離が、時刻t31と時刻t32とで変化していない。
また、撮影部13によって撮影された動画像上における時刻t32の時点の被検者SBの右眼Rの虹彩RR上の点E41の2次元座標が(X42,Y42)である。
図6(A)および図6(B)に示す例では、被検者SBの右眼Rの眼球の運動を解析するために、取得部11によって取得された比較対象Mの頂点M11と頂点M12との間の距離の実寸S1[mm]と、撮影部13によって撮影された動画像上における比較対象Mの寸法(詳細には、頂点M11の2次元座標(0,0)および頂点M12の2次元座標(X2,Y2)から得られる頂点M11と頂点M12との間の寸法(距離))と、撮影部13によって撮影された動画像上における被検者SBの右眼Rの虹彩RR上の点E41と比較対象Mとの位置関係が利用される。
つまり、解析部14が、取得部11によって取得された比較対象Mの頂点M11と頂点M12との間の距離の実寸S1[mm]と、撮影部13によって撮影された動画像上における比較対象Mの寸法(詳細には、頂点M11の2次元座標(0,0)および頂点M12の2次元座標(X2,Y2)から得られる頂点M11と頂点M12との間の寸法(距離))と、撮影部13によって撮影された動画像上における被検者SBの右眼Rの虹彩RR上の点E41と比較対象Mとの位置関係とに基づいて、被検者SBの右眼Rの眼球の運動を解析する。
詳細には、図6(A)および図6(B)に示す例では、撮影部13によって撮影された動画像上における時刻t31の時点の被検者SBの右眼Rの虹彩RR上の点E41の2次元座標が(X41,Y41)である。
また、撮影部13によって撮影された動画像上における時刻t32の時点の被検者SBの右眼Rの虹彩RR上の点E41の2次元座標が(X42,Y42)(≠(X41,Y41))である。
すなわち、図6(A)および図6(B)に示す例では、解析部14が、撮影部13によって撮影された動画像上における時刻t31および時刻t32の時点の比較対象Mの頂点M11に対する頂点M12の相対座標(X2,Y2)と、撮影部13によって撮影された動画像上における時刻t31の時点の被検者SBの右眼Rの虹彩RR上の点E41の2次元座標(X41,Y41)と、撮影部13によって撮影された動画像上における時刻t32の時点の被検者SBの右眼Rの虹彩RR上の点E41の2次元座標(X42,Y42)とに基づいて、時刻t31と時刻t32とで、被検者SBの右眼Rの眼球と比較対象Mとの距離が変化した(増加した)ことのみならず、図6(B)に矢印で示すように、被検者SBの右眼Rの眼球が図6(B)の左上向きに移動したこと(すなわち、眼球の移動の向き)を解析することができる。
つまり、図6(A)および図6(B)に示す例では、解析部14が、取得部11によって取得された比較対象Mの多角形の頂点M11と頂点M12との間の距離の実寸S1[mm]と、撮影部13によって撮影された動画像上における比較対象Mの頂点M11と頂点M12との間の距離((X2+Y21/2[pixel])と、撮影部13によって撮影された動画像上における時刻t31および時刻t32の時点の被検者SBの右眼Rの虹彩RR上の点E41と比較対象Mの多角形の頂点M11、M12との位置関係とに基づいて、被検者SBの右眼Rの眼球の運動を解析する。
図6(A)および図6(B)に示す例では、時刻t31と時刻t32とで撮影部13と被検者SBとの距離が変化していないが、時刻t31と時刻t32とで撮影部13と被検者SBとの距離が変化する場合であっても、時刻t31の時点の動画像上における比較対象Mの頂点M12の2次元座標の情報と、時刻t32の時点の動画像上における比較対象Mの頂点M12の2次元座標の情報とを用いることによって、図6(A)および図6(B)に示す例と同様に、被検者SBの右眼Rの眼球の移動の向きを解析することができる。
第1実施形態の眼球運動解析システム1の解析部14によって実行される解析の第3例では、解析部14が、図6(A)および図6(B)に示す例と同様に、被検者SBの左眼Lの眼球の運動を解析する。
詳細には、解析部14が、取得部11によって取得された比較対象Mの多角形の頂点M11と頂点M12との間の距離の実寸S1[mm]と、撮影部13によって撮影された動画像上における比較対象Mの頂点M11と頂点M12との間の距離(単位は[pixel])と、撮影部13によって撮影された動画像上における時刻t31および時刻t32の時点の被検者SBの左眼Lの虹彩上の点(図示せず)と比較対象Mの多角形の頂点M11、M12との位置関係とに基づいて、被検者SBの左眼Lの眼球の運動を解析する。
すなわち、第1実施形態の眼球運動解析システム1の解析部14によって実行される解析の第3例では、解析部14が、撮影部13によって撮影された動画像上における異なる時点の比較対象Mの頂点M11と頂点M12との間の距離(単位は[pixel])と、撮影部13によって撮影された動画像上における異なる時点の被検者SBの左眼Lの虹彩上の点の2次元座標とに基づいて、被検者SBの左眼Lの眼球の移動の向きを解析することができる。
図7は第1実施形態の眼球運動解析システム1の解析部14によって実行される解析の第4例を説明するための図である。詳細には、図7(A)は撮影部13によって撮影された動画像のうちの、時刻t41の時点の動画像上における被検者SBの右眼Rと比較対象Mとの関係を示している。図7(B)は撮影部13によって撮影された動画像のうちの、時刻t41より後の時刻t42の時点の動画像上における被検者SBの右眼Rと比較対象Mとの関係を示している。
図7(A)および図7(B)に示す例では、比較対象Mの形状が多角形(例えば長方形)である。取得部11が、比較対象Mの頂点M21と頂点M22とを結ぶ頂点M21と頂点M22との間の距離の実寸S1[mm]を取得する。実寸S1[mm]は、例えば5[mm]~10[mm]である。
また、撮影部13によって撮影された動画像上における時刻t41の時点の比較対象Mの頂点M21の2次元座標が原点(0,0)に設定される。また、撮影部13によって撮影された動画像上における時刻t41の時点の比較対象Mの頂点M22の2次元座標が(X3,Y3)である。また、撮影部13によって撮影された動画像上における時刻t41の時点の被検者SBの右眼Rの虹彩RR上の点E51の2次元座標が(X51,Y51)であり、点E61の2次元座標が(X61,Y61)である。
次いで、撮影部13によって撮影された動画像上における時刻t42の時点の比較対象Mの頂点M21の2次元座標が原点(0,0)に設定される。また、撮影部13によって撮影された動画像上における時刻t42の時点の比較対象Mの頂点M22の2次元座標が、時刻t41の時点と同様に(X3,Y3)である。
つまり、図7(A)および図7(B)に示す例では、撮影部13と被検者SBとの距離が、時刻t41と時刻t42とで変化していない。
また、撮影部13によって撮影された動画像上における時刻t42の時点の被検者SBの右眼Rの虹彩RR上の点E51の2次元座標が(X52,Y52)であり、点E61の2次元座標が(X62,Y62)である。
図7(A)および図7(B)に示す例では、被検者SBの右眼Rの眼球の運動を解析するために、取得部11によって取得された比較対象Mの頂点M21と頂点M22との間の距離の実寸S1[mm]と、撮影部13によって撮影された動画像上における比較対象Mの寸法(詳細には、頂点M21の2次元座標(0,0)および頂点M22の2次元座標(X3,Y3)から得られる頂点M21と頂点M22との間の寸法(距離))と、撮影部13によって撮影された動画像上における被検者SBの右眼Rの虹彩RR上の点E51、E61と比較対象Mとの位置関係が利用される。
つまり、解析部14が、取得部11によって取得された比較対象Mの辺の長さの実寸S1[mm]と、撮影部13によって撮影された動画像上における比較対象Mの寸法(詳細には、頂点M21の2次元座標(0,0)および頂点M22の2次元座標(X3,Y3)から得られる頂点M21と頂点M22との間の寸法(距離))と、撮影部13によって撮影された動画像上における被検者SBの右眼Rの虹彩RR上の点E51、E61と比較対象Mとの位置関係とに基づいて、被検者SBの右眼Rの眼球の運動を解析する。
詳細には、図7(A)および図7(B)に示す例では、撮影部13によって撮影された動画像上における時刻t41の時点の被検者SBの右眼Rの虹彩RR上の点E51の2次元座標が(X51,Y51)である。
また、撮影部13によって撮影された動画像上における時刻t42の時点の被検者SBの右眼Rの虹彩RR上の点E51の2次元座標が(X52,Y52)(≠(X51,Y51))である。
更に、撮影部13によって撮影された動画像上における時刻t41の時点の被検者SBの右眼Rの虹彩RR上の点E61の2次元座標が(X61,Y61)である。
また、撮影部13によって撮影された動画像上における時刻t42の時点の被検者SBの右眼Rの虹彩RR上の点E61の2次元座標が(X62,Y62)(≠(X61,Y61))である。
すなわち、図7(A)および図7(B)に示す例では、解析部14が、撮影部13によって撮影された動画像上における時刻t41および時刻t42の時点の比較対象Mの頂点M21に対する頂点M22の相対座標(X3,Y3)と、撮影部13によって撮影された動画像上における時刻t41の時点の被検者SBの右眼Rの虹彩RR上の点E51の2次元座標(X51,Y51)と、撮影部13によって撮影された動画像上における時刻t42の時点の被検者SBの右眼Rの虹彩RR上の点E51の2次元座標(X52,Y52)と、撮影部13によって撮影された動画像上における時刻t41の時点の被検者SBの右眼Rの虹彩RR上の点E61の2次元座標(X61,Y61)と、撮影部13によって撮影された動画像上における時刻t42の時点の被検者SBの右眼Rの虹彩RR上の点E61の2次元座標(X62,Y62)とに基づいて、時刻t41と時刻t42とで、被検者SBの右眼Rの眼球と比較対象Mとの距離が変化していないもの、図7(B)に矢印A1で示すように、被検者SBの右眼Rの眼球が、比較対象Mのまわりを時計回りに旋回移動したこと(すなわち、眼球の移動の向き)、および、図7(B)に矢印A2で示すように、被検者SBの右眼Rの眼球が、反時計回りに回転したことを解析することができる。
つまり、図7(A)および図7(B)に示す例では、解析部14が、取得部11によって取得された比較対象Mの多角形の頂点M21と頂点M22との間の距離の実寸S1[mm]と、撮影部13によって撮影された動画像上における比較対象Mの頂点M21と頂点M22との間の距離((X3+Y31/2[pixel])と、撮影部13によって撮影された動画像上における時刻t41および時刻t42の時点の被検者SBの右眼Rの虹彩RR上の点E51と比較対象Mの多角形の頂点M21、M22との位置関係と、撮影部13によって撮影された動画像上における時刻t41および時刻t42の時点の被検者SBの右眼Rの虹彩RR上の点E61と比較対象Mの多角形の頂点M21、M22との位置関係とに基づいて、被検者SBの右眼Rの眼球の運動を解析する。
図7(A)および図7(B)に示す例では、時刻t41と時刻t42とで撮影部13と被検者SBとの距離が変化していないが、時刻t41と時刻t42とで撮影部13と被検者SBとの距離が変化する場合であっても、時刻t41の時点の動画像上における比較対象Mの頂点M22の2次元座標の情報と、時刻t42の時点の動画像上における比較対象Mの頂点M22の2次元座標の情報とを用いることによって、図7(A)および図7(B)に示す例と同様に、被検者SBの右眼Rの眼球の移動の向きおよび眼球の回転を解析することができる。
第1実施形態の眼球運動解析システム1の解析部14によって実行される解析の第4例では、解析部14が、図7(A)および図7(B)に示す例と同様に、被検者SBの左眼Lの眼球の運動を解析する。
詳細には、解析部14が、取得部11によって取得された比較対象Mの多角形の頂点M21と頂点M22との間の距離の実寸S1[mm]と、撮影部13によって撮影された動画像上における比較対象Mの頂点M21と頂点M22との間の距離(単位は[pixel])と、撮影部13によって撮影された動画像上における時刻t41および時刻t42の時点の被検者SBの左眼Lの虹彩上の2点(図示せず)と比較対象Mの多角形の頂点M21、M22との位置関係とに基づいて、被検者SBの左眼Lの眼球の運動を解析する。
すなわち、第1実施形態の眼球運動解析システム1の解析部14によって実行される解析の第4例では、解析部14が、撮影部13によって撮影された動画像上における異なる時点の比較対象Mの2つの頂点M21、M22の間の距離(単位は[pixel])と、撮影部13によって撮影された動画像上における異なる時点の被検者SBの左眼Lの虹彩上の2点の2次元座標とに基づいて、被検者SBの左眼Lの眼球の移動の向きおよび眼球の回転を解析することができる。
上述したように、第1実施形態の眼球運動解析システム1の解析部14によって実行される解析の第1例~第4例では、取得部11が、比較対象Mの直径の実寸D1[mm]などの情報を取得するが、第1実施形態の眼球運動解析システム1の解析部14によって実行される解析の第5例では、取得部11が、比較対象Mの直径の実寸D1[mm]などの情報を取得しなくてもよい。
第1実施形態の眼球運動解析システム1の解析部14によって実行される解析の第5例では、撮影部13によって撮影された動画像上における比較対象M上の複数点の間の距離と、撮影部13によって撮影された動画像上における比較対象Mと被検者SBの右眼Rとの位置関係を複数時点で比較することによって、被検者SBの右眼Rの眼球の運動(例えば移動したか否か、移動方向など)を解析する。
また、第1実施形態の眼球運動解析システム1の解析部14によって実行される解析の第5例では、撮影部13によって撮影された動画像上における比較対象M上の複数点の間の距離と、撮影部13によって撮影された動画像上における比較対象Mと被検者SBの左眼Lとの位置関係を複数時点で比較することによって、被検者SBの左眼Lの眼球の運動(例えば移動したか否か、移動方向など)を解析する。
つまり、第1実施形態の眼球運動解析システム1の解析部14によって実行される解析の第5例では、被検者SBの右眼Rおよび左眼Lの眼球の動きの時間波形を得ることができ、簡易なスクリーニングに利用することができる。
第1実施形態の眼球運動解析システム1の解析部14によって実行される解析の第5例では、比較対象Mとして、被検者SBの顔の表面上の形態的特徴(例えばホクロ、耳、鼻、目尻、目頭などのような被検者SBの表情の変化に伴う位置の変化が少ない部位)を利用することができる。
具体的には、解析部14は、撮影部13によって撮影された動画像上における被検者SBの右眼Rと形態的特徴(比較対象M)上の2点との関係に基づいて、被検者SBの右眼Rの眼球の運動を解析する。詳細には、解析部14は、撮影部13によって撮影された動画像上における比較対象M(形態的特徴)上の2点の間の距離と、撮影部13によって撮影された動画像上における被検者SBの右眼R上の点と比較対象M(形態的特徴)上の2点との位置関係とに基づいて、被検者SBの右眼Rの眼球の運動を解析する。
また、解析部14は、撮影部13によって撮影された動画像上における被検者SBの左眼Lと形態的特徴(比較対象M)上の2点との関係に基づいて、被検者SBの左眼Lの眼球の運動を解析する。詳細には、解析部14は、撮影部13によって撮影された動画像上における比較対象M(形態的特徴)上の2点の間の距離と、撮影部13によって撮影された動画像上における被検者SBの左眼L上の点と比較対象M(形態的特徴)上の2点との位置関係とに基づいて、被検者SBの左眼Lの眼球の運動を解析する。
比較対象Mとして、被検者SBの顔の表面上の形態的特徴が利用される場合に、取得部11が形態的特徴(比較対象M)上の2点の間の距離(実寸)を取得してもよい。この例では、形態的特徴(比較対象M)上の2点の間の距離(実寸)が、例えばノギスなどによる計測によって得られる。更に他の例では、撮影部13のオートフォーカス機能などを利用することによって、撮影部13と被検者SBとの距離に基づいて、形態的特徴(比較対象M)上の2点の間の距離(実寸)が推定されてもよい。
図8は比較対象Mの他の例を説明するための図である。
図8(A)に示す例では、比較対象Mが楕円形のシールである。取得部11によって取得される比較対象M(楕円形のシール)の情報には、比較対象M上の2点の間の距離の実寸(例えば長径ACの実寸、長半径(長径ACの1/2)の実寸、短径BDの実寸、および、短半径(短径BDの1/2)の実寸のいずれか)が含まれる。
図8(A)に示す例では、被検者SBの右眼Rの眼球の運動を解析するために、取得部11によって取得された比較対象M上の2点の間の距離の実寸と、撮影部13によって撮影された動画像上における比較対象M上の2点の間の距離と、撮影部13によって撮影された動画像上における被検者SBの右眼R上の点と比較対象M上の2点との位置関係が利用される。
つまり、解析部14が、取得部11によって取得された比較対象M上の2点の間の距離の実寸と、撮影部13によって撮影された動画像上における比較対象M上の2点の間の距離と、撮影部13によって撮影された動画像上における被検者SBの右眼R上の点と比較対象M上の2点との位置関係とに基づいて、被検者SBの右眼Rの眼球の運動を解析する。
同様に、解析部14は、取得部11によって取得された比較対象M上の2点の間の距離の実寸と、撮影部13によって撮影された動画像上における比較対象M上の2点の間の距離と、撮影部13によって撮影された動画像上における被検者SBの左眼L上の点と比較対象M上の2点との位置関係とに基づいて、被検者SBの左眼Lの眼球の運動を解析する。
取得部11が比較対象M上の2点の間の距離の実寸を取得しない例では、解析部14が、撮影部13によって撮影された動画像上における比較対象M上の2点の間の距離と、撮影部13によって撮影された動画像上における被検者SBの右眼R上の点と比較対象M上の2点との位置関係とに基づいて、被検者SBの右眼Rの眼球の運動を解析する。
また、解析部14は、撮影部13によって撮影された動画像上における比較対象M上の2点の間の距離と、撮影部13によって撮影された動画像上における被検者SBの左眼L上の点と比較対象M上の2点との位置関係とに基づいて、被検者SBの左眼Lの眼球の運動を解析する。
例えば図8(A)に示す長径ACが鉛直線に含まれる(つまり、短径BDが水平線に含まれる)ように、比較対象Mが被検者SBに貼り付けられる例では、解析部14が、撮影部13によって撮影された動画像上における比較対象M(楕円形のシール)の向きに基づいて、被検者SBの顔の傾きが変化したか否か等を判別することができる。詳細には、解析部14は、撮影部13によって撮影された動画像上における比較対象M(楕円形のシール)の点Aと点Cとの位置関係(あるいは、点Bと点Dとの位置関係)に基づいて、被検者SBの顔の傾きを判別することができる。
つまり、この例では、比較対象Mとしての楕円形のシールが、撮影部13によって撮影された動画像から被検者SBの顔の傾きを判別できるように、被検者SBに貼り付けられる。
また、この例では、解析部14が、楕円形のシール上の2点を用いることによって、撮影部13により撮影された動画像から被検者SBの顔の傾きを判別する。
図8(B)に示す例では、比較対象Mが、天地を示す矢印記号を有するシールである。取得部11によって取得される比較対象M(矢印記号を有するシール)の情報には、比較対象Mの矢印記号上の2点の間の距離の実寸が含まれる。
図8(B)に示す例では、被検者SBの右眼Rの眼球の運動を解析するために、取得部11によって取得された比較対象Mの矢印記号上の2点の間の距離の実寸と、撮影部13によって撮影された動画像上における比較対象Mの矢印記号上の2点の間の距離と、撮影部13によって撮影された動画像上における被検者SBの右眼R上の点と比較対象Mの矢印記号上の2点との位置関係が利用される。
つまり、解析部14が、取得部11によって取得された比較対象Mの矢印記号上の2点の間の距離の実寸と、撮影部13によって撮影された動画像上における比較対象Mの矢印記号上の2点の間の距離と、撮影部13によって撮影された動画像上における被検者SBの右眼R上の点と比較対象Mの矢印記号上の2点との位置関係とに基づいて、被検者SBの右眼Rの眼球の運動を解析する。
同様に、解析部14は、取得部11によって取得された比較対象Mの矢印記号上の2点の間の距離の実寸と、撮影部13によって撮影された動画像上における比較対象Mの矢印記号上の2点の間の距離と、撮影部13によって撮影された動画像上における被検者SBの左眼L上の点と比較対象Mの矢印記号上の2点との位置関係とに基づいて、被検者SBの左眼Lの眼球の運動を解析する。
取得部11が比較対象Mの矢印記号上の2点の間の距離の実寸を取得しない例では、解析部14が、撮影部13によって撮影された動画像上における比較対象Mの矢印記号上の2点の間の距離と、撮影部13によって撮影された動画像上における被検者SBの右眼R上の点と比較対象Mの矢印記号上の2点との位置関係とに基づいて、被検者SBの右眼Rの眼球の運動を解析する。
また、解析部14は、撮影部13によって撮影された動画像上における比較対象Mの矢印記号上の2点の間の距離と、撮影部13によって撮影された動画像上における被検者SBの左眼L上の点と比較対象Mの矢印記号上の2点との位置関係とに基づいて、被検者SBの左眼Lの眼球の運動を解析する。
例えば図8(B)に示す矢印記号が鉛直線上に位置する(つまり、比較対象Mが図8(B)に示す配置になる)ように、比較対象Mが被検者SBに貼り付けられる例では、解析部14が、撮影部13によって撮影された動画像上における比較対象M(矢印記号を有するシール)の向きに基づいて、被検者SBの顔の傾きが変化したか否か等を判別することができる。詳細には、解析部14は、撮影部13によって撮影された動画像上における比較対象Mの矢印記号の向きに基づいて、被検者SBの顔の傾きを判別することができる。
つまり、この例では、比較対象Mとしての矢印記号を有するシールが、撮影部13によって撮影された動画像から被検者SBの顔の傾きを判別できるように、被検者SBに貼り付けられる。
また、この例では、解析部14が、シールの矢印記号上の2点を用いることによって、撮影部13により撮影された動画像から被検者SBの顔の傾きを判別する。
図8(C)に示す例では、比較対象Mが、2つのシールによって構成されている。取得部11によって取得される比較対象Mの情報には、比較対象Mを構成する2つのシールの間隔の実寸(例えばノギスによって計測される)が含まれる。
図8(C)に示す例では、被検者SBの右眼Rの眼球の運動を解析するために、取得部11によって取得された比較対象Mを構成する2つのシールの間隔の実寸と、撮影部13によって撮影された動画像上における比較対象Mを構成する2つのシールの間隔と、撮影部13によって撮影された動画像上における被検者SBの右眼R上の点と比較対象Mを構成する2つのシールとの位置関係が利用される。
つまり、解析部14が、取得部11によって取得された比較対象Mを構成する2つのシールの間隔の実寸と、撮影部13によって撮影された動画像上における比較対象Mを構成する2つのシールの間隔と、撮影部13によって撮影された動画像上における被検者SBの右眼R上の点と比較対象Mを構成する2つのシールとの位置関係とに基づいて、被検者SBの右眼Rの眼球の運動を解析する。
同様に、解析部14は、取得部11によって取得された比較対象Mを構成する2つのシールの間隔の実寸と、撮影部13によって撮影された動画像上における比較対象Mを構成する2つのシールの間隔と、撮影部13によって撮影された動画像上における被検者SBの左眼L上の点と比較対象Mを構成する2つのシールとの位置関係とに基づいて、被検者SBの左眼Lの眼球の運動を解析する。
取得部11が比較対象Mを構成する2つのシールの間隔の実寸を取得しない例では、解析部14が、撮影部13によって撮影された動画像上における比較対象Mを構成する2つのシールの間隔と、撮影部13によって撮影された動画像上における被検者SBの右眼R上の点と比較対象Mを構成する2つのシールとの位置関係とに基づいて、被検者SBの右眼Rの眼球の運動を解析する。
また、解析部14は、撮影部13によって撮影された動画像上における比較対象Mを構成する2つのシールの間隔と、撮影部13によって撮影された動画像上における被検者SBの左眼L上の点と比較対象Mを構成する2つのシールとの位置関係とに基づいて、被検者SBの左眼Lの眼球の運動を解析する。
例えば図8(C)に示す2つのシールが鉛直線上に位置する(つまり、2つのシールが図8(C)に示す配列になる)ように、比較対象Mを構成する2つのシールが被検者SBに貼り付けられる例では、解析部14が、撮影部13によって撮影された動画像上における2つのシールの配列(向き)に基づいて、被検者SBの顔の傾きが変化したか否か等を判別することができる。詳細には、解析部14は、撮影部13によって撮影された動画像上における2つのシールの配列(向き)に基づいて、被検者SBの顔の傾きを判別することができる。
つまり、この例では、比較対象Mを構成する2つのシールが、撮影部13によって撮影された動画像から被検者SBの顔の傾きを判別できるように、被検者SBに貼り付けられる。
また、この例では、解析部14が、2つのシールのそれぞれの例えば中心点を用いることによって、撮影部13により撮影された動画像から被検者SBの顔の傾きを判別する。
図8(D)に示す例では、比較対象Mが長方形のシールである。取得部11によって取得される比較対象M(長方形のシール)の情報には、比較対象M上の2点(長方形の2つの頂点)の間の距離の実寸(例えば辺ABの実寸、辺DCの実寸、辺ADの実寸、辺BCの実寸など)が含まれる。
図8(D)に示す例では、被検者SBの右眼Rの眼球の運動を解析するために、取得部11によって取得された比較対象M上の2点の間の距離の実寸と、撮影部13によって撮影された動画像上における比較対象M上の2点の間の距離と、撮影部13によって撮影された動画像上における被検者SBの右眼R上の点と比較対象M上の2点との位置関係が利用される。
つまり、解析部14が、取得部11によって取得された比較対象M上の2点の間の距離の実寸と、撮影部13によって撮影された動画像上における比較対象M上の2点の間の距離と、撮影部13によって撮影された動画像上における被検者SBの右眼R上の点と比較対象M上の2点との位置関係とに基づいて、被検者SBの右眼Rの眼球の運動を解析する。
同様に、解析部14は、取得部11によって取得された比較対象M上の2点の間の距離の実寸と、撮影部13によって撮影された動画像上における比較対象M上の2点の間の距離と、撮影部13によって撮影された動画像上における被検者SBの左眼L上の点と比較対象M上の2点との位置関係とに基づいて、被検者SBの左眼Lの眼球の運動を解析する。
取得部11が比較対象M上の2点の間の距離の実寸を取得しない例では、解析部14が、撮影部13によって撮影された動画像上における比較対象M上の2点の間の距離と、撮影部13によって撮影された動画像上における被検者SBの右眼R上の点と比較対象M上の2点との位置関係とに基づいて、被検者SBの右眼Rの眼球の運動を解析する。
また、解析部14は、撮影部13によって撮影された動画像上における比較対象M上の2点の間の距離と、撮影部13によって撮影された動画像上における被検者SBの左眼L上の点と比較対象M上の2点との位置関係とに基づいて、被検者SBの左眼Lの眼球の運動を解析する。
例えば図8(D)に示す辺ABが鉛直線に含まれる(つまり、辺ADが水平線に含まれる)ように、比較対象Mが被検者SBに貼り付けられる例では、解析部14が、撮影部13によって撮影された動画像上における比較対象M(長方形のシール)の向きに基づいて、被検者SBの顔の傾きが変化したか否か等を判別することができる。詳細には、解析部14は、撮影部13によって撮影された動画像上における比較対象M(長方形のシール)の頂点Aと頂点Bとの位置関係(あるいは、頂点Aと頂点Dとの位置関係)に基づいて、被検者SBの顔の傾きを判別することができる。
つまり、この例では、比較対象Mとしての長方形のシールが、撮影部13によって撮影された動画像から被検者SBの顔の傾きを判別できるように、被検者SBに貼り付けられる。
また、この例では、解析部14が、長方形の2つの頂点A、B(あるいは頂点A、D)を用いることによって、撮影部13により撮影された動画像から被検者SBの顔の傾きを判別する。
図8(E)に示す例では、比較対象Mがひし形のシールである。取得部11によって取得される比較対象M(ひし形のシール)の情報には、比較対象M上の2点(ひし形の2つの頂点)の間の距離の実寸(例えば対角線ACの実寸、対角線BDの実寸など)が含まれる。
図8(E)に示す例では、被検者SBの右眼Rの眼球の運動を解析するために、取得部11によって取得された比較対象M上の2点の間の距離の実寸と、撮影部13によって撮影された動画像上における比較対象M上の2点の間の距離と、撮影部13によって撮影された動画像上における被検者SBの右眼R上の点と比較対象M上の2点との位置関係が利用される。
つまり、解析部14が、取得部11によって取得された比較対象M上の2点の間の距離の実寸と、撮影部13によって撮影された動画像上における比較対象M上の2点の間の距離と、撮影部13によって撮影された動画像上における被検者SBの右眼R上の点と比較対象M上の2点との位置関係とに基づいて、被検者SBの右眼Rの眼球の運動を解析する。
同様に、解析部14は、取得部11によって取得された比較対象M上の2点の間の距離の実寸と、撮影部13によって撮影された動画像上における比較対象M上の2点の間の距離と、撮影部13によって撮影された動画像上における被検者SBの左眼L上の点と比較対象M上の2点との位置関係とに基づいて、被検者SBの左眼Lの眼球の運動を解析する。
取得部11が比較対象M上の2点の間の距離の実寸を取得しない例では、解析部14が、撮影部13によって撮影された動画像上における比較対象M上の2点の間の距離と、撮影部13によって撮影された動画像上における被検者SBの右眼R上の点と比較対象M上の2点との位置関係とに基づいて、被検者SBの右眼Rの眼球の運動を解析する。
また、解析部14は、撮影部13によって撮影された動画像上における比較対象M上の2点の間の距離と、撮影部13によって撮影された動画像上における被検者SBの左眼L上の点と比較対象M上の2点との位置関係とに基づいて、被検者SBの左眼Lの眼球の運動を解析する。
例えば図8(E)に示す対角線ACが鉛直線に含まれる(つまり、対角線BDが水平線に含まれる)ように、比較対象Mが被検者SBに貼り付けられる例では、解析部14が、撮影部13によって撮影された動画像上における比較対象M(ひし形のシール)の向きに基づいて、被検者SBの顔の傾きが変化したか否か等を判別することができる。詳細には、解析部14は、撮影部13によって撮影された動画像上における比較対象M(ひし形のシール)の頂点Aと頂点Cとの位置関係(あるいは、頂点Bと頂点Dとの位置関係)に基づいて、被検者SBの顔の傾きを判別することができる。
つまり、この例では、比較対象Mとしてのひし形のシールが、撮影部13によって撮影された動画像から被検者SBの顔の傾きを判別できるように、被検者SBに貼り付けられる。
また、この例では、解析部14が、ひし形の2つの頂点A、C(あるいは頂点B、D)を用いることによって、撮影部13により撮影された動画像から被検者SBの顔の傾きを判別する。
図8(F)および図8(G)に示す例では、比較対象Mが三角形のシールである。取得部11によって取得される比較対象M(三角形のシール)の情報には、比較対象M上の2点(三角形の2つの頂点)の間の距離の実寸(例えば辺BCの実寸など)が含まれる。
図8(F)および図8(G)に示す例では、被検者SBの右眼Rの眼球の運動を解析するために、取得部11によって取得された比較対象M上の2点の間の距離の実寸と、撮影部13によって撮影された動画像上における比較対象M上の2点の間の距離と、撮影部13によって撮影された動画像上における被検者SBの右眼R上の点と比較対象M上の2点との位置関係が利用される。
つまり、解析部14が、取得部11によって取得された比較対象M上の2点の間の距離の実寸と、撮影部13によって撮影された動画像上における比較対象M上の2点の間の距離と、撮影部13によって撮影された動画像上における被検者SBの右眼R上の点と比較対象M上の2点との位置関係とに基づいて、被検者SBの右眼Rの眼球の運動を解析する。
同様に、解析部14は、取得部11によって取得された比較対象M上の2点の間の距離の実寸と、撮影部13によって撮影された動画像上における比較対象M上の2点の間の距離と、撮影部13によって撮影された動画像上における被検者SBの左眼L上の点と比較対象M上の2点との位置関係とに基づいて、被検者SBの左眼Lの眼球の運動を解析する。
取得部11が比較対象M上の2点の間の距離の実寸を取得しない例では、解析部14が、撮影部13によって撮影された動画像上における比較対象M上の2点の間の距離と、撮影部13によって撮影された動画像上における被検者SBの右眼R上の点と比較対象M上の2点との位置関係とに基づいて、被検者SBの右眼Rの眼球の運動を解析する。
また、解析部14は、撮影部13によって撮影された動画像上における比較対象M上の2点の間の距離と、撮影部13によって撮影された動画像上における被検者SBの左眼L上の点と比較対象M上の2点との位置関係とに基づいて、被検者SBの左眼Lの眼球の運動を解析する。
例えば図8(F)に示す辺BCが水平線に含まれ、頂点Aが辺BCよりも上側に位置するように、比較対象Mが被検者SBに貼り付けられる例、あるいは、例えば図8(G)に示す辺BCが水平線に含まれ、頂点Aが辺BCよりも下側に位置するように、比較対象Mが被検者SBに貼り付けられる例では、解析部14が、撮影部13によって撮影された動画像上における比較対象M(三角形のシール)の向きに基づいて、被検者SBの顔の傾きが変化したか否か等を判別することができる。詳細には、解析部14は、撮影部13によって撮影された動画像上における比較対象M(三角形のシール)の頂点Aと辺BCとの位置関係に基づいて、被検者SBの顔の傾きを判別することができる。
つまり、この例では、比較対象Mとしての三角形のシールが、撮影部13によって撮影された動画像から被検者SBの顔の傾きを判別できるように、被検者SBに貼り付けられる。
また、この例では、解析部14が、三角形の頂点Aおよび辺BCを用いることによって、撮影部13により撮影された動画像から被検者SBの顔の傾きを判別する。
図8(H)に示す例では、比較対象Mが、複数の直線、曲線などを組み合わせた図形(例えばキャラクターの図形)のシールである。取得部11によって取得される比較対象M(図形のシール)の情報には、比較対象M上の2点(例えば図8(H)に示すキャラクターの右眼および左眼)の間の距離の実寸が含まれる。
図8(H)に示す例では、被検者SBの右眼Rの眼球の運動を解析するために、取得部11によって取得された比較対象M上の2点の間の距離の実寸と、撮影部13によって撮影された動画像上における比較対象M上の2点の間の距離と、撮影部13によって撮影された動画像上における被検者SBの右眼R上の点と比較対象M上の2点との位置関係が利用される。
つまり、解析部14が、取得部11によって取得された比較対象M上の2点の間の距離の実寸と、撮影部13によって撮影された動画像上における比較対象M上の2点の間の距離と、撮影部13によって撮影された動画像上における被検者SBの右眼R上の点と比較対象M上の2点との位置関係とに基づいて、被検者SBの右眼Rの眼球の運動を解析する。
同様に、解析部14は、取得部11によって取得された比較対象M上の2点の間の距離の実寸と、撮影部13によって撮影された動画像上における比較対象M上の2点の間の距離と、撮影部13によって撮影された動画像上における被検者SBの左眼L上の点と比較対象M上の2点との位置関係とに基づいて、被検者SBの左眼Lの眼球の運動を解析する。
取得部11が比較対象M上の2点の間の距離の実寸を取得しない例では、解析部14が、撮影部13によって撮影された動画像上における比較対象M上の2点の間の距離と、撮影部13によって撮影された動画像上における被検者SBの右眼R上の点と比較対象M上の2点との位置関係とに基づいて、被検者SBの右眼Rの眼球の運動を解析する。
また、解析部14は、撮影部13によって撮影された動画像上における比較対象M上の2点の間の距離と、撮影部13によって撮影された動画像上における被検者SBの左眼L上の点と比較対象M上の2点との位置関係とに基づいて、被検者SBの左眼Lの眼球の運動を解析する。
例えば図8(H)に示すキャラクターの右眼および左眼が水平線上に位置する(つまり、比較対象Mが図8(H)に示す配置になる)ように、比較対象Mが被検者SBに貼り付けられる例では、解析部14が、撮影部13によって撮影された動画像上における比較対象Mの向きに基づいて、被検者SBの顔の傾きが変化したか否か等を判別することができる。詳細には、解析部14は、撮影部13によって撮影された動画像上における比較対象Mのキャラクターの顔の向きに基づいて、被検者SBの顔の傾きを判別することができる。
つまり、この例では、比較対象Mとしての図形のシールが、撮影部13によって撮影された動画像から被検者SBの顔の傾きを判別できるように、被検者SBに貼り付けられる。
また、この例では、解析部14が、比較対象M上の2点を用いることによって、撮影部13により撮影された動画像から被検者SBの顔の傾きを判別する。
図9は第1実施形態の眼球運動解析システム1の第2適用例を示す図である。詳細には、図9(A)は水平面内における眼球運動解析システム1と被検者SBとの関係の一例を示しており、図9(B)は鉛直面内における眼球運動解析システム1と被検者SBとの関係の一例を示している。
図9に示す例では、第1実施形態の眼球運動解析システム1が、取得部11、表示部12、撮影部13、解析部14および出力部15の他に、移動部16を備えている。
移動部16は、表示部12および撮影部13を一体的に移動させる。詳細には、移動部16は、表示部12および撮影部13と被検者SBとの距離が変化しないように、表示部12および撮影部13を一体的に移動させる機能を有する。
つまり、移動部16は、図9(A)に示すように、被検者SBを中心とする円弧(詳細には、水平面上の円弧)に沿って、表示部12および撮影部13を一体的に移動させることができる。また、移動部16は、図9(B)に示すように、被検者SBを中心とする円弧(詳細には、鉛直面上の円弧)に沿って、表示部12および撮影部13を一体的に移動させることができる。
また、移動部16は、被検者SBを中心とする球(詳細には、図9(A)および図9(B)に示す円弧と同一の半径を有する球)の表面に沿って、表示部12および撮影部13を一体的に移動させることもできる。
上述したように、第1実施形態の眼球運動解析システム1の第1適用例および第2適用例では、眼球運動解析システム1の取得部11、解析部14および出力部15が、例えば図2(A)に示すようなパーソナルコンピュータによって構成され、眼球運動解析システム1の表示部12がモニタ(図示せず)によって構成され、眼球運動解析システム1の撮影部13が、例えば図2(A)に示すようなカメラによって構成される。
第1実施形態の眼球運動解析システム1の第3適用例では、眼球運動解析システム1が、例えばスマートフォンなどのような携帯端末装置(図示せず)によって構成される。詳細には、眼球運動解析システム1の取得部11および解析部14が、携帯端末装置の内蔵コンピュータ(図示せず)によって構成される。また、眼球運動解析システム1の表示部12および出力部15が、携帯端末装置のディスプレイ(図示せず)によって構成される。また、眼球運動解析システム1の撮影部13が、携帯端末装置の内蔵カメラ(図示せず)によって構成される。
つまり、第1実施形態の眼球運動解析システム1の第3適用例では、スマートフォンなどの内蔵カメラと連携したアプリケーションとしての活用が可能になる。
[第2実施形態]
以下、本発明の眼球運動解析システム、眼球運動解析方法およびプログラムの第2実施形態について説明する。
第2実施形態の眼球運動解析システム1は、後述する点を除き、上述した第1実施形態の眼球運動解析システム1と同様に構成されている。従って、第2実施形態の眼球運動解析システム1によれば、後述する点を除き、上述した第1実施形態の眼球運動解析システム1と同様の効果を奏することができる。
上述したように、第1実施形態の眼球運動解析システム1では、撮影部13が、被検者SB(図2(A)参照)の右眼R(図2参照)および左眼L(図2参照)と、比較対象M(図2参照)とを含む動画像を撮影する。
一方、第2実施形態の眼球運動解析システム1では、撮影部13が、被検者SBの右眼Rと比較対象Mとを含む動画像、または、被検者SBの左眼Lと比較対象Mとを含む動画像を撮影する。
上述したように、第1実施形態の眼球運動解析システム1では、解析部14が、比較対象Mの情報と、被検者SBの右眼Rおよび左眼Lならびに比較対象Mを含む動画像とに基づいて、被検者SBの右眼Rおよび左眼Lの眼球の運動を解析する。
一方、第2実施形態の眼球運動解析システム1では、解析部14が、比較対象Mの情報と、被検者SBの右眼Rおよび比較対象Mを含む動画像とに基づいて、被検者SBの右眼Rの眼球の運動を解析するか、あるいは、比較対象Mの情報と、被検者SBの左眼Lおよび比較対象Mを含む動画像とに基づいて、被検者SBの左眼Lの眼球の運動を解析する。
第2実施形態の眼球運動解析システム1において実行される処理では、図3のステップS1において、取得部11が、被検者SBの顔の表面に取り付けられた比較対象Mの情報を取得する。
また、図3のステップS2では、表示部12が、視標を表示する。
次いで、図3のステップS3では、撮影部13が、被検者SBの例えば右眼Rと比較対象Mとを含む動画像を撮影する。
次いで、図3のステップS4では、ステップS1において取得された比較対象Mの情報と、ステップS3において撮影された被検者SBの右眼Rと比較対象Mとを含む動画像とに基づいて、被検者SBの右眼Rの眼球の運動を解析する。
次いで、図3のステップS5では、出力部15が、ステップS4において実行された被検者SBの右眼Rの眼球の運動の解析の結果を出力する。
本発明の眼球運動解析システム、眼球運動解析方法およびプログラムを用いた眼振解析方法は、眼振解析方法のスタンダードとなり、眼振の病態解明に大きく寄与することができると考えられる。
また、本発明の眼球運動解析システム、眼球運動解析方法およびプログラムによれば、小児における詳細な眼振解析が可能となる。大人の被検者においても、本発明の眼球運動解析システム、眼球運動解析方法およびプログラムを用いることによって、従来の眼振測定装置と比べて簡便で、負担がはるかに少ない眼振検査を受けることができるようになる。
つまり、本発明の眼球運動解析システム、眼球運動解析方法およびプログラムによれば、眼振の計測方法、眼振の診療のあり方を大きく変革することができる。
以上、本発明の実施形態を図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、本発明の趣旨を逸脱しない範囲で適宜変更を加えることができる。上述した各実施形態および各例に記載の構成を組み合わせてもよい。
なお、上述した実施形態における眼球運動解析システム1が備える各部の機能全体あるいはその一部は、これらの機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することによって実現しても良い。なお、ここでいう「コンピュータシステム」とは、OSや周辺機器等のハードウェアを含むものとする。
また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ROM、CD-ROM等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶部のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間の間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含んでも良い。また上記プログラムは、前述した機能の一部を実現するためのものであっても良く、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであっても良い。
1…眼球運動解析システム、11…取得部、12…表示部、13…撮影部、14…解析部、15…出力部、16…移動部、SB…被検者、R…右眼、RP…瞳孔、RR…虹彩、L…左眼、M…比較対象

Claims (17)

  1. 被検者の右眼および左眼の少なくとも一方と、前記被検者の顔の表面上の比較対象とを含む動画像を撮影する撮影部と、
    前記撮影部によって撮影された前記動画像上における前記被検者の前記右眼および前記左眼の少なくとも一方と前記比較対象との関係に基づいて、前記被検者の前記右眼および前記左眼の少なくとも一方の眼球の運動を解析する解析部とを備え
    前記比較対象の情報を取得する取得部を更に備え、
    前記解析部は、
    前記取得部によって取得された前記比較対象の実寸と、前記撮影部によって撮影された前記動画像上における前記比較対象の寸法と、前記撮影部によって撮影された前記動画像上における前記被検者の前記右眼および前記左眼の少なくとも一方と前記比較対象との距離とに基づいて、前記被検者の前記右眼および前記左眼の少なくとも一方の眼球の運動を解析する、
    眼球運動解析システム。
  2. 前記比較対象は、前記被検者の眉間に貼り付けられるシールである、
    請求項1に記載の眼球運動解析システム。
  3. 前記比較対象の実寸として、前記比較対象上の複数点の間の距離の実寸が用いられ、
    前記動画像上における前記比較対象の寸法として、前記動画像上における前記比較対象上の前記複数点の間の寸法が用いられる、
    請求項1または請求項2に記載の眼球運動解析システム。
  4. 前記比較対象が円形であり、
    前記解析部は、
    前記取得部によって取得された前記比較対象の直径または半径の実寸と、前記撮影部によって撮影された前記動画像上における前記比較対象の直径または半径と、前記撮影部によって撮影された前記動画像上における前記被検者の前記右眼上の点と前記比較対象の中心との距離とに基づいて、前記被検者の前記右眼の眼球の運動を解析し、
    前記取得部によって取得された前記比較対象の直径または半径の実寸と、前記撮影部によって撮影された前記動画像上における前記比較対象の直径または半径と、前記撮影部によって撮影された前記動画像上における前記被検者の前記左眼上の点と前記比較対象の中心との距離とに基づいて、前記被検者の前記左眼の眼球の運動を解析する、
    請求項3に記載の眼球運動解析システム。
  5. 前記動画像上における前記被検者の前記右眼上の点が、前記動画像上における前記被検者の前記右眼の瞳孔の中心であり、
    前記動画像上における前記被検者の前記左眼上の点が、前記動画像上における前記被検者の前記左眼の瞳孔の中心である、
    請求項4に記載の眼球運動解析システム。
  6. 前記動画像上における前記被検者の前記右眼上の点が、前記動画像上における前記被検者の前記右眼の虹彩上の点であり、
    前記動画像上における前記被検者の前記左眼上の点が、前記動画像上における前記被検者の前記左眼の虹彩上の点である、
    請求項に記載の眼球運動解析システム。
  7. 前記動画像上における前記被検者の前記右眼上の点が、前記動画像上における前記被検者の前記右眼の結膜血管上の点であり、
    前記動画像上における前記被検者の前記左眼上の点が、前記動画像上における前記被検者の前記左眼の結膜血管上の点である、
    請求項に記載の眼球運動解析システム。
  8. 前記比較対象の形状が多角形であり、
    前記解析部は、
    前記取得部によって取得された前記比較対象の前記多角形の2つの頂点の間の距離の実寸と、前記撮影部によって撮影された前記動画像上における前記比較対象の前記多角形の前記2つの頂点の間の距離と、前記撮影部によって撮影された前記動画像上における前記被検者の前記右眼上の点と前記比較対象の前記多角形の前記2つの頂点との位置関係とに基づいて、前記被検者の前記右眼の眼球の運動を解析し、
    前記取得部によって取得された前記比較対象の前記多角形の前記2つの頂点の間の距離の実寸と、前記撮影部によって撮影された前記動画像上における前記比較対象の前記多角形の前記2つの頂点の間の距離と、前記撮影部によって撮影された前記動画像上における前記被検者の前記左眼上の点と前記比較対象の前記多角形の前記2つの頂点との位置関係とに基づいて、前記被検者の前記左眼の眼球の運動を解析する、
    請求項に記載の眼球運動解析システム。
  9. 前記比較対象の形状が多角形であり、
    前記解析部は、
    前記取得部によって取得された前記比較対象の前記多角形の2つの頂点の間の距離の実寸と、前記撮影部によって撮影された前記動画像上における前記比較対象の前記多角形の前記2つの頂点の間の距離と、前記撮影部によって撮影された前記動画像上における前記被検者の前記右眼上の2点と前記比較対象の前記多角形の前記2つの頂点との位置関係とに基づいて、前記被検者の前記右眼の眼球の運動を解析し、
    前記取得部によって取得された前記比較対象の前記多角形の前記2つの頂点の間の距離の実寸と、前記撮影部によって撮影された前記動画像上における前記比較対象の前記多角形の前記2つの頂点の間の距離と、前記撮影部によって撮影された前記動画像上における前記被検者の前記左眼上の2点と前記比較対象の前記多角形の前記2つの頂点との位置関係とに基づいて、前記被検者の前記左眼の眼球の運動を解析する、
    請求項に記載の眼球運動解析システム。
  10. 前記比較対象は、前記被検者の顔の表面上の形態的特徴であり、
    前記解析部は、
    前記撮影部によって撮影された前記動画像上における前記被検者の前記右眼および前記左眼の少なくとも一方と前記比較対象上の2点との関係に基づいて、前記被検者の前記右眼および前記左眼の少なくとも一方の眼球の運動を解析する、
    請求項に記載の眼球運動解析システム。
  11. 前記解析部は、
    前記撮影部によって撮影された前記動画像上における前記比較対象上の前記2点の間の距離と、前記撮影部によって撮影された前記動画像上における前記被検者の前記右眼上の点と前記比較対象上の前記2点との位置関係とに基づいて、前記被検者の前記右眼の眼球の運動を解析し、
    前記撮影部によって撮影された前記動画像上における前記比較対象上の前記2点の間の距離と、前記撮影部によって撮影された前記動画像上における前記被検者の前記左眼上の点と前記比較対象上の前記2点との位置関係とに基づいて、前記被検者の前記左眼の眼球の運動を解析する、
    請求項10に記載の眼球運動解析システム。
  12. 前記比較対象としての前記シールは、前記撮影部によって撮影された前記動画像から前記被検者の顔の傾きを判別できるように、前記被検者に貼り付けられる、
    請求項に記載の眼球運動解析システム。
  13. 前記解析部は、
    前記シール上の少なくとも2点を用いることによって、前記撮影部により撮影された前記動画像から前記被検者の顔の傾きを判別する、
    請求項12に記載の眼球運動解析システム。
  14. 前記解析部は、
    前記比較対象として貼り付けられた複数のシールの位置関係を用いることによって、前記撮影部により撮影された前記動画像から前記被検者の顔の傾きを判別する、
    請求項12に記載の眼球運動解析システム。
  15. 前記被検者に提示される視標を表示する表示部と、
    前記表示部および前記撮影部を一体的に移動させる移動部とを更に備える、
    請求項に記載の眼球運動解析システム。
  16. 眼球運動解析システムが、被検者の右眼および左眼の少なくとも一方と、前記被検者の顔の表面上の比較対象とを含む動画像を撮影する撮影ステップと、
    前記眼球運動解析システムが、前記撮影ステップにおいて撮影された前記動画像上における前記被検者の前記右眼および前記左眼の少なくとも一方と前記比較対象との関係に基づいて、前記被検者の前記右眼および前記左眼の少なくとも一方の眼球の運動を解析する解析ステップとを備え、
    前記眼球運動解析システムが、前記比較対象の情報を取得する取得ステップを更に備え、
    前記解析ステップでは、
    前記取得ステップにおいて取得された前記比較対象の実寸と、前記撮影ステップにおいて撮影された前記動画像上における前記比較対象の寸法と、前記撮影ステップにおいて撮影された前記動画像上における前記被検者の前記右眼および前記左眼の少なくとも一方と前記比較対象との距離とに基づいて、前記被検者の前記右眼および前記左眼の少なくとも一方の眼球の運動が解析される、
    眼球運動解析方法。
  17. コンピュータに、
    被検者の右眼および左眼の少なくとも一方と、前記被検者の顔の表面上の比較対象とを含む動画像を撮影する撮影ステップと、
    前記撮影ステップにおいて撮影された前記動画像上における前記被検者の前記右眼および前記左眼の少なくとも一方と前記比較対象との関係に基づいて、前記被検者の前記右眼および前記左眼の少なくとも一方の眼球の運動を解析する解析ステップと、
    前記比較対象の情報を取得する取得ステップとを実行させるためのプログラムであって、
    前記解析ステップでは、
    前記取得ステップにおいて取得された前記比較対象の実寸と、前記撮影ステップにおいて撮影された前記動画像上における前記比較対象の寸法と、前記撮影ステップにおいて撮影された前記動画像上における前記被検者の前記右眼および前記左眼の少なくとも一方と前記比較対象との距離とに基づいて、前記被検者の前記右眼および前記左眼の少なくとも一方の眼球の運動が解析される、
    プログラム。
JP2019038941A 2019-03-04 2019-03-04 眼球運動解析システム、眼球運動解析方法およびプログラム Active JP7220905B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2019038941A JP7220905B2 (ja) 2019-03-04 2019-03-04 眼球運動解析システム、眼球運動解析方法およびプログラム
US17/433,086 US20220087524A1 (en) 2019-03-04 2020-03-02 Eye movement analysis system, eye movement analysis method and program
PCT/JP2020/008573 WO2020179720A1 (ja) 2019-03-04 2020-03-02 眼球運動解析システム、眼球運動解析方法およびプログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2019038941A JP7220905B2 (ja) 2019-03-04 2019-03-04 眼球運動解析システム、眼球運動解析方法およびプログラム

Publications (2)

Publication Number Publication Date
JP2020141762A JP2020141762A (ja) 2020-09-10
JP7220905B2 true JP7220905B2 (ja) 2023-02-13

Family

ID=72337844

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019038941A Active JP7220905B2 (ja) 2019-03-04 2019-03-04 眼球運動解析システム、眼球運動解析方法およびプログラム

Country Status (3)

Country Link
US (1) US20220087524A1 (ja)
JP (1) JP7220905B2 (ja)
WO (1) WO2020179720A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102469720B1 (ko) * 2017-10-31 2022-11-23 삼성전자주식회사 전자 장치 및 이를 이용한 눈의 충혈도 판단 방법

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004167152A (ja) 2002-11-22 2004-06-17 National Institute Of Advanced Industrial & Technology 視線位置計測における頭部の動きのズレを補正する方法及びシステム
JP2006285531A (ja) 2005-03-31 2006-10-19 Advanced Telecommunication Research Institute International 視線方向の検出装置、視線方向の検出方法およびコンピュータに当該視線方向の視線方法を実行させるためのプログラム

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4891630A (en) * 1988-04-22 1990-01-02 Friedman Mark B Computer vision system with improved object orientation technique
JPH02224637A (ja) * 1988-11-16 1990-09-06 A T R Tsushin Syst Kenkyusho:Kk 視線検出方法
ES2436891B1 (es) * 2012-05-24 2014-09-16 Dalavor Consultoría Estratégica Y Tecnológica S.L. Equipo para la terapia viso-motriz y/o neuromuscular

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004167152A (ja) 2002-11-22 2004-06-17 National Institute Of Advanced Industrial & Technology 視線位置計測における頭部の動きのズレを補正する方法及びシステム
JP2006285531A (ja) 2005-03-31 2006-10-19 Advanced Telecommunication Research Institute International 視線方向の検出装置、視線方向の検出方法およびコンピュータに当該視線方向の視線方法を実行させるためのプログラム

Also Published As

Publication number Publication date
JP2020141762A (ja) 2020-09-10
WO2020179720A1 (ja) 2020-09-10
US20220087524A1 (en) 2022-03-24

Similar Documents

Publication Publication Date Title
Santini et al. PuRe: Robust pupil detection for real-time pervasive eye tracking
Rai et al. Which saliency weighting for omni directional image quality assessment?
JP5189057B2 (ja) 視線追跡方法及び視線追跡システム
US20230084867A1 (en) Application to determine reading/working distance
Otero-Millan et al. Knowing what the brain is seeing in three dimensions: A novel, noninvasive, sensitive, accurate, and low-noise technique for measuring ocular torsion
US8083353B2 (en) Animated image vision test
CN112399817A (zh) 测量眼睛屈光
JP2017522104A (ja) 目状態決定システム
JP2018196730A (ja) 眼の位置を監視するための方法およびシステム
EP3730038B1 (en) A computer-implemented method and system for interactively measuring ocular refractive errors, addition and power of reading glasses
JP2018099174A (ja) 瞳孔検出装置及び瞳孔検出方法
CN110269586A (zh) 用于捕获具有暗点的人的视野的设备和方法
JP7220905B2 (ja) 眼球運動解析システム、眼球運動解析方法およびプログラム
JP2024099765A (ja) 画像処理方法、プログラム、及び画像処理装置
Wibirama et al. Dual‐camera acquisition for accurate measurement of three‐dimensional eye movements
KR102182185B1 (ko) 안구 운동장애 평가 시스템, 그를 이용한 안구 운동장애 평가 방법 및 컴퓨터 판독 가능한 저장 매체
EP4185184B1 (en) Method for determining a coronal position of an eye relative to the head
Guihard et al. Three‐Dimensional Quantification of Facial Morphology and Movements Using a Wearable Helmet
EP4171350B1 (en) Method and device for determining at least one astigmatic effect of at least one eye
Gienko et al. Neurophysiological features of human visual system in augmented photogrammetric technologies
JP6538203B2 (ja) 眼電位キャリブレーション装置、眼鏡型電子機器、眼電位キャリブレーション方法およびプログラム
Huang et al. Development a Low-cost Smart Eyewear System for Eye & Head Movement Measurement and Analysis
JP2023542046A (ja) 眼優位性を定量化するためのシステムおよび方法
Siena et al. Usability assessment of facial tracking for use in clinical outcomes
WO2023148372A1 (en) A computer-implemented systems and methods for interactively measuring either or both sides of the interval of clear vision of the eye

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220222

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220809

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20221003

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230117

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230125

R150 Certificate of patent or registration of utility model

Ref document number: 7220905

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150