JP7001042B2 - 眼情報推定装置、眼情報推定方法、プログラム - Google Patents

眼情報推定装置、眼情報推定方法、プログラム Download PDF

Info

Publication number
JP7001042B2
JP7001042B2 JP2018210346A JP2018210346A JP7001042B2 JP 7001042 B2 JP7001042 B2 JP 7001042B2 JP 2018210346 A JP2018210346 A JP 2018210346A JP 2018210346 A JP2018210346 A JP 2018210346A JP 7001042 B2 JP7001042 B2 JP 7001042B2
Authority
JP
Japan
Prior art keywords
ellipse
eyeball
coordinates
iris
pupil
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2018210346A
Other languages
English (en)
Other versions
JP2020074952A (ja
Inventor
惇 米家
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nippon Telegraph and Telephone Corp
Original Assignee
Nippon Telegraph and Telephone Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nippon Telegraph and Telephone Corp filed Critical Nippon Telegraph and Telephone Corp
Priority to JP2018210346A priority Critical patent/JP7001042B2/ja
Priority to PCT/JP2019/041822 priority patent/WO2020095708A1/ja
Priority to US17/291,585 priority patent/US12029491B2/en
Publication of JP2020074952A publication Critical patent/JP2020074952A/ja
Application granted granted Critical
Publication of JP7001042B2 publication Critical patent/JP7001042B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/14Arrangements specially adapted for eye photography
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/11Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for measuring interpupillary distance or diameter of pupils
    • A61B3/112Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for measuring interpupillary distance or diameter of pupils for measuring diameter of pupils
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/113Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for determining or recording eye movement

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Medical Informatics (AREA)
  • Surgery (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Physics & Mathematics (AREA)
  • Molecular Biology (AREA)
  • Ophthalmology & Optometry (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Human Computer Interaction (AREA)
  • Eye Examination Apparatus (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)

Description

本発明は、瞳孔や虹彩に関する位置/大きさの情報を推定する技術に関する。
参考特許文献1では、対象者の眼の動的な変化に基づく特徴量を抽出し、抽出された特徴量に基づいて対象者の感じる音楽の好みをリアルタイムで推定することができる(参考特許文献1)。
(参考特許文献1:特開2015-131069号公報)
参考特許文献1で用いた眼の動的な変化の推定には、例えば、眼球運動計測器と呼ばれる専用の装置(非特許文献1)を用いることができる。
tobii pro, [online], [平成30年6月6日検索], インターネット<URL:https://www.tobiipro.com/ja/?gclid=EAIaIQobChMI9dzRgfq92wIVlYePCh2l1ge6EAAYASAAEgLqy_D_BwE>
参考特許文献1によれば、人の眼の動的な変化に基づく特徴量を用いることで、音楽の好みをリアルタイムで推定することができる。しかしながら、参考特許文献1で用いるマイクロサッカードの減衰係数や固有角振動数といった眼の動的な変化に関する特徴量を計算するためには、ミリ秒オーダーでの細かい眼球位置変化を正確に捉える必要があるため、1000Hzのように非常に高いサンプリング周波数で画像を撮影可能な眼球運動計測器を用いる必要があった。そのため、例えば、スマートフォンやパソコンなどに組み込まれている比較的性能が低いカメラ(例えば、15~60Hzのように低いサンプリング周波数のカメラ)を用いた場合には、サンプリング周波数が十分でないためにミリ秒オーダーでの細かい眼球位置変化を正確に取得できず、マイクロサッカードの減衰係数や固有角振動数といった眼の動的な変化に関する特徴量を計算できないため、結果として音楽の好みを推定することができないという問題があった。
そこで本発明では、サンプリング周波数が低いカメラにより撮影された画像を用いて、実際のサンプリング周波数よりも非常に細かい時間単位で瞳孔や虹彩に関する位置/大きさの情報を推定する技術を提供することを目的とする。
本発明の一態様は、対象者の眼球を撮影した画像から、当該画像に含まれる所定の行の瞳孔または虹彩の外縁に対応する2つの点P1、点P2の座標(x1, y0), (x2, y0)と、瞳孔または虹彩の形状を楕円であると仮定した場合の当該楕円の長軸の長さRと、瞳孔または虹彩が拘束される3次元眼球回転系の眼球回転中心座標(xe, ye)とを取得するプロファイル決定情報取得部と、θ1, θ2を点P1、点P2における前記楕円の接線の傾き、Reを前記3次元眼球回転系の眼球回転半径とし、前記点P1、点P2の座標(x1, y0), (x2, y0)と、前記接線の傾きθ1, θ2と、前記長軸の長さRと、前記眼球回転中心座標(xe, ye)と、前記眼球回転半径Reとから、瞳孔または虹彩の位置を表す前記楕円の中心座標(xc, yc)と偏角ψと、瞳孔または虹彩の大きさを表す前記楕円の長軸の長さRaと短軸の長さRbとを含む楕円プロファイルを算出する眼情報算出部とを含む。
本発明によれば、サンプリング周波数が低いカメラにより撮影された画像を用いて、実際のサンプリング周波数よりも非常に細かい時間単位で瞳孔や虹彩に関する位置/大きさの情報を推定することが可能となる。
隣接する2行の瞳孔(虹彩)の外縁に対応する4つの点の一例を示す図。 3次元眼球回転系を示す図。 眼球回転中心と楕円の中心の位置関係の一例を示す図。 眼情報推定装置100の構成の一例を示すブロック図。 眼情報推定装置100の動作の一例を示すフローチャート。 眼情報算出部130の構成の一例を示すブロック図。 眼情報算出部130の動作の一例を示すフローチャート。
以下、本発明の実施の形態について、詳細に説明する。なお、同じ機能を有する構成部には同じ番号を付し、重複説明を省略する。
<技術的背景>
位置/大きさの情報を推定する対象は、瞳孔または虹彩とする。また、瞳孔や虹彩の位置/大きさの推定には、対象者の眼球を撮影した画像を用いる。推定に際して、撮影した画像中の瞳孔や虹彩の形状は楕円であると仮定する。したがって、瞳孔や虹彩の位置/大きさは、楕円の中心座標、偏角/長軸の長さ、短軸の長さとして推定されることになる。具体的には、対象者の眼球を撮影した画像に含まれる所定の行の瞳孔または虹彩の外縁に対応する2つの点P1、点P2の座標とこれらの点における楕円(つまり、推定対象である瞳孔または虹彩を表す楕円)の接線の傾きから、楕円のプロファイルである中心座標、偏角、長軸の長さ、短軸の長さを推定する。その際、所定のサンプリング周波数で画像を撮影している間、長軸の長さは変化しないものと仮定する。以下、その長さをRとする。
以上より、瞳孔や虹彩の位置/大きさを推定する問題は、楕円上の点P1、点P2の座標(x1, y0), (x2, y0)と当該2点における楕円の接線の傾きθ1, θ2と楕円の長軸の長さRから楕円の中心座標(xc, yc)、偏角ψ、長軸の長さRa、短軸の長さRbを求める問題に帰着する(ただし、Ra=Rである)。
なお、対象者の眼球を撮影した画像から、点P1、点P2の座標(x1, y0), (x2, y0)、当該2点における楕円の接線の傾きθ1, θ2、楕円の長軸の長さRを求める方法については、後述する。
以下、上記問題を解く手順について説明する。一般に、2次元平面上の任意の位置にある楕円は、以下の方程式により表される。
Figure 0007001042000001
ここでは、上記問題を解くために、任意の位置にある楕円を、x軸上の点(1, 0)、y軸上の点(0, 1)を通り、点(1, 0)においてx軸、点(0, 1)においてy軸に接する楕円に対応するように座標変換し、当該変換後の楕円が以下の式で表されることを用いて計算を行う。
Figure 0007001042000002
ここで、αをハイパーパラメータという。
以下、詳しく説明する。点P1における楕円の接線と点P2における楕円の接線の交点Cの座標(xs, ys)は、点P1、点P2の座標(x1, y0), (x2, y0)、当該2点における楕円の接線の傾きθ1, θ2を用いて次式により表せる。
Figure 0007001042000003
ここで、交点Cが点(0, 0)、点P1が点(1, 0)、点P2が点(0, 1)にそれぞれ対応するように座標系を変換して得られる楕円の方程式は、
Figure 0007001042000004
として、次式により表現できる。
Figure 0007001042000005
すると、楕円のプロファイル、つまり、中心座標(xc, yc)、偏角ψ、長軸の長さRa、短軸の長さRbは、ハイパーパラメータαを用いて、以下のように表現できる。
Figure 0007001042000006
ただし、
Figure 0007001042000007
である。ここで、式(4)中のRa,b 2は、Ra 2またはRb 2の意味であり、式(4)の右辺の値(つまり、±を用いて表される2つの値)のうち小さい方がRb 2、大きい方がRa 2であることを意味する。また、式(4)の右辺の平方根がRa, Rbとなる。
なお、長軸の長さに対する短軸の長さの比r(=Rb/Ra)も、ハイパーパラメータαを用いて以下のように表現することができる。
Figure 0007001042000008
以下、式(2a)と式(2b)をハイパーパラメータαを用いた中心座標(xc, yc)の表現という。同様に、式(3)をハイパーパラメータαを用いた偏角ψの表現、式(4)をハイパーパラメータαを用いた長軸の長さRaの表現、ハイパーパラメータαを用いた短軸の長さRbの表現、式(8)をハイパーパラメータαを用いた長軸の長さに対する短軸の長さの比rの表現という。また、ハイパーパラメータαのことを楕円プロファイルの表現に用いるハイパーパラメータともいう。
したがって、上記表現を用いれば、式(4)を用いてRa=Rとなるハイパーパラメータα(ただし、|α|≦1)を求めることにより、中心座標(xc, yc)、偏角ψ、短軸の長さRbを求めることができる。
ここで、対象者の眼球を撮影した画像から、点P1、点P2の座標(x1, y0), (x2, y0)、当該2点における楕円の接線の傾きθ1, θ2、楕円の長軸の長さRを求める方法について説明する。
点P1、点P2の座標(x1, y0), (x2, y0)は、例えば、参考非特許文献1に記載された方法を用いて瞳孔または虹彩の領域/境界を検出することにより、取得することができる。
(参考非特許文献1:Daugman, J, “Probing the uniqueness and randomness of IrisCodes: Results from 200 billion iris pair comparisons”, Proceedings of the IEEE, Vol.94, No.11, pp.1927-1935, 2006.)
また、点P1、点P2における楕円の接線の傾きθ1, θ2は、所定の行に隣接する行の瞳孔または虹彩の外縁に対応する点の座標と、点P1、点P2の座標(x1, y0), (x2, y0)とを用いて取得することができる。具体的には、以下のようにして求める。まず、所定の行に隣接する行のうち、画像中、上側に位置する行の瞳孔または虹彩の外縁に対応する2つの点P1’、点P2’の座標を(x1’, y0’), (x2’, y0’)とし、傾きθ1’, θ2’を次式により求める、(図1参照)。
Figure 0007001042000009
同様に、所定の行に隣接する行のうち、画像中、下側に位置する行の瞳孔または虹彩の外縁に対応する2つの点P1”、点P2”の座標を(x1”, y0”), (x2”, y0”)とし、傾きθ1”, θ2” を次式により求める。
Figure 0007001042000010
そして、傾きθ1, θ2を、傾きθ1’, θ2’, θ1”, θ2”を用いて次式により求める。
Figure 0007001042000011
つまり、傾きθ1, θ2は、所定の行に隣接する行のうち、画像中、上側に位置する行の瞳孔または虹彩の外縁に対応する2つの点の座標と点P1、点P2の座標(x1, y0), (x2, y0)とを用いて計算した傾きと、所定の行に隣接する行のうち、画像中、下側に位置する行の瞳孔または虹彩の外縁に対応する2つの点の座標と点P1、点P2の座標(x1, y0), (x2, y0)とを用いて計算した傾きの平均値として求められる。
楕円の長軸の長さRとして、例えば、画像に含まれる瞳孔または虹彩の外縁に対して楕円フィッティングを行った結果として得られる長軸の長さを用いればよい。
以上の説明から、上述の問題が解けることがわかる。しかし、点P1、点P2における楕円の接線の傾きθ1, θ2を求める方法として上述の方法を用いると、推定精度が下がってしまうことがある。これは、眼球の動きが非常に高速であるため、スマートフォンのカメラなどのようにサンプリング周波数が比較的低いカメラを用いて眼球を撮影すると、眼球が歪んで撮影されるためである。なお、高速で動いている被写体をサンプリング周波数が比較的低いカメラを用いて撮影した場合に、走査行ごとの露光タイミングがずれることにより図形歪が生じることをローリングシャッター効果という。
そこで、より精度よく、点P1、点P2における楕円の接線の傾きθ1, θ2を決定するために、以下説明する手法を用いてもよい。この手法では、新たな制約条件を課す。以下、この新たに課す制約条件と、当該制約条件のもと接線の傾きを未知として楕円プロファイルを算出するアルゴリズムについて説明する。
(制約条件:3次元眼球回転系)
瞳孔及び虹彩の形状は円盤、眼球の形状は真球であるとし、瞳孔及び虹彩は、眼球の表面に拘束されて動くものと仮定する(図2参照)。つまり、瞳孔や虹彩を撮影して得られる楕円は、真球上を円盤が回転した結果であるとする。なお、図2において、斜線を施した円が瞳孔又は虹彩を表し、半径がReの球が眼球を表す。以下では、この瞳孔や虹彩が眼球の表面に拘束されて回転運動する系のことを3次元眼球回転系という。
対象者の眼球を撮影した画像における3次元眼球回転系の眼球回転中心座標を(xe, ye)、3次元眼球回転系の眼球回転半径をRe、瞳孔半径(虹彩半径)をR、瞳孔中心経度(虹彩中心経度)ω、瞳孔中心緯度(虹彩中心緯度)φとすると、楕円プロファイルである中心座標、偏角、長軸の長さ、短軸の長さ(つまり、瞳孔(虹彩)の位置や大きさ)は、次式により表される(図2、図3参照)。
Figure 0007001042000012
また、3次元眼球回転系であるという仮定から、以下の2式を満たすべき関係式として導出することができる。
Figure 0007001042000013
ただし、
Figure 0007001042000014
である。
(楕円プロファイル算出アルゴリズム)
楕円プロファイル算出アルゴリズムでは、眼球回転中心座標(xe, ye)と眼球回転半径Reが事前に与えられているものとする。眼球回転中心座標(xe, ye)は、対象者の眼球を撮影する時点に決まるものであり、対象者の眼球を撮影した画像から求めることができる。その求め方(眼球回転中心座標算出アルゴリズム)は後述する。一方、眼球回転半径Reは、対象者の眼球を撮影する時点において決まるものではなく、撮影前一定期間において一定の値をとるものと考えられる。したがって、眼球の大きさ(すなわち、眼球回転半径Re)については、所定の計測器を用いて計測するなど別途の方法で撮影前に求めておけばよい。
以下、楕円プロファイル算出アルゴリズムについて説明する。
≪楕円プロファイル算出アルゴリズム≫
ステップ1:2つの点P1、点P2における楕円の接線の傾きθ1, θ2として適当な初期値を与える。例えば、上述の方法で求めた接線の傾きθ1, θ2を初期値として用いることができる。
ステップ2:点P1における楕円の接線と点P2における楕円の接線の交点Cの座標(xs, ys)を求める。具体的には、式(1)により求める。
ステップ3:式(4)を用いてRa=Rとなるハイパーパラメータα(ただし、|α|≦1)を求める。
ステップ4:ステップ3で求めたハイパーパラメータαを用いて、式(3)と式(8)により、偏角ψと長軸の長さに対する短軸の長さの比rの2乗r2を求める。また、式(2a)と式(2b)より、中心座標(xc, yc)を算出する。
ステップ5:ステップ4で求めた偏角ψと比rの2乗r2と中心座標(xc, yc)を用いて、次式で定義される非負コスト関数Costを計算する。
Figure 0007001042000015
式(12a)、式(12b)は、それぞれ式(9a)、式(9b)から導出されるコスト関数である。接線の傾きθ1, θ2が正しい値となる場合、式(12a)のコスト関数C1、式(12b)のコスト関数C2の値は、いずれも0となる。したがって、この場合、式(11)のコスト関数Costの値は0になる。
ステップ6:所定の終了条件を満たすか否かを判定する。当該終了条件を満たすか否かは非負コスト関数Costの値が十分0に近いか(つまり、所定の定数ε(>0)に対して、εより小さくなるかまたはε以下となるか)否かに対応するものである。例えば、非負コスト関数Costの値が十分0に近い値になった場合に処理を終了するという終了条件にしてもよい。あるいは、非負コスト関数Costの値が十分0に近い値になるか、所定の繰り返し回数に達するかいずれかを満たした場合に処理を終了するという終了条件にしてもよい。終了条件を満たす場合は、ステップ3で求めたハイパーパラメータαを用いて、中心座標(xc, yc)と偏角ψ、及び/または、長軸の長さRa、短軸の長さRbを算出し、出力して処理を終了する。中心座標(xc, yc)、偏角ψ、長軸の長さRa、短軸の長さRbは、式(2a)、式(2b)、式(3)、式(4)により算出すればよい。終了条件を満たさない場合は、点P1、点P2における楕円の接線の傾きθ1, θ2を更新し、ステップ2~5を繰り返す。
ステップ1~6は、ニュートン法や勾配法を用いて実行することができる。ニュートン法は関数f(x)に対してf(x)=0となるxを求める方法であり、勾配法は関数f(x)に対してf(x)が最小値をとるxを求める方法である。したがって、ニュートン法や勾配法を用いると、非負コスト関数Costが十分0に近い値になる(あるいは、最小値をとる)点P1、点P2における楕円の接線の傾きθ1, θ2を最適値として求めることになる。
次に、眼球回転中心座標算出アルゴリズムについて説明する。
≪眼球回転中心座標算出アルゴリズム≫
ステップ1:眼球回転中心座標(xe, ye)として適当な初期値を与える。
ステップ2:眼球回転中心座標は(xe, ye)であるとの仮定の下、楕円プロファイル算出アルゴリズムにより、虹彩を表す楕円の中心の位置を示す虹彩中心位置の時間変化Pxy(t)を得る。具体的には、まず、撮像された各行の画像(画素列)について、楕円プロファイル算出アルゴリズムを適用し、各行についての楕円プロファイルを推定することで、各行についての虹彩中心位置を得る。これを、与えられた画像のすべての行(虹彩が映り込んでいるすべての行)について行うことで、各行についての虹彩中心位置の系列が得られる。これを虹彩中心位置の時間変化Pxy(t)と呼ぶこととする。
ステップ3:ステップ2で求めた虹彩中心位置の時間変化Pxy(t)に対して、パラメータセットを様々に変えて所定の関数Pxy,model(t)でフィッティングする。この結果として得られるフィッティングコスト値をCsとする。具体的には、フィッティング処理は最適化手法(例えば、Ceres Solver)により行い、フィッティングコスト値Csは例えばPxy(t)と最適化された関数Pxy,model(t)との二乗誤差として求める。なお、局所解に陥ることを避けるため、パラメータセットの初期値はいくつかのパターンで与えることが望ましい。
所定の関数Pxy,model(t)は、眼球の動きをモデル化した関数であり、与えられた画像においてサッカードが発生している場合と発生していない場合で下記のように異なる。
(a)サッカードが発生している画像の場合
所定の関数Pxy,model(t)は、t>t0において
Figure 0007001042000016
と表され、t<t0において
Figure 0007001042000017
と表される。上記の式は、サッカードが起きている時間区間の虹彩中心位置の時系列が位置制御系のステップ応答としてモデル化できることに基づく。最適化の対象となるパラメータセットは{A, ζ, ωn, t0, y’0}である。ここで、y’0は虹彩中心位置の初期値、t0はサッカードの開始時刻、Aはサッカードの振幅、ζはサッカードの減衰係数、ωnはサッカードの固有角振動数を表す。ただし、tは時刻を表すインデックスである。振幅Aはサッカードによる眼球の動きが収束したときの移動量である。固有角振動数ωnはサッカードの応答の速さを表す指標に相当し、減衰係数ζはサッカードの応答の収束性を表す指標に相当する。なお、ωdは、
Figure 0007001042000018
として、減衰係数および固有角振動数から定まる値である。
(b)サッカードが発生していない画像の場合
所定の関数Pxy,model(t)は、
Figure 0007001042000019
と表される。ここで、y’0は虹彩中心位置の初期値、Vは虹彩中心位置の平均速度(トレンド)を表す。
ここで、与えられた画像においてサッカードが発生しているかどうかを判定するための方法は、下記の通りである。
[サッカード判定方法]
複数枚の画像について、ローリングシャッター効果を考慮せず、例えば、単純な楕円フィッティングにより、虹彩中心位置を計算する。ここで用いる複数枚の画像は、所定の画像を含むものであり、十分な数の画像の集合である。次に、複数枚の画像から得られた虹彩中心位置の時系列について1次階差系列を計算し、当該階差系列の平均値ms、標準偏差σsを求める。所定の画像に対応する1次階差系列の値Ps
Figure 0007001042000020
を満たす場合には、所定の画像の撮像中にサッカードが発生していたものと判定する。ここで、nsは定数で、取得された1次階差系列のノイズの程度に応じて、およそ6から8の値を用いることが望ましい。なお、取得された虹彩中心位置の情報にノイズが多く含まれると判定した場合などには、1次階差系列の計算にあたって適当な範囲での移動平均値を用いてもよい。
ステップ4:フィッティングコスト値Csが所定の閾値より小さくなる又は当該閾値以下となる場合は、現時点の眼球回転中心座標(xe, ye)を出力して処理を終了する。それ以外の場合は、眼球回転中心座標(xe, ye)を更新し、ステップ2以降の処理を繰り返す。
本発明では、ローリンシャッター方式を前提とするので、画像の行ごとに撮影時刻が異なる。つまり、ある行を撮影した時刻と次の行を撮影した時刻が異なり、その間に虹彩の位置が変動するので、各行について求めた虹彩中心位置の時系列データは、虹彩中心の時間的な変化(動き)を表すといえる。ステップ3では、ステップ2で求めた虹彩中心位置の時系列データを所定の関数でフィッティングする。したがって、ステップ4は、虹彩中心位置の時系列データ(つまり、楕円プロファイルの推定結果)の信頼性を判定する処理と言える。眼球(虹彩)の動きをモデル化した関数を所定の関数としてフィッティングを行ったときに、フィッティングの精度がよくない(フィッティングコスト値が所定の閾値より大きい場合)場合は、虹彩中心位置の時系列データの推定結果の信頼性が低い(眼球の動きとして妥当ではない)と考えられる。そこで、この場合は再度ステップ2に戻り、虹彩中心位置の推定からやり直しを行うのである。一方、フィッティング精度が高い(フィッティングコスト値が所定の閾値より小さい)場合は、虹彩中心位置の時系列データの推定結果の信頼性が高い(眼球の動きとして妥当である)と考えられるので、推定した眼球回転中心座標(xe, ye)を最終的な推定結果として出力する。
<第1実施形態>
以下、図4~図5を参照して、眼情報推定装置100を説明する。図4は、眼情報推定装置100の構成を示すブロック図である。図5は、眼情報推定装置100の動作を示すフローチャートである。図4に示すように眼情報推定装置100は、画像取得部110と、プロファイル決定情報取得部120と、眼情報算出部130と、記録部190を含む。記録部190は、眼情報推定装置100の処理に必要な情報を適宜記録する構成部である。例えば、記録部190は、事前に取得した眼球回転半径Reを記録しておく。
図5に従い眼情報推定装置100の動作について説明する。
[画像取得部110]
S110において、画像取得部110は、対象者の眼球を撮影した画像を取得し、出力する。ここで、画像撮影に用いるカメラは、スマートフォンのカメラのようなサンプリング周波数が比較的低いカメラを想定しているが、サンプリング周波数が高いカメラを用いてもよい。なお、カメラは、左右両方の眼球を撮影するように設定してもよいし、いずれか一方の眼球のみを撮影するように設定してもよい。以下では、一方の眼球のみを撮影するように設定しているものとする。
[プロファイル決定情報取得部120]
S120において、プロファイル決定情報取得部120は、S110で取得した画像を入力とし、当該画像に含まれる所定の行にある瞳孔または虹彩の外縁に対応する2つの点P1、点P2の座標(x1, y0), (x2, y0)と、瞳孔または虹彩の形状を楕円であると仮定した場合の当該楕円の長軸の長さRと、瞳孔または虹彩が拘束される3次元眼球回転系の眼球回転中心座標(xe, ye)とを取得し、出力する。なお、点P1、点P2の座標(x1, y0), (x2, y0)、長軸の長さR、眼球回転中心座標(xe, ye)の取得方法は、<技術的背景>で説明した方法を用いればよい。この場合、プロファイル決定情報取得部120は、眼球回転中心座標の値を仮定してS110で取得した画像の各行ごとに得られる虹彩中心位置の系列が、眼球の動きをモデル化した所定の関数により所定の精度でフィッティング可能となるときの眼球回転中心座標の値を、眼球回転中心座標(xe, ye)として取得することになる。
[眼情報算出部130]
S130において、眼情報算出部130は、S120で取得した点P1、点P2の座標(x1, y0), (x2, y0)、長軸の長さR、眼球回転中心座標(xe, ye)と、点P1、点P2における楕円の接線の傾きθ1, θ2と、眼球回転半径Reとを入力とし、瞳孔または虹彩の位置を表す楕円の中心座標(xc, yc)と偏角ψと、瞳孔または虹彩の大きさを表す楕円の長軸の長さRaと短軸の長さRbとを含む楕円プロファイルを算出し、当該楕円プロファイルのうち、少なくとも1つのプロファイルを出力する。ここで、点P1、点P2における楕円の接線の傾きθ1, θ2は、例えば、<技術的背景>で説明した方法により、S110で取得した画像から取得すればよく、接線の傾きθ1, θ2は、所定の行に隣接する行にある瞳孔または虹彩の外縁に対応する点の座標と、点P1、点P2の座標(x1, y0), (x2, y0)とから計算される値となる。この場合、S120において、プロファイル決定情報取得部120が、S110で取得した画像から接線の傾きθ1, θ2をあわせて取得するものとすればよい。
以下、図6~図7を参照して眼情報算出部130について説明する。図6は、眼情報算出部130の構成を示すブロック図である。図7は、眼情報算出部130の動作を示すフローチャートである。図6に示すように眼情報算出部130は、交点座標計算部131と、プロファイル算出部132、終了条件判定部133を含む。
[交点座標計算部131]
S131において、交点座標計算部131は、点P1、点P2の座標(x1, y0), (x2, y0)と点P1、点P2における楕円の接線の傾きθ1, θ2とから、これらの接線の交点Cの座標(xs, ys)を計算する。具体的には、式(1)により交点Cの座標(xs, ys)を計算する。
[プロファイル算出部132]
S132において、プロファイル算出部132は、点P1、点P2の座標(x1, y0), (x2, y0)と、S131で計算した交点Cの座標(xs, ys)と、長軸の長さRとから、ハイパーパラメータα(ただし、|α|≦1)を求めることにより、楕円の偏角ψと長軸の長さに対する短軸の長さの比rの2乗r2と楕円の中心座標(xc, yc)を算出する。以下、具体的に説明する。
まず、プロファイル算出部132は、点P1、点P2の座標(x1, y0), (x2, y0)と、交点Cの座標(xs, ys)とを用いて、ハイパーパラメータαを用いた長軸の長さRaの表現(つまり、式(4))を求める。
次に、プロファイル算出部132は、式(4)の長軸の長さRaの表現と長軸の長さRを用いて、ハイパーパラメータαを決定する。具体的には、式(4)の値がRとなるα(|α|≦1)を求めることになる。
そして、プロファイル算出部132は、上記決定したαを用いて、式(3)、式(8)より、偏角ψと比rの2乗r2をそれぞれ算出する。また、プロファイル算出部132は、上記決定したαを用いて、式(2a)、式(2b)より、中心座標(xc, yc)を算出する。
[終了条件判定部133]
S133において、終了条件判定部133は、S132で算出した楕円の偏角ψと比rの2乗r2と楕円の中心座標(xc, yc)と、眼球回転中心座標(xe, ye)と、眼球回転半径Reとから、所定の終了条件が満たされるか否かを判定する。終了条件が満たされる場合には、S132で決定したハイパーパラメータαを用いて算出される、楕円の中心座標(xc, yc)と偏角ψと楕円の長軸の長さRaと短軸の長さRbとを含む楕円プロファイルのうち、少なくとも1つのプロファイルを出力し、それ以外の場合は、点P1、点P2における楕円の接線の傾きθ1, θ2を所定の方法(例えば、ニュートン法)により更新し、当該更新した接線の傾きθ1, θ2を用いて、眼情報算出部130による処理を再帰的に実行する。つまり、眼情報算出部130は、S131以降の処理を繰り返す。その際、点P1、点P2の座標(x1, y0), (x2, y0)、長軸の長さR、眼球回転中心座標(xe, ye)についてはS120で取得した値を用い、眼球回転半径Reについては記録部190に記録されている値を用いる。
ここで、上記終了条件は、S132で算出した楕円の偏角ψと長軸の長さに対する短軸の長さの比rの2乗r2と楕円の中心座標(xc, yc)を用いて式(11)により計算される非負コスト関数Costの値が、所定の定数ε(>0)に対して、εより小さくなるまたはε以下となるという条件であり、3次元眼球回転系に関する仮定から導出される条件である。なお、非負コスト関数Costの値は、詳しくは、偏角ψと、比rの2乗r2と、中心座標(xc, yc)と、眼球回転中心座標(xe, ye)と、眼球回転半径Reとを用いて、式(11)により、計算することができる。
終了条件判定部133は、上記決定したハイパーパラメータαを用いて、式(2a)、式(2b)、式(3)より、楕円の中心座標(xc, yc)と偏角ψを算出すればよい。また、終了条件判定部133は、上記決定したハイパーパラメータαを用いて、式(4)より、楕円の長軸の長さRaと短軸の長さRbを算出すればよい。
以上より、眼情報算出部130は、眼球回転中心座標(xe, ye)と、眼球回転半径Reと、楕円プロファイルとを用いて当該楕円プロファイルの妥当性を表す非負コスト関数Costの値を計算し、当該非負コスト関数Costの値が所定の条件を満たすときの楕円プロファイルを出力対象となる楕円プロファイルとして算出する。
なお、左右両方の眼球を撮影した画像を用いる場合は、S120~S130までの処理を各眼球に対して実行するようにすればよい。
本実施形態の発明によれば、サンプリング周波数が低いカメラにより撮影された画像を用いて、実際のサンプリング周波数よりも細かい時間単位で瞳孔や虹彩に関する位置/大きさの情報を推定することが可能となる。
<補記>
本発明の装置は、例えば単一のハードウェアエンティティとして、キーボードなどが接続可能な入力部、液晶ディスプレイなどが接続可能な出力部、ハードウェアエンティティの外部に通信可能な通信装置(例えば通信ケーブル)が接続可能な通信部、CPU(Central Processing Unit、キャッシュメモリやレジスタなどを備えていてもよい)、メモリであるRAMやROM、ハードディスクである外部記憶装置並びにこれらの入力部、出力部、通信部、CPU、RAM、ROM、外部記憶装置の間のデータのやり取りが可能なように接続するバスを有している。また必要に応じて、ハードウェアエンティティに、CD-ROMなどの記録媒体を読み書きできる装置(ドライブ)などを設けることとしてもよい。このようなハードウェア資源を備えた物理的実体としては、汎用コンピュータなどがある。
ハードウェアエンティティの外部記憶装置には、上述の機能を実現するために必要となるプログラムおよびこのプログラムの処理において必要となるデータなどが記憶されている(外部記憶装置に限らず、例えばプログラムを読み出し専用記憶装置であるROMに記憶させておくこととしてもよい)。また、これらのプログラムの処理によって得られるデータなどは、RAMや外部記憶装置などに適宜に記憶される。
ハードウェアエンティティでは、外部記憶装置(あるいはROMなど)に記憶された各プログラムとこの各プログラムの処理に必要なデータが必要に応じてメモリに読み込まれて、適宜にCPUで解釈実行・処理される。その結果、CPUが所定の機能(上記、…部、…手段などと表した各構成要件)を実現する。
本発明は上述の実施形態に限定されるものではなく、本発明の趣旨を逸脱しない範囲で適宜変更が可能である。また、上記実施形態において説明した処理は、記載の順に従って時系列に実行されるのみならず、処理を実行する装置の処理能力あるいは必要に応じて並列的にあるいは個別に実行されるとしてもよい。
既述のように、上記実施形態において説明したハードウェアエンティティ(本発明の装置)における処理機能をコンピュータによって実現する場合、ハードウェアエンティティが有すべき機能の処理内容はプログラムによって記述される。そして、このプログラムをコンピュータで実行することにより、上記ハードウェアエンティティにおける処理機能がコンピュータ上で実現される。
この処理内容を記述したプログラムは、コンピュータで読み取り可能な記録媒体に記録しておくことができる。コンピュータで読み取り可能な記録媒体としては、例えば、磁気記録装置、光ディスク、光磁気記録媒体、半導体メモリ等どのようなものでもよい。具体的には、例えば、磁気記録装置として、ハードディスク装置、フレキシブルディスク、磁気テープ等を、光ディスクとして、DVD(Digital Versatile Disc)、DVD-RAM(Random Access Memory)、CD-ROM(Compact Disc Read Only Memory)、CD-R(Recordable)/RW(ReWritable)等を、光磁気記録媒体として、MO(Magneto-Optical disc)等を、半導体メモリとしてEEP-ROM(Electronically Erasable and Programmable-Read Only Memory)等を用いることができる。
また、このプログラムの流通は、例えば、そのプログラムを記録したDVD、CD-ROM等の可搬型記録媒体を販売、譲渡、貸与等することによって行う。さらに、このプログラムをサーバコンピュータの記憶装置に格納しておき、ネットワークを介して、サーバコンピュータから他のコンピュータにそのプログラムを転送することにより、このプログラムを流通させる構成としてもよい。
このようなプログラムを実行するコンピュータは、例えば、まず、可搬型記録媒体に記録されたプログラムもしくはサーバコンピュータから転送されたプログラムを、一旦、自己の記憶装置に格納する。そして、処理の実行時、このコンピュータは、自己の記憶装置に格納されたプログラムを読み取り、読み取ったプログラムに従った処理を実行する。また、このプログラムの別の実行形態として、コンピュータが可搬型記録媒体から直接プログラムを読み取り、そのプログラムに従った処理を実行することとしてもよく、さらに、このコンピュータにサーバコンピュータからプログラムが転送されるたびに、逐次、受け取ったプログラムに従った処理を実行することとしてもよい。また、サーバコンピュータから、このコンピュータへのプログラムの転送は行わず、その実行指示と結果取得のみによって処理機能を実現する、いわゆるASP(Application Service Provider)型のサービスによって、上述の処理を実行する構成としてもよい。なお、本形態におけるプログラムには、電子計算機による処理の用に供する情報であってプログラムに準ずるもの(コンピュータに対する直接の指令ではないがコンピュータの処理を規定する性質を有するデータ等)を含むものとする。
また、この形態では、コンピュータ上で所定のプログラムを実行させることにより、ハードウェアエンティティを構成することとしたが、これらの処理内容の少なくとも一部をハードウェア的に実現することとしてもよい。

Claims (6)

  1. 対象者の眼球を撮影した画像から、当該画像に含まれる所定の行の瞳孔または虹彩の外縁に対応する2つの点P1、点P2の座標(x1, y0), (x2, y0)と、瞳孔または虹彩の形状を楕円であると仮定した場合の当該楕円の長軸の長さRと、瞳孔または虹彩が拘束される3次元眼球回転系の眼球回転中心座標(xe, ye)とを取得するプロファイル決定情報取得部と、
    θ1, θ2を点P1、点P2における前記楕円の接線の傾き、Reを前記3次元眼球回転系の眼球回転半径とし、
    前記点P1、点P2の座標(x1, y0), (x2, y0)と、前記接線の傾きθ1, θ2と、前記長軸の長さRと、前記眼球回転中心座標(xe, ye)と、前記眼球回転半径Reとから、瞳孔または虹彩の位置を表す前記楕円の中心座標(xc, yc)と偏角ψと、瞳孔または虹彩の大きさを表す前記楕円の長軸の長さRaと短軸の長さRbとを含む楕円プロファイルを算出する眼情報算出部と
    を含む眼情報推定装置。
  2. 請求項1に記載の眼情報推定装置であって、
    前記眼情報算出部は、
    前記眼球回転中心座標(xe, ye)と、前記眼球回転半径Reと、楕円プロファイルとを用いて当該楕円プロファイルの妥当性を表す非負コスト関数Costの値を計算し、当該非負コスト関数Costの値が所定の条件を満たすときの楕円プロファイルを前記楕円プロファイルとして算出する
    ことを特徴とする眼情報推定装置。
  3. 請求項2に記載の眼情報推定装置であって、
    前記プロファイル決定情報取得部は、
    眼球回転中心座標の値を仮定して前記画像の各行ごとに得られる虹彩中心位置の系列が、眼球の動きをモデル化した所定の関数により所定の精度でフィッティング可能となるときの眼球回転中心座標の値を、前記眼球回転中心座標(xe, ye)として取得する
    ことを特徴とする眼情報推定装置。
  4. 請求項1に記載の眼情報推定装置であって、
    前記接線の傾きθ1, θ2は、前記所定の行に隣接する行の瞳孔または虹彩の外縁に対応する点の座標と、前記点P1、点P2の座標(x1, y0), (x2, y0)とから計算される値である
    ことを特徴とする眼情報推定装置。
  5. 眼情報推定装置が、対象者の眼球を撮影した画像から、当該画像に含まれる所定の行の瞳孔または虹彩の外縁に対応する2つの点P1、点P2の座標(x1, y0), (x2, y0)と、瞳孔または虹彩の形状を楕円であると仮定した場合の当該楕円の長軸の長さRと、瞳孔または虹彩が拘束される3次元眼球回転系の眼球回転中心座標(xe, ye)とを取得するプロファイル決定情報取得ステップと、
    θ1, θ2を点P1、点P2における前記楕円の接線の傾き、Reを前記3次元眼球回転系の眼球回転半径とし、
    前記眼情報推定装置が、前記点P1、点P2の座標(x1, y0), (x2, y0)と、前記接線の傾きθ1, θ2と、前記長軸の長さRと、前記眼球回転中心座標(xe, ye)と、前記眼球回転半径Reとから、瞳孔または虹彩の位置を表す前記楕円の中心座標(xc, yc)と偏角ψと、瞳孔または虹彩の大きさを表す前記楕円の長軸の長さRaと短軸の長さRbとを含む楕円プロファイルを算出する眼情報算出ステップと
    を含む眼情報推定方法。
  6. 請求項1ないし4のいずれか1項に記載の眼情報推定装置としてコンピュータを機能させるためのプログラム。
JP2018210346A 2018-11-08 2018-11-08 眼情報推定装置、眼情報推定方法、プログラム Active JP7001042B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2018210346A JP7001042B2 (ja) 2018-11-08 2018-11-08 眼情報推定装置、眼情報推定方法、プログラム
PCT/JP2019/041822 WO2020095708A1 (ja) 2018-11-08 2019-10-25 眼情報推定装置、眼情報推定方法、プログラム
US17/291,585 US12029491B2 (en) 2018-11-08 2019-10-25 Eye information estimate apparatus, eye information estimate method, and program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2018210346A JP7001042B2 (ja) 2018-11-08 2018-11-08 眼情報推定装置、眼情報推定方法、プログラム

Publications (2)

Publication Number Publication Date
JP2020074952A JP2020074952A (ja) 2020-05-21
JP7001042B2 true JP7001042B2 (ja) 2022-01-19

Family

ID=70611945

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018210346A Active JP7001042B2 (ja) 2018-11-08 2018-11-08 眼情報推定装置、眼情報推定方法、プログラム

Country Status (3)

Country Link
US (1) US12029491B2 (ja)
JP (1) JP7001042B2 (ja)
WO (1) WO2020095708A1 (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7180209B2 (ja) * 2018-08-30 2022-11-30 日本電信電話株式会社 眼情報推定装置、眼情報推定方法、プログラム
CN115294202B (zh) * 2022-10-08 2023-01-31 南昌虚拟现实研究院股份有限公司 瞳孔位置标注方法及系统
CN117809358B (zh) * 2023-12-26 2024-07-05 北京极溯光学科技有限公司 一种眼球自转角度的确定方法、装置、设备及存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004261212A (ja) 2003-02-03 2004-09-24 Topcon Corp 矯正データ測定装置、矯正データ測定プログラム、矯正データ測定プログラムを記録した記録媒体及び眼特性測定装置
JP2008264341A (ja) 2007-04-24 2008-11-06 Chube Univ 眼球運動計測方法および眼球運動計測装置
US20140268047A1 (en) 2013-03-15 2014-09-18 Drexel University Apparatus and method for assessing effects of drugs by recording ocular parameters
JP2017182739A (ja) 2016-03-31 2017-10-05 富士通株式会社 視線検出装置、視線検出方法及び視線検出用コンピュータプログラム

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2010011785A1 (en) * 2008-07-23 2010-01-28 Indiana University Research & Technology Corporation System and method for a non-cooperative iris image acquisition system
KR101991496B1 (ko) * 2014-02-04 2019-06-20 프라운호퍼 게젤샤프트 쭈르 푀르데룽 데어 안겐반텐 포르슝 에. 베. 허프 프로세서
US10782453B2 (en) * 2015-01-21 2020-09-22 Tesseland, Llc Display devices with reflectors
US11921302B2 (en) * 2018-04-27 2024-03-05 Tesseland Llc Human vision-adapted light field displays

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004261212A (ja) 2003-02-03 2004-09-24 Topcon Corp 矯正データ測定装置、矯正データ測定プログラム、矯正データ測定プログラムを記録した記録媒体及び眼特性測定装置
JP2008264341A (ja) 2007-04-24 2008-11-06 Chube Univ 眼球運動計測方法および眼球運動計測装置
US20140268047A1 (en) 2013-03-15 2014-09-18 Drexel University Apparatus and method for assessing effects of drugs by recording ocular parameters
JP2017182739A (ja) 2016-03-31 2017-10-05 富士通株式会社 視線検出装置、視線検出方法及び視線検出用コンピュータプログラム

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
渡辺 孝志 Takashi WATANABE,ハフ変換を用いた接線情報の抽出と欠損楕円の検出 Extraction of Tangent Information and Detection of Broken Ellipses Using Hough Transform,電子情報通信学会論文誌 (J82ーD-II) 第12号 THE TRANSACTIONS OF THE INSTITUTE OF ELECTRONICS,INFORMATION AND COMMUNICATION ENGINEERS D-II,日本,社団法人電子情報通信学会 THE INSTITUTE OF ELECTRONICS,INFORMATION AND COMMUNICATION ENGINEERS,第J82-D-II巻

Also Published As

Publication number Publication date
US20210393125A1 (en) 2021-12-23
WO2020095708A1 (ja) 2020-05-14
JP2020074952A (ja) 2020-05-21
US12029491B2 (en) 2024-07-09

Similar Documents

Publication Publication Date Title
JP7001042B2 (ja) 眼情報推定装置、眼情報推定方法、プログラム
Prabhu Automatic quantification of spinal curvature in scoliotic radiograph using image processing
WO2020045023A1 (ja) 眼情報推定装置、眼情報推定方法、プログラム
CN111612756A (zh) 冠状动脉特异性钙化检测方法及装置
KR101938361B1 (ko) X선 영상 내 체형 윤곽선 기반의 골격 상태 예측방법 및 프로그램
US11751764B2 (en) Measuring a posterior corneal surface of an eye
JP7139704B2 (ja) 集中度評価プログラム、装置、及び方法
Nyström et al. The amplitude of small eye movements can be accurately estimated with video-based eye trackers
Niu et al. Automated detection of foveal center in SD‐OCT images using the saliency of retinal thickness maps
JP6377545B2 (ja) 個人識別方法、個人識別装置、プログラム
JP2018120402A (ja) イベント検出装置、イベント検出方法、プログラム
JP2014203162A (ja) 傾斜角推定装置、mtf測定装置、傾斜角推定プログラム及びmtf測定プログラム
Maeda et al. Automatic measurement of the Cobb angle for adolescent idiopathic scoliosis using convolutional neural network
CN112528714B (zh) 基于单光源的注视点估计方法、系统、处理器及设备
Mönch et al. Interactive mesh smoothing for medical applications
CN109284002B (zh) 一种用户距离估算方法、装置、设备及存储介质
Höffner Gaze tracking using common webcams
FR3092423A1 (fr) Cartographie de saillance d&#39;images pendant une classification d&#39;images par intelligence artificielle
WO2024108438A1 (zh) 一种速度编码磁共振成像的运动伪影校正方法
JP2020086823A (ja) 動作評価装置、方法、及びプログラム
CN118096769B (zh) 一种视网膜oct图像的分析方法及装置
JP7107440B2 (ja) 学習データ生成装置、学習データ生成方法、プログラム
JP7415611B2 (ja) 計算プログラム、計算方法及び計算装置
US11416986B2 (en) Simulating visual field test from structural scans
JP2009063318A (ja) 距離計測装置及び距離計測方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210216

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20211124

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20211207

R150 Certificate of patent or registration of utility model

Ref document number: 7001042

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150