JP7180209B2 - 眼情報推定装置、眼情報推定方法、プログラム - Google Patents

眼情報推定装置、眼情報推定方法、プログラム Download PDF

Info

Publication number
JP7180209B2
JP7180209B2 JP2018161041A JP2018161041A JP7180209B2 JP 7180209 B2 JP7180209 B2 JP 7180209B2 JP 2018161041 A JP2018161041 A JP 2018161041A JP 2018161041 A JP2018161041 A JP 2018161041A JP 7180209 B2 JP7180209 B2 JP 7180209B2
Authority
JP
Japan
Prior art keywords
ellipse
coordinates
pupil
points
iris
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2018161041A
Other languages
English (en)
Other versions
JP2020031875A (ja
Inventor
惇 米家
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nippon Telegraph and Telephone Corp
Original Assignee
Nippon Telegraph and Telephone Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nippon Telegraph and Telephone Corp filed Critical Nippon Telegraph and Telephone Corp
Priority to JP2018161041A priority Critical patent/JP7180209B2/ja
Priority to US17/271,074 priority patent/US11941835B2/en
Priority to PCT/JP2019/031292 priority patent/WO2020045023A1/ja
Publication of JP2020031875A publication Critical patent/JP2020031875A/ja
Application granted granted Critical
Publication of JP7180209B2 publication Critical patent/JP7180209B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G06T7/0014—Biomedical image inspection using an image reference approach
    • G06T7/0016—Biomedical image inspection using an image reference approach involving temporal comparison
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/11—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for measuring interpupillary distance or diameter of pupils
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G06T7/62—Analysis of geometric attributes of area, perimeter, diameter or volume
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/19—Sensors therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30041—Eye; Retina; Ophthalmic

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Ophthalmology & Optometry (AREA)
  • Multimedia (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Geometry (AREA)
  • Human Computer Interaction (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Veterinary Medicine (AREA)
  • Animal Behavior & Ethology (AREA)
  • Biophysics (AREA)
  • Surgery (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)
  • Public Health (AREA)
  • Eye Examination Apparatus (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)

Description

本発明は、瞳孔や虹彩に関する位置／大きさの情報を推定する技術に関する。
瞳孔は、人が見ている領域の輝度や心理状態に応じて大きさが変化することが知られている。この瞳孔の大きさや位置の変化を用いることにより、例えば、音の顕著度合いを推定することができる（参考特許文献１）。
（参考特許文献１：特開２０１５－１３２７８３号公報）
参考特許文献１で用いた瞳孔の大きさや位置の変化の推定には、例えば、眼球運動計測器と呼ばれる専用の装置（非特許文献１）や非特許文献２に記載の方法を用いることができる。
tobii pro, [online], ［平成３０年６月６日検索］, インターネット<URL:https://www.tobiipro.com/ja/?gclid=EAIaIQobChMI9dzRgfq92wIVlYePCh2l1ge6EAAYASAAEgLqy_D_BwE> Nystrom, M., Hooge, I., Holmqvist, K. ,"Post-saccadic oscillations in eye movement data recorded with pupil-based eye trackers reflect motion of the pupil inside the iris", Vision Research, Vol.92, pp.59-66, 2013.
非特許文献１にあるような一般的な眼球運動計測器では、カメラで撮影した画像を用いて瞳孔の大きさを計測する。具体的には、撮影した画像から瞳孔のエッジ（外縁）を検出し、検出したエッジの点の集合に対して円フィッティングをかけることにより、瞳孔径及び瞳孔の中心位置を求める。そのため、撮影した画像中に瞳孔全体が含まれている必要があり、半瞬目のような状態では、瞳孔径が過小評価される上に、瞳孔の中心位置もずれるという問題がある。また、虹彩は通常上下が眼瞼に遮蔽されているため、市販の眼球運動計測器では検出することができない。
非特許文献２では、瞳孔の中心位置を基準として水平方向に走査することにより虹彩のエッジを検出した上で中心位置を求めているため、瞳孔中心と虹彩中心は垂直方向について常に同じ位置を出力する。そのため、非特許文献２の方法では垂直方向の位置情報については信頼することができない。また、そもそも水平方向の位置情報についても、虹彩の中心位置と瞳孔の中心位置が上下でずれている場合には、非特許文献２の方法では正確な情報が得られないという問題がある。
そこで本発明では、対象者の眼球を撮影した画像において瞳孔または虹彩の一部が隠れていたとしても、当該画像を用いて瞳孔や虹彩に関する位置／大きさの情報を推定することができる技術を提供することを目的とする。
本発明の一態様は、対象者の眼球を撮影した画像から、当該画像に含まれる所定の行の上にある瞳孔または虹彩の外縁に対応する２つの点P1、点P2の座標(x1, y0), (x2, y0)と、瞳孔または虹彩の形状を楕円であると仮定した場合の点P1、点P2における楕円の接線の傾きθ1, θ2とを取得するプロファイル決定情報取得部と、Rを前記楕円の長軸の長さとし、前記点P1、点P2の座標(x1, y0), (x2, y0)と、前記点P1、点P2における楕円の接線の傾きθ1, θ2と、前記楕円の長軸の長さRとを用いて、瞳孔または虹彩の位置を表す前記楕円の中心座標(xc, yc)と偏角ψ、及び／または、瞳孔または虹彩の大きさを表す前記楕円の短軸の長さRbを算出する眼情報算出部とを含む。
本発明によれば、対象者の眼球を撮影した画像において瞳孔または虹彩の一部が隠れていたとしても、当該画像を用いて瞳孔や虹彩に関する位置／大きさの情報を推定することが可能となる。
眼情報推定装置１００の構成の一例を示すブロック図。 眼情報推定装置１００の動作の一例を示すフローチャート。 隣接する２行の上にある瞳孔（虹彩）の外縁に対応する４つの点の一例を示す図。 眼情報算出部１３０の構成の一例を示すブロック図。 眼情報算出部１３０の動作の一例を示すフローチャート。
以下、本発明の実施の形態について、詳細に説明する。なお、同じ機能を有する構成部には同じ番号を付し、重複説明を省略する。
＜技術的背景＞
位置／大きさの情報を推定する対象は、瞳孔または虹彩とする。また、瞳孔や虹彩の位置／大きさの推定には、対象者の眼球を撮影した画像を用いる。推定に際して、撮影した画像中の瞳孔や虹彩の形状は楕円であると仮定する。したがって、瞳孔や虹彩の位置／大きさは、楕円の中心座標、偏角／長軸の長さ、短軸の長さとして推定されることになる。具体的には、対象者の眼球を撮影した画像に含まれる所定の行の上にある瞳孔または虹彩の外縁に対応する２つの点P1、点P2の座標とこれらの点における楕円（つまり、推定対象である瞳孔または虹彩を表す楕円）の接線の傾きから、楕円のプロファイルである中心座標、偏角、長軸の長さ、短軸の長さを推定する。その際、所定のサンプリング周波数で画像を撮影している間、長軸の長さは変化しないものと仮定する。つまり、当該画像から長軸の長さを取得できるものとする。以下、その長さをRとする。
以上より、瞳孔や虹彩の位置／大きさを推定する問題は、楕円上の点P1、点P2の座標(x1, y0), (x2, y0)と当該2点における楕円の接線の傾きθ1, θ2と楕円の長軸の長さRから楕円の中心座標(xc, yc)、偏角ψ、長軸の長さRa、短軸の長さRbを求める問題に帰着する（ただし、Ra=Rである）。
なお、対象者の眼球を撮影した画像から、点P1、点P2の座標(x1, y0), (x2, y0)、当該2点における楕円の接線の傾きθ1, θ2、楕円の長軸の長さRを求める方法については、後述する。
以下、上記問題を解く手順について説明する。一般に、２次元平面上の任意の位置にある楕円は、以下の方程式により表される。
Figure 0007180209000001
ここでは、上記問題を解くために、任意の位置にある楕円がx軸上の点(1, 0)、y軸上の点(0, 1)を通り、点(1, 0)においてx軸、点(0, 1)においてy軸に接する楕円に対応するように座標変換し、当該変換後の楕円が以下の式で表されることを用いて計算を行う。
Figure 0007180209000002
ここで、αのことをハイパーパラメータという。
以下、詳しく説明する。点P1における楕円の接線と点P2における楕円の接線の交点Cの座標(xs, ys)は、点P1、点P2の座標(x1, y0), (x2, y0)、当該2点における楕円の接線の傾きθ1, θ2を用いて次式により表せる。
Figure 0007180209000003
ここで、交点Cが点(0, 0)、点P1が点(1, 0)、点P2が点(0, 1)にそれぞれ対応するように座標系を変換して得られる楕円の方程式は、
Figure 0007180209000004
として、次式により表現できる。
Figure 0007180209000005
すると、楕円のプロファイル、つまり、中心座標(xc, yc)、偏角ψ、長軸の長さRa、短軸の長さRbは、ハイパーパラメータαを用いて、以下のように表現できる。
Figure 0007180209000006
ただし、
Figure 0007180209000007
である。ここで、式(4)中のRa,b 2は、Ra 2またはRb 2の意味であり、式(4)の右辺の値（つまり、±を用いて表される２つの値）のうち小さい方がRb 2、大きい方がRa 2であることを意味する。また、式(4)の右辺の平方根がRa, Rbとなる。
なお、長軸の長さに対する短軸の長さの比r(=Rb/Ra)も、ハイパーパラメータαを用いて以下のように表現することができる。
Figure 0007180209000008
以下、式(2a)と式(2b)をハイパーパラメータαを用いた中心座標(xc, yc)の表現という。同様に、式(3)をハイパーパラメータαを用いた偏角ψの表現、式(4)をハイパーパラメータαを用いた長軸の長さRaの表現、ハイパーパラメータαを用いた短軸の長さRbの表現、式(8)をハイパーパラメータαを用いた長軸の長さに対する短軸の長さの比rの表現という。また、ハイパーパラメータαのことを楕円プロファイルの表現に用いるハイパーパラメータともいう。
したがって、上記表現を用いれば、式(4)を用いてRa=Rとなるハイパーパラメータα（ただし、|α|≦1）を求めることにより、中心座標(xc, yc)、偏角ψ、短軸の長さRbを求めることができる。
＜第１実施形態＞
以下、図１～図２を参照して、眼情報推定装置１００を説明する。図１は、眼情報推定装置１００の構成を示すブロック図である。図２は、眼情報推定装置１００の動作を示すフローチャートである。図１に示すように眼情報推定装置１００は、画像取得部１１０と、プロファイル決定情報取得部１２０と、眼情報算出部１３０と、記録部１９０を含む。記録部１９０は、眼情報推定装置１００の処理に必要な情報を適宜記録する構成部である。
図２に従い眼情報推定装置１００の動作について説明する。
［画像取得部１１０］
Ｓ１１０において、画像取得部１１０は、対象者の眼球を撮影した画像を取得し、出力する。ここで、画像撮影に用いるカメラは、スマートフォンのカメラのようなサンプリング周波数が比較的低いカメラを想定しているが、サンプリング周波数が高いカメラを用いてもよい。なお、カメラは、左右両方の眼球を撮影するように設定してもよいし、いずれか一方の眼球のみを撮影するように設定してもよい。以下では、一方の眼球のみを撮影するように設定しているものとする。
［プロファイル決定情報取得部１２０］
Ｓ１２０において、プロファイル決定情報取得部１２０は、Ｓ１１０で取得した画像を入力とし、当該画像に含まれる所定の行の上にある瞳孔または虹彩の外縁に対応する２つの点P1、点P2の座標(x1, y0), (x2, y0)と、瞳孔または虹彩の形状を楕円であると仮定した場合の点P1、点P2における楕円の接線の傾きθ1, θ2と、当該楕円の長軸の長さRとをプロファイル決定情報として取得し、出力する。以下、点P1、点P2の座標(x1, y0), (x2, y0)、点P1、点P2における楕円の接線の傾きθ1, θ2、楕円の長軸の長さRを取得する方法について説明する。
点P1、点P2の座標(x1, y0), (x2, y0)は、例えば、参考非特許文献１に記載された方法を用いて瞳孔または虹彩の領域／境界を検出することにより、取得することができる。
（参考非特許文献１：Daugman, J, “Probing the uniqueness and randomness of IrisCodes: Results from 200 billion iris pair comparisons”, Proceedings of the IEEE, Vol.94, No.11, pp.1927-1935, 2006.）
点P1、点P2における楕円の接線の傾きθ1, θ2は、所定の行に隣接する行の上にある瞳孔または虹彩の外縁に対応する点の座標と、点P1、点P2の座標(x1, y0), (x2, y0)とを用いて取得することができる。具体的には、以下のようにして求める。まず、所定の行に隣接する行のうち、画像中、上側に位置する行の上にある瞳孔または虹彩の外縁に対応する２つの点P1’、点P2’の座標を(x1’, y0’), (x2’, y0’)とし、傾きθ1’, θ2’を次式により求める（図３参照）。
Figure 0007180209000009
同様に、所定の行に隣接する行のうち、画像中、下側に位置する行の上にある瞳孔または虹彩の外縁に対応する２つの点P1”、点P2”の座標を(x1”, y0”), (x2”, y0”)とし、傾きθ1”, θ2” を次式により求める。
Figure 0007180209000010
そして、傾きθ1, θ2を、傾きθ1’, θ2’, θ1”, θ2”を用いて次式により求める。
Figure 0007180209000011
つまり、傾きθ1, θ2は、所定の行に隣接する行のうち、画像中、上側に位置する行の上にある瞳孔または虹彩の外縁に対応する２つの点の座標と点P1、点P2の座標(x1, y0), (x2, y0)とを用いて計算した傾きと、所定の行に隣接する行のうち、画像中、下側に位置する行の上にある瞳孔または虹彩の外縁に対応する２つの点の座標と点P1、点P2の座標(x1, y0), (x2, y0)とを用いて計算した傾きの平均値として求められる。
楕円の長軸の長さRは、画像に含まれる瞳孔または虹彩の外縁に対して楕円フィッティングを行った結果として得られる長軸の長さとして取得する。
［眼情報算出部１３０］
Ｓ１３０において、眼情報算出部１３０は、Ｓ１２０で取得した点P1、点P2の座標(x1, y0), (x2, y0)、点P1、点P2における楕円の接線の傾きθ1, θ2、楕円の長軸の長さRを入力とし、点P1、点P2の座標(x1, y0), (x2, y0)と、点P1、点P2における楕円の接線の傾きθ1, θ2と、楕円の長軸の長さRとを用いて、瞳孔または虹彩の位置を表す楕円の中心座標(xc, yc)と偏角ψ、及び／または、瞳孔または虹彩の大きさを表す楕円の短軸の長さRbを算出し、楕円の中心座標(xc, yc)と偏角ψ、及び／または、楕円の長軸の長さRaと短軸の長さRbを出力する。なお、長軸の長さRaについては、入力された値Rを出力すればよい。
以下、図４～図５を参照して眼情報算出部１３０について説明する。図４は、眼情報算出部１３０の構成を示すブロック図である。図５は、眼情報算出部１３０の動作を示すフローチャートである。図４に示すように眼情報算出部１３０は、交点座標計算部１３１と、プロファイル算出部１３２を含む。
図５に従い眼情報算出部１３０の動作について説明する。
［交点座標計算部１３１］
Ｓ１３１において、交点座標計算部１３１は、点P1、点P2の座標(x1, y0), (x2, y0)と点P1、点P2における楕円の接線の傾きθ1, θ2とを用いて、これらの接線の交点Cの座標(xs, ys)を計算する。具体的には、式(1)により交点Cの座標(xs, ys)を計算する。
［プロファイル算出部１３２］
Ｓ１３２において、プロファイル算出部１３２は、点P1、点P2の座標(x1, y0), (x2, y0)と、Ｓ１３１で計算した交点Cの座標(xs, ys)とを用いて、ハイパーパラメータα(ただし、|α|≦1)を求めることにより、楕円の中心座標(xc, yc)と偏角ψ、及び／または、楕円の短軸の長さRbを算出する。以下、具体的に説明する。
まず、プロファイル算出部１３２は、点P1、点P2の座標(x1, y0), (x2, y0)と、交点Cの座標(xs, ys)とを用いて、ハイパーパラメータαを用いた長軸の長さRaの表現（つまり、式(4)）を求める。
次に、プロファイル算出部１３２は、式(4)の長軸の長さRaの表現と長軸の長さRを用いて、ハイパーパラメータαを決定する。具体的には、式(4)の値がRとなるα(|α|≦1)を求めることになる。なお、式(4)の値がRとなるαが|α|≦1を満たさない場合には、当該画像から瞳孔または虹彩の位置／大きさを推定することができない（推定不能）と判断し、以下説明するプロファイルの算出を行わないものとする。
そして、プロファイル算出部１３２は、上記決定したαを用いて、式(2a)、式(2b)、式(3)より、楕円の中心座標(xc, yc)と偏角ψを算出する。また、プロファイル算出部１３２は、上記決定したαを用いて、式(4)より、楕円の短軸の長さRbを算出する。なお、眼情報算出部１３０が、眼情報として瞳孔または虹彩の位置を表すプロファイルを出力する場合は、楕円の中心座標(xc, yc)と偏角ψのみを算出すればよいし、眼情報として瞳孔または虹彩の大きさを表すプロファイルを出力する場合は、楕円の短軸の長さRbのみを算出すればよい。
なお、左右両方の眼球を撮影した画像を用いる場合は、Ｓ１２０～Ｓ１３０までの処理を各眼球に対して実行するようにすればよい。
本実施形態の発明によれば、対象者の眼球を撮影した画像において瞳孔または虹彩の一部が隠れていたとしても、当該画像を用いて瞳孔や虹彩に関する位置／大きさの情報を推定することが可能となる。
＜変形例１＞
上述の説明では、長軸の長さRは画像から取得するものとして説明した。しかし、この方法に限らず、別の方法で長軸の長さRを求め、それを利用するようにしてもよい。例えば、成人の虹彩の大きさは時間的に大きく変化しないので、過去に既に虹彩の大きさを求めていてデータとして保有しているのであれば、カメラと眼球の距離に基づいて長軸の長さRの推定値を計算し、利用するようにしてもよい。この場合、例えば、長軸の長さRは記録部１９０に事前に記録しておくようにすればよい。
＜変形例２＞
上述の説明では、画像中の所定の一行に関するプロファイル決定情報からプロファイル（瞳孔または虹彩の位置／大きさを表すプロファイル）を算出するものとして説明したが、プロファイル算出方法はこの方法に限るものではない。例えば、同一画像中の（楕円（の一部）が含まれる）複数の行に対して、Ｓ１２０～Ｓ１３０までの処理を繰り返し実行することにより、複数のプロファイルを取得し、当該取得した複数のプロファイルから求めた代表値（例えば、平均値等）をプロファイルとして出力するようにしてもよい。
＜補記＞
本発明の装置は、例えば単一のハードウェアエンティティとして、キーボードなどが接続可能な入力部、液晶ディスプレイなどが接続可能な出力部、ハードウェアエンティティの外部に通信可能な通信装置（例えば通信ケーブル）が接続可能な通信部、ＣＰＵ（Central Processing Unit、キャッシュメモリやレジスタなどを備えていてもよい）、メモリであるＲＡＭやＲＯＭ、ハードディスクである外部記憶装置並びにこれらの入力部、出力部、通信部、ＣＰＵ、ＲＡＭ、ＲＯＭ、外部記憶装置の間のデータのやり取りが可能なように接続するバスを有している。また必要に応じて、ハードウェアエンティティに、ＣＤ－ＲＯＭなどの記録媒体を読み書きできる装置（ドライブ）などを設けることとしてもよい。このようなハードウェア資源を備えた物理的実体としては、汎用コンピュータなどがある。
ハードウェアエンティティの外部記憶装置には、上述の機能を実現するために必要となるプログラムおよびこのプログラムの処理において必要となるデータなどが記憶されている（外部記憶装置に限らず、例えばプログラムを読み出し専用記憶装置であるＲＯＭに記憶させておくこととしてもよい）。また、これらのプログラムの処理によって得られるデータなどは、ＲＡＭや外部記憶装置などに適宜に記憶される。
ハードウェアエンティティでは、外部記憶装置（あるいはＲＯＭなど）に記憶された各プログラムとこの各プログラムの処理に必要なデータが必要に応じてメモリに読み込まれて、適宜にＣＰＵで解釈実行・処理される。その結果、ＣＰＵが所定の機能（上記、…部、…手段などと表した各構成要件）を実現する。
本発明は上述の実施形態に限定されるものではなく、本発明の趣旨を逸脱しない範囲で適宜変更が可能である。また、上記実施形態において説明した処理は、記載の順に従って時系列に実行されるのみならず、処理を実行する装置の処理能力あるいは必要に応じて並列的にあるいは個別に実行されるとしてもよい。
既述のように、上記実施形態において説明したハードウェアエンティティ（本発明の装置）における処理機能をコンピュータによって実現する場合、ハードウェアエンティティが有すべき機能の処理内容はプログラムによって記述される。そして、このプログラムをコンピュータで実行することにより、上記ハードウェアエンティティにおける処理機能がコンピュータ上で実現される。
この処理内容を記述したプログラムは、コンピュータで読み取り可能な記録媒体に記録しておくことができる。コンピュータで読み取り可能な記録媒体としては、例えば、磁気記録装置、光ディスク、光磁気記録媒体、半導体メモリ等どのようなものでもよい。具体的には、例えば、磁気記録装置として、ハードディスク装置、フレキシブルディスク、磁気テープ等を、光ディスクとして、ＤＶＤ（Digital Versatile Disc）、ＤＶＤ－ＲＡＭ（Random Access Memory）、ＣＤ－ＲＯＭ（Compact Disc Read Only Memory）、ＣＤ－Ｒ（Recordable）／ＲＷ（ReWritable）等を、光磁気記録媒体として、ＭＯ（Magneto-Optical disc）等を、半導体メモリとしてＥＥＰ－ＲＯＭ（Electronically Erasable and Programmable-Read Only Memory）等を用いることができる。
また、このプログラムの流通は、例えば、そのプログラムを記録したＤＶＤ、ＣＤ－ＲＯＭ等の可搬型記録媒体を販売、譲渡、貸与等することによって行う。さらに、このプログラムをサーバコンピュータの記憶装置に格納しておき、ネットワークを介して、サーバコンピュータから他のコンピュータにそのプログラムを転送することにより、このプログラムを流通させる構成としてもよい。
このようなプログラムを実行するコンピュータは、例えば、まず、可搬型記録媒体に記録されたプログラムもしくはサーバコンピュータから転送されたプログラムを、一旦、自己の記憶装置に格納する。そして、処理の実行時、このコンピュータは、自己の記録媒体に格納されたプログラムを読み取り、読み取ったプログラムに従った処理を実行する。また、このプログラムの別の実行形態として、コンピュータが可搬型記録媒体から直接プログラムを読み取り、そのプログラムに従った処理を実行することとしてもよく、さらに、このコンピュータにサーバコンピュータからプログラムが転送されるたびに、逐次、受け取ったプログラムに従った処理を実行することとしてもよい。また、サーバコンピュータから、このコンピュータへのプログラムの転送は行わず、その実行指示と結果取得のみによって処理機能を実現する、いわゆるＡＳＰ（Application Service Provider）型のサービスによって、上述の処理を実行する構成としてもよい。なお、本形態におけるプログラムには、電子計算機による処理の用に供する情報であってプログラムに準ずるもの（コンピュータに対する直接の指令ではないがコンピュータの処理を規定する性質を有するデータ等）を含むものとする。
また、この形態では、コンピュータ上で所定のプログラムを実行させることにより、ハードウェアエンティティを構成することとしたが、これらの処理内容の少なくとも一部をハードウェア的に実現することとしてもよい。

Claims (5)

  1. 対象者の眼球を撮影した画像から、当該画像に含まれる所定の行の上にある瞳孔または虹彩の外縁に対応する２つの点P1、点P2の座標(x1, y0), (x2, y0)と、瞳孔または虹彩の形状を楕円であると仮定した場合の点P1、点P2における楕円の接線の傾きθ1, θ2とを取得するとともに当該画像に含まれる瞳孔または虹彩の外縁に対して楕円フィッティングを行うことにより前記楕円の長軸の長さRを取得するプロファイル決定情報取得部と、
    前記点P1、点P2の座標(x1, y0), (x2, y0)と、前記点P1、点P2における楕円の接線の傾きθ1, θ2と、前記楕円の長軸の長さRとを用いて、瞳孔または虹彩の位置を表す前記楕円の中心座標(xc, yc)と偏角ψ、及び／または、瞳孔または虹彩の大きさを表す前記楕円の短軸の長さRbを算出する眼情報算出部と
    を含む眼情報推定装置。
  2. 請求項１に記載の眼情報推定装置であって、
    前記眼情報算出部は、
    前記点P1、点P2の座標(x1, y0), (x2, y0)と、前記点P1、点P2における楕円の接線の傾きθ1, θ2とを用いて、これらの接線の交点Cの座標(xs, ys)を計算する交点座標計算部と、
    前記点P1、点P2の座標(x1, y0), (x2, y0)と、前記交点Cの座標(xs, ys)とを用いて、ハイパーパラメータα(ただし、|α|≦1)を求めることにより、前記楕円の中心座標(xc, yc)と偏角ψ、及び／または、前記楕円の短軸の長さRbを算出するプロファイル算出部とを含む
    ことを特徴とする眼情報推定装置。
  3. 請求項１または２に記載の眼情報推定装置であって、
    前記プロファイル決定情報取得部は、
    前記所定の行に隣接する行の上にある瞳孔または虹彩の外縁に対応する点の座標と、前記点P1、点P2の座標(x1, y0), (x2, y0)とを用いて、前記点P1、点P2における楕円の接線の傾きθ1, θ2を取得する
    ことを特徴とする眼情報推定装置。
  4. 眼情報推定装置が、対象者の眼球を撮影した画像から、当該画像に含まれる所定の行の上にある瞳孔または虹彩の外縁に対応する２つの点P1、点P2の座標(x1, y0), (x2, y0)と、瞳孔または虹彩の形状を楕円であると仮定した場合の点P1、点P2における楕円の接線の傾きθ1, θ2とを取得するとともに当該画像に含まれる瞳孔または虹彩の外縁に対して楕円フィッティングを行うことにより前記楕円の長軸の長さRを取得するプロファイル決定情報取得ステップと、
    前記眼情報推定装置が、前記点P1、点P2の座標(x1, y0), (x2, y0)と、前記点P1、点P2における楕円の接線の傾きθ1, θ2と、前記楕円の長軸の長さRとを用いて、瞳孔または虹彩の位置を表す前記楕円の中心座標(xc, yc)と偏角ψ、及び／または、瞳孔または虹彩の大きさを表す前記楕円の短軸の長さRbを算出する眼情報算出ステップと
    を含む眼情報推定方法。
  5. 請求項１ないし３のいずれか１項に記載の眼情報推定装置としてコンピュータを機能させるためのプログラム。
JP2018161041A 2018-08-30 2018-08-30 眼情報推定装置、眼情報推定方法、プログラム Active JP7180209B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2018161041A JP7180209B2 (ja) 2018-08-30 2018-08-30 眼情報推定装置、眼情報推定方法、プログラム
US17/271,074 US11941835B2 (en) 2018-08-30 2019-08-08 Eye information estimate apparatus, eye information estimate method, and program
PCT/JP2019/031292 WO2020045023A1 (ja) 2018-08-30 2019-08-08 眼情報推定装置、眼情報推定方法、プログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2018161041A JP7180209B2 (ja) 2018-08-30 2018-08-30 眼情報推定装置、眼情報推定方法、プログラム

Publications (2)

Publication Number Publication Date
JP2020031875A JP2020031875A (ja) 2020-03-05
JP7180209B2 true JP7180209B2 (ja) 2022-11-30

Family

ID=69644890

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018161041A Active JP7180209B2 (ja) 2018-08-30 2018-08-30 眼情報推定装置、眼情報推定方法、プログラム

Country Status (3)

Country Link
US (1) US11941835B2 (ja)
JP (1) JP7180209B2 (ja)
WO (1) WO2020045023A1 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7349388B2 (ja) 2020-02-27 2023-09-22 大王製紙株式会社 包装シート、及び包装吸収性物品
CN115359548B (zh) * 2022-07-22 2023-07-18 吉林大学第一医院 一种手持式智能瞳孔检测装置及检测方法

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5471542A (en) * 1993-09-27 1995-11-28 Ragland; Richard R. Point-of-gaze tracker
JPH09313447A (ja) * 1996-06-02 1997-12-09 Topcon Corp 眼底疾患に関する解析装置
JP3975892B2 (ja) * 2002-05-02 2007-09-12 富士ゼロックス株式会社 位置計測システム
WO2004069044A1 (ja) * 2003-02-03 2004-08-19 Kabushiki Kaisha Topcon 眼科データ測定装置、眼科データ測定プログラム及び眼特性測定装置
EP1842152B1 (en) * 2005-01-26 2011-01-05 Honeywell International Inc. A distance iris recognition system
US7668337B2 (en) * 2005-12-14 2010-02-23 Denso Corporation Ellipsoid detecting method, figure center detecting method, image recognizing device, and controller based on image
JP5158842B2 (ja) * 2007-04-24 2013-03-06 学校法人中部大学 眼球運動計測方法および眼球運動計測装置
JP5578603B2 (ja) * 2009-12-04 2014-08-27 国立大学法人佐賀大学 視線制御装置、視線制御方法、及びそのプログラム
US8879801B2 (en) * 2011-10-03 2014-11-04 Qualcomm Incorporated Image-based head position tracking method and system
US9301678B2 (en) * 2013-03-15 2016-04-05 Drexel University Apparatus and method for assessing effects of drugs by recording ocular parameters
US20150029322A1 (en) * 2013-07-23 2015-01-29 Qualcomm Incorporated Method and computations for calculating an optical axis vector of an imaged eye
KR20160094190A (ko) * 2015-01-30 2016-08-09 한국전자통신연구원 시선 추적 장치 및 방법
JP6685151B2 (ja) * 2016-03-08 2020-04-22 株式会社トプコン 眼科装置
JP2017182739A (ja) * 2016-03-31 2017-10-05 富士通株式会社 視線検出装置、視線検出方法及び視線検出用コンピュータプログラム
US10417495B1 (en) * 2016-08-08 2019-09-17 Google Llc Systems and methods for determining biometric information
EP3305176A1 (en) * 2016-10-04 2018-04-11 Essilor International Method for determining a geometrical parameter of an eye of a subject
JP6930223B2 (ja) * 2017-05-31 2021-09-01 富士通株式会社 瞳孔検出用コンピュータプログラム、瞳孔検出装置及び瞳孔検出方法
CN109429060B (zh) * 2017-07-07 2020-07-28 京东方科技集团股份有限公司 瞳孔距离测量方法、可穿戴眼部设备及存储介质
CN107357429B (zh) * 2017-07-10 2020-04-07 京东方科技集团股份有限公司 用于确定视线的方法、设备和计算机可读存储介质
JP7001042B2 (ja) * 2018-11-08 2022-01-19 日本電信電話株式会社 眼情報推定装置、眼情報推定方法、プログラム

Also Published As

Publication number Publication date
JP2020031875A (ja) 2020-03-05
US11941835B2 (en) 2024-03-26
US20210319583A1 (en) 2021-10-14
WO2020045023A1 (ja) 2020-03-05

Similar Documents

Publication Publication Date Title
Wang et al. Big data requirements for artificial intelligence
Sardjono et al. Automatic Cobb angle determination from radiographic images
Kibria et al. Gluenet: Ultrasound elastography using convolutional neural network
US10621759B2 (en) Beautifying freeform drawings using transformation adjustments
US20200234444A1 (en) Systems and methods for the analysis of skin conditions
US20160260208A1 (en) Direct computation of image-derived biomarkers
US9767562B2 (en) Image processing apparatus, image processing method and storage medium
JP7180209B2 (ja) 眼情報推定装置、眼情報推定方法、プログラム
US20120319817A1 (en) Biometric information processing apparatus and biometric information processing method
US9916425B2 (en) Medical diagnosis support device, medical diagnosis support method, and information processing method
JP7001042B2 (ja) 眼情報推定装置、眼情報推定方法、プログラム
Wang et al. Task model-specific operator skill assessment in routine fetal ultrasound scanning
JP6713422B2 (ja) 学習装置、イベント検出装置、学習方法、イベント検出方法、プログラム
Gu et al. Review of visualization approaches in deep learning models of glaucoma
JP6781417B2 (ja) 患者間脳レジストレーション
JP2017096656A (ja) 姿勢計測装置、方法及びプログラム
JP2017167987A (ja) 判定装置、および判定方法
WO2021233188A1 (zh) 三维超声造影图像的超分辨重建方法及装置
Liu et al. A new approach for measurement of pitch, roll and yaw angles based on a circular feature
US10831992B2 (en) Determining a reading speed based on user behavior
Åkesson et al. Deep learning can yield clinically useful right ventricular segmentations faster than fully manual analysis
US20220414225A1 (en) Systems, apparatus, and methods for embedded opt-in permission for an artifical intelligence service
Nakarai et al. Automatic calculation of cervical spine parameters using deep learning: development and validation on an external dataset
WO2023005341A1 (zh) 一种姿态估计方法、装置、设备及介质
US11451887B1 (en) Systems, apparatus, and methods for providing filtered sets of sensor data

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210406

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220524

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220617

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20221018

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20221031

R150 Certificate of patent or registration of utility model

Ref document number: 7180209

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150