JP7255436B2 - 眼球構造推定装置 - Google Patents

眼球構造推定装置 Download PDF

Info

Publication number
JP7255436B2
JP7255436B2 JP2019174079A JP2019174079A JP7255436B2 JP 7255436 B2 JP7255436 B2 JP 7255436B2 JP 2019174079 A JP2019174079 A JP 2019174079A JP 2019174079 A JP2019174079 A JP 2019174079A JP 7255436 B2 JP7255436 B2 JP 7255436B2
Authority
JP
Japan
Prior art keywords
center
eyeball
coordinate system
camera coordinate
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2019174079A
Other languages
English (en)
Other versions
JP2021049130A (ja
Inventor
真一 小島
善之 山田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toyota Central R&D Labs Inc
Aisin Corp
Original Assignee
Aisin Seiki Co Ltd
Toyota Central R&D Labs Inc
Aisin Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Aisin Seiki Co Ltd, Toyota Central R&D Labs Inc, Aisin Corp filed Critical Aisin Seiki Co Ltd
Priority to JP2019174079A priority Critical patent/JP7255436B2/ja
Priority to US16/817,697 priority patent/US20210085174A1/en
Publication of JP2021049130A publication Critical patent/JP2021049130A/ja
Application granted granted Critical
Publication of JP7255436B2 publication Critical patent/JP7255436B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/107—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for determining the shape or measuring the curvature of the cornea
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/0016—Operational features thereof
    • A61B3/0025—Operational features thereof characterised by electronic signal processing, e.g. eye models
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/113—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for determining or recording eye movement
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/14—Arrangements specially adapted for eye photography
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/14—Arrangements specially adapted for eye photography
    • A61B3/15—Arrangements specially adapted for eye photography with means for aligning, spacing or blocking spurious reflection ; with means for relaxing
    • A61B3/152—Arrangements specially adapted for eye photography with means for aligning, spacing or blocking spurious reflection ; with means for relaxing for aligning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30041—Eye; Retina; Ophthalmic

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Biomedical Technology (AREA)
  • Ophthalmology & Optometry (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Biophysics (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)
  • Human Computer Interaction (AREA)
  • Geometry (AREA)
  • Eye Examination Apparatus (AREA)
  • User Interface Of Digital Computer (AREA)

Description

本発明は、眼球構造推定装置に係り、特に、顔を撮像した画像から、眼球のパラメータを推定する眼球構造推定装置に関する。
従来より、個人キャリブレーションにおいて１点を注視する、視線計測法が知られている（非特許文献１）。
また、眼球モデルの初期パラメータから始めて、パラメータを変更しては角膜反射像と虹彩輪郭の適合度を評価し、適合度が閾値以下になるまでパラメータ変更を繰り返す視線検出用コンピュータプログラムが知られている（特許文献１）。
また、眼球モデルの初期パラメータから始めて、複数時刻の虹彩領域画像を用いて非線形最適化で構造パラメータを求める、眠気レベルの推定装置が知られている（特許文献２）。
また、座標が既知のターゲットを見たことを利用する補正値算出装置が知られている（特許文献３）。この補正値算出装置では、視線ベクトルの並進とスケールを補正する。
また、予め、構造パラメータが異なる複数眼球モデルを用意しておき、瞳の観測に合うモデルを選択する視線検出装置が知られている（特許文献４）。
大野健彦，"１点キャリブレーションによる視線計測とその応用"、社団法人情報処理学会研究報告、２００６－ＨＩ－１１７（１０）、２００６年１月
特開２０１８－１２０２９９号公報 特開２０１３－２０２２７３号公報 特許第０５５６０８５８号公報 特許第０４８２９１４１号公報
上記非特許文献１では、２箇所のＬＥＤを離して設置する必要があり、装置が大型化する。また、２箇所の角膜反射像の観測が必要である。
上記特許文献１では、パラメータを変更しては適合度を評価し、適合度が閾値以下になるまで繰り返す方式であるため、探索に時間がかかる。
上記特許文献２では、虹彩中心の投影位置を計算する際に角膜屈折を考慮していないため、誤差が大きい。パラメータを変更しては適合度を評価し、適合度が閾値以下になるまで繰り返す方式であるため、探索に時間がかかる。
上記特許文献３では、座標が既知の対象を確実に見たと判断するのが難しい。
上記特許文献４では、予め用意した複数モデルとの比較で構造パラメータを選択する方式であるため、探索に時間がかかる。
本発明は、上記の問題点を解決するためになされたもので、簡易な構成で、視線計測のために、眼球の構造パラメータを精度良く求めることができる眼球構造推定装置を提供することを目的とする。
上記の目的を達成するために本発明に係る眼球構造推定装置は、被観察者の顔を撮像する撮像部と、前記被観察者の目に対して光を照射する光照射部と、前記撮像部によって撮像された前記顔を表す顔画像上の目の瞳孔中心位置から、眼球の構造パラメータを用いて、前記顔画像上の角膜反射像の画像座標を推定する角膜反射像推定部と、前記顔画像上の目の角膜反射像の位置から、前記眼球の構造パラメータを用いて、前記顔画像上の瞳孔中心の画像座標を推定する瞳孔推定部と、前記眼球の構造パラメータを含む状態ベクトルを予測する事前予測部と、前記角膜反射像推定部によって推定された前記顔画像上の角膜反射像の画像座標、及び前記瞳孔推定部によって推定された前記顔画像上の瞳孔中心の画像座標を含む観測ベクトルと、前記事前予測部によって予測された前記状態ベクトルと、前記状態ベクトルを用いて前記観測ベクトルを表す観測方程式とから、前記状態ベクトルを推定する状態推定部と、を含んで構成されている。
本発明によれば、簡易な構成で、視線計測のために、眼球の構造パラメータを精度良く求めることができる。
上記本発明に係る眼球構造推定装置において、前記観測ベクトルは、前記角膜反射像推定部によって前記顔画像上の角膜反射像の画像座標を推定する際に計算される視線ベクトルを更に含むようにすることができる。
上記本発明に係る眼球構造推定装置において、前記眼球の構造パラメータは、眼球の角膜曲率半径、眼球の角膜曲率中心と瞳孔中心との距離、及び前記角膜曲率中心と眼球中心との距離を含むようにすることができる。
上記本発明に係る眼球構造推定装置において、前記撮像部と前記光照射部との位置関係、前記撮像部と前記目との位置関係、及び前記撮像部に関するパラメータが、前記撮像部の撮像方向と前記光照射部の光照射方向とが同軸であるとみなすための予め定められた制約条件を満たすようにすることができる。
上記本発明に係る眼球構造推定装置において、前記角膜反射像推定部は、前記撮像部によって撮像された前記顔を表す顔画像から、カメラ座標系における眼球中心の３次元座標を推定するカメラ座標系眼球中心座標計算部と、前記顔画像上の目の瞳孔中心位置から、カメラ座標系における見かけの瞳孔中心の３次元座標を推定する瞳孔中心計算部と、前記カメラ座標系における眼球中心の３次元座標と、前記カメラ座標系における見かけの瞳孔中心の３次元座標とに基づいて、前記カメラ座標系において、前記眼球中心の３次元位置から瞳孔中心の３次元位置へ向かう３次元の光軸ベクトルを計算する眼球位置姿勢推定部と、前記カメラ座標系における眼球中心の３次元座標と、前記光軸ベクトルと、予め定められた３次元眼球モデルとに基づいて、カメラ座標系における角膜反射像の３次元座標を求める角膜反射像計算部と、前記カメラ座標系における角膜反射像の３次元座標から、前記顔画像上の角膜反射像の画像座標を推定する画像座標計算部と、を含むようにすることができる。
また、上記本発明に係る眼球構造推定装置において、前記眼球位置姿勢推定部は、前記カメラ座標系における見かけの瞳孔中心の３次元座標と前記カメラ座標系における眼球中心の３次元座標とを結んだ線分と、前記カメラ座標系における眼球中心の３次元座標と前記撮像部の３次元座標とを結んだ線分とのなす角を算出し、前記なす角に対応して予め定められた角度補正量を取得し、前記カメラ座標系における眼球中心の３次元座標と前記カメラ座標系における見かけの瞳孔中心の３次元座標とを結んだベクトルと、前記取得した前記角度補正量と、前記算出した前記なす角と、前記カメラ座標系における眼球中心の３次元座標とに基づいて、前記カメラ座標系において、前記眼球中心の３次元位置から瞳孔中心の３次元位置へ向かう３次元の光軸ベクトルを計算するようにすることができる。
上記本発明に係る眼球構造推定装置において、前記瞳孔推定部は、前記撮像部によって撮像された前記顔を表す顔画像から、カメラ座標系における眼球中心の３次元座標を推定するカメラ座標系眼球中心座標計算部と、前記顔画像上の目の角膜反射像の位置から、カメラ座標系における角膜反射像の３次元座標を推定する角膜反射像計算部と、前記カメラ座標系における眼球中心の３次元座標と、前記カメラ座標系における角膜反射像の３次元座標とに基づいて、前記カメラ座標系において、前記眼球中心の３次元位置から角膜曲率中心の３次元位置へ向かう３次元の光軸ベクトルを計算する眼球位置姿勢推定部と、前記カメラ座標系における眼球中心の３次元座標と、前記光軸ベクトルと、予め定められた３次元眼球モデルとに基づいて、カメラ座標系における見かけの瞳孔中心の３次元座標を求める瞳孔中心計算部と、前記カメラ座標系における見かけの瞳孔中心の３次元座標から、前記顔画像上の瞳孔中心の画像座標を推定する画像座標計算部と、を含むようにすることができる。
また、上記本発明に係る眼球構造推定装置において、前記瞳孔中心計算部は、前記光軸ベクトルと、前記カメラ座標系における眼球中心の３次元座標とに基づいて、前記カメラ座標系における眼球中心の３次元座標と前記カメラ座標系の角膜曲率中心の３次元座標とを結んだ線分と、前記カメラ座標系における眼球中心の３次元座標と前記撮像部の３次元座標とを結んだ線分とのなす角を算出し、前記算出された前記なす角に対応して予め定められた角度補正量を取得し、前記カメラ座標系における眼球中心の３次元座標と、前記光軸ベクトルと、前記角度補正量とに基づいて、前記カメラ座標系における眼球中心の３次元座標と前記カメラ座標系における見かけの瞳孔中心の３次元座標とを結んだベクトルを算出し、前記算出されたベクトルと、前記カメラ座標系における眼球中心の３次元座標と、予め定められた３次元眼球モデルとに基づいて、カメラ座標系における見かけの瞳孔中心の３次元座標を求めるようにすることができる。
以上説明したように、本発明の眼球構造推定装置によれば、簡易な構成で、視線計測のために、眼球の構造パラメータを精度良く求めることができる、という効果が得られる。
三次元眼球モデルと構造パラメータを示す図である。 本発明の実施の形態に係る視線計測装置の構成を示すブロック図である。 照射部と画像撮像部の配置を示す図である。 照射部と画像撮像部と目の位置関係を示す図である。 本発明の実施の形態に係る視線計測装置の角膜反射像推定部の構成を示すブロック図である。 各種座標系を説明するための図である。 三次元眼球モデルと画像撮像部との位置関係を示す図である。 本発明の実施の形態に係る視線計測装置の瞳孔推定部の構成を示すブロック図である。 本発明の実施の形態に係る視線計測装置の構造パラメータ推定部の構成を示すブロック図である。 本発明の実施の形態に係る視線計測装置における視線計測処理ルーチンの内容を示すフローチャートである。 本発明の実施の形態に係る視線計測装置における角膜反射像推定処理ルーチンの内容を示すフローチャートである。 本発明の実施の形態に係る視線計測装置における瞳孔推定処理ルーチンの内容を示すフローチャートである。
以下、図面を参照して本発明の実施の形態を詳細に説明する。なお、本実施の形態では、撮像された顔画像から、視線ベクトルを推定する視線計測装置に本発明を適用した場合を例に説明する。
＜本発明の実施の形態の概要＞
従来技術では、座標が既知の三次元対象を被観察者に見てもらうことにより視線ベクトルのキャリブレーションを行い、個人差に起因する誤差を吸収しており、三次元眼球モデルの構造パラメータの推定を行っていない。しかし、このキャリブレーションの手続きに手間がかかる。
そこで、本発明の実施の形態では、明示的なキャリブレーションの手続きを行わず、時系列の視線計測プロセスの中で三次元眼球モデルの構造パラメータを推定する。
ここで、眼球中心座標ｅを推定する技術がある（特開２０１９－０００１３６号公報）。この技術では、顔モデル座標系における眼球中心座標ｅｍが不動点になり、時間変化しないことを利用している。
また、ｅｍ＝ｆ（観測変数）の形で立式できるため、時間方向の最小二乗法により式を解いている。
本実施の形態の推定対象は、眼球の構造パラメータであり、座標系によらず時間変化しない。ただし、状態変数＝ｆ（観測変数）の形に変形できないため、最小二乗法は適用できない。
その代わり、観測変数＝ｆ（状態変数）の形の立式が可能であることが分かった。よって、ｆ（）が状態変数で偏微分可能なことを示し、カルマンフィルタによる固定パラメータ推定問題として解くことにより、構造パラメータを推定する。
図１に示すように、三次元眼球モデルは、２つの球からなり、本実施の形態で推定する構造パラメータは、角膜曲率半径ｒ、角膜曲率中心と瞳孔中心との距離ｓ、及び角膜曲率中心と眼球中心との距離ｕである。
＜視線計測装置の構成＞
図２に示すように、本発明の実施の形態に係る視線計測装置１０は、対象とする被験者の顔を含む画像を撮像するＣＣＤカメラ等からなる画像撮像部１２と、被験者の目に対して光を照射する照射部１３と、画像処理を行うコンピュータ１４と、ＣＲＴ等で構成された出力部１６とを備えている。
画像撮像部１２は、１つのカメラであり、照射部１３は、例えば、１つの近赤外ＬＥＤである。本実施の形態では、画像撮像部１２の撮像方向と照射部１３の照射方向とが同軸ではないが、同軸とみなされるように配置されている（図３）。具体的には、以下の式（１）に示す制約条件を満たす配置となっている（図４）。なお、式（１）を満たした上で、２つの近赤外ＬＥＤをカメラの左右両側に配置してもよい。
Figure 0007255436000001
（１）
ただし、Ｌは、画像撮像部１２から角膜曲率中心へ向かう直線と角膜との交点と、画像撮像部１２との間の距離であり、ｒは、角膜曲率半径であり、ｆは、画像撮像部１２のピクセル単位の焦点距離である。
コンピュータ１４は、ＣＰＵ、後述する視線計測処理ルーチンのプログラムを記憶したＲＯＭ、データ等を記憶するＲＡＭ、及びこれらを接続するバスを含んで構成されている。このコンピュータ１４をハードウェアとソフトウェアとに基づいて定まる機能実現手段毎に分割した機能ブロックで説明すると、図２に示すように、コンピュータ１４は、画像撮像部１２から出力される濃淡画像である顔画像を入力する画像入力部２０と、画像入力部２０の出力である顔画像の時系列から、角膜反射像の画像座標の時系列を推定する角膜反射像推定部２２と、画像入力部２０の出力である顔画像の時系列から、瞳孔中心の画像座標の時系列を推定する瞳孔推定部２４と、角膜反射像の画像座標の時系列と、瞳孔中心の画像座標の時系列とから、眼球の構造パラメータを推定する構造パラメータ推定部２８とを備えている。
画像入力部２０は、例えば、Ａ／Ｄコンバータや１画面の画像データを記憶する画像メモリ等で構成される。
角膜反射像推定部２２は、図５に示すように、カメラ座標系眼球中心座標計算部３０と、見かけの瞳孔中心計算部３２と、眼球モデル記憶部３４と、眼球位置姿勢推定部３６と、カメラ座標系角膜反射像計算部４０と、角膜反射像画像座標計算部４２とを備えている。
カメラ座標系眼球中心座標計算部３０は、以下のように、顔画像から、図６に示すカメラ座標系における眼球中心の３次元座標を推定する。
まず、予め、図６に示す顔モデル座標系における眼球中心（点Ｅ）の３次元座標
Figure 0007255436000002

を求めておく（図７参照）。
例えば、顔画像の角膜反射像から計算した角膜曲率中心と瞳孔中心を使って視線を計算し、計算した視線を用いて、眼球モデル座標系における眼球中心の３次元座標を推定する。
そして、カメラ座標系における顔モデル座標系の位置姿勢（回転並進ベクトル）を求める。
例えば、現在の顔画像に顔モデルをフィッティングさせることで、カメラ座標系に対する顔モデル座標系の現在の回転行列Ｒと並進ベクトルｔを求める。
そして、求めた回転並進ベクトルにより、顔モデル座標系における眼球中心の３次元座標をカメラ座標系における眼球中心の３次元座標に変換する。
具体的には、カメラ座標系における現在の眼球中心の３次元座標ｅを、以下の式に従って計算する。
Figure 0007255436000003
（２）
見かけの瞳孔中心計算部３２は、以下に説明するように、顔画像上の目の瞳孔中心位置から、カメラ座標系における見かけの瞳孔中心の３次元座標を推定する。
まず、顔画像から、瞳孔中心を検出し、図６に示す画像座標系における瞳孔中心座標を求める。
具体的には、従来既知の技術を用いて、瞳孔中心の検出を行い、画像座標系における瞳孔中心座標
Figure 0007255436000004

を求める。
そして、瞳孔中心の画像座標からカメラ座標系における３次元座標を推定する。
具体的には、カメラ座標系における瞳孔中心のＺ座標を何等かの測距手段で求め、ｄｚとする。画像中心の座標を（ｘｃ，ｙｃ）とする。カメラ座標系における瞳孔中心の３次元座標
Figure 0007255436000005

は、ピクセル単位で表される焦点距離をｆとすると以下になる。
Figure 0007255436000006
（３）
眼球モデル記憶部３４には、２つの球からなる眼球モデルおよびそのパラメータが記憶されている。具体的には、眼球モデル記憶部３４には、角膜曲率半径ｒの初期値又は推定値、眼球中心Ｅと角膜曲率中心Ａとの距離ｕの初期値又は推定値、角膜曲率中心Ａと真の瞳孔中心Ｂとの距離ｓの初期値又は推定値、及び大気の屈折率ｎ１と角膜の屈折率ｎ２の比（ｎ１／ｎ２）が記憶されている。なお、角膜曲率中心Ａと真の瞳孔中心Ｂとの距離ｓ、及び大気の屈折率ｎ１と角膜の屈折率ｎ２の比（ｎ１／ｎ２）は、構造パラメータ推定部２８でカメラ座標系における視線ベクトルを計算する際に用いられるパラメータである。
眼球位置姿勢推定部３６は、以下に説明するように、カメラ座標系における眼球中心の３次元座標と、カメラ座標系における見かけの瞳孔中心の３次元座標とに基づいて、カメラ座標系において、眼球中心の３次元位置から瞳孔中心の３次元位置へ向かう３次元の光軸ベクトルを計算する。
まず、画像撮像部１２の撮像方向と照射部１３の照射方向とが同軸とみなされるように配置されていることから、図７に示す角ＣＥＤを用いて、角度補正量を推定する。
具体的には、眼球中心Ｅから見かけの瞳孔中心までのベクトルを
Figure 0007255436000007
とすると、以下の式で表される。
Figure 0007255436000008
（４）
カメラ座標系における見かけの瞳孔中心の３次元座標と前記カメラ座標系における眼球中心の３次元座標とを結んだ線分と、カメラ座標系における眼球中心の３次元座標と前記撮像部の３次元座標とを結んだ線分とのなす角ＣＥＤについて
Figure 0007255436000009

とすると、角ＣＥＤの角度ωを、以下の式に従って計算する。
Figure 0007255436000010
（５）
そして、角ＣＥＤの角度と、角膜反射法で求める視線ベクトルｇｃｒと眼球モデルフィッティング法で求める視線ベクトルｇｅｂとの角度差ρとの関係を予め求めておき、当該関係を用いて、角ＣＥＤの角度に対応する角度差ρを、補正量ρとして求める。
そして、カメラ座標系における眼球中心の３次元座標ｅと、眼球中心Ｅから見かけの瞳孔中心までのベクトルｇｅｂと、角度補正量ρとに基づいて、カメラ座標系において、眼球中心の３次元座標から瞳孔中心の３次元座標へ向かう３次元の光軸ベクトルｇを、以下の式で計算する。
Figure 0007255436000011
（６）
このように、補正量と眼球中心の３次元座標から光軸ベクトルが定まり、眼球中心の３次元座標と合わせれば、眼球モデルの位置姿勢が推定できる。
カメラ座標系角膜反射像計算部４０は、以下に説明するように、カメラ座標系における眼球中心の３次元座標と、光軸ベクトルと、予め定められた３次元眼球モデルとに基づいて、カメラ座標系における角膜反射像の３次元座標を求める。
まず、カメラ座標系における眼球中心の３次元座標ｅと、光軸ベクトルｇと、眼球モデル記憶部３４に記憶されている眼球中心Ｅと角膜曲率中心Ａとの距離ｕとを用いて、以下の式に従って、カメラ座標系における角膜曲率中心Ａの３次元座標ａを推定する。
Figure 0007255436000012
（７）
そして、ベクトルＣＡ上で、角膜曲率中心Ａからの距離がｒとなる点を求める。
具体的には、角膜反射像Ｐの３次元ベクトルを
Figure 0007255436000013

とすると、点Ｐは直線ＣＡ上で点Ａから長さｒだけＣ側の点になるので、ｐは以下の式（８）で求められる。
Figure 0007255436000014
（８）
角膜反射像画像座標計算部４２は、以下の説明するように、カメラ座標系における角膜反射像の３次元座標から、顔画像上の角膜反射像の画像座標を推定する。
まず、カメラパラメータを用いて、カメラ座標系における角膜反射像の３次元座標を、２次元投影する。
具体的には、ピクセル単位で表される焦点距離をｆ、画像中心の座標を（ｘｃ，ｙｃ）とすると、角膜反射像の画像座標（Ｐｘ，Ｐｙ）は以下になる。
Figure 0007255436000015
（９）
Figure 0007255436000016
（１０）
以上の各部の処理により、瞳孔中心の観測値から角膜反射像の画像座標を推定することができる。
瞳孔推定部２４は、図８に示すように、カメラ座標系眼球中心座標計算部５０と、カメラ座標系角膜反射像計算部５２と、眼球モデル記憶部５４と、眼球位置姿勢推定部５６と、見かけの瞳孔中心計算部６０と、瞳孔中心画像座標計算部６２とを備えている。
カメラ座標系眼球中心座標計算部５０は、カメラ座標系眼球中心座標計算部３０と同様に、顔画像から、カメラ座標系における眼球中心の３次元座標を推定する。
カメラ座標系角膜反射像計算部５２は、顔画像上の目の角膜反射像の位置から、カメラ座標系における角膜反射像の３次元座標を推定する。
まず、従来既知の技術を用いて、顔画像から角膜反射像を検出し、画像座標における角膜反射像の座標
Figure 0007255436000017

を求める。
そして、角膜反射像の画像座標からカメラ座標系における角膜反射像の３次元座標を推定する。
具体的には、カメラ座標系における角膜反射像座標のＺ座標を何等かの測距手段で求め、ｐｚとする。画像中心の座標を（ｘｃ，ｙｃ）とする。カメラ座標系における角膜反射像の３次元座標
Figure 0007255436000018

はピクセル単位で表される焦点距離をｆとすると以下になる。
Figure 0007255436000019
（１１）
眼球モデル記憶部５４には、眼球モデル記憶部３４と同様に、角膜曲率半径ｒ、眼球中心Ｅと角膜曲率中心Ａとの距離ｕ、角膜曲率中心Ａと真の瞳孔中心Ｂとの距離ｓ、及び大気の屈折率ｎ１と角膜の屈折率ｎ２の比（ｎ１／ｎ２）が記憶されている。なお、角膜曲率中心Ａと真の瞳孔中心Ｂとの距離ｓ、及び大気の屈折率ｎ１と角膜の屈折率ｎ２の比（ｎ１／ｎ２）は、構造パラメータ推定部２８でカメラ座標系における視線ベクトルを計算する際に用いられるパラメータである。
眼球位置姿勢推定部５６は、以下に説明するように、カメラ座標系における眼球中心の３次元座標と、カメラ座標系における角膜反射像の３次元座標とに基づいて、カメラ座標系において、眼球中心の３次元位置から角膜曲率中心の３次元位置へ向かう３次元の光軸ベクトルを計算する。
まず、画像撮像部１２の撮像方向と照射部１３の照射方向とが同軸とみなされるように配置されていること、カメラ座標系における角膜反射像の３次元座標ｐ、及び角膜曲率半径ｒを用いて、カメラ座標系における角膜曲率中心Ａの３次元座標を推定する。
具体的には、角膜曲率中心Ａの３次元ベクトルをａとすると、ａは直線ＣＰを長さｒだけＰ側に伸ばしたものなので、以下の式で表される。
Figure 0007255436000020
（１２）
そして、カメラ座標系における角膜曲率中心Ａの３次元座標と、カメラ座標系における眼球中心の３次元座標とから光軸ベクトルを求める。
具体的には、光軸ベクトルｇは、カメラ座標系における眼球中心Ｅからカメラ座標系における角膜曲率中心Ａに向かうベクトルなので、以下の式に従って計算される。
Figure 0007255436000021
（１３）
以上のように、光軸ベクトルが定まり、眼球中心座標の推定値と合わせれば、眼球モデルの位置姿勢が推定できる。
見かけの瞳孔中心計算部６０は、以下に説明するように、カメラ座標系における眼球中心の３次元座標と、光軸ベクトルと、予め定められた３次元眼球モデルとに基づいて、カメラ座標系における見かけの瞳孔中心の３次元座標を求める。
まず、光軸ベクトルｇと、カメラ座標系における眼球中心の３次元座標ｅとに基づいて、カメラ座標系における眼球中心の３次元座標Ｅとカメラ座標系の角膜曲率中心の３次元座標Ａとを結んだ線分ＥＡと、カメラ座標系における眼球中心の３次元座標Ｅと画像撮像部１２の３次元座標Ｃとを結んだ線分ＥＣとのなす角ＣＥＡを算出する。
具体的には、角ＣＥＤの角度をωとし、角ＤＥＡの角度をρとし、角ＣＥＡの角度を
Figure 0007255436000022

とすると、以下の式で表される。
Figure 0007255436000023
（１４）
従って、内積計算により、
Figure 0007255436000024

は以下の式で求められる。
Figure 0007255436000025
（１５）
そして、算出された角ＣＥＡの角度に対応して予め定められた角度補正量を取得する。
具体的には、角ＣＥＡの角度と、角膜反射法で求める視線ベクトルｇｃｒと眼球モデルフィッティング法で求める視線ベクトルｇｅｂとの角度差ρとの関係を予め求めておき、当該関係を用いて、角ＣＥＡの角度に対応する角度差ρを、補正量ρとして求める。
そして、カメラ座標系における眼球中心の３次元座標ｅと、光軸ベクトルｇと、角度補正量ρと、に基づいて、カメラ座標系における眼球中心の３次元座標Ｅとカメラ座標系における角膜曲率中心の３次元座標Ａとを結んだベクトルｇｅｂを以下の式で計算する。
Figure 0007255436000026
（１６）
そして、カメラ座標系における眼球中心の３次元座標Ｅとカメラ座標系における角膜曲率中心の３次元座標Ａとを結んだベクトルｇｅｂ上で、角膜曲率中心Ａからの距離がｒとなる点を求める。
具体的には、ＥとＤの距離をｘとおく。三角形ＥＤＡにおいて、ＡＥ＝ｕ、ＡＤ＝ｒ、角ＤＥＡの角度＝ρなので、余弦定理により以下の式（１７）が成り立つ。ｘの二次方程式である式（１７）をｘについて解き、大きい方の解をＥとＤの距離ｘとする。
Figure 0007255436000027
（１７）
また、瞳孔中心Ｄの３次元ベクトルを
Figure 0007255436000028

とすると、Ｄはベクトルｇｅｂ上でＥから距離ｘにある点なので、ｄは以下の式（１８）で求められる。
Figure 0007255436000029
（１８）
瞳孔中心画像座標計算部６２は、カメラ座標系における見かけの瞳孔中心の３次元座標から、顔画像上の瞳孔中心の画像座標を推定する。
具体的には、カメラパラメータを用いて、カメラ座標系における見かけの瞳孔中心の３次元座標を、２次元投影する。
例えば、ｆをピクセル単位で表される焦点距離、画像中心座標を（ｘｃ，ｙｃ）とすると、瞳孔中心の画像座標（Ｄｘ，Ｄｙ）は以下になる。
Figure 0007255436000030
（１９）
Figure 0007255436000031
（２０）
以上説明した各部の処理により、角膜反射像の観測値から瞳孔中心の画像座標を推定することができる。
構造パラメータ推定部２８は、角膜反射像推定部２２によって推定された角膜反射像の画像座標と、瞳孔推定部２４によって推定された瞳孔中心の画像座標とに基づいて、三次元眼球モデルの構造パラメータを推定し、眼球モデル記憶部３４，５４に記憶されている三次元眼球モデルの構造パラメータを更新すると共に、推定された三次元眼球モデルの構造パラメータを用いて視線ベクトルを求めて、出力部１６により出力する。
構造パラメータ推定部２８は、図９に示すように、事前予測部７０と、状態推定部７２とを含んで構成されている。
具体的には、事前予測部７０と、状態推定部７２とにより、カメラ座標系角膜反射像計算部５２で計算された角膜反射像の画像座標観測値と、角膜反射像推定部２２によって推定された角膜反射像の画像座標推定値と、見かけの瞳孔中心計算部３２で計算された見かけの瞳孔中心の画像座標観測値と、瞳孔推定部２４によって推定された見かけの瞳孔中心の画像座標推定値と、眼球位置姿勢推定部３６によって計算された光軸ベクトルｇと、以下の式（２１）の光軸ベクトルｇを求める数式とに基づいて、カルマンフィルタを用いて、三次元眼球モデルの構造パラメータを推定する。
Figure 0007255436000032
（２１）
ただし、
Figure 0007255436000033
ここで、カルマンフィルタにより推定する原理について説明する。
時間変化しない量である、角膜曲率半径ｒ、眼球中心と角膜曲率中心との距離ｕ、及び角膜曲率中心と瞳孔中心との距離ｓを状態変数とし、
Figure 0007255436000034

を観測変数としたときに、以下の方程式が構成でき、カルマンフィルタを用いて解くことができる。
Figure 0007255436000035
（２２）
以下に、状態方程式と観測方程式について詳細に説明する。
まず、状態方程式の導出について説明する。角膜曲率半径ｒ、眼球中心と角膜曲率中心との距離ｕ、及び角膜曲率中心と瞳孔中心との距離ｓの各々の状態方程式は、以下で表される。
Figure 0007255436000036
ただし、
Figure 0007255436000037

はシステム雑音である。
状態ベクトルを
Figure 0007255436000038

とすると状態方程式は以下になる。
Figure 0007255436000039
次に、観測方程式の導出について説明する。
上記式（１９）に式（１８）から得られるｄｘ，ｄｚを代入すると以下の式が得られる。
Figure 0007255436000040
（２３）
同様に以下の式が得られる。
Figure 0007255436000041
（２４）
式（２３）と（２４）のｘは、式（１７）をｘで解いた大きい方の解なので、以下の式が得られる。
Figure 0007255436000042
（２５）
ｅｘ，ｅｙ，ｅｚは、式（２）で求められる。
Figure 0007255436000043

は、式（１６）に、式（１３）と式（１２）を代入することで得られる。
以上により、式（２３）と式（２４）の右辺をＰｘ，Ｐｙを含まないように立式でき、式（２５）よりパラメータはｕとｒのみを含むため、
Figure 0007255436000044
（２６）
Figure 0007255436000045

（２７）
上記式（９）に、式（８）から得られるｐｘ，ｐｚを代入すると、以下の式が得られる。
Figure 0007255436000046

（２８）
式（２７）に、式（７）から得られるａｘ，ａｚを代入すると、以下の式が得られる。
Figure 0007255436000047
（２９）
同様に以下の式が得られる。
Figure 0007255436000048
（３０）
ここで、ｅｘ，ｅｙ，ｅｚは式（２）で求められる。ｇ＝（ｇｘ，ｇｙ，ｇｚ）は、式（６）に式（４）と式（５）を代入することで得られる。
以上により、式（２９）と式（３０）の右辺をＤｘ，Ｄｙを含まないように立式でき、パラメータはｕのみを含むため、以下の式が得られる。
Figure 0007255436000049
（３１）
Figure 0007255436000050

（３２）
ここで、光軸ベクトルｇは２通りの方法で求めることができる。
ひとつは、式（６）に式（４）と式（５）を代入することで得られるもので第１の方法とする。もう一つは、式（２１）から求めるもので第２の方法とする。
第１の方法の式にはパラメータは含まれていないが、第２の方法の式にはパラメータｒ，ｓが含まれている。
従って、第１の方法の式で得られる光軸ベクトルｇを観測値とみなすことで以下の式が得られる。
Figure 0007255436000051
Figure 0007255436000052

Figure 0007255436000053
観測ベクトルを
Figure 0007255436000054


とすると、式（２６）、（２７）、（３１）、（３２）、（３３）、（３４）、（３５）は以下のようにまとめられる。
Figure 0007255436000055
以上より、カルマンフィルタは以下のようになる。まず、状態方程式は以下の式で示される。
Figure 0007255436000056
（３６）
ただし、
Figure 0007255436000057

は、システム雑音ベクトルである。
観測方程式は、以下の式で示される。
Figure 0007255436000058
（３７）
ただし、
Figure 0007255436000059

は、観測雑音ベクトルである。
予測ステップでは、以下の式に従って、次時刻の状態ベクトルの予測が行われる。
Figure 0007255436000060
（３８）
ただし、
Figure 0007255436000061

は、誤差の共分散行列である。
また、更新ステップでは、以下の式に従って、状態ベクトルが更新される。
Figure 0007255436000062
（３９）
ただし、
Figure 0007255436000063
以上説明した原理に従って、事前予測部７０は、上記式（３８）に従って、三次元眼球モデルの構造パラメータを含む状態ベクトルを予測する。
状態推定部７２は、角膜反射像推定部２２によって推定された顔画像上の角膜反射像の画像座標と、瞳孔推定部２４によって推定された顔画像上の瞳孔中心の画像座標とを含む観測ベクトルと、事前予測部７０によって予測された前記状態ベクトルと、状態ベクトルを用いて観測ベクトルを表す観測方程式とから、上記式（３９）に従って、状態ベクトルを推定し、状態ベクトルに含まれる角膜曲率半径ｒ、角膜曲率中心と瞳孔中心との距離ｓ、及び角膜曲率中心と眼球中心との距離ｕを、眼球モデル記憶部３４、５４に格納する。
また、状態推定部７２は、式（２１）に従って光軸ベクトルｇを求め、出力部１６により出力する。
＜視線計測装置の動作＞
次に、視線計測装置１０の動作について説明する。まず、照射部１３により近赤外の光を被験者の目に照射しているときに、画像撮像部１２で被験者の顔画像を連続的に撮像する。
そして、コンピュータ１４において、図１０に示す視線計測処理ルーチンを実行する。
まず、ステップＳ１００において、画像撮像部１２で撮像された顔画像を取得する。
そして、ステップＳ１０２において、顔画像から、角膜反射像の画像座標を推定する。
ステップＳ１０４では、顔画像から、瞳孔中心の画像座標を推定する。
ステップＳ１０６では、三次元眼球モデルの構造パラメータの初期値、又は前回のステップＳ１０８で推定された状態ベクトルを用いて、式（３８）に従って、現時刻の三次元眼球モデルの構造パラメータを含む状態ベクトルを予測する。
ステップＳ１０８では、上記ステップＳ１０２で推定された角膜反射像の画像座標と、上記ステップＳ１０４で推定された瞳孔中心の画像座標とを含む観測ベクトルと、状態ベクトルを用いて観測ベクトルを表す観測方程式とから、式（３９）に従って、状態ベクトルを推定すると共に、状態ベクトルに含まれる三次元眼球モデルの構造パラメータを用いて、式（２１）に従って、光軸ベクトルｇを求めて、出力部１６により出力して、上記ステップＳ１００へ戻る。
上記ステップＳ１０２は、図１１に示す角膜反射像推定処理ルーチンにより実現される。
まず、ステップＳ１１０において、現在の顔画像に顔モデルをフィッティングさせることで、カメラ座標系に対する顔モデル座標系の現在の回転行列Ｒと並進ベクトルｔを求める。
そして、ステップＳ１１２において、求めた回転並進ベクトルにより、顔モデル座標系における眼球中心の３次元座標をカメラ座標系における眼球中心の３次元座標に変換する。
ステップＳ１１４では、顔画像から、瞳孔中心を検出し、画像座標系における瞳孔中心座標を求める。
ステップＳ１１６では、瞳孔中心の画像座標からカメラ座標系における３次元座標を推定する。
ステップＳ１１８では、画像撮像部１２の撮像方向と照射部１３の照射方向とが同軸とみなされるように配置されていること、及びカメラ座標系における見かけの瞳孔中心の３次元座標と前記カメラ座標系における眼球中心の３次元座標とを結んだ線分と、前記カメラ座標系における眼球中心の３次元座標と前記撮像部の３次元座標とを結んだ線分とのなす角ＣＥＤの角度から、角度補正量を推定する。
ステップＳ１２０では、角ＣＥＤの角度ωと、カメラ座標系における眼球中心の３次元座標ｅと、角度補正量とに基づいて、カメラ座標系において、眼球中心の３次元位置から瞳孔中心の３次元位置へ向かう３次元の光軸ベクトルｇを計算する。
ステップＳ１２２では、カメラ座標系における眼球中心の３次元座標ｅと、光軸ベクトルｇと、眼球モデル記憶部３４に記憶されている眼球中心Ｅと角膜曲率中心Ａとの距離ｕとを用いて、カメラ座標系における角膜曲率中心Ａの３次元座標ａを推定する。
そして、ステップＳ１２４では、ベクトルＣＡ上で、角膜曲率中心Ａからの距離がｒとなる点を求め、角膜反射像Ｐの３次元ベクトルを推定する。
ステップＳ１２６では、カメラ座標系における角膜反射像の３次元座標から、顔画像上の角膜反射像の画像座標を推定する。
上記ステップＳ１０４は、図１２に示す瞳孔中心推定処理ルーチンにより実現される。
まず、ステップＳ１３０では、現在の顔画像に顔モデルをフィッティングさせることで、カメラ座標系に対する顔モデル座標系の現在の回転行列Ｒと並進ベクトルｔを求める。
そして、ステップＳ１３２において、求めた回転並進ベクトルにより、顔モデル座標系における眼球中心の３次元座標をカメラ座標系における眼球中心の３次元座標に変換する。
ステップＳ１３４では、顔画像から角膜反射像を検出し、画像座標における角膜反射像の座標を求める。
そして、ステップＳ１３６では、角膜反射像の画像座標からカメラ座標系における角膜反射像の３次元座標を推定する。
ステップＳ１３８では、画像撮像部１２の撮像方向と照射部１３の照射方向とが同軸とみなされるように配置されていること、カメラ座標系における角膜反射像の３次元座標ｐ、及び角膜曲率半径ｒを用いて、カメラ座標系における角膜曲率中心Ａの３次元座標を推定する。
そして、ステップＳ１４０において、カメラ座標系における角膜曲率中心Ａの３次元座標と、カメラ座標系における眼球中心の３次元座標とから光軸ベクトルを求める。
ステップＳ１４２では、光軸ベクトルｇと、カメラ座標系における眼球中心の３次元座標ｅとに基づいて、カメラ座標系における眼球中心の３次元座標Ｅとカメラ座標系の角膜曲率中心の３次元座標Ａとを結んだ線分ＥＡと、カメラ座標系における眼球中心の３次元座標Ｅと画像撮像部１２の３次元座標Ｃとを結んだ線分ＥＣとのなす角ＣＥＡを算出し、算出された角ＣＥＡの角度に対応して予め定められた角度補正量を取得する。
ステップＳ１４４では、カメラ座標系における眼球中心の３次元座標ｅと、光軸ベクトルｇと、角度補正量ρと、に基づいて、カメラ座標系における眼球中心の３次元座標Ｅとカメラ座標系における角膜曲率中心の３次元座標Ａとを結んだベクトルｇｅｂを計算する。
そして、ステップＳ１４６において、カメラ座標系における眼球中心の３次元座標Ｅとカメラ座標系における角膜曲率中心の３次元座標Ａとを結んだベクトルｇｅｂ上で、角膜曲率中心Ａからの距離がｒとなる点を求め、カメラ座標系における見かけの瞳孔中心の３次元座標とする。
ステップＳ１４８では、カメラ座標系における見かけの瞳孔中心の３次元座標から、顔画像上の瞳孔中心の画像座標を推定する。
以上説明したように、本発明の実施の形態に係る視線計測装置によれば、眼球の構造パラメータを含む状態ベクトルを予測し、推定された顔画像上の角膜反射像の画像座標、及び推定された顔画像上の瞳孔中心の画像座標を含む観測ベクトルと、予測された状態ベクトルと、状態ベクトルを用いて観測ベクトルを表す観測方程式とから、状態ベクトルを推定することにより、簡易な構成で、視線計測のために、眼球の構造パラメータを精度良く求めることができる。
また、本発明の実施の形態に係る視線計測装置の構成により、角膜反射像と見かけの瞳孔中心に対する推定式（観測方程式）と観測値の対応関係が得られる。構造パラメータは観測方程式中で時間変化しない固定パラメータになるので、例えば非線形カルマンフィルタを適用することで、観測値と推定値の誤差が最小となるように構造パラメータを推定することが可能になる。
また、視線計測技術の角膜反射法において、そこで用いられる三次元眼球モデルの個人差を含む構造パラメータを、明示的なキャリブレーション手続きを行うことなく推定できるようになり、煩雑なキャリブレーション手続きなしで視線ベクトルの推定精度を向上させる。推定処理に繰り返し演算を用いないので高速に処理できる。推定値が固定値であることを利用できるので、誤った観測値による誤推定の影響を受けにくい。
１０ 視線計測装置
１２ 画像撮像部
１３ 照射部
１４ コンピュータ
１６ 出力部
２０ 画像入力部
２２ 角膜反射像推定部
２４ 瞳孔推定部
２８ 構造パラメータ推定部
３０ カメラ座標系眼球中心座標計算部
３２ 見かけの瞳孔中心計算部
３４、５４ 眼球モデル記憶部
３６、５６ 眼球位置姿勢推定部
４０ カメラ座標系角膜反射像計算部
４２ 角膜反射像画像座標計算部
５０ カメラ座標系眼球中心座標計算部
５２ カメラ座標系角膜反射像計算部
６０ 見かけの瞳孔中心計算部
６２ 瞳孔中心画像座標計算部
７０ 事前予測部
７２ 状態推定部

Claims (8)

  1. 被観察者の顔を撮像する撮像部と、
    前記被観察者の目に対して光を照射する光照射部と、
    前記撮像部によって撮像された前記顔を表す顔画像上の目の瞳孔中心位置から、眼球の構造パラメータを用いて、前記顔画像上の角膜反射像の画像座標を推定する角膜反射像推定部と、
    前記顔画像上の目の角膜反射像の位置から、前記眼球の構造パラメータを用いて、前記顔画像上の瞳孔中心の画像座標を推定する瞳孔推定部と、
    前記眼球の構造パラメータを含む状態ベクトルを予測する事前予測部と、
    前記角膜反射像推定部によって推定された前記顔画像上の角膜反射像の画像座標、及び前記瞳孔推定部によって推定された前記顔画像上の瞳孔中心の画像座標を含む観測ベクトルと、前記事前予測部によって予測された前記状態ベクトルと、前記状態ベクトルを用いて前記観測ベクトルを表す観測方程式とから、前記状態ベクトルを推定する状態推定部と、
    を含む眼球構造推定装置。
  2. 前記観測ベクトルは、前記角膜反射像推定部によって前記顔画像上の角膜反射像の画像座標を推定する際に計算される視線ベクトルを更に含む請求項１記載の眼球構造推定装置。
  3. 前記眼球の構造パラメータは、眼球の角膜曲率半径、眼球の角膜曲率中心と瞳孔中心との距離、及び前記角膜曲率中心と眼球中心との距離を含む請求項１又は２記載の眼球構造推定装置。
  4. 前記撮像部と前記光照射部との位置関係、前記撮像部と前記目との位置関係、及び前記撮像部に関するパラメータが、前記撮像部の撮像方向と前記光照射部の光照射方向とが同軸であるとみなすための予め定められた制約条件を満たす
    請求項１～請求項３の何れか１項記載の眼球構造推定装置。
  5. 前記角膜反射像推定部は、
    前記撮像部によって撮像された前記顔を表す顔画像から、カメラ座標系における眼球中心の３次元座標を推定するカメラ座標系眼球中心座標計算部と、
    前記顔画像上の目の瞳孔中心位置から、カメラ座標系における見かけの瞳孔中心の３次元座標を推定する瞳孔中心計算部と、
    前記カメラ座標系における眼球中心の３次元座標と、前記カメラ座標系における見かけの瞳孔中心の３次元座標とに基づいて、前記カメラ座標系において、前記眼球中心の３次元位置から瞳孔中心の３次元位置へ向かう３次元の光軸ベクトルを計算する眼球位置姿勢推定部と、
    前記カメラ座標系における眼球中心の３次元座標と、前記光軸ベクトルと、予め定められた３次元眼球モデルとに基づいて、カメラ座標系における角膜反射像の３次元座標を求める角膜反射像計算部と、
    前記カメラ座標系における角膜反射像の３次元座標から、前記顔画像上の角膜反射像の画像座標を推定する画像座標計算部と、
    を含む請求項１～請求項４の何れか１項記載の眼球構造推定装置。
  6. 前記眼球位置姿勢推定部は、
    前記カメラ座標系における見かけの瞳孔中心の３次元座標と前記カメラ座標系における眼球中心の３次元座標とを結んだ線分と、前記カメラ座標系における眼球中心の３次元座標と前記撮像部の３次元座標とを結んだ線分とのなす角を算出し、
    前記なす角に対応して予め定められた角度補正量を取得し、
    前記カメラ座標系における眼球中心の３次元座標と前記カメラ座標系における見かけの瞳孔中心の３次元座標とを結んだベクトルと、前記取得した前記角度補正量と、前記算出した前記なす角と、前記カメラ座標系における眼球中心の３次元座標とに基づいて、前記カメラ座標系において、前記眼球中心の３次元位置から瞳孔中心の３次元位置へ向かう３次元の光軸ベクトルを計算する請求項５記載の眼球構造推定装置。
  7. 前記瞳孔推定部は、
    前記撮像部によって撮像された前記顔を表す顔画像から、カメラ座標系における眼球中心の３次元座標を推定するカメラ座標系眼球中心座標計算部と、
    前記顔画像上の目の角膜反射像の位置から、カメラ座標系における角膜反射像の３次元座標を推定する角膜反射像計算部と、
    前記カメラ座標系における眼球中心の３次元座標と、前記カメラ座標系における角膜反射像の３次元座標とに基づいて、前記カメラ座標系において、前記眼球中心の３次元位置から角膜曲率中心の３次元位置へ向かう３次元の光軸ベクトルを計算する眼球位置姿勢推定部と、
    前記カメラ座標系における眼球中心の３次元座標と、前記光軸ベクトルと、予め定められた３次元眼球モデルとに基づいて、カメラ座標系における見かけの瞳孔中心の３次元座標を求める瞳孔中心計算部と、
    前記カメラ座標系における見かけの瞳孔中心の３次元座標から、前記顔画像上の瞳孔中心の画像座標を推定する画像座標計算部と、
    を含む請求項１～請求項６の何れか１項記載の眼球構造推定装置。
  8. 前記瞳孔中心計算部は、
    前記光軸ベクトルと、前記カメラ座標系における眼球中心の３次元座標とに基づいて、前記カメラ座標系における眼球中心の３次元座標と前記カメラ座標系の角膜曲率中心の３次元座標とを結んだ線分と、前記カメラ座標系における眼球中心の３次元座標と前記撮像部の３次元座標とを結んだ線分とのなす角を算出し、
    前記算出された前記なす角に対応して予め定められた角度補正量を取得し、
    前記カメラ座標系における眼球中心の３次元座標と、前記光軸ベクトルと、前記角度補正量とに基づいて、前記カメラ座標系における眼球中心の３次元座標と前記カメラ座標系における見かけの瞳孔中心の３次元座標とを結んだベクトルを算出し、
    前記算出されたベクトルと、前記カメラ座標系における眼球中心の３次元座標と、予め定められた３次元眼球モデルとに基づいて、カメラ座標系における見かけの瞳孔中心の３次元座標を求める請求項７記載の眼球構造推定装置。
JP2019174079A 2019-09-25 2019-09-25 眼球構造推定装置 Active JP7255436B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2019174079A JP7255436B2 (ja) 2019-09-25 2019-09-25 眼球構造推定装置
US16/817,697 US20210085174A1 (en) 2019-09-25 2020-03-13 Eyeball structure estimation apparatus

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2019174079A JP7255436B2 (ja) 2019-09-25 2019-09-25 眼球構造推定装置

Publications (2)

Publication Number Publication Date
JP2021049130A JP2021049130A (ja) 2021-04-01
JP7255436B2 true JP7255436B2 (ja) 2023-04-11

Family

ID=74880288

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019174079A Active JP7255436B2 (ja) 2019-09-25 2019-09-25 眼球構造推定装置

Country Status (2)

Country Link
US (1) US20210085174A1 (ja)
JP (1) JP7255436B2 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115546876B (zh) * 2022-11-07 2023-12-19 广州图语信息科技有限公司 一种瞳孔追踪方法及装置
CN115840502B (zh) * 2022-11-23 2023-07-21 深圳市华弘智谷科技有限公司 三维视线追踪方法、装置、设备及存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016106668A (ja) 2014-12-02 2016-06-20 ソニー株式会社 情報処理装置、情報処理方法、およびプログラム
JP2019000135A (ja) 2017-06-09 2019-01-10 株式会社豊田中央研究所 視線計測装置
WO2019116675A1 (ja) 2017-12-15 2019-06-20 ソニー株式会社 情報処理装置、情報処理方法、およびプログラム

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016106668A (ja) 2014-12-02 2016-06-20 ソニー株式会社 情報処理装置、情報処理方法、およびプログラム
JP2019000135A (ja) 2017-06-09 2019-01-10 株式会社豊田中央研究所 視線計測装置
WO2019116675A1 (ja) 2017-12-15 2019-06-20 ソニー株式会社 情報処理装置、情報処理方法、およびプログラム

Also Published As

Publication number Publication date
US20210085174A1 (en) 2021-03-25
JP2021049130A (ja) 2021-04-01

Similar Documents

Publication Publication Date Title
CN109008944B (zh) 视线计测装置、rom及视线计测方法
JP6265348B2 (ja) 視線計測装置、視線計測方法および視線計測プログラム
EP2416113B1 (en) Position and orientation measurement apparatus and position and orientation measurement method
JP6014931B2 (ja) 視線計測方法
CN107357429B (zh) 用于确定视线的方法、设备和计算机可读存储介质
US10725539B2 (en) Wearable eye tracking system with slippage detection and correction
JP6840697B2 (ja) 視線方向推定装置、視線方向推定方法、及び視線方向推定プログラム
JP2016173313A (ja) 視線方向推定システム、視線方向推定方法及び視線方向推定プログラム
JP7255436B2 (ja) 眼球構造推定装置
JP6479272B1 (ja) 視線方向較正装置、視線方向較正方法および視線方向較正プログラム
US11181978B2 (en) System and method for gaze estimation
WO2014027229A1 (en) Method and apparatus for converting 2d images to 3d images
JP2021531601A (ja) ニューラルネットワーク訓練、視線検出方法及び装置並びに電子機器
CN114360043B (zh) 模型参数标定方法、视线追踪方法、装置、介质及设备
JP5515018B2 (ja) 環境認識装置
JP7283841B2 (ja) 視線計測装置
JP6785723B2 (ja) 視線計測装置
JP2018101212A (ja) 車載器および顔正面度算出方法
JP6288770B2 (ja) 顔検出方法、顔検出システム、および顔検出プログラム
JP6906943B2 (ja) 車載器
CN112419399A (zh) 一种图像测距方法、装置、设备和存储介质
CN115862124A (zh) 视线估计方法、装置、可读存储介质及电子设备
JP2022011821A (ja) 情報処理装置、情報処理方法、移動ロボット
JP2018205205A (ja) ステレオマッチング装置とステレオマッチング方法及びステレオマッチングプログラム
JP6426215B2 (ja) 内視鏡装置およびプログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220719

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230228

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20230228

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230313

R150 Certificate of patent or registration of utility model

Ref document number: 7255436

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150