JPH112755A - 視線検出方法および視線検出装置 - Google Patents

Abstract

(57)【要約】 【課題】 観察者の眼球と視線検出装置との距離によら
ず正確な眼球の回転角を算出することができる視線検出
方法および視線検出装置の提供。 【解決手段】 観察者の眼球を少なくとも２つの光源を
有する照明装置で照明して光電変換素子上に眼球像１４
０を結像し、眼球像１４０内に形成される各光源の角膜
反射像３５ａ，３５ｂの間隔Ｐdistを算出し、算出され
た間隔Ｐdistと、予め求められた角膜反射像同士の基準
間隔値および眼球像形成時の基準像倍率とに基づいて眼
球の回転角を算出する。そのため、眼球の位置が変化し
たばあいであっても正確な視線検出を行うことができ
る。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、観察者の視線、例
えばカメラのファインダを覗いている撮影者の視線を検
出する視線検出方法および視線検出装置に関する。

【０００２】

【従来の技術】従来から、観察者が観察画面上のどの位
置を観察しているかを検出する視線検出装置が種々提案
されている。これらの装置では、光源からの光束を観察
者の眼球に照射して、その反射光に基づく眼球像を利用
して観察者の視線（眼球の回転角）を求めている。

【０００３】

【発明が解決しようとする課題】しかしながら、視線検
出装置と眼球との距離が変化すると眼球像も変化するた
め、眼球像から求められる眼球の回転角に誤差が生じる
という欠点があった。そのため、観察者と視線検出装置
との位置関係が変化しないように、観察者を装置に対し
て固定したりしていた。その結果、観察者は無理な体勢
をとらななければならない等、煩わしく不便な面があっ
た。

【０００４】本発明の目的は、観察者の眼球と視線検出
装置との距離によらず正確な眼球の回転角を算出するこ
とができる視線検出方法および視線検出装置を提供する
ことにある。

【０００５】

【課題を解決するための手段】発明の実施の形態を示す
図１，３および４に対応付けて説明する。 （１）請求項１の発明による視線検出方法では、観察者
の眼球１を少なくとも２つの光源１４ａ，１４ｂを有す
る照明手段１４で照明し、像形成手段１５，１６により
眼球１の像１４０を形成するとともにその眼球像１４０
内に形成される各光源１４ａ，１４ｂの角膜反射像３５
ａ，３５ｂの間隔Ｐdistを算出し、算出された間隔Ｐdi
stと、予め求められた角膜反射像同士の基準間隔値Ｐdi
st0および眼球像形成時の基準像倍率β0とに基づいて観
察者の眼球の回転角を算出することにより上述の目的を
達成する。 （２）請求項２の発明による視線検出装置は、観察者の
眼球１を照明する少なくとも２つの光源１４ａ，１４ｂ
を有する照明手段１４と、照明手段１４により照明され
た眼球１の像１４０を形成する像形成手段１５，１６
と、像形成手段１５，１６により形成された眼球像１４
０を検出する像検出手段１７と、像検出手段１７の検出
情報に基づいて、眼球像１４０内に形成される各光源１
４ａ，１４ｂの角膜反射像３５ａ，３５ｂの間隔Ｐdist
を算出する第１の演算手段１９と、角膜反射像同士の基
準間隔値Ｐdist0および眼球像形成時の基準像倍率β0が
予め記憶されている記憶手段２０と、第１の演算手段１
９により算出された間隔Ｐdistと基準間隔値Ｐdist0お
よび基準像倍率β0とに基づいて観察者の眼球の回転角
を算出する第２の演算手段１９とを備えて上述の目的を
達成する。 （３）請求項３の発明は、請求項２に記載の視線検出装
置において、記憶手段２０に記憶された基準間隔値Ｐdi
st0に基づいて、前記検出情報の一部を選択する選択手
段１９を設け、第１の演算手段１９は選択手段１９によ
り選択された検出情報に基づいて間隔Ｐdistを算出す
る。

【０００６】なお、本発明の構成を説明する上記課題を
解決するための手段の項では、本発明を分かり易くする
ために発明の実施の形態の図を用いたが、これにより本
発明が発明の実施の形態に限定されるものではない。

【０００７】

【発明の実施の形態】以下、図１〜図６を参照して本発
明の実施の形態を説明する。図１は、本発明による視線
検出装置の実施の形態を示す概略構成図である。図１に
おいて、１は観察者の眼球であり、１２は観察者の観察
範囲である視野を示している。なお、視野１２は説明の
都合上図示したものであり、実際には存在しない。１４
は眼球１を斜下方から赤外光で照明する照明装置であ
り、２つの光源１４ａ，１４ｂを備え、制御装置１３に
より制御される。なお、照明光として赤外光を用いる理
由は、観察者に見えない波長の照明光を用いることによ
り、観察者が眩しく感じたり、気が散ったりしないよう
にするためである。

【０００８】１５は可視光を透過し、かつ、赤外光を反
射するダイクロイックミラーであり、眼球からの光は赤
外光のみがダイクロイックミラー１５で反射され、結像
レンズ１６によって眼球像が光電変換素子１７上に結像
される。光電変換素子１７としては赤外領域に感度を持
つものが用いられるが、広い波長範囲に感度を有する通
常の光電変換素子の受光部の前面に可視光をカットする
フィルターを配置したものでも良い。１８は光電変換素
子１７の制御装置であり、１９は光電変換素子１７から
の画像情報に基づいて視線位置等を算出する演算装置で
ある。演算装置１９の演算結果はメモリ２０に記憶され
る。２２は眼球の回転中心と視野１２の中心とを通る軸
である。

【０００９】次に、図２，３を参照して視線検出方法の
一例について説明する。これは、眼球の角膜中心位置と
瞳孔中心位置との相対位置関係から算出する方法であ
る。なお、図２では光源１４ａ，１４ｂおよび眼球１の
回転中心Ｏがｘｙ平面内にあり、図１の軸２２をｙ軸に
選ぶ。図２において、２は強膜，５は虹彩，６は角膜，
７は瞳孔であり、Ｃは角膜曲率中心，Ｄは瞳孔中心を示
している。破線２１は眼球１の光軸（視線方向）であ
り、図２ではｙ軸に対してθだけ傾いた状態、すなわち
眼球１がθだけ回転した状態を示している。また、Ａは
回転中心Ｏと瞳孔中心Ｄとの距離を、ρは回転中心Ｏと
角膜曲率中心Ｃとの距離を表す。Ｐa，Ｐbは眼球１内に
形成される光源１４ａ，１４ｂによるプルキンエ第一像
を示している。

【００１０】図３（ａ）は光電変換素子１７上に結像さ
れる眼球像を示す図であり、４０が眼球像であって、３
０は光電変換素子１７の検出範囲を示している。３１は
虹彩部分、３２は強膜部分、３３は瞳孔部分であり、３
４ａ，３４ｂはそれぞれプルキンエ第一像Ｐａ，Ｐｂの
像である。図３（ａ）において、線分ＢＢ’は光電変換
素子１７の画像読み出し列の一列を示しており、線分Ｂ
Ｂ’に沿った出力の一例を図３（ｂ）に示す。図３
（ｂ）において、横軸は左端がＢ，右端がＢ’に対応
し、横軸の位置は線分ＢＢ’上の位置に対応しており、
縦軸方向に光電変換素子１７の出力を表している。出力
曲線Ｆの４１の部分は虹彩部分３１の出力を、４２の部
分は強膜部分３２の出力を、４３の部分は瞳孔部分３３
の出力を、４４ａ，４４ｂで示す部分はそれぞれ像３４
ａ，３４ｂの出力を示している。なお、横軸のＱa，Ｑb
はピーク４４ａ，４４ｂの位置を示しており、ＤL，ＤR
は虹彩部分３１のエッジ（虹彩部分３１の内端）の位置
である。

【００１１】図２において、角膜曲率中心Ｃと瞳孔中心
Ｄとの距離のｘ成分は、

【数１】Ｄx−Ｃx＝（Ａ−ρ）ｓｉｎθ …（１） となる。ここで、Ｃx，Ｄxは角膜曲率中心Ｃおよび瞳孔
中心Ｄのｘ座標であり、θは前述したように眼球１の回
転角である。さらに、回転角θが小さい場合にはｓｉｎ
θ≒θと近似できるので式（１）は次式（２）のように
変形できて、この式から眼球１の回転角θが算出され
る。

【数２】θ＝（Ｄx−Ｃx）／（Ａ−ρ） …（２） 実際には、観察者が視野１２の中心を注視している時の
眼球回転角である眼球光軸と視軸のズレ量γ、および眼
球像を光電変換素子１７上に結像する際の結像倍率βを
考慮して、式（２）は次式（３）のように変形される。

【数３】 β・θ＝｛（Ｄx−Ｃx）／（Ａ−ρ）｝−γ …（３）

【００１２】なお、角膜曲率中心Ｃの位置は、光源１４
ａおよびプルキンエ第一像Ｐaを結ぶ直線Ｌaと光源１４
ｂおよびプルキンエ第一像Ｐbを結ぶ直線Ｌbとの交点を
求めることにより算出できる。また、瞳孔中心Ｄのｘ座
標Ｄxは、図３（ｂ）の位置ＤL，ＤRを用いて次式
（４）で求められる。

【数４】Ｄx＝（ＤL＋ＤR）／２ …（４）

【００１３】前述したように、式（３）の結像倍率β
は、眼球１と結像レンズ１６との距離が変化すると変化
し、また、角膜曲率中心Ｃと瞳孔中心Ｄとの距離（Ａ−
ρ）および視軸のズレ量γは観察者毎に個体差がある。
そこで、本実施の形態の装置では、所定条件で測定され
たデータを予めメモリ２０（図１）に記憶させておき、
それらのデータに基づいて視線検出時の眼球１の回転角
θを算出する。この測定を予備測定と呼び、図３（ａ）
のように結像された眼球像４０に関する光電変換装置１
７の出力に基づいて、距離（Ａ−ρ），視軸のズレ量γ
および光電変換素子１７上に結像された像３４ａ，３４
ｂの間隔Ｐdist0が演算装置１９で算出され、メモリ２
０に保存される。なお、予備測定時の結像倍率をβ0と
すると、β0は結像レンズ１６の倍率と眼球像を得る際
の光路長とから予め求められ、メモリ２０に保存され
る。

【００１４】上述した予備測定の後に視線検出動作が行
われる。いま、視線検出時に図４に示すような眼球像１
４０が得られたとする。図４は眼球１が図３に示す場合
よりも結像レンズ１６側に近づいたときの眼球像を示し
ており、結像倍率が大きくなるため眼球像１４０は図３
の眼球像４０より大きくなる。このとき、結像倍率の変
化分だけプルキンエ第一像Ｐａ，Ｐｂの像３５ａ，３５
ｂの間隔ＰdistがＰdist0より大きくなる。また、照明
装置１４が図３の場合より眼球１に近づくため、像３５
ａ，３５ｂの大きさは結像倍率の変化分以上に大きくな
る。このとき、予備測定時および視線検出時の結像倍率
をそれぞれβ0，βとすると、

【数５】β／β0＝Ｐdist／Ｐdist0 …（５） が成り立つ。視線検出時の回転角θは

【数６】 β・θ＝｛（Ｄx−Ｃx）／（Ａ−ρ）｝−γ …（６） で表されるが、βを予備測定時に得られるβ0，Ｐdist0
および測定値Ｐdistを用いて表すと、式（５）より

【数７】β＝β0（Ｐdist／Ｐdist0） …（７） であるから、式（６）は次式（８）のようになる。

【数８】 β0（Ｐdist／Ｐdist0）θ＝｛（Ｄx−Ｃx）／（Ａ−ρ）｝−γ …（８） 式（８）において倍率β0および間隔Ｐdist0は予備測定
時に予め求められているので、視線検出時に光電変換素
子１７上に結像されたプルキンエ第一像Ｐａ，Ｐｂの像
３５ａ，３５ｂの間隔Ｐdistを測定することにより、視
線検出時の結像倍率βが分からなくても眼球の回転角θ
を算出することができる。

【００１５】このように、本実施の形態の視線検出装置
では、眼球１と光電変換素子１７との距離が変化して
も、予め求められた倍率β0および間隔Ｐdist0と倍率が
変化した後の間隔Ｐdistを用いて眼球１の回転角θを算
出しているためより正確な視線検出ができる。また、倍
率β0および間隔Ｐdist0は予め演算されメモリ２０に記
憶されており、視線検出時の演算量の増加を抑制するこ
とができる。さらにまた、観察者が異なった場合でも、
予備測定によって観察者の眼球データを測定し、メモリ
２０に記憶されたそれらのデータに基づいて視線検出を
行うので、正確な視線検出ができる。

【００１６】−変形例− ところで、視線検出を行うときに、光電変換素子１７上
に結像された眼球像の画像情報処理を行う際の画像情報
量を少なくすれば演算速度が向上する。その一例として
は、像３５ａ，３５ｂを検出する際の検出範囲を光電変
換素子１７の一部に限定する方法が考えられる。しか
し、前述したように個体差によって角膜曲率半径Ｃはそ
れぞれ異なっており、像３５ａ，３５ｂの納まる検出範
囲も異なることになる。そこで、本変形例では、予備測
定時に算出した間隔Ｐdist0を利用して像３５ａ，３５
ｂの検出範囲を適切な大きさに設定することにより、像
３５ａ，３５ｂを確実に検出でき、かつ画像情報の処理
量を減少させることができる。

【００１７】図５は検出範囲の一例を示す図であり、図
の左右方向をｘ座標、上下方向をｙ座標とする。図５に
おいて、検出範囲Ｒは、瞳孔中心Ｄのｘ座標をＤx、ｙ
座標をＤyとしたときに、

【数９】Ｄx−Ｍ＜ｘ＜Ｄx＋Ｍ、 Ｄy−Ｍ＜ｙ＜Ｄy＋Ｍ、 なる領域である。ただし、ここではＭ＝Ｐdist0×（２
／３）とした。

【００１８】図６は、視線検出の手順、すなわち検出範
囲Ｒの設定および眼球の回転角θの算出の手順を示すフ
ローチャートである。なお、倍率β0および間隔Ｐdist0
を求める予備測定は予め行われているとして、ここでは
説明を省略し、視線検出時の手順のみを説明する。図６
に示すフローは視線検出命令が演算装置１９に出された
ときにスタートする。ステップＳ１では瞳孔と虹彩との
境界の位置ＤL，ＤRを検出し、ステップＳ２においてＤ
L，ＤRから瞳孔中心Ｄを算出する。ステップＳ３では、
瞳孔中心Ｄとメモリ２０に記憶された間隔Ｐdist0とか
ら検出範囲Ｒを設定する。ステップＳ４では検出範囲Ｒ
内において像３５ａ，３５ｂを検出し、ステップＳ５に
おいて角膜曲率半径Ｃを算出した後、ステップＳ６で像
３５ａ，３５ｂの間隔Ｐdistを算出する。ステップＳ７
では、算出されたＤ，Ｃ，Ｐdistおよびメモリ２０に記
憶されているＡ−ρ，γ，Ｐdist0，β0に基づいて眼球
の回転角θを算出し、一連の手順を終了する。

【００１９】このように、上述した変形例では、予備測
定時に算出した像３４ａ，３４ｂの間隔Ｐdist0を利用
することにより、検出範囲Ｒの大きさを像３５ａ，３５
ｂが納まる程度まで小さく設定することができるため、
視線検出時の情報処理量を大幅に減らすことができ、演
算速度の向上を図ることができる。一方、従来の装置で
は、どのような場合であっても像３５ａ，３５ｂが検出
範囲内に納まるように、検出範囲をある程度余裕を持っ
た大きさに設定しなければならないため、情報量をそれ
ほど少なくすることができなかった。なお、上述した実
施の形態ではカメラの視線検出装置を例に説明したが、
カメラに限定されることなく、視線検出装置を備える装
置であれば本発明を適用することができる。

【００２０】以上説明した実施の形態と特許請求の範囲
の要素との対応において、照明装置１４は照明手段を、
ダイクロイックミラー１５および結像レンズ１６は像形
成手段を、像３５ａ，３５ｂは眼球像内に形成される角
膜反射像を、間隔Ｐdist0は基準間隔値を、結像倍率β0
は基準像倍率を、光電変換素子１７は像検出手段を、演
算装置１９は第１の演算手段，第２の演算手段および選
択手段をそれぞれ構成する。

【００２１】

【発明の効果】以上説明したように、本発明によれば、
角膜反射像同に関する基準間隔値および基準像倍率を予
め求めておき、視線検出時にはこれらの基準間隔値およ
び基準像倍率と視線検出時の角膜反射像同士の間隔とに
基づいて眼球の回転角を算出しているため、観察者の眼
球の位置が変化した場合でも正確な視線検出ができる。
また、基準間隔値および基準像倍率は予め求められてい
るため視線検出時の演算量の増加を抑制することができ
る。特に、請求項３の発明では、検出情報の一部を用い
て角膜反射像同士の間隔を算出しているため、第１の演
算手段で処理すべき情報を低減することができ、より短
時間に視線検出を行うことができる。

【図面の簡単な説明】

【図１】本発明による視線検出装置の概略構成を示す
図。

【図２】視線検出方法を説明する図であり、眼球の断面
図。

【図３】眼球像を説明する図であり、（ａ）は光電変換
素子１７上に結像された眼球像を示し、（ｂ）は（ａ）
の線分ＢＢ’に沿った光電変換素子１７の出力の概略を
示す図。

【図４】視線検出時の眼球像を示す図。

【図５】変形例を説明する図。

【図６】検出範囲Ｒの設定および視線検出動作を説明す
るフローチャート。

【符号の説明】

１ 眼球 ５ 虹彩 ６ 角膜 ７ 瞳孔 １４ 照明装置 １４ａ，１４ｂ 光源 １６ 結像レンズ １７ 光電変換素子 １９ 演算装置 ２０ メモリ ３０，Ｒ 検出範囲 ３４ａ，３４ｂ，３５ａ，３５ｂ プルキンエ第一像の
像 Ｃ 角膜曲率中心 Ｄ 瞳孔中心 Ｏ 眼球の回転中心 Ｐａ，Ｐｂ プルキンエ第一像 θ 眼球の回転角

Claims (3)

【特許請求の範囲】
1. 【請求項１】 観察者の眼球を少なくとも２つの光源を
   有する照明手段で照明し、 像形成手段により眼球の像を形成するとともにその眼球
   像内に形成される各光源の角膜反射像同士の間隔を算出
   し、 前記算出された間隔と、予め求められた角膜反射像同士
   の基準間隔値および眼球像形成時の基準像倍率とに基づ
   いて観察者の眼球の回転角を算出することを特徴とする
   視線検出方法。
2. 【請求項２】 観察者の眼球を照明する少なくとも２つ
   の光源を有する照明手段と、 前記照明手段により照明された眼球の像を形成する像形
   成手段と、 前記像形成手段により形成された眼球像を検出する像検
   出手段と、 前記像検出手段の検出情報に基づいて、前記眼球像内に
   形成される前記各光源の角膜反射像同士の間隔を算出す
   る第１の演算手段と、 角膜反射像同士の基準間隔値および眼球像形成時の基準
   像倍率が予め記憶されている記憶手段と、 前記第１の演算手段により算出された間隔と前記基準間
   隔値および基準像倍率とに基づいて観察者の眼球の回転
   角を算出する第２の演算手段とを備えることを特徴とす
   る視線検出装置。
3. 【請求項３】 請求項２に記載の視線検出装置におい
   て、 前記記憶手段に記憶された基準間隔値に基づいて、前記
   検出情報の一部を選択する選択手段を設け、前記第１の
   演算手段は前記選択手段により選択された検出情報に基
   づいて前記間隔を算出することを特徴とする視線検出装
   置。