JP3134320B2

JP3134320B2 - 視線検出装置

Info

Publication number: JP3134320B2
Application number: JP03017092A
Authority: JP
Inventors: 明彦長野
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 1991-01-17
Filing date: 1991-01-17
Publication date: 2001-02-13
Anticipated expiration: 2016-02-13
Also published as: JPH04236935A

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は使用者の眼球を撮像し、
眼球画像から使用者の視線を検出する視線検出装置に関
するものである。

【０００２】

【従来の技術】従来より観察者が観察面上のどの位置を
観察しているかを検出する、いわゆる視線（視軸）を検
出する装置（例えばアイカメラ）が種々提案されてい
る。

【０００３】例えば特開昭６１−１７２５５２号公報に
おいては、光源からの平行光束を観察者の眼球の前眼部
へ投射し、角膜からの反射光による角膜反射像と瞳孔の
結像位置を利用して視軸を求めている。図１２（Ａ），
（Ｂ）は視線検出方法の原理説明図で、同図（Ａ）は視
線検出光学系の要部概略図、同図（Ｂ）は同図（Ａ）の
光電素子列６からの出力信号の強度の説明図である。

【０００４】同図において５は観察者に対して不感の赤
外光を放射する発光ダイオード等の光源であり、投光レ
ンズ３の焦点面に配置している。

【０００５】光源５より発光した赤外光は投光レンズ３
により平行光となりハーフミラー２で反射し、眼球２０
１の角膜２１を照明する。このとき角膜２１の表面で反
射した赤外光の一部による角膜反射像（虚像）ｄはハー
フミラー２を透過し受光レンズ４により集光し光電素子
列６上の位置Ｚｄ´に再結像する。

【０００６】また虹彩２３の端部ａ，ｂからの光束はハ
ーフミラー２、受光レンズ４を介して光電素子列６上の
位置Ｚａ´，Ｚｂ´に該端部ａ，ｂの像を結像する。受
光レンズ４の光軸（光軸ア）に対する眼球の光軸イとの
なす角である回転角θが小さい場合、虹彩２３の端部
ａ，ｂのＺ座標をＺａ，Ｚｂとすると、瞳孔２４の中心
位置ｃの座標ＺｃはＺｃ≒（Ｚａ＋Ｚｂ）／２と表わされる。

【０００７】また、角膜反射像ｄのＺ座標と角膜２１の
曲率中心ＯのＺ座標とは一致するため角膜反射像の発生
位置ｄのＺ座標をＺｄ、角膜２１の曲率中心Ｏから瞳孔
２４の中心Ｃまでの距離をＬ_OCとすると眼球光軸イと光
軸アとのなす角である回転角θは、Ｌ_OC＊ＳＩＮθ≒Ｚｃ−Ｚｄ ‥‥（１）の関係式を略満足する。

【０００８】このため演算手段９において、同図（Ｂ）
のごとく光電素子列６面上に投影された各特異点（角膜
反射像ｄ及び虹彩の端部ａ，ｂ）の位置を検出すること
により眼球２０１の光軸イの回転角θを求めることがで
きる。この時（１）式は、とかきかえられる。但し、βは受光レンズ４に対する眼
球の位置により決まる倍率である。

【０００９】ところで観察者の眼球の光軸イと視軸とは
一致しない。特開平１−２７４７３６号公報には観察者
の眼球の光軸と視軸の角度補正を行なって視線を検出す
ることが開示されている。そこでは観察者の眼球の光軸
の水平方向の回転角θを算出し、眼球の光軸と視軸との
角度補正値をδとしたとき観察者の水平方向の視線θＨ
を θＨ＝θ±δ ‥‥‥‥（３）として求めている。ここで符号±は、観察者に関して右
への回転角を正とすると、観察装置をのぞく観察者の目
が左目の場合は＋、右目の場合は−の符号が選択され
る。

【００１０】又、図１２（Ａ）においては観察者の眼球
がＺ−Ｘ平面（例えば水平面）内で回転する例を示して
いるが、観察者の眼球がＸ−Ｙ平面（例えば垂直面）内
で回転する場合においても同様に検出可能である。

【００１１】ただし、観察者の視線の垂直方向の成分は
眼球の光軸の垂直方向の成分θ´と一致するため垂直方
向の視線θＶは θＶ＝θ´ ‥‥‥‥（４）となる。

【００１２】図１３は図１２の視線検出装置を一眼レフ
カメラのファインダー系の一部に適用したときの光学系
の要部概略図である。

【００１３】同図において撮影レンズ１０１を透過した
被写体光は、跳ね上げミラー１０２により反射しピント
板１０４の焦点面近傍に結像する。さらにピント板１０
４にて拡散した被写体光はコンデンサーレンズ１０５、
ペンタダハプリズム１０６、そして光分割面１ａを有す
る接眼レンズ１を介して撮影者のアイポイント２０１ａ
に入射している。

【００１４】視線検出光学系は、撮影者（観察者）に対
して不感の赤外発光ダイオード等の光源５と投光レンズ
３とからなる照明手段（光軸ウ）と、光電素子列６、ハ
ーフミラー２及び受光レンズ４とからなる受光手段（光
軸ア）とから構成し、ダイクロイックミラーより成る光
分割面１ａを有する接眼レンズ１の上方に配置してい
る。赤外発光ダイオード５から発した赤外光は光分割面
１ａにおいて反射し、撮影者の眼球２０１を照明する。
さらに眼球２０１で反射した赤外光の一部は光分割面１
ａで再反射し、受光レンズ４、ハーフミラー２を介して
光電素子列６上に集光する。光電素子列６上で得られた
眼球の像情報（例えば図１２（Ｂ）で示す出力信号）よ
り演算手段９において撮影者の視線の方向を算出してい
る。即ち観察者が観察しているピント面１０４上の点
（注視点）を求めている。

【００１５】このときの前述した水平方向の視線θＨと
垂直方向の視線θＶより撮影者が見ているピント面１０
４上の位置（Ｚｎ，Ｙｎ）はとして求めている。但しｍはカメラのファインダー系で
決まる定数である。

【００１６】このように一眼レフカメラにおいて撮影者
がピント面１０４上のどの位置を観察しているかを知る
ことができると、例えばカメラの自動焦点検出装置にお
いて焦点検出可能なポイントを画面中心のみならず画面
内の複数箇所に設けた場合、撮影者がそのうちの１つの
ポイントを選択して自動焦点検出を行なおうとする場
合、その１つを選択入力する手間を省き撮影者が観察し
ているポイント即ち注視点を焦点検出するポイントとみ
なし、該ポイントを自動的に選択して自動焦点検出を行
うのに有効である。

【００１７】一般にカメラは老若男女を問わず多くの人
が使用し、それを使用する撮影者の眼球の大きさ等はそ
れぞれで異なっている。そこで一般に市販されている視
線測定用のアイカメラにおいては使用者による個人差等
の補正を行って視線検出の誤差を補正している。

【００１８】

【発明が解決しようとする課題】前述した視線検出方法
において眼球の回転角θの算出式（２）は眼球の大きさ
に関係するパラメータＬｏｃ（角膜２１の曲率中心Ｏか
ら瞳孔２４の中心までの距離）を含んでいる。この為カ
メラを使用する人の眼球の大きさ、即ちパラメータＬｏ
ｃが予め設定した距離Ｌｏｃに対応する値から大きくず
れていると算出される眼球の回転角θと実際の眼球の回
転角との間に誤差が生じ、視線検出精度が低下してくる
という問題点があった。

【００１９】更に（３）式の眼球の光軸と視軸との間の
補正角度δも撮影者の眼球の大きさ等の特性によって異
なってくる。この為補正角度δも一定の値に設定してし
まうと撮影者によっては算出される視線の方向θＨと実
際の視線の方向との間に誤差が生じて視線検出精度が低
下してくるという問題点があった。

【００２０】一般に市販されている視線測定用のアイカ
メラにおいては使用者による個人差等の補正を行なって
いる。しかしながら該使用者の眼球光軸と該使用者が見
ていると思われる風景を撮像するカメラの光軸とは一致
していない為、該使用者が注視する指標はアイカメラか
ら遠ざけなければならず該指標をアイカメラと一体にす
ることができないという欠点があった。

【００２１】更にカメラによって撮影されテレビモニタ
ーに映し出された指標の位置と前記使用者が指標を注視
している際に検出される視線の位置とが一致するように
アイカメラの調整を行なうのには実験補助者が必要であ
り、調整が面倒であるという欠点があった。

【００２２】本発明は、観察者の眼球の角膜の曲率半径
と前房深である光学定数を検出する光学定数検出手段と
眼球の角膜の曲率半径と前房深である光学定数の個人差
による視線の検出誤差を補正する視線補正演算手段とを
用いることにより、眼球の大きさ等の個人差による視線
の検出誤差を自動的に補正し、高精度の視線検出を行う
ことのできる視線検出装置の提供を目的とする。

【００２３】

【発明を解決するための手段】本発明は、使用者の眼球
を照明する光源と、使用者の眼球を照明する光源と、前
記光源により照明された眼球からの反射光を受光し眼球
の角膜での角膜反射像および虹彩の端部を検出するイメ
ージセンサーと、前記イメージセンサーの出力より前記
使用者の眼球の前房深及び角膜の曲率半径である光学定
数を検出する光学定数検出手段と、前記イメージセンサ
ーにて得られた角膜反射像および虹彩の端部と前記光学
定数とを用いて所定の演算を行い前記使用者の視線を演
算する視線補正演算手段とを有することを特徴としてい
る。

【００２４】特に本発明では、前記視線補正演算手段
は、前記光学定数を用いて眼球の角膜の曲率中心から瞳
孔の中心までの距離と、眼球の光軸と視軸の間の補正角
度を求め、これらの値を用いて前記使用者の視線を検出
することを特徴としている。また、前記光学定数を記憶
する光学定数記憶手段を有し、光学定数を検出するモー
ドが選択されると、前記光学定数記憶手段に記憶した前
記光学定数を消去し、新たに光学定数の検出を開始する
ことを特徴としている。また、前記光源は３つの発光素
子を有し、第１の発光素子と第２の発光素子が所定の間
隔で水平に並び、前記第２の発光素子と第３の発光素子
が前記所定の間隔とは異なる間隔で垂直に並ぶように配
置されることを特徴としている。

【００２５】

【実施例】図１（Ａ）は本発明を一眼レフカメラに適用
したときの実施例１の光学系の要部概略図、同図（Ｂ）
は同図（Ａ）の一部分の説明図である。図２は図１
（Ａ）の自動焦点検出装置の一部分の要部概略図、図３
（Ａ）は本発明における視線検出方法の原理説明図、図
３（Ｂ）は図３（Ａ）のイメージセンサからの出力強度
の説明図である。

【００２６】図中、１は接眼レンズで、その内部には可
視光透過・赤外光反射のダイクロイックミラー１ａが斜
設しており、光路分割器を兼ねている。４は受光レン
ズ、５（５ａ，５ｂ，５ｃ）は照明手段であり、例えば
観察者に対して不感の赤外光を放射する発光ダイオード
から成っている。１６はイメージセンサーである。受光
レンズ４とイメージセンサー１６は受光手段の一要素を
構成している。

【００２７】イメージセンサー１６は光電素子列を２次
元的に配置した構成より成り、受光レンズ４及び接眼レ
ンズ１に関して所定の位置（眼鏡を使用しない撮影者の
一般的なアイポイントの位置）にある眼の瞳孔近傍と共
役になるように配置している。

【００２８】９は視線演算処理装置で、眼球の光学定数
検出、視線の補正演算機能の他に赤外発光ダイオード５
ａ，５ｂ，５ｃの制御機能を有している。ここで光学定
数とは、観察者の角膜の曲率半径ｒ、前房深ｔであり、
この光学定数を用いて眼球と視線検出光学系との距離Ｘ
ｔ及び補正角度δを求める。これらについては後述す
る。各要素１，４，５，１６より眼球の視線検出手段を
構成している。

【００２９】１０１は撮影レンズ、１０２はクイックリ
ターン（ＱＲ）ミラー、１０３は表示素子、１０４はピ
ント板、１０５はコンデンサーレンズ、１０６はペンタ
ダハプリズム、１０７はサブミラー、１０８は多点焦点
検出装置であり、撮影画面内の複数の領域を選択して焦
点検出を行っている。多点焦点検出装置の説明は本発明
理解のために必要ないため概略に止める。

【００３０】即ち本実施例では図２に描く様に撮影レン
ズ１０１の予定結像面近傍に配され、夫々測距域を決め
る複数のスリットを有する視野マスク１１０と各スリッ
ト内の像に対してフィールドレンズの作用を果たすレン
ズ部材１１１を近接配置し、更にスリット数に応じた再
結像レンズの組１１２と光電素子列の組１１３を順置す
る。スリット１１０、フィールドレンズ１１１、再結像
レンズの組１１２、そして光電素子列の組１１３はそれ
ぞれ周知の焦点検出系を構成している。１０９はカメラ
制御装置であり、ファインダー内表示素子駆動、焦点検
出演算及びレンズ駆動機能等を有している。

【００３１】本実施例では撮影レンズ１０１の透過した
被写体光の一部はＱＲミラー１０２によって反射してピ
ント板１０４近傍に被写体像を結像する。ピント板１０
４の拡散面で拡散した被写体光はコンデンサーレンズ１
０５、ペンタダハプリズム１０６、接眼レンズ１を介し
てアイポイントＥに導光している。

【００３２】ここで表示素子１０３は例えば偏光板を用
いない２層タイプのゲスト−ホスト型液晶素子で、眼球
の光学定数検出手段の一要素であるファインダー内表示
手段を兼ねており、図５に示すようにファインダー視野
内に眼球の光学定数検出用の指標（図中指標５１，５
２，５３）を表示している。

【００３３】又、撮影レンズ１０１を透過した被写体光
の一部はＱＲミラー１０２を透過し、サブミラー１０７
で反射してカメラ本体底部に配置された前述の多点焦点
検出装置１０８に導光している。さらにカメラ制御装置
１０９からの信号に基づいて多点焦点検出装置１０８で
選択した被写体面上の位置の焦点検出情報に基づいて撮
影レンズ駆動装置（不図示）により撮影レンズ１０１の
繰り出し（もしくは繰り込み）が行なわれ、焦点調節が
行なわれる。

【００３４】本実施例に係る視線検出装置をしては符番
１，４，５，１６で表された部材より構成された視線検
出装置と、眼球像より眼球の角膜の曲率半径と前房深で
ある光学定数を検出、視線の補正演算を行う視線演算処
理装置９とから構成している。尚，視線演算処理手段９
には眼球の光学定数検出手段の構成要素である光学定数
算出手段、眼球の光学定数記憶手段と、視線補正演算手
段とが含まれる。

【００３５】ここで赤外発光ダイオード５ａ，５ｂは図
中Ｘ−Ｙ平面に関して対称に配置している。赤外発光ダ
イオード５ｂ，５ｃは図中Ｚ−Ｘ平面に関して対称に配
置している。又赤外発光ダイオード５ａ，５ｂとの間隔
と赤外発光ダイオード５ｂ，５ｃとの間隔とが異なるよ
うに設定している。

【００３６】該視線検出手段において、赤外発光ダイオ
ード５（５ａ，５ｂ，５ｃ）から放射される赤外光は、
接眼レンズ１に入射しダイクロイックミラー１ａにより
一部反射されアイポイントＥ近傍に位置する観察者の眼
球２０１を照明する。また眼球２０１で反射した赤外光
は、ダイクロイックミラー１ａで反射され受光レンズ４
によって収斂しながらイメージセンサー１６上に像を形
成する。これらの眼球像データより観察者の視線を算出
している。

【００３７】次に図３（Ａ），（Ｂ）を用いて視線検出
方法について説明する。

【００３８】同図において５ａ，５ｂは観察者に対して
不感の赤外光を放射する発光ダイオード等の光源であ
り、各光源は光軸アに対してＺ方向に略対称に配置し、
観察者の眼球を発散照明している。光源５ｂより放射さ
れた赤外光は角膜２１の表面で一部反射される。ここで
角膜２１にて反射した赤外光によって形成される角膜反
射像（虚像）ｄのＸ軸方向の位置は角膜２１の曲率半径
ｒに依存し、該虚像ｄの角膜２１の表面からの距離Ｘｄ
は、赤外発光ダイオード５ｂと角膜２１とのＸ軸方向の
距離をｓとすると、１／Ｘｄ＋１／ｓ＝２／ｒ ‥‥‥‥（６）の関係式を満足する。角膜２１の表面で反射した赤外光
の一部は受光レンズ４により集光されイメージセンサー
１６上の位置ｄ´に再結像する。このとき角膜反射像ｄ
のイメージセンサー１６への結像倍率β１は、視線検出
光学系の基準位置（例えば図１（Ｂ）における接眼レン
ズ１の射出面）から観察者の眼球の角膜２１までの距離
Ｘｔと、角膜２１の曲率半径ｒとの関数で表わされる。

【００３９】同様に光源５ａより放射された赤外光は角
膜２１の表面で一部反射される。ここで角膜２１にて反
射した赤外光によって形成される角膜反射像（虚像）ｅ
のＸ軸方向の位置は角膜２１の曲率半径ｒに依存し、該
虚像ｅの角膜２１の表面からの距離Ｘｅは距離Ｘｄとほ
ぼ同じである。角膜２１の表面で反射した赤外光の一部
は受光レンズ４により集光されイメージセンサー１６上
の位置ｅ´に再結像する。このとき角膜反射像ｅのイメ
ージセンサー１６への結像倍率β１は距離Ｘｔと角膜２
１の曲率半径ｒとの関数で表わされる。

【００４０】一般に角膜反射像ｄ及びｅの中点のＺ座標
は角膜２１の曲率中心ＯのＺ座標Ｚｏと一致しないため
これをδｚ（Ｘｔ，ｒ）だけ補正する必要がある。

【００４１】又、虹彩２３の端部ａ，ｂからの光束は受
光レンズ４を介してイメージセンサー１６上の位置ａ
´，ｂ´に該端部ａ，ｂの像を結像する。受光レンズ４
の光軸（光軸ア）に対する眼球の光軸イの回転角θが小
さい場合、虹彩２３の端部ａ，ｂのＺ座標をＺａ，Ｚｂ
とすると、瞳孔２４の中心位置ｃの座標ＺｃはＺｃ≒（Ｚａ＋Ｚｂ）／２と表わされる。

【００４２】このとき瞳孔２４の中心位置ｃの角膜２１
の表面からのＸ軸方向の距離Ｘｃは前房深ｔとほぼ等し
く、瞳孔２４の中心位置ｃのイメージセンサー１６への
結像倍率β２は距離Ｘｔと前房深ｔとの関数で表わされ
る。

【００４３】又、角膜反射像の発生位置ｄ，ｅのＺ座標
をＺｄ，Ｚｅ、角膜２１の曲率中心Ｏと瞳孔２４の中心
Ｃまでの距離をＬ_OC（≒ｒ−ｔ）とすると、眼球光軸イ
の回転角θは（１）式より、Ｌ_OC＊ｓｉｎθ≒Ｚｃ−（（Ｚｄ＋Ｚｅ）／２＋Δｚ（Ｘｔ，ｒ））‥（７）の関係式を略満足する。このため視線演算処理装置９に
おいて図３（Ｂ）のごとくイメージセンサー１６上の一
部に投影した各特徴点（角膜反射像ｄ，ｅ及び虹彩の端
部ａ，ｂ）の位置を検出し、これにより眼球の光軸イの
回転角θを求めている。このとき（７）式は、（ｒ−ｔ）＊ｓｉｎθ≒（（Ｚａ´＋Ｚｂ´）／２）／β２（Ｘｔ，ｔ） −（（Ｚｄ´＋Ｚｅ´）／２＋Δｚ（Ｘｔ，ｒ））／β１（Ｘｔ，ｒ）（８）と書き換えられる。さらに眼球の回転角θは θ≒ａｒｃｓｉｎ｛（Ｚｃ´／β２（Ｘｔ，ｔ）− （Ｚｇ´＋Δｚ（Ｘｔ，ｒ））／β１（Ｘｔ，ｒ））／（ｒ−ｔ）｝ ‥‥‥‥（９）と書き換えられる。但しＺｃ´≒（Ｚａ´＋Ｚｂ´）／２Ｚｇ´≒（Ｚｄ´＋Ｚｅ´）／２である。ところで撮影者の眼球の光軸と視軸とは一致し
ない。この為、撮影者の眼球光軸の水平方向の回転角θ
を算出し、眼球の光軸と視軸との角度補正δをすること
により撮影者の水平方向の視線θＨは求めている。撮影
者の水平方向の視線θＨは θＨ＝θ−δ ‥‥‥（１０）と求めている。又眼球の光軸と視軸との補正角度δの絶
対値は撮影者によって異なる値をとる。

【００４４】更に撮影者が見ているピント板１０４上の
位置ＺｎはＺｎ≒ｍ＊θＨ ‥‥‥‥（１１）として求めている。ただし、ｍはカメラのファインダー
系で決まる定数である。

【００４５】以上のように、観察者の視線を算出する
（２）式及び（３）式には撮影者によってそれぞれ異な
る値であるＬｏｃ及びδが用いられているが、撮影者の
眼球の角膜半径ｒ及び前房深ｔの値を測定することで、
それぞれの撮影者の個人差に対応したＬｏｃ（≒ｒ−
ｔ）及びδを求めることができる。したがって、この撮
影者の個人差に対応したＬｏｃ及びδを用いて視線演算
処理装置９のμコンピュータのソフトで演算を行うこと
で、眼球の回転角θと実際の眼球の回転角の誤差を小さ
くし、算出される視線の方向θＨと実際の視線の方向と
の間の誤差を小さくすることが可能となり、撮影者の個
人差に影響されずに視線及びピント板１０４の注視点を
求めることができる。

【００４６】本発明に係る視線検出装置において、光学
定数検出手段による撮影者の眼球光学系の光学定数であ
る角膜半径ｒ、前房深ｔ、および眼球と視線検出光学系
との距離Ｘｔ及び補正角度δは以下のように求めてい
る。

【００４７】図４はイメージセンサー１６面上の眼球像
で図１（Ｂ）における赤外発光ダイオード５ａ，５ｂ，
５ｃを点灯させ、イメージセンサー１６上には図４に示
すような三つの角膜反射像ｄ´，ｅ´，ｆ´を形成して
いる。

【００４８】ここで赤外発光ダイオード５ａ，５ｂは図
１（Ｂ）中Ｘ−Ｙ平面に関して対称に配置し、赤外発光
ダイオード５ｂ，５ｃは図中Ｚ−Ｘ平面に関して対称に
配置しており、また赤外発光ダイオード５ａ，５ｂとの
間隔と赤外発光ダイオード５ｂ，５ｃとの間隔とが異な
るように設定している。このため形成した角膜反射像ｄ
´及びｅ´の間隔ΔＺと角膜反射像ｄ´及びｆ´の間隔
ΔＹも異なる。前記角膜反射像の間隔ΔＺ，ΔＹは視線
検出光学系の基準位置（例えば図１（Ｂ）における接眼
レンズ１の射出面）から観察者の眼球の角膜２１までの
距離Ｘｔと角膜２１の曲率半径ｒとの関数であるため、
距離Ｘｔと角膜半径ｒはＸｔ＝ａ１（ｒ）＊ΔＺ＊＊２＋ａ２（ｒ）＊ΔＺ＋ａ３（ｒ）（１２）ｒ＝ｂ１（Ｘｔ）＊ΔＹ＊＊２＋ｂ２（Ｘｔ）＊ΔＹ＋ｂ３（Ｘｔ）（１３）と表わされる。

【００４９】ここで係数ａ１（ｒ），ａ２（ｒ），ａ３
（ｒ），ｂ１（Ｘｔ），ｂ２（Ｘｔ），ｂ３（Ｘｔ）は
視線検出光学系の構成により決まる値である。角膜反射
像の間隔ΔＺ及びΔＹを検出し、前記（１２），（１
３）式に基づいて距離Ｘｔと角膜半径ｒを算出してい
る。

【００５０】撮影者の眼球の前房深ｔはカメラのファイ
ンダー系内の指標を注視してもらうことにより検出して
いる。

【００５１】撮影者が図５に示したカメラのファインダ
ー系内の指標ｎ（ピント板１０４上でのＺ座標Ｚｎ）を
注視したとき（１１）式は（ｒ−ｔ）＊ｓｉｎ（Ｚｎ／ｍ−δ）≒ Ｚｃ´／β２（Ｘｔ，ｔ）−（Ｚｇ´＋Δｚ（Ｘｔ，ｒ））／β１（Ｘｔ，ｒ） ‥‥‥（１４）と書き換えられる。ファインダー系を覗く眼が右眼であ
る撮影者の場合、撮影者の眼球の光軸イの回転角が視線
検出手段の光軸（ア）に対して小さくなるように配置さ
れた指標例えば指標５１（ピント板１０４上でのＺ座標
Ｚ１）及び指標５２（ピント板１０４上でのＺ座標Ｚ
２）を指定すると、（１４）式は（ｒ−ｔ）＊（Ｚ１／ｍ−δ）≒Ｚｃ１´／β２（Ｘｔ１，ｔ） −（Ｚｇ１´＋Δｚ（Ｘｔ１，ｒ））／β１（Ｘｔ１，ｒ）（１５）（ｒ−ｔ）＊（Ｚ２／ｍ−δ）≒Ｚｃ２´／β２（Ｘｔ２，ｔ） −（Ｚｇ２´＋Δｚ（Ｘｔ２，ｒ））／β１（Ｘｔ２，ｒ）（１６）と表わされる。該（１５），（１６）式より眼球の光軸
と視軸との補正角度δを消去後、各指標を注視したとき
に検出される眼球像の特徴点の座標を代入することによ
り前房深ｔを算出している。前房深ｔを求め、これより
眼球の光軸と視軸との補正角度δを算出している。

【００５２】図６，図７は視線補正データであるところ
の眼球の光学定数検出のフローチャート図、図８は一眼
レフカメラの前部外観図である。図８中、３１はモード
選択ボタン、３２は電子ダイヤルで光学定数検出実行ス
イッチを兼ねている。３３はレリーズスイッチである。
図６，図７，図８をもとに眼球の光学定数の検出方法を
説明する。

【００５３】カメラの電源（不図示）を投入後（＃２０
０）、撮影者がモード選択ボタン３１を押しながら電子
ダイヤル３２で眼球の光学検出モードを選択すると（＃
２０１）視線演算処理装置９に記憶していた眼球の光学
定数が消去され（＃２０２）新たに撮影者の眼球の光学
定数の検出が開始される。

【００５４】又、カメラ制御装置１０９からの信号によ
り図５に示したファインダー系内中央に配された指標５
１が点滅を開始する（＃２０３）。撮影者が眼球の光学
定数検出用の指標が表示中であることを認識すると、そ
の指標５１を注視しながらレリーズスイッチ３３の前段
を動作させる（＃２０４）。レリーズスイッチ３３の信
号に基づいて視線演算処理装置９は視線検出用の赤外発
光ダイオード５ａ，５ｂ，５ｃを点灯し、該赤外発光ダ
イオードは撮影者の眼球を照明する（＃２０５）。

【００５５】そのときの眼球像データは視線演算処理装
置９に入力され（＃２０６）該視線演算処理装置９にお
いて眼球像データが有効であるかどうかの判断が行なわ
れる（＃２０８）。又眼球像データが視線演算処理装置
９に入力された時点でファインダー系内の指標５１の点
滅表示は終了し（＃２０７）、同時に赤外発光ダイオー
ド５ａ，５ｂ，５ｃは消灯する。

【００５６】ところで現在のカメラにおいてはレリーズ
スイッチ３３の前段を動作させることにより通常撮影レ
ンズの自動焦点調節及び測光等の機能が働くが、眼球の
光学定数検出モードに設定されているときはこれらの機
能が働かないようにしていても構わない。視線演算処理
装置９において前記眼球像データより角膜反射像あるい
は虹彩像が検出できないと判断されると再びファインダ
ー系内の指標５１の点滅表示が開始される（＃２０
３）。

【００５７】一方、眼球像データより角膜反射像及び虹
彩像の特徴点が検出されると（＃２０９）、視線演算処
理装置９において撮影者の眼球の角膜半径ｒ及び視線検
出光学系の基準位置から観察者の眼球の角膜２１までの
距離Ｘｔが前記（１２），（１３）式に基づいて算出さ
れる（＃２１０）。

【００５８】又、視線演算処理装置９においては前記
（９）式より求められるθが正の値であるか負の値であ
るかより撮影者が右眼でファインダー系をのぞいている
のか、左眼でファインダー系をのぞいているのかの判断
を行っている（＃２１１）。このとき前房深ｔには標準
的な値を代入している。

【００５９】更に視線演算処理装置９において撮影者の
ファインダー系を覗く眼が明らかになると撮影者の眼球
の光軸イの回転角が視線検出手段の光軸アに対して小さ
くなるように配置した指標が残りの二つの指標から選択
される。

【００６０】次に撮影者の眼が右眼であれば、図５に示
したファインダー系内の指標５２が選択されカメラ制御
装置１０９からの信号により該指標５２が点滅を開始す
る（＃２１２）。撮影者がファインダー視野内に眼球の
光学定数検出用の指標が表示中であることを認識し、そ
の指標５２を注視しながらレリーズスイッチ３３の前段
を動作させる（＃２１３）。レリーズスイッチ３３の信
号に基づいて視線演算処理装置９は視線検出用の赤外発
光ダイオード５ａ，５ｂを点灯し、該赤外発光ダイオー
ドは撮影者の眼球を照明する（＃２１４）。

【００６１】そのときの眼球像データは視線演算処理装
置９に入力され（＃２１５）該視線演算処理装置９にお
いて眼球像データが有効であるかどうかの判断が行なわ
れる（＃２１７）。

【００６２】又、眼球像データが視線演算処理装置９に
入力された時点でファインダー系内の指標５２の点滅表
示は終了し（＃２１６）、同時に赤外発光ダイオード５
ａ，５ｂは消灯する。視線演算処理装置９において前記
眼球像データより角膜反射像あるいは虹彩像が検出でき
ないと判断されると再びファインダー系内の指標５２の
点滅表示が開始される（＃２１２）。

【００６３】一方、眼球像データより角膜反射像及び虹
彩像の特徴点が検出されると（＃２１８）、視線演算処
理装置９において前房深ｔと眼球の光軸と視軸との補正
角度δとが前記（１５），（１６）式により算出される
（＃２１９）。

【００６４】算出された眼球の光学定数は視線演算処理
装置９の視線補正データ記憶手段に記憶される（＃２２
０）。このとき眼球の光学定数の検出を行なった撮影者
のデータも視線演算処理装置９に同時に記憶するように
すれば、使用するカメラに対して一度眼球の光学定数の
検出を行なえば以後行なわないで済むことになる。

【００６５】眼球の光学定数が視線演算処理装置９に記
憶されると、眼球の光学定数の検出が終了したことを撮
影者に知らしめるためにファインダー内の指標５１及び
指標５２が所定の時間点滅した後（＃２２１）視線入力
モードに移行する（＃２２２）。視線入力モードでは、
先に算出された眼球の光学定数を用いることにより撮影
者の視線が精度よく検出され、撮影者の意図する情報、
例えば撮影者がピントを合わせて撮影したい被写体の位
置を該撮影者の視線に基づいてカメラに入力することが
可能となる。

【００６６】尚、本実施例においては電源投入後、眼球
の光学定数検出モードを選択した例を示したが、既に眼
球の光学定数をカメラに登録している撮影者の場合は眼
球の光学定数の検出を行なわず直ちに視線入力モードに
移行するようにしても構わない。

【００６７】尚、撮影者の眼が左眼であると判別したと
きは図５に示したファインダー系内の指標５３を選択
し、カメラ制御装置１０９からの信号により指標５３が
点滅を開始する。その後の動作については指標５２を点
滅させたときと同様である。

【００６８】図９（Ａ）は本発明の実施例２のカメラの
後部外観図、図９（Ｂ）は実施例２におけるファインダ
ー内視野図、図１０，図１１は実施例２のフローチャー
ト図である。

【００６９】本実施例の視線検出装置は図２と同様であ
る。図９（Ａ）中３５は眼球の光学定数検出スイッチで
光学定数検出実行スイッチを兼ねている。

【００７０】本実施例において図９（Ｂ）に示したのは
ファインダー内表示手段でファインダー視野外にバック
ライトの付随した液晶素子或は発光ダイオードとで構成
した眼球の光学定数検出用の指標が配設しており、カメ
ラ制御装置（不図示）により表示、非表示の制御を行な
っている。

【００７１】以下、図１０，図１１の眼球の光学定数検
出の流れ図をもとに本実施例における眼球の光学定数検
出方法を説明する。

【００７２】撮影者がカメラの電源（不図示）を投入し
視線入力モードに設定すると（＃２３０）、視線演算処
理装置９からの信号に基づいて視線検出用の赤外発光ダ
イオード５ａ，５ｂが点灯し撮影者の眼球の照明を開始
する。更に撮影者が眼球の光学定数検出スイッチ３５を
所定の時間（ΔＴ秒間）押した状態にすると眼球の光学
定数検出モードに移行する（＃２３１）。このとき撮影
者の眼球の角膜半径ｒ検出用の赤外発光ダイオード５ｃ
が点灯し第３の角膜反射像を発生させる（＃２３２）。
同時に眼球の光学定数記憶手段であるところの視線演算
処理装置９に眼球の光学定数が登録されていればその眼
球の光学定数は消去される（＃２３３）。

【００７３】カメラ制御装置からの信号に基づいてファ
インダー視野外の水平方向真ん中下にある眼球の光学定
数検出用の指標が点灯する（＃２３４）。撮影者は指標
を注視しながら眼球の光学定数検出スイッチ３５を押し
（＃２３５）、そのときの撮影者の眼球像データを視線
演算処理装置９に入力する（＃２３６）。眼球像データ
が視線演算処理装置９に入力された時点でファインダー
視野外の指標は消灯する（＃２３７）。

【００７４】続いて視線演算処理装置においては眼球像
データが有効であるかどうかの判断を行なっている（＃
２３８）。視線演算処理装置９において前記眼球像デー
タより角膜反射像あるいは虹彩像が検出できないと判断
されると、再び指標が点灯し（＃２３４）眼球像データ
の取り直しを開始する。このとき撮影者が一度消灯した
指標が再度点灯するため前回の眼球像データの入力が不
完全であったことを認識することができる。

【００７５】一方、眼球像データが有効で該眼球像デー
タより角膜反射像及び虹彩像の特徴点を検出し（＃２３
８）、光学定数算出手段を兼ねた視線演算処理装置９に
おいて撮影者の眼球の角膜半径ｒ及び視線検出光学系の
基準位置から観察者の眼球の角膜２１までの距離Ｘｔを
前記（１２），（１３）式に基づいて算出している（＃
２３９）。

【００７６】又、該角膜反射像及び虹彩像の特徴点より
前房深ｔと眼球の光軸と視軸との補正角度δとを算出し
ている（＃２４０）。前房深ｔと眼球の光軸と視軸との
補正角度δの算出方法は以下の通りである。

【００７７】撮影者が図９（Ｂ）に示したカメラのファ
インダー系内の指標９１（ピント板１０４上での座標
（Ｚ，Ｙ））を注視したとき、注視点と眼球の各特徴点
との関係は前記（１４）式とほぼ同様で（ｒ−ｔ）＊ｓｉｎ（Ｚ／ｍ−δ）≒Ｚｃ´／β２（Ｘｔ，ｔ） −（Ｚｇ´＋Δｚ（Ｘｔ，ｒ））／β１（Ｘｔ，ｒ）（１７）（ｒ−ｔ）＊ｓｉｎ（Ｙ／ｍ）≒Ｙｃ´／β２（Ｘｔ，ｔ） −（Ｙｇ´＋Δｙ（Ｘｔ，ｒ））／β１（Ｘｔ，ｒ）（１８）と表わされる。ただし（Ｚｃ´，Ｙｃ´）はイメージセ
ンサー１６面上での撮影者の眼球の瞳孔中心の座標（Ｚ
ｇ´，Ｙｇ´）はイメージセンサー１６面上での二つの
角膜反射像の中心座標である。又観察者の視線の垂直方
向の回転角成分は眼球の光軸の垂直方向の回転角成分と
一致するため（１８）式には角度補正の項δは含まれて
いない。

【００７８】（１８）式より前房深ｔを算出し、該前房
深ｔの値を（１７）式に代入し眼球の光軸と視軸との補
正角度δを算出している。更に算出した眼球の光学定数
は視線演算処理装置に記憶している（＃２４１）。この
とき眼球の光学定数の検出を行なった撮影者のデータも
視線演算処理装置９に同時に記憶するようにすれば、使
用するカメラに対して一度眼球の光学定数の検出を行な
えば以後行なわないで済むことになる。

【００７９】眼球の光学定数を視線演算処理装置９に記
憶し、眼球の光学定数の検出が終了したことを撮影者に
知らしめるためにファインダー系内の指標を所定の時間
点滅させた後（＃２４２）眼球の光学定数検出モードを
解除している（＃２４３）。同時に第３の赤外発光ダイ
オード５ｃも消灯し（＃２４４）更に視線入力モードに
移行する（＃２４５）。視線入力モードでは、先に算出
した眼球の光学定数を用いることにより撮影者の視線を
精度よく検出し、撮影者の意図する情報、例えば撮影者
がピントを合わせて撮影したい被写体の位置を該撮影者
の視線に基づいてカメラに入力している。

【００８０】尚、本実施例においては光学装置としてカ
メラの例を示したが、顕微鏡等の光学装置に対しても本
発明は同様に適用することができる。

【００８１】

【発明の効果】以上説明したように、本発明は、使用者
の眼球を照明する光源と、光源により照明された眼球か
らの反射光を受光し眼球の角膜での角膜反射像および虹
彩の端部を検出するイメージセンサーと、イメージセン
サーの出力より使用者の眼球の前房深及び角膜の曲率半
径である光学定数を検出する光学定数検出手段と、イメ
ージセンサーにて得られた角膜反射像および虹彩の端部
と光学定数とを用いて所定の演算を行い使用者の視線を
演算する視線補正演算手段とを有する視線検出装置を提
供する。したがって視線を検出する際に用いる値であ
り、使用者によって個人差のあるＬｏｃ（角膜の曲率中
心から瞳孔の中心までの距離）と、眼球の光軸と視軸と
の補正角度とを検出することができる。よって使用者の
眼球の形状の個人差を補正できる視線検出装置を提供す
ることができる。

【図面の簡単な説明】

【図１】（Ａ）は本発明を一眼レフカメラに適用したと
きの実施例１の要部概略図、（Ｂ）は図１（Ａ）の一部
分の要部斜視図。

【図２】図１（Ａ）の焦点検出装置の一部分の要部斜
視図。

【図３】（Ａ）は視線検出原理説明図、（Ｂ）は図３
（Ａ）のイメージセンサーの出力強度の説明図。

【図４】イメージセンサー上の眼球像の説明図。

【図５】ファインダー視野図。

【図６】眼球の光学定数検出の流れ図。

【図７】眼球の光学定数検出の流れ図。

【図８】実施例１の一眼レフカメラの前部外観図。

【図９】（Ａ）は実施例２の一眼レフカメラの後部外観
図、（Ｂ）は実施例２のファインダー内視野図。

【図１０】実施例２の眼球の光学定数検出の流れ図。

【図１１】実施例２の眼球の光学定数検出の流れ図。

【図１２】（Ａ）は従来の視線検出光学系の概略図、
（Ｂ）は図１１（Ａ）の光電素子列の出力強度図。

【図１３】従来の一眼レフカメラの要部概略図。

【符号の説明】

１接眼レンズ２ハーフミラー３投光レンズ４受光レンズ５赤外発光ダイオード６イメージセンサー９視線演算処理装置２１角膜２２強膜２３虹彩２４瞳孔３１モード選択ボタン３２電子ダイヤル３３レリーズスイッチ３５視線補正スイッチ１０１撮影レンズ１０２跳ね上げミラー１０３表示素子１０４ピント板１０５コンデンサーレンズ１０６ペンタダハプリ
ズム１０７サブミラー１０８多点焦点検出装
置１０９カメラ制御装置１１０視野マスク１１１フィールドレン
ズ１１２再結像レンズ１１３光電素子列

Claims

(57)【特許請求の範囲】

【請求項１】使用者の眼球を照明する光源と、前記光
源により照明された眼球からの反射光を受光し眼球の角
膜での角膜反射像および虹彩の端部を検出するイメージ
センサーと、前記イメージセンサーの出力より前記使用
者の眼球の前房深及び角膜の曲率半径である光学定数を
検出する光学定数検出手段と、前記イメージセンサーに
て得られた角膜反射像および虹彩の端部と前記光学定数
とを用いて所定の演算を行い前記使用者の視線を演算す
る視線補正演算手段とを有することを特徴とする視線検
出装置。
【請求項２】前記視線補正演算手段は、前記光学定数
を用いて眼球の角膜の曲率中心から瞳孔の中心までの距
離と、眼球の光軸と視軸の間の補正角度を求め、これら
の値を用いて前記使用者の視線を演算することを特徴と
する請求項１に記載の視線検出装置。
【請求項３】前記光学定数を記憶する光学定数記憶手
段を有し、光学定数を検出するモードが選択されると、
前記光学定数記憶手段に記憶した前記光学定数を消去
し、新たに光学定数の検出を開始することを特徴とする
請求項１又は２に記載の視線検出装置。
【請求項４】前記光源は３つの発光素子を有し、第１
の発光素子と第２の発光素子が所定の間隔で水平に並
び、前記第２の発光素子と第３の発光素子が前記所定の
間隔とは異なる間隔で垂直に並ぶように配置されること
を特徴とする請求項１から３に記載の視線検出装置。