JPH08154899A - 視線検出装置 - Google Patents

視線検出装置

Info

Publication number
JPH08154899A
JPH08154899A JP6306335A JP30633594A JPH08154899A JP H08154899 A JPH08154899 A JP H08154899A JP 6306335 A JP6306335 A JP 6306335A JP 30633594 A JP30633594 A JP 30633594A JP H08154899 A JPH08154899 A JP H08154899A
Authority
JP
Japan
Prior art keywords
line
eyeball
observer
photoelectric conversion
sight
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP6306335A
Other languages
English (en)
Inventor
Hitoshi Nishimura
仁 西村
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nikon Corp
Original Assignee
Nikon Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nikon Corp filed Critical Nikon Corp
Priority to JP6306335A priority Critical patent/JPH08154899A/ja
Publication of JPH08154899A publication Critical patent/JPH08154899A/ja
Pending legal-status Critical Current

Links

Landscapes

  • Automatic Focus Adjustment (AREA)
  • Eye Examination Apparatus (AREA)

Abstract

(57)【要約】 【目的】 少ない照明手段により二次元方向における観
察者の視線方向を正確に検出する。 【構成】 視野画面220の一方の対角線上の2つの頂
点近傍に2つの照明手段210a,210bを設け、そ
れらの照明手段210a,210bにより観察者の眼球
を照明し、眼球からの反射像に基づいて観察者の視線方
向を検出する。

Description

【発明の詳細な説明】
【0001】
【産業上の利用分野】本発明は、光学装置の視野画面に
おける観察者の視線方向を検出する視線検出装置に関す
る。
【0002】
【従来の技術】観察者の視線方向を検出する視線検出装
置が知られている(例えば、特開平3−109029号
公報参照)。この種の装置では、観察者の眼球を光源に
より照明し、この光源によって照明された眼球の瞳孔と
虹彩との境界を読み取って瞳孔の中心位置を求めるとと
もに、光源からの照明光による角膜反射像の位置を求
め、この瞳孔中心と角膜反射像の相対的な位置関係に基
づいて視線方向を検出している。
【0003】図34は人間の眼球を水平方向に切断した
断面図である。図において、1は眼球であり、この眼球
1は、略球形の強膜2の中に硝子体3が充満され、この
強膜2の前部(図中左部)に水晶体4、虹彩5および角
膜6が形成されて概略構成されている。虹彩5は一種の
絞りであり、開口部は瞳孔7と呼ばれる。角膜6の曲率
は強膜2の曲率とは異なる。以下、図に示すように、角
膜曲率中心Cと眼球回転中心O''との間の距離を距離ρ
とおき、また、瞳孔中心Dと眼球中心O''との間の距離
を距離Aとおく。
【0004】図34に示すように水平方向(図中上下方
向)にX軸を採り、図示しない視野画面の中心に眼球1
が正対する時の眼球回転中心O''のX軸の位置を原点O
とする。このときの瞳孔中心DのX軸上の位置および角
膜反射像PのX軸上の位置は、眼球回転角θを図のよう
に定義すれば、
【数1】D=L+Asinθ (1) P=L+ρsinθ (2) と表される。ここにいう角膜反射像Pはプルキンエ第一
像と呼ばれるものであり、角膜6を凸レンズと考えた時
に、その表面で反射する光線の虚像である。
【0005】数式1より、角膜反射像PのX軸位置から
瞳孔中心DのX軸位置を差し引けば眼球中心の平行移動
成分Lを打ち消すことができて、
【数2】D−P=(A−ρ)sinθ (3) が得られるから、眼球回転角θは、
【数3】θ=sin-1((D−P)/(A−ρ)) (4) と求まる。ここで、角膜曲率中心Cと瞳孔中心Dとの間
の距離A−ρは各観察者によらずほぼ一定値と仮定する
ことができる。観察者の視線方向は眼球回転角θから求
められるので、角膜反射像PのX軸位置、瞳孔中心Dの
X軸位置を求めて、ほぼ一定値と仮定できるA−ρに適
当な値を代入すれば視線方向が求まる。
【0006】また、視線検出装置を搭載したカメラが知
られている。図35は視線検出装置が搭載されたカメラ
のファインダー接眼窓周辺を示し、501は視線検出装
置を搭載したカメラボディー、502はファインダー接
眼窓、503はクリップオン式のアクセサリーシュー、
504はポップアップ式のカメラ本体内蔵閃光装置、5
05は接眼目当て、506は接眼目当て取り付けレール
である。視線検出用光源510a,510b,501
c,510dは、カメラボディー501のファインダー
接眼窓502の下側の、接眼窓502の一辺に沿って配
置されている。
【0007】
【発明が解決しようとする課題】しかしながら、従来の
視線検出装置では、複数の視線検出用光源がファインダ
ー接眼窓のような視野枠すなわち視野画面の一辺に沿っ
て配置されているので、視線検出用光源の並び方向に垂
直な方向に対しては視線検出ができないという問題があ
る。特に、カメラを縦位置に構えた場合には、図36に
示すように、観察者の眼球209の一方向のみから眼球
209を照明することになり、照明むらが起きるなど、
検出精度が低下したり画像処理が複雑になり、正確な視
線検出ができないという問題がある。なお、図36にお
いて、301は瞳孔、302は紅彩、303は強膜、3
04は涙腺、305は目尻、306は睫、520は照明
むら、610aは視線検出用光源510aによるプルキ
ンエ第1像、610bは視線検出用光源510bによる
プルキンエ第1像である。
【0008】本発明の目的は、少ない照明手段により二
次元方向における観察者の視線方向を正確に検出可能な
視線検出装置を提供することにある。
【0009】
【課題を解決するための手段】上記目的を達成するため
に、請求項1の発明は、複数の照明手段により観察者の
眼球を照明し、前記照明手段により照明された眼球の反
射像に基づいて観察者の視線方向を検出する視線検出装
置に適用され、前記複数の照明手段を、視野画面の一方
の対角線上の2つの頂点近傍に設ける。請求項2の視線
検出装置は、前記視野画面の他方の対角線上の2つの頂
点近傍に、前記各照明手段により照明された眼球の各反
射像をそれぞれ観察する2つの観察手段を備えたもので
ある。請求項3の発明は、複数の照明手段により観察者
の眼球を照明し、前記照明手段により照明された眼球の
反射像に基づいて観察者の視線方向を検出する視線検出
装置に適用され、前記複数の照明手段を視野画面の対角
線上の4つの頂点近傍に設け、前記対角線方向の2つの
照明手段どうしを対として視線検出に用いる。請求項4
の発明は、複数の照明手段により観察者の眼球を照明
し、前記照明手段により照明された眼球の反射像に基づ
いて観察者の視線方向を検出する視線検出装置に適用さ
れ、前記複数の照明手段を視野画面の中央を重心位置と
する略正方形の4つの頂点に設け、前記略正方形の対角
線上の2つの照明手段どうしを対として視線検出に用い
る。
【0010】
【作用】請求項1の視線検出装置では、視野画面の一方
の対角線上の2つの頂点近傍に2つの照明手段を設け、
それらの照明手段により観察者の眼球を照明し、眼球か
らの反射像に基づいて観察者の視線方向を検出する。請
求項2の視線検出装置では、視野画面の一方の対角線上
の2つの頂点近傍に2つの照明手段を設けるとともに、
視野画面の他方の対角線上の2つの頂点近傍に2つの観
察手段を設け、前記各照明手段により照明された眼球の
各反射像をそれぞれ前記各観察手段により観察し、観察
者の視線方向を検出する。請求項3の視線検出装置で
は、視野画面の対角線上の4つの頂点近傍に4つの照明
手段を設け、前記対角線方向の2つの照明手段どうしを
対として視線検出に用いる。請求項4の視線検出装置で
は、視野画面の中央を重心位置とする略正方形の4つの
頂点に4つの照明手段を設け、前記略正方形の対角線上
の2つの照明手段どうしを対として視線検出に用いる。
【0011】
【実施例】
−第1の実施例− 図1は第1の実施例の構成を示す図である。図におい
て、101はカメラなどの光学装置内に設けられて観察
者が観察する観察面(視野画面)、102は観察者の眼
球であり、観察者は観察面101を介して図中左方向の
特定の点を注視しているものとする。103は視線検出
用光源駆動回路、104a、104bはそれぞれIRE
Dなどの視線検出用光源である。これらの視線検出用光
源104a、104bは、観察者の眼球102の近く
の、観察面101を観察する視野を妨げないような位
置、または観察者の注意を引かないような目立たない位
置に配置されている。
【0012】105、106はともに結像レンズ、10
7、108はそれぞれ2次元CCDなどの光電変換素子
である。これらの光電変換素子107、108は、観察
面101に平行な受光面を備えている。結像レンズ10
5は光電変換素子107上に観察者の眼球102の像を
結像させ、結像レンズ106は光電変換素子108上に
観察者の眼球102の像を結像させる。これらの結像レ
ンズ105、106と光電変換素子107、108によ
り視線検出光学系が構成される。視線検出光学系は、観
察者が観察する視野外の、観察者の眼球102を観察で
きる位置に、観察者の観察視野を妨げないように配置さ
れる。なお、観察者の注意を引かないような目立たない
位置に配置するならば、視線検出光学系を観察者の観察
視野内に配置してもよい。
【0013】109、110はそれぞれ光電変換素子1
07、108の出力信号を処理する信号処理回路、11
1は中央処理装置である。中央処理装置111は、視線
検出用光源駆動回路103および光電変換素子107、
108を駆動制御するとともに、信号処理回路109、
110の出力信号に基づいて観察者の視線方向を演算す
る。
【0014】図2は、検出光学系の配置の別の例を示す
構成図である。この例では、半透過鏡(ハーフミラー)
112を用いて観察者の眼球102の像を観察者の視野
外にある検出光学系(結像レンズ105,106、光電
変換素子113)へ導いている。さらに、上述した図1
に示す例では一対の結像レンズ105,106による眼
球102の像を各結像レンズ105,106に対応する
一対の光電変換素子107,108に結像させているの
に対し、この図2に示す例では一対の結像レンズ10
5,106による眼球102の像を一枚の光電変換素子
113に結像させている。光電変換素子113の受光面
は、観察面101と平行な面に共役となるように配置さ
れることが望ましい。なお、光電変換素子については、
図1に示すように、一対の光電変換素子107,108
を用いて検出を行ってもかまわない。114は光電変換
素子113の出力信号を処理する信号処理装置である。
【0015】図3は本発明の原理を説明するために導入
する座標系を示す。図において、115は観察者の眼球
102の角膜、116は観察者の眼球102の虹彩であ
る。観察者の注視する観察面101に対して、観察者の
眼球の回転中心O”と観察面101との距離が変化する
方向にY軸を設定し、観察面101の一方向(図中では
観察面101の左右方向)にX軸を設定し、X軸とY軸
に直交する方向(図中では観察面101の上下方向)に
Z軸を設定する。以下では、この三次元座標系を「実空
間座標系」と呼ぶ。実空間座標系の原点Oは、観察者の
眼球102が観察面101の中心に正対する位置にある
時に、その回転中心O”がY軸上に位置するように定め
られる。
【0016】さらに、実空間座標系において観察者の眼
球の回転中心O”を含むX−Z平面を考える。この平面
を「回転中心面」と呼び、回転中心面のY座標を実空間
座標系のy=y’に設定する。さらに、回転中心面とY
軸との交点をO’とし、O’を原点とするX’軸および
Z’軸を、実空間座標系のX軸およびZ軸にそれぞれ平
行となるように回転中心面上に設定する。y’は観察者
の眼球102が前後することによって変化するが、眼球
102の回転中心O”は必ず回転中心面に含まれてい
る。そして、回転中心O”と角膜曲率中心Cとを結ぶ線
分O”CとX−Y平面とのなす角をφ、線分O”CをX
−Y平面に投影した線分とY軸とのなす角をθとする。
【0017】図4は本発明の光学原理を説明するための
図である。視線検出用光源104aおよび104b(図
では代表して符号104で示す)は、観察者の眼球10
2の近くにある。2灯の視線検出用光源104a、10
4bの内の一方(図では104)に注目すると、この視
線検出用光源104は観察者の眼球102のP点に角膜
反射像の虚像を結ぶ。この虚像はプルキンエ第1像と呼
ばれる。プルキンエ第1像は、結像レンズ105を介し
て光電変換素子107上のPi点に再結像するととも
に、結像レンズ106を介して光電変換素子108上の
Pj点に再結像する。
【0018】ここで、光電変換素子107、108の各
受光面に共通な一方向をX”軸にとり、このX”軸に垂
直な方向にZ”軸をとる座標系を設定し、以下これを
「観察平面座標系」と呼ぶ。光電変換素子107、10
8の受光面上に設定された共通の観察平面座標系によっ
て、P点は、光電変換素子107上にPi(Pix,P
iz)と観測され、光電変換素子108上にPj(Pj
x,Pjz)と観測される。P点の実空間座標系におけ
る位置P(Px,Py,Pz)は、実空間座標系と観察
平面座標系との間で一意に定まる関数fx、fy、fz
を用いることにより、観察平面座標Pi(Pix,Pi
z)、Pj(Pjx,Pjz)に基づいて次のように表
わされる。
【数4】 Px=fx(Pix,Piz,Pjx,Pjz) (5) Py=fy(Pix,Piz,Pjx,Pjz) (6) Pz=fz(Pix,Piz,Pjx,Pjz) (7)
【0019】このように、それぞれの光電変換素子10
7、108の受光面上に結像される一対の角膜反射像お
よび虹彩の結像位置を実空間座標系に任意に変換するこ
とができる。したがって、視線検出用光源104の角膜
反射像と紅彩を一対の光電変換素子107、108上に
結像させることによって、実空間座標系における角膜反
射像および瞳孔中心位置を知ることができる。なお、P
点、結像レンズ105、106および光電変換素子10
7、108の位置関係が変っても、光電変換素子10
7、108の観察平面座標Pi、Pjから数式4を用い
て実空間座標系のP点の位置に変換可能である。ここ
で、関数fx、fy、fzは結像レンズ105、106
の倍率や収差などによって決定される。
【0020】次に、本発明の検出原理を説明する。本発
明では、図5に示すように、角膜曲率中心位置Cおよび
瞳孔中心位置Dの実空間座標と、瞳孔中心位置Dと角膜
曲率中心位置Cとの間の距離A−ρとに基づいて観察者
の眼球の視線方向を求める。ここで、Aは眼球回転中心
位置O”から瞳孔中心位置Dまでの距離であり、ρは眼
球回転中心位置O”から角膜曲率中心位置Cまでの距離
である。
【0021】角膜曲率中心位置Cおよび瞳孔中心位置D
の実空間座標と、観察者の眼球に依存する距離A−ρと
の関係は、実空間座標系を用いると次のような関係式で
表わされる。ここで、角膜曲率中心位置Cを(Cx,C
y,Cz)とし、瞳孔中心位置Dを(Dx,Dy,D
z)とする。また、θを上述の定義によるX軸方向の眼
球回転角、LをX軸方向の眼球回転中心の平行移動量、
φを上述の定義によるZ軸方向の眼球回転角、KをZ軸
方向の眼球回転中心の平行移動量とすれば、角膜曲率中
心位置Cの各座標は、
【数5】 Cx=L+ρcosφsinθ (8) Cy=y’+ρcosφcosθ (9) Cz=K+ρsinφ (10) と表わされ、また、瞳孔中心位置Dの各座標は、
【数6】 Dx=L+Acosφsinθ (11) Dy=y’+Acosφcosθ (12) Dz=K+Asinφ (13) と表わされる。数式5から数式6を並び順に減算すれ
ば、これらの式に含まれる平行移動量L、y’、Kを消
去することができ、次式が得られる。
【数7】 Cx−Dx=(A−ρ)cosφsinθ (14) Cy−Dy=(A−ρ)cosφcosθ (15) Cz−Dz=(A−ρ)sinφ (16) したがって、求める眼球回転角θとφは、
【数8】 θ=tan-1{(Dx−Cx)/(Dy−Cy)} (17) φ=sin-1[(Dz−Cz)/√{(Dx−Cx)2+(Dy−Cy)2+(D z−Cz)2}] (18) と表わすことができ、瞳孔中心位置Dと角膜曲率中心位
置Cとの間の距離A−ρを含まない式となる。
【0022】また、眼球回転角θ、φは三角関数で表さ
れているから、次のように書き換えることができる。
【数9】 θ=sin-1((Dx−Cx)/√((Dx−Cx)2+(Dy−Cy)2)) (19) θ=cos-1((Dy−Cy)/√((Dx−Cx)2+(Dy−Cy)2)) (20) φ=tan-1((Dz−Cz)/√((Dx−Cx)2+(Dy−Cy)2)) (21) φ=cos-1√(((Dx−Cx)2+(Dy−Cy)2))/((Dx−Cx)2+ (Dy−Cy)2+(Dz−Cz)2)) (22) よって、数式7と数式8の内、使用する用途に最も適し
た式を用いて計算すればよい。
【0023】観察者の視線方向は眼球回転角θとφから
求めることができるので、角膜曲率中心位置Cの実空間
座標(Cx,Cy,Cz)および瞳孔中心位置Dの実空
間座標(Dx,Dy,Dz)を求めれば視線方向が求ま
る。
【0024】以下、角膜曲率中心位置Cの座標(Cx,
Cy,Cz)、瞳孔中心位置Dの座標(Dx,Dy,D
z)を測定によって具体的に求める手順について述べ
る。まず、瞳孔中心位置の求め方について説明する。瞳
孔と虹彩との境界118は、図6に示すように、実空間
座標系における閉曲線であり、多くの場合、ある平面上
の円に近似することができる。この近似円を含む平面の
法線は実空間座標系のY軸方向と一致しない場合がある
ため、X−Z平面と受光面が平行に配置された光電変換
素子107、108上には歪んで結像するが、通常はこ
の法線とY軸のなす角が小さいので、この像もほぼ円形
とみなすことができる。
【0025】図7は、瞳孔と虹彩の境界が光電変換素子
(一方の光電変換素子107を代表して示す)の受光面
上に結像している様子を示す図である。図7において、
117は観察者の眼球102の瞳孔部、119は大円1
18の像である。この像119がほぼ円形であるとみな
せることから、この円の中心を瞳孔中心位置Dとみなす
ことができる。すなわち、一対の光電変換素子107、
108の受光面に結像する一対の観察者の眼球102の
像から虹彩と瞳孔との境界118の空間位置、例えば、
右端の点DR:(DRx,DRy,DRz)、左端の点DL
(DLx,DLy,DLz)の空間位置を測定する。この
時、DRzとDLzは等しいから、点DR、DLを結ぶ線分
のX軸方向の中点の座標が、瞳孔中心位置のX座標Dx
=(DRx+DLx)/2である。同様にして、上端の点
T:(DTx,DTy,DTz)、下端の点DB:(DBx,
By,DBz)の空間位置を測定すれば、瞳孔中心位置
のZ座標Dz=(DTz+DBz)/2を求めることができ
る。そして図6および図8に示すように、求まった瞳孔
中心位置Dを通る直線LXと虹彩と瞳孔との境界118
との二つの交点DP:(DPx,DPy,DPz),DQ:(D
Qx,DQy,DQz)のY座標の値の平均値(DPy+,D
Qy)/2が、瞳孔中心位置のY座標Dy、すなわち瞳孔
中心位置Dと原点Oとの距離である。
【0026】次に、角膜曲率中心位置Cの求め方につい
て述べる。角膜曲率中心位置Cは、図9に示すように、
視線検出用光源S1とこの光源S1によって生じるプル
キンエ第1像P1とを結ぶ直線と、視線検出用光源S2
とこの光源S2によって生じるプルキンエ第1像P2と
を結ぶ直線との交点である。したがって、実空間座標系
における角膜曲率中心位置Cの実空間座標(Cx,C
y,Cz)は、視線検出用光源S1の実空間座標を(S
1x,S1y,S1z)とし、視線検出用光源S2の実
空間座標を(S2x,S2y,S2z)とし、また、視
線検出用光源S1によるプルキンエ第1像P1の実空間
座標を(P1x,P1y,P1z)とし、視線検出用光
源S2によるプルキンエ第1像P2の実空間座標を(P
2x,P2y,P2z)とすると、
【数10】 Cx={S1xP1z(S2x-P2x)-S2xP2z(S1x-P1x)-S1zP1x(S2x-P2x)+S2zP2x(S1x-P1x) }/{(S1x-P1x)×(S2z-P2z)-(S2x-P2x)×(S1z-P1z)} (23) Cy={S1yP1x(S2y-P2y)-S2yP2x(S1y-P1y)-S1xP1y(S2y-P2y)+S2xP2y(S1y-P1y) }/{(S1y-P1y)×(S2x-P2x)-(S2y-P2y)×(S1x-P1x)} (24) Cz={S1zP1x(S2z-P2z)-S2zP2x(S1z-P1z)-S1xP1z(S2z-P2z)+S2xP2z(S1z-P1z) }/{(S1z-P1z)×(S2x-P2x)-(S2z-P2z)×(S1x-P1x)} (25) と表すことができる。ただし、角膜曲率中心位置Cが第
1視線検出用光源S1と第2視線検出用光源S2を通る
直線上に観察される場合など、(23)〜(25)式の
うちのいずれかの分母が0になることがある。この場合
は、例えば(23)、(25)式のCxとCzの計算で
はX座標値とY座標値を用いて角膜曲率中心位置Cを算
出することになる。
【0027】ここで、視線検出用光源S1(S1x,S
1y,S1z)およびS2(S2x,S2y,S2z)
の座標は実空間座標系で予め定められた固定値である。
一方、プルキンエ第1像P1(P1x,P1y,P1
z)およびP2(P2x,P2y,P2z)の座標は、
上述したように一対の光電変換素子107、108の受
光面上に結像されたそれぞれのプルキンエ第1像P1、
P2の位置から求めることができる。このようにして実
空間座標系における角膜曲率中心位置Cと瞳孔中心位置
Dの座標を求めることができたので、これらにより眼球
回転角θとφを求めることができる。
【0028】図10は、本実施例の視線検出装置による
視線検出演算を示すフローチャートである。まず、ステ
ップ101では一対の視線検出用光源104a、104
bにより観察者の眼球102を照明し、この光源104
a、104bによって照明された眼球102の反射像を
一対の光電変換素子107、108の受光面上に結像さ
せて取り込む。取り込んだ画像の出力値は、中央処理装
置111のメモリに一時的に保持される。ステップ10
2では、一方の光電変換素子107で受光された観察者
の眼球102の反射像データを中央処理装置111のメ
モリから読み出し、虹彩116と瞳孔117との境界1
18の四点DLix、DRix、DTiz、DBiz(図7
参照)の観察平面座標系における座標を算出する。ステ
ップ103では、ステップ102で求めた四点の座標の
うち、DLix、DRixの平均をとることによってDi
xを、DTiz、DBizの平均をとることによってDi
zを算出する。
【0029】ステップ104では、観察平面座標系にお
けるZ座標がz=Dizの直線が虹彩116と瞳孔11
7の境界118と交わる点の座標値DPix、DQix、
およびDPjx、DQjxを読み取る。ステップ105で
は、これら座標値DPix、DQix、およびDPjx、
Qjxから実空間座標系における空間座標DPy、D Q
yを算出する。ステップ106では、これら空間座標D
Py、DQyから瞳孔中心位置DのY座標値Dyを算出
し、このDyおよびステップ103で求めたDix、D
izから瞳孔中心位置DのX座標値DxおよびZ座標値
Dzを求める。このようにして、瞳孔中心Dの空間位置
が求められた。
【0030】ステップ107では、中央処理装置111
のメモリから観察者の眼球102の反射像データを読み
出し、2つのプルキンエ第一像の位置P1i、P2i、
P1j、P2jの観察平面座標系における座標値を読み
取る。ステップ108では、ステップ107で読み取っ
た一方のプルキンエ第一像の位置P1i、P1jから実
空間座標系におけるプルキンエ第一像の空間位置P1:
(P1x,P1y,P1z)を、他方のプルキンエ第一像
の位置P2i、P2jから実空間座標系におけるプルキ
ンエ第一像の空間位置P2:(P2x,P2y,P2z)
を算出する。ステップ109では、ステップ108で算
出した実空間座標系におけるプルキンエ第一像の空間位
置P1、P2と、予め与えられた二つの視線検出用光源
104a、104bの空間位置S1、S2を(23)〜
(25)式に代入して実空間座標系における角膜曲率中
心Cの空間位置を求める。
【0031】ステップ110では、ステップ106で求
まった瞳孔中心Dの空間位置と、ステップ109で求ま
った角膜曲率中心Cの空間位置を(17)、(18)式
へ代入し、眼球回転角θ、φを算出する。
【0032】以上の手順により、A−ρという個体差を
有する値を用いることなく、瞳孔中心Dの空間位置およ
び角膜曲率中心Cの空間位置を用いて観察者の眼球回転
角θ、φを正確に求めることができ、これにより観察者
の眼球102の視線方向を正確に求めることができる。
また、ステップ108では、上述のように(17)、
(18)式の組み合わせだけではなく、(17)〜(2
2)式の内のいずれかを組み合わせて求めてもよい。
【0033】−第2実施例− 第2実施例も、図1および図2で示した視線検出装置に
適用される。本実施例では、第1実施例と異なる手法を
用いて瞳孔中心Dの空間位置を求めている。すなわち、
光電変換素子107、108の受光面上における虹彩1
16と瞳孔部117との境界118の左右端、上下端の
四点の観察平面座標系の座標から、画像処理によって実
空間座標系における瞳孔中心Dの空間座標を求める。四
点の座標を、図11に示すように、DR':(DR'x,D
R'y,DR'z)、点DL':(DL 'x,DL'y,DL'z)、
T':(DT'x,DT'y,DT'z)、点DB':(DB'x,
B'y,DB'z)とおくと、瞳孔中心位置D:(Dx,D
y,Dz)は、Dx=(DR'x+DL'x)/2、Dy=(D
R'y+DL'y)/2、またはDy=(DT'y+DB'y)/
2、Dz=(DR'z+DL'z)/2となる。この方法は、
瞳孔部117が楕円であるとみなされる場合でも有効で
ある。
【0034】図12は、本実施例の視線検出装置による
視線検出演算を示すフローチャートである。まず、ステ
ップ201では、上述の第1実施例と同様に、一対の視
線検出用光源104a、104bにより観察者の眼球1
02を照明し、この光源104a、104bによって照
明された眼球102の反射像を一対の光電変換素子10
7、108の受光面上に結像させて取り込む。取り込ん
だ画像の出力値は、中央処理装置111のメモリに一時
的に保持される。
【0035】ステップ202では、光電変換素子10
7、108で受光された観察者の眼球102の反射像デ
ータを中央処理装置111のメモリから読み出し、虹彩
116と瞳孔部117との境界118のうち、光電変換
素子107の受光面上における左端の点DLi、右端の
点DRi、上端の点DTi、下端の点DBiの四点を読み
取るとともに、光電変換素子108の受光面上における
左端の点DLj、右端の点DRj、上端の点DTj、下端
の点DBjの4点を読み取る。ステップ203では、ス
テップ202で読み取った点DLi、DLjから実空間座
標系における虹彩116と瞳孔部117との境界118
の左端DLの空間位置を算出し、DRi、Djから実空
間座標系における境界118の右端Dの空間位置を算
出し、DTi、DTjから実空間座標系における境界11
8の上端DTの空間位置を算出し、DBi、DBjから実
空間座標系における境界118の下端DBの空間位置を
それぞれ算出する。ステップ204では、4点DL
R、DT、DBの空間位置から瞳孔中心の空間位置Dを
求める。瞳孔中心Dの実空間座標系での空間位置は、上
述のごとくDx=(DLx+DRx)/2、Dy=(DLy+
Ry)/2、Dz=(DTz+DBz)/2となる。
【0036】ステップ205では、中央処理装置111
のメモリから観察者の眼球102の反射像データを読み
出し、2つのプルキンエ第一像の位置P1i、P2i、
P1j、P2jの観察平面座標系における座標値を読み
取る。ステップ206では、ステップ205で読み取っ
た一方のプルキンエ第一像の位置P1i、P1jから実
空間座標系におけるプルキンエ第一像の空間位置P1:
(P1x,P1y,P1z)を、他方のプルキンエ第一像
の位置P2i、P2jから実空間座標上のプルキンエ第
一像の空間位置P2:(P2x,P2y,P2z)を算出
する。ステップ207では、ステップ206で算出した
実空間座標系におけるプルキンエ第一像の空間位置P
1、P2と、予め与えられた二つの視線検出用光源10
4a、104bの空間位置S1、S2を(23)〜(25)
式に代入して実空間座標系における角膜曲率中心Cの空
間位置を求める。
【0037】ステップ208では、ステップ204で求
まった瞳孔中心Dの空間位置と、ステップ207で求ま
った角膜曲率中心Cの空間位置を(17)、(18)式へ代
入し、眼球回転角θ、φを算出する。
【0038】以上の手順により、A−ρという個体差を
有する値を用いることなく、瞳孔中心Dの空間位置およ
び角膜曲率中心Cの空間位置を用いて観察者の眼球回転
角θ、φを正確に求めることができ、これにより観察者
の眼球102の視線方向を正確に求めることができる。
なお、ステップ204においては、Dy=(DTy+DB
y)/2を用いても計算できる。また、ステップ208
では、上述のように(17)、(18)式の組み合わせだけ
ではなく、(17)〜(22)式のいずれかを組み合わせて
求めても良い。
【0039】(3) カメラへの適用例 次に、本発明による視線検出装置を一眼レフレックスカ
メラ(以下単にカメラという)に搭載した場合の実施例
を述べる。
【0040】−第3実施例− 図13は、図1に示した視線検出装置をカメラに搭載し
た場合の実施例を示す概略構成図である。図13におい
て、201は便宜上一枚のレンズで示してあるが、実際
は複数のレンズからなる撮影レンズ、202はクイック
リターンミラー、203は表示装置、204は焦点板、
205はコンデンサーレンズ、206はペンタプリズ
ム、207は便宜上一枚のレンズで示してあるが、実際
は複数のレンズからなる場合もある接眼レンズである。
208は接眼部から内部にほこりや水滴等が入るのを防
止する、度を持たない接眼ガラス、209は観察者の眼
球、210aは視線検出用光源のうちの一灯であり、接
眼ガラス208の周囲から直接観察者の眼球209を照
射する位置に配置されている。他に図示しない視線検出
用光源が、視線検出用光源210aと同様に接眼ガラス
208の周囲から直接観察者の眼球209を照射する位
置に1灯以上配置されている。本実施例のようにカメラ
に搭載する場合、視線検出用光源210aは、赤外発光
ダイオードのように眼に見えない波長域の光を発光する
光源を使用することが望ましい。211aは後述の光電
変換素子のそれぞれに対応して設けられた複数の結像レ
ンズのうちの一つ、212aは複数の光電変換素子のう
ちの一つであり、CCDのような面受光素子が適してい
る。他に図示しない結像レンズ、光電変換素子が同様に
接眼ガラス208の周囲にそれぞれ1個以上配置されて
いる。
【0041】図14は、本実施例によるカメラのファイ
ンダー部の拡大図であり、視線検出用光源と結像レン
ズ、光電変換素子の配置の一例を示している。本実施例
では、視線検出用光源を4灯、結像レンズ、光電変換素
子をそれぞれ4個ずつ用いている。図15において、2
10a、210b、210c、および210dは視線検
出用光源、211a、211b、211c、および21
1dは結像レンズである。4個の結像レンズに対して、
その後方(図中で紙面の奥)に図示しない光電変換素子
が1つずつ配置されている。220はファインダー接眼
窓、221は接眼目当て、222はファインダー本体、
223はクリップオン式のアクセサリーシュー、224
はアイピースシャターレバーである。
【0042】上述した視線検出用光源と光電変換素子の
配置は、図16に示すようにカメラを横位置に構えた場
合でも、図17に示すようにカメラを縦位置に構えた場
合でも、ぞれぞれ図37と図38に示すように、2つの
プルキンエ第1像が例えば本実施例では観察者の眼球の
中心に対して、あるいは瞳孔中心位置に対して向って右
上と左下という、点対象な位置に結像するような配置に
なっている。したがって、図14に示す配置を用いれ
ば、カメラが横位置に構えられても縦位置に構えられて
も同じアルゴリズムで処理できる。更に、本実施例で
は、視線検出用光源が2組あるので、何等かの原因で1
つの視線検出用光源の組を用いた時にプルキンエ第1像
が1個または2個とも検出できなかった場合には、他の
視線検出用光源の組を点灯させて視線検出を行なうこと
ができる。これらの配置方法は、本発明による視線検出
方法にとどまらず、視線方向を求める過程で2個以上の
プルキンエ第1像を光電変換手段を用いて検出するすべ
ての検出方法に対して有効な配置である。
【0043】光電変換素子についても、観察者の眼球2
09の横方向から観察したほうが、瞼に遮られずにプル
キンエ第一像を確実に検出できて好ましい。図19は本
実施例における光電変換素子の配置状態を示す図であ
り、ファインダ接眼窓220の上下方向および水平(左
右)方向にそれぞれ一対の光電変換素子212a〜21
2dが列設され、合計4個の光電変換素子が配置されて
いる。これら光電変換素子212a〜212dは、視線
検出用光源210a〜210dをファインダ接眼窓22
0の平面上でちょうど45゜回転したような位置に配置
されており、各素子212a〜212dを結んだ線は略
正方形をなす。各光電変換素子212a〜212dに対
応して、図14に示すように結像レンズ211a〜21
1dもファインダ接眼窓220の上下、左右に配置され
ている。従って、カメラを横位置に構えた時は光電変換
素子211b、211dを、カメラを縦位置に構えた時
には、光電変換素子211a、211cを用いて検出す
れば、確実に検出することができる。
【0044】さらに、本実施例では光電変換素子212
a〜212dに2次元CCDが用いられており、各CC
D212a〜212dの画素読み出し方向も違えてあ
る。具体的には、ファインダー視野窓の上下方向に列設
された光電変換素子212a、212cの画素読み出し
方向は、図18の矢印231a、231cに示すように
上下方向にされ、視野窓の左右方向に列設された光電変
換素子212b、212dの画素読み出し方向は、図1
8の矢印231b、231dに示すように左右方向にさ
れている。
【0045】CCDの画素読み出し方向を違えた理由
も、カメラの姿勢と観察者の眼球209の特徴による。
図19は、CCD212bの受光面に結像された観察者
の眼球209の反射像を示す図である。たとえば、観察
者の眼球209の向きが図19に示すような方向である
場合、画素読み出し方向を図中矢印231bの方向、す
なわち瞳孔部301と虹彩部302との境界303の径
方向に延在する方向にすると、CCD212bの読み出
し列232の中の数画素232aにおいて境界303が
含まれる割合が小さくなり、この数画素232aにおけ
る検出光量の変化が大きくなる。一方、画素読み出し方
向を矢印233bの方向、すなわち境界303の接線方
向に延在する方向にすると、読み出し列234の中の数
画素234aにおいて瞳孔部301と虹彩部302との
境界線303が含まれる割合が大きくなり、この数画素
232aにおける検出光量の変化が小さくなってしま
う。したがって、図示例では読み出し方向を矢印231
bの方向にすることが好ましく、これにより瞳孔部30
1と虹彩部302との境界303の検出が容易になる。
以上から、カメラを横位置に構えた時はCCD211
b、211dを、カメラを縦位置に構えた時にはCCD
211a、211cを用いて検出すれば、より確実にか
つ正確に検出することができる。
【0046】本実施例における視線検出用光源210
a、結像レンズ211a、光電変換素子212a、接眼
ガラス208および接眼目当て221の位置関係は図2
0に示すような関係にある。接眼ガラス208はファイ
ンダー本体222の接眼窓220に取り付けられ、接眼
目当て221は何ら光学系を持たない構造にすることに
より、視線検出用光源210aが接眼ガラス208を照
射しないようにし、かつ光電変換素子212aが結像レ
ンズ211a以外の光学系を介さないようにしてある。
【0047】次に、4灯の視線検出用光源210a〜2
10dと4個の光電変換素子212a〜212dを用い
た視線検出の具体的手順について、図21のフローチャ
ートを用いて説明する。本実施例の視線検出装置では常
に4灯の視線検出用光源210a〜210dを全て点灯
し、対角に位置する2個の光源を1組として利用し、1
組目の視線検出用光源の組合わせによりプルキンエ第1
像がけしできない場合は、他の視線検出用光源の組み合
わせによるプルキンエ第1像を用いて視線検出を行うよ
うにしている。視線検出装置を作動させると、不図示の
姿勢検出手段によってカメラの姿勢が検出される。姿勢
検出手段としては、一般に水銀スイッチなどが周知であ
り、カメラが縦位置または横位置にあるか、正位置また
は逆位置にあるかを検出する。ステップ301では姿勢
検出手段の検出結果に基づいてカメラが縦位置にあるか
否かを判別し、縦位置にあればステップ302へ進み、
そうでなければステップ303へ進む。ステップ303
では姿勢検出手段の検出結果に基づいてカメラが正位置
にあるか否かを判別し、正位置にあればステップ304
へ進み、そうでなければステップ305へ進む。
【0048】カメラが正位置に構えられている時は、地
平面に対して両眼を水平にしているという前提が成り立
つため、ステップ304で、ファインダー接眼窓220
の左右に配置された一対の光電変換素子212b,21
2dのみを使用するように設定してステップ308へ進
む。一方、ステップ303が否定された場合、すなわち
撮影者が地平面に対して両眼を水平にしつつカメラを逆
位置で構えることは非常にまれであると思われることか
ら、ステップ305で、撮影者がどの方向からファイン
ダー接眼窓220を覗いているのか分らないとして、4
個の光電変換素子212a〜212dをすべて使用する
ように設定してステップ308へ進む。また、カメラが
縦位置に構えられている場合は、ファインダー接眼窓2
20の上下に配置された一対の光電変換素子212a,
212cが水平になるので、ステップ302ではこの一
対の光電変換素子212a,212cを使用するように
設定してステップ308へ進む。
【0049】ステップ308において、すべての視線検
出用光源210a〜210dを点灯する。次にステップ
309では、視線検出用光源210a,210cによる
プルキンエ第1像310a,310cが共に検出できた
か否かを判別し、共に検出できたらステップ310へ進
む。すなわち、上述した図10のステップ102以降の
動作を行ない、検出された2個のプルキンエ第1像位置
と、上記ステップ302,304,305のいずれかで
設定された光電変換素子で受光された紅彩反射像とに基
づいて視線方向を求める。一方、2個のプルキンエ第1
像のどちらか一方、もしくは共に検出できなかった場合
は、ステップ312で、視線検出用光源210b,21
0dによるプルキンエ第1像310b,310dが共に
検出できたか否かを判別し、共に検出できたらステップ
310へ進み、上述したように図10のステップ102
以降の動作を行ない、検出された2個のプルキンエ第1
像位置と、上記ステップ302,304,305のいず
れかで設定された光電変換素子で受光された瞳孔中心位
置とに基づいて視線方向を求める。ステップ312で視
線検出用光源210b,210dによるプルキンエ第1
像のどちらか一方、もしくは共に検出できなかった時は
ステップ313へ進み、異常処理ルーチンを実行する。
この異常処理ルーチンでどのような処理を行なうかは本
発明の主旨からそれるので詳しく言及しないが、具体的
には、一度保持された記憶を消去して再度検出し直す
か、光や音を発して視線検出不能であることを警告する
などの処理を行う。あるいは、検出できる2つのプルキ
ンエ第1像、例えば310c、310dを用いて視線検
出を行なう様にしてもよい。
【0050】また、本実施例では、ファインダ接眼窓の
頂点近傍に視線検出用光源を配置したが、カメラを横位
置に構えた時と縦位置に構えた時とで光源の位置関係が
一定に保たれる位置であれば図26に示す斜線部225
の任意の位置に配置してもよい。
【0051】−第4実施例− 図23(a)は、前述の原理の最低の構成要素である2
灯の視線検出用光源210a,210cと、一対の光電
変換素子および結像レンズ211a、211bを用いた
実施例のファインダー部のみを取り出して示した正面
図、図23は光電変換素子の配置を示す図である。視線
検出用光源211a,211bは、四角形の接眼窓22
0の一方の対角線上の頂点の近傍に設置される。また、
図23(b)は(a)と形状の異なるのファインダーを
示す。このファインダーは四角形の接眼枠560を有し
ており、2灯の視線検出用光源510a,510cと、
一対の光電変換素子および結像レンズ511a,511
bが設置される。焦点検出用光源510a,510c
は、四角形の接眼枠560の一方の対角線上の頂点の近
傍に設けられる。
【0052】本実施例では、2枚の光電変換素子を1組
として、カメラが横位置に構えられた時も縦位置に構え
られた時も使用する。また、図24に示すように、2枚
の光電変換素子212a、212bの画素読み出し方向
231a、231bは互いに垂直になっている。本実施
例では構成部材が少ないので、図14に示す第3実施例
の場合よりも安価に製品を提供できる。
【0053】上述した視線検出用光源と光電変換素子の
配置は、図16に示すようにカメラを横位置に構えた場
合でも、図17に示すようにカメラを縦位置に構えた場
合でも、ぞれぞれ図37と図38に示すように、2つの
プルキンエ第1像が例えば本実施例では観察者の眼球の
中心に対して、あるいは瞳孔中心位置に対して向って右
上と左下という、点対象な位置に結像するような配置に
なっている。したがって、図23に示す配置を用いれ
ば、第3の実施例、図21のステップ301〜305を
も省略でき、カメラが横位置に構えられても縦位置に構
えられても同じアルゴリズムで処理できる。これらの配
置方法は、本発明による視線検出方法にとどまらず、視
線方向を求める過程で2個以上のプルキンエ第1像を光
電変換手段を用いて検出するすべての検出方法に対して
有効な配置である。
【0054】−第5実施例− 図25は、図2に示した視線検出装置をカメラに搭載し
た場合の実施例を示す概略構成図である。201は便宜
上一枚のレンズで示してあるが、実際は複数のレンズか
らなる撮影レンズ、202はクイックリターンミラー、
203は表示装置、204は焦点板、205はコンデン
サーレンズ、206はペンタプリズム、207は便宜上
一枚のレンズで示してあるが、実際は複数のレンズから
なる場合もある接眼レンズで、光分割装置として、ダイ
クロイックミラー207aを有している。208は接眼
部から内部にほこりや水滴等が入るのを防止する、度を
持たない接眼ガラス、209は観察者の眼球、210a
は視線検出用光源のうちの1灯であり、接眼ガラス20
8の周囲から直接観察者の眼球209を照射する位置に
配置されている。他に図示しない他の視線検出用光源
が、視線検出用光源210aと同様に接眼ガラス208
の周囲から直接観察者の眼球209を照射する位置に1
灯以上配置されている。本実施例でも、視線検出用光源
210aは、赤外発光ダイオードのように眼に見えない
波長域の光を発光する視線検出用光源を使用することが
望ましい。211aは結像レンズであり、図示しないも
う1個の結像レンズと対になっている。212は光電変
換素子であり、本実施例では一対の結像レンズによる像
を1枚の光電変換素子212の受光面上の異なる位置に
結像させている。光電変換素子212はCCDの様な面
受光素子が適している。
【0055】図26は、本発明のカメラのファインダー
部の拡大図であり、視線検出用光源の配置の一例を示し
ている。本実施例では、4灯の視線検出用光源をファイ
ンダー接眼窓の周囲に配置している。図において、21
0a、210b、210c、および210dは視線検出
用光源、220はファインダー接眼窓、221は接眼目
当て、222はファインダー本体、223はクリップオ
ン式のアクセサリーシュー、224はアイピースシャタ
ーレバーである。
【0056】また、4個の視線検出用光源210a〜2
10dは、図14と同様に接眼窓220の頂点近傍に配
置され、かつ、これら光源210a〜210dを結ぶ線
により略正方形が形成されるようにされている。したが
って、本実施例でも、カメラを横位置に構えた時と縦位
置に構えた時で、視線検出用光源210a〜210dの
位置関係は一定に保たれる。
【0057】本実施例における視線検出用光源210a
〜210d、接眼ガラス208および接眼目当て221
の位置関係は図32に示すような関係にある。接眼ガラ
ス208はファインダー本体222の接眼窓220に取
り付けられ、かつ、接眼目当て221が何ら光学系を持
たない構造にすることにより、視線検出用光源210a
が接眼ガラス208を照射しないようにしてある。
【0058】図28は本実施例におけるカメラの結像レ
ンズ211a、211bと光電変換素子212の配置を
示す斜視図である。本実施例では、眼球209の反射像
を2枚の結像レンズ211a、211bを用いて1個の
光電変換素子212の受光面上の異なる領域に結像させ
ている。なお、本実施例では、図29に示すように、2
個の光電変換素子212a、212bを用いて眼球20
9の反射像をそれぞれの光電変換素子212a、212
bの受光面に結像させても良い。また、本実施例では、
光電変換素子1組をカメラが横位置に構えられた時も縦
位置に構えられた時も使用する。
【0059】−第6実施例− 図30は、4個の結像レンズ211a〜211dおよび
光電変換素子212a〜212dをそれぞれ備えた視線
検出装置をカメラに搭載した場合の実施例を示す図であ
って、結像レンズと光電変換素子の配置を示す斜視図で
ある。4個の光電変換素子212a〜212dは、上述
の第3実施例と同様に、カメラが横位置に構えられた場
合と、縦位置に構えられた場合とで、視線検出に用いら
れる光電変換素子の組が選択される。光電変換素子21
2a〜212dの組の具体的な選択方法は第3実施例と
同様であるので説明を省略する。
【0060】また、図31に示すように、4枚の光電変
換素子212a〜212dの中央の部分に視線検出用光
源210a〜210dを配置してもよい。また、図32
のように、投光レンズ213を用いて、視線検出用光源
210a〜210dと観察者の眼球209との距離を検
出光学系と相性の合う任意の距離に調節することもでき
る。
【0061】−第7実施例− 図33は、4個の結像レンズおよび2個の光電変換素子
をそれぞれ備えた視線検出装置をカメラに搭載した場合
の実施例を示す図であって、結像レンズと光電変換素子
の配置を示す斜視図である。2個の光電変換素子212
e、212fは、上述の第3実施例と同様に、カメラが
横位置に構えられた場合と、縦位置に構えられた場合と
で、視線検出に用いられる光電変換素子212e、21
2fが選択される。本実施例では、カメラが横位置に構
えられた場合には、接眼レンズ207の光軸の両側へ光
を分割して光電変換素子212eで検出しているのに対
し、縦位置に構えられた場合は、接眼レンズ207の光
軸の一方に対してあおりの光学計をなすように配置され
た光電変換素子212fにより検出している。
【0062】−第8の実施例− 図39は、第4の実施例から光電変換素子の配置を変え
た実施例である。本実施例では、第3の実施例で4灯配
置した視線検出用光源の内の2灯を光電変換素子に置き
換えている。本実施例では、第4の実施例に比べると、
カメラの構え方を変えた時の眼球と光電変換素子との位
置関係の変化が小さい。
【0063】図39(a)において、210a,201
cは視線検出用光源、211e,211fは結像レンズ
である。2個の結像レンズに対して、その後方(図中で
紙面の奥)に図示しない光電変換素子が1個ずつ配置さ
れている。2個の視線検出用光源と2個の結像レンズ
は、ファインダー接眼窓220の中央とほぼ等しい位置
に重心を持つ、略正方形の4つの頂点の位置に配置され
ている。また、図39(b)は(a)と形状の異なる四
角形の接眼枠560を有するファインダーの例を示す。
2個の視線検出用光源510a,510cと2個の結像
レンズ511e,511fは、接眼枠560の中央とほ
ぼ等しい位置に重心を持つ、略正方形の4つの頂点の位
置に配置されている。
【0064】前述の視線検出用光源と光電変換素子の配
置は、図16に示すようにカメラを横位置に構えた場合
でも、図17に示すようにカメラを縦位置に構えた場合
でも、それぞれ図37,図38に示すように、2個のプ
ルキンエ第1像が例えば本実施例では観察者の眼球の中
心に対して、あるいは瞳孔中心位置に対して向って右上
と左下という点対象な位置に結像するような配置になっ
ている。したがって、図39に示す配置を用いれば、カ
メラが横位置に構えられても縦位置に構えられても同じ
アルゴリズムで処理できる。これらの配置方法は、本発
明による視線検出方法にとどまらず、視線方向を求める
過程で2個以上のプルキンエ第1像を光電変換手段を用
いて検出するすべての検出方法に対して有効な配置であ
る。
【0065】−第9の実施例− 本実施例では、第3の実施例で提案した図14に示す配
置を用いて、視線検出用光源を対角に位置する2個を1
組だけ点灯して視線検出を行なう。本実施例では、視線
検出用光源が2組あるので、何等かの原因で1つの視線
検出用光源の組を用いた時にプルキンエ第1像が1個ま
たは2個とも検出できなかった場合には、他の視線検出
用光源の組を点灯させて視線検出を行なうことができ
る。
【0066】図40は第9の実施例の動作を示すフロー
チャートである。本実施例の視線検出装置では、2灯1
組で視線検出用光源を点灯する。1組目の視線検出用光
源の組み合わせによるプルキンエ第1像が検出できない
場合には、他の視線検出用光源の組のプルキンエ第1像
を用いて視線検出を行なうようにしている。まず、図4
0のフローチャートにおいて視線検出装置を作動させる
と、不図示の姿勢検出手段によってカメラの姿勢が検出
される。姿勢検出手段としては、一般に水銀スイッチな
どが周知であり、カメラが縦位置または横位置にある
か、正位置または逆位置にあるかを検出する。ステップ
501では姿勢検出手段の検出結果に基づいてカメラが
縦位置にあるか否かを判別し、縦位置にあればステップ
502へ進み、そうでなければステップ503へ進む。
ステップ503では姿勢検出手段の検出結果に基づいて
カメラが正位置にあるか否かを判別し、正位置にあれば
ステップ504へ進み、そうでなければステップ505
へ進む。
【0067】カメラが正位置に構えられている時は、地
平面に対して両眼を水平にしているという前提が成り立
つため、ステップ504で、ファインダー接眼窓220
の左右に配置された一対の光電変換素子212b,21
2dのみを使用するように設定してステップ508へ進
む。一方、ステップ503が否定された場合、すなわち
撮影者が地平面に対して両眼を水平にしつつカメラを逆
位置で構えることは非常にまれであると思われることか
ら、ステップ505で、撮影者がどの方向からファイン
ダー接眼窓220を覗いているのか分らないとして、4
個の光電変換素子212a〜212dをすべて使用する
ように設定してステップ508へ進む。また、カメラが
縦位置に構えられている場合は、ファインダー接眼窓2
20の上下に配置された一対の光電変換素子212a,
212cが水平になるので、ステップ502ではこの一
対の光電変換素子212a,212cを使用するように
設定してステップ508へ進む。
【0068】ステップ508において、まず視線検出用
光源210a,210cの組を先に点灯する。次にステ
ップ509では、視線検出用光源210a,210cに
よるプルキンエ第1像310a,310cが共に検出で
きたか否かを判別し、共に検出できたらステップ510
へ進む。すなわち、上述した図10のステップ102以
降の動作を行ない、検出された2個のプルキンエ第1像
位置と、上記ステップ502,504,505のいずれ
かで設定された光電変換素子で受光された紅彩反射像と
に基づいて視線方向を求める。一方、2個のプルキンエ
第1像のどちらか一方、もしくは共に検出できなかった
場合は、ステップ511で、視線検出用光源210b,
210dの組に点灯する。ステップ512で、視線検出
用光源210b,210dによるプルキンエ第1像31
0b,310dが共に検出できたか否かを判別し、共に
検出できたらステップ510へ進み、上述したように図
10のステップ102以降の動作を行ない、検出された
2個のプルキンエ第1像位置と、上記ステップ502,
504,505のいずれかで設定された光電変換素子で
受光された瞳孔中心位置とに基づいて視線方向を求め
る。ステップ512で視線検出用光源210b,210
dによるプルキンエ第1像のどちらか一方、もしくは共
に検出できなかった時はステップ513へ進み、異常処
理ルーチンを実行する。この異常処理ルーチンでどのよ
うな処理を行なうかは本発明の主旨からそれるので詳し
く言及しないが、具体的には、一度保持された記憶を消
去して再度検出し直すか、光や音を発して視線検出不能
であることを警告するなどの処理を行う。あるいは、第
3実施例の様に、4灯を同時に点灯し、検出できる2つ
のプルキンエ第1像を用いて視線検出を行なう。なお、
ステップ508とステップ511において点灯する視線
検出用光源の組は点灯する順番を入れ替えてもよい。
【0069】−第10の実施例− 図41は、第10の実施例の視線検出装置を搭載したカ
メラの概略構成を示す。この実施例では、図25に示す
ように、ダイクロイックミラー207aを有する接眼レ
ンズ207を用いて、観察者の眼球102の像を観察者
の視野の外にある一枚の結像レンズ701で一つの光電
変換素子702へ結像させている。本実施例では、瞳孔
中心および角膜曲率中心のY軸方向の位置が求められな
いので、角膜曲率中心位置Cと瞳孔中心Dとの間の距離
A−ρは求められないが、この距離A−ρを一定と見な
してよい場合や、予め測定して記憶しておくことが可能
ならば、その場合の観察者の視線方向を求める方法が知
られている。その詳細については特開平3−16862
3号公報などに開示されているので、ここではその概要
を説明する。すなわち、光電変換素子702の出力に基
づいて瞳孔中心位置を検出する。また、角膜曲率中心位
置は(23)、(25)式を用いることによって求ま
る。よって、上述した理由で角膜曲率中心Cと瞳孔中心
Dとの間の距離A−ρの値が分っていれば、本実施例に
おける視線方向は、
【数11】 θ=sin-1((Dx−Cx)/(A−ρ)) (26) φ=sin-1((Dz−Cz)/(A−ρ)) (27) と表わされる。
【0070】図42は、本実施例の視線検出装置による
視線検出演算を示すフローチャートである。まず、ステ
ップ601では、一対の視線検出用光源104a,10
4bにより観察者の眼球102を照明し、この光源10
4a,104bによって照明された眼球102の反射像
を光電変換素子702の受光面上に結像させて取り込
む。取り込んだ画像の出力値は、中央処理装置111の
メモリに一時的に保持される。ステップ602では、光
電変換素子113で受光された観察者の眼球102の反
射像データを中央処理装置111のメモリから読み出
し、虹彩116と瞳孔117との境界118の内、光電
変換素子113の受光面上における左端の点DL、右端
の点DR、上端の点DT、下端の点DBの4点を読み取
る。ステップ503では、2点DL、DR、DT、DBから
瞳孔中心位置DX、DZを求める。瞳孔中心位置Dは、
【数12】DX=(DLX+DRX)/2 (28) DZ=(DTZ+DBZ)/2 (29) となる。
【0071】ステップ604では、中央処理装置111
のメモリから観察者の眼球102の反射像データを読み
出し、2つのプルキンエ第1像の位置P1,P2の座標
を読み取る。ステップ505では、ステップ504で算
出したプルキンエ第1像位置P1,P2と、予め与えら
れた2つの視線検出用光源104a,104bの位置S
1,S2を(23)、(25)式に代入して角膜曲率中
心位置Cを求める。ステップ606では、ステップ60
3で求まった瞳孔中心位置Dと、ステップ605で求ま
った角膜曲率中心位置Cを数式11へ代入し、眼球回転
角θ、φを算出する。以上の手順により、瞳孔中心位置
Dおよび角膜曲率中心位置Cを用いて観察者の眼球回転
角θ、φを求めることができ、これにより観察者の眼球
102の視線方向を算出できる。
【0072】本検出原理を用いても、前述の第4の実施
例で説明した内容は有効である。図43(a)は、本実
施例におけるカメラのファインダー部のみを取り出して
示した正面図である。本実施例では、図28に示す第5
実施例の視線検出用光源210a,210cのみを配置
し、光電変換素子および結像レンズは、図41を用いて
説明した位置に配置しており、本図では見えない。視線
検出用光源210a,210cは、四角形の接眼窓22
0の一方の対角線上の頂点の近傍に設置される。また、
図43(b)は(a)と形状の異なる四角形の接眼枠5
60を有するファインダーを示す。視線検出用光源51
0a,510cは、四角形の接眼窓520の一方の対角
線上の頂点の近傍に設置される。本実施例でも、第4実
施例と同様に、少ない数の視線検出用光源でプルキンエ
第1像をカメラの縦位置、横位置にかかわらず、かなり
高い確率で検出できる。
【0073】−第11の実施例− 本実施例では、前述の第10実施例で説明した原理を用
いて、視線検出用光源を第9実施例で説明した方法で発
光させて視線方向を検出する実施例である。本実施例に
おけるカメラのファインダー部の外観は図26に示した
ようになる。本実施例でも第9実施例で説明した内容は
有効である。すなわち、視線検出用光源が2組あるの
で、何等かの原因で1つの視線検出用光源の組を用いた
時にプルキンエ第1像が2つとも検出できなかった場合
には、他の組の視線検出用光源の組を用いて視線検出を
行なうことができる。
【0074】このように、視野画面の一方の対角線上の
2つの頂点近傍に2つの視線検出用光源を設け、それら
の光源により観察者の眼球を照明し、眼球からの反射像
に基づいて観察者の視線方向を検出するようにしたの
で、わずか2つの視線検出用光源で二次元方向における
観察者の視線方向を正確に検出することができる。ま
た、視野画面の一方の対角線上の2つの頂点近傍に2つ
の視線検出用光源を設けるとともに、視野画面の他方の
対角線上の2つの頂点近傍に2組の結像レンズおよび光
電変換素子を設け、視線検出用光源により照明された眼
球の各反射像をそれぞれ結像レンズおよび光電変換素子
により観察し、観察者の視線方向を検出するようにした
ので、わずか2つの視線検出用光源と2組の結像レンズ
および光電変換素子で二次元方向における観察者の視線
方向を正確に検出することができる。なお、本発明を例
えばカメラに応用した場合には視野画面はファインダー
窓により形成される。なお、視野画面の対角線上の4つ
の頂点近傍に4つの視線検出用光源を設け、対角線方向
の2つの視線検出用光源どうしを対として視線検出に用
いるようにしたので、何等かの原因で一対の視線検出用
光源による視線方向の検出が不能な時は、他の一対の視
線検出用光源により二次元方向における観察者の視線方
向を確実に検出することができる。また、視野画面の中
央を重心位置とする略正方形の4つの頂点に4つの視線
検出用光源を設け、対角線上の2つの視線検出用光源ど
うしを対として視線出に用いるようにしたので、何等か
の原因で一対の視線検出用光源による視線方向の検出が
不能な時は、他の一対の視線検出用光源により二次元方
向における観察者の視線方向を確実に検出することがで
きる上に、特にカメラにこの視線方向検出装置を応用し
た場合には、視野画面を形成するファインダー窓を小さ
くすることができる。
【0075】なお、本発明の視線検出装置は、その細部
が上述の各実施例に限定されず、種々の変形が可能であ
る。一例として、上述の実施例における視線検出装置
は、角膜曲率中心位置検出装置あるいは瞳孔中心検出装
置としても使用可能である。また、各実施例において
は、並列に駆動する二つのCPUがあれば、より効果的
である。
【0076】以上の実施例の構成において、視線検出用
光源104,210,510が照明手段を、結像レンズ
105,106,211,511,701および光電変
換素子107,108,113,212,702が観察
手段をそれぞれ構成する。
【0077】
【発明の効果】以上説明したように請求項1の発明によ
れば、視野画面の一方の対角線上の2つの頂点近傍に2
つの照明手段を設け、それらの照明手段により観察者の
眼球を照明し、眼球からの反射像に基づいて観察者の視
線方向を検出するようにしたので、わずか2つの照明手
段で二次元方向における観察者の視線方向を正確に検出
することができる。請求項2の視線検出装置では、視野
画面の一方の対角線上の2つの頂点近傍に2つの照明手
段を設けるとともに、視野画面の他方の対角線上の2つ
の頂点近傍に2つの観察手段を設け、前記各照明手段に
より照明された眼球の各反射像をそれぞれ前記各観察手
段により観察し、観察者の視線方向を検出するようにし
たので、わずか2つの照明手段と2つの観察手段で二次
元方向における観察者の視線方向を正確に検出すること
ができる。請求項3の視線検出装置では、視野画面の対
角線上の4つの頂点近傍に4つの照明手段を設け、前記
対角線方向の2つの照明手段どうしを対として視線検出
に用いるようにしたので、何等かの原因で一対の照明手
段による視線方向の検出が不能な時は、他の一対の照明
手段により二次元方向における観察者の視線方向を確実
に検出することができる。請求項4の視線検出装置で
は、視野画面の中央を重心位置とする略正方形の4つの
頂点に4つの照明手段を設け、前記略正方形の対角線上
の2つの照明手段どうしを対として視線検出に用いるよ
うにしたので、何等かの原因で一対の照明手段による視
線方向の検出が不能な時は、他の一対の照明手段により
二次元方向における観察者の視線方向を確実に検出する
ことができる。また、縦位置、横位置とで同じアルゴリ
ズムで行なえる。
【図面の簡単な説明】
【図1】第1の実施例の構成の一例を示す図である。
【図2】視線検出装置の他の構成例を示す図である。
【図3】本発明の原理の説明に用いられる座標系を示す
図である。
【図4】本発明の光学原理を説明する図である。
【図5】本発明の検出原理を説明するための図である。
【図6】本発明における瞳孔中心位置の決定方法の一例
を説明するための図である。
【図7】本発明における瞳孔中心位置の決定方法の一例
を説明するための図である。
【図8】瞳孔部と虹彩部との境界線の位置関係を説明す
るための図である。
【図9】本発明における瞳孔中心位置の決定方法の他の
例を説明するための図である。
【図10】第1の実施例の動作を示すフローチャートで
ある。
【図11】本発明における角膜曲率中心位置の決定方法
の一例を説明するための図である。
【図12】第2の実施例の動作を示すフローチャートで
ある。
【図13】第3の実施例の視線検出装置を搭載したカメ
ラの光学系を示す概略図である。
【図14】第3の実施例のカメラのファインダー部の正
面図である。
【図15】第3の実施例の視線検出用光源の選択手順の
原理を説明するための図である。
【図16】カメラの横位置を説明するための図である。
【図17】カメラの縦位置を説明するための図である。
【図18】第3の実施例の光電変換素子の配置および画
素読み出し方向を示す図である。
【図19】第3の実施例の視線検出用光源の選択手順の
原理を説明するための図である。
【図20】第3の実施例のファインダー部の断面図であ
る。
【図21】第3の実施例における光電変換素子の選択手
順を説明するためのフローチャートである。
【図22】第3の実施例における視線検出用光源および
検出光学系の配置範囲を示す図である。
【図23】第4の実施例の視線検出装置を搭載したカメ
ラのファインダー部の正面図である。
【図24】第4の実施例の光電変換素子の配置および画
素読み出し方向を示す図である。
【図25】第5の実施例の視線検出装置を搭載したカメ
ラの光学系を示す概略図である。
【図26】第5の実施例の視線検出装置を搭載したカメ
ラのファインダー部の正面図である。
【図27】第5の実施例の視線検出装置を搭載したカメ
ラのファインダー部の断面図である。
【図28】第5の実施例の視線検出装置を搭載したカメ
ラのファインダー部の透視図である。
【図29】視線検出装置を搭載したカメラの他の例を示
すファインダー部の透視図である。
【図30】第6の実施例の視線検出装置を搭載したカメ
ラのファインダー部を示す透視図である。
【図31】第6の実施例の視線検出装置を搭載したカメ
ラのファインダー部を示す透視図である。
【図32】第6の実施例のファインダー部の他の例を示
す透視図である。
【図33】第6の実施例のファインダー部の他の例を示
す透視図である。
【図34】人間の眼球を示す水平断面図である。
【図35】従来の視線検出装置を搭載したカメラの視線
検出用光源の配置を示す図である。
【図36】従来の視線検出装置を搭載したカメラの視線
検出用光源で観察者の眼球を照明した像の一例を示す図
である。
【図37】視線検出用光源の配置について説明するため
の図である。
【図38】視線検出用光源の配置について説明するため
の図である。
【図39】第8の実施例の視線検出装置を搭載したカメ
ラのファインダー部の正面図である。
【図40】第10の実施例における光電変換素子の選択
手順を説明するためのフローチャートである。
【図41】第11の実施例の視線検出装置を搭載したカ
メラの光学系を示す概略図である。
【図42】第11の実施例の動作を示すフローチャート
である。
【図43】第11の実施例の視線検出装置を搭載したカ
メラのファインダー部の正面図である。
【符号の説明】
C 角膜曲率中心 D 瞳孔中心 101 観察面 102,209 眼球 104,210,510 視線検出用光源 105,106,211,511,701 結像レンズ 107,108,113,212,702 光電変換素
子 109,110,114 信号処理手段 111 中央処理装置 115 角膜 116 虹彩 117 瞳孔 118 境界 220 ファインダー接眼窓 610 プルキンエ第1像 502 ファインダー接眼窓

Claims (4)

    【特許請求の範囲】
  1. 【請求項1】 複数の照明手段により観察者の眼球を照
    明し、前記照明手段により照明された眼球の反射像に基
    づいて観察者の視線方向を検出する視線検出装置におい
    て、 前記複数の照明手段は視野画面の一方の対角線上の2つ
    の頂点近傍に設けられることを特徴とする視線検出装
    置。
  2. 【請求項2】 請求項1に記載の視線検出装置におい
    て、 前記視野画面の他方の対角線上の2つの頂点近傍に、前
    記各照明手段により照明された眼球の各反射像をそれぞ
    れ観察する2つの観察手段を備えることを特徴とする視
    線検出装置。
  3. 【請求項3】 複数の照明手段により観察者の眼球を照
    明し、前記照明手段により照明された眼球の反射像に基
    づいて観察者の視線方向を検出する視線検出装置におい
    て、 前記複数の照明手段は視野画面の対角線上の4つの頂点
    近傍に設けられ、前記対角線方向の2つの照明手段どう
    しを対として視線検出に用いることを特徴とする視線検
    出装置。
  4. 【請求項4】 複数の照明手段により観察者の眼球を照
    明し、前記照明手段により照明された眼球の反射像に基
    づいて観察者の視線方向を検出する視線検出装置におい
    て、 前記複数の照明手段は視野画面の中央を重心位置とする
    略正方形の4つの頂点に設けられ、前記略正方形の対角
    線上の2つの照明手段どうしを対として視線検出に用い
    ることを特徴とする視線検出装置。
JP6306335A 1994-12-09 1994-12-09 視線検出装置 Pending JPH08154899A (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP6306335A JPH08154899A (ja) 1994-12-09 1994-12-09 視線検出装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP6306335A JPH08154899A (ja) 1994-12-09 1994-12-09 視線検出装置

Publications (1)

Publication Number Publication Date
JPH08154899A true JPH08154899A (ja) 1996-06-18

Family

ID=17955873

Family Applications (1)

Application Number Title Priority Date Filing Date
JP6306335A Pending JPH08154899A (ja) 1994-12-09 1994-12-09 視線検出装置

Country Status (1)

Country Link
JP (1) JPH08154899A (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017203815A1 (ja) * 2016-05-27 2017-11-30 ソニー株式会社 情報処理装置、情報処理方法および記録媒体
WO2017217026A1 (ja) * 2016-06-16 2017-12-21 アルプス電気株式会社 角膜中心検出装置および視線検出装置

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017203815A1 (ja) * 2016-05-27 2017-11-30 ソニー株式会社 情報処理装置、情報処理方法および記録媒体
US10893802B2 (en) 2016-05-27 2021-01-19 Sony Corporation Information processing apparatus, information processing method, and recording medium
WO2017217026A1 (ja) * 2016-06-16 2017-12-21 アルプス電気株式会社 角膜中心検出装置および視線検出装置

Similar Documents

Publication Publication Date Title
US7193773B2 (en) Stereomicroscopy method and stereomicroscopy system
JP3309615B2 (ja) 画像観察装置及びこれを用いた両眼画像観察装置
US10481403B2 (en) Contact lens with retinal camera
IL247922A (en) A combination of contracted and optics-based augmented reality in a close-up view
US7298414B2 (en) Digital camera autofocus using eye focus measurement
KR20140006997A (ko) 안과용 시스템들을 위한 이미지-프로세서-제어된 오정렬 감소
JP2803222B2 (ja) 視線検出装置
US5552854A (en) Visual line detection device and camera equipped therewith
JP3477279B2 (ja) 視線検出装置
JP4148700B2 (ja) 目画像撮像装置
US5416317A (en) Visual line detecting device
JPH08154899A (ja) 視線検出装置
JP2001340301A (ja) 眼底撮影装置
JPH01277533A (ja) 視線検出装置
JPH06319701A (ja) 視線認識装置
JPH06347866A (ja) 視線検出装置、角膜曲率中心位置検出装置および瞳孔中心位置検出装置
JPH10307314A (ja) 観察光学装置
JP7099855B2 (ja) 視標呈示装置
JP2001242417A (ja) 瞳孔位置検出装置及びそれを用いた画像表示装置
JP2021062162A (ja) 走査型眼底撮影装置
JPH07299038A (ja) 視線検出機能を有するカメラ
JP2831546B2 (ja) 角膜撮影位置表示方法およびその装置
JPH0735967A (ja) 視線検出装置
JP3225628B2 (ja) 視線検出装置
JPH08140937A (ja) 瞳孔中心位置検出装置および視線検出装置