JP2677398B2 - 視線検出装置および視線検出装置を有する機器 - Google Patents

視線検出装置および視線検出装置を有する機器

Info

Publication number
JP2677398B2
JP2677398B2 JP63282002A JP28200288A JP2677398B2 JP 2677398 B2 JP2677398 B2 JP 2677398B2 JP 63282002 A JP63282002 A JP 63282002A JP 28200288 A JP28200288 A JP 28200288A JP 2677398 B2 JP2677398 B2 JP 2677398B2
Authority
JP
Japan
Prior art keywords
line
sight
image
sight detection
light
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP63282002A
Other languages
English (en)
Other versions
JPH02128748A (ja
Inventor
一樹 小西
明彦 長野
十九一 恒川
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP63282002A priority Critical patent/JP2677398B2/ja
Publication of JPH02128748A publication Critical patent/JPH02128748A/ja
Application granted granted Critical
Publication of JP2677398B2 publication Critical patent/JP2677398B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B2213/00Viewfinders; Focusing aids for cameras; Means for focusing for cameras; Autofocus systems for cameras
    • G03B2213/02Viewfinders
    • G03B2213/025Sightline detection

Landscapes

  • Exposure Control For Cameras (AREA)
  • Focusing (AREA)
  • Automatic Focus Adjustment (AREA)
  • Eye Examination Apparatus (AREA)

Description

【発明の詳細な説明】 [産業上の利用分野] 本発明は、使用者の視線位置または視線方向をを検出
するための視線検出装置および視線検出装置を有する機
器に関するものである。
[従来の技術] 従来、視線検出装置と使用者の眼球との相対的な位置
関係が変化してしまう場合の視線の検出方法としては、
(1)虹彩輪部(白目と黒目の境界部分)のイメージセ
ンサー上での結像位置の座標を用いる方法や、(2)角
膜反射像(プルキンエ第1像)と瞳孔中心の座標を用い
る方法、等がある。
(1)の方法は、虹彩輪部の左右端の画像をイメージ
センサー上に結像させ、その結像位置の座標により視線
の回転角と検出系に対するシフト量を求め、この二つの
量より視線の方向を検出する方法である。
(2)の方法は、瞳孔と虹彩の境界の左右二つの座標
より瞳孔中心の座標を求め、この瞳孔中心の座標とプル
キンエ第1像のイメージセンサー上での結像位置座標よ
り、視線の回転角と検出系に対するシフト量、さらにこ
の二つの量により視線の方向を検出する方法である。
[発明が解決しようとする課題] 前述二つの方法は、虹彩の反射率によって優劣が定ま
る。すなわち、虹彩の反射率が比較的低い場合(例えば
日本人の様に茶色い目)は、虹彩輪部の検出が容易であ
る。これに対して虹彩の反射率が比較的高い場合(例え
ば欧米人の様に青い目)は、瞳孔と虹彩の境界、瞳孔中
心の検出が容易である。したがって、使用者の眼球によ
って検出方法の容易性が異なることになる。
また、白目と黒目もしくは瞳孔と虹彩とのコントラス
トが低くても、センサーの感度調整や、眼球の照明を工
夫することにより良好な検出を行う方法も考えられる
が、そのために視線検出装置の構成を複雑にしてしまう
難点がある。
本出願に係わる発明の目的は、虹彩の反射率に関係な
く常に正確な視線検出を行うことができる改良された視
線検出装置および試験検出装置を有する機器を提供する
ことにある。
[課題を解決するための手段] 虹彩の反射率に関係なく常に正確な視線検出を可能と
するために、本発明においては、使用者の眼球像を受光
する受光手段と、該受光手段の出力を利用して該使用者
の視線を検出する第1の視線検出手段と、該受光手段の
出力を利用して該第1の視線検出手段とは異なる方法で
該使用者の視線を検出する第2の視線検出手段と、該受
光手段の受光した眼球像情報に基づいて該第1の視線検
出手段と該第2の視線検出手段からどちらか一方を選択
する選択手段とを有することを特徴とするものである。
[実施例] 以下に本発明の視線検出装置の実施例について第1図
乃至第3図を参照して説明する。
第1図は本発明の方法を示したフローチャート、第2
図は本発明の方法を実施するための視線検出装置の第1
の実施例のブロック図、第3図は第2図の視線検出装置
におけるセンサーの出力信号の概略図、である。
第2図において、1はマイクロプロセッサーユニット
(以下にはMPUと記載)、2はA/D変換機能を有するイン
ターフェイス回路、3はイメージセンサーを駆動するた
めのパルスを発生する駆動パルス発生回路、4はイメー
ジセンサー駆動回路、5はイメージセンサー、6は発光
素子の駆動回路、7はiRED等の発光素子、8はタイマー
回路、である。
上記ブロック図の動作を第1図に示すフローチャート
に沿って説明する。
先ず不図示のメインスイッチ(例えばカメラのメイン
スイッチもしくは視線検出装置の電源スイッチ等であ
る)がオンされると、それを検知した、MPU1は、インタ
ーフェース回路2を介して駆動パルス発生回路3に動作
開始の指示を与える。駆動パルス発生回路3からはイメ
ージセンサー5を駆動するための各種の信号が出力さ
れ、駆動回路4を介してイメージセンサー5にこの信号
が与えられる。これに同期してMPU1はイメージセンサー
5の出力信号をインターフェース回路2を通して読み込
む。
次にMPU1は、この読み込んだ信号をもとに領域の分割
を行う。イメージセンサー5の出力信号は概ね第3図に
示すような波形をしている。この波形は、白目の部分で
ある強膜部が2カ所、虹彩部が2カ所、瞳孔部、の5つ
の領域に全体を分割することができる。ついで、2つの
強膜部の平均強度I1、2つの虹彩部の平均強度I2、瞳孔
部の平均強度I3、を求める。そして、(I1−I2)の絶対
値と(I2−I3)の絶対値を比較して、もし(I1−I2)の
絶対値の方が大きかったら視線検出方法として前述の
「虹彩輪部を用いる方法」を選択し、逆に(I2−I3)の
絶対値の方が大きかったら前述の「プルキンエ第1像と
瞳孔中心を用いる方法」を選択する。
そして、視線検出開始スイッチであるSW1(例えばシ
ャッターボタンの半押し等でオンする第1ストロークス
イッチ)がオンすることにより、視線検出開始の信号が
出力されると、視線検出のシーケンスが開始される。
「虹彩輪部を用いる方法」が選択されている場合は、
MPU1は駆動パルス発生回路3を動作させ、イメージセン
サー5を駆動し、センサーから出力される信号を読み取
る。そして読み取った信号から虹彩輪部両端の座標を求
め、この座標の値から視線の回転角・シフト量、さらに
視線の方向を求める。
一方、「プルキンエ第1像と瞳孔中心を用いる方法」
が選択されている場合は、MPU1は、発光素子駆動回路6
に信号を与えて発光素子7を点灯するとともに、駆動パ
ルス発生回路3を動作させイメージセンサー5を駆動
し、センサーから出力される信号を読み取る。そして読
み取った信号から瞳孔中心の座標とプルキンエ第1像の
結像位置の座標を求め、この座標の値から視線の回転角
やシフト量、さらには視線の方向を求める。
上記の実施例においては、領域分割、平均強度算出、
比較等のすべてをMPU1で行っている。この場合、MPUの
負荷が増え、MPUの処理能力等の制約を与えることにな
る。この不都合を解決するために、領域分割、平均強度
算出、比較の部分をハードウェアで構成したのが第4図
に示した視線検出装置の第2実施例である。
第4図に示した第2実施例では、イメージセンサー5
と駆動パルス発生回路3の出力信号を取り込んでインタ
ーフェース2に出力を印加する選択信号発生回路9が設
けられており、該回路9はイメージセンサー5の出力信
号からどちらの視線検出方法を選択するかを判定し、選
択した視線検出方法を表す出力をインターフェイス2に
入力する。
第5図は、この選択信号発生回路9の具体的な実施例
を示している。
第5図において、11、17a、17b、17c、20はサンプル
ホールド回路、12、18a、18bは差動増幅器、13は微分及
び波形整形回路、14はカウンター及びデコーダー、15は
アナログスイッチ、16a、16b、16cは平均値回路、19は
コンパレーター、である。微分及び波形整形回路13の出
力、カウンター及びデコーダー14の出力、アナログスイ
ッチ15に含まれる3個のスイッチS1〜S3の動作、を示し
たタイムチャートである。
なお、第4図乃至第6図に示した第2実施例において
も第1図に示したフローチャートにしたがって動作する
ので、以下には第1図及び第4図乃至第6図を参照して
前記第2実施例の動作を説明する。
先ずメインスイッチがオンすると、駆動パルス発生回
路3で作られた各種のパルスが駆動回路4を通してイメ
ージセンサー5に供給され、イメージセンサーから画像
信号が出力される。
この出力信号が概ね第3図のようになることは既に述
べたところであり、この画像信号が出力されるのに同期
して短時間にサンプルパルスが出力される。このサンプ
ルパルスによりサンプルホールド回路11において、画像
信号がサンプリングされ、直後にホールドされる。この
ホールドされた信号と元の画像信号の差を差動増幅器12
でとると零となるので、微分及び波形整形回路13の出力
はLowとなり、サンプルホールド回路11はホールド状態
となる。したがって、強膜に相当する部分の画像信号が
出力されている間はこの状態が続き強膜と虹彩の境界に
相当する部分の画像信号が入力すると、微分及び波形整
形回路13の出力がHighとなる。
そして、このHighとなった出力により、サンプルホー
ルド回路11がホールド状態からサンプル状態に移行す
る。サンプル状態になると、差動増幅器12の出力は零に
なるので、微分及び波形整形回路13の出力はLowとな
り、サンプルホールド回路11は再びホールドされる。
同様の動作が虹彩と瞳孔の境界に相当する部分の画像
信号が入力したときに行われる。そして、カウンター及
びデコーダー14では、この微分及び波形整形回路13から
出力されるパルスをカウントし、デコードして出力す
る。この出力によってアナログスイッチ15とサンプルホ
ールド回路17a、17b、17cが制御される。デコーダ14の
出力「0」がHighのときは、アナログスイッチ15のスイ
ッチS1がオンとなり、出力「1」がHighのときはスイッ
チS2がオン、出力「2」がHighのときはスイッチS3がオ
ンとなる。したがって、強膜に相当する部分の画像信号
は第1の平均値回路16aに、虹彩に相当する部分の画像
信号は第2の平均値回路16bに、瞳孔に相当する部分の
画像信号は第3の平均値回路16cに入力する。
また、デコーダーの出力「1」以上がHighのときにサ
ンプルホールド回路17aが、「2」以上がHighのときに
サンプルホールド回路17bが、「3」以上がHighのとき
にサンプルホールド回路17cがホールドされる。したが
って、サンプルホールド回路17aには強膜に相当する部
分の画像信号の平均値が、サンプホールド回路17bには
虹彩に相当する部分の画像信号の平均値が、サンプルホ
ールド回路17cには瞳孔に相当する部分の画像信号の平
均値がホールドされることになる。そして、差動増幅器
18aでサンプルフォールド回路17aと17bの出力の差、す
なわち強膜と虹彩の反射率を求め、同様に差動増幅器18
bで虹彩と瞳孔の反射率差を求める。この二つの差動増
幅器からの出力はコンパレーター19で比較され、その結
果が出力される。
そして、この出力信号は、サンプルホールド回路20
に、駆動パルス発生回路から与えられるコンパレーター
出力ホールドパルスによってホールドされる。
以上説明してきた一連の動作が常時行われることによ
り、サンプルホールド回路20の出力には常に最新の情報
が出力されるようになっている。そして、視線検出開始
スイッチであるSW1(例えばシャッターボタン等の半押
し等によって動作する第1ストロークスイッチ)がオン
することにより、視線検出開始信号がMPU1に入力される
と、MPU1はサンプルホールド回路20の出力を読み取り、
その出力により、「虹彩輪部を用いる方法」及び「プル
キンエ第1像と瞳孔中心を用いる方法」のどちらかを選
択し、選択した方法により使用者の視線方向または視線
位置を求める。
[発明の効果] 以上説明したように、本発明は、使用者の眼球像を受
光する受光手段と、該受光手段の出力を利用して該使用
者の視線を検出する第1の視線検出手段と、該受光手段
の出力を利用して該第1の視線検出手段とは異なる方法
で該使用者の視線を視線を検出する第2の視線検出手段
と、該受光手段の受光した眼球像情報に基づいて該第1
の視線検出手段と該第2の視線検出手段からどちらか一
方を選択する選択手段とを有することによって、使用者
眼球の個人差に応じた適切な視線検出を行うことがで
き、検出精度を向上させることができる。
【図面の簡単な説明】 第1図は本発明の視線検出動作を示すフローチャート、
第2図は視線検出装置の第1実施例の概略構成を示した
ブロック図、第3図はイメージセンサーの出力信号の波
形の概要を示した図、第4図は視線検出装置の第2実施
例の概略構成を示すブロック図、第5図は第4図に示し
た構成のうち選択信号発生回路に関する具体的実施例を
示した回路図、第6図は第4図及び第5図に示した視線
検出装置における各回路等の信号のタイミングチャート
を示す。 1……マイクロプロセッサーユニット 2……インターフェース 3……駆動パルス発生回路 4、6……駆動回路 5……イメージセンサー 8……タイマー回路 9……選択信号発生回路

Claims (7)

    (57)【特許請求の範囲】
  1. 【請求項1】使用者の眼球像を受光する受光手段と、該
    受光手段の出力を利用して該使用者の視線を検出する第
    1の視線検出手段と、該受光手段の出力を利用して該第
    1の視線検出手段とは異なる方法で該使用者の視線を検
    出する第2の視線検出手段と、該受光手段の受光した眼
    球像情報に基づいて該第1の視線検出手段と該第2の視
    線検出手段からどちらか一方を選択する選択手段とを有
    することを特徴とする視線検出装置。
  2. 【請求項2】前記選択手段は前記受光手段が受光した瞳
    孔像、虹彩像および強膜像の受光レベルの比較結果によ
    って、前記第1の視線検出手段と前記第2の視線検出手
    段からどちらか一方を選択することを特徴とする請求項
    1に記載された視線検出装置。
  3. 【請求項3】前記第1の視線検出手段は、虹彩と強膜の
    境界位置を検出して該境界位置に基づいて使用者の視線
    を演算することを特徴とする請求項1または2に記載さ
    れた視線検出装置。
  4. 【請求項4】前記第2の視線検出手段は、虹彩と瞳孔の
    境界位置を検出して、該境界位置に基づいて使用者の視
    線を演算することを特徴とする請求項1、2または3に
    記載された視線検出装置。
  5. 【請求項5】前記選択手段は、前記受光手段が受光した
    虹彩像と強膜像との受光レベルの差が、前記受光手段が
    受光した瞳孔像と虹彩像との受光レベルの差よりも大き
    いときに、前記第1の視線検出手段を選択することを特
    徴とする請求項2、3または4に記載された視線検出装
    置。
  6. 【請求項6】前記選択手段は、前記受光手段が受光した
    瞳孔像と虹彩像との受光レベルの差が、前記受光手段が
    受光した虹彩像と強膜像との受光レベルの差よりも大き
    いときに、前記第2の視線検出手段を選択することを特
    徴とする請求項2、3、4または5に記載された視線検
    出装置。
  7. 【請求項7】使用者の眼球像を受光する受光手段と、該
    受光手段の出力を利用して該使用者の視線を検出する該
    第1の視線検出手段とは異なる方法で該使用者の視線を
    検出する第2の視線検出手段と、該受光手段の受光した
    眼球像情報に基づいて該第1の視線検出手段と該第2の
    視線検出手段からどちらか一方を選択する選択手段とを
    有することを特徴とする視線検出装置を有する機器。
JP63282002A 1988-11-08 1988-11-08 視線検出装置および視線検出装置を有する機器 Expired - Fee Related JP2677398B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP63282002A JP2677398B2 (ja) 1988-11-08 1988-11-08 視線検出装置および視線検出装置を有する機器

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP63282002A JP2677398B2 (ja) 1988-11-08 1988-11-08 視線検出装置および視線検出装置を有する機器

Publications (2)

Publication Number Publication Date
JPH02128748A JPH02128748A (ja) 1990-05-17
JP2677398B2 true JP2677398B2 (ja) 1997-11-17

Family

ID=17646856

Family Applications (1)

Application Number Title Priority Date Filing Date
JP63282002A Expired - Fee Related JP2677398B2 (ja) 1988-11-08 1988-11-08 視線検出装置および視線検出装置を有する機器

Country Status (1)

Country Link
JP (1) JP2677398B2 (ja)

Also Published As

Publication number Publication date
JPH02128748A (ja) 1990-05-17

Similar Documents

Publication Publication Date Title
Kowler et al. The effect of expectations on slow oculomotor control—I. Periodic target steps
US5253008A (en) Camera
JP4769365B2 (ja) 眼科装置、及びそのオートアライメント方法
EP0392743B1 (en) Ophthalmological measurement method and apparatus
JPH05232373A (ja) カメラの視線方向検出装置
JP2797830B2 (ja) ビデオカメラにおける被写体追尾方法
JP2910258B2 (ja) 視線検出装置
JP6224910B2 (ja) 眼科撮影装置、その制御方法、及びプログラム
JP2677398B2 (ja) 視線検出装置および視線検出装置を有する機器
JP3660145B2 (ja) 眼科装置
JPH088656B2 (ja) オートフォーカス装置
JP3297504B2 (ja) 光学装置
JP2995876B2 (ja) 視線検出装置
JP2995877B2 (ja) 視線検出装置
JP2952072B2 (ja) 視線検出装置および視線検出手段を備えた光学機器
JPH07227380A (ja) 眼底カメラ
EP2022390B1 (en) Instrument for measuring a refractive power
JP2830168B2 (ja) 視線検出装置
JP3548222B2 (ja) 視線検出装置を備えたビデオカメラ
JPH07241274A (ja) 眼科用測定装置
JPH1099277A (ja) 視線検出装置及び光学機器
JPH09127572A (ja) 振れ補正装置及び光学機器
JP3500171B2 (ja) カメラの焦点制御装置
JPH07104475B2 (ja) パワーフォーカス装置を有する光学機器
JP2002282209A (ja) 視線検出装置

Legal Events

Date Code Title Description
LAPS Cancellation because of no payment of annual fees