JPH0688933A - 視線検出装置及び画像処理装置 - Google Patents

視線検出装置及び画像処理装置

Info

Publication number
JPH0688933A
JPH0688933A JP4262747A JP26274792A JPH0688933A JP H0688933 A JPH0688933 A JP H0688933A JP 4262747 A JP4262747 A JP 4262747A JP 26274792 A JP26274792 A JP 26274792A JP H0688933 A JPH0688933 A JP H0688933A
Authority
JP
Japan
Prior art keywords
eyeball
ccd
image
timing
image data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP4262747A
Other languages
English (en)
Inventor
Toshiyuki Kumakura
敏之 熊倉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP4262747A priority Critical patent/JPH0688933A/ja
Priority to US08/114,360 priority patent/US5408292A/en
Publication of JPH0688933A publication Critical patent/JPH0688933A/ja
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B13/00Viewfinders; Focusing aids for cameras; Means for focusing for cameras; Autofocus systems for cameras
    • G03B13/02Viewfinders
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B2213/00Viewfinders; Focusing aids for cameras; Means for focusing for cameras; Autofocus systems for cameras
    • G03B2213/02Viewfinders
    • G03B2213/025Sightline detection

Abstract

(57)【要約】 【目的】 CCD面上での受光領域を広げ、かつ開口率
を高め、プルキンエ像の検出確率を大幅に上げると共
に、赤外領域に対する感度を高め、より少ない照明量に
てプルキンエ像を検出可能とする。 【構成】 入射する眼球像を電気信号に変換する為のエ
リアセンサとして、フレームトランスファー型CCD1
0を用いるようにしている。

Description

【発明の詳細な説明】
【0001】
【産業上の利用分野】本発明は、銀塩フィルムを用いる
カメラやビデオカメラ等に組み込まれ、撮影者の眼球を
検知するためのエリアセンサ(CCD)を備えた視線検
出装置や入射する画像を電気信号に変換するエリアセン
サを備えた画像処理装置に関するものである。
【0002】
【従来の技術】近年、撮影者の視線を検出する為に、撮
影者の眼球に対して赤外発光ダイオード(以下、IRE
Dと記す)により照明を行い、眼球の角膜上の該IRE
Dによる反射像(これはプルキンエ像と呼ばれる)の位
置と赤外照明された虹彩と瞳孔の境界(エッジ)により
求められる瞳孔中心位置それぞれから眼球の見ている方
向への回転角を算出し、撮影者が今カメラのファインダ
像上のどの位置を見ているかを判別する視線検出装置が
提案されている。
【0003】そして、この種の装置は例えばオートフォ
ーカス装置を備えた一眼レフレックスカメラに組み込ま
れ、該視線検出装置からの視線情報に基づいて前記オー
トフォーカス装置の測距点を選択し、その測距点にてオ
ートフォーカスを行うような応用例が知られている。
【0004】
【発明が解決しようとする課題】しかしながら、上記従
来例では、眼球像データ取得の為のエリアセンサとして
如何なるタイプのエリアセンサが最適かは不明であっ
た。
【0005】従来よりビデオカメラ等にて普及している
CCDエリアセンサのタイプとしては、インターライン
(以下、ITと記す)型のCCDが用いられている。こ
のIT型CCDのセンサチップ面上のある画素近傍の表
面から見た概念図は次の如く構成される。
【0006】図9は4画素抜き出したものであるが、斜
線の部分が開口部、つまりAで示す受光が行われる領域
であり、その隣りのBが垂直転送用CCDの領域であ
る。
【0007】A領域(受光部)にて受光され蓄えられた
電荷は、蓄積終了後、一般的にシフト電極と呼ばれる電
極を操作することによりすぐ隣りのB領域(垂直転送用
CCD部)に移され、CCD画像信号読み出しに応じて
下側へ垂直転送されることになる。
【0008】この様に受光部と垂直転送用CCD部が二
次元的に配置されるので、1画素内における受光部の開
口率は小さなものとなり、一般的には30%前後の値と
なっている。このため、上記IREDの角膜反射像、す
なわちプルキンエ像はエリアセンサ上かなり小さくなる
ため、エリアセンサ上の不感帯に入ってしまいプルキン
エ像が検出できないという問題を発生する。
【0009】したがって、上記の視線検出装置における
エリアセンサとしては、開口率の大きいなものが望まし
い。
【0010】又、上記IT型CCDにおける受光部の飽
和対策としては、あふれた電荷が垂直転送用CCD部や
隣接画素に入り込まないよう、基板に逃がすための縦型
のオーバフロードレイン構造を採用している。しかし、
この縦型のオーバフロードレイン構造の為に、赤外光の
様に基板深部まで到達する長波長領域の光線は有効には
利用されず、赤外光に対しては感度が低下するという問
題点を有している。
【0011】更に、一般的に視線検出装置における眼球
データの取り込み方法は、エリアセンサに対し、蓄積、
読み出し、そして処理という流れで制御が行われる。こ
の時、安価なA/DコンバータはA/D変換時間がかか
ることにより、蓄積と読み出しの時間として、蓄積が数
ms前後、読み出しが数100msという時間配分にて
制御が行われ、蓄積時間に対し、読み出し時間が非常に
長いことになる。
【0012】このような時に、上記のIT型CCDの使
用を考えると、蓄積終了後、垂直転送CCD部へ電荷の
シフトが行われて以後読み出しレートが遅いために、受
光部から垂直転送CCD部への光の漏れ込みが発生す
る。これは所謂スミアと呼ばれているが、この量が無視
できなくなり、画像データを劣化させるという問題点を
有している。
【0013】また、上記の視線検出装置におけるエリア
センサとしては、赤外照明を用いて撮影者に照明を意識
させることなく検出を行う必要がある為に、赤外に対す
る感度が高いものが望ましい。
【0014】(発明の目的)本発明の第1の目的は、C
CD面上での受光領域を広げ、かつ開口率を高め、プル
キンエ像の検出確率を大幅に上げると共に、赤外領域に
対する感度を高め、より少ない照明量にてプルキンエ像
を検出することのできる視線検出装置を提供することで
ある。
【0015】本発明の第2の目的は、蓄積時間に比べて
この蓄積信号の読み出し時間が長くなる様な場合にも、
画像データの劣化を防止することのできる画像処理装置
を提供することである。
【0016】
【課題を解決するための手段】本発明は、入射する眼球
像を電気信号に変換する為のエリアセンサとして、フレ
ームトランスファー型CCDを用いるようにしている。
【0017】また、対物レンズを介して入射する画像を
電気信号に変換する為のエリアセンサとして、フレーム
トランスファー型CCDを用いるようにしている。
【0018】
【実施例】以下、本発明を図示の実施例に基づいて詳細
に説明する。
【0019】図1及び図2は本発明の一実施例を示すも
のであり、視線検出装置を一眼レフカメラに応用した時
の構成図である。そして、一眼レフカメラに対して横か
ら見たのが図1であり、上から見たのが図2である。
【0020】図1において、1は撮影者の眼球、2は赤
外照明用のIRED、3はダイクロプリズム、4はペン
タダハプリズム、5はスクリーン、6はクイックリター
ンミラー、7は撮影レンズである。
【0021】また、図2において、2a,2bは赤外照
明用のIREDであり、図1の2と同一のものである。
8は眼球像、9はエリアセンサであるところのフレーム
トランスファー(以下、実施例においてはFTと記す)
型CCDに対し、結像させるためのレンズである。
【0022】ここで、上記ダイクロプリズム3は、ペン
タダハプリズム4からの被写体光を通過させて撮影者の
眼に導くと共に、赤外照明された眼球1による反射光の
うち、赤外領域のみこのダイクロプリズム3の面にて反
射し、CCDエリアセンサ9上に入射させる役割をもっ
ている。
【0023】上記構成において、撮影者への被写体像の
光線は、撮影レンズ7,クイックリターンミラー6,ス
クリーン5,ペンタダハプリズム4,ダイクロプリズム
3を経由して撮影者の眼球1へ入ることになる。一度被
写体像はスクリーン6に結像され、撮影者はそのスクリ
ーンを見ていることになる。これを一応ファインダ像を
見ていると表現する。
【0024】図2を用いて眼球像データ取得の検知につ
いて説明すると、先ず、IRED2a,2bが眼球像デ
ータ取得タイミングにて点灯され、眼球1を照明する。
すると、眼球1からの反射光がダイクロプリズム3にて
反射され、レンズ8を経由してFT型CCD9上に結像
される。
【0025】この時、得られる眼球像を示したのが図3
である。
【0026】図3において、Pa,Pbは各々IRED
2a,2bによる角膜反射像のプルキンエ像である。C
は赤外照明された虹彩と瞳孔の境界領域を示しており、
Cの中は瞳孔に相当する。
【0027】この図3中、A−A´ラインの断面、つま
りはその時のFT型CCD9上における信号量を示した
のが図4である。プルキンエ像Pa,Pbが最も高い強
度を示し、虹彩は中位の強度になり、瞳孔は最も低い強
度を示す。
【0028】図5は上記の機構を持つ視線検出装置の回
路構成を示すブロック図であり、図中、10はエリアセ
ンサとしてのFT型CCD9(上記FT型CCD9に相
当する)、11は前記FT型CCD10の駆動用のCC
Dドライバ、12はタイミング発生器、13は前記IR
ED2a,2bを点灯させる為のIRED点灯回路、1
4はFT型CCD10からのアナログ像信号を保持する
サンプルホールド(S/H)回路、15はA/D変換
器、16はメモリ回路、17は視線情報θを算出する視
線算出回路である。
【0029】上記タイミング発生器12はFT型CCD
10の駆動タイミングをCCDドライバ11に伝え、
又、LED点灯回路13にIRED2a,2bの点灯タ
イミング(この点灯タイミングはFT型CCD10が蓄
積状態の時のみ点灯するようなタイミング)を発生させ
る。又、S/H回路14の各サンプルホールドタイミン
グやA/D変換器15のメモリ回路16への像データ取
り込みタイミングを伝える。
【0030】結局、眼球1の像データとしては、メモリ
回路16上に図3に見られるような信号量が記憶される
ことになる。そして、このメモリ回路16に記憶された
眼球像データを基に視線算出回路17は眼球1の回転角
を算出することになる。
【0031】ここで、上記視線算出回路17での眼球1
の回転角を算出処理は既に公知であるので、以下に簡単
に説明する。
【0032】図3を基に説明すると、プルキンエ像P
a,Pbよりこれらプリキンエ像の中心位置を算出し、
次に瞳孔と虹彩の境界領域Cより瞳孔中心を算出し、こ
れにて得られる回転角を不図示のオートフォーカス装置
の測距点の選択に役立てる。
【0033】次に、FT型CCD10の構成について図
6を用いて説明する。
【0034】図6において、A領域が受光領域としての
開口部であり、BはFT型CCD時に採用される受光領
域の飽和対策としての横型オーバフロードレインの領域
である。FT型CCD時には横型オーバフロードレイン
が採用されることにより、この分の開口率は下がるが、
図9に示した従来用いられていたCCDエリアセンサと
してのIT型CCDに比べれば、かなり開口率を大きく
とれる。
【0035】具体的には、従来は前述した様に1画素の
面積に対し30%位であったのを、およそ70〜80%
の開口率とすることができる。
【0036】IT型CCD時には各画素内で垂直転送用
CCD部が受光領域とは別に図9の如く設けられ、しか
もその面積が取り扱い電荷量との兼ね合いからあまり小
さく出来ず、開口率的にみると、大きく損をすることに
なる。一方、FT型CCD10において、その転送方法
は、受光領域イコール垂直転送CCD領域とすることが
できるので、上記の様に大きな開口率を得られる。
【0037】IREDによるプルキンエ像はかなり小さ
く、約エリアセンサ上の1画素程度の大きさであり、撮
影者の眼球位置がファインダより遠ざかるに従いますま
す小さくなる。このような時、図9に見られるようなI
T型CCDにおいては、Bの垂直転送用CCD部の位置
にプルキンエ像が位置することもあり、この時はプルキ
ンエ像の検知は不可となるが、本実施例において用いる
FT型CCD10においては、その様な大きな不感帯領
域がないので、常にプルキンエ像Pa,Pbを検知可能
となる。
【0038】また、FT型CCD10においては、横型
オーバフロードレイン構造が採用されることにより、受
光領域に入射する光量中、赤外領域の成分の吸収がIT
型CCDの様には発生せず、有効に赤外成分も利用する
ことができ、赤外感度が高いといえる。
【0039】図7は上記FT型CCD10の一般的な駆
動タイミングの図である。
【0040】IREDの点灯タイミングはイコールエリ
アセンサにとっての蓄積状態の時である。φvとはFT
型CCDの垂直転送パルスの意味である。vp1はφv
のパルス列である。
【0041】FT型CCD10は、図8に示す様に、イ
メージゾーン10aとメモリゾーン10b、水平転送C
CD部10c、出力アンプ10dから構成される。
【0042】vp1のφvパルス列はイメージゾーンの
電荷クリアを行う為のものである。その後、vp1のφ
vパルスを1発駆動かけることにより、水平転送CCD
部10cに落し込み、水平転送パルスφH をh1(パル
ス列)を駆動かけることにより、CCD画像データの出
力がQ1の如く得られる。これは1ライン当りの出力の
出方で、これがエリアセンサのライン数nの分だけ繰り
返される。
【0043】先程述べた様に、A/D変換器15の変換
時間にて決定される全体の読み出し時間(図7中、TRD
に相当)が蓄積時間Tsに比べて長いけれども、FT型
CCD時、メモリゾーン10bは遮光されているので、
イメージゾーン10aからメモリゾーン10bへの転送
後、読み出し時間の長さによる光の影響を受けず、IT
型CCDに見られるような読み出し中のスミアは原理的
に発生しない。
【0044】FT型CCD10においては、イメージゾ
ーン10aからメモリゾーン10bへの転送時に、駆動
タイミングスピードと蓄積時間で決定されるスミア量が
あるが、この量はvp1やvp2のパルス駆動を速いス
ピードにて行えば、相対的にこのスミア量はかなり小さ
なものとすることができ、画像データに与える影響は少
ない。
【0045】IRED2a,2bの点灯は蓄積状態時の
み行われ、読み出し時には非点灯ではあるが、撮影者の
眼球1は外光にさらされており、その外光中の赤外光成
分が読み出し中にもエリアセンサとしてのFT型CCD
10にも入ってきているので、このための対策として必
要である。
【0046】本実施例によれば、視線検出装置におい
て、インターライン(IT)型CCDの代りにフレーム
トランスファー(FT)型CCDを採用する様にしてい
るため、エリアセンサ面上の受光領域を広げ、開口率を
高め、プルキンエ像の検出確率を上げること、又、赤外
照明がなされる視線検出装置にて、赤外領域に対する感
度を高めることができ、より少ない照明量にて検出でき
る様にすることが可能となった。
【0047】(変形例)本実施例では、視線検出装置に
FT型CCDを採用する例を述べたが、これに限定され
るものではなく、他の光学装置、つまり一般的な画像処
理装置において、エリアセンサの読み出し時間が蓄積時
間に比べて長くなる様な使用条件において該FT型CC
Dを採用することにより、画像データの劣化を防ぐこと
が可能となる。
【0048】
【発明の効果】以上説明したように、本発明によれば、
入射する眼球像を電気信号に変換する為のエリアセンサ
として、フレームトランスファー型CCDを用いるよう
にしている。
【0049】よって、CCD面上での受光領域を広げ、
かつ開口率を高め、プルキンエ像の検出確率を大幅に上
げることができる。さらに、赤外領域に対する感度を高
め、より少ない照明量にてプルキンエ像を検出すること
が可能となる。
【0050】また、対物レンズを介して入射する画像を
電気信号に変換する為のエリアセンサとして、フレーム
トランスファー型CCDを用いるようにしている。
【0051】よって、蓄積時間に比べてこの蓄積信号の
読み出し時間が長くなる様な場合にも、画像データの劣
化を防止することが可能となる。
【図面の簡単な説明】
【図1】本発明の一実施例を一眼レフカメラに応用した
際の要部構成を横方向から見た機構図である。
【図2】本発明の一実施例を一眼レフカメラに応用した
際の要部構成を上面から見た機構図である。
【図3】眼球上の各データについて説明するための図で
ある。
【図4】図3の状態時においてA−A’面にてみた時の
信号量を示す図である。
【図5】本発明の一実施例である視線検出装置の構成を
示すブロック図である。
【図6】図5に示すFT型CCDの画素について説明す
るための図である。
【図7】図5に示すFT型CCDの駆動タイミングの一
例を示すタイミングチャートである。
【図8】図5に示すFT型CCDの構造について示す図
である。
【図9】従来の視線検出装置において用いられていたI
T型CCDの画素について説明するための図である。
【符号の説明】
1 眼球 2 IRED 3 ダイクロプリズム 9,10 FT(フレームトランスファー)型CCD
フロントページの続き (51)Int.Cl.5 識別記号 庁内整理番号 FI 技術表示箇所 G03B 13/02 7139−2K 7316−2K G03B 3/00 A

Claims (2)

    【特許請求の範囲】
  1. 【請求項1】 観察者の眼球を赤外照明する照明手段
    と、入射する眼球像を電気信号に変換するフレームトラ
    ンスファー型CCDと、前記照明手段による照明光を観
    察者の眼球に導くと共に、該眼球にて反射された眼球像
    を前記フレームトランスファー型CCDに結像させるレ
    ンズとを備えた視線検出装置。
  2. 【請求項2】 対物レンズと、該対物レンズを介して入
    射する画像を電気信号に変換するフレームトランスファ
    ー型CCDと、該フレームトランスファー型CCDから
    の信号を処理し、画像データとして出力する信号処理手
    段とを備えた画像処理装置。
JP4262747A 1992-09-07 1992-09-07 視線検出装置及び画像処理装置 Pending JPH0688933A (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP4262747A JPH0688933A (ja) 1992-09-07 1992-09-07 視線検出装置及び画像処理装置
US08/114,360 US5408292A (en) 1992-09-07 1993-09-01 Visual axis detecting device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP4262747A JPH0688933A (ja) 1992-09-07 1992-09-07 視線検出装置及び画像処理装置

Publications (1)

Publication Number Publication Date
JPH0688933A true JPH0688933A (ja) 1994-03-29

Family

ID=17380032

Family Applications (1)

Application Number Title Priority Date Filing Date
JP4262747A Pending JPH0688933A (ja) 1992-09-07 1992-09-07 視線検出装置及び画像処理装置

Country Status (2)

Country Link
US (1) US5408292A (ja)
JP (1) JPH0688933A (ja)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06148513A (ja) * 1992-10-30 1994-05-27 Canon Inc 視線検出装置
CA2191445A1 (en) * 1994-03-03 1995-09-08 John M. Simmons Pneumatically shifted reciprocating pump
US7872635B2 (en) * 2003-05-15 2011-01-18 Optimetrics, Inc. Foveated display eye-tracking system and method
WO2017079342A1 (en) 2015-11-02 2017-05-11 Focure, Inc. Continuous autofocusing eyewear
US10281744B2 (en) * 2015-11-02 2019-05-07 Focure Inc. Continuous autofocusing eyewear using structured light

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0026904A3 (en) * 1979-10-04 1981-12-30 Kabushiki Kaisha Toshiba Solid-state image pick-up device
US4574314A (en) * 1982-05-28 1986-03-04 Weinblatt Lee S Camera autofocus technique
JPS61172552A (ja) * 1985-01-28 1986-08-04 株式会社トプコン 視線方向検出装置
JP2859270B2 (ja) * 1987-06-11 1999-02-17 旭光学工業株式会社 カメラの視線方向検出装置
US4836670A (en) * 1987-08-19 1989-06-06 Center For Innovative Technology Eye movement detector
JP2505854B2 (ja) * 1988-03-23 1996-06-12 キヤノン株式会社 視線検出手段を備えるカメラ
JP2950546B2 (ja) * 1988-08-31 1999-09-20 キヤノン株式会社 視線検出装置及び視線検出装置を有するカメラ
US5231674A (en) * 1989-06-09 1993-07-27 Lc Technologies, Inc. Eye tracking method and apparatus

Also Published As

Publication number Publication date
US5408292A (en) 1995-04-18

Similar Documents

Publication Publication Date Title
US4949117A (en) Camera
US5103254A (en) Camera with subject highlighting and motion detection
JPH07128579A (ja) 視線検知方法、視線検知手段及び該視線検知手段を有する映像機器
JPH04240438A (ja) 視線検出装置
JPH1051796A (ja) 固体撮像装置
JPH06301081A (ja) 光学装置
JPH06148513A (ja) 視線検出装置
JP2676870B2 (ja) 注視点検出手段を有した光学装置
JPH0688933A (ja) 視線検出装置及び画像処理装置
JPH08112262A (ja) 血流計
US6477327B1 (en) Camera having image pick-up device
JP3342213B2 (ja) 視線検出装置及びカメラ
JP2894701B2 (ja) 視線検知装置
JP3352195B2 (ja) 視線検出装置、光学装置及び視線検出方法
JP3210089B2 (ja) 視線検出装置及びカメラ
US20220345611A1 (en) Image capturing apparatus and control method thereof and storage medium
JPH06148511A (ja) 視線検出装置及びそれを有した光学装置
JP2009003423A (ja) 光学機器および光学機器の製造方法
JPH07327931A (ja) 眼底カメラ
JP2756413B2 (ja) 視線検出装置を備える光学装置
JPH0686757A (ja) 画像信号検出方法及びそれを用いた視線検出装置
JP3437201B2 (ja) 光電変換装置
JP2018026604A (ja) 撮像装置および撮像装置システム
JPH06121209A (ja) 視線検出装置
JPH10108843A (ja) 視線検出装置及び光学機器