JPH07128579A - 視線検知方法、視線検知手段及び該視線検知手段を有する映像機器 - Google Patents

視線検知方法、視線検知手段及び該視線検知手段を有する映像機器

Info

Publication number
JPH07128579A
JPH07128579A JP5272107A JP27210793A JPH07128579A JP H07128579 A JPH07128579 A JP H07128579A JP 5272107 A JP5272107 A JP 5272107A JP 27210793 A JP27210793 A JP 27210793A JP H07128579 A JPH07128579 A JP H07128579A
Authority
JP
Japan
Prior art keywords
line
sight
light
observer
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
JP5272107A
Other languages
English (en)
Inventor
Shunsuke Inoue
俊輔 井上
Mamoru Miyawaki
守 宮脇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP5272107A priority Critical patent/JPH07128579A/ja
Priority to EP94307951A priority patent/EP0657767B1/en
Priority to DE69424511T priority patent/DE69424511T2/de
Publication of JPH07128579A publication Critical patent/JPH07128579A/ja
Priority to US08/881,079 priority patent/US6104431A/en
Withdrawn legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B13/00Viewfinders; Focusing aids for cameras; Means for focusing for cameras; Autofocus systems for cameras
    • G03B13/02Viewfinders
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B7/00Mountings, adjusting means, or light-tight connections, for optical elements
    • G02B7/28Systems for automatic generation of focusing signals
    • G02B7/287Systems for automatic generation of focusing signals including a sight line detecting device
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/113Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for determining or recording eye movement
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B2213/00Viewfinders; Focusing aids for cameras; Means for focusing for cameras; Autofocus systems for cameras
    • G03B2213/02Viewfinders
    • G03B2213/025Sightline detection

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Eye Examination Apparatus (AREA)
  • Focusing (AREA)
  • Viewfinders (AREA)
  • Automatic Focus Adjustment (AREA)

Abstract

(57)【要約】 (修正有) 【目的】 高価なエリアセンサーを用いずとも高解度で
ノイズに強く、安価、軽量化、高信頼性をはかる。 【構成】 光源108からの光を眼球101に照射する
にあたって、光源108の複数の発光素子を順次電気的
に走査することにより、あるいは、光源108からの光
を可動ミラーにより機械的に走査することにより、眼球
101への照射位置を変え、眼球101からの反射光を
光電変換装置110で検出することによって視線を検知
する。

Description

【発明の詳細な説明】
【0001】
【産業上の利用分野】本発明は観察者の視線を検知する
ための視線検知方法、視線検出手段及び該手段を有する
スチルカメラやビデオカメラを含むカメラやゴーグル状
のディスプレーを含む表示装置等の映像機器に関する。
【0002】
【従来の技術】人間の視線方向を検知することにより、
各種装置と人間との間のインターフェースを容易にする
技術は既に数多く提案されている。その中でも、映像機
器として表示画面を人間がのぞきこむ様な構成をとる装
置では、視線検知が比較的容易に行える。
【0003】例えば、特開平1−241511号公報に
は視線検出装置を備えるカメラに関する発明が記載され
ており、実際に視線検出機能を有するカメラが最近実用
化されている。上記公報に記載されている視線検出装置
の構成図を図13に示す。
【0004】図13で、1は対物レンズで、便宜上、1
枚レンズで示したが、実際は多数枚のレンズから構成さ
れていることは周知の通りである。2は主ミラーで、観
察状態と撮影状態に応じて撮影光路へ斜設されあるいは
退去される。3はサブミラーで、主ミラー2を透過した
光束を図示しないカメラ・ボディの下方へ向けて反射さ
せる。4aはシャッター、4bは対物レンズ1内に配さ
れた絞り、4cはフォーカシングのために対物レンズ1
を光軸方向へ移動させる駆動機構である。
【0005】5は感光部材で、銀塩フィルムあるいはC
CDやMOS型等の固体撮像素子あるいはビティコン等
の撮像管である。
【0006】6aは焦点検出装置である。
【0007】ファインダー光路変更用のペンタ・ダハプ
リズム8の射出面後方には接眼レンズ9が配され、観察
者眼15によるピント板7の観察に使用される。10は
光分割器で、例えば赤外光を反射するダイクロイックミ
ラーを使用し、ここでは接眼レンズ9中に設けられる。
11は集光レンズ、12はハーフミラーの様な光分割
器、13はLEDの様な照明光源で、好ましくは赤外光
(および近赤外光)を発光する。赤外照明光源13を発
した光束は集光レンズ11及び接眼レンズ9の後面(観
察者側面)のパワーで例えば平行光としてファインダー
光路に沿って射出する。14は光電変換器である。
【0008】対物レンズ1を通過した光は主ミラー2で
反射され、ピント板を通過し、ペンタプリズム8内で反
射をくりかえした後、接眼レンズ9をのぞきこむ観察者
の眼球15に入射する。
【0009】人眼の各界面における屈折率変化は、図1
4に示した通りであるので照明先は屈折率変化の大小に
応じ角膜前面、水晶体前面及び後面、角膜後面の順の強
さで反射される。また平行光束を入射したときの各界面
の反射像の位置は、眼球前方から見ると図15の様にな
ることが近軸追跡の結果理解される。これらの像はプル
キンエ像と称され、角膜前面から順に番号を付してプル
キンエ第1像、第2像等という。図15から明らかな様
に第3像を除き、3個のプルキンエ像は、第3面、即ち
水晶体前面の直後に集中しており、また先の屈折率変化
の考察から第1像、第4像、第2像の順に強い反射像で
ある。これらの像を形成する照明光は赤外波長域である
ため、目には感じることがなく、ファインダー像観察に
支障は生じない。このためには照明光波長は700nm
より長いことが望ましく、更に750nm以上であれば
個人差の別なく人眼は感知しない。
【0010】観察者眼による反射光は逆の経路をたど
り、ミラー10、レンズ11を経てハーフミラー12に
より反射され光電変換器14にて受光される。反射光が
ファインダー光路から分離され、光電変換器に受光され
るまでの光路中に可視カット、赤外透過フィルターが挿
入されていることが望ましい。ファインダー像可視光に
よる角膜反射光をカットし、光信号として意味のある赤
外照明光の反射のみを光電変換するためである。光電面
はレンズ11と接眼レンズ9後面の全パワーで、観察者
眼の水晶体前面付近すなわち瞳孔付近が結像される様な
位置に置かれている。これにより、プルキンエの第1、
第2、第4像が結像された状態で受光され、反射光量と
しては必ずしも弱くない、第3像はデフォーカスして光
が拡散しているため、あまり光電変換信号に寄与しな
い。
【0011】本実施例視線検出装置の部分の動作原理を
以下に説明する。図13装置で、赤外照明光源13を点
光源とし、ピント板7上、画面中央の位置から発光する
ように照明点光源13の位置を調整しておく、この場合
観察眼球の光軸が、画面中央を通るならば眼球光軸の延
長線上に照明光源があるわけであるから、各プルキンエ
像は眼球光軸上に一直線に点像となって並ぶ。眼球瞳孔
付近を前方から見た様子は図16(a)の様になる。図
で41は虹彩、42は瞳孔、43は重なったプルキンエ
像である。明るく照明された虹彩は環状に観察され、暗
い円形の瞳孔42の中央に各面のプルキンエ像が重なっ
た明るいスポットが一点観察される。一方、眼球が回転
しており左右どちらか片寄った方向に視軸が向いている
と、照明光は眼球光軸と斜めに入射するので、各プルキ
ンエ像は瞳孔中心から偏心した位置に移動し、かつ移動
の方向、量が反射面ごとに異なるので複数個のプルキン
エ像43、44等が前方から見て認められる。図16
(b)がこの状態に対応する。観察者眼の光軸が画面中
央から更に離れた位置を見れば、同図16(c)様に、
その傾向は一層強まり、また観察者眼が逆方向を見れば
プルキンエ像の移動方向も反転する。
【0012】この動きを電気信号に変換して信号処理す
ると視線の方向が検出できる。
【0013】図17(a)は横方向の視線移動のみを検
出するときの第1プルキンエ像62、第4プルキンエ像
63及び瞳孔61と光電変換素子列64との位置関係の
例を示したものであり、図17(b)には、各光電変換
素子の出力を模式化してある。両側の高い出力は虹彩を
表し、暗い瞳孔部の中にはプルキンエ第1像、第4像に
各々対応した信号65、66が得られる。瞳孔中心はエ
ッジ部67、68の中点として求められ、瞳孔中心と第
1又は第4プルキンエ像との距離を演算することで、視
線方向を計算できる。
【0014】上下左右方向の変化を知りたい時には、例
えば図18の様に2次元に配した光電変換素子を用意
し、第1プルキンエ像62の座標を、光電変換装置の列
71番号、及び行72番号より知ることができる。
【0015】この様に2次元に素子を配置した光電変換
装置を用いることによってカメラに必ず映像機器の広い
範囲の応用が展開できる。
【0016】
【発明が解決しようとしている課題】しかしながら、上
記従来例では、眼球の2次元反射像を受光するために光
電変換装置として2次元のエリアセンサーを用いる必要
があったため、視線検出装置の製造コストが高くなって
いた。また、エリアセンサーは一般に、 各ビットで暗時の出力がばらつく固定パターンノイズ
(Fixed Pattern Noise)が存在す
るため、微弱な反射信号を読み取る際、FPNにより誤
った検出をおこなうことがある。 1画素のサイズを小さくせねばならないため、充分な
光量がとれず、受光素子の感度が実質的に低下するため
微弱な信号を正確に検出するのが難しい場合がある。
【0017】本発明の目的は、視線検知手段に用いる光
電変換装置として画素数の多い高価なエリアセンサーを
用いず安価な1ビットの光電変換素子あるいは複数ビッ
トのラインセンサーもしくはそれらの組合せが可能な視
線検知方法、視線検知手段及び該視線検知手段を有する
映像機器を提供することである。
【0018】また、本発明の目的は視線検知のための解
像度を向上させることが可能な視線検知方法、視線検知
手段及び該視線検知手段を有する映像機器を提供するこ
とである。
【0019】更に本発明の目的は視線検知のための解像
度を向上させ、より高解像のシステムにしても、高価な
高解像度の光電変換装置を使用せずに、安価に達成でき
る視線検知方法、視線検知手段及び該視線検知手段を有
する映像機器を提供することである。
【0020】加えて本発明の目的は、光電変換装置から
大きな出力信号を取り出すことが可能で、ノイズに強い
視線検知方法、視線検知手段及び該視線検知手段を有す
る映像機器を提供することである。
【0021】また、本発明の目的は複雑な光学系がなく
とも視線検知が可能で、外光や迷光の多い場合にも誤検
知がない視線検知方法、視線検知手段及び該視線検知手
段を有する映像機器を提供することである。
【0022】加えて、本発明の目的はより一層の低コス
ト化、軽量化、信頼性の向上をはかることができる視線
検知方法、視線検知手段及び該視線検知手段を有する映
像機器を提供することである。
【0023】
【課題を解決するための手段】本発明は、観察者の眼を
照明するための照明手段と、該観察者の眼からの反射光
を受光する光電変換手段と、該光電変換手段からの出力
に基づいて前記観察者の視線の方向を演算する演算手段
とを有する視線検知手段において、前記照明手段は前記
眼に対して照明光を走査する手段を有することを特徴と
する視線検知手段によって前記目的は達成される。
【0024】また、本発明は観察者が観察するための表
示部、該観察者の眼を照明するための照明手段と、該観
察者の眼からの反射光を受光する光電変換手段と、該光
電変換手段からの出力に基づいて前記観察者の視線の方
向を演算する演算手段とを有する視線検知手段、そし
て、該視線検知手段からの視線情報に基づいて映像機器
または映像機器外部への信号出力を制御するための制御
手段とを有することを特徴とする映像機器によって前記
目的は達成される。
【0025】加えて、本発明は観察者の眼に照明手段に
よって照明光を走査して照明し、該照明光に基づく該観
察者の眼からの反射光を前記走査に同期して光電変換手
段によって受光し、該光電変換からの出力と前記走査タ
イミングとによって前記観察者の視線を検知することを
特徴とする視線検知方法によって前記目的は達成され
る。
【0026】
【実施例】以下、本発明の好適な実施例を図面を用いて
説明する。
【0027】〈実施例1〉図1及び図2を参照して映像
機器としてビデオカメラのビューファインダーに適用し
た本発明の実施例1を説明する。
【0028】図1は本実施例のビューファインダーの構
成を説明するための模式的構成図であり、図2は本実施
例において用いた光源を説明するための模式的平面図で
ある。
【0029】図1において、101は観察者の眼球、1
02は接眼レンズ、103はハーフミラー、104は表
示部としての液晶パネル、105は液晶パネル104の
後面から液晶パネル104を照射するためのバックライ
ト、106は集光レンズ、107はハーフミラー、10
8は視線検知に使用される照明光を発するための光源
(赤外光源)、109は集光レンズ、110は光電変換
装置、131は可視光カットフィルターである。
【0030】観察者は接眼レンズ102及びハーフミラ
ー103を通して液晶パネル104を透過したバックラ
イト106からの光が眼球101に入射することによっ
て液晶パネル104に表示されるファインダー画像を観
察することができる。
【0031】また、観察者の視線検知のためには、光源
108から発せられた光はハーフミラー107を透過
し、集光レンズ106を通してハーフミラー103に到
達する。該光はハーフミラー103によって曲折され接
眼レンズ102を通して眼球101を照明する。
【0032】眼球101を照明した結果生ずる反射光は
再び接眼レンズ102を通してハーフミラー103に到
達し、ここで再びハーフミラー103によって曲折され
てハーフミラー107に到達する。反射光はハーフミラ
ー107によって曲折され、可視光カットフィルターに
より可視光成分、即ち前記光源108から発せられた光
以外の成分をカットされたのちに集光レンズ109によ
って集光され光電変換装置110に入射される。
【0033】なお、本実施例において、視線検知の基本
的な原理は前記した視線検知の方法を適用できる。即ち
本実施例においても反射光が有する虹彩像、瞳孔像及び
プルキンエ像の各情報を種々選択して演算処理すること
で視線を検知する。
【0034】本実施例では、眼球101を照明するため
の光源108として図2に示されるような光源を使用し
ている。光源108の発する波長は、観察者に眩しさや
余計な光を感じさせないという点から、また、眼球10
1に対して悪影響を与えず、充分な光量を与えることが
可能な波長とすることが望ましい。これらの点を考慮す
ると、光源108としては赤外光及び/又は近赤外光と
するのが望ましく、具体的な波長で示せば好ましくは7
00nm以上、より好ましくは750nm以上の波長の
光或いはその範囲内にピークもしくは主光量を有する光
を使用することが望ましい。
【0035】本実施例の光源108は図2に示されるよ
うに単位LED素子が2次元のアレイ状に配置され、例
えば9×9=81個の点光源が縦横に配置されて光源1
08を形成している。この単位LED素子の数は必要に
応じて総数や縦横に配される素子の数の変更が可能であ
るが、一般的に素子の数が多い方が検出の分解能は向上
する。各点光源は電気回路などの走査手段によって夫々
独立にON/OFFが可能となっている。
【0036】一方、本実施例の光電変換装置110は、
1ビット乃至は数ビットの画素をもつ光電変換装置であ
り、例えばCCDやフォトダイオードが用いられる。
【0037】以下、本実施例の視線検知方法について説
明する。
【0038】光源108の各点光源を例えば(1、1)
の座標の点から順に(1、2)(1、3)…(2、1)
(2、2)…(9、9)を順次ON/OFFしてゆく。
各点光源は空間的に異なる角度でレンズを通過してくる
ので、眼球101上の異なる点を走査してゆく。
【0039】眼球101で反射された反射光は前述の経
路を経て光電変換装置110に入射される。このとき、
光源108では各LEDごとに順次点滅がくり返される
ので光電変換装置110には各LEDごとに対応した反
射光が時系列に入射される。これら時系列の反射光を統
合することによって、観測すべき眼球101の眼球像が
観測可能になる。そして、この眼球像よりプルキンエ
像、虹彩像、瞳孔像を必要に応じて検出し演算すること
によって視線の方向を知ることができる。
【0040】具体的に一例を挙げると、虹彩像又は瞳孔
像から横方向の中点を得ることで眼球101の中心位置
を決めることができ、さらに、プルキンエ像の検出位置
情報を加えて、眼球中心からの視線のズレ方向、すなわ
ち、視線の方向を求めることができる。
【0041】尚、LED素子の走査方向は上記順に限定
されないのはもちろんである。即ち、(1、1)、
(2、1)、(3、1)…(9、1)、(2、1)…
(9、9)のように横方向に主走査を行うことも可能で
あるし、走査するLED素子の領域を全LED素子でな
く所望の領域のみ行うことも可能である。
【0042】但し、一般的には視線の移動は上下方向よ
り左右方向の方が表示画像の視点をとらえやすく、又、
眼球101は実際には上下に睫や瞼があるため、これら
の情報によりノイズが増加すること、より短時間で眼球
の中心位置を検知することを考慮すれば眼球に対して横
方向となるようにLED素子を走査することが好まし
い。
【0043】以上の構成及び方法により、より低コスト
でかつ小型化が容易でしかも外光等の影響がほとんどな
い視線検知方法及び視線検知手段を提供できる。
【0044】なお、本実施例による電子ビューファイン
ダーを搭載したビデオカメラ1200全体の概略図及び
概略的ブロック図を図3に示す。図3において本体12
01は撮像部1211、記録部1212、ファインダー
部1216を有し、撮映者はファインダーより撮映像を
見ながら、撮像レンズより入射する像を記録部に記録す
る。1213はズーミング用のスイッチであり、撮像レ
ンズを駆動することで記録像の大きさを変化させる。1
214は撮映者の手を保持するための補助部品であり、
柔らかい皮又は布製のバンドである。また装置全体の電
源として、充電式のバッテリー1215が装着されてい
る。
【0045】ファインダー1216内に、本実施例の図
1で説明した視線検知手段と表示部が収められている。
【0046】また、撮像部1211、ファインダー部1
216及び記録部1212を制御するためのCPUやメ
モリーを必要に応じて有する制御部1217を有してい
る。又、撮像部1211、ファインダー部1216、記
録部1212及び制御部1217には電源から電力が供
給されている。
【0047】このように構成されたビデオカメラは本実
施例で示した視線検知手段によって検知された視線情報
に基づいて、制御部1217は視線がどの方向を見てい
るかを検知し、必要に応じて撮像部1211の合焦位置
や露出を変更することができる。また、視線情報をスイ
ッチとして記録部1212の記録開始の制御やファイン
ダー部1216の表示部のバックライトの光量変更、コ
ントラスト変更などを必要に応じて行わせることも可能
である。
【0048】また、本実施例の視線検知手段をゴーグル
状のテレビとして知られるHMD(Head Moun
t Disply)に適用した場合について図4を用い
て説明する。
【0049】図4に示されるHMDの場合、図1の液晶
表示パネル104は所謂テレビなどと同じく画像情報を
表示する表示部として機能する。
【0050】図4(a)はHMDの概略図であり、
(b)は概略的ブロック図である。
【0051】本体1201は眼鏡(ゴーグル)型をして
おり、各1枚の液晶表示パネルを両眼に相当する位置に
配している。耳のあたる位置はフック状になっており、
本体上部には視度調整用ダイヤル1302を備えてい
る。1303は電源スイッチであり、電源コード130
5より供給される電力をON/OFFする。1304は
輝度調整用ツマミである。映像情報は不図示の再生手段
から電源同様コードにより入力される。本実施例による
視線検知手段は本体1301内部に収納されており、両
眼に装備してもよいが、左右のうち一方に、視線検知機
構を具備すれば充分目的を達する。
【0052】また、図4(b)に示されるようにHMD
はたとえば視線検知手段や液晶表示パネルを有する表示
部1306は視線情報を演算し、かつ、必要に応じて再
生部1308を制御するための制御部1307を有して
いる。
【0053】これにより、視線情報に基づく各種スイッ
チのON/OFFや視線移動にともなう表示情報の移動
を行うことが可能になる。
【0054】尚、再生部はビデオ再生器に必ず、コンピ
ューターなどの電子機器からの映像情報であっても良
い。
【0055】また、本実施例は上記した以外のスチルカ
メラを含む他の映像機器に適用可能であることはいうま
でもないことである。
【0056】〈実施例2〉本発明の好適な他の実施例に
ついて以下に説明する。
【0057】図5は本実施例を説明するための模式的構
成図である。図1と同じ番号の部材は図1と同じものを
示しているので詳細説明は省略する。
【0058】501は光源、502は集光レンズ、50
3は可動ミラーである。
【0059】本実施例では、単一もしくは一列に配され
た光源501からの光を可動ミラー503により機械的
に偏向走査することにより、眼球上に赤外光を走査させ
ている。
【0060】赤外光は集光レンズ502で集光された
後、走査手段である可動ミラー503により反射され、
ハーフミラー107、集光レンズ106を通り、ハーフ
ミラー103で反射された後、眼球101に入射する。
反射光は逆の経路をたどり、ハーフミラー107で反射
され、集光レンズ109で光電変換装置110上に集光
される。
【0061】光電変換装置で出力される信号は第1の実
施例の場合と同様であり、視線検知のための信号処理方
法も、同じものが使用できる。
【0062】尚、可動ミラー503の走査はソレノイ
ド、モーター、ピエゾ圧電素子及びそれらと必要に応じ
て用いられる弾性部材との組合せによって行うことが可
能である。
【0063】本実施例によれば、更に2次元アレイ状
(エリア状)の光源を用いる必要がなく、単一のLED
素子でも達成できるためより一層の低コスト化をはかる
ことができる。
【0064】加えて、走査光の光量を充分大きくするこ
とができるため、視線検知の精度を一層向上させること
が可能である。
【0065】もちろん、本実施例で説明した視線検知手
段も実施例1で説明したような数々の映像機器に適用可
能であることはいうまでもない。
【0066】〈実施例3〉本発明の他の実施例について
図6を用いて説明する。
【0067】図6は本実施例の視線検知手段を説明する
ための模式的構成図である。図6において、601は走
査用液晶シャッターアレイ、602は光源である。
【0068】本実施例では、単一の赤外光源602を液
晶シャッターアレイ601を用いて走査している。即
ち、赤外光を走査する代わりに、液晶シャッターアレイ
に走査信号を印加することにより、所望の位置の赤外光
のみを透過させ、眼球上を走査する。
【0069】走査光は、実施例1と同様にハーフミラー
107、集光レンズ106を通して、ハーフミラー10
3で反射された後眼球101に入射する。反射光は逆の
経路をたどりハーフミラー107で反射され、光電変換
装置110上に集光される。光電変換で出力される信号
は、実施例1、2の場合と同様であり、視線検知のため
の信号処理方法も同じものが使用できる。
【0070】本実施例によれば光源走査のための機械的
可動機構を有さないため、より一層信頼性をあげること
ができる。もちろん、より一層の低コスト化、軽量化、
高精度化を達成することができる。
【0071】また、本実施例も上述したごとくの種々の
映像機器に好適に使用し得る。
【0072】〈実施例4〉本発明の別の実施例を図7〜
11を用いて説明する。
【0073】図7は本実施例の光学系の模式的構成を示
す。視線を検知するための赤外光はバックライトのスペ
クトルに成分として含まれ、表示を行う液晶パネルを透
過して観察者の眼球を照射する。従って、赤外光はハー
フミラー103、接眼レンズ102を通り、眼球101
で反射される。反射光は逆の経路をたどり、ハーフミラ
ー103で反射され、集光レンズ106で集光され光電
変換装置110上に入射する。
【0074】図8は本実施例の液晶パネルの模式的断面
図である。スイッチング素子806が形成されたガラス
基板又は半導体基板807と対向基板であるガラス基板
803の間には液晶805及び上部電極804及びカラ
ーフィルター801が挟まれている。カラーフィルター
は画素毎にブラックマトリクス802により仕切られて
いる。カラーフィルターの配置を図9の模式的平面図に
より説明する。図9(a)の様に各画素(801a、8
01b、801b)を一列に並べた場合と、図9(b)
の様にデルタ配列にしたものが考えられる。図9(a)
では例えば、R、G、B画素の他に赤外成分を表示する
IR画素(赤外光透過用の画素)を第4の画素とし、こ
れらを正方形状に並べてある。また図9(b)では、
R、G、Bをデルタ配列し、IR画素はほぼ16画素に
1画素の割合で配置した。IR画素をどの様に配置する
かは設計事項であり、本実施例以外の配置も可能である
事はいうまでもない。
【0075】図10に図9(a)のカラーフィルターに
対応する液晶パネルの駆動回路図を示す。
【0076】画素TFTのゲートは、垂直シフトレジス
タ810の走査線805に接続され、ソースは、R、
G、B、IRの各信号線801〜804に、転送ゲート
806であるMOSスイッチを介して接続されている。
MOSスイッチの開閉は水平シフトレジスタ807の出
力線により行われる。各TFTのドレインには、電荷を
保持するための保持容量808と液晶809を駆動する
ための画素電極が接続されている。
【0077】画像表示は次の様にして行われる。即ち、
垂直シフトレジスタにより選択された第1列のTFT群
がONし、各色の信号線上の信号が、水平シフトレジス
タにより順次選択された転送ゲートを介して画素に書き
込まれ、やがて第1列のTFTはOFFされる。同様の
動作が第2列、3列…の順に繰り返され、順次画素に信
号が書き込まれてゆく。
【0078】次に視線検知のための赤外光の走査方法を
説明する。IR画素に対応する信号線は、画像表示用と
は別に設けられ、同期回路812により同期のとられた
IR画素シフトレジスタ813により、IR転送ゲート
813を介して接続されている。
【0079】IR画素のある第3列のTFT列を書き込
む際の信号のタイミングチャートを示したのが図11で
ある。IR画素に一旦画像信号が書き込まれた直後に、
IRリセットゲート814をONし(ΦIRRS High
level)画素の電荷を放電した後、IR信号線8
04上の白信号(又は液晶が透過率となる信号)を、I
R画素シフトレジスタによりIR転送ゲート813を介
して書き込む。次のIR画素がONする直前に、再びI
RリセットゲートがONするので、1つ前のIR画素は
リセットされ、結局IR光が順次スキャンされる。
【0080】走査された赤外光が、光電変換装置上に順
次検知される動作は他の実施例と同様である。
【0081】本実施例では、赤外光源を設置するスペー
スが節約でき、装置をより一層小型、軽量化、低コスト
化できる。
【0082】IR画素の配置方法は本実施例以外も可能
であることは前述したとおり明らかである。また、IR
光を走査する回路も上記実施例のみにとどまらない。つ
まり、順次ON/OFFする走査が実現できれば適用す
ることができる。
【0083】また、回路のMOSスイッチもPMOS、
NMOS、或いはCMOS等種々の形態が容易に実現で
きることはいうまでもない。
【0084】〈実施例5〉本発明の更に別の実施例を図
12を用いて説明する。
【0085】本実施例では、赤外光源を表示パネルの近
傍、表示領域の周辺に設置した。
【0086】本実施例では図12に示されるように液晶
パネル104aの外周部近傍に赤外光源アレイ104b
を有し、2次元的に走査される。走査光はミラー850
及びハーフミラー851を通り、眼球に入射する。反射
光を集光し光電変換装置110にて信号列に変換し、そ
の信号から視線を検知する要領は他の実施例と同様であ
る。
【0087】本実施も赤外光源のためのスペースを小さ
くできるので、装置の小型、軽量、低コスト化を可能に
する。
【0088】また、赤外光源は必要に応じ、パネルの四
方に配列したり、二方に配列したりできる。
【0089】加えて、赤外光源はLED素子を配しても
及び/又はバックライト105の有する赤外光成分を利
用しても良い。
【0090】
【発明の効果】以上詳述したように、本発明は視線検知
手段に用いる光電変換装置として画素数の多い高価なエ
リアセンサーを用いず安価な1ビットの光電変換素子あ
るいは複数ビットのラインセンサーもしくはそれらの組
合せが可能な視線検知方法、視線検知手段及び該視線検
知手段を有する映像機器を提供することができる。
【0091】また、本発明によれば、視線検知のための
解像度を向上させることが可能な視線検知方法、視線検
知手段及び該視線検知手段を有する映像機器を提供する
ことができる。
【0092】更に本発明によれば、視線検知のための解
像度を向上させ、より高解像のシステムにしても、高価
な高解像度の光電変換装置を使用せずに、安価に達成で
きる視線検知方法、視線検知手段及び該視線検知手段を
有する映像機器を提供することができる。
【0093】加えて本発明によれば、光電変換装置から
大きな出力信号を取り出すことが可能で、ノイズに強い
視線検知方法、視線検知手段及び該視線検知手段を有す
る映像機器を提供することができる。
【0094】また、本発明によれば、複雑な光学系がな
くとも視線検知が可能で、外光や迷光の多い場合にも誤
検知がない視線検知方法、視線検知手段及び該視線検知
手段を有する映像機器を提供することができる。
【0095】また、本発明によればより一層低コスト
化、軽量化、信頼性の向上を達成することができる。
【0096】尚、本発明は上記した実施例に限ることな
く、本発明の主旨の範囲で適宜変形、組合せを行い得る
ものである。
【0097】たとえば、表示部の液晶パネルは透過型の
例を示したが、これは透過型に限られるわけでなく、
又、表示も液晶パネル以外に小型CRT、ELディスプ
レー、プラズマディスプレー等に変更可能である。しか
しながら、小型、軽量、低消費電力でカラー表示が可能
であるという点から液晶パネルを使用することは好まし
い。
【0098】また、眼球の照明は接眼レンズを通さずに
接眼レンズ近傍から眼球に向けて必要な光を射出するよ
うにしても良いものである。
【図面の簡単な説明】
【図1】実施例1を説明するための模式的構成図であ
る。
【図2】実施例1の光源を説明するための模式的平面図
である。
【図3】(a)は本発明実施例が適用可能な映像機器の
概略図、(b)は模式的ブロック図である。
【図4】(a)は本発明実施例が適用可能な映像機器の
概略図、(b)は模式的ブロック図である。
【図5】実施例2を説明するための模式的構成図であ
る。
【図6】実施例3を説明するための模式的構成図であ
る。
【図7】実施例4を説明するための模式的構成図であ
る。
【図8】実施例4の液晶パネルを説明するための模式的
断面図である。
【図9】実施例4の液晶パネルのカラーフィルターの配
置を説明するための模式的平面図である。
【図10】実施例4の液晶パネルの駆動回路の一例を説
明するための回路図である。
【図11】実施例4の液晶パネルの駆動を説明するため
のタイミング図である。
【図12】実施例5を説明するための模式的構成図であ
る。
【図13】従来の視線検出手段を説明するための図であ
る。
【図14】人眼の各界面における屈折率変化を説明する
図である。
【図15】人眼の各界面の反射像の位置を示す図であ
る。
【図16】眼球瞳孔付近を前方から見た図である。
【図17】(a)は反射像の検出を説明するための図、
(b)は出力信号を示す図である。
【図18】反射像の2次元的な検出を説明するための図
である。
【符号の説明】
101 眼球 102 接眼レンズ 103 ハーフミラー 104 液晶パネル 105 バックライト 106 集光レンズ 107 ハーフミラー 108 光源 109 集光レンズ 110 光電変換装置 131 可視光カットフィルタ
───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.6 識別記号 庁内整理番号 FI 技術表示箇所 H04N 5/225 B 5/64 511 A 7205−5C // G03B 13/02 8106−2K

Claims (21)

    【特許請求の範囲】
  1. 【請求項1】 観察者の眼を照明するための照明手段
    と、 該観察者の眼からの反射光を受光する光電変換手段と、 該光電変換手段からの出力に基づいて前記観察者の視線
    の方向を演算する演算手段とを有する視線検知手段にお
    いて、前記照明手段は前記眼に対して照明光を走査する
    手段を有することを特徴とする視線検知手段。
  2. 【請求項2】 前記照明手段は2次元に配された発光素
    子を有する請求項1に記載の視線検知手段。
  3. 【請求項3】 前記照明手段は1つの発光素子又はアレ
    ー状に配された発光素子と該発光素子からの光を偏向す
    るための手段を有する請求項1に記載の視線検知手段。
  4. 【請求項4】 前記偏向するための手段は可動ミラーで
    ある請求項3に記載の視線検知手段。
  5. 【請求項5】 前記発光素子はLED素子である請求項
    2又は3に記載の視線検知手段。
  6. 【請求項6】 前記走査する手段は機械的手段又は電気
    的手段である請求項1に記載の視線検知手段。
  7. 【請求項7】 前記視線検知手段は更に表示部を有する
    請求項1乃至6に記載の視線検知手段。
  8. 【請求項8】 前記視線検知手段は更に表示部を有し、
    前記照明手段は前記表示部からの光である請求項1に記
    載の視線検知手段。
  9. 【請求項9】 前記光電変換装置はフォトトランジスタ
    又はCCDである請求項1に記載の視線検知手段。
  10. 【請求項10】 観察者が観察するための表示部、該観
    察者の眼を照明するための照明手段と、 該観察者の眼からの反射光を受光する光電変換手段と、 該光電変換手段からの出力に基づいて前記観察者の視線
    の方向を演算する演算手段とを有する視線検知手段、 そして、該視線検知手段からの視線情報に基づいて映像
    機器又は映像機器外部への信号出力を制御するための制
    御手段とを有することを特徴とする映像機器。
  11. 【請求項11】 前記照明手段は2次元に配された発光
    素子を有する請求項10に記載の映像機器。
  12. 【請求項12】 前記照明手段は1つの発光素子又はア
    レー状に配された発光素子と該発光素子からの光を偏向
    するための手段を有する請求項10に記載の映像機器。
  13. 【請求項13】 前記偏向するための手段は可動ミラー
    である請求項12に記載の映像機器。
  14. 【請求項14】 前記発光素子はLED素子である請求
    項11又は12に記載の映像機器。
  15. 【請求項15】 前記走査する手段は機械的手段又は電
    気的手段である請求項10に記載の映像機器。
  16. 【請求項16】 前記照明手段は前記表示部からの光で
    ある請求項10に記載の映像機器。
  17. 【請求項17】 前記光電変換装置はフォトトランジス
    タ又はCCDである請求項10に記載の映像機器。
  18. 【請求項18】 前記表示部は液晶パネル、CRT、E
    Lディスプレー、プラズマディスプレーから選択された
    表示部である請求項10乃至17に記載の映像機器。
  19. 【請求項19】 前記映像機器はスチルカメラ、ビデオ
    カメラ、ゴーグル状のディスプレーから選択される請求
    項10乃至18に記載の映像機器。
  20. 【請求項20】 観察者の眼に照明手段によって照明光
    を走査して照明し、該照明光に基づく該観察者の眼から
    の反射光を前記走査に同期して光電変換手段によって受
    光し、該光電変換からの出力と前記走査タイミングとに
    よって前記観察者の視線を検知することを特徴とする視
    線検知方法。
  21. 【請求項21】 前記走査は機械的又は電気的に行われ
    る請求項20の視線検知方法。
JP5272107A 1993-10-29 1993-10-29 視線検知方法、視線検知手段及び該視線検知手段を有する映像機器 Withdrawn JPH07128579A (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP5272107A JPH07128579A (ja) 1993-10-29 1993-10-29 視線検知方法、視線検知手段及び該視線検知手段を有する映像機器
EP94307951A EP0657767B1 (en) 1993-10-29 1994-10-28 Visual axis detecting apparatus
DE69424511T DE69424511T2 (de) 1993-10-29 1994-10-28 Gerät zur Erfassung der Blickrichtung
US08/881,079 US6104431A (en) 1993-10-29 1997-06-24 Visual axis detecting apparatus and method including scanning light source, and image device using same

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP5272107A JPH07128579A (ja) 1993-10-29 1993-10-29 視線検知方法、視線検知手段及び該視線検知手段を有する映像機器

Publications (1)

Publication Number Publication Date
JPH07128579A true JPH07128579A (ja) 1995-05-19

Family

ID=17509184

Family Applications (1)

Application Number Title Priority Date Filing Date
JP5272107A Withdrawn JPH07128579A (ja) 1993-10-29 1993-10-29 視線検知方法、視線検知手段及び該視線検知手段を有する映像機器

Country Status (4)

Country Link
US (1) US6104431A (ja)
EP (1) EP0657767B1 (ja)
JP (1) JPH07128579A (ja)
DE (1) DE69424511T2 (ja)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0489058A (ja) * 1990-07-31 1992-03-23 Ya Man Ltd 接触温度を可変できる超音波美容装置
US7167201B2 (en) 2003-04-28 2007-01-23 Hewlett-Packard Development Company, L.P. Device incorporating eye-start capability
JP2012168748A (ja) * 2011-02-15 2012-09-06 Denso Corp 投光システム及び顔撮影システム
JP2015013031A (ja) * 2013-07-05 2015-01-22 ソニー株式会社 視線検出装置及び視線検出方法
JP2016213818A (ja) * 2015-05-04 2016-12-15 メクラ・ラング・ゲーエムベーハー・ウント・コー・カーゲーMEKRA Lang GmbH & Co. KG 車両用カメラシステム
JP2016220860A (ja) * 2015-05-28 2016-12-28 株式会社ニデック 眼科測定装置
US10983592B2 (en) 2018-03-13 2021-04-20 Ricoh Company, Ltd. Eyeball-tilt position device and apparatus including same

Families Citing this family (35)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6055376A (en) * 1997-09-05 2000-04-25 Canon Kabushiki Kaisha Observation optical system and optical apparatus having the same
EP0933666A1 (en) * 1998-01-30 1999-08-04 SONY DEUTSCHLAND GmbH Image detecting apparatus controlled by detecting the viewing direction
JP2000137268A (ja) * 1998-10-30 2000-05-16 Olympus Optical Co Ltd カメラのファインダ内表示装置
US6191761B1 (en) * 1998-11-09 2001-02-20 University Of Washington Method and apparatus for determining optical distance
DE10313028A1 (de) * 2003-03-24 2004-10-21 Technovision Gmbh Verfahren und Vorrichtung zur Augenausrichtung
US8442276B2 (en) 2006-03-03 2013-05-14 Honeywell International Inc. Invariant radial iris segmentation
US8064647B2 (en) 2006-03-03 2011-11-22 Honeywell International Inc. System for iris detection tracking and recognition at a distance
US7933507B2 (en) 2006-03-03 2011-04-26 Honeywell International Inc. Single lens splitter camera
US8049812B2 (en) 2006-03-03 2011-11-01 Honeywell International Inc. Camera with auto focus capability
US7761453B2 (en) 2005-01-26 2010-07-20 Honeywell International Inc. Method and system for indexing and searching an iris image database
US8705808B2 (en) 2003-09-05 2014-04-22 Honeywell International Inc. Combined face and iris recognition system
US7593550B2 (en) 2005-01-26 2009-09-22 Honeywell International Inc. Distance iris recognition
US8098901B2 (en) 2005-01-26 2012-01-17 Honeywell International Inc. Standoff iris recognition system
US8090157B2 (en) 2005-01-26 2012-01-03 Honeywell International Inc. Approaches and apparatus for eye detection in a digital image
JP2005252732A (ja) * 2004-03-04 2005-09-15 Olympus Corp 撮像装置
US20060228003A1 (en) * 2005-04-06 2006-10-12 Silverstein D A Method and apparatus for detection of optical elements
US8134191B2 (en) * 2006-01-24 2012-03-13 Panasonic Corporation Solid-state imaging device, signal processing method, and camera
WO2008016724A2 (en) 2006-03-03 2008-02-07 Honeywell International, Inc. An iris recognition system having image quality metrics
KR101299074B1 (ko) 2006-03-03 2013-08-30 허니웰 인터내셔널 인코포레이티드 홍채 인코딩 시스템
JP2009529197A (ja) 2006-03-03 2009-08-13 ハネウェル・インターナショナル・インコーポレーテッド モジュールバイオメトリクス収集システムアーキテクチャ
ES2300193B1 (es) * 2006-07-06 2009-05-08 Universidad De Murcia Procedimiento para la medida en vivo del alineamiento de los componentes opticos del ojo y dispositivo para la puesta en practica del mismo.
JP2008146463A (ja) * 2006-12-12 2008-06-26 Mitsubishi Electric Corp 位置検出装置
US8063889B2 (en) 2007-04-25 2011-11-22 Honeywell International Inc. Biometric data collection system
WO2009060423A1 (en) * 2007-11-08 2009-05-14 Elbit Systems Electro-Optics Elop Ltd. Eye detection system and method for automatic activation of a viewing device
US8436907B2 (en) 2008-05-09 2013-05-07 Honeywell International Inc. Heterogeneous video capturing system
US8213782B2 (en) 2008-08-07 2012-07-03 Honeywell International Inc. Predictive autofocusing system
US8090246B2 (en) 2008-08-08 2012-01-03 Honeywell International Inc. Image acquisition system
US8280119B2 (en) 2008-12-05 2012-10-02 Honeywell International Inc. Iris recognition system using quality metrics
FR2941786B1 (fr) * 2009-02-03 2011-04-29 Laster Dispositif portable d'affichage tete haute et de realite augmentee
US8472681B2 (en) 2009-06-15 2013-06-25 Honeywell International Inc. Iris and ocular recognition system using trace transforms
US8630464B2 (en) 2009-06-15 2014-01-14 Honeywell International Inc. Adaptive iris matching using database indexing
US8742887B2 (en) 2010-09-03 2014-06-03 Honeywell International Inc. Biometric visitor check system
KR102471370B1 (ko) * 2015-02-23 2022-11-28 소니그룹주식회사 정보 처리 장치, 정보 처리 방법 및 프로그램
JP6964250B2 (ja) 2017-02-07 2021-11-10 パナソニックIpマネジメント株式会社 眼球撮影装置および眼球撮影方法
US10319266B1 (en) * 2017-04-24 2019-06-11 Facebook Technologies, Llc Display panel with non-visible light detection

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US3450466A (en) * 1965-02-19 1969-06-17 Us Testing Co Inc Eye movement recorder
US3864030A (en) * 1972-07-11 1975-02-04 Acuity Syst Eye position measuring technique
US4373787A (en) * 1979-02-28 1983-02-15 Crane Hewitt D Accurate three dimensional eye tracker
IL81928A (en) * 1987-03-18 1992-08-18 A T Systems Applic Of Advanced Apparatus for monitoring the eyes of an operator
JP2505854B2 (ja) * 1988-03-23 1996-06-12 キヤノン株式会社 視線検出手段を備えるカメラ
EP0392744B1 (en) * 1989-04-10 1995-03-01 Kowa Company Ltd. Ophthalmological measurement method and apparatus
US5214466A (en) * 1990-04-11 1993-05-25 Canon Kabushiki Kaisha Camera having visual axis detecting apparatus
US5386258A (en) * 1991-01-17 1995-01-31 Canon Kabushiki Kaisha Optical apparatus having a visual axis direction detecting device
JPH05232373A (ja) * 1992-02-24 1993-09-10 Olympus Optical Co Ltd カメラの視線方向検出装置
JPH08104B2 (ja) * 1992-09-17 1996-01-10 株式会社エイ・ティ・アール視聴覚機構研究所 奥行き視線移動検査装置
JPH06342146A (ja) * 1992-12-11 1994-12-13 Canon Inc 画像表示装置、半導体装置及び光学機器

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0489058A (ja) * 1990-07-31 1992-03-23 Ya Man Ltd 接触温度を可変できる超音波美容装置
US7167201B2 (en) 2003-04-28 2007-01-23 Hewlett-Packard Development Company, L.P. Device incorporating eye-start capability
JP2012168748A (ja) * 2011-02-15 2012-09-06 Denso Corp 投光システム及び顔撮影システム
JP2015013031A (ja) * 2013-07-05 2015-01-22 ソニー株式会社 視線検出装置及び視線検出方法
JP2016213818A (ja) * 2015-05-04 2016-12-15 メクラ・ラング・ゲーエムベーハー・ウント・コー・カーゲーMEKRA Lang GmbH & Co. KG 車両用カメラシステム
US10239454B2 (en) 2015-05-04 2019-03-26 Mekra Lang Gmbh & Co. Kg Camera system for a vehicle
JP2016220860A (ja) * 2015-05-28 2016-12-28 株式会社ニデック 眼科測定装置
US10983592B2 (en) 2018-03-13 2021-04-20 Ricoh Company, Ltd. Eyeball-tilt position device and apparatus including same

Also Published As

Publication number Publication date
DE69424511D1 (de) 2000-06-21
US6104431A (en) 2000-08-15
DE69424511T2 (de) 2000-10-12
EP0657767A1 (en) 1995-06-14
EP0657767B1 (en) 2000-05-17

Similar Documents

Publication Publication Date Title
JPH07128579A (ja) 視線検知方法、視線検知手段及び該視線検知手段を有する映像機器
JP3697256B2 (ja) 撮像装置およびレンズ装置
EP0650292B1 (en) Image pickup apparatus
JPH0749456A (ja) 双眼鏡
US5712684A (en) Viewing apparatus with visual axis detector
JPH05232373A (ja) カメラの視線方向検出装置
US7665912B2 (en) Image-taking apparatus and control method thereof
JP4040638B2 (ja) 撮像装置
JPH07318814A (ja) 顕微鏡写真撮影装置
JPH01190177A (ja) オートフォーカス装置
JPH11122544A (ja) 撮像装置
JP2003000544A (ja) 視線検出装置
JPH10307314A (ja) 観察光学装置
JP4143622B2 (ja) 撮像装置
JP3210089B2 (ja) 視線検出装置及びカメラ
JP3352195B2 (ja) 視線検出装置、光学装置及び視線検出方法
JP4194577B2 (ja) 撮像装置
JP3495824B2 (ja) 視線検出装置を有する光学機器
JP4194542B2 (ja) 撮像装置
JP2756413B2 (ja) 視線検出装置を備える光学装置
JPH1114897A (ja) 光学機器
KR0133642B1 (ko) 캠코더의 수동 촛점 조절장치
JP4110152B2 (ja) 撮像装置
JP2001258844A (ja) 視線検出装置
JPH07311333A (ja) 視線検出手段を備えたカメラ

Legal Events

Date Code Title Description
A300 Application deemed to be withdrawn because no request for examination was validly filed

Free format text: JAPANESE INTERMEDIATE CODE: A300

Effective date: 20010130