JPH10179520A

JPH10179520A - 視線検出方法及び装置並びに記憶媒体

Info

Publication number: JPH10179520A
Application number: JP8357167A
Authority: JP
Inventors: Takashi Arai; 崇荒井
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 1996-12-26
Filing date: 1996-12-26
Publication date: 1998-07-07

Abstract

(57)【要約】【課題】視線検出精度の向上及び視線検出不能の確率
の大幅な低減を図った視線検出方法及び装置を提供す
る。【解決手段】左右両眼の視線を検出する視線検出用イ
メージセンサー１９１６により検出した視線検出データ
のうち、信頼性が高い方の視線検出データを利用するよ
うに主制御回路１９１０により制御する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、ビデオカメラ等の
撮像装置に具備される視線検出方法及び装置並びにこれ
ら視線検出方法及び装置に使用する記憶媒体に関する。

【０００２】

【従来の技術】本出願人は、ビデオカメラのファインダ
ー画面に、例えばズーム／フェード等の機能を意味する
指標を表示し、それを視線で選択させたり、オートフォ
ーカスの位置を視線で選択させたりする、いわゆる視線
入力装置を既に提案している。この視線入力機能の視線
検出方法の原理を以下に説明する。

【０００３】図１４は視線検出方法の原理を説明するた
めの平面図、図１５は視線検出方法の原理を説明するた
めの側面図である。両図において、１４０４ａ，１４０
４ｂは観察者に対して不感の赤外光を放射する発光ダイ
オード（ＩＲＥＤ）等の光源で、各光源１４０４ａ，１
４０４ｂは結像レンズ１４０７の光軸に対してｘ方向
（水平方向）に略対称に（図１４参照）、また、ｙ方向
（垂直方向）にはやや下側に（図１５参照）配置され、
観察者の目１４０５を発散照明している。観察者の目１
４０５で反射した照明光の一部は、結像レンズ１４０７
によって視線検出用イメージセンサー１４０８に結像す
る。図１６は視線検出用イメージセンサー１４０８に投
影される観察者の目１４０５の像の概略図、図１７は視
線検出用イメージセンサー１４０８の出力強度図であ
る。

【０００４】以下、各図を用いて視線検出方法を説明す
る。

【０００５】まず、水平面で考えると、図１４において
一方の光源１４０４ｂより放射された赤外光は、観察者
の目１４０５の角膜１４０６を照明する。このとき角膜
１４０６の表面で反射した赤外光により形成された角膜
反射像ｄ（虚像）は結像レンズ１４０７により集光さ
れ、視線検出用イメージセンサー１４０８上の位置ｄ′
に結像する。同様に他方の光源１４０４ａより放射され
た赤外光は、観察者の目１４０５の角膜１４０６を照明
する。このとき角膜１４０６の表面で反射した赤外光に
より形成された角膜反射像ｅ（虚像）は結像レンズ１４
０７により集光され、視線検出用イメージセンサー１４
０８上の位置ｅ′に結像する。

【０００６】また、観察者の目１４０５の虹彩１４０３
の端部ａ，ｂ（瞳孔エッジ１４０２）からの光束は、結
像レンズ１４０７を介して視線検出用イメージセンサー
１４０８上の位置ａ′，ｂ′に虹彩１４０３の端部ａ，
ｂの像を結像する。結像レンズ１４０７の光軸に対する
観察者の目１４０５の光軸の回転角θが小さい場合、虹
彩１４０３の端部ａ，ｂのｘ座標をｘａ，ｘｂとする
と、ｘａ，ｘｂは視線検出用イメージセンサー１４０８
上で多数点求めることができる（図１６中の×印）。そ
こで、まず、円の最小自乗法にて観察者の目１４０５の
瞳孔１４０１の中心ｘｃを算出する。

【０００７】一方、観察者の目１４０５の角膜１４０６
の曲率半径ｒｃの中心（角膜曲率中心）ｏのｘ座標をｘ
ｏとすると、観察者の目１４０５の光軸に対する回転角
θｘは、下記（１）式により求めることができる。

【０００８】ｏｃ×ｓｉｎθｘ＝ｘｃ−ｘｏ … （１）また、角膜反射像ｄとｅの中点ｋに所定の補正値δｘを
考慮して下記（２）式によりｘｏを求めることができ
る。

【０００９】ｘｋ＝（ｘｄ＋ｘｅ）／２ｘｏ＝（ｘｄ＋ｘｅ）／２＋δｘ … （２）ここで、δｘは装置の設置方法／目１４０５の距離等か
ら幾何学的に求められる数値であり、その算出方法は省
略する。

【００１０】よって、上記（１）式を（２）式に代入し
て下記（３）式によりθｘを求めることができる。

【００１１】 θｘ＝ａｒｃｓｉｎ［［ｘｃ−｛（ｘｄ＋ｘｅ）／２＋δｘ｝］／ｏｃ］ … （３）更に、視線検出用イメージセンサー１４０８上に投影さ
れた各々の特徴点の座標を、「′」（ダッシュ）を付け
て書き替えると下記（４）式となる。

【００１２】 θｘ＝ａｒｃｓｉｎ［［ｘｃ′−｛（ｘｄ′＋ｘｅ′）／２＋δｘ′｝］／ｏｃ／β］ … （４）ここで、βは結像レンズ１４０７に対する観察者の目１
４０５の距離ｓｚｅにより決まる倍率で、実際は角膜反
射像ｅ，ｄの間隔｜ｘｄ′−ｘｅ′｜の関数として求め
られる。

【００１３】次に垂直面で考えると、図１５のような構
成になる。ここで２個の光源１４０４ａ，１４０４ｂに
より生じる角膜反射像は同位置に発生し、これをｉとす
る。観察者の目１４０５の回転角θｙの算出方法は、上
述した水平面のときとほぼ同一であるが、（２）式のみ
異なり、角膜曲率中心ｏのｙ座標をｙｏとすると、ｙｏ
は下記（５）式により求めることができる。

【００１４】ｙｏ＝ｙｉ＋δｙ … （５）ここで、δｙは装置の設置方法／目１４０５の距離等か
ら幾何学的に求められる数値であり、その算出方法は省
略する。

【００１５】よって、垂直方向の回転角θｙは、下記
（６）式により求めることができる。 θｙ＝ａｒｃｓｉｎ［［ｙｃ′−（ｙｉ′＋δｙ′）］／ｏｃ／β］ … （６）更に、ビデオカメラのファインダー画面上の位置座標
（ｘｎ，ｙｎ）は、ファインダー光学系で決まる定数ｍ
を用いると、水平面上及び垂直面上それぞれ、下記値
（７）式及び（８）式となる。

【００１６】ｘｎ＝ｍ×ａｒｃｓｉｎ［［ｘｃ′−｛（ｘｄ′＋ｘｅ′）／２＋δｘ′｝］／ｏｃ／β］ … （７）ｙｎ＝ｍ×ａｒｃｓｉｎ［［ｙｃ′−（ｙｉ′＋δｙ′）］／ｏｃ／β］ … （８）図１７で明らかなように、瞳孔エッジ１４０２の検出
は、視線検出用イメージセンサー１４０８の出力波形の
立ち上がり（ｘｂ′）、立ち下がり（ｘａ′）を利用す
る。また、角膜反射像ｅ，ｄの座標は鋭い立ち上がり部
（ｘｅ′）、（ｘｄ′）を利用する。

【００１７】次に視線検出機能を有するヘッドマウント
ディスプレイユニット（以下、ＨＭＤユニットと記述す
る）を用いたビデオカメラについて説明する。

【００１８】図１８はＨＭＤユニットを用いたビデオカ
メラの使用状態を示す外観図であり、同図中、１８０１
はＨＭＤユニット、１８０２はＨＭＤユニット１８０１
を観察者１８０５に装着するためのフレーム、１８０３
はビデオカメラ、１８０４はビデオカメラ１８０３とＨ
ＭＤユニット１８０１を接続する接続線、１８０５は観
察者である。

【００１９】ここで、ＨＭＤユニット１８０１は両目用
に一対あり、眼鏡フレームタイプの支持部材により覆わ
れ、フレーム１８０２により両目の近傍に配置されるよ
うに観察者１８０５の顔に固定することができる。ＨＭ
Ｄユニット１８０１はＬＣＤ（液晶表示器）等の表示ユ
ニットとその拡大光学系及び視線検出系を含み、両目で
映像を確認することができると共に、観察者１８０５の
視線を検出することによって、観察者１８０５が映像の
どこを見ているかを認識することが可能である。また、
ＨＭＤユニット１８０１は接続線１８０４を介してビデ
オカメラ１８０３と電気的に接続されており、ＨＭＤユ
ニット１８０１により映像をモニターできるシステムに
なっている。これにより、ビデオカメラ１８０３を所定
の位置に固定することで、カメラを構えることなく手ぶ
らでの撮影が可能となる。

【００２０】図１９はビデオカメラのファインダー光学
系の構成及び回路構成を示すブロック図、図２０はプリ
ズム周りの側面図である。

【００２１】まず、ファインダー光学系について説明す
る。図１９において、１９０１は後述するＬＣＤ（液晶
表示素子）の映像を拡大するための特殊プリズムで、第
１の光学作用面ａ、第２の光学作用面ｂ及び第３の光学
作用面ｃを有している。第２の光学作用面ｂには反射層
がアルミ蒸着等によりコーティングされている。１９０
２はＬＣＤ（液晶表示素子）で、映像の表示を行うもの
である。このＬＣＤ１９０２からの光は第３の光学作用
面ｃで屈折透過し、第１の光学作用面ａで全反射し、第
２の光学作用面ｂの反射層で反射し、再び第１の光学作
用面ａを屈折透過し、観察者の視度に適合した広がり角
（収束角、平行）の光束となり、観察者の目１９０３側
に射出する。

【００２２】ここで、観察者の目１９０３の中心ととＬ
ＣＤ１９０２の中心とを結ぶ線を基本光軸として示して
いる。観察者の視度に対する調整は、ＬＣＤ１９０２を
特殊プリズム１９０１の光軸に沿って平行移動すること
によって行うことができる。特殊プリズム１９０１は像
性能と歪みを補正し、テレセントリックな系とするため
に、３つの光学作用面ａ〜ｃをそれぞれ回転対称軸を有
しない３次元曲面で構成するのが望ましく、ここでは、
基本光軸を含み紙面に平行な平面にのみ対称な曲面構造
をなしている。また、本光学系においては、主に反射系
にて拡大を行っているため色収差は非常に少ない。

【００２３】次に視線検出系について説明する。図１９
において、視線検出系は、観察者の目１９０３に赤外光
を照射する赤外発光ダイオード１９１８，１９１９、赤
外光を集光する結像レンズ１９１７ａ，１９１７ｂ、こ
れら結像レンズ１９１７ａ，１９１７ｂにより集光され
た赤外光を電気信号に変換する視線検出用イメージセン
サー１９１６、このイメージセンサー１９１６上の観察
者の目１９０３の像を基に、観察者のＬＣＤ１９０２上
の注視点を求める注視点検出回路１９０８を有してい
る。一方の赤外発光ダイオード１９１８（裸眼用２
個）、または他方の赤外発光ダイオード１９１９（眼鏡
用２個）から発した光は、視線検出系の光軸とは異なる
方向からの観察者の目１９０３を照明する。

【００２４】この照明光は観察者の角膜、瞳孔で反射散
乱され、角膜で反射した光は角膜反射像を形成し、瞳孔
で反射散乱された光は瞳孔像を形成する。これらの光
は、第２の光学作用面ｂに設けられた開口部（透過部）
１９２２を通して、結像レンズ１９１７ａ，１９１７ｂ
によりイメージセンサー１９１６上に結像される。イメ
ージセンサー１９１６から得られる観察者の目１９０３
の画像は、上述した視線検出原理によって構成された注
視点検出回路１９０８によって注視点データを主制御回
路１９１０へ出力することができる。

【００２５】ここで、結像レンズ系は２枚の結像レンズ
１９１７ａ，１９１７ｂにより構成されているが、特に
一方の結像レンズ１９１７ａは楔形状をしたレンズで、
これにより結像レンズ系を少ないレンズで構成すること
ができ、小型化に適している。この一方の結像レンズ１
９１７ａの斜めの面に曲率を付けることで特殊プリズム
１９０１における第２の光学作用面ｂで発生する偏心収
差を有効に補正することができる。更に、結像レンズ系
には少なくとも非球面を１面設けると、軸外の結像性能
を補正する上で有効である。結像レンズ系の絞りは、第
２の光学作用面ｂに設けた開口部１９２２に近い方が、
該開口部１９２２を小さくすることができ、ファインダ
ー光学系に対する中抜けを防ぐのに有効であり、できれ
ば開口部１９２２と絞りが一致しているのが望ましい。
開口部１９２２は、２ｍｍより小さく設定した方が観察
者の目１９０３の瞳孔より小さくなり、更に観察系に対
する中抜けを防ぐのに有効である。観察者の目１９０３
を照明する光は、視感度の低い光がよいので、赤外光を
使用している。

【００２６】また、結像レンズ系の２枚の結像レンズ１
９１７ａ，１９１７ｂの少なくとも１枚は、可視光をカ
ットする材料を使用している。従って、必要のない赤外
光以外の光線をカットすることができ、視線の検出精度
を向上することができる。

【００２７】ここで、観察者の目１９０３を照明する赤
外発光ダイオード１９１８，１９１９は、異なる配置で
裸眼用と眼鏡用とを使い分けている。裸眼用の２個の赤
外発光ダイオード１９１８は、特殊プリズム１９０１を
挟んで観察者の目１９０３と反対側に、光軸からやや離
れた下部から同一高さで、光軸対称に狭い幅で左右１個
ずつ配置されている。一方、眼鏡用の２個の赤外発光ダ
イオード１９１９は、特殊プリズム１９０１の前方、光
軸からかなり離れた下部から同一高さで、光軸対称に広
い幅で左右１個ずつ配置されている。その理由は３つで
あり、その１つ目は、目１９０３の距離によって、より
良い照明条件を得るためで、できるだけ観察者の目１９
０３の検出エリアを均等に照明するような位置になって
いる。２つ目は、前記角膜反射像が瞼でケラレないよう
な高さにする必要があるため、裸眼用の２個の赤外発光
ダイオード１９１８は、眼鏡用の２個の赤外発光ダイオ
ード１９１９に比べて高い位置にある。３つ目は、赤外
光が眼鏡に反射してできるゴーストが、検出に影響の少
ない周辺部に現れるようにするため、眼鏡用の２個の赤
外発光ダイオード１９１９は、裸眼用の２個の赤外発光
ダイオード１９１８より左右、下に離れた位置にある。
なお、観察者の目１９０３と眼鏡の判別は、角膜反射像
ｅ，ｄの間隔｜ｘｄ′−ｘｅ′｜（図１６参照）から目
１９０３と特殊プリズム１９０１との間の距離を算出す
ることで行う。

【００２８】図２０は特殊プリズム１９０１を側面から
見た図である。ここで、第２の光学作用面ｂは、反射用
のミラーコーティングが施されているが、結像レンズ系
及び裸眼用の２個の赤外発光ダイオード１９１８用の開
口部（透過部）、即ちミラーコーティング未処理部（１
９２２は結像レンズ系用、１９２０，１９２１は裸眼用
の赤外発光ダイオード用）が設けられている。上述した
ように、これらはファインダー光学系に影響のない程度
に小さいものであり、２ｍｍ以下位が望ましい。

【００２９】次に図１９を用いて回路系を説明する。同
図中、１９２７はＨＭＤユニットであり、上述した表示
素子、表示光学系、視線検出系等が搭載されている。ま
た、図示のように本システムは両眼対応のため、全く同
一のＨＭＤユニット１９２７が一対組み込まれている。
なお、出力された左右２つの注視点座標は、主制御回路
１９１０にて動作可能なスイッチング回路１９２５にて
左右どちらかの注視点座標情報のみが使用される。ここ
で、基本的には、どちらの注視点座標情報を用いても構
わない。視線検出系の故障、不具合等が生じたときのみ
操作スイッチにより手動で切り換える。

【００３０】１９２６はビデオカメラで、映像や音声を
取り込んで記録するものである。ここで、１９２３はカ
メラユニット、１９０４はカメラレンズ、１９０５は映
像を取り込む撮像素子、１９０６は撮像素子１９０５を
制御したり、所定の映像信号を生成するための信号処理
回路、１９２４はカメラレンズ１９０４のズームやオー
トフォーカスを行うズーム／ＡＦ手段である。また、１
９１０は全体のシーケンスを制御する主制御回路、１９
１３はテープ、磁気ディスク、光ディスク、固体メモリ
等を用いて映像、音声を記録／再生するための映像、音
声記録／再生手段、１９１１は音声を取り込むためのマ
イクロフォン、１９０９は各種の操作スイッチを検出す
るための操作スイッチ検出手段、１９０７はＬＣＤ１９
０２を駆動するためのＬＣＤ駆動回路である。

【００３１】次に本システムにおける視線検出機能の応
用例を説明する。

【００３２】第１に、視線検出スイッチの機能について
説明する。本機能使用時のＬＣＤ１９０２による表示例
の模式図を図２１に示す。同図に示すように、アルファ
ベット「Ｗ」、「Ｔ」、「Ｆ」で示す互いに異なる動作
機能を意味する指標２１０１（２１０１ａ，２１０１
ｂ，２１０１ｃ）からなるメニューが表示されている。
ここで、例えば「Ｗ」はワイド側へのズーミング、
「Ｔ」はテレ側へのズーミング、「Ｆ」はフェードの動
作をそれぞれ示すものとする。また、右下の数字２１０
２は視線スイッチの機能ではなく、例えば日付等であ
る。

【００３３】次に主制御回路１９１０の動作を説明す
る。注視点検出回路１９０８は、常に観察者の視線座標
を検出し、主制御回路１９１０へ出力している。ここ
で、観察者が「Ｔ」表示を注視したとする。主制御回路
１９１０は範囲βの中に所定時間注視点が入ったかを判
断し、所定時間注視点が入った場合、範囲βから注視点
が外れるまで、テレ側へのズーミングを実行するべく、
ズーム／ＡＦ手段１９２４へ信号を送る。なお、
「Ｗ」、「Ｆ」についても同様である。

【００３４】第２に視線フォーカスについて説明する。
本機能使用時のＬＣＤ１９０２による表示例の模式図を
図２２に示す。同図において、２２０１はフォーカスエ
リアの概略を表わす視線ＡＦ枠であり、注視点座標位置
に表示され、このエリア内の被写体に合焦する。

【００３５】次に主制御回路１９１０の動作を説明す
る。注視点検出回路１９０８は、常に観察者の視線座標
を検出し、主制御回路１９１０へ出力している。ここ
で、観察者が図２２における人物を注視したとする。主
制御回路１９１０は前記注視座標に基づいてズーム／Ａ
Ｆ手段１９２４へ信号を送り、フォーカスエリアを指定
すると、ＬＣＤ１９０２へ注視座標信号を送りＬＣＤ１
９０２の画面内に視線ＡＦ枠２２０１を表示させる。

【００３６】

【発明が解決しようとする課題】しかしながら、上述し
た従来装置にあっては、以下のような問題点があった。

【００３７】（１）観察者の片方の目の視線検出データ
のみを利用するため、ＨＭＤユニットの装着が傾いて、
観察者の目の像が視線検出用イメージセンサーからはみ
出したり、コンタクトレンズがずれて観察者の目の像の
必要な部分を遮ったり、外光によって観察者の目の像の
中に、明るい反射像やフレアーが発生したり等、様々な
悪条件が生じたとき、視線検出精度が低下したり、検出
が不能となる場合があった。

【００３８】（２）観察者の片方の目の視線検出データ
のみを利用するため、ＨＭＤユニットの装着が傾いて、
観察者の目の像が視線検出用イメージセンサーからはみ
出したり、コンタクトレンズがずれて観察者の目の像の
必要な部分を遮ったり、外光によって観察者の目の像の
中に、明るい反射像やフレアーが発生したり等、様々な
悪条件が生じたとき、視線検出に必要な画像データが十
分に得られず、視線検出精度が低下したり、検出が不能
となる場合があった。

【００３９】（３）観察者の片方の目の視線検出データ
のみを利用するため、ＨＭＤユニットの装着が傾いて、
観察者の目の像が視線検出用イメージセンサーからはみ
出したりしたとき、視線検出に必要な瞳孔画像データが
十分に得られず、視線検出精度が低下したり、検出が不
能となる場合があった。

【００４０】（４）観察者の片方の目の視線検出データ
のみを利用するため、ＨＭＤユニットの装着が傾いて、
観察者の目の像が視線検出用イメージセンサーからはみ
出したり、コンタクトレンズがずれて観察者の目の像の
必要な部分を遮ったり、外光によって観察者の目の像の
中に、明るい反射像やフレアーが発生したり等、様々な
悪条件が生じたとき、視線検出に必要な瞳孔エッジ画像
データの数が十分に得られず、視線検出精度が低下した
り、検出が不能となる場合があった。

【００４１】（５）観察者の片方の目の視線検出データ
のみを利用するため、ＨＭＤユニットの装着が傾いて、
観察者の目の像が視線検出用イメージセンサーからはみ
出したり、コンタクトレンズがずれて観察者の目の像の
必要な部分を遮ったり、外光によって観察者の目の像の
中に、明るい反射像やフレアーが発生したり等、様々な
悪条件が生じたとき、視線検出に必要な瞳孔エッジ画像
データが正確に得られなかったり、得られた数が少なか
ったりして、正確な瞳孔中心を求めることができず、視
線検出精度が低下したり、検出が不能となる場合があっ
た。

【００４２】（６）観察者の片方の目の視線検出データ
のみを利用するため、ＨＭＤユニットの装着が傾いて、
観察者の目の像が視線検出用イメージセンサーからはみ
出したり、コンタクトレンズがずれて観察者の目の像の
必要な部分を遮ったり、外光によって目の像の中に、明
るい反射像やフレアーが発生したり等、様々な悪条件が
生じたとき、視線検出に必要な角膜反射像が得られなか
ったり、得られた数が少なかったりして、正確な瞳孔中
心を求めることができず、視線検出精度が低下したり、
検出が不能となる場合があった。

【００４３】（７）ＨＭＤユニットの装着状態は、鼻の
高さ等、顔の形状により、撮像された画面の中心と目の
像の中心とは必ずしも一致するとは限らず、そのズレが
大きいときは、視線検出に必要な観察者の目の画像情報
の一部が得られないため、視線検出精度が低下したり、
検出が不能となる場合があった。

【００４４】（８）ＨＭＤユニットの装着状態は、鼻の
高さ等、顔の形状により、視線検出イメージセンサーの
中心と観察者の目の光軸とは必ずしも一致するとは限ら
ず、そのズレが大きいときは、視線検出に必要な観察者
の目の画像情報の一部が得られないため、視線検出精度
が低下したり、検出が不能となる場合があった。

【００４５】（９）ＨＭＤユニットの装着状態は、鼻の
高さ等、顔の形状により、視線検出光学系の光軸と観察
者の目の光軸とは必ずしも一致するとは限らず、そのズ
レが大きいときは、視線検出に必要な観察者の目の画像
情報の一部が得られないため、視線検出精度が低下した
り、検出が不能となる場合があった。

【００４６】（１０）ＨＭＤユニットの装着状態は、鼻
の高さ等、顔の形状により、撮像された画面の中心と観
察者の目の像の中心とは必ずしも一致するとは限らず、
そのズレが大きいときは、視線検出に必要な瞳孔画像情
報の一部が得られないため、瞳孔中心座標精度が低下す
ることにより、視線検出精度が低下したり、検出が不能
となる場合があった。

【００４７】（１１）ＨＭＤユニットの装着状態は、鼻
の高さ等、顔の形状により、撮像された画面の中心と観
察者の目の像の中心とは必ずしも一致するとは限らず、
そのズレが大きいときは、視線検出に必要な角膜反射像
が得られないため、視線検出精度が低下したり、検出が
不能となる場合があった。

【００４８】図２３〜図２５は、上記（１）〜（６）の
問題点が発生した状況を示す図、図２３は、上記（７）
〜（１１）の問題点が発生した状況を示す図であり、全
て視線検出用イメージセンサーの画像である。

【００４９】図２３〜図２５では、仮に視線検出を右目
のみで行っているとする。

【００５０】ここで、図２３（ａ）はＨＭＤユニットが
傾いて装着されたときの左目視線検出用イメージセンサ
ーの画像、同図（ｂ）はＨＭＤユニットが傾いて装着さ
れたときの右目視線検出用イメージセンサーの画像であ
る。ここで、２３０１は視線検出用イメージセンサーの
画像エリア、２３０２は観察者の目、２３０３は瞳孔エ
ッジであり、図から明らかなように、右目視線検出用イ
メージセンサーの画像においては、観察者の目２３０２
の画像の半分以上がケラレており、角膜反射像ｅ，ｄは
２個とも得られないと共に、瞳孔エッジ２３０３も上部
にわずかの数しか得られず、視線検出不能となってしま
う。

【００５１】また、図２４（ａ）はコンタクトレンズが
装着されたときの右目視線検出用イメージセンサーの画
像、同図（ｂ）はコンタクトレンズが装着されたときの
左目視線検出用イメージセンサーの画像である。ここ
で、２４０１はコンタクトレンズ、２４０１ａは上へず
れたときのコンタクトレンズ、２４０１ｂは右へずれた
ときのコンタクトレンズであり、図から明らかなよう
に、コンタクトレンズのずれている右目視線検出用イメ
ージセンサーの画像においては、コンタクトレンズ２４
０１のエッジが瞳孔エッジ２３０３や角膜反射像ｅ，ｄ
にかかると、その部分の検出ができなくなり、視線検出
精度が低下したり、検出不能となってしまう。

【００５２】また、図２５（ａ）は右方向から外光が目
に入ったときの左目視線検出用イメージセンサーの画
像、同図（ｂ）は右方向から外光が目に入ったときの右
目視線検出用イメージセンサーの画像である。ここで、
２５０１は外光による反射像であり、右目視線検出用イ
メージセンサーの場合、図２５（ｂ）から明らかなよう
に瞳孔エッジ２３０３の一部や一方の角膜反射像ｄが検
出できなくなると共に、外光によるフレアー成分である
反射像２５０１のため瞳孔エッジ２３０３の画像がボケ
てしまい、検出された瞳孔エッジ２３０３の座標がズレ
てしまう。従って、正確な瞳孔中心が求められず、視線
検出精度が低下したり、検出不能となってしまう。

【００５３】また、図２６（ａ）はＨＭＤユニットが目
に対して上に位置して装着されたときの視線検出用イメ
ージセンサーの画像であり、同図（ｂ）はＨＭＤユニッ
トが目と同一高さに位置して装着されたときの視線検出
用イメージセンサーの画像であり、同図（ｃ）はＨＭＤ
ユニットが目に対して下に位置して装着されたときの視
線検出用イメージセンサーの画像である。これら各図
中、２６０１は視線検出用イメージセンサーの画像エリ
ア、２６０２は観察者の目、２６０３は観察者の目２６
０２の瞳孔である。これらの図からわかるように、ＨＭ
Ｄユニットが目と同一高さに位置して装着されたとき
は、観察者の目２６０２の瞳孔２６０３の中心と視線検
出用イメージセンサーの画像エリア２６０１の中心とが
互いに合致するので何等問題ないが、ＨＭＤユニットが
観察者の目２６０２に対して上或いは下に位置して装着
されたときは、瞳孔２６０３の情報が半分欠けてしまっ
たり、角膜反射像ｅ，ｄが視線検出用イメージセンサー
から外れてしまったりして、視線検出精度が低下した
り、検出不能となってしまう。

【００５４】本発明は上述した従来の技術の有するこの
ような問題点に鑑みてなされたものであり、その第１の
目的とするところは、視線による操作を確実且つ円滑に
実行することができるようにした視線検出方法及び装置
を提供しようとするものである。

【００５５】また、本発明の第２の目的とするところ
は、上述した視線検出装置を円滑に制御することができ
る記憶媒体を提供しようとするものである。

【００５６】

【発明の実施の形態】以下、本発明の実施の形態を図面
に基づき説明する。

【００５７】（第１の実施の形態）まず、本発明の第１
の実施の形態を図１〜図４に基づき説明する。なお、本
実施の形態に係る視線検出装置を具備した画像記録装置
であるビデオカメラの視線検出原理、ＨＭＤユニットを
有するビデオカメラのファインダー光学系の構成及びビ
デオカメラの内部構成、プリズム周りの側面、視線検出
スイッチ動作時のファインダー画面、視線ＡＦ動作時の
ファインダー画面、ＨＭＤユニットを有するビデオカメ
ラの使用状態外観については、上述した従来例の図１４
〜図２２と同一であるから、これら各図を流用して説明
する。

【００５８】但し、本実施の形態においては、常に左右
の視線検出系が動作しており、どちらの視線検出データ
を用いるかは、主制御回路１９１０（図１９参照）によ
って判断され、切り換え回路１９２５を動作させること
によって切り換える。

【００５９】図１〜図３は、本実施の形態に係る視線検
出装置における視線検出イメージセンサー１９１６（図
１９参照）の画像を示す図である。

【００６０】図１（ａ）はＨＭＤユニット１８０１（図
８参照）が傾いて装着されたときの左目視線検出用イメ
ージセンサー１９１６の画像、同図（ｂ）はＨＭＤユニ
ット１８０１が傾いて装着されたときの右目視線検出用
イメージセンサー１９１６の画像である。ここで、１０
１は視線検出用イメージセンサー１９１６の画像エリ
ア、１０２は観察者の目、１０３は瞳孔エッジ、ｅ，ｄ
は角膜反射像（虚像）である。

【００６１】図１から明らかなように、右目視線検出用
イメージセンサー１９１６の画像においては、観察者の
目１０２の画像の半分以上がケラレており、角膜反射像
ｅ，ｄは２個とも得られないと共に、瞳孔エッジ１０３
も上部のわずかな数しか得られず、視線検出不能となっ
てしまう。一方、左目視線検出用イメージセンサー１９
１６の画像においては、観察者の目１０２の画像が完全
に撮像されており、正常に視線検出が可能である。

【００６２】また、図２（ａ）はコンタクトレンズが装
着されたときの左目視線検出用イメージセンサー１９１
６の画像、同図（ｂ）はコンタクトレンズが装着された
ときの右目視線検出用イメージセンサー１９１６の画像
である。ここで、２０１はコンタクトレンズ、２０１ａ
は上へずれたときのコンタクトレンズ、２０１ｂは右へ
ずれたときのコンタクトレンズである。図から明らかな
ように、コンタクトレンズ２０１のずれている右目視線
検出用イメージセンサー１９１６の画像においては、コ
ンタクトレンズ２０１のエッジが瞳孔エッジ１０３や角
膜反射像ｅ，ｄにかかると、その部分の検出ができなく
なり、視線検出精度が低下したり、検出不能となってし
まう。一方、左目視線検出用イメージセンサー１９１６
の画像においては、コンタクトレンズ２０１がずれてお
らず、正常に視線検出が可能である。

【００６３】更に、図３（ａ）は観察者の目に右方向か
ら外光が入ったときの左目視線検出用イメージセンサー
１９１６の画像、同図（ｂ）は観察者の目に右方向から
外光が入ったときの右目視線検出用イメージセンサー１
９１６の画像である。ここで、３０１は外光による反射
像であり、図から明らかなように、右目視線検出用イメ
ージセンサー１９１６の場合、外光による反射像３０１
の影響で、瞳孔エッジ１０３の一部や一方の角膜反射像
ｄが検出できなくなると共に、外光によるフレアー成分
である反射像３０１のため瞳孔エッジ１０３の画像がボ
ケてしまい、検出された瞳孔エッジ１０３の座標がずれ
てしまう。ここで、図３（ｂ）中、δは検出された瞳孔
エッジ１０３から求めた瞳孔円と各瞳孔エッジ１０３の
距離であり、即ち偏差に相当する。右目視線検出用イメ
ージセンサー１９１６の画像の場合、この偏差が大きい
ため正確な瞳孔中心が求められず、視線検出精度が低下
したり、検出不能となってしまう。一方、左目視線検出
用イメージセンサー１９１６の画像においては、外光に
よる影響が無いため正常に視線検出が可能である。

【００６４】以上のように、左右の視線検出系（左目／
右目視線検出用イメージセンサー１９１６）のうち一方
が悪条件であっても、他方は問題なく検出できる場合
は、その条件を判断して検出条件の良い方の視線検出デ
ータを用いれば、視線検出精度が向上すると共に、検出
不能の確率を低減させることができる。

【００６５】この左右の視線検出系の選択は、主制御回
路１９１０（図１９参照）のソフトウエアにより行われ
るが、以下、その選択処理動作について、図４のフロー
チャートに基づき説明する。

【００６６】図４は左右どちらの視線検出系を使用する
かを決定するための制御手順を示すフローチャートであ
る。まず、ステップＳ４０１で右目の角膜反射像ペア
（ｅ，ｄ）が有るか否かを判別し、ある場合は、ステッ
プＳ４０２で左目の角膜反射像ペア（ｅ，ｄ）が有るか
否かを判別し、ある場合は、ステップＳ４０３で右目の
瞳孔エッジ１０３を検出し、その数を求めてメモリＩＲ
へ記憶する。次にステップＳ４０４で左目の瞳孔エッジ
１０３を検出し、その数を求めてメモリＩＬへ記憶す
る。次にステップＳ４０５でＩＲとＩＬの数値の差を求
めてメモリＩＫに記憶し、次のステップＳ４０６でＩＫ
の絶対値が所定値ＩＲＥＦより大きいか否かを判別す
る。そして、ＩＫの絶対値が所定値ＩＲＥＦより大きい
場合は、次のステップＳ４０７でＩＲがＩＬより小さい
か否かを判別する。そして、ＩＲがＩＬより小さい場合
は、ステップＳ４０８へ進んで左目で視線検出を行う。

【００６７】一方、前記ステップＳ４０１において右目
の角膜反射像ペア（ｅ，ｄ）が無い場合は、ステップＳ
４１０で左目の角膜反射像ペア（ｅ，ｄ）が有るか否か
を判別し、ある場合は、前記ステップＳ４０８へ進んで
左目で視線検出を行う。また、前記ステップＳ４１０に
おいて左目の角膜反射像ペア（ｅ，ｄ）が無い場合は、
ステップＳ４１１へ進んでエラーとなる。

【００６８】また、前記ステップＳ４０２で左目の角膜
反射像ペア（ｅ，ｄ）が無い場合は、ステップＳ４０９
へ進んで右目で視線検出を行う。また、前記ステップＳ
４０６においてＩＫの絶対値が所定値ＩＲＥＦより大き
くない場合は、前記ステップＳ４０８へ進んで左目で視
線検出を行う。更に、前記ステップＳ４０７においてＩ
ＲがＩＬより小さくない場合は、前記ステップＳ４０９
へ進んで右目で視線検出を行う。

【００６９】以上の流れにより、左右の視線検出系にお
いて、瞳孔エッジ１０３の数が多く得られた方の視線検
出系を用いることにより、精度の高い視線検出が可能と
なると共に、検出不能となる確率を低減させることがで
きる。

【００７０】（第２の実施の形態）次に本発明の第２の
実施の形態を図５に基づき説明する。なお、本実施の形
態に係る視線検出装置を具備した画像記録装置であるビ
デオカメラの視線検出原理、ＨＭＤユニットを有するビ
デオカメラのファインダー光学系の構成及びビデオカメ
ラの内部構成、プリズム周りの側面、視線検出スイッチ
動作時のファインダー画面、視線ＡＦ動作時のファイン
ダー画面、ＨＭＤユニットを有するビデオカメラの使用
状態外観については、上述した従来例の図１４〜図２２
と同一であるから、これら各図を流用して説明する。

【００７１】但し、本実施の形態においては、常に左右
の視線検出系が動作しており、どちらの視線検出データ
を用いるかは、主制御回路１９１０（図１９参照）によ
って判断され、切り換え回路１９２５（図１９参照）を
動作させることによって切り換える。

【００７２】また、本実施の形態において、ＨＭＤユニ
ット１８０１（図１８参照）が傾いて装着されたときの
左目視線検出用イメージセンサー１９１６の画像、同右
目視線検出用イメージセンサー１９１６の画像、コンタ
クトレンズが装着されたときの左目視線検出用イメージ
センサー１９１６の画像、同右目視線検出用イメージセ
ンサー１９１６の画像は、上述した第１の実施の形態に
おける図１〜図３と同一であるから、これらの図を流用
して説明する。

【００７３】図５は左右どちらの視線検出系を使用する
かを決定するための制御手順を示すフローチャートであ
る。まず、ステップＳ５０１で右目の角膜反射像ペア
（ｅ，ｄ）が有るか否かを判別し、ある場合は、ステッ
プＳ５０２で左目の角膜反射像ペア（ｅ，ｄ）が有るか
否かを判別し、ある場合は、ステップＳ５０３で右目の
瞳孔エッジ１０３を検出し、最小自乗法により瞳孔円を
算出する。次にステップＳ５０４で前記ステップＳ５０
３において算出した右瞳孔円周から各瞳孔エッジ１０３
の座標までの偏差（δＲ）を算出し、各δＲの合計値を
メモリΣδＲへ記憶する。次にステップＳ５０５で左目
の瞳孔エッジ１０３を検出し、最小自乗法により瞳孔円
を算出する。次にステップＳ５０６で前記ステップＳ５
０５において算出した左瞳孔円周から各瞳孔エッジ１０
３の座標までの偏差（δＬ）を算出し、各δＬの合計値
をメモリΣδＬへ記憶する。次にステップＳ５０７でΣ
δＲとΣδＬのの差を求めてメモリδＫに記憶し、次の
ステップＳ５０８でδＫの絶対値が所定値δＲＥＦより
大きいか否かを判別する。そして、δＫの絶対値が所定
値δＲＥＦより大きい場合は、次のステップＳ５０９で
ΣδＲがΣδＬより大きいか否かを判別する。そして、
ΣδＲがΣδＬより大きい場合は、ステップＳ５１０へ
進んで左目で視線検出を行う。

【００７４】一方、前記ステップＳ５０１において右目
の角膜反射像ペア（ｅ，ｄ）が無い場合は、ステップＳ
５１２で左目の角膜反射像ペア（ｅ，ｄ）が有るか否か
を判別し、ある場合は、前記ステップＳ５１０へ進んで
左目で視線検出を行う。また、前記ステップＳ５１２に
おいて左目の角膜反射像ペア（ｅ，ｄ）が無い場合は、
ステップＳ５１３へ進んでエラーとなる。

【００７５】また、前記ステップＳ５０２で左目の角膜
反射像ペア（ｅ，ｄ）が無い場合は、ステップＳ５１１
へ進んで右目で視線検出を行う。また、前記ステップＳ
５０８においてδＫの絶対値が所定値δＲＥＦより大き
くない場合は、前記ステップＳ５１０へ進んで左目で視
線検出を行う。更に、前記ステップＳ５０９においてΣ
δＲがΣδＬより大きくない場合は、前記ステップＳ５
１１へ進んで右目で視線検出を行う。

【００７６】以上の流れにより、左右の視線検出系にお
いて、検出された瞳孔エッジ１０３と瞳孔推定円の偏差
が少ない方の視線検出系を用いることにより、精度の高
い視線検出が可能となると共に、検出不能となる確率を
低減させることができる。

【００７７】（第３の実施の形態）次に本発明の第３の
実施の形態を図６に基づき説明する。なお、本実施の形
態に係る視線検出装置を具備した画像記録装置であるビ
デオカメラの視線検出原理、ＨＭＤユニットを有するビ
デオカメラのファインダー光学系の構成及びビデオカメ
ラの内部構成、プリズム周りの側面、視線検出スイッチ
動作時のファインダー画面、視線ＡＦ動作時のファイン
ダー画面、ＨＭＤユニットを有するビデオカメラの使用
状態外観については、上述した従来例の図１４〜図２２
と同一であるから、これら各図を流用して説明する。

【００７８】但し、本実施の形態においては、常に左右
の視線検出系が動作しており、どちらの視線検出データ
を用いるかは、主制御回路１９１０（図１９参照）によ
って判断され、切り換え回路１９２５（図１９参照）を
動作させることによって切り換える。

【００７９】また、本実施の形態において、ＨＭＤユニ
ット１８０２（図１８参照）が傾いて装着されたときの
左目視線検出用イメージセンサー１９１６の画像、同右
目視線検出用イメージセンサー１９１６の画像、コンタ
クトレンズが装着されたときの左目視線検出用イメージ
センサー１９１６の画像、同右目視線検出用イメージセ
ンサー１９１６の画像は、上述した第１の実施の形態に
おける図１〜図３と同一であるから、これらの図を流用
して説明する。

【００８０】図６は左右どちらの視線検出系を使用する
かを決定するための制御手順を示すフローチャートであ
る。まず、ステップＳ６０１で右目の角膜反射像ペア
（ｅ，ｄ）が有るか否かを判別し、ある場合は、ステッ
プＳ６０２で左目の角膜反射像ペア（ｅ，ｄ）が有るか
否かを判別し、ある場合は、ステップＳ６０３で右目瞳
孔中心と視線検出用イメージセンサー１９１６の中心の
距離を算出し、その数値をメモリ｜ＣＲＯ｜に記憶す
る。次にステップＳ６０４で左目瞳孔中心と視線検出用
イメージセンサー１９１６の中心の距離を算出し、その
数値をメモリ｜ＣＬＯ｜に記憶する。次にステップＳ
６０５で｜ＣＲＯ｜と｜ＣＬＯ｜の差を求めてメモ
リＣＫに記憶する。次にステップＳ６０６でＣＫの絶対
値が所定値ＣＲＥＦより大きいか否かを判別し、ＣＫの
絶対値が所定値ＣＲＥＦより大きい場合は、次のステッ
プＳ６０７で｜ＣＲＯ｜が｜ＣＬＯ｜より大きいか
否かを判別する。そして、｜ＣＲＯ｜が｜ＣＬＯ｜
より大きい場合は、ステップＳ６０８へ進んで左目で視
線検出を行う。

【００８１】一方、前記ステップＳ６０１において右目
の角膜反射像ペア（ｅ，ｄ）が無い場合は、ステップＳ
６１０で左目の角膜反射像ペア（ｅ，ｄ）が有るか否か
を判別し、ある場合は、前記ステップＳ６０８へ進んで
左目で視線検出を行う。また、前記ステップＳ６１０に
おいて左目の角膜反射像ペア（ｅ，ｄ）が無い場合は、
ステップＳ６１１へ進んでエラーとなる。

【００８２】また、前記ステップＳ６０２で左目の角膜
反射像ペア（ｅ，ｄ）が無い場合は、ステップＳ６０９
へ進んで右目で視線検出を行う。また、前記ステップＳ
６０６においてＣＫの絶対値が所定値ＣＲＥＦより大き
くない場合は、前記ステップＳ６０８へ進んで左目で視
線検出を行う。更に、前記ステップＳ６０７において｜
ＣＲＯ｜が｜ＣＬＯ｜より大きくない場合は、前記
ステップＳ６０９へ進んで右目で視線検出を行う。

【００８３】以上の流れにより、左右の視線検出系にお
いて、瞳孔像中心と視線検出用イメージセンサー１９１
６の中心の距離が短い方の視線検出系を用いることによ
り、精度の高い視線検出が可能となると共に、検出不能
となる確率を低減させることができる。

【００８４】（第４の実施の形態）次に本発明の第４の
実施の形態を図７〜図１０に基づき説明する。なお、本
実施の形態に係る視線検出装置を具備した画像記録装置
であるビデオカメラの視線検出原理、視線検出スイッチ
動作時のファインダー画面、視線ＡＦ動作時のファイン
ダー画面、ＨＭＤユニットを有するビデオカメラの使用
状態外観については、上述した従来例と同一のため、従
来例の各図を流用して説明する。また、ＨＭＤユニット
を有するビデオカメラのファインダー光学系の構成及び
ビデオカメラの内部構成に関しては、光学系の構成のみ
異なり、その他は従来例の図１９と同一であるから、こ
の図を流用して説明する。

【００８５】図７は本実施の形態に係る視線検出装置を
具備した画像記録装置であるビデオカメラの右目用ファ
インダー光学系の構成図、図８は同左目用ファインダー
光学系の構成図であり、両図における各構成要素は、上
述した従来例の図１９におけるファインダー光学系の構
成と同一であるから、図面の同一部分に同一符号を付し
て説明する。

【００８６】図７及び図８において、図１９におけるフ
ァインダー光学系の構成と異なる部分は、視線検出用イ
メージセンサー１９１６（図１９参照）の取り付けを、
該視線検出用イメージセンサー１９１６の中心と、視線
結像系及びファインダー系光軸を所定距離ずらしている
ことである。即ち、図７に示す右目用ファインダー光学
系の場合は、上方向に（＋ｄｙ）分だけ、また、図８に
示す左目用ファインダー光学系の場合は、下方向に（−
ｄｙ）分だけそれぞれシフトしている。また、図８に示
す左目用のＨＭＤユニットのプリズム１９０１の第３の
光学作用面ｃに第２の光学作用面ｂと同様な反射層８０
１がコーテイングされている。

【００８７】図９及び図１０は、本実施の形態の効果を
示す図である。ここで、図９は本実施の形態による右目
視線検出用イメージセンサー１９１６の画像であり、同
図（ａ）はＨＭＤユニット１８０２（図１８参照）が観
察者の目に対して上に装置されたときの右目視線検出用
イメージセンサー１９１６の画像、同図（ｂ）はＨＭＤ
ユニット１８０２が観察者の目と同一高さに装着された
ときの右目視線検出用イメージセンサー１９１６の画
像、同図（ｃ）はＨＭＤユニット１８０２が観察者の目
に対して下に装着されたときの右目用の視線検出用イメ
ージセンサー１９１６の画像である。

【００８８】また、図１０は本実施の形態による左目視
線検出用イメージセンサー１９１６の画像であり、同図
（ａ）はＨＭＤユニット１８０２が観察者の目に対して
上に装着されたときの左目視線検出用イメージセンサー
１９１６の画像、同図（ｂ）はＨＭＤユニット１８０２
が観察者の目と同一高さに装着されたときの左目視線検
出用イメージセンサー１９１６の画像、同図（ｃ）はＨ
ＭＤユニット１８０２が観察者の目に対して下に装着さ
れたときの左目視線検出用イメージセンサー１９１６の
画像である。

【００８９】これらの図からわかるように、視線検出用
イメージセンサー１９１６をそれぞれ上下にずらして取
り付けているために、ＨＭＤユニット１８０２が観察者
の目と同一高さに装着されたとしても、図９（ｂ）、図
１０（ｂ）からわかるように、視線検出用イメージセン
サー１９１６の画像エリア９０１の中心と観察者の目９
０２の中心は、互いに異なる方向へややずれている。

【００９０】次にＨＭＤユニット１８０２が観察者の目
に対して上下にずれて装着されたときを考える。まず、
ＨＭＤユニット１８０２が観察者の目に対して上にずれ
て装着されたとき（図７、図８のＹ１に相当）、右目視
線検出用イメージセンサー１９１６の場合は、観察者の
目９０２の瞳孔９０３も角膜反射像ｅ，ｄも視線検出用
イメージセンサー１９１６の画像エリア９０１内に全て
収まるが（図９（ａ））、左目視線検出用イメージセン
サー１９１６の場合は、瞳孔９０３の一部が欠けてしま
うと共に、角膜反射像ｅ，ｄは完全にけられてしまう
（図１０（ａ））。逆に、ＨＭＤユニット１８０２が観
察者の目に対して下にずれて装着されたとき（図７、図
８のＹ２に相当）、左目視線検出用イメージセンサー１
９１６の場合は、観察者の目９０２の瞳孔９０３も角膜
反射像ｅ，ｄも視線検出用イメージセンサー１９１６の
画像エリア９０１内に全て収まるが（図１０（ｃ））、
右目視線検出用イメージセンサー１９１６の場合は、瞳
孔９０３の一部が欠けてしまう（図９（ｃ））。

【００９１】よって、ＨＭＤユニット１８０２が観察者
の目に対して上にずれて装着されたときは右目の視線検
出系（右目視線検出用イメージセンサー１９１６）を、
また、ＨＭＤユニット１８０２が観察者の目に対して下
にずれて装着されたときは左目の視線検出系（左目視線
検出用イメージセンサー１９１６）をそれぞれ使用する
ことにより、常に必要な目の画像情報を十分に得て、精
度の高い視線検出を行うことができる。この左右の視線
検出系の選択は、主制御回路１９１０（図１９参照）の
ソフトウエアで行われるが、次にそのフローについて
は、上述した第１の実施の形態における図４と同一であ
るから、その説明は省略する。

【００９２】（第５の実施の形態）次に本発明の第５の
実施の形態を図１１及び図１２に基づき説明する。な
お、本実施の形態に係る視線検出装置を具備した画像記
録装置であるビデオカメラの視線検出原理、視線検出ス
イッチ動作時のファインダー画面、視線ＡＦ動作時のフ
ァインダー画面、ＨＭＤユニットを有するビデオカメラ
の使用状態外観については、上述した従来例と同一のた
め、従来例の各図を流用して説明する。また、ＨＭＤユ
ニットを有するビデオカメラのファインダー光学系の構
成及びビデオカメラの内部構成に関しては、光学系の構
成のみ異なり、その他は従来例の図１９と同一であるか
ら、この図を流用して説明する。

【００９３】図１１は本実施の形態に係る視線検出装置
を具備した画像記録装置であるビデオカメラの右目用フ
ァインダー光学系の構成図、図１２は同左目用ファイン
ダー光学系の構成図であり、両図における各構成要素
は、上述した従来例の図１９におけるファインダー光学
系の構成と同一であるから、図面の同一部分に同一符号
を付して説明する。

【００９４】図１１及び図１２において、図１９におけ
るファインダー光学系の構成と異なる部分は、視線検出
用光学系イメージセンサー１９１６（図１９参照）の取
り付けを、該視線検出用イメージセンサー１９１６、結
像レンズ１９１７ａ，１９１７ｂ（図１９参照）の光軸
と、ファインダー系の光軸を所定距離ずらしていること
である。即ち、図１１に示す右目用ファインダー光学系
の場合は、下方向に（−ｄｙ）分だけ、また、図１２に
示す左目用ファインダー光学系の場合は、上方向に（＋
ｄｙ）分だけそれぞれシフトしている。また、図１１に
示す右目用のＨＭＤユニットのプリズム１９０１の第３
の光学作用面ｃに第２の光学作用面ｂと同様な反射層１
１０１がコーテイングされている。これにより、右目視
線検出用イメージセンサー１９１６は下より観察者の目
の像を、左目視線検出用イメージセンサー１９１６は上
より観察者の目の像をそれぞれ捕らえることができ、上
述した第４の実施の形態と同様の効果が得られる。

【００９５】（第６の実施の形態）次に本発明の視線検
出方法及び装置に用いる記憶媒体について、図１３に基
づき説明する。左右両眼の視線を検出する検出手段を有
する視線検出装置を制御するプログラムを格納する記憶
媒体には、少なくとも、図１３に示すように「制御モジ
ュール」、「撮像モジュール」、「視線方向検出モジュ
ール」の各モジュールのプログラムコードを格納すれば
よい。

【００９６】ここで、「制御モジュール」は、信頼性が
高い方の視線検出データを利用するように制御するため
のプログラムモジュール及び必要な数の角膜反射像が存
在する方で検出した視線検出データを利用するように制
御するためのプログラムモジュールである。また、「撮
像モジュール」は、右目と左目とで互いに異なるエリア
を撮像するためのプログラムモジュールである。また、
「視線方向検出モジュール」は、右目と左目とで互いに
異なるエリアを撮像し、撮像された左右の像のうち瞳孔
像のケラレが少ない方の像を基にして視線方向を検出す
るためのプログラムモジュール及び右目と左目とで互い
に異なるエリアを撮像し、撮像された左右の像のうち瞳
孔像中心と撮像素子中心の距離の短い方の像を基にして
視線方向を検出するためのプログラムモジュール及び右
目と左目とで互いに異なるエリアを撮像し、撮像された
左右の像のうち角膜反射像の存在する方の像を基にして
視線方向を検出するためのプログラムモジュールであ
る。

【００９７】また、前記信頼性が高い方の視線検出デー
タは、視線検出に必要なデータ数が多い方である。ま
た、前記信頼性が高い方の視線検出データは、瞳孔画像
のケラレが少ない方である。また、前記信頼性が高い方
の視線検出データは、瞳孔画像の中心と撮像素子の中心
と距離の短い方である。また、前記信頼性が高い方の視
線検出データは、検出された瞳孔エッジ数の多い方であ
る。また、前記信頼性が高い方の視線検出データは、検
出された瞳孔エッジから瞳孔推定円を求め、その推定円
と瞳孔エッジの偏差量が少ない方である。また、右目視
線検出用イメージセンサと左目視線検出用イメージセン
サの視線検出光学系に対するシタト量またはシフト方向
が互いに異なる。また、右目視線検出用光学系光軸と左
目視線検出用光学系光軸のファインダ光学系光軸に対す
るズレ量またはズレ方向が互いに異なる。

【００９８】

【発明の効果】本発明の請求項１及び８記載の視線検出
方法及び装置によれば、左右両目の視線を検出し、視線
検出データの信頼性の高い方の視線検出データを利用す
ることにより、視線検出精度の低下及び検出不能の確率
を大幅に低減させて、視線による操作を確実且つ円滑に
実行することができるという効果を奏する。

【００９９】また、本発明の請求項２及び９記載の視線
検出方法及び装置によれば、左右両目の視線を検出し、
視線検出に必要なデータ数の多い方の視線検出データを
利用することにより、視線検出精度の低下及び検出不能
の確率を大幅に低減させて、視線による操作を確実且つ
円滑に実行することができるという効果を奏する。

【０１００】また、本発明の請求項３及び１０記載の視
線検出方法及び装置によれば、左右両目の瞳孔画像を検
出し、瞳孔画像のケラレが少ない方で検出した視線検出
データを利用することにより、視線検出精度の低下及び
検出不能の確率を大幅に低減させて、視線による操作を
確実且つ円滑に実行することができるという効果を奏す
る。

【０１０１】また、本発明の請求項４及び１１記載の視
線検出方法及び装置によれば、左右両目の瞳孔画像を検
出し、瞳孔画像中心と撮像素子中心の距離の短い方で検
出した視線検出データを利用することにより、視線検出
精度の低下及び検出不能の確率を大幅に低減させて、視
線による操作を確実且つ円滑に実行することができると
いう効果を奏する。

【０１０２】また、本発明の請求項５及び１２記載の視
線検出方法及び装置によれば、左右両目の瞳孔エッジ数
を検出し、得られた瞳孔エッジ数の多い方で検出した視
線検出データを利用することにより、視線検出精度の低
下及び検出不能の確率を大幅に低減させて、視線による
操作を確実且つ円滑に実行することができるという効果
を奏する。

【０１０３】また、本発明の請求項６及び１３記載の視
線検出方法及び装置によれば、左右両目の瞳孔エッジ数
を検出し、得られた瞳孔エッジ数から瞳孔推定円と瞳孔
エッジの偏差量が少ない方で検出した視線検出データを
利用することにより、視線検出精度の低下及び検出不能
の確率を大幅に低減させて、視線による操作を確実且つ
円滑に実行することができるという効果を奏する。

【０１０４】また、本発明の請求項７及び１４記載の視
線検出方法及び装置によれば、左右両目の角膜反射像を
検出し、必要な数の角膜反射像が存在する方で検出した
視線検出データを利用することにより、視線検出精度の
低下及び検出不能の確率を大幅に低減させて、視線によ
る操作を確実且つ円滑に実行することができるという効
果を奏する。

【０１０５】また、本発明の請求項１５及び２４記載の
視線検出方法及び装置によれば、ファインダー光学系光
軸と目の中心とがずれていたとしても、右と左の視線検
出系は、予め逆方向の異なるエリアを撮像するように構
成してあるため、少なくとも左右どちらかの視線検出系
は、視線検出に必要な目の画像情報を全て得ることがで
き、視線検出精度が低下したり検出不能となることがな
いという効果を奏する。

【０１０６】また、本発明の請求項１６及び２５記載の
視線検出方法及び装置並びに請求項１７及び２６記載の
視線検出方法及び装置によれば、ファインダー光学系光
軸と目の中心とがずれていたとしても、右と左の視線検
出系は、視線検出系に対して視線検出光学系に対して視
線検出用イメージセンサーを、逆方向にシフトさせて配
置してあるため、少なくとも左右どちらかの視線検出系
は、視線検出に必要な目の画像情報を全て得ることがで
き、視線検出精度が低下したり検出不能となることがな
いという効果を奏する。

【０１０７】また、本発明の請求項１８及び２７記載の
視線検出方法及び装置並びに請求項１９及び２８記載の
視線検出方法及び装置によれば、ファインダー光学系光
軸と目の中心とがずれていたとしても、右と左の視線検
出系は、ファインダー光学系に対して視線検出光学系
を、逆方向にずらして配置してあるため、少なくとも左
右どちらかの視線検出系は、視線検出に必要な目の画像
情報を全て得ることができ、視線検出精度が低下したり
検出不能となることがないという効果を奏する。

【０１０８】また、本発明の請求項２０及び２９記載の
視線検出方法及び装置によれば、ファインダー光学系光
軸と目の中心とがずれていたとしても、右と左の視線出
系は、予め逆方向の異なるエリアを撮像するように構成
し、瞳孔画像のケラレが少ない方を基にして視線方向検
出を行うため、視線検出に必要な目の画像情報を全て得
ることができ、視線検出精度が低下したり検出不能とな
ることがないという効果を奏する。

【０１０９】また、本発明の請求項２１及び３０記載の
視線検出方法及び装置によれば、ファインダー光学系光
軸と目の中心とがずれていたとしても、右と左の視線出
系は、予め逆方向の異なるエリアを撮像するように構成
し、瞳孔画像境界エッジの円弧が長い方を基にして視線
方向検出を行うため、視線検出に必要な目の画像情報を
多く得ることができ、視線検出精度が低下したり検出不
能となることがないという効果を奏する。

【０１１０】また、本発明の請求項２２及び３１記載の
視線検出方法及び装置によれば、ファインダー光学系光
軸と目の中心とがずれていたとしても、右と左の視線出
系は、予め逆方向の異なるエリアを撮像するように構成
し、瞳孔画像中心と撮像素子の中心の距離の短い方を基
にして視線方向検出を行うため、視線検出に必要な目の
画像情報を多く得ることができ、視線検出精度が低下し
たり検出不能となることがないという効果を奏する。

【０１１１】また、本発明の請求項２３及び３２記載の
視線検出方法及び装置によれば、ファインダー光学系光
軸と目の中心とがずれていたとしても、右と左の視線出
系は、予め逆方向の異なるエリアを撮像するように構成
し、角膜反射像の存在する像を基にして視線方向検出を
行うため、視線検出に必要な目の画像情報を多く得るこ
とができ、視線検出精度が低下したり検出不能となるこ
とがないという効果を奏する。

【０１１２】更に、本発明の記憶媒体によれば、上述し
た視線検出装置を円滑に制御することができるという効
果を奏する。

【図面の簡単な説明】

【図１】本発明の第１の実施の形態に係る視線検出装置
におけるＨＭＤユニットが傾いて装着されたときの視線
検出用イメージセンサーの画像を示す図である。

【図２】同視線検出装置における観察者の目にコンタク
トレンズが装着されたときの視線検出用イメージセンサ
ーの画像を示す図である。

【図３】同視線検出装置における観察者の目に右方向か
ら外光が入ったときの視線検出用イメージセンサーの画
像を示す図である。

【図４】同視線検出装置における視線検出系選択処理の
制御手順を示すフローチャートである。

【図５】本発明の第２の実施の形態に係る視線検出装置
における視線検出系選択処理の制御手順を示すフローチ
ャートである。

【図６】本発明の第３の実施の形態に係る視線検出装置
における視線検出系選択処理の制御手順を示すフローチ
ャートである。

【図７】本発明の第４の実施の形態に係る視線検出装置
における右目用ファインダー光学系の構成を示す図であ
る。

【図８】同視線検出装置における左目用ファインダー光
学系の構成を示す図である。

【図９】同視線検出装置における右目視線検出用イメー
ジセンサーの画像を示す図である。

【図１０】同視線検出装置における左目視線検出用イメ
ージセンサーの画像を示す図である。

【図１１】本発明の第５の実施の形態に係る視線検出装
置における右目用ファインダー光学系の構成を示す図で
ある。

【図１２】同視線検出装置における左目用ファインダー
光学系の構成を示す図である。

【図１３】本発明の記憶媒体に格納される制御プログラ
ムの各モジュールを示す図である。

【図１４】従来の視線検出装置における視線検出原理を
説明するための図である。

【図１５】同従来の視線検出装置における視線検出原理
を説明するための図である。

【図１６】同従来の視線検出装置における視線検出用イ
メージセンサーに投影される観察者の目の像を示す図で
ある。

【図１７】同従来の視線検出装置における視線検出用イ
メージセンサーの出力強度を示す図である。

【図１８】同従来のＨＭＤユニットを有する画像記録装
置の使用状態外観図である。

【図１９】同従来のＨＭＤユニットを有する画像記録装
置におけるファインダー光学系の構成及び回路構成を示
す図である。

【図２０】同従来の画像記録装置におけるＨＭＤユニッ
トのプリズム周りの側面図である。

【図２１】同従来のＨＭＤユニットを有する画像記録装
置における視線検出スイッチ動作時のファインダー画面
である。

【図２２】同従来のＨＭＤユニットを有する画像記録装
置における視線ＡＦ動作時のファインダー画面である。

【図２３】同従来の画像記録装置における観察者にＨＭ
Ｄユニットが傾いて装着されたときの視線検出用イメー
ジセンサーの画像を示す図である。

【図２４】同従来の画像記録装置における観察者の目に
コンタクトレンズが装着されたときの視線検出用イメー
ジセンサーの画像を示す図である。

【図２５】同従来の画像記録装置における観察者の目に
右方向から外光が入ったときの視線検出用イメージセン
サーの画像を示す図である。

【図２６】同従来の画像記録装置における視線検出用イ
メージセンサーの画像を示す図である。

【符号の説明】

１０１視線検出用イメージセンサーの画像エリア１０２観察者の目１０３瞳孔エッジ２０１コンタクトレンズ２０１ａコンタクトレンズ２０１ｂコンタクトレンズ３０１外光による反射像９０１視線検出用イメージセンサーの画像エリア９０２観察者の目９０３瞳孔エッジ１８０１ヘッドマウントディスプレイ（ＨＭＤ）ユ
ニット１８０２フレーム１８０３接続線１８０４ビデオカメラユニット１８０５観察者１９０１プリズム１９０２ＬＣＤ（表示素子）１９０３観察者の目１９０４カメラレンズ１９０５撮像素子１９０６信号処理回路１９０７ＬＣＤ駆動回路１９０８注視点検出回路１９０９操作スイッチ検出手段１９１０主制御回路１９１１マイクロフォン１９１３映像、音声記録／再生手段１９１６視線検出用イメージセンサー１９１７ａ結像レンズ１９１７ｂ結像レンズ１９１８裸眼用赤外発光ダイオード１９１９眼鏡用赤外発光ダイオード１９２０開口部（裸眼用赤外発光ダイオード用）１９２１開口部（眼鏡用赤外発光ダイオード用）１９２２開口部（視線結像用）１９２３カメラユニット１９２４ズーム／オートフォーカス手段１９２５スイッチング回路１９２６ビデオカメラユニット１９２７ヘッドマウントディスプレイ（ＨＭＤ）ユ
ニット２１０１ａワイド表示２１０１ｂテレ表示２１０１ｃフェード表示２１０２日付表示２２０１視線ＡＦ枠２３０１視線用イメージセンサーの画像エリア２３０２観察者の目２３０３瞳孔エッジ２４０１コンタクトレンズ２４０１ａコンタクトレンズ２４０１ｂコンタクトレンズ２５０１外光による反射像２６０１視線用イメージセンサーの画像エリア２６０２観察者の目２６０３瞳孔エッジ

Claims

【特許請求の範囲】

【請求項１】左右両眼の視線を検出する視線検出手段
を有する視線検出装置により視線を検出する視線検出方
法において、信頼性が高い方の視線検出データを利用す
ることを特徴とする視線検出方法。
【請求項２】前記信頼性が高い方の視線検出データと
は、視線検出に必要なデータ数が多い方の視線検出デー
タであることを特徴とする請求項１記載の視線検出方
法。
【請求項３】前記信頼性が高い方の視線検出データと
は、瞳孔画像のケラレが少ない方の視線検出データであ
ることを特徴とする請求項１記載の視線検出方法。
【請求項４】前記信頼性が高い方の視線検出データと
は、瞳孔画像の中心と撮像素子の中心の距離の短い方の
視線検出データであることを特徴とする請求項１記載の
視線検出方法。
【請求項５】前記信頼性が高い方の視線検出データと
は、検出された瞳孔エッジ数の多い方の視線検出データ
であることを特徴とする請求項１記載の視線検出方法。
【請求項６】前記信頼性が高い方の視線検出データと
は、検出された瞳孔エッジから瞳孔推定円を求め、その
推定円と瞳孔エッジの偏差量が少ない方の視線検出デー
タであることを特徴とする請求項１記載の視線検出方
法。
【請求項７】左右両眼の視線を検出する視線検出手段
を有する検出装置により視線を検出する視線検出方法に
おいて、必要な数の角膜反射像が存在する方で検出した
視線検出データを利用することを特徴とする視線検出方
法。
【請求項８】左右両眼の視線を検出する視線検出手段
を有する視線検出装置において、信頼性が高い方の視線
検出データを利用するように制御する制御手段を設けた
ことを特徴とする視線検出装置。
【請求項９】前記信頼性が高い方の視線検出データと
は、視線検出に必要なデータ数が多い方の視線検出デー
タであることを特徴とする請求項８記載の視線検出装
置。
【請求項１０】前記信頼性が高い方の視線検出データ
とは、瞳孔画像のケラレが少ない方の視線検出データで
あることを特徴とする請求項８記載の視線検出装置。
【請求項１１】前記信頼性が高い方の視線検出データ
とは、瞳孔画像の中心と撮像素子の中心の距離の短い方
の視線検出データであることを特徴とする請求項８記載
の視線検出装置。
【請求項１２】前記信頼性が高い方の視線検出データ
とは、検出された瞳孔エッジ数の多い方の視線検出デー
タであることを特徴とする請求項８記載の視線検出装
置。
【請求項１３】前記信頼性が高い方の視線検出データ
とは、検出された瞳孔エッジから瞳孔推定円を求め、そ
の推定円と瞳孔エッジの偏差量が少ない方の視線検出デ
ータであることを特徴とする請求項８記載の視線検出装
置。
【請求項１４】左右両眼の視線を検出する視線検出手
段を有する視線検出装置において、必要な数の角膜反射
像が存在する方で検出した視線検出データを利用するよ
うに制御する制御手段を設けたことを特徴とする視線検
出装置。
【請求項１５】右目と左目とで互いに異なるエリアを
撮像することを特徴とする視線検出方法。
【請求項１６】右目視線検出用イメージセンサと左目
視線検出用イメージセンサの視線検出光学系に対するシ
フト量が互いに異なることを特徴とする請求項１５記載
の視線検出方法。
【請求項１７】右目視線検出用イメージセンサと左目
視線検出用イメージセンサの視線検出光学系に対するシ
フト方向が互いに異なることを特徴とする請求項１５記
載の視線検出方法。
【請求項１８】右目視線検出用光学系光軸と左目視線
検出用光学系光軸のファインダ光学系光軸に対するズレ
量が互いに異なることを特徴とする請求項１５記載の視
線検出方法。
【請求項１９】右目視線検出用光学系光軸と左目視線
検出用光学系光軸のファインダ光学系光軸に対するズレ
方向が互いに異なることを特徴とする請求項１５記載の
視線検出方法。
【請求項２０】右目と左目とで互いに異なるエリアを
撮像し、撮像された左右の像のうち瞳孔像のケラレが少
ない方の像を基にして視線方向を検出することを特徴と
する請求項１５記載の視線検出方法。
【請求項２１】右目と左目とで互いに異なるエリアを
撮像し、撮像された左右の像のうち瞳孔像境界エッジの
円弧が長い方の像を基にして視線方向を検出することを
特徴とする請求項１５記載の視線検出方法。
【請求項２２】右目と左目とで互いに異なるエリアを
撮像し、撮像された左右の像のうち瞳孔像中心と撮像素
子中心の距離の短い方の像を基にして視線方向を検出す
ることを特徴とする請求項１５記載の視線検出方法。
【請求項２３】右目と左目とで互いに異なるエリアを
撮像し、撮像された左右の像のうち角膜反射像の存在す
る方の像を基にして視線方向を検出することを特徴とす
る請求項１５記載の視線検出方法。
【請求項２４】右目と左目とで互いに異なるエリアを
撮像する撮像手段を有することを特徴とする視線検出装
置。
【請求項２５】右目視線検出用イメージセンサーと左
目視線検出用イメージセンサーの視線検出光学系に対す
るシフト量が互いに異なることを特徴とする請求項２４
記載の視線検出装置。
【請求項２６】右目視線検出用イメージセンサーと左
目視線検出用イメージセンサーの視線検出光学系に対す
るシフト方向が互いに異なることを特徴とする請求項２
４記載の視線検出装置。
【請求項２７】右目視線検出用光学系光軸と左目視線
検出用光学系光軸のファインダー光学系光軸に対するズ
レ量が互いに異なることを特徴とする請求項２４記載の
視線検出装置。
【請求項２８】右目視線検出用光学系光軸と左目視線
検出用光学系光軸のファインダー光学系光軸に対するズ
レ方向が互いに異なることを特徴とする請求項２４記載
の視線検出装置
【請求項２９】右目と左目とで互いに異なるエリアを
撮像し、撮像された左右の像のうち瞳孔像のケラレが少
ない方の像を基にして視線方向を検出する視線方向検出
手段を有することを特徴とする請求項２４記載の視線検
出装置。
【請求項３０】右目と左目とで互いに異なるエリアを
撮像し、撮像された左右の像のうち瞳孔像境界エッジの
円弧が長い方の像を基にして視線方向を検出する視線方
向検出手段を有することを特徴とする請求項２４記載の
視線検出装置。
【請求項３１】右目と左目とで互いに異なるエリアを
撮像し、撮像された左右の像のうち瞳孔像中心と撮像素
子中心の距離の短い方の像を基にして視線方向を検出す
る視線方向検出手段を有することを特徴とする請求項２
４記載の視線検出装置。
【請求項３２】右目と左目とで互いに異なるエリアを
撮像し、撮像された左右の像のうち角膜反射像の存在す
る方の像を基にして視線方向を検出する視線方向検出手
段を有することを特徴とする請求項２４記載の視線検出
装置。
【請求項３３】左右両眼の視線を検出する視線検出手
段を有する視線検出装置を制御するプログラムを格納す
る記憶媒体であって、信頼性が高い方の視線検出データ
を利用するように制御する制御モジュールを有するプロ
グラムを格納したことを特徴とする記憶媒体。
【請求項３４】前記信頼性が高い方の視線検出データ
とは、視線検出に必要なデータ数が多い方の視線検出デ
ータであることを特徴とする請求項３３記載の記憶媒
体。
【請求項３５】前記信頼性が高い方の視線検出データ
とは、瞳孔画像のケラレが少ない方の視線検出データで
あることを特徴とする請求項３３記載の記憶媒体。
【請求項３６】前記信頼性が高い方の視線検出データ
とは、瞳孔画像の中心と撮像素子の中心と距離の短い方
の視線検出データであることを特徴とする請求項３３記
載の記憶媒体。
【請求項３７】前記信頼性が高い方の視線検出データ
とは、検出された瞳孔エッジ数の多い方の視線検出デー
タであることを特徴とする請求項３３記載の記憶媒体。
【請求項３８】前記信頼性が高い方の視線検出データ
とは、検出された瞳孔エッジ数から瞳孔推定円を求め、
その推定円と瞳孔エッジ数の偏差量が少ない方の視線検
出データであることを特徴とする請求項３３記載の記憶
媒体。
【請求項３９】左右両眼の視線を検出する視線検出手
段を有する視線検出装置を制御するプログラムを格納す
る記憶媒体であって、必要な数の角膜反射像が存在する
方で検出した視線検出データを利用するように制御する
制御モジュールを有するプログラムを格納したことを特
徴とする記憶媒体。
【請求項４０】視線検出装置を制御するプログラムを
格納する記憶媒体であって、右目と左目とで互いに異な
るエリアを撮像する撮像モジュールを有することを特徴
とする記憶媒体。
【請求項４１】右目視線検出用イメージセンサーと左
目視線検出用イメージセンサーの視線検出光学系に対す
るシフト量が互いに異なることを特徴とする請求項４０
記載の記憶媒体。
【請求項４２】右目視線検出用イメージセンサーと左
目視線検出用イメージセンサーの視線検出光学系に対す
るシフト方向が互いに異なることを特徴とする請求項４
０記載の記憶媒体。
【請求項４３】右目視線検出用光学系光軸と左目視線
検出用光学系光軸のファインダー光学系光軸に対するズ
レ量が互いに異なることを特徴とする請求項４０記載の
記憶媒体。
【請求項４４】右目視線検出用光学系光軸と左目視線
検出用光学系光軸のファインダー光学系光軸に対するズ
レ方向が互いに異なることを特徴とする請求項４０記載
の記憶媒体。
【請求項４５】右目と左目とで互いに異なるエリアを
撮像し、撮像された左右の像のうち瞳孔像のケラレが少
ない方の像を基にして視線方向を検出する視線方向検出
モジュールを有することを特徴とする請求項４０記載の
記憶媒体。
【請求項４６】右目と左目とで互いに異なるエリアを
撮像し、撮像された左右の像のうち瞳孔像境界エッジの
円弧が長い方の像を基にして視線方向を検出する視線方
向検出モジュールを有することを特徴とする請求項４０
記載の記憶媒体。
【請求項４７】右目と左目とで互いに異なるエリアを
撮像し、撮像された左右の像のうち瞳孔像中心と撮像素
子中心の距離の短い方の像を基にして視線方向を検出す
る視線方向検出モジュールを有することを特徴とする請
求項４０記載の記憶媒体。
【請求項４８】右目と左目とで互いに異なるエリアを
撮像し、撮像された左右の像のうち角膜反射像の存在す
る方の像を基にして視線方向を検出する視線方向検出モ
ジュールを有することを特徴とする請求項４０記載の記
憶媒体。