JP3143491B2 - 視線検出装置 - Google Patents
視線検出装置Info
- Publication number
- JP3143491B2 JP3143491B2 JP03121099A JP12109991A JP3143491B2 JP 3143491 B2 JP3143491 B2 JP 3143491B2 JP 03121099 A JP03121099 A JP 03121099A JP 12109991 A JP12109991 A JP 12109991A JP 3143491 B2 JP3143491 B2 JP 3143491B2
- Authority
- JP
- Japan
- Prior art keywords
- pixel
- pupil
- edge
- detecting
- extracting
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Classifications
-
- G—PHYSICS
- G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
- G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
- G03B2213/00—Viewfinders; Focusing aids for cameras; Means for focusing for cameras; Autofocus systems for cameras
- G03B2213/02—Viewfinders
- G03B2213/025—Sightline detection
Description
使用する観察者の視線(注視点)を検出する視線検出装
置に関するものである。
のどの位置を観察しているかを検出する、いわゆる視線
検出装置が、特開昭61−172552号公報、特開平
1−241511号公報、特開平2−5号公報等に開示
されている。
おいては、光源からの平行光束を観察者の眼球の全眼部
へ投射し、角膜からの反射光による角膜反射像と瞳孔の
結像位置を利用して視軸を求めている。(A),(B)
は視線検出方法の原理説明図で、同図(A)は視線検出
光学系の概略図、同図(B)は光電素子列6からの出力
信号の強度図である。
外光を放射する発光ダイオード等の光源であり、投光レ
ンズ3の焦点面に配置されている。
により平行光となりハーフミラー2で反射し、眼球20
1の角膜21を照明する。このとき角膜21の表面で反
射した赤外光の一部による角膜反射像dはハーフミラー
2を透過し受光レンズ4により集光され光電素子列6上
の位置Zd′に再結像する。
からの光束はハーフミラー2、受光レンズ4を介して光
電素子列6上の位置Za′,Zb′に該端部a,bの像
を結像する。受光レンズ4の光軸(光軸ア)に対する眼
球の光軸イの回転角θが小さい場合、虹彩23の端分
a,bのZ座標をZa,Zbとすると、虹彩23の中心
位置cの座標ZcはZc≒(Za+Zb)/2と表わさ
れる。
d、角膜21の曲率中心Oと瞳孔24の中心までの距離
を
角膜21の曲率中心OのZ座標Z0とは一致している。
このため演算手段9において、同図(B)のごとく光電
素子列6面上に投影された各特異点(角膜反射像d及び
虹彩の端部a,b)の位置を検出することにより眼球光
軸イの回転各θを求めることができる。この時(1)式
は、
と受光レンズ4との距離L1と受光レンズ4と光電素子
列6との距離L0で決まる倍率で、通常ほぼ一定の値と
なっている。
おいて測距点を画面中心のみならず画面内の複数箇所に
設けた場合、観察者がそのうち1つの測距点を選択して
自動焦点検出を行おうとする場合、その1つを選択入力
する手間を省き観察者が観察している点を測距点とみな
し、該測距点を自動的に選択して自動焦点検出を行うの
に有効である。
線検出処理では、眼球像を水平方向に処理してゆき、瞳
孔円(瞳孔部と虹彩部の境界−「瞳孔エッジ」と称する
−が形成する円)の水平方向の中心位置とを求め、それ
から視線方向を検出している。
(水平)/縦(垂直)方向の座標に基づいて、数値計算
の最小2乗法を用いて瞳孔円を指定し、その中心座標を
視線検出に適用する方法が考えられる。この方法では、
多数の観測点から例えば最小2乗的に円を推定するた
め、例えば半円や三日月円に沿った観測点からでも良好
に元の円を推定することが可能である。
反射率にはあまり差がなく、前記瞳孔エッジを抽出する
のはかなり困難な作業である。抽出率を上げるためには
判断条件を緩く認定すると、瞳孔エッジ以外の部分でも
誤った抽出を行ってしまうし、逆に条件を厳しくすると
本来の瞳孔エッジを見逃してしまう、といった問題があ
る。
解消を目的としており、その要旨は次の通りである。
有し、眼球像を受光する受光手段と、前記受光手段の出
力から、隣接する画素との輝度差が第1の所定値以上で
ある画素を瞳孔部と虹彩部の境界として抽出する第1の
抽出手段と、隣接する画素との輝度差が前記第1の所定
値よりも小さい第2の所定値以上である画素を瞳孔部と
虹彩部の境界として抽出する第2の抽出手段と、輝度差
を検出する画素の近傍に第1の抽出手段によって抽出さ
れた画素があるか否かを判定する判定手段とを有し、輝
度差を検出する画素の近傍に前記第1の抽出手段によっ
て抽出された画素があると前記判定手段により判定され
た場合は前記輝度差を検出する画素を前記第2の抽出手
段により抽出を行い、画素の近傍に前記第1の抽出手段
によって抽出された画素がないと判定された場合は前記
輝度差を検出する画素を前記第1の抽出手段により抽出
を行い、前記第1及び第2の抽出手段により抽出された画
素の位置に基づいて視線方向を検出する検出手段とを有
することを特徴とする。
有し、眼球像を受光する受光手段と、前記受光手段の出
力から、隣接する画素との輝度差が所定値以上である画
素を瞳孔部と虹彩部の境界として抽出する抽出手段と、
前記抽出手段により瞳孔部と虹彩部の境界として抽出し
た画素の位置を記憶する記憶手段と、輝度差を検出する
画素の近傍に前記抽出手段によって抽出された画素があ
るか否かを判定する判定手段とを有し、輝度差を検出す
る画素の近傍に前記抽出手段によって抽出された画素が
あるとの前記判定手段により判定された場合は前記所定
値を小さくする制御手段と、前記記憶手段に記憶された
画素の位置に基づいて視線方向を検出する検出手段とを
有することを特徴とする。
きの一実施例の光学系の要部概略図、図2は図1の焦点
検出部の説明図である。図3は図1の視線検出系の要部
斜視図である。
視光透過・赤外光反射のダイクロイックミラー1aが斜
設されており、光路分割器を兼ねている。
5d)は照明手段であり、例えば発光ダイオードから成
っている。このうち5a,5bは接眼レンズの下部に配
置され角膜反射像を発生させる為の赤外発光ダイオード
であり、角膜反射像をできるだけ分解能よく検知できる
よう見かけのチップサイズの小さなスポット性のある発
光ダイオードを用いている。
けられた赤外発光ダイオードで眼球全体を照明するよう
に拡散性を持たせたもの、又は面発光的な特性を持った
もので、眼球が光軸中心よりはずれた場合でも十分カバ
ーする照明範囲を持っており、かつ受光レンズ4によっ
てエリアセンサ7には角膜反射像が結像されないように
配置されている。
光電素子列によって構成されている。
一要素を構成している。
検出系を構成している。
ターン(QR)ミラー、103は表示素子、104はピ
ント板、105はコンデンサーレンズ、106はペンタ
ダハプリズム、107はサブミラー、108は多点焦点
検出装置であり、撮影画面内の複数の領域を選択して焦
点検出を行っている。
めに必要ないため概略に止める。
ズ101の予定結像面近傍に配され、夫々測距域を決め
る複数のスリットを有する視野マスク110と各スリッ
ト内の像に対してフィールドレンズの作用を果たすレン
ズ部材111を近接配置し、更にスリット数に応じた再
結像レンズの組112と光電素子列の組113を順置す
る。スリット110、フィールドレンズ111、再結像
レンズの組112、そして光電素子列の組113はそれ
ぞれ周知の焦点検出系を構成している。
被写体光の一部はQRミラー102によって反射してピ
ント板104近傍に被写体像を結像する。ピント板10
4の拡散面で拡散した被写体光はコンデンサーレンズ1
05、ペンタダハプリズム106、接眼レンズ1を介し
てアイポイントEに導かれる。
いない2層タイプのゲスト−ホスト型液晶素子で、ファ
インダー視野内の測距域(焦点検出位置)を表示するも
のである。
の一部は、QRミラー102を透過し、サブミラー10
7で反射してカメラ本体底部に配置された前述の多点焦
点検出装置108に導かれる。さらに多点焦点検出装置
108の選択した被写体面上の位置の焦点検出情報に基
づいて、不図示の撮影レンズ駆動装置により撮影レンズ
101の繰り出しあるいは繰り込が行われ、焦点調節が
行われる。
ゆるワンチップマイクロコンピュータ(MCU)であ
り、内部にROM,RAM,A/D変換器等を内蔵して
いるものである。MCU109は内蔵のROMに格納さ
れているプログラムに従って一連の視線検出動作を実行
する。
外発生ダイオード5を点灯する。放射された赤外光は図
中の上方から接眼レンズ1に入射し、ダイクロイックミ
ラー1aにより反射されアイポイントE近傍に位置する
観察者の眼球201を照明する。また眼球201で反射
した赤外光はダイクロイックミラー1aで再び反射され
受光レンズ4によってエリアセンサ6上に像を形成す
る。MCU109はエリアセンサ6によって光電変換さ
れた眼球像を信号処理し、注視点情報(視線)を検知す
る。
作と表示動作に利用される。即ち、注視点に最も近い測
距点の焦点検出結果に基づいて焦点調節を行い、同時に
表示素子103によって観察者の注視した場所をカメラ
のファインダー内に表示し、注視点の確認を行わさせる
ことが出来る。
の原理を示す原理図である。図4(A)において光電素
子列6の横方向(X軸方向)に分離して配置された赤外
発光ダイオード5a,5bからの光束はX軸方向に分離
した位置に角膜反射像e,dをそれぞれ形成する。この
時、角膜反射像e及びdの中点のX座標は角膜21の曲
率中心oのX座標と一致している。また角膜反射像e及
びdの間隔は赤外発光ダイオードと観察者の眼球との距
離に対応して変化するため、光電素子列6上に再結像し
た角膜反射像の位置e′,d′を検出することにより眼
球からの反射像の結像倍率βを求めることが可能とな
る。虹彩情報検出用の赤外発光ダイオード5c,5d
は、フィインダの側面方向から眼球を照明するが、角膜
反射像が受光レンズ4によって光電素子列6上に再結像
しないように配置されている。これによって光電素子列
6上における虹彩と瞳孔の境界位置a,bに不用光によ
るフレアー反射像が入射しないようにし、境界位置a,
bの検出精度の低下を防止している。
素子列6からなるエリアセンサー7上に投影された眼球
からの反射像を示す説明図である。同図において、角膜
反射像e′,d′は光電素子列Yp′上に再結像してい
る。一例としてこのとき光電素子列Yp′より得られる
光強度分布の出力信号を図5(B)に示す。
5(A),(B)に示したセンサ信号から、瞳孔の中心
位置と角膜反射像e′,d′の位置を検出し、それらの
位置関係に基づいて注視点(視線)を検知する。
置であるマイクロコンピュータMCU109のフローチ
ャートを示す。
ある。MCU109が視線検出動作を開始すると、ステ
ップ(#000)を経て、ステップ(#001)のデー
タの初期化を実行する。
信号中の最低の輝度値を記憶する変数であり、マイクロ
コンピュータ(MCU109)に内蔵されているA/D
変換器の分解能を8bitと想定し、像信号の読み込み
に伴って、逐次的に最低値を比較・更新してゆく。初期
値は8bitでの最大の値を表す255を格納してお
く。
エッジとして抽出した個数をカウントする変数である。
光ダイオード5a,5bの角膜反射像(以下「プルキン
エ像;P像」と称する)の位置を表す変数であり、横方
向(X軸)の範囲IP1〜IP2,縦方向(Y軸)の範
囲JP1〜JP2で囲まれる眼球反射像の領域内に、2
個のP像が存在する。
50画素、縦方向に100画素のサイズを想定してお
り、IP1,IP2,JP1,JP2は全体のちょうど
真中の位置(75、50)を初期値として格納してお
く。
2)へ移行する。
イオード5a,5bと、眼球照明用の発光ダイオード5
c,5dを点灯する。次のステップ(#003)にて、
エリアセンサ7の蓄積動作を開始させる。センサの制御
は本発明と直接の関わりはないので詳細な説明は省略す
るが、本発明の実施例では不図示のセンサ・インターフ
ェース回路によって駆動制御されるものとする。
ンサの蓄積終了を待つ。
プ(#005)で発光ダイオードを消灯する。
ら、エリアセンサの光電変換信号の読み込みを開始す
る。
から99までカウントアップしながら、枠内の処理を実
行する、いわゆる「ループ処理」を表している。
は、まずステップ(#007)にてエリアセンサの横方
向(X軸)の1ラインの光電変換信号の読み込みを行
う。1ラインの読み込みはサブルーチン形式となってお
り、図7にサブルーチン「1ライン読み込み」のフロー
チャートを示す。
ルされると、図7のステップ(#100)を経て、次の
ステップ(#101)を実行する。ステップ(#10
1)と、その枠内のステップ(#102)は、前述した
ステップ(#006)と同様のループ処理を表してお
り、ステップ(#101)では変数Kを0から3へカウ
ントアップさせながら、そしてステップ(#102)で
は変数Iを0から149までカウントアップさせなが
ら、それぞれの枠内の処理を実行してゆく。従って、ス
テップ(#101)とステップ(#102)は変数Kと
変数Iの、いわゆる「入れ子」となったループ処理を表
している。
テップ(#103)では、配列変数IM(i,k)の再
格納作業を行っている。
U109が信号処理を行っているわけであるが、一般に
マイクロコンピュータの内蔵RAM(ランダム・アクセ
ス・メモリ)の記憶容量は、エリアセンサの全画素情報
を一度に記憶できる程大きくはない。そこで、本実施例
では、エリアセンサから出力される像信号を逐時読みだ
しながら、横方向(X軸)5ライン分に相当する最新の
像信号のみをマイクロコンピュータの内蔵RAMに記憶
させ、1ラインの読み込み毎に視線検出のための処理を
実行するようにしている。
03)の2重ループ処理で実行している内容は、新たな
1ライン分の像信号を読み込むために、記憶している過
去5ライン分の像信号データを更新する作業である。即
ち、配列変数IM(i,k)の内、IM(i,0)[i
=0〜149]が最も過去の、またIM(i,4)[i
=0〜149]が最も最近の1ラインの像データを表し
ており、次のようにデータを更新して新たな1ライン分
の像信号をIM(i,4)「i=0〜149]に格納で
きるように準備する。
(#103)のデータ更新のためのロープ処理が終了す
ると、次のステップ(#104)のループ処理を実行す
る。
エリアセンサの横方向(X軸)の1ライン分(150画
素)の像信号を逐次的にA/D変換しながら、RAMに
格納し、また像信号の最小値を検出している。
ステップ(#105)では、マイクロコンピュータMC
U109の内蔵のA/D変換器から、像信号をA/D変
換したディジタル値ADCを取り出し、その値を一時的
に変換EYEDTに格納する。そして、次のステップ
(#106)にて、EYEDTの値を配列変数IM
(I,4)に格納する。変数Iは外側のループ処理ステ
ップ(#104)にて0から149までカウントアップ
される。
信号の最小値を検出処理である。変数EYEMINは像
信号の最小値を保持する変数であり、ステップ(#10
7)において、EYEMINよりEYEDTの方が小さ
ければ、ステップ(#108)へ分岐し、EYEMIN
をこの小さなEYEDTの値で更新する。
ープ処理が終了し、新たな1ライン分の像信号の格納
と、最小値の検出が終ると、次のステップ(#109)
でサブルーチン「1ラインの読み込み」をリターンす
る。
(#007)のサブルーチン「1ラインの読み込み」が
完了すると、次のステップ(#008)へ移行し、外側
のループ処理ステップ(#006)のループ変数Jが5
以上か否か調べる。
軸)の画素ラインを表しており、本実施例では、エリア
センサの画素数を(150×100)としているので、
Jは0から99までカウントアップされる。
5以上の場合にはステップ(#009)へ分岐する。こ
れは、読み込んだ像信号のライン数が5以上になると、
エリアセンサの縦方向(Y軸)の処理が出来るようにな
るからである。
ブルーチン「P像の検出」を実行する。
角膜反射像(P像)の位置を検出するための処理であ
り、エリアセンサの横方向(X軸)の1ラインの読み込
み毎に実行する。そのフローチャートを図8に示す。
ると、ステップ(#200)を経てステップ(#20
1)のループ処理を実行する。ループ処理内では、像デ
ータ(配列変数IM(i,k)に記憶)中のP像の位置
を検索し、もし見つかれば、エリアセンサ上でのその位
置を記憶する。本実施例ではP像は2個発生するので、
記憶する位置情報も2個となる。
は、所定位置の像データがP像としての条件を満足する
か否かを判定する。条件としては、次のようなものであ
る。
≧C2なる関係があり、例えば、C1=230,C2=
200である。また、変数Iはループ処理のループ変数
であり、エリアセンサの横方向(X軸)の位置を表して
いる。
に、スポット像のようなものであることに注目し、横/
縦方向(X/Y軸)の両方向に定義したものである。こ
の条件が満足されたとき、位置(I,2)にP像が存在
するものと見なす。
エリアセンサの横方向(X軸)の1ライン読み込み毎に
更新しており、縦方向(Y軸)位置JラインはIM
(i、4)「i=0〜149]に格納されている。従っ
て、変数IMに対するアドレス(1,2)は、エリアセ
ンサ上では、位置(I,J−2)となる。
満足する像データがあった場合、ステップ(#203)
以降へ分岐し、ない場合には外側のループ変数Iがカウ
ントアップされる。
の存在範囲(X軸方向の範囲[IP1〜IP2],Y軸
方向の範囲[JP1〜JP2])を決定する処理であ
る。
センサの横方向(X軸)の位置を表す変数Iと変数IP
1を比較し、I<IP1ならば、ステップ(#204)
へ分岐する。即ち,P像の存在範囲のうち、横方向の左
方にあるP像位置IP1の位置よりも、変数Iの位置の
方が左にあれば、IP1を書換えようとするものであ
る。
変数Iの値を格納し、そのときの縦方向の位置(J−
2)を変数JP1に格納する。
は、P像存在範囲のうち、横方向の右方にあるP像位置
IP2と、その縦方向位置を表すJP2の更新の判定を
行う。
のループ処理で、横方向(X軸)の位置Iが0から14
9までの1ラインの処理が終了すると、次のステップ
(#207)へ移行する。
照する変数XP1、XP2、YP1、YP2を図中の式
の如く計算する。
明のところで詳述するが、簡単に述べるならば、瞳孔中
心を検出する際に、P像位置周辺に発生する偽の瞳孔エ
ッジ情報を排除するために使用するものである。
と、次のステップ(#208)でサブルーチン「P像の
検出」をリターンする。
像の検出」が完了すると、次のステップ(#010)で
サブルーチン「瞳孔エッジの検出」を実行する。
孔エッジ(虹彩と瞳孔の境界)の位置の検出を行うサブ
ルーチンであり、図9にそのフローチャートを示してい
る。
ルされると、ステップ(#300)を経て、次のステッ
プ(#301)のループ処理が実行される。ステップ
(#301)は図8のステップ(#201)と同様に、
エリアセンサの横方向(X軸)の位置を表す変数Iをル
ープ変数とするループ処理である。
は、像データ中に瞳孔のエッジを表す特徴があるかどう
かを検索し、もしあればあ、その位置情報を記憶する。
瞳孔エッジ位置情報は、配列変数EDGDT(m、n)
に格納される。
式は以下のように設定している。
の輝度 EDGDT(m、2)…m番目のエッジ点のX軸座標 EDGDT(m、3)…m番目のエッジ点のY軸座標
つかったエッジ点の順番である。従って、エッジがM個
検出されれば、配列変数EDGDTの容量は[M×3]
バイ程が必要となる。フローチャートでは、エッジの検
出個数は変数EDGCNTでカウントしている。
2)では、像データIM(I、2)の近傍に、過去に検
出されたエッジ点があるが否かを判定している。もう少
し詳しく説明すると次のようになる。
アセンサの横方向(X軸)の位置を表し、像データを格
納している配列変数IM(i、k)に対するアドレス
(I、2)は、いま正に瞳孔エッジであるが否かを検定
しようとしている点(画素の座標)である。この(I、
2)の点に隣接する各点が、過去の逐次処理の過程で瞳
孔エッジと判定されたかどうかを、エッジ位置情報を格
納している配列変数EDGDT(m、n)から調べよう
とするものである。
に記述すると、次のような条件となる。
{(I−1)、(J−2)}あるいは={(I−1)、
(J−3)} あるいは={(I)、(J−3)} あるいは={(I+1)、(J−3)} なる{EDGDT(m、2)、EDGDT(m、3)}
が存在する。
{(I)、(J−2)}であるから、上記座標は現在座
標に対して順に左隣、左上隣、上隣、右上隣の位置を表
している。
(m、3)はそれぞれm番目のエッジ点のX軸座標、Y
軸座標を表わしているから、結局上記条件は、現在座標
の左隣、左上隣、上隣、右上隣の位置にエッジ点があっ
たかどうかを判定していることになる。
(I、J−2)の近傍にエッジ点があると判定された場
合にはステップ(#304)へ、そうでない場合には、
ステップ(#303)へ分岐し、それぞれ別の条件を用
いて瞳孔エッジの判定を行う。
明する。
うとしている座標(I、J−2)の像データが瞳孔エッ
ジの条件(ステップ(#303)での判定条件を「エッ
ジ条件1」と称する)を満たすか否かを判定している。
座標(I、J−2)の像データは配列変数IM(I、
2)に格納されていることに留意されたい。
かつ{IM(I−2、2)−IM(I−1、2)}>C3
かつ IM(I,2)<a 2.{IM(I+1、2)−IM(I、2)}>C3
かつ {IM(I+2、2)−IM(I+1、2)}>C3
かつ IM(I、2)<a 3.{IM(I、1)−IM(I、2)}>C3 かつ {IM(I、0)−IM(I、1)}>C3 かつ IM(I、2)<a 4.{IM(I、3)−IM(I、2)}>C3 かつ {IM(I、4)−IM(I、3)}>C3かつIM
(I、2)<a
標(I,J−2)をエッジ点と見なす、但し、a=EY
EMIN+C4で、EYEMINは現在の逐次処理まで
の像データ中の最低輝度値である。
3、C4=20である。
界)においては連続して所定の輝度差があり、同時に瞳
孔部は眼球反射像の中で最も低い輝度となることを特徴
としてとらえている。1と2の条件はエリアセンサの横
方向(X軸)のエッジを抽出し、3と4の条件は縦方向
(Y軸)のエッジを抽出する。
抽出された場合には、ステップ(#303)からステッ
プ(#305)へ分岐し、エッジ点の輝度値と座標を記
憶する。
報格納用の配列変数EDGDT(m、k)に次のように
情報を格納する。
(I、2) EDGDT(EDGCNT、2)←I EDGDT(EDGCNT、3)←J−2
されたエッジ点の輝度、Iは同X座標、(J−2)は同
Y座標である。
ントする変数EDGCNTを1つカウントアップする。
と、外側のループ処理のループ変数I(横方向、X軸の
座標を表す)をカウントアップし、再びステップ(#3
02)以降のフローチャートを実行する。
在座標(I、J−2)の近傍にエッジ点があると判定さ
れた場合について説明する。
し、ステップ(#303)と同じように、現在検定しよ
うとしている座標(I、J−2)の像データが瞳孔エッ
ジの条件(ステップ(#304)での判定条件を「エッ
ジ条件2」と称する)を満たすか否かを判定する。
1」よりも、いわば緩い条件を設定してある。本実施例
では、条件式に同じで、しきい値C3、C4をそれぞれ
C3′、C4′とし、次のように変えている。
ッジと判定される率が上昇する。
由は、そもそもエッジ点は孤立して存在するものではな
く、連続しているものであり、ある点がエッジ点である
ならば、その近傍が同じくエッジ点である可能性が高い
であろう、という観点に基づいている。
でエッジ点と判定された場合には、ステップ(#30
5)へ分岐して、その座標の情報を記憶する。
となるまで、ステップ(#301)のループ処理が実行
され、エリアセンサの横方向(X軸)の1ライン分のエ
ッジ検出の処理が終了すると、ステップ(#306)へ
移行し、サブルーチン「瞳孔エッジの検出」をリターン
する。
孔エッジの検出」が完了すると、外側のループ処理ステ
ップ(#006)のループ変数J(エリアセンサの縦方
向、Y軸の座標を表す)がカウントアップされ、Jが9
9となるまで、再びステップ(#007)以降の処理が
実行される。
の全画素の読み込みと処理が終了すると、ステップ(#
006)からステップ(#011)へ移行する。
は、ステップ(#006)のループ処理内で検出された
P像位置および瞳孔エッジ情報から、瞳孔の中心座標の
検出と視線の検出を行う。
チン「瞳孔推定範囲の設定」をコールする。
孔エッジの検出」で検出された複数の瞳孔エッジ点に
は、実際に瞳孔円(虹彩と瞳孔の境界が形成する円)を
表しているエッジ点以外にも、種々のノイズによって発
生した偽のエッジ点も含まれている。
ジ点を排除するために、P像位置情報に基づいて、確か
らしいエッジ点の座標範囲を限定するためのサブルーチ
ンであり、そのフローチャートを図10に示している。
ールされると、ステップ(#400)を経て、ステップ
(#401)を実行する。
検出」サブルーチンで説明したP像位置範囲、即ち、横
方向(X軸)にIP1〜IP2、縦方向(Y軸)にJP
1〜JP2の情報を用いて、瞳孔円の座標範囲IS1、
IS2、JS1、JS2を次の式に従って計算する。
の横方向(X軸)の範囲IS1〜IS2、縦方向(Y
軸)の範囲JS1〜JS2に存在する点である、と設定
する。
た如く、2個のP像は常に瞳孔円の円内の上部に存在す
るようになっており、これから上記計算式が成立する。
ップ(#402)へ移行し、サブルーチン「瞳孔推定範
囲の設定」をリターンする。
のサブルーチン「瞳孔中心の検出」をコールする。
ッジ点の座標から、瞳孔円の形状(中心座標と大きさ)
を推定するサブルーチンであり、そのフローチャートを
図11〜図13に示した。
を用いる。その考え方について先に述べておく。
(a、b)、半径をcとすると、(x−a)2+(y−
b)2=c2 …(10) で与えられる。
2)…(xn、yn)から、次式の誤差量ERが最小と
なるようにa、b、cを決定することを考える。
向の距離(誤差)の2乗和であり、これを最小する。
く。
はないが、半径cは、c=[W3−2(aX1+bY
1)/n+a2+b2]1/2…(36)で計算される。
瞳孔中心検出の信頼性判定に用いており、ERは次の計
算式で与えられる。
X2−4adX1+Y4−4bY3+2(2b2+d)
Y2−4bdY1+2(Z4−2aZ3−2bZ2+4
abZ1)+d2n…(37)但し、X4=Σxi4 …
(38) Y4=Σyi4 …(39) Z4=Σxi2yi2 …(40) d=a2+b2−c2 …(41) としている。
って、図11〜図13のフローチャートの説明を行う。
されると、ステップ(#500)を経て、ステップ(#
501)の「円の最小2乗推定」サブルーチンをコール
する。
瞳孔円の中心座標(a、b)と誤差量ERを計算するサ
ブルーチンであり、そのフローチャートを図12に示し
ている。同サブルーチンでは、さらに最低輝度値の見直
しと、P像による偽の瞳孔エッジの排除を行っている。
ルされると、ステップ(#600)を経て、ステップ
(#601)へ移行する。
乗推定式のワーク変数の初期化を行っている。
プ変数とするループ処理であり、記憶している瞳孔エッ
ジ情報を元に最小2乗法の計算の前半を行う部分であ
る。
T−1)個の情報が配列変数EDGDTに記憶されてい
る。ループ変数Lは記憶された順番を表している。
3)では、L番目のエッジ点の輝度値EDGDT(L、
1)と(EYEMIN+C5)を比較し、輝度値の方が
大きければ分岐し、現在のループ変数Lの処理を終了す
る。
号を読み込みながら、逐次的な処理を行っているため、
エッジ点検出の部分で使用している最低輝度値も、その
時点までの最低輝度値に過ぎない。故に、エッジ点とし
て検出された点も、実は本当の最低輝度値で判定された
ものではなく、実際にはエッジ点としてふさわしくない
点も含まれている可能性がある。そこで、このステップ
の目的は、最終的に決定された最低輝度値に基づいて、
もう一度最低輝度の判定にかけ、瞳孔エッジとしてふさ
わしくない点を排除しようとするものである。
0である。
いと判断された場合は、ステップ(#604)へ移行
し、横方向(X軸)座標と縦方向(Y軸)座標をそれぞ
れ変数X、Yに一時的に格納する。
エッジ点の横方向座標Xが、横方向の範囲IS1〜IS
2に適合しているか否かを判定する。IS1、IS2は
サブルーチン「瞳孔推定範囲の設定」で求められた値で
あり、この範囲に入っていないエッジ点は瞳孔のエッジ
点として認めないように分岐し、現在のループ変数Lの
処理を終了する。
縦方向について同様の判定を行っている。
ていれば、ステップ(#607)へ移行する。
L番目のエッジ点の座標がP像の近傍であるかどうかを
判断している。
ーチン「P像の検出」で決定された値であり、エッジ点
の座標が横方向の範囲XP1〜XP2、縦方向の範囲Y
P1〜YP2に入っている場合には分岐し、現在のルー
プ変数Lの処理を終了するようにしている。これは、本
実施例の光学系では、2個のP像が瞳孔円内の上部に存
在するようになっているため、スポツト像的な形状をし
ているP像の「すそ」の部分が、前述した瞳孔エッジの
条件に適合し易く、偽の瞳孔エッジとして検出されてし
まっているのを排除するためである。
8)の判定をパスしたエッジ点の座標情報が、ステップ
(#609)における最小2乗法の計算に供される。
(16)〜(24)、(38)〜(40)を実行し、さ
らに、計算に用いたエッジ点の個数Nをカウントアップ
する。
記憶していたエッジ点(EDGCNT−1)個の処理が
総て終了すると、ステップ(#610)へ移行する。
(35)、(37)〜(41)を計算し、瞳孔円の中心
座標(a、b)と誤差量ERを求める。
し、サブルーチン「円の最小2乗推定」をリターンす
る。
サブルーチン「円の最小2乗推定」を完了すると、次の
ステップ(#502)へ移行する。
いたデータの個数Nをしきい値NTHRと比較し、N<
NTHRならば、データ数が少ないため結果の信頼性が
低いと見なして、ステップ(#512)へ分岐し、検出
失敗であるとする。
0である。
ならば、次のステップ(#503)にて、誤差量ERと
しきい値ERTHRを比較する。
検出結果が充分信頼できるものと見なして、ステップ
(#514)へ分岐し、検出成功であるとする。
RTHR=10000である。
RTHRならば、データ数が充分にも拘らず誤差が大き
すぎるとして、ステップ(#504)以下の再計算を実
施する。誤差が大きくなった原因としては、瞳孔円以外
の偽のエッジ点を計算に入れてしまったことが考えら
れ、各エッジ点の座標の内、縦/横方向で端の座標のエ
ッジ点を計算から除外していって、誤差が減少するかど
うかを調べてゆく。
「円の最小2乗推定 再計算1」をコールする。
2乗推定の計算に用いたエッジ点の内、エリアセンサの
縦方向上部に在るエッジ点(全体の5分の1)を除外し
て、再び最小2乗推定の計算を行うサブルーチンであ
り、そのフローチャートを図13に示す。
1」がコールされると、ステップ(#700)を経て、
次のステップ(#701)にて図中のように変数の格納
を行う。
1)で計算した全エッジ点をしようしたときの対応する
ワーク変数の値を記憶する。そして、除外するエッジ点
の個数を全エッジ点の個数Nの5分の1として変数Mに
記憶しておく。
(#601)と同様に計算のワークを初期化し、ステッ
プ(#703)へ移行する。
2)と同様のループ処理であり、このループ内で除外す
るエッジ点の最小2乗法の計算を行う。
向上部から読み込む構成にしているから、エッジ情報を
記憶している配列変数EDGDT(m、k)には、縦方
向の上部のエッジから順に格納されている。従って、E
DGDT(m、k)のmを0からアップカウントしてい
けば、縦方向上のエッジ点から取り出せることになる。
最初のステップ(#704)ではエッジ点(X、Y)が
瞳孔エッジとして有効か否かを判別しているが、これは
ステップ(#603)〜(#608)と全く同様であ
る。
にはステップ(#705)へ移行し、これもまたステッ
プ(#609)と同じ計算を実行する。
新たに計算したエッジ点の個数Nと除外すべきエッジ点
の個数Mを比較し、M個の計算が終了すれば分岐し、外
側のステップ(#703)のループ処理を中止する。M
個に達していない場合は、ループ変数Lをカウントアッ
プし、再びステップ(#704)移行の処理を続行す
る。
8)へ分岐し、瞳孔円の中心(a、b)および誤差量E
R′を再計算する。再計算の式は次のようになる。
〜(41)を計算し直せば、新たな瞳孔中心(a、b)
と誤差量ER′を得ることが出来る。式(16)〜(4
0)はもともと逐次形式になっているため、再び全デー
タを計算し直す必要はなく、除外したいデータの加算
(あるいは累乗加算)を計算して、元の値から減算すれ
ば済む。
9)へ移行し、サブルーチン「円の最小2乗推定 再計
算1」をリターンする。
完了すると、ステップ(#505)へ移行し、再計算し
た誤差量ER′としきい値ERTHRを比較する。E
R′が小さい場合は、除外操作が効を奏したものとし
て、ステップ(#514)へ分岐し、検出成功とする。
ップ(#506)へ移行し、別のサブルーチン「円の最
小2乗推定 再計算2」をコールする。
2乗推定の計算に用いたエッジ点の内、エリアセンサの
縦方向下部に在るエッジ点(全体の5分の1)を除外し
て、再び最小2乗推定の計算を行うサブルーチンであ
り、そのフローチャートを図13(B)に示す。
様であるが、「再計算1」と違って縦方向下部のエッジ
点から除外してゆくようにするため、ステップ(#71
2)においてループ変数Lを(EDGCNT−1)から
ダウンカウントさせている。その他は「再計算1」と全
く同様であるため、説明を省略する。
の最小2乗推定 再計算2」を完了すると、ステップ
(#507)へ移行し、再計算した誤差量ER′としき
い値ERYHRを比較する。ER′が小さい場合は、除
外操作が有効であったものとして、ステップ(#51
4)へ分岐し、検出成功と見なす。
ップ(#508)へ移行し、さらに別のサブルーチン
「円の最小2乗推定 再計算3」をコールする。
度は最小2乗推定の計算に用いたエッジ点の内、エリア
センサの横方向左部に在るエッジ点(全体の5分の1)
を除外して、再び最小2乗推定の計算を行うサブルーチ
ンであり、そのフローチャートを図13(C)に示す。
と、ステップ(#720)を経て、ステップ(#72
1)にて、エッジ情報を記憶している配列変数EDGD
T(m、k)の並べ換えを行う。
k)にはエリアセンサの縦方向のエッジ点から順に格納
されているため、横方向に注目して処理を行うために
は、EDGDTに格納されているデータの並べ換えが必
要である。
向(X軸座標)の値が格納されているから、この値に対
して公知の「ソート操作」を実施すれば、EDGDTに
は横方向の左からの順となったエッジ情報が再格納が可
能である。
2)へ分岐し、後は「再計算1」と全く同様の処理を行
えば、エリアセンサの横方向左右のエッジ点を除外した
再計算ができる。
8)のサブルーチン「円の最小2乗推定 再計算3」を
完了すると、ステップ(#509)へ移行し、再計算し
た誤差量ER′としきい値ERTHRを比較する。E
R′が小さい場合は、除外操作が有効であったものとし
て、ステップ(#514)へ分岐し、検出成功と見な
す。
ップ(#510)へ移行し、さらに別のサブルーチン
「円の最小2乗推定 再計算4」をコールする。
度は最小2乗推定の計算に用いたエッジ点の内、エリア
センサの横方向右部に在るエッジ点(全体の5分の1)
を除外して、再び最小2乗推定の計算を行うサブルーチ
ンであり、そのフローチャートを図13(D)に示す。
横方向の左から順のエッジ点が格納されているから、右
から順にエッジ点を除外しようとすれば、EDGDT
(m、k)を「再計算2」と同じように取り扱えば良
い。そこで、サブルーチン「再計算4」をコールされれ
ば直ちにステップ(#711)へ分岐して、「再計算
2」と同様の処理を行うようにしている。
の最小2乗推定 再計算4」を完了すると、ステップ
(#511)へ移行し、再計算した誤差量ER′としき
い値ERTHRを比較する。ER′が小さい場合は、除
外操作が有効であったものとして、ステップ(#51
4)へ分岐し、検出成功と見なす。
ップ(#512)へ移行し、上述の操作が有効に働かな
かったものとして、ステップ(#512)へ移行し、検
出失敗とする。
4)で瞳孔中心の検出が最終判断されると、ステップ
(#513)あるいは(#515)でサブルーチン「瞳
孔中心の検出」をリターンする。
一例を紹介しておく。
のエッジ点に基づいて瞳孔円を推定したものである。
出」が完了すると、ステップ(#013)へ移行し、サ
ブルーチン「視線の検出」をコールする。
したP像位置および瞳孔円の中心位置から、視線(注視
点)を検出するサブルーチンである。
(2)に従って、眼球光軸の回転角θを計算すれば良
い。
(X軸)、縦方向(Y軸)の2次元で検出しているの
で、公知例のように横方向のみではなく、縦方向の視線
の方向も横方向の検出と同様な考え方で、検出すること
ができる。
14)へ移行し、一連の処理を終了する。
を有し、眼球像を受光する受光手段と、前記受光手段の
出力から、隣接する画素との輝度差が第1の所定値以上
である画素を瞳孔部と虹彩部の境界として抽出する第1
の抽出手段と、隣接する画素との輝度差が前記第1の所
定値よりも小さい第2の所定値以上である画素を瞳孔部
と虹彩部の境界として抽出する第2の抽出手段と、輝度
差を検出する画素の近傍に第1の抽出手段によって抽出
された画素があるか否かを判定する判定手段とを有し、
輝度差を検出する画素の近傍に前記第1の抽出手段によ
って抽出された画素があると前記判定手段により判定さ
れた場合は前記輝度差を検出する画素を前記第2の抽出
手段により抽出を行い、画素の近傍に前記第1の抽出手
段によって抽出された画素がないと判定された場合は前
記輝度差を検出する画素を前記第1の抽出手段により抽
出を行い、前記第1及び第2の抽出手段により抽出された
画素の位置に基づいて視線方向を検出する検出手段とを
有することによって、瞳孔部と虹彩部の境界の位置をよ
り正確に求めることができ、その結果正確な視線検出が
可能になる。請求項2に記載した発明は、複数の画素を
有し、眼球像を受光する受光手段と、前記受光手段の出
力から、隣接する画素との輝度差が所定値以上である画
素を瞳孔部と虹彩部の境界として抽出する抽出手段と、
前記抽出手段により瞳孔部と虹彩部の境界として抽出し
た画素の位置を記憶する記憶手段と、輝度差を検出する
画素の近傍に前記抽出手段によって抽出された画素があ
るか否かを判定する判定手段とを有し、輝度差を検出す
る画素の近傍に前記抽出手段によって抽出された画素が
あるとの前記判定手段により判定された場合は前記所定
値を小さくする制御手段と、前記記憶手段に記憶された
画素の位置に基づいて視線方向を検出する検出手段とを
有することによって、瞳孔部と虹彩部の境界の位置をよ
り正確に求めることができ、その結果正確な視線検出が
可能になる。
(オートフォーカス)カメラの概略図。
明するための原理図。
示す図。
ャート図。
込み動作を示すフローチャート図。
ト図。
図。
図。
瞳孔円を導出するに適切なポイントを選択するフローチ
ャート図。
れる瞳孔エッジのポイントを排除するためのフローチャ
ート図。
エッジポイントから算出した瞳孔円を示す図。
図。
発光ダイオード 5c、5d 虹彩情報検出用の照明手段としての赤外発
光ダイオード 6 光電素子列(エリアセンサ) 21 角膜 22 眼球 23 虹彩 24 瞳孔 101 撮影レンズ 102 跳ね上げミラー 103 表示素子 104 ピント板 105 コンデンサーレンズ 106 ペンタタハプリズム
Claims (2)
- 【請求項1】 複数の画素を有し、眼球像を受光する受
光手段と、 前記受光手段の出力から、隣接する画素との輝度差が第
1の所定値以上である画素を瞳孔部と虹彩部の境界とし
て抽出する第1の抽出手段と、隣接する画素との輝度差が前記第1の所定値よりも小さ
い第2の所定値以上である画素を瞳孔部と虹彩部の境界
として抽出する第2の抽出手段と、 輝度差を検出する画素の近傍に第1の抽出手段によって
抽出された画素があるか否かを判定する判定手段とを有
し、 輝度差を検出する画素の近傍に前記第1の抽出手段によ
って抽出された画素があると前記判定手段により判定さ
れた場合は前記輝度差を検出する画素を前記第2の抽出
手段により抽出を行い、画素の近傍に前記第1の抽出手
段によって抽出された画素がないと判定された場合は前
記輝度差を検出する画素を前記第1の抽出手段により抽
出を行い、 前記第1及び第2の抽出手段により抽出された画素の位置
に基づいて視線方向を検出する検出手段とを有すること
を特徴とする視線検出装置。 - 【請求項2】 複数の画素を有し、眼球像を受光する受
光手段と、 前記受光手段の出力から、隣接する画素との輝度差が所
定値以上である画素を瞳孔部と虹彩部の境界として抽出
する抽出手段と、 前記抽出手段により瞳孔部と虹彩部の境界として抽出し
た画素の位置を記憶する記憶手段と、輝度差を検出する画素の近傍に前記抽出手段によって抽
出された画素があるか否かを判定する判定手段とを有
し、 輝度差を検出する画素の近傍に前記抽出手段によって抽
出された画素があるとの前記判定手段により判定された
場合は前記所定値を小さくする制御手段と、 前記記憶手段に記憶された画素の位置に基づいて視線方
向を検出する検出手段とを有することを特徴とする視線
検出装置。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP03121099A JP3143491B2 (ja) | 1991-05-27 | 1991-05-27 | 視線検出装置 |
US08/387,614 US5848175A (en) | 1991-05-27 | 1995-02-13 | View point detecting device |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP03121099A JP3143491B2 (ja) | 1991-05-27 | 1991-05-27 | 視線検出装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JPH04347133A JPH04347133A (ja) | 1992-12-02 |
JP3143491B2 true JP3143491B2 (ja) | 2001-03-07 |
Family
ID=14802855
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP03121099A Expired - Fee Related JP3143491B2 (ja) | 1991-05-27 | 1991-05-27 | 視線検出装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP3143491B2 (ja) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20030077126A (ko) * | 2002-03-25 | 2003-10-01 | 엘지전자 주식회사 | Pc용 홍채 인식 시스템의 안경반사 대처를 위한 장치 및방법 |
CN106874895B (zh) | 2017-03-31 | 2019-02-05 | 北京七鑫易维信息技术有限公司 | 一种视线追踪装置及头戴式显示设备 |
-
1991
- 1991-05-27 JP JP03121099A patent/JP3143491B2/ja not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JPH04347133A (ja) | 1992-12-02 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP3166179B2 (ja) | 視線検出装置 | |
JP2803222B2 (ja) | 視線検出装置 | |
JP3352238B2 (ja) | 視線検出装置及びカメラ | |
US5652641A (en) | Method of detecting eye component information for determining sight axis direction, and sight axis direction detection apparatus | |
JPH06148513A (ja) | 視線検出装置 | |
JP3219426B2 (ja) | 視線検出装置 | |
US6035054A (en) | Visual axis detection apparatus and optical apparatus provided therewith | |
JP3143490B2 (ja) | 視線検出装置 | |
JP3143491B2 (ja) | 視線検出装置 | |
JP3313803B2 (ja) | 視線検出装置 | |
JP3184553B2 (ja) | 視線検出装置 | |
JP3219425B2 (ja) | 視線検出装置 | |
JP2861349B2 (ja) | 視線検出手段を有した光学装置 | |
US5706071A (en) | Line of sight detection apparatus and an equipment having the line of sight detection apparatus | |
JPH04347127A (ja) | 視線検出装置 | |
JPH04347128A (ja) | 視線検出装置 | |
US5848175A (en) | View point detecting device | |
JP3192503B2 (ja) | 視線検出装置 | |
JP3296578B2 (ja) | カメラ | |
JP3352195B2 (ja) | 視線検出装置、光学装置及び視線検出方法 | |
JP3179182B2 (ja) | 視線検出装置 | |
JPH06138370A (ja) | 視線検出装置 | |
JPH0682680A (ja) | 視線検出装置 | |
JPH089223A (ja) | 視線検出装置 | |
JPH09281385A (ja) | 視線検出機能付きカメラ |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20001205 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20081222 Year of fee payment: 8 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20081222 Year of fee payment: 8 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20091222 Year of fee payment: 9 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20091222 Year of fee payment: 9 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101222 Year of fee payment: 10 |
|
LAPS | Cancellation because of no payment of annual fees |