JPH05285113A - 瞳孔中心検出方法及び瞳孔輪部検出方法 - Google Patents
瞳孔中心検出方法及び瞳孔輪部検出方法Info
- Publication number
- JPH05285113A JPH05285113A JP4120062A JP12006292A JPH05285113A JP H05285113 A JPH05285113 A JP H05285113A JP 4120062 A JP4120062 A JP 4120062A JP 12006292 A JP12006292 A JP 12006292A JP H05285113 A JPH05285113 A JP H05285113A
- Authority
- JP
- Japan
- Prior art keywords
- pupil
- eyeball
- annulus
- detecting
- center
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
- A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
- A61B3/11—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for measuring interpupillary distance or diameter of pupils
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61P—SPECIFIC THERAPEUTIC ACTIVITY OF CHEMICAL COMPOUNDS OR MEDICINAL PREPARATIONS
- A61P3/00—Drugs for disorders of the metabolism
-
- G—PHYSICS
- G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
- G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
- G03B13/00—Viewfinders; Focusing aids for cameras; Means for focusing for cameras; Autofocus systems for cameras
- G03B13/02—Viewfinders
-
- G—PHYSICS
- G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
- G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
- G03B2213/00—Viewfinders; Focusing aids for cameras; Means for focusing for cameras; Autofocus systems for cameras
- G03B2213/02—Viewfinders
- G03B2213/025—Sightline detection
Landscapes
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Physics & Mathematics (AREA)
- Animal Behavior & Ethology (AREA)
- Veterinary Medicine (AREA)
- Public Health (AREA)
- General Health & Medical Sciences (AREA)
- Engineering & Computer Science (AREA)
- Biomedical Technology (AREA)
- Medical Informatics (AREA)
- Molecular Biology (AREA)
- Surgery (AREA)
- Heart & Thoracic Surgery (AREA)
- Ophthalmology & Optometry (AREA)
- Biophysics (AREA)
- General Physics & Mathematics (AREA)
- Obesity (AREA)
- Diabetes (AREA)
- Hematology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Chemical & Material Sciences (AREA)
- Chemical Kinetics & Catalysis (AREA)
- General Chemical & Material Sciences (AREA)
- Medicinal Chemistry (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Organic Chemistry (AREA)
- Pharmacology & Pharmacy (AREA)
- Eye Examination Apparatus (AREA)
- Automatic Focus Adjustment (AREA)
Abstract
(57)【要約】
【目的】 眼球からの反射光束に基づく各特異点から眼
球の視線を求める際に必要な瞳孔中心と瞳孔輪部を高精
度に求めることができる瞳孔中心検出方法及び瞳孔輪部
検出方法を得ること。 【構成】 投光手段からの光束を眼球に入射させ、該眼
球からの反射光束に基づく像を利用して、該眼球の瞳孔
中心の位置を検出する際、多数の瞳孔輪部位置を求め、
次いで該多数の瞳孔輪部位置の平均値と標準偏差を求
め、これらの量によって定められる範囲内の値を用いて
瞳孔中心の検出を行ったこと。
球の視線を求める際に必要な瞳孔中心と瞳孔輪部を高精
度に求めることができる瞳孔中心検出方法及び瞳孔輪部
検出方法を得ること。 【構成】 投光手段からの光束を眼球に入射させ、該眼
球からの反射光束に基づく像を利用して、該眼球の瞳孔
中心の位置を検出する際、多数の瞳孔輪部位置を求め、
次いで該多数の瞳孔輪部位置の平均値と標準偏差を求
め、これらの量によって定められる範囲内の値を用いて
瞳孔中心の検出を行ったこと。
Description
【０００１】
【産業上の利用分野】本発明は瞳孔中心検出方法及び瞳
孔輪部検出方法に関し、特に観察者（撮影者）の眼球に
投光手段から光束を照射し、該眼球からの反射光に基づ
くプルキンエ第１像（角膜反射像）と瞳孔をイメージセ
ンサー面上に形成し、そのときの各像のイメージセンサ
ー面上の位置座標を用いて眼球の視線を検出する際に好
適なものである。
孔輪部検出方法に関し、特に観察者（撮影者）の眼球に
投光手段から光束を照射し、該眼球からの反射光に基づ
くプルキンエ第１像（角膜反射像）と瞳孔をイメージセ
ンサー面上に形成し、そのときの各像のイメージセンサ
ー面上の位置座標を用いて眼球の視線を検出する際に好
適なものである。
【０００２】
【従来の技術】従来より観察者（被検者）が観察面上の
どの位置を観察しているかを検出する所謂視線（視軸）
を検出する視線検出装置が種々と提案されている。
どの位置を観察しているかを検出する所謂視線（視軸）
を検出する視線検出装置が種々と提案されている。
【０００３】例えば特開昭６１−１７２５５２号公報に
おいては、光源からの平行光束を被検眼の前眼部へ投射
し、角膜からの反射光に基づく角膜反射像と瞳孔中心の
位置の結像状態を利用して視軸（注視点）を求めてい
る。
おいては、光源からの平行光束を被検眼の前眼部へ投射
し、角膜からの反射光に基づく角膜反射像と瞳孔中心の
位置の結像状態を利用して視軸（注視点）を求めてい
る。
【０００４】図１８は同公報で提案されている視線検出
方法の原理説明図である。図１９（Ａ），（Ｂ）は図１
８の眼球の要部模式図と図１８のラインセンサーからの
出力信号の説明図である。
方法の原理説明図である。図１９（Ａ），（Ｂ）は図１
８の眼球の要部模式図と図１８のラインセンサーからの
出力信号の説明図である。
【０００５】図中７０４は観察者に対して不感の赤外光
を放射する発光ダイオード等の光源であり、投光レンズ
７０６の焦点面に配置されている。光源７０４より発光
した赤外光は投光レンズ７０６により平行光となりハー
フミラー７１０で反射し、眼球７００の角膜７０１を照
明する。このとき角膜７０１の表面で反射した赤外光の
一部（角膜反射像、プルキンエ像）はハーフミラー７１
０を透過し、受光レンズ７０７により集光されてイメー
ジセンサー７０９上の位置ｄ´に結像する。また、虹彩
７０３の端部（瞳孔輪部）ａ，ｂからの光束はハーフミ
ラー７１０、受光レンズ７０７を介してイメージセンサ
ー７０９上に導光され、その位置ａ´，ｂ´に該端部
（瞳孔輪部）ａ，ｂの像を結像する。受光レンズ７０７
の光軸アに対する眼球の光軸イの回転角θが小さい場
合、虹彩７０３の端部ａ，ｂのＺ座標をＺａ，Ｚｂとす
ると、虹彩７０３の中心（瞳孔中心）位置ｃの座標Ｚｃ
は
を放射する発光ダイオード等の光源であり、投光レンズ
７０６の焦点面に配置されている。光源７０４より発光
した赤外光は投光レンズ７０６により平行光となりハー
フミラー７１０で反射し、眼球７００の角膜７０１を照
明する。このとき角膜７０１の表面で反射した赤外光の
一部（角膜反射像、プルキンエ像）はハーフミラー７１
０を透過し、受光レンズ７０７により集光されてイメー
ジセンサー７０９上の位置ｄ´に結像する。また、虹彩
７０３の端部（瞳孔輪部）ａ，ｂからの光束はハーフミ
ラー７１０、受光レンズ７０７を介してイメージセンサ
ー７０９上に導光され、その位置ａ´，ｂ´に該端部
（瞳孔輪部）ａ，ｂの像を結像する。受光レンズ７０７
の光軸アに対する眼球の光軸イの回転角θが小さい場
合、虹彩７０３の端部ａ，ｂのＺ座標をＺａ，Ｚｂとす
ると、虹彩７０３の中心（瞳孔中心）位置ｃの座標Ｚｃ
は
【０００６】
【数１】 と表される。
【０００７】また、角膜反射像の発生位置ｄのＺ座標を
Ｚｄ、角膜７０１の曲率中心Ｏと虹彩７０３の中心Ｃま
での距離をＬＯＣとすると眼球光軸イの回転角θは ＬＯＣ・ｓｉｎθ≒Ｚｃ−Ｚｄ ‥‥‥（１） の関係式を略満足する。このためイメージセンサ７０９
上に投影された各特異点（角膜反射像の発生位置ｄ及び
虹彩の端部ａ，ｂのイメージセンサー７０９上の像Ｚｄ
´，Ｚａ´，Ｚｂ´）の位置を検出することにより眼球
光軸イの回転角θを求め、これより被検者の視線を求め
ることができる。このとき（１）式は
Ｚｄ、角膜７０１の曲率中心Ｏと虹彩７０３の中心Ｃま
での距離をＬＯＣとすると眼球光軸イの回転角θは ＬＯＣ・ｓｉｎθ≒Ｚｃ−Ｚｄ ‥‥‥（１） の関係式を略満足する。このためイメージセンサ７０９
上に投影された各特異点（角膜反射像の発生位置ｄ及び
虹彩の端部ａ，ｂのイメージセンサー７０９上の像Ｚｄ
´，Ｚａ´，Ｚｂ´）の位置を検出することにより眼球
光軸イの回転角θを求め、これより被検者の視線を求め
ることができる。このとき（１）式は
【０００８】
【数２】 と書き換えられる。但し、βは角膜反射像の発生位置ｄ
と受光レンズ７０７との距離Ｌと受光レンズ７０７とイ
メージセンサー７０９との距離Ｌ0 で決まる倍率で、通
常ほぼ一定の値となっている。
と受光レンズ７０７との距離Ｌと受光レンズ７０７とイ
メージセンサー７０９との距離Ｌ0 で決まる倍率で、通
常ほぼ一定の値となっている。
【０００９】このように観察者の被検眼の視線の方向
（注視点）を検出することにより、例えば一眼レフカメ
ラにおいては撮影者がピント面上のどの位置を観察して
いるかを知ることができる。
（注視点）を検出することにより、例えば一眼レフカメ
ラにおいては撮影者がピント面上のどの位置を観察して
いるかを知ることができる。
【００１０】図１９（Ｂ）はイメージセンサー７０９の
１ラインのセンサーアレイ７０９ａ上の像の明るさの分
布を表している。虹彩７０３は瞳孔７１１よりも反射率
が高いので像として明るくなる。図１９（Ｂ）において
明るさの大きく変化する点Ｒａ，Ｒｂは瞳孔７１１と虹
彩７０３の境界がセンサーアレイ７０９ａと交差する２
つの点ａ´，ｂ´に対応する。
１ラインのセンサーアレイ７０９ａ上の像の明るさの分
布を表している。虹彩７０３は瞳孔７１１よりも反射率
が高いので像として明るくなる。図１９（Ｂ）において
明るさの大きく変化する点Ｒａ，Ｒｂは瞳孔７１１と虹
彩７０３の境界がセンサーアレイ７０９ａと交差する２
つの点ａ´，ｂ´に対応する。
【００１１】尚、Ｒｃはプルキンエ効果像に対応する出
力である。例えば角画素ごとにＡ／Ｄ変換器によりデジ
タル化されたデータをセンサーアレイ７０９ａの両端そ
れぞれから調べ、それぞれ初めに明るいレベルＬａから
暗いレベルＬｂへ変化した点を求めれば瞳孔７１１と虹
彩７０３の境界ａ，ｂがセンサーアレイ７０９ａと交差
する２つの点ａ´，ｂ´を求めることができる。そして
この交差する２点ａ´，ｂ´より瞳孔輪部ａ，ｂ及び２
点ａ´，ｂ´の平均をとることにより瞳孔中心を求めて
いる。
力である。例えば角画素ごとにＡ／Ｄ変換器によりデジ
タル化されたデータをセンサーアレイ７０９ａの両端そ
れぞれから調べ、それぞれ初めに明るいレベルＬａから
暗いレベルＬｂへ変化した点を求めれば瞳孔７１１と虹
彩７０３の境界ａ，ｂがセンサーアレイ７０９ａと交差
する２つの点ａ´，ｂ´を求めることができる。そして
この交差する２点ａ´，ｂ´より瞳孔輪部ａ，ｂ及び２
点ａ´，ｂ´の平均をとることにより瞳孔中心を求めて
いる。
【００１２】
【発明が解決しようとする課題】図１８のイメージセン
サー７０９のセンサーアレイ７０９ａより得られる信号
波形は種々のノイズの影響により例えば図２０〜図２３
に示すようなものとなってくる。図２０〜図２３におい
て横軸はセンサーアレイの座標である。
サー７０９のセンサーアレイ７０９ａより得られる信号
波形は種々のノイズの影響により例えば図２０〜図２３
に示すようなものとなってくる。図２０〜図２３におい
て横軸はセンサーアレイの座標である。
【００１３】この為、瞳孔中心や瞳孔輪部を単純に明る
いレベルから暗いレベルに変化した初めの点を求める従
来の方法では正確に瞳孔中心や瞳孔輪部を抽出すること
が難しい。
いレベルから暗いレベルに変化した初めの点を求める従
来の方法では正確に瞳孔中心や瞳孔輪部を抽出すること
が難しい。
【００１４】また、プルキンエ像が瞳孔の外にあること
や、垂直方向の検出において瞳孔がまぶたでけられるこ
とが良くある。このような場合も明るいレベルから暗い
レベルへの初めの変化点は瞳孔輪部とはならず、従来の
方法では瞳孔中心や瞳孔輪部の算出が困難となってく
る。
や、垂直方向の検出において瞳孔がまぶたでけられるこ
とが良くある。このような場合も明るいレベルから暗い
レベルへの初めの変化点は瞳孔輪部とはならず、従来の
方法では瞳孔中心や瞳孔輪部の算出が困難となってく
る。
【００１５】このように従来の方法では瞳孔中心や瞳孔
輪部の検出が難しくなってくる為、眼球の視線を高精度
に検出するのが大変難しかった。
輪部の検出が難しくなってくる為、眼球の視線を高精度
に検出するのが大変難しかった。
【００１６】本発明は眼球からの反射光束に基づく各特
異点に基づくイメージセンサー（２次元撮像素子）から
得られる信号を適切に処理することにより瞳孔中心や瞳
孔輪部を高精度に検出し、即ち眼球の視線を高精度に検
出することができる瞳孔中心検出方法及び瞳孔輪部検出
方法の提供を目的とする。
異点に基づくイメージセンサー（２次元撮像素子）から
得られる信号を適切に処理することにより瞳孔中心や瞳
孔輪部を高精度に検出し、即ち眼球の視線を高精度に検
出することができる瞳孔中心検出方法及び瞳孔輪部検出
方法の提供を目的とする。
【００１７】
【課題を解決するための手段】本発明の瞳孔中心検出方
法は （イ）投光手段からの光束を眼球に入射させ、該眼球か
らの反射光束に基づく像を利用して、該眼球の瞳孔中心
の位置を検出する際、多数の瞳孔輪部位置を求め、次い
で該多数の瞳孔輪部位置の平均値と標準偏差を求め、こ
れらの量によって定められる範囲内の値を用いて瞳孔中
心の検出を行ったこと。
法は （イ）投光手段からの光束を眼球に入射させ、該眼球か
らの反射光束に基づく像を利用して、該眼球の瞳孔中心
の位置を検出する際、多数の瞳孔輪部位置を求め、次い
で該多数の瞳孔輪部位置の平均値と標準偏差を求め、こ
れらの量によって定められる範囲内の値を用いて瞳孔中
心の検出を行ったこと。
【００１８】（ロ）投光手段からの光束を眼球に入射さ
せ、該眼球からの反射光束に基づく像を利用して、該眼
球の瞳孔中心の位置を検出する際、該眼球に対して水平
方向と垂直方向の同一ライン上で検出された対の瞳孔輪
部位置の平均値より該眼球の瞳孔中心の検出を行ったこ
とを特徴とする瞳孔中心検出方法。
せ、該眼球からの反射光束に基づく像を利用して、該眼
球の瞳孔中心の位置を検出する際、該眼球に対して水平
方向と垂直方向の同一ライン上で検出された対の瞳孔輪
部位置の平均値より該眼球の瞳孔中心の検出を行ったこ
とを特徴とする瞳孔中心検出方法。
【００１９】（ハ）投光手段からの光束を眼球に入射さ
せ、該眼球からの反射光束に基づく像を利用して該眼球
の瞳孔中心の位置を検出する際、該眼球に対して水平方
向と垂直方向の多数の瞳孔中心位置を求め、次いで該多
数の瞳孔中心位置の平均値と標準偏差を求め、これらの
量によって定められる範囲内の値を用いて瞳孔中心の検
出を行ったこと。
せ、該眼球からの反射光束に基づく像を利用して該眼球
の瞳孔中心の位置を検出する際、該眼球に対して水平方
向と垂直方向の多数の瞳孔中心位置を求め、次いで該多
数の瞳孔中心位置の平均値と標準偏差を求め、これらの
量によって定められる範囲内の値を用いて瞳孔中心の検
出を行ったこと。
【００２０】（ニ）投光手段からの光束を眼球に入射さ
せ、該眼球からの反射光束に基づく像を利用して該眼球
の瞳孔中心の位置を検出する際、多数の瞳孔輪部位置を
求め、次いで該多数の瞳孔輪部位置の情報を用いて該眼
球の瞳孔中心位置と瞳孔径を推定し、該推定した瞳孔中
心位置と瞳孔径によって定められた範囲内の値を用いて
瞳孔中心の検出を行ったこと等を特徴としている。
せ、該眼球からの反射光束に基づく像を利用して該眼球
の瞳孔中心の位置を検出する際、多数の瞳孔輪部位置を
求め、次いで該多数の瞳孔輪部位置の情報を用いて該眼
球の瞳孔中心位置と瞳孔径を推定し、該推定した瞳孔中
心位置と瞳孔径によって定められた範囲内の値を用いて
瞳孔中心の検出を行ったこと等を特徴としている。
【００２１】又、本発明の瞳孔輪部検出方法は、 （ホ）投光手段からの光束を眼球に入射させ、該眼球か
らの反射光束に基づく像を複数のセンサーより成る検出
手段で検出し、該検出手段からの出力信号を用いて該眼
球の瞳孔輪部の位置を検出する際、該センサーからの出
力信号が数画素以上連続して単調増加又は単調減少して
いる位置を瞳孔輪部の位置として検出するようにしたこ
と。
らの反射光束に基づく像を複数のセンサーより成る検出
手段で検出し、該検出手段からの出力信号を用いて該眼
球の瞳孔輪部の位置を検出する際、該センサーからの出
力信号が数画素以上連続して単調増加又は単調減少して
いる位置を瞳孔輪部の位置として検出するようにしたこ
と。
【００２２】（ヘ）投光手段からの光束を眼球に入射さ
せ、該眼球からの反射光束に基づく像を複数のセンサー
より成る検出手段で検出し、該検出手段からの出力信号
を用いて該眼球の瞳孔輪部の位置を検出する際、該セン
サーからの出力信号のうち最小値を求め、該センサーか
らの出力信号が数画素以上連続して単調増加している部
分の開始点と数画素以上連続して単調減少している部分
の終了点が該最小値に略等しいときに該単調増加と単調
減少している位置を瞳孔輪部として検出するようにした
こと。
せ、該眼球からの反射光束に基づく像を複数のセンサー
より成る検出手段で検出し、該検出手段からの出力信号
を用いて該眼球の瞳孔輪部の位置を検出する際、該セン
サーからの出力信号のうち最小値を求め、該センサーか
らの出力信号が数画素以上連続して単調増加している部
分の開始点と数画素以上連続して単調減少している部分
の終了点が該最小値に略等しいときに該単調増加と単調
減少している位置を瞳孔輪部として検出するようにした
こと。
【００２３】（ト）投光手段からの光束を眼球に入射さ
せ、該眼球からの反射光束に基づく像を複数のセンサー
より成る検出手段で検出し、該検出手段からの出力信号
を用いて該眼球の瞳孔輪部の位置を検出する際、該セン
サーからの出力信号のうち最大値と最小値を求め、該セ
ンサーからの出力信号が数画素以上連続して単調増加し
ている部分の終了点と数画素以上連続して単調減少して
いる部分の終了点が該最大値と最小値の平均値より小さ
いときに該単調増加と単調減少している位置を瞳孔輪部
として検出するようにしたこと。
せ、該眼球からの反射光束に基づく像を複数のセンサー
より成る検出手段で検出し、該検出手段からの出力信号
を用いて該眼球の瞳孔輪部の位置を検出する際、該セン
サーからの出力信号のうち最大値と最小値を求め、該セ
ンサーからの出力信号が数画素以上連続して単調増加し
ている部分の終了点と数画素以上連続して単調減少して
いる部分の終了点が該最大値と最小値の平均値より小さ
いときに該単調増加と単調減少している位置を瞳孔輪部
として検出するようにしたこと。
【００２４】（チ）投光手段からの光束を眼球に入射さ
せ、該眼球からの反射光束に基づくプルキンエ像を複数
のセンサーより成る検出手段で検出し、該検出手段から
の出力信号を用いて該眼球の瞳孔輪部の位置を検出する
際、該プルキンエ像の位置を求め、該センサーからの出
力信号が数画素以上連続して単調増加している部分の開
始点と終了点が共に該プルキンエ像の近傍にないとき、
該センサーからの出力信号が数画素以上連続して単調減
少している部分の開始点と終了点が共に該プルキンエ像
近傍にないとき、該単調増加と単調減少している位置を
瞳孔輪部の位置として検出するようにしたこと。
せ、該眼球からの反射光束に基づくプルキンエ像を複数
のセンサーより成る検出手段で検出し、該検出手段から
の出力信号を用いて該眼球の瞳孔輪部の位置を検出する
際、該プルキンエ像の位置を求め、該センサーからの出
力信号が数画素以上連続して単調増加している部分の開
始点と終了点が共に該プルキンエ像の近傍にないとき、
該センサーからの出力信号が数画素以上連続して単調減
少している部分の開始点と終了点が共に該プルキンエ像
近傍にないとき、該単調増加と単調減少している位置を
瞳孔輪部の位置として検出するようにしたこと。
【００２５】（リ）投光手段からの光束を眼球に入射さ
せ、該眼球からの反射光束に基づく像を利用して、該眼
球の瞳孔輪部の位置を検出する際、該眼球に対して水平
方向と垂直方向の出力信号に同様の信号処理、演算を行
うことにより瞳孔輪部の位置を求めるようにしたこと。
せ、該眼球からの反射光束に基づく像を利用して、該眼
球の瞳孔輪部の位置を検出する際、該眼球に対して水平
方向と垂直方向の出力信号に同様の信号処理、演算を行
うことにより瞳孔輪部の位置を求めるようにしたこと。
【００２６】（ヌ）投光手段からの光束を眼球に入射さ
せ、該眼球からの反射光束に基づくプルキンエ像を利用
して、該眼球の瞳孔輪部の位置を検出する際、該プルキ
ンエ像の位置の検出結果に基づいて、該瞳孔輪部の位置
の検出演算の開始点としたこと。
せ、該眼球からの反射光束に基づくプルキンエ像を利用
して、該眼球の瞳孔輪部の位置を検出する際、該プルキ
ンエ像の位置の検出結果に基づいて、該瞳孔輪部の位置
の検出演算の開始点としたこと。
【００２７】特に、前記瞳孔輪部の位置の検出演算の開
始点を複数のプルキンエ像の位置の平均値としたこと
や、前記瞳孔輪部の位置の検出演算の開始点を複数のプ
ルキンエ像の位置の１つとしたことを特徴としている。
始点を複数のプルキンエ像の位置の平均値としたこと
や、前記瞳孔輪部の位置の検出演算の開始点を複数のプ
ルキンエ像の位置の１つとしたことを特徴としている。
【００２８】（ル）投光手段からの光束を眼球に入射さ
せ、該眼球からの反射光束に基づく像を検出手段で検出
し、該検出手段からの信号を利用して、該眼球の瞳孔輪
部の位置を検出する際、該検出手段で得られる全信号の
うち最低輝度部分を推定し、該推定した部分より瞳孔輪
部の位置の検出演算を開始したこと。等を特徴としてい
る。
せ、該眼球からの反射光束に基づく像を検出手段で検出
し、該検出手段からの信号を利用して、該眼球の瞳孔輪
部の位置を検出する際、該検出手段で得られる全信号の
うち最低輝度部分を推定し、該推定した部分より瞳孔輪
部の位置の検出演算を開始したこと。等を特徴としてい
る。
【００２９】
【実施例】図１は本発明の瞳孔中心検出方法を一眼レフ
カメラに適用したときの実施例１の要部ブロック図であ
る。図２（Ａ）は本発明の瞳孔中心検出方法を一眼レフ
カメラに適用したときの要部概略図、図２（Ｂ）は図２
（Ａ）の一部分の要部斜視図である。
カメラに適用したときの実施例１の要部ブロック図であ
る。図２（Ａ）は本発明の瞳孔中心検出方法を一眼レフ
カメラに適用したときの要部概略図、図２（Ｂ）は図２
（Ａ）の一部分の要部斜視図である。
【００３０】本実施例において眼球からの反射光束に基
づく各特異点の検出装置は図１８に示す従来の光学系と
略同じである。
づく各特異点の検出装置は図１８に示す従来の光学系と
略同じである。
【００３１】図１において１はマイクロプロセッシング
ユニット（Ｍ．Ｐ．Ｕ）であり、プルキンエ第１像や瞳
孔の位置情報を用い視線演算等の各種の演算処理を行っ
ている。２はメモリーであり、例えば後述するイメージ
センサーの積分時間に関する信号を記憶している。３は
インターフェイス回路であり、Ａ／Ｄ変換機能を有して
いる。７は投光手段であり、赤外発光ダイオード７ａか
ら放射した観察者に不感の赤外光を投光レンズ７ｂを介
して観察者の眼球に入射させている。
ユニット（Ｍ．Ｐ．Ｕ）であり、プルキンエ第１像や瞳
孔の位置情報を用い視線演算等の各種の演算処理を行っ
ている。２はメモリーであり、例えば後述するイメージ
センサーの積分時間に関する信号を記憶している。３は
インターフェイス回路であり、Ａ／Ｄ変換機能を有して
いる。７は投光手段であり、赤外発光ダイオード７ａか
ら放射した観察者に不感の赤外光を投光レンズ７ｂを介
して観察者の眼球に入射させている。
【００３２】５は発光制御回路（発光制御手段）であ
り、赤外発光ダイオード７ａの発光光量を制御してい
る。６は位置センサーであり、視線検出装置をカメラに
適用したときはそのカメラの縦横を検知している。４は
検出手段であり、イメージセンサー４ａ、駆動回路４ｂ
そして受光レンズ４ｃ等を有しており、眼球からの反射
光に基づくプルキンエ第１像と瞳孔を受光レンズ４ｃを
介してイメージセンサー４ａ面上に結像している。８は
ＡＦセンサー、９はレンズ駆動ユニット、１０は測光セ
ンサー、１１は絞り駆動ユニットである。
り、赤外発光ダイオード７ａの発光光量を制御してい
る。６は位置センサーであり、視線検出装置をカメラに
適用したときはそのカメラの縦横を検知している。４は
検出手段であり、イメージセンサー４ａ、駆動回路４ｂ
そして受光レンズ４ｃ等を有しており、眼球からの反射
光に基づくプルキンエ第１像と瞳孔を受光レンズ４ｃを
介してイメージセンサー４ａ面上に結像している。８は
ＡＦセンサー、９はレンズ駆動ユニット、１０は測光セ
ンサー、１１は絞り駆動ユニットである。
【００３３】次に図２（Ａ），（Ｂ）を用いて本発明を
一眼レフカメラに適用したときの構成について説明す
る。
一眼レフカメラに適用したときの構成について説明す
る。
【００３４】図中２１は接眼レンズであり、その内部に
は可視光透過・赤外光反射のダイクロイックミラー２１
ａが斜設されており、光路分割器を兼ねている。４ａは
イメージセンサー、４ｃは受光レンズ、７ａ１，７ａ２
は投光手段７の一要素である光源で例えば発光ダイオー
ドから成っている。
は可視光透過・赤外光反射のダイクロイックミラー２１
ａが斜設されており、光路分割器を兼ねている。４ａは
イメージセンサー、４ｃは受光レンズ、７ａ１，７ａ２
は投光手段７の一要素である光源で例えば発光ダイオー
ドから成っている。
【００３５】イメージセンサー４ａは光電素子列を２次
元的に配置した構成より成り、受光レンズ４ｃ及び接眼
レンズ２１に関して所定の位置（眼鏡を使用しない撮影
者の一般的なアイポイントの位置）にある眼の瞳孔近傍
と共役になるように配置している。８は測光センサーで
あり、接眼レンズ２１近傍に配置している。
元的に配置した構成より成り、受光レンズ４ｃ及び接眼
レンズ２１に関して所定の位置（眼鏡を使用しない撮影
者の一般的なアイポイントの位置）にある眼の瞳孔近傍
と共役になるように配置している。８は測光センサーで
あり、接眼レンズ２１近傍に配置している。
【００３６】２９は処理装置で、視線補正演算、視線補
正データ記憶、視線演算機能の他に図１のＭ．Ｐ．Ｕ
１、発光制御回路５、メモリー２、インターフェイス回
路３等を有している。
正データ記憶、視線演算機能の他に図１のＭ．Ｐ．Ｕ
１、発光制御回路５、メモリー２、インターフェイス回
路３等を有している。
【００３７】２０１は撮影レンズ、２０２はクイックリ
ターン（ＱＲ）ミラー、２０３は表示素子、２０４はピ
ント板、２０５はコンデンサーレンズ、２０６はペンタ
ダハプリズム、２０７はサブミラー、２０８は多点焦点
検出装置であり、公知の方法により撮影画面内の複数の
領域を選択して焦点検出を行っている。２０９はカメラ
制御装置であり、ファインダー内表示素子駆動、焦点検
出演算及びレンズ駆動機能等を有している。
ターン（ＱＲ）ミラー、２０３は表示素子、２０４はピ
ント板、２０５はコンデンサーレンズ、２０６はペンタ
ダハプリズム、２０７はサブミラー、２０８は多点焦点
検出装置であり、公知の方法により撮影画面内の複数の
領域を選択して焦点検出を行っている。２０９はカメラ
制御装置であり、ファインダー内表示素子駆動、焦点検
出演算及びレンズ駆動機能等を有している。
【００３８】本実施例では、撮影レンズ２０１を透過し
た被写体光の一部はＱＲミラー２０２によって反射して
ピント板２０４近傍に被写体像を結像する。ピント板２
０４の拡散面で拡散した被写体光はコンデンサーレンズ
２０５、ペンタダハプリズム２０６、接眼レンズ２１を
介してアイポイントＥに導光している。
た被写体光の一部はＱＲミラー２０２によって反射して
ピント板２０４近傍に被写体像を結像する。ピント板２
０４の拡散面で拡散した被写体光はコンデンサーレンズ
２０５、ペンタダハプリズム２０６、接眼レンズ２１を
介してアイポイントＥに導光している。
【００３９】ここで表示素子２０３は例えば偏光板を用
いない２層タイプのゲスト−ホスト型液晶素子で、ファ
インダー視野内の測距域（焦点検出位置）を表示してい
る。
いない２層タイプのゲスト−ホスト型液晶素子で、ファ
インダー視野内の測距域（焦点検出位置）を表示してい
る。
【００４０】又、撮影レンズ２０１を透過した被写体光
の一部は、ＱＲミラー２０２を透過し、サブミラー２０
７で反射してカメラ本体底部に配置した前述の多点焦点
検出装置２０８に導光している。更に多点焦点検出装置
２０８の選択した被写体面上の位置の焦点検出情報に基
づいて、不図示の撮影レンズ駆動装置により撮影レンズ
２０１の繰り出し（もしくは繰り込み）を行い、焦点調
節を行っている。
の一部は、ＱＲミラー２０２を透過し、サブミラー２０
７で反射してカメラ本体底部に配置した前述の多点焦点
検出装置２０８に導光している。更に多点焦点検出装置
２０８の選択した被写体面上の位置の焦点検出情報に基
づいて、不図示の撮影レンズ駆動装置により撮影レンズ
２０１の繰り出し（もしくは繰り込み）を行い、焦点調
節を行っている。
【００４１】本実施例においては赤外発光ダイオード７
ａ１，７ａ２から放射される赤外光は図中上方から接眼
レンズ２１に入射し、ダイクロイックミラー２１ａによ
り反射されアイポイントＥ近傍に位置する観察者の眼球
２１１を照明する。又眼球２１１で反射した赤外光はダ
イクロイックミラー２１ａで反射され受光レンズ４ｃに
よって収斂しながらイメージセンサー４ａ上に像を形成
する。
ａ１，７ａ２から放射される赤外光は図中上方から接眼
レンズ２１に入射し、ダイクロイックミラー２１ａによ
り反射されアイポイントＥ近傍に位置する観察者の眼球
２１１を照明する。又眼球２１１で反射した赤外光はダ
イクロイックミラー２１ａで反射され受光レンズ４ｃに
よって収斂しながらイメージセンサー４ａ上に像を形成
する。
【００４２】本実施例においては、イメージセンサー４
ａからの出力信号を演算処理することにより、プルキン
エ像（角膜反射像）と複数の瞳孔輪部より算出される瞳
孔中心の２つの量を求め、視線検出を行なう。これは赤
外発光ダイオード７ａで撮影者の眼球２１１を正面から
照明した際に角膜前面で光が反射して生じる赤外発光ダ
イオードの虚像、所謂プルキンエ像の発生する位置が眼
球の回転角が零のとき（但し眼球の光軸）、瞳孔中心の
位置と一致し、眼球が回転するにつれて位置がずれてく
ることを利用している。
ａからの出力信号を演算処理することにより、プルキン
エ像（角膜反射像）と複数の瞳孔輪部より算出される瞳
孔中心の２つの量を求め、視線検出を行なう。これは赤
外発光ダイオード７ａで撮影者の眼球２１１を正面から
照明した際に角膜前面で光が反射して生じる赤外発光ダ
イオードの虚像、所謂プルキンエ像の発生する位置が眼
球の回転角が零のとき（但し眼球の光軸）、瞳孔中心の
位置と一致し、眼球が回転するにつれて位置がずれてく
ることを利用している。
【００４３】そしてこのプルキンエ像と瞳孔中心のずれ
（間隔）は、回転角の正弦にほぼ比例するので、プルキ
ンエ像と瞳孔中心の位置からその間隔を求め、眼球の回
転角更に視軸補正等の演算を行ない、撮影者の視線を求
める。
（間隔）は、回転角の正弦にほぼ比例するので、プルキ
ンエ像と瞳孔中心の位置からその間隔を求め、眼球の回
転角更に視軸補正等の演算を行ない、撮影者の視線を求
める。
【００４４】次に上記の原理を用いた本発明の動作につ
いて説明する。
いて説明する。
【００４５】カメラのメインスイッチ（不図示）がオン
する等して視線検出の開始が指示されるとＭ．Ｐ．Ｕ１
は視線検出のルーチンへ制御を移す。そのフローチャー
トを図３に示す。視線検出のルーチンに新たに入ると、
まず初期化の処理を行ない、視線検出に関わる全ての変
数を初期化する。そしてその時のカメラの姿勢位置（縦
位置か横位置か）の情報を位置センサー６から受け、発
光制御回路５は赤外発光ダイオード（ｉＲＥＤ）７ａの
うちのどれを発光するかの設定を行なう。同時にＭ．
Ｐ．Ｕ１はインターフェイス回路３を介して駆動回路４
ｂに積分信号を発光制御回路５に積分信号に同期した発
光制御信号を与える。これによりそのときのカメラの位
置に対応した赤外発光ダイオード７ａのイメージセンサ
ー４ａの蓄積に同期した発光が行なわれる。
する等して視線検出の開始が指示されるとＭ．Ｐ．Ｕ１
は視線検出のルーチンへ制御を移す。そのフローチャー
トを図３に示す。視線検出のルーチンに新たに入ると、
まず初期化の処理を行ない、視線検出に関わる全ての変
数を初期化する。そしてその時のカメラの姿勢位置（縦
位置か横位置か）の情報を位置センサー６から受け、発
光制御回路５は赤外発光ダイオード（ｉＲＥＤ）７ａの
うちのどれを発光するかの設定を行なう。同時にＭ．
Ｐ．Ｕ１はインターフェイス回路３を介して駆動回路４
ｂに積分信号を発光制御回路５に積分信号に同期した発
光制御信号を与える。これによりそのときのカメラの位
置に対応した赤外発光ダイオード７ａのイメージセンサ
ー４ａの蓄積に同期した発光が行なわれる。
【００４６】次いでイメージセンサー４ａ上に結像した
プルキンエ像の生じた眼球前眼部の画像をインターフェ
イス回路３を介して読み込む。そしてこの画像を処理す
ることによりプルキンエ像の位置Ｐと複数の瞳孔輪部
（所謂瞳孔エッジ）Ｄｉ更には瞳孔中心Ｄｃ（ｘ0 ，ｙ
0 ）を検出する。このとき瞳孔中心Ｄｃを瞳孔輪部Ｄｉ
の平均値と標準偏差を求め、この２つの量で定められる
範囲内のものを用いて求めている。そしてこの検出され
た諸量より眼球の水平方向と鉛直方向の回転角θH ，θ
V を算出する。眼球の回転角が算出されたならば視軸補
正等の個人差補正を行ない、撮影者のピント板上での視
点を求める。
プルキンエ像の生じた眼球前眼部の画像をインターフェ
イス回路３を介して読み込む。そしてこの画像を処理す
ることによりプルキンエ像の位置Ｐと複数の瞳孔輪部
（所謂瞳孔エッジ）Ｄｉ更には瞳孔中心Ｄｃ（ｘ0 ，ｙ
0 ）を検出する。このとき瞳孔中心Ｄｃを瞳孔輪部Ｄｉ
の平均値と標準偏差を求め、この２つの量で定められる
範囲内のものを用いて求めている。そしてこの検出され
た諸量より眼球の水平方向と鉛直方向の回転角θH ，θ
V を算出する。眼球の回転角が算出されたならば視軸補
正等の個人差補正を行ない、撮影者のピント板上での視
点を求める。
【００４７】以上の動作をカメラのレリーズ釦が半押し
される等して、ＳＷ１がオンになるまで繰り返す。ＳＷ
１がオンになったならば上記のようにして求められた撮
影者のピント板上での視点の情報をＡＦ動作・測光等の
カメラの諸動作にフィードバックする。例えばＡＦ動作
においてはＭ．Ｐ．Ｕ１はＡＦセンサー８の視点に対応
する部分の信号を用いてＡＦ演算を行ない、合焦の為の
レンズ駆動量を求める。その後、レンズ駆動ユニット９
を制御し、焦点調整を行なう。
される等して、ＳＷ１がオンになるまで繰り返す。ＳＷ
１がオンになったならば上記のようにして求められた撮
影者のピント板上での視点の情報をＡＦ動作・測光等の
カメラの諸動作にフィードバックする。例えばＡＦ動作
においてはＭ．Ｐ．Ｕ１はＡＦセンサー８の視点に対応
する部分の信号を用いてＡＦ演算を行ない、合焦の為の
レンズ駆動量を求める。その後、レンズ駆動ユニット９
を制御し、焦点調整を行なう。
【００４８】また、測光においてもＭ．Ｐ．Ｕ１は測光
センサー１０の視点に対応する部分の信号に基づき、指
定された撮影モードに従って露出定数（シャッター速度
絞り値‥‥）を求める。そしてレリーズの要求がなされ
たならば、算出された絞り値への絞り駆動、シャッター
の開閉、フィルムの巻き上げ等のレリーズに関する一連
の動作を行なう。
センサー１０の視点に対応する部分の信号に基づき、指
定された撮影モードに従って露出定数（シャッター速度
絞り値‥‥）を求める。そしてレリーズの要求がなされ
たならば、算出された絞り値への絞り駆動、シャッター
の開閉、フィルムの巻き上げ等のレリーズに関する一連
の動作を行なう。
【００４９】尚、撮影者の視点は常に被写体にあるわけ
ではなく、ある程度ふらついたり画面外の表示を見たり
する。そこで画面外の視点は対象外とする処理を行なっ
たり、例えば特開平３−１０９０３０号公報で提案され
ている方法等で撮影者の注視点を抽出する等の処理を行
っている。
ではなく、ある程度ふらついたり画面外の表示を見たり
する。そこで画面外の視点は対象外とする処理を行なっ
たり、例えば特開平３−１０９０３０号公報で提案され
ている方法等で撮影者の注視点を抽出する等の処理を行
っている。
【００５０】次いで瞳孔輪部（瞳孔エッジ）位置Ｄｉを
求めるルーチンの詳細について述べる。図４にそのフロ
ーチャートを示す。
求めるルーチンの詳細について述べる。図４にそのフロ
ーチャートを示す。
【００５１】前述のように視線検出のルーチンに入ると
メモリー内容の初期化、赤外発光ダイオード（ｉＲＥ
Ｄ）の発光、センサーからの信号出力の読み込みを行な
う。そしてその出力信号を基にしてプルキンエ像の検出
を行ない、その結果をメモリーに記憶する。プルキンエ
像の発生個数は投光するｉＲＥＤの個数に一致するの
で、複数のｉＲＥＤを用いた本発明の場合は複数プルキ
ンエ像が生じる。そのセンサー上での座標を（ｈ1 ，ｖ
1 ）（ｈ2 ，ｖ2 ）‥‥（ｈn ，ｖn ）とした場合、鉛
直方向の座標ｖ1 ，ｖ2 ‥‥ｖn は本発明の光学系の構
成においては略一致する。従って水平方向の瞳孔輪部抽
出演算の開始点は複数のプルキンエ像の水平方向の座標
ｈ1 ，ｈ2 ‥‥ｈn の平均
メモリー内容の初期化、赤外発光ダイオード（ｉＲＥ
Ｄ）の発光、センサーからの信号出力の読み込みを行な
う。そしてその出力信号を基にしてプルキンエ像の検出
を行ない、その結果をメモリーに記憶する。プルキンエ
像の発生個数は投光するｉＲＥＤの個数に一致するの
で、複数のｉＲＥＤを用いた本発明の場合は複数プルキ
ンエ像が生じる。そのセンサー上での座標を（ｈ1 ，ｖ
1 ）（ｈ2 ，ｖ2 ）‥‥（ｈn ，ｖn ）とした場合、鉛
直方向の座標ｖ1 ，ｖ2 ‥‥ｖn は本発明の光学系の構
成においては略一致する。従って水平方向の瞳孔輪部抽
出演算の開始点は複数のプルキンエ像の水平方向の座標
ｈ1 ，ｈ2 ‥‥ｈn の平均
【００５２】
【数３】 とし、鉛直方向の開始点はｖ1 ，ｖ2 ‥‥ｖn のどれか
ひとつから光学時に定められる定数ｖconst を引いたも
の、例えばｖ1 −ｖconst とする。このようにすると点
（ｈmean，ｖ1 −ｖconst ）は非常に高い確率で瞳孔内
部の点となる。
ひとつから光学時に定められる定数ｖconst を引いたも
の、例えばｖ1 −ｖconst とする。このようにすると点
（ｈmean，ｖ1 −ｖconst ）は非常に高い確率で瞳孔内
部の点となる。
【００５３】よって、ｈmean，ｖ1 −ｖconst より水
平、垂直各方向の瞳孔輪部抽出を開始すれば、画像全体
（全信号）の最低輝度部分から演算を開始することがで
き、最低輝度部からの立上りとなる瞳孔輪部を抽出する
のに好都合である。
平、垂直各方向の瞳孔輪部抽出を開始すれば、画像全体
（全信号）の最低輝度部分から演算を開始することがで
き、最低輝度部からの立上りとなる瞳孔輪部を抽出する
のに好都合である。
【００５４】その後、水平方向の瞳孔輪部検出のルーチ
ンへ入ると、まず１ライン分のデータを読み込み、この
ラインについての瞳孔輪部の位置検出を行なう。読み込
んだ１ライン分のデータより最大値（ｍａｘ）と最小値
（ｍｉｎｉ）を求める。この２つの量はそれまでに読み
込まれたラインの中での最大値と最小値であり、全画面
中の最大値、最小値とは必ずしも一致しない。
ンへ入ると、まず１ライン分のデータを読み込み、この
ラインについての瞳孔輪部の位置検出を行なう。読み込
んだ１ライン分のデータより最大値（ｍａｘ）と最小値
（ｍｉｎｉ）を求める。この２つの量はそれまでに読み
込まれたラインの中での最大値と最小値であり、全画面
中の最大値、最小値とは必ずしも一致しない。
【００５５】次にＭ．Ｐ．Ｕはｈmean番目（ｈmeanが自
然数ではない場合はそれに最も近い自然数）の画素から
検出の演算を開始する。まずはカウンターを減算するこ
とにより、左側の瞳孔輪部の検出が行なわれる。Ｍ．
Ｐ．Ｕは出力信号がｎ画素に渡って単調減少しているか
否かを調べる、即ち次式 ｄ[j] ＜ｄ[q-1] ＜ｄ[j-2] ＜ ‥‥‥ ＜ｄ
[j-(n-1)] ＜ｄ[j-n] が成り立つか否かを調べる。
然数ではない場合はそれに最も近い自然数）の画素から
検出の演算を開始する。まずはカウンターを減算するこ
とにより、左側の瞳孔輪部の検出が行なわれる。Ｍ．
Ｐ．Ｕは出力信号がｎ画素に渡って単調減少しているか
否かを調べる、即ち次式 ｄ[j] ＜ｄ[q-1] ＜ｄ[j-2] ＜ ‥‥‥ ＜ｄ
[j-(n-1)] ＜ｄ[j-n] が成り立つか否かを調べる。
【００５６】次いでそのスロープの最小値にあたるｄ
[j+n] がそれまでに読み込まれたラインの最小値（ｍｉ
ｎｉ）に略等しいかどうか、即ちｄ[j+n] ≦ｍｉｎｉ＋
ｃが成り立つかどうか調べる。更にそのスロープの最大
値にあたるｄ[j] が、それまでに読み込まれたラインの
最大値と最小値の平均値（ｍｉｎｉ＋ｍａｘ）／２より
小さいかどうかを調べる。これにより信号強度が最大値
（ｍａｘ）、最小値（ｍｉｎｉ）の平均値以下である虹
彩部から、信号強度が最小値に略等しい瞳孔部への立下
りのスロープを検出することができる。
[j+n] がそれまでに読み込まれたラインの最小値（ｍｉ
ｎｉ）に略等しいかどうか、即ちｄ[j+n] ≦ｍｉｎｉ＋
ｃが成り立つかどうか調べる。更にそのスロープの最大
値にあたるｄ[j] が、それまでに読み込まれたラインの
最大値と最小値の平均値（ｍｉｎｉ＋ｍａｘ）／２より
小さいかどうかを調べる。これにより信号強度が最大値
（ｍａｘ）、最小値（ｍｉｎｉ）の平均値以下である虹
彩部から、信号強度が最小値に略等しい瞳孔部への立下
りのスロープを検出することができる。
【００５７】更にこの点が先に求められたプルキンエ像
の周辺に無いかどうかを調べることにより、プルキンエ
像の影響による誤検出（プルキンエ像周辺部でその影響
により瞳孔内部の信号が凸状になることによって、その
凸部を瞳孔エッジと誤ることがある）を防いでいる。
の周辺に無いかどうかを調べることにより、プルキンエ
像の影響による誤検出（プルキンエ像周辺部でその影響
により瞳孔内部の信号が凸状になることによって、その
凸部を瞳孔エッジと誤ることがある）を防いでいる。
【００５８】以上の４つの条件を満たしたものは瞳孔の
エッジとみなし、瞳孔エッジ情報としてそのライン番号
Ｌと画素番号ｊをメモリーに記憶する。その後、Ｍ．
Ｐ．Ｕは反対側（右側）の瞳孔エッジを検出するルーチ
ンへ移る。逆に条件を満たさない場合は隣の画素に処理
を移す。この反対側の瞳孔エッジを検出するルーチンに
おいても同様の処理が行なわれる。
エッジとみなし、瞳孔エッジ情報としてそのライン番号
Ｌと画素番号ｊをメモリーに記憶する。その後、Ｍ．
Ｐ．Ｕは反対側（右側）の瞳孔エッジを検出するルーチ
ンへ移る。逆に条件を満たさない場合は隣の画素に処理
を移す。この反対側の瞳孔エッジを検出するルーチンに
おいても同様の処理が行なわれる。
【００５９】即ち （１−１）ｎ画素に渡って単調増加している。 （１−２）スロープの最小値にあたるｄ[j] が最小値
（ｍｉｎｉ）に略等しい。 （１−３）スロープの最大値にあたるｄ[j+n] が最大値
（ｍａｘ）最小値（ｍｉｎｉ）の平均値以下である。 （１−４）先に求められたプルキンエ像の周辺にない。 の４つの条件を満たした場合はその位置を瞳孔エッジと
みなし、瞳孔エッジ情報としてそのライン番号Ｌと画素
番号ｊをメモリーに記憶し、１ラインにおける処理を終
了する。
（ｍｉｎｉ）に略等しい。 （１−３）スロープの最大値にあたるｄ[j+n] が最大値
（ｍａｘ）最小値（ｍｉｎｉ）の平均値以下である。 （１−４）先に求められたプルキンエ像の周辺にない。 の４つの条件を満たした場合はその位置を瞳孔エッジと
みなし、瞳孔エッジ情報としてそのライン番号Ｌと画素
番号ｊをメモリーに記憶し、１ラインにおける処理を終
了する。
【００６０】逆に条件を満たさなかった場合は隣の画素
に処理を移す。これによりメモリーには左右両側とも最
も内側の瞳孔エッジの位置情報が記憶されることになる
（図５参照）。
に処理を移す。これによりメモリーには左右両側とも最
も内側の瞳孔エッジの位置情報が記憶されることになる
（図５参照）。
【００６１】以上の処理を１ラインずつ全画面に渡って
行ない、複数個の瞳孔エッジの位置を求める。全画面の
処理が終了したならば垂直方向の瞳孔輪部検出のルーチ
ンへ入る。このルーチンにおいてもｖ1 −ｖconst を瞳
孔輪部抽出演算の開始点として全く同様の処理を行な
い、瞳孔輪部を求める。但し水平方向の瞳孔輪部検出の
ルーチンですでに全画面の信号に対する最大値・最小値
が求まっているのでこのルーチンにおいてはこの値を演
算に用いるので最大値・最小値を求める演算は省略す
る。
行ない、複数個の瞳孔エッジの位置を求める。全画面の
処理が終了したならば垂直方向の瞳孔輪部検出のルーチ
ンへ入る。このルーチンにおいてもｖ1 −ｖconst を瞳
孔輪部抽出演算の開始点として全く同様の処理を行な
い、瞳孔輪部を求める。但し水平方向の瞳孔輪部検出の
ルーチンですでに全画面の信号に対する最大値・最小値
が求まっているのでこのルーチンにおいてはこの値を演
算に用いるので最大値・最小値を求める演算は省略す
る。
【００６２】水平・垂直両方向の瞳孔輪部抽出が終了し
たらそれらの情報のうちから最終的に瞳孔中心Ｄｃ（ｘ
0 ，ｙ0 ）を求める。このときの方法としては瞳孔を円
とみなし、最小二乗法を用いても良い。この他瞳孔中心
Ｄｃ（ｘ0 ，ｙ0 ）を求める際に用いるものを選択する
作業を行なう。これは以下の様にして行なわれる。図
６、図７にその動作手順を示す。
たらそれらの情報のうちから最終的に瞳孔中心Ｄｃ（ｘ
0 ，ｙ0 ）を求める。このときの方法としては瞳孔を円
とみなし、最小二乗法を用いても良い。この他瞳孔中心
Ｄｃ（ｘ0 ，ｙ0 ）を求める際に用いるものを選択する
作業を行なう。これは以下の様にして行なわれる。図
６、図７にその動作手順を示す。
【００６３】まずＭ．Ｐ．Ｕはそれまでに求められた水
平方向の瞳孔輪部位置の情報を用いて水平方向の瞳孔中
心位置ｄｐｏiを各ライン毎に求めていくと同時に求め
たｄｐｏiの個数Ｌをカウントする。ここで同一ライン
上にひとつしか瞳孔輪部が求められていないものに関し
ては誤検出と判断し、今後の演算の対象とはしない。
平方向の瞳孔輪部位置の情報を用いて水平方向の瞳孔中
心位置ｄｐｏiを各ライン毎に求めていくと同時に求め
たｄｐｏiの個数Ｌをカウントする。ここで同一ライン
上にひとつしか瞳孔輪部が求められていないものに関し
ては誤検出と判断し、今後の演算の対象とはしない。
【００６４】このようにして求めた水平方向の瞳孔中心
位置ｄｐｏiを用いてその平均値ｄｐｏａと標準偏差σ
を次式を用いて求める。
位置ｄｐｏiを用いてその平均値ｄｐｏａと標準偏差σ
を次式を用いて求める。
【００６５】
【数４】 この求められた２つの量を用いて有効とする水平方向瞳
孔中心ｄｐｏiの範囲をｄｐｏａ−ａ×σ≦ｄｐｏi≦ｄ
ｐｏ＋ａ×σと定める。ここでａは任意の定数であり、
画像のコントラスト等の像信号の状態によって決まる。
範囲が定められたなら、ｄｐｏiがこの範囲内にあるか
どうかを調べ範囲内のものについてはｄｐｏiを求める
ときに用いた水平方向の両端の瞳孔輪部位置ｄｐＬi，
ｄｐｒiをｄｐＬj，ｄｐｒjとして記憶する。そしてこ
のときのｄｐｏiを推定水平方向瞳孔中心ｘpre を求め
るためのカウンターに加算する。また推定垂直方向瞳孔
中心ｙpre 、推定瞳孔径ｒpre を次の様にして求める。
孔中心ｄｐｏiの範囲をｄｐｏａ−ａ×σ≦ｄｐｏi≦ｄ
ｐｏ＋ａ×σと定める。ここでａは任意の定数であり、
画像のコントラスト等の像信号の状態によって決まる。
範囲が定められたなら、ｄｐｏiがこの範囲内にあるか
どうかを調べ範囲内のものについてはｄｐｏiを求める
ときに用いた水平方向の両端の瞳孔輪部位置ｄｐＬi，
ｄｐｒiをｄｐＬj，ｄｐｒjとして記憶する。そしてこ
のときのｄｐｏiを推定水平方向瞳孔中心ｘpre を求め
るためのカウンターに加算する。また推定垂直方向瞳孔
中心ｙpre 、推定瞳孔径ｒpre を次の様にして求める。
【００６６】まずｄｐＬiとｄｐｒiの差の絶対値を求
め、それまでに発見されている推定瞳孔径ｒpre （ｒ
pre の初期値は零）と比較し、ａｂｓ（ｄｐＬi−ｄｐ
ｒi）＞ｒpre ならば新たなｒpre としてａｂｓ（ｄｐ
Ｌi−ｄｐｒi）を採用する、と同時にこのときの垂直方
向座標を推定垂直方向瞳孔中心ｙpre として記憶する。
この操作を求められたｄｐｏiの個数Ｌ回分繰り返す。
め、それまでに発見されている推定瞳孔径ｒpre （ｒ
pre の初期値は零）と比較し、ａｂｓ（ｄｐＬi−ｄｐ
ｒi）＞ｒpre ならば新たなｒpre としてａｂｓ（ｄｐ
Ｌi−ｄｐｒi）を採用する、と同時にこのときの垂直方
向座標を推定垂直方向瞳孔中心ｙpre として記憶する。
この操作を求められたｄｐｏiの個数Ｌ回分繰り返す。
【００６７】このループを抜けたのちｄｐｏａ−ａ×σ
≦ｄｐｏi≦ｄｐｏａ＋ａ×σ範囲内にあったｄｐｏiの
個数ｊでｘpre を求めるためのカウンターの値を割り、
推定水平方向瞳孔中心ｘpre を求める。
≦ｄｐｏi≦ｄｐｏａ＋ａ×σ範囲内にあったｄｐｏiの
個数ｊでｘpre を求めるためのカウンターの値を割り、
推定水平方向瞳孔中心ｘpre を求める。
【００６８】ついで上記の様にして求められた推定瞳孔
中心位置ｘpre ，ｙpre と推定瞳孔径ｒpre を用いての
選択の作業を行なう（図８、図９参照）。Ｍ．Ｐ．Ｕは
ｘpre ±（ｒpre／２＋α1）、ｙpre±（ｒpre／２＋
α2）の範囲内にあるものを選択する。即ち（ｘpre ，
ｙpre ）を中心に各辺がｒpre ＋２α1 及びｒpre＋２
α2 の長方形の内部のものを有効な瞳孔エッジ情報とみ
なし選択するのである。
中心位置ｘpre ，ｙpre と推定瞳孔径ｒpre を用いての
選択の作業を行なう（図８、図９参照）。Ｍ．Ｐ．Ｕは
ｘpre ±（ｒpre／２＋α1）、ｙpre±（ｒpre／２＋
α2）の範囲内にあるものを選択する。即ち（ｘpre ，
ｙpre ）を中心に各辺がｒpre ＋２α1 及びｒpre＋２
α2 の長方形の内部のものを有効な瞳孔エッジ情報とみ
なし選択するのである。
【００６９】即ち、左右上下の瞳孔輪部位置が （ｘpre−（ｒpre／２＋α1）、ｙpre−（ｒpre／２＋
α2）、 （ｘpre−（ｒpre／２＋α1）、ｙpre＋（ｒpre／２＋
α2）、 （ｘpre＋（ｒpre／２＋α1）、ｙpre−（ｒpre／２＋
α2）、 （ｘpre＋（ｒpre／２＋α1）、ｙpre＋（ｒpre／２＋
α2）、 の４点で囲まれる長方形の範囲内かを判別し、範囲内の
ものを有効な情報とみなし選択する。ここでα1 ，α2
はｒpre の推定誤差を考慮して定められた定数であり、
前記の定数ａと同様に像信号の状態によって決まる。
α2）、 （ｘpre−（ｒpre／２＋α1）、ｙpre＋（ｒpre／２＋
α2）、 （ｘpre＋（ｒpre／２＋α1）、ｙpre−（ｒpre／２＋
α2）、 （ｘpre＋（ｒpre／２＋α1）、ｙpre＋（ｒpre／２＋
α2）、 の４点で囲まれる長方形の範囲内かを判別し、範囲内の
ものを有効な情報とみなし選択する。ここでα1 ，α2
はｒpre の推定誤差を考慮して定められた定数であり、
前記の定数ａと同様に像信号の状態によって決まる。
【００７０】以上の様にして水平・垂直両方向の瞳孔輪
部の抽出及び選択が終了したならばその情報を用いて瞳
孔中心Ｄｃ（Ｘ0 ，Ｙ0 ）を求める。その方法としては
瞳孔を円とみなし最小二乗法を用いるのが有効である。
部の抽出及び選択が終了したならばその情報を用いて瞳
孔中心Ｄｃ（Ｘ0 ，Ｙ0 ）を求める。その方法としては
瞳孔を円とみなし最小二乗法を用いるのが有効である。
【００７１】次に本発明の瞳孔中心検出方法の実施例２
について説明する。実施例２では抽出された瞳孔エッジ
情報から更に精度良く有効な情報を選択するために平均
値と標準偏差を複数回求めることを特徴としている。即
ち第１回の平均値ｄｐｏａfirst標準偏差のσfirstの算
出によって定められた範囲（ｄｐｏａfirst−ａ×σ
first≦ｄｐｏi≦ｄｐｏａfirst＋ａ×σfirst)内のｄ
ｐｏiを用いて、更に平均値ｄｐｏａsecond、標準偏差
σsecondを求め、これらによって定められた範囲（ｄｐ
ｏａsecond−ａ×σsecond≦ｄｐｏi≦ｄｐｏａsecond
＋ａ×σsecond）内のものを有効な情報とみなし、瞳孔
中心Ｄｃ（Ｘ0 ，Ｙ0 ）の算出に用いている。
について説明する。実施例２では抽出された瞳孔エッジ
情報から更に精度良く有効な情報を選択するために平均
値と標準偏差を複数回求めることを特徴としている。即
ち第１回の平均値ｄｐｏａfirst標準偏差のσfirstの算
出によって定められた範囲（ｄｐｏａfirst−ａ×σ
first≦ｄｐｏi≦ｄｐｏａfirst＋ａ×σfirst)内のｄ
ｐｏiを用いて、更に平均値ｄｐｏａsecond、標準偏差
σsecondを求め、これらによって定められた範囲（ｄｐ
ｏａsecond−ａ×σsecond≦ｄｐｏi≦ｄｐｏａsecond
＋ａ×σsecond）内のものを有効な情報とみなし、瞳孔
中心Ｄｃ（Ｘ0 ，Ｙ0 ）の算出に用いている。
【００７２】実施例２の構成の概略を図１にその動作手
順を図３に示す。実施例１と同様に視線検出の開始が指
示され、視線検出のルーチンへ新たに入るとまず初期化
の処理を行ない、視線検出に関わる全ての変数を初期化
する。そしてその時のカメラの姿勢位置の情報を位置セ
ンサ６から受け、発光制御回路５は赤外発光ダイオード
（ｉＲＥＤ）群７ａのうちのどれを発光するかの設定を
行なう。
順を図３に示す。実施例１と同様に視線検出の開始が指
示され、視線検出のルーチンへ新たに入るとまず初期化
の処理を行ない、視線検出に関わる全ての変数を初期化
する。そしてその時のカメラの姿勢位置の情報を位置セ
ンサ６から受け、発光制御回路５は赤外発光ダイオード
（ｉＲＥＤ）群７ａのうちのどれを発光するかの設定を
行なう。
【００７３】同時にＭ．Ｐ．Ｕ１はインターフェイス回
路３を介して駆動回路４ｂに積分信号を発光制御回路５
に積分信号に同期した発光制御信号を与える。これによ
りイメージセンサ４ａの蓄積とそれに同期したカメラ対
置に対応したｉＲＥＤの発光が行なわれる。
路３を介して駆動回路４ｂに積分信号を発光制御回路５
に積分信号に同期した発光制御信号を与える。これによ
りイメージセンサ４ａの蓄積とそれに同期したカメラ対
置に対応したｉＲＥＤの発光が行なわれる。
【００７４】次いでイメージセンサ４ａ上に結像したプ
ルキンエ像の生じた眼球前眼部の画像をインターフェィ
ス回路３を介して読み込む。そしてこの画像を処理する
ことによりプルキンエ像位置Ｐと複数の瞳孔輪部（いわ
ゆる瞳孔エッジ）Ｄｉを求める。
ルキンエ像の生じた眼球前眼部の画像をインターフェィ
ス回路３を介して読み込む。そしてこの画像を処理する
ことによりプルキンエ像位置Ｐと複数の瞳孔輪部（いわ
ゆる瞳孔エッジ）Ｄｉを求める。
【００７５】そしてこのＤｉの平均・標準偏差を求め、
この２つの量で定められる範囲内のものを有効とみな
し、再度その平均標準偏差を求め、この２つの量で定め
られる範囲内のもののみを用いて瞳孔中心Ｄｃ（Ｘ0 ，
Ｙ0 ）を算出する。そしてこの検出された諸量より眼球
の水平方向・垂直方向の回転角θH ，θV を算出し、更
に視軸補正等の個人差補正を行ない、撮影者のピント板
上での視点を求める。
この２つの量で定められる範囲内のものを有効とみな
し、再度その平均標準偏差を求め、この２つの量で定め
られる範囲内のもののみを用いて瞳孔中心Ｄｃ（Ｘ0 ，
Ｙ0 ）を算出する。そしてこの検出された諸量より眼球
の水平方向・垂直方向の回転角θH ，θV を算出し、更
に視軸補正等の個人差補正を行ない、撮影者のピント板
上での視点を求める。
【００７６】以上の動作をカメラのレリーズ釦が半押し
される等してＳＷ１がオンになるまで繰り返す。ＳＷ１
がオンになったならば上記の様にして求められた撮影者
のピント板上での視点情報をＡＦ動作・測光等のカメラ
の諸動作にフィードバックする。そしてレリーズの要求
がなされたならば算出された絞り値への絞り駆動、シャ
ッター開閉、フィルム巻上などのレリーズに関する一連
の動作を行なう。
される等してＳＷ１がオンになるまで繰り返す。ＳＷ１
がオンになったならば上記の様にして求められた撮影者
のピント板上での視点情報をＡＦ動作・測光等のカメラ
の諸動作にフィードバックする。そしてレリーズの要求
がなされたならば算出された絞り値への絞り駆動、シャ
ッター開閉、フィルム巻上などのレリーズに関する一連
の動作を行なう。
【００７７】尚、撮影者の視点は常に被写体にあるわけ
ではなく、ある程度ふらついたり画面外の表示を見たり
する。そこで画面外の視点は対象外とする処理を行なっ
たり、実施例１と同様に例えば特開平１−１０９０３０
号公報で提案されている方法等で撮影者の注視点を抽出
するなどの処理を行っている。
ではなく、ある程度ふらついたり画面外の表示を見たり
する。そこで画面外の視点は対象外とする処理を行なっ
たり、実施例１と同様に例えば特開平１−１０９０３０
号公報で提案されている方法等で撮影者の注視点を抽出
するなどの処理を行っている。
【００７８】ついで、瞳孔輪部（瞳孔エッジ）位置Ｄｉ
を求めるルーチンの詳細について述べる。図１０、図１
１にそのフローチャートを示す。
を求めるルーチンの詳細について述べる。図１０、図１
１にそのフローチャートを示す。
【００７９】前述の様に視線検出のルーチンに入るとメ
モリーの内容の初期化、赤外発光ダイオード（ｉＲＥ
Ｄ）の発光、センサーからの信号出力の読み込みを行な
う。そして、その出力信号を基にしてプルキンエ像の検
出を行ない、その結果をメモリーに記憶する。プルキン
エ像の発生個数は投光するｉＲＥＤの個数に一致するの
で複数のｉＲＥＤを用いた本発明の場合は複数のプルキ
ンエ像が生じる。そのセンサー上での座標を（ｈ1 ，ｖ
1 ）（ｈ2 ，ｖ2 ）‥‥（ｈn ，ｖn ）とした場合、垂
直方向の座標ｖ1 ，ｖ2 ‥‥ｖn は本発明の光学系の構
成においては略一致する。
モリーの内容の初期化、赤外発光ダイオード（ｉＲＥ
Ｄ）の発光、センサーからの信号出力の読み込みを行な
う。そして、その出力信号を基にしてプルキンエ像の検
出を行ない、その結果をメモリーに記憶する。プルキン
エ像の発生個数は投光するｉＲＥＤの個数に一致するの
で複数のｉＲＥＤを用いた本発明の場合は複数のプルキ
ンエ像が生じる。そのセンサー上での座標を（ｈ1 ，ｖ
1 ）（ｈ2 ，ｖ2 ）‥‥（ｈn ，ｖn ）とした場合、垂
直方向の座標ｖ1 ，ｖ2 ‥‥ｖn は本発明の光学系の構
成においては略一致する。
【００８０】従って水平方向の瞳孔輪部抽出演算の開始
点は複数のプルキンエ像の水平方向の座標ｈ1 ，ｈ2 ‥
‥ｈn の平均
点は複数のプルキンエ像の水平方向の座標ｈ1 ，ｈ2 ‥
‥ｈn の平均
【００８１】
【数５】 垂直方向の開始点はｖ1 ，ｖ2 ‥‥ｖn のどれかひとつ
から光学的に定められる定数ｖconst を差いたもの例え
ばｖ1 −ｖconst とする。
から光学的に定められる定数ｖconst を差いたもの例え
ばｖ1 −ｖconst とする。
【００８２】この様にすると点（ｈmean，ｖ1 −ｖ
const ）は非常に高い確率で瞳孔内部の点となる。よっ
てｈmean，ｖ1 −ｖconst より水平、垂直各方向の瞳孔
輪部抽出を開始すれば画像全体（全信号）の最低輝度部
分から演算を開始することができ、最低輝度部からの立
上りとなる瞳孔輪部を抽出するのに好都合である。
const ）は非常に高い確率で瞳孔内部の点となる。よっ
てｈmean，ｖ1 −ｖconst より水平、垂直各方向の瞳孔
輪部抽出を開始すれば画像全体（全信号）の最低輝度部
分から演算を開始することができ、最低輝度部からの立
上りとなる瞳孔輪部を抽出するのに好都合である。
【００８３】その後、水平方向の瞳孔輪部検出のルーチ
ンへ入るとまず一ライン分のデーターを読み込み、この
ラインについての瞳孔輪部の位置検出を行なう。読み込
んだ一ライン分のデーターより最大値（ｍａｘ）と最小
値（ｍｉｎｉ）を求める。この二つの量はそれまでに読
み込まれたライン中の最大値最小値であり、全画面中の
最大値、最小値とは必ずしも一致しない。
ンへ入るとまず一ライン分のデーターを読み込み、この
ラインについての瞳孔輪部の位置検出を行なう。読み込
んだ一ライン分のデーターより最大値（ｍａｘ）と最小
値（ｍｉｎｉ）を求める。この二つの量はそれまでに読
み込まれたライン中の最大値最小値であり、全画面中の
最大値、最小値とは必ずしも一致しない。
【００８４】次にＭ．Ｐ．Ｕはｈmean番目の画素から検
出の演算を開始する。まずカウンターを減算することに
より左側の瞳孔輪部の検出が行なわれる。
出の演算を開始する。まずカウンターを減算することに
より左側の瞳孔輪部の検出が行なわれる。
【００８５】Ｍ．Ｐ．Ｕは出力信号がｎ画素に渡って単
調減少しているか否かを調べる。即ち図１０、図１１に
示す様にまず単調減少の開始点にあたる。
調減少しているか否かを調べる。即ち図１０、図１１に
示す様にまず単調減少の開始点にあたる。
【００８６】ｄ〔ｊ〕＜ｄ〔ｊ−１〕＜ｄ〔ｊ−２〕 を満たす点を求め、条件を満たした点をｄｐ１としてメ
モリーに記憶する。ついで ｄ〔ｊ−２〕＜ｄ〔ｊ−３〕＜‥‥‥‥＜ｄ〔ｊ−ｎ〕 を満たす点、即ち（ｎ−２）画素に渡って単調減少して
いる点をさがす。（ｎ−２）画素とすることで前の条件
と合わせｎ画素に渡り単調減少している位置を求めるこ
とになる。
モリーに記憶する。ついで ｄ〔ｊ−２〕＜ｄ〔ｊ−３〕＜‥‥‥‥＜ｄ〔ｊ−ｎ〕 を満たす点、即ち（ｎ−２）画素に渡って単調減少して
いる点をさがす。（ｎ−２）画素とすることで前の条件
と合わせｎ画素に渡り単調減少している位置を求めるこ
とになる。
【００８７】実施例１と同様、この処理は条件を満たし
ている間は、ｊをカウントアップしていき、条件を満た
さなくなったときにそのループを抜け、そのときの位置
をｄｐ２としてメモリーに記憶する。ただし、実施例１
と同様、一度も条件を満たさずにループを抜けたときは
メモリーへの記憶は行なわず、隣りの画素に処理を移
す。
ている間は、ｊをカウントアップしていき、条件を満た
さなくなったときにそのループを抜け、そのときの位置
をｄｐ２としてメモリーに記憶する。ただし、実施例１
と同様、一度も条件を満たさずにループを抜けたときは
メモリーへの記憶は行なわず、隣りの画素に処理を移
す。
【００８８】次いでスロープの最小値にあたるｄｐ２が
それまで読み込まれたラインの最小値（ｍｉｎｉ）に略
等しい値かどうか調べ、さらにスロープの最大値にあた
るｄｐ１がそれまでに読み込まれたラインの最大値と最
小値の平均値（ｍｉｎｉ＋ｍａｘ）／２より小さいかど
うかを調べる。これにより、信号強度が最大値、最小値
の平均値以下である虹彩部から、信号強度が最小値に略
等しい瞳孔部への立ち下りのスロープを検出することが
できる。さらにｄｐ１，ｄｐ２が先に求められたプルキ
ンエ像の周辺に無いかを調べることにより、プルキンエ
像の影響による誤検出を防いでいる。
それまで読み込まれたラインの最小値（ｍｉｎｉ）に略
等しい値かどうか調べ、さらにスロープの最大値にあた
るｄｐ１がそれまでに読み込まれたラインの最大値と最
小値の平均値（ｍｉｎｉ＋ｍａｘ）／２より小さいかど
うかを調べる。これにより、信号強度が最大値、最小値
の平均値以下である虹彩部から、信号強度が最小値に略
等しい瞳孔部への立ち下りのスロープを検出することが
できる。さらにｄｐ１，ｄｐ２が先に求められたプルキ
ンエ像の周辺に無いかを調べることにより、プルキンエ
像の影響による誤検出を防いでいる。
【００８９】以上の四つの条件を満たしたものを瞳孔の
エッジと見なし、ｄｐ１とｄｐ２の平均値を、左側の瞳
孔エッジ情報（ｄｐＬ）として、そのライン番号Ｌとと
もにメモリーに記憶する。四つの条件を満たすものがあ
ったならば、メモリーに記憶したのち反対側（右側）の
瞳孔エッジを検出するルーチンへ移り、逆に条件を満た
さない場合は、隣りの画素に処理を移す。
エッジと見なし、ｄｐ１とｄｐ２の平均値を、左側の瞳
孔エッジ情報（ｄｐＬ）として、そのライン番号Ｌとと
もにメモリーに記憶する。四つの条件を満たすものがあ
ったならば、メモリーに記憶したのち反対側（右側）の
瞳孔エッジを検出するルーチンへ移り、逆に条件を満た
さない場合は、隣りの画素に処理を移す。
【００９０】この反対側の瞳孔エッジを検出するルーチ
ンにおいても同様の処理が行なわれる。即ち、 （２−１）単調増加の開始点にあたるｄ〔ｊ〕＜ｄ〔ｊ
＋１〕＜ｄ〔ｊ＋２〕を満足する点及び単調増加の終了
点にあたるｄ〔ｊ＋２〕＜ｄ〔ｊ＋３〕＜‥‥‥＜ｄ
〔ｊ＋ｎ〕を満足する点が存在する。 （２−２）スロープの最小値にあたるｄｐ１（＝ｄ
〔ｊ〕）が最小値（ｍｉｎｉ）に略等しい。 （２−３）スロープの最大値にあたるｄｐ２（＝ｄ〔ｊ
＋ｎ〕）が最大値（ｍａｘ）と最小値（ｍｉｎｉ）の平
均値以下である。 （２−４）先に求められたプルキンエ像の周辺に無い。
の四つの条件を満たした場合はその位置を瞳孔のエッジ
とみなし、その位置の情報としてｄｐｒ（＝（ｄｐ１＋
ｄｐ２）／２）とライン番号Ｌをメモリーに記憶し、隣
りの画素に処理を移す。
ンにおいても同様の処理が行なわれる。即ち、 （２−１）単調増加の開始点にあたるｄ〔ｊ〕＜ｄ〔ｊ
＋１〕＜ｄ〔ｊ＋２〕を満足する点及び単調増加の終了
点にあたるｄ〔ｊ＋２〕＜ｄ〔ｊ＋３〕＜‥‥‥＜ｄ
〔ｊ＋ｎ〕を満足する点が存在する。 （２−２）スロープの最小値にあたるｄｐ１（＝ｄ
〔ｊ〕）が最小値（ｍｉｎｉ）に略等しい。 （２−３）スロープの最大値にあたるｄｐ２（＝ｄ〔ｊ
＋ｎ〕）が最大値（ｍａｘ）と最小値（ｍｉｎｉ）の平
均値以下である。 （２−４）先に求められたプルキンエ像の周辺に無い。
の四つの条件を満たした場合はその位置を瞳孔のエッジ
とみなし、その位置の情報としてｄｐｒ（＝（ｄｐ１＋
ｄｐ２）／２）とライン番号Ｌをメモリーに記憶し、隣
りの画素に処理を移す。
【００９１】以上の処理を一ラインづつ全画面に渡って
行ない、複数個の瞳孔エッジの位置を求める。
行ない、複数個の瞳孔エッジの位置を求める。
【００９２】全画面の処理が終了したならば、垂直方向
の瞳孔輪部検出のルーチンへ入る。このルーチンにおい
ても（ｖ1 −ｖconst ）を瞳孔輪部抽出演算の開始点と
して、全く同様の処理を行ない、瞳孔輪部を求める。た
だし水平方向の瞳孔輪部検出のルーチンですでに全画面
の信号に対する最大値、最小値が求まっているので、こ
のルーチンにおいてはこの値を用いて演算を行なうため
最大値、最小値を求める演算は省略する。
の瞳孔輪部検出のルーチンへ入る。このルーチンにおい
ても（ｖ1 −ｖconst ）を瞳孔輪部抽出演算の開始点と
して、全く同様の処理を行ない、瞳孔輪部を求める。た
だし水平方向の瞳孔輪部検出のルーチンですでに全画面
の信号に対する最大値、最小値が求まっているので、こ
のルーチンにおいてはこの値を用いて演算を行なうため
最大値、最小値を求める演算は省略する。
【００９３】水平、垂直両方向の瞳孔輪部抽出が終了し
たら、それらの情報のうちから最終的に瞳孔中心Ｄｃ
（ｘ0 ，ｙ0 ）を求める又は／及び瞳孔中心Ｄｃ（ｘ
0 ，ｙ0）を求める際に用いるものを選択する作業を選
択する作業を行なう。これは以下の様にして行なわれ
る。図１２、図１３にその動作手順を示す。
たら、それらの情報のうちから最終的に瞳孔中心Ｄｃ
（ｘ0 ，ｙ0 ）を求める又は／及び瞳孔中心Ｄｃ（ｘ
0 ，ｙ0）を求める際に用いるものを選択する作業を選
択する作業を行なう。これは以下の様にして行なわれ
る。図１２、図１３にその動作手順を示す。
【００９４】まずＭ．Ｐ．Ｕはそれまでに求められた水
平方向の瞳孔輪部位置の情報を用いて水平方向の瞳孔中
心ｄｐｏiを各ライン毎に求めていく、と同時に求めた
ｄｐｏiの個数Ｌをカウントする。
平方向の瞳孔輪部位置の情報を用いて水平方向の瞳孔中
心ｄｐｏiを各ライン毎に求めていく、と同時に求めた
ｄｐｏiの個数Ｌをカウントする。
【００９５】ここで同一ライン上にひとつしか瞳孔輪部
が求められていないものに関しては平均・標準偏差を求
める際には用いないが、後述する推定瞳孔中心瞳孔径に
より定められる範囲内にあるときは有効と見なしそれ以
降の演算の対象としていく。上記の様にして求めた水平
方向の瞳孔中心位置ｄｐｏiを用いて、その平均値ｄｐ
ｏａfirst と標準偏差σfirst を第１実施例と同様に求
める。
が求められていないものに関しては平均・標準偏差を求
める際には用いないが、後述する推定瞳孔中心瞳孔径に
より定められる範囲内にあるときは有効と見なしそれ以
降の演算の対象としていく。上記の様にして求めた水平
方向の瞳孔中心位置ｄｐｏiを用いて、その平均値ｄｐ
ｏａfirst と標準偏差σfirst を第１実施例と同様に求
める。
【００９６】この二つの量を用いて有効とする水平方向
瞳孔中心ｄｐｏiの範囲を ｄｐｏａfirst −ａ×σfirst ≦ｄｐｏi≦ｄｐｏａ
first ＋ａ×σfirst と定める。
瞳孔中心ｄｐｏiの範囲を ｄｐｏａfirst −ａ×σfirst ≦ｄｐｏi≦ｄｐｏａ
first ＋ａ×σfirst と定める。
【００９７】ここでａは任意の定数である。範囲が定め
られたなら、ｄｐｏiがこの範囲内にあるかどうかを調
べ範囲内のものについてはｄｐｏi並びにｄｐｏiを求め
るときに用いた水平方向の両端の瞳孔輪部位置ｄｐ
Ｌi，ｄｐｒiをｄｐｏJ，ｄｐＬJ，ｄｐｒJとして記憶
する。そして同時に選択した個数ｍをカウントする。こ
の操作を求められたｄｐｏiの個数（Ｌ−ｈ）回分繰り
返す。
られたなら、ｄｐｏiがこの範囲内にあるかどうかを調
べ範囲内のものについてはｄｐｏi並びにｄｐｏiを求め
るときに用いた水平方向の両端の瞳孔輪部位置ｄｐ
Ｌi，ｄｐｒiをｄｐｏJ，ｄｐＬJ，ｄｐｒJとして記憶
する。そして同時に選択した個数ｍをカウントする。こ
の操作を求められたｄｐｏiの個数（Ｌ−ｈ）回分繰り
返す。
【００９８】更に選択さらたｄｐｏJ，ｄｐＬJ，ｄｐｒ
Jを用いて再度同様の処理を行なう。即ち選択された水
平方向瞳孔中心ｄｐｏJを用いてその平均値ｄｐｏａ
second、標準偏差σsecondを求めそれによって定められ
る範囲 ｄｐｏａsecond−ａ×σsecond≦ｄｐｏJ≦ｄｐｏａ
second−ａ×σsecond にｄｐｏJがあるかを調べる。
Jを用いて再度同様の処理を行なう。即ち選択された水
平方向瞳孔中心ｄｐｏJを用いてその平均値ｄｐｏａ
second、標準偏差σsecondを求めそれによって定められ
る範囲 ｄｐｏａsecond−ａ×σsecond≦ｄｐｏJ≦ｄｐｏａ
second−ａ×σsecond にｄｐｏJがあるかを調べる。
【００９９】範囲内にあればｄｐｏJに対する水平方向
の両端の瞳孔輪部位置ｄｐＬJ，ｄｐｒJをｄｐＬK，ｄ
ｐｒKとして記憶する。そしてこのときのｄｐｏJを推定
水平方向瞳孔中心ｘpre を求めるためのカウンターに加
算する。また推定垂直方向瞳孔中心ｙpre 推定瞳孔径ｒ
pre を実施例１と同様にして求める。
の両端の瞳孔輪部位置ｄｐＬJ，ｄｐｒJをｄｐＬK，ｄ
ｐｒKとして記憶する。そしてこのときのｄｐｏJを推定
水平方向瞳孔中心ｘpre を求めるためのカウンターに加
算する。また推定垂直方向瞳孔中心ｙpre 推定瞳孔径ｒ
pre を実施例１と同様にして求める。
【０１００】即ち、ｄｐＬJとｄｐｒJの差の絶対値を求
め、それまでに求められている推定瞳孔径ｒpre （ｒ
pre の初期値は零）との比較を行ないａｂｓ（ｄｐＬJ
−ｄｐｒJ）＞ｒpre ならば新たなｒpre としてａｂｓ
（ｄｐＬJ−ｄｐｒJ）を採用する、と同時にこのときの
垂直方向座標を推定垂直方向瞳孔中心ｙpre として記憶
する。この操作は選択されたｄｐｏJの個数（ｍ−ｈ）
回分繰返される。
め、それまでに求められている推定瞳孔径ｒpre （ｒ
pre の初期値は零）との比較を行ないａｂｓ（ｄｐＬJ
−ｄｐｒJ）＞ｒpre ならば新たなｒpre としてａｂｓ
（ｄｐＬJ−ｄｐｒJ）を採用する、と同時にこのときの
垂直方向座標を推定垂直方向瞳孔中心ｙpre として記憶
する。この操作は選択されたｄｐｏJの個数（ｍ−ｈ）
回分繰返される。
【０１０１】このループを抜けたのち、平均ｄｐｏａ
second標準偏差σsecondで定められた範囲（ｄｐｏａ
second−ａ×σsecond≦ｄｐｏJ≦ｄｐｏsecond＋ａ×
σsecond）内にあったｄｐｏJの個数（ｋ−ｈ）でＸpre
を求めるためのカウンターの値を割り推定水平方向瞳
孔中心ｘpre を求める。
second標準偏差σsecondで定められた範囲（ｄｐｏａ
second−ａ×σsecond≦ｄｐｏJ≦ｄｐｏsecond＋ａ×
σsecond）内にあったｄｐｏJの個数（ｋ−ｈ）でＸpre
を求めるためのカウンターの値を割り推定水平方向瞳
孔中心ｘpre を求める。
【０１０２】ついで上記の様にして求められた推定瞳孔
中心位置ｘpre ，ｙpre 推定瞳径ｒpre を用いて行なわ
れる瞳孔エッジ情報の選択について述べる（図６参
照）。Ｍ．Ｐ．Ｕはｘpre ±（ｒpre ／２＋α1 ）、ｙ
pre ±（ｒpre ／２＋α2 ）の範囲内にあるものを選択
する。
中心位置ｘpre ，ｙpre 推定瞳径ｒpre を用いて行なわ
れる瞳孔エッジ情報の選択について述べる（図６参
照）。Ｍ．Ｐ．Ｕはｘpre ±（ｒpre ／２＋α1 ）、ｙ
pre ±（ｒpre ／２＋α2 ）の範囲内にあるものを選択
する。
【０１０３】以上の様にして水平・垂直両方向の瞳孔輪
部の抽出及び選択が終了したならばその情報を用いて瞳
孔中心Ｄｃ（ｘ0 ，ｙ0 ）を求める。その方法としては
瞳孔を円と見なし、最小二乗法を用いるのが有効であ
る。
部の抽出及び選択が終了したならばその情報を用いて瞳
孔中心Ｄｃ（ｘ0 ，ｙ0 ）を求める。その方法としては
瞳孔を円と見なし、最小二乗法を用いるのが有効であ
る。
【０１０４】以上のように実施例１、２ではイメージセ
ンサ（二次元撮像素子）を用いて多数の瞳孔輪部の位置
を求め、水平方向（もしくは垂直方向）同一ライン上で
算出された瞳孔輪部の平均、即ち水平方向（もしくは垂
直方向）の多数の瞳孔中心の、平均値及び標準偏差を求
めこの二つの量によって定められる範囲内のもののみを
有効と見なし、瞳孔中心を求めることにより従来例の問
題点を克服し、眼鏡等によるゴーストが発生したりまぶ
たで瞳孔エッジがけられたりしていても、精度良く瞳孔
中心を検出している。
ンサ（二次元撮像素子）を用いて多数の瞳孔輪部の位置
を求め、水平方向（もしくは垂直方向）同一ライン上で
算出された瞳孔輪部の平均、即ち水平方向（もしくは垂
直方向）の多数の瞳孔中心の、平均値及び標準偏差を求
めこの二つの量によって定められる範囲内のもののみを
有効と見なし、瞳孔中心を求めることにより従来例の問
題点を克服し、眼鏡等によるゴーストが発生したりまぶ
たで瞳孔エッジがけられたりしていても、精度良く瞳孔
中心を検出している。
【０１０５】又、実施例１、２ではイメージセンサ（二
次元撮像素子）を用いて多数の瞳孔輪部の位置を求め、
その情報から撮影者の水平方向、垂直方向の瞳孔中心位
置、瞳孔径を推定し、その推定された諸量により定めら
れる範囲内のもののみを有効と見なし、瞳孔中心を求め
ることにより、従来例の問題点を克服し、眼鏡等による
ゴーストが発生したりまぶたで瞳孔エッジがけられたり
しても、精度良く瞳孔中心を検出している。
次元撮像素子）を用いて多数の瞳孔輪部の位置を求め、
その情報から撮影者の水平方向、垂直方向の瞳孔中心位
置、瞳孔径を推定し、その推定された諸量により定めら
れる範囲内のもののみを有効と見なし、瞳孔中心を求め
ることにより、従来例の問題点を克服し、眼鏡等による
ゴーストが発生したりまぶたで瞳孔エッジがけられたり
しても、精度良く瞳孔中心を検出している。
【０１０６】次に本発明の瞳孔輪部検出方法について説
明する。
明する。
【０１０７】本発明の瞳孔輪部検出方法では、信号を読
み込んだのちまず信号の最大値と最小値を求め、ついで
プルキンエ像位置検出手段からの出力に基づいて定めら
れた演算開始点より演算を開始し、つぎの四つの条件 （３−イ）数画素（３〜５画素）以上連続して単調増
加、単調減少している。 （３−ロ）単調増加の開始点、単調減少の終了点、即ち
スロープの最小値が先に求めた信号の最小値に略等し
い。 （３−ハ）単調増加の終了点、単調減少の終了点、即ち
スロープの最大値が先に求めた信号の最大値、最小値の
平均より小さい。 （３−ニ）単調増加、単調減少の開始点、終了点がプル
キンエ像の近傍にないを満たしたものを虹彩と瞳孔の境
界とすることで、従来例の問題点 （Ａ）信号に含まれるノイズ虹彩の模様、まつ毛照明の
不均一による信号変化、コンタクトレンズのエッジ、眼
鏡によるゴーストにより誤認識をする。 （Ｂ）プルキンエ像が瞳孔の外にある場合、プルキンエ
像を、瞳孔虹彩の境界と誤認識する。 （Ｃ）鉛直方向の検出においては瞳孔がまぶたでけられ
た場合、瞳孔・まぶたの境界を瞳孔・虹彩の境界と誤認
識する。 を解決し、眼球がどの様な状態にあっても良好に瞳孔・
虹彩の境界を検出できる様にしている。
み込んだのちまず信号の最大値と最小値を求め、ついで
プルキンエ像位置検出手段からの出力に基づいて定めら
れた演算開始点より演算を開始し、つぎの四つの条件 （３−イ）数画素（３〜５画素）以上連続して単調増
加、単調減少している。 （３−ロ）単調増加の開始点、単調減少の終了点、即ち
スロープの最小値が先に求めた信号の最小値に略等し
い。 （３−ハ）単調増加の終了点、単調減少の終了点、即ち
スロープの最大値が先に求めた信号の最大値、最小値の
平均より小さい。 （３−ニ）単調増加、単調減少の開始点、終了点がプル
キンエ像の近傍にないを満たしたものを虹彩と瞳孔の境
界とすることで、従来例の問題点 （Ａ）信号に含まれるノイズ虹彩の模様、まつ毛照明の
不均一による信号変化、コンタクトレンズのエッジ、眼
鏡によるゴーストにより誤認識をする。 （Ｂ）プルキンエ像が瞳孔の外にある場合、プルキンエ
像を、瞳孔虹彩の境界と誤認識する。 （Ｃ）鉛直方向の検出においては瞳孔がまぶたでけられ
た場合、瞳孔・まぶたの境界を瞳孔・虹彩の境界と誤認
識する。 を解決し、眼球がどの様な状態にあっても良好に瞳孔・
虹彩の境界を検出できる様にしている。
【０１０８】次に本発明の瞳孔輪部検出方法の実施例１
について説明する。
について説明する。
【０１０９】カメラのメインスイッチ（不図示）がオン
するなどして、視線検出の開始が指示されると、Ｍ．
Ｐ．Ｕ１は視線検出のルーチンへ制御を移す。そのフロ
ーチャートを図１４に示す。
するなどして、視線検出の開始が指示されると、Ｍ．
Ｐ．Ｕ１は視線検出のルーチンへ制御を移す。そのフロ
ーチャートを図１４に示す。
【０１１０】視線検出のルーチンに新たに入ると、まず
初期化の処理を行ない、視線検出に関わる全ての変数を
初期化する。そしてそのときのカメラの姿勢位置（縦位
置か横位置か）の情報を位置センサ６から受け、発光制
御回路５は赤外発光ダイオード（ｉＲＥＤ）７のうちの
どれを発光するかの設定を行なう。同時にＭ．Ｐ．Ｕ１
は、インターフェイス回路３を介して駆動回路４に積分
信号を発光制御回路５に積分信号に同期した発光制御信
号を与える。これによりイメージセンサー４ａの蓄積と
そのときのカメラの位置に対応した赤外発光ダイオード
７ａのイメージセンサー４ａの蓄積に同期した発光が行
なわれる。
初期化の処理を行ない、視線検出に関わる全ての変数を
初期化する。そしてそのときのカメラの姿勢位置（縦位
置か横位置か）の情報を位置センサ６から受け、発光制
御回路５は赤外発光ダイオード（ｉＲＥＤ）７のうちの
どれを発光するかの設定を行なう。同時にＭ．Ｐ．Ｕ１
は、インターフェイス回路３を介して駆動回路４に積分
信号を発光制御回路５に積分信号に同期した発光制御信
号を与える。これによりイメージセンサー４ａの蓄積と
そのときのカメラの位置に対応した赤外発光ダイオード
７ａのイメージセンサー４ａの蓄積に同期した発光が行
なわれる。
【０１１１】ついでイメージセンサー４ａ上に結像した
プルキンエ像の生じた眼球前眼部の画像をインターフェ
イス回路３を介して読み込む。そしてこの画像を処理す
ることにより、プルキンエ像の位置Ｐと複数の瞳孔輪部
（いわゆる瞳孔エッジ）Ｄｉさらには瞳孔中心Ｄｃ（ｘ
0 ，ｙ0 ）を検出する。そして、この検出された諸量よ
り眼球の水平方向、鉛直方向の回転角θH ，θV を算出
する眼球の回転角が算出されたならば視軸補正等の個人
差補正を行ない、撮影者のピント板上での視点を求め
る。
プルキンエ像の生じた眼球前眼部の画像をインターフェ
イス回路３を介して読み込む。そしてこの画像を処理す
ることにより、プルキンエ像の位置Ｐと複数の瞳孔輪部
（いわゆる瞳孔エッジ）Ｄｉさらには瞳孔中心Ｄｃ（ｘ
0 ，ｙ0 ）を検出する。そして、この検出された諸量よ
り眼球の水平方向、鉛直方向の回転角θH ，θV を算出
する眼球の回転角が算出されたならば視軸補正等の個人
差補正を行ない、撮影者のピント板上での視点を求め
る。
【０１１２】以上の動作をカメラのレリーズ釦が半押し
されるなどして、ＳＷ１がオンになるまで繰り返す。Ｓ
Ｗ１がオンになったならば上記の様にして求められた撮
影者のピント板上での視点の情報をＡＦ動作、測光等の
カメラの諸動作にフィードバックする。例えば、ＡＦ動
作においては、Ｍ．Ｐ．Ｕ１はＡＦセンサー８の視点に
対応する部分の信号を用いてＡＦ演算を行ないレンズ駆
動量を求める。その後レンズ駆動ユニット９を制御し、
焦点調整を行なう。
されるなどして、ＳＷ１がオンになるまで繰り返す。Ｓ
Ｗ１がオンになったならば上記の様にして求められた撮
影者のピント板上での視点の情報をＡＦ動作、測光等の
カメラの諸動作にフィードバックする。例えば、ＡＦ動
作においては、Ｍ．Ｐ．Ｕ１はＡＦセンサー８の視点に
対応する部分の信号を用いてＡＦ演算を行ないレンズ駆
動量を求める。その後レンズ駆動ユニット９を制御し、
焦点調整を行なう。
【０１１３】また、測光においてもＭ．Ｐ．Ｕ１は測光
センサー１０の視点に対応する部分の信号に基づき、指
定された撮影モードにしたがって露出定数（シャッター
速度絞り値‥‥）を求める。そしてレリーズの要求がな
されたならば、算出された絞り値への絞り駆動シャッタ
ーの開閉、フィルムの巻き上げなどのレリーズに関する
一連の動作を行なう。
センサー１０の視点に対応する部分の信号に基づき、指
定された撮影モードにしたがって露出定数（シャッター
速度絞り値‥‥）を求める。そしてレリーズの要求がな
されたならば、算出された絞り値への絞り駆動シャッタ
ーの開閉、フィルムの巻き上げなどのレリーズに関する
一連の動作を行なう。
【０１１４】次に瞳孔輪部（瞳孔エッジ）の位置Ｄｉを
求める方法について説明する。図１５はこの瞳孔輪部の
位置Ｄｉを求めるフローチャートである。
求める方法について説明する。図１５はこの瞳孔輪部の
位置Ｄｉを求めるフローチャートである。
【０１１５】前述したように視線検出のルーチンに入る
とメモリー内容の初期化、赤外発光ダイオード（ｉＲＥ
Ｄ）の発光、センサーからの信号出力の読み込み等を行
なう。そしてその出力信号を基にしてプルキンエ像の検
出を行ない、その結果をメモリーに記憶する。
とメモリー内容の初期化、赤外発光ダイオード（ｉＲＥ
Ｄ）の発光、センサーからの信号出力の読み込み等を行
なう。そしてその出力信号を基にしてプルキンエ像の検
出を行ない、その結果をメモリーに記憶する。
【０１１６】ついで水平方向の瞳孔輪部検出のルーチン
へ入ると、まず１ライン分のデーターを読み込み、この
ラインについて瞳孔のエッジの位置検出を行なう。読み
込んだ１ライン分のデータより最大値（ｍａｘ）と最小
値（ｍｉｎｉ）を求める。この二つの量はそれまでに読
み込まれたラインの最大値、最小値であり、全画面中の
最大値、最小値とは必ずしも一致するものではない。
へ入ると、まず１ライン分のデーターを読み込み、この
ラインについて瞳孔のエッジの位置検出を行なう。読み
込んだ１ライン分のデータより最大値（ｍａｘ）と最小
値（ｍｉｎｉ）を求める。この二つの量はそれまでに読
み込まれたラインの最大値、最小値であり、全画面中の
最大値、最小値とは必ずしも一致するものではない。
【０１１７】次にＭ．Ｐ．Ｕは出力信号がｎ画素に渡っ
て単調減少しているか否かを調べる。
て単調減少しているか否かを調べる。
【０１１８】即ち、次式 ｄ〔ｊ〕＞ｄ〔ｊ＋１〕＞ｄ〔ｊ＋２〕＞‥‥‥ ＞ｄ〔ｊ＋ｎ−１〕＞ｄ〔ｊ＋ｎ〕 が成り立つか否かを調べる。
【０１１９】ついでそのスロープの最小値にあたるｄ
〔ｊ＋ｎ〕がそれまでに読み込まれたラインの最小値
（ｍｉｎｉ）に略等しい値かどうか、即ちｄ〔ｊ＋ｎ〕
≦ｍｉｎｉ＋ｃが成り立つかどうかを調べる。
〔ｊ＋ｎ〕がそれまでに読み込まれたラインの最小値
（ｍｉｎｉ）に略等しい値かどうか、即ちｄ〔ｊ＋ｎ〕
≦ｍｉｎｉ＋ｃが成り立つかどうかを調べる。
【０１２０】更に、そのスロープの最大値にあたるｄ
〔ｊ〕がそれまでに読み込まれたラインの最大値、最小
値の平均値（ｍｉｎｉ＋ｍａｘ）／２より小さいかどう
かを調べる。これにより信号強度が最大値（ｍａｘ）最
小値（ｍｉｎｉ）の平均値以下である虹彩部から信号強
度が最小値に等しい瞳孔部への立下りのスロープを検出
することができる。
〔ｊ〕がそれまでに読み込まれたラインの最大値、最小
値の平均値（ｍｉｎｉ＋ｍａｘ）／２より小さいかどう
かを調べる。これにより信号強度が最大値（ｍａｘ）最
小値（ｍｉｎｉ）の平均値以下である虹彩部から信号強
度が最小値に等しい瞳孔部への立下りのスロープを検出
することができる。
【０１２１】更にこの点が先に求められたプルキンエ像
の周辺に無いかどうかを調べることにより、プルキンエ
像の影響による誤検出（プルキンエ像周辺部でその影響
により瞳孔内部の信号が凸状になることによって、その
凸部を瞳孔エッジと誤することがある）を防いでいる。
以上の四つの条件を満たしたものは瞳孔のエッジとみな
し、瞳孔エッジ情報としてそのライン番号Ｌと画素番号
（ｉ＋ｎ）をメモリーに記憶する。
の周辺に無いかどうかを調べることにより、プルキンエ
像の影響による誤検出（プルキンエ像周辺部でその影響
により瞳孔内部の信号が凸状になることによって、その
凸部を瞳孔エッジと誤することがある）を防いでいる。
以上の四つの条件を満たしたものは瞳孔のエッジとみな
し、瞳孔エッジ情報としてそのライン番号Ｌと画素番号
（ｉ＋ｎ）をメモリーに記憶する。
【０１２２】そのうちＭ．Ｐ．Ｕは反対側の瞳孔エッジ
と検出するルーチンへ移る。逆に条件を満たさない場合
は隣りの画素に処理を移す。
と検出するルーチンへ移る。逆に条件を満たさない場合
は隣りの画素に処理を移す。
【０１２３】この反対側の瞳孔エッジを検出するルーチ
ンにおいても同様の処理が行なわれる。即ち、 （３−１）ｎ画素に渡って単調増加している。 （３−２）スロープの最小値にあたるｄ〔ｊ〕が最小値
（ｍｉｎｉ）に略等しい。 （３−３）スロープの最大値ｄ〔ｊ＋ｎ〕が最大値（ｍ
ａｘ）と最小値（ｍｉｎｉ）の平均値以下である。 （３−４）先に求められたプルキンエ像の周辺にない。
の四つの条件を満たした場合は、その位置を瞳孔のエッ
ジとみなし、瞳孔エッジ情報として、そのライン番号Ｌ
と、画素番号（ｊ）をメモリーに記憶し、隣りの画素に
処理を移す。
ンにおいても同様の処理が行なわれる。即ち、 （３−１）ｎ画素に渡って単調増加している。 （３−２）スロープの最小値にあたるｄ〔ｊ〕が最小値
（ｍｉｎｉ）に略等しい。 （３−３）スロープの最大値ｄ〔ｊ＋ｎ〕が最大値（ｍ
ａｘ）と最小値（ｍｉｎｉ）の平均値以下である。 （３−４）先に求められたプルキンエ像の周辺にない。
の四つの条件を満たした場合は、その位置を瞳孔のエッ
ジとみなし、瞳孔エッジ情報として、そのライン番号Ｌ
と、画素番号（ｊ）をメモリーに記憶し、隣りの画素に
処理を移す。
【０１２４】逆に条件を満たさなかった場合も、隣りの
画素に処理を移す。これにより、メモリーには、最後に
見つかった瞳孔エッジ、即ち最も外側のエッジの位置情
報が記憶されることになる。先に求めたもう一方の瞳孔
エッジは初めに見つかったものであり、これも最も外側
の瞳孔エッジにあたる（図５参照） 以上の処理を１ラインづつ全画面に渡って行ない、複数
個の瞳孔エッジの位置を求める。
画素に処理を移す。これにより、メモリーには、最後に
見つかった瞳孔エッジ、即ち最も外側のエッジの位置情
報が記憶されることになる。先に求めたもう一方の瞳孔
エッジは初めに見つかったものであり、これも最も外側
の瞳孔エッジにあたる（図５参照） 以上の処理を１ラインづつ全画面に渡って行ない、複数
個の瞳孔エッジの位置を求める。
【０１２５】全画面の処理が終了したならば鉛直方向の
瞳孔輪部検出のルーチンへ入る。このルーチンにおいて
も全く同様の処理を行ない瞳孔輪部を求める。
瞳孔輪部検出のルーチンへ入る。このルーチンにおいて
も全く同様の処理を行ない瞳孔輪部を求める。
【０１２６】ただし、水平方向の瞳孔輪部検出のルーチ
ンですでに全画面の信号に対する最大値、最小値が求ま
っているので、このルーチンにおいてはこの値を演算に
もちいるので、最大値、最小値を求める演算は省略す
る。
ンですでに全画面の信号に対する最大値、最小値が求ま
っているので、このルーチンにおいてはこの値を演算に
もちいるので、最大値、最小値を求める演算は省略す
る。
【０１２７】水平、鉛直、両方向の瞳孔輪部抽出が終了
したならば、それらの情報を用いて瞳孔の中心Ｄｃ（ｘ
0 ，ｙ0 ）を求める。その方法としては瞳孔を円とみな
し、最小二乗法を用いるのが有効である。
したならば、それらの情報を用いて瞳孔の中心Ｄｃ（ｘ
0 ，ｙ0 ）を求める。その方法としては瞳孔を円とみな
し、最小二乗法を用いるのが有効である。
【０１２８】次に本発明の瞳孔輪部検出方法の実施例２
について説明する。
について説明する。
【０１２９】本実施例は瞳孔のエッジのスロープの開始
点と終了点を求め、その平均値を瞳孔のエッジ位置とす
るところに特徴がある。本実施例の構成の概略は図１と
同様である。動作の概略のフローチャートは図１４と同
様である。
点と終了点を求め、その平均値を瞳孔のエッジ位置とす
るところに特徴がある。本実施例の構成の概略は図１と
同様である。動作の概略のフローチャートは図１４と同
様である。
【０１３０】瞳孔輪部検出方法の実施例１と同様に視線
検出の開始が指示され、視線検出のルーチンへ新たに入
ると、まず初期化の処理を行ない視線検出に関わる全て
の変数を初期化する。そしてそのときのカメラの姿勢位
置の情報を位置センサ６から受け、発行制御回路５は赤
外発光ダイオード（ｉＲＥＤ）７のうちのどれを発光す
るかの設定を行なう。同時にＭ．Ｐ．Ｕ１はインターフ
ェイス回路３を介してイメージセンサー駆動回路４に積
分信号を発光制御回路５に積分信号に同期した発光制御
信号を与える。これによりイメージセンサーの蓄積と、
そのときのカメラの位置に対応した赤外発光ダイオード
のイメージセンサーの蓄積に同期した発光が行なわれ
る。
検出の開始が指示され、視線検出のルーチンへ新たに入
ると、まず初期化の処理を行ない視線検出に関わる全て
の変数を初期化する。そしてそのときのカメラの姿勢位
置の情報を位置センサ６から受け、発行制御回路５は赤
外発光ダイオード（ｉＲＥＤ）７のうちのどれを発光す
るかの設定を行なう。同時にＭ．Ｐ．Ｕ１はインターフ
ェイス回路３を介してイメージセンサー駆動回路４に積
分信号を発光制御回路５に積分信号に同期した発光制御
信号を与える。これによりイメージセンサーの蓄積と、
そのときのカメラの位置に対応した赤外発光ダイオード
のイメージセンサーの蓄積に同期した発光が行なわれ
る。
【０１３１】ついでイメージセンサー４上に結像したプ
ルキンエ像の生じた眼球前眼部の画像をインターフェイ
ス回路３を介して読み込む。そしてこの画像を処理する
ことにより、プルキンエ像の位置Ｐと複数の瞳孔輪部
（いわゆる瞳孔エッジ）Ｄｉ又は／及び瞳孔中心Ｄｃ
（ｘ0 ，ｙ0 ）を検出する。そしてこの検出された諸量
より眼球の水平方向、鉛直方向の回転角θH ，θV を算
出する。眼球の回転角が算出されたならば視軸補正など
の個人差補正を行ない、撮影者のピント板上での視点を
求める。
ルキンエ像の生じた眼球前眼部の画像をインターフェイ
ス回路３を介して読み込む。そしてこの画像を処理する
ことにより、プルキンエ像の位置Ｐと複数の瞳孔輪部
（いわゆる瞳孔エッジ）Ｄｉ又は／及び瞳孔中心Ｄｃ
（ｘ0 ，ｙ0 ）を検出する。そしてこの検出された諸量
より眼球の水平方向、鉛直方向の回転角θH ，θV を算
出する。眼球の回転角が算出されたならば視軸補正など
の個人差補正を行ない、撮影者のピント板上での視点を
求める。
【０１３２】以上の動作をカメラのレリーズ釦が半押し
されるなどして、ＳＷ１がオンになるまで繰返す。ＳＷ
１がオンになったならば上記の様にして求められた撮影
者のピント板上での視点の情報をＡＦ動作、測光等のカ
メラの諸動作にフィードバックする。例えば、ＡＦ動作
においては、Ｍ．Ｐ．Ｕ１はＡＦセンサー８の視点に対
応する部分の信号を用いてＡＦ演算を行ないレンズ駆動
量を求める。その後レンズ駆動ユニット９を制御し、焦
点調整を行なう。
されるなどして、ＳＷ１がオンになるまで繰返す。ＳＷ
１がオンになったならば上記の様にして求められた撮影
者のピント板上での視点の情報をＡＦ動作、測光等のカ
メラの諸動作にフィードバックする。例えば、ＡＦ動作
においては、Ｍ．Ｐ．Ｕ１はＡＦセンサー８の視点に対
応する部分の信号を用いてＡＦ演算を行ないレンズ駆動
量を求める。その後レンズ駆動ユニット９を制御し、焦
点調整を行なう。
【０１３３】また、測光においてもＭ．Ｐ．Ｕ１は測光
センサー１０の視点に対応する部分の信号に基づき、指
定された撮影モードにしたがって露出定数（シャッター
速度絞り値‥‥）を求める。そしてレリーズの要求がな
されたならば、算出された絞り値への絞り駆動シャッタ
ーの開閉、フィルムの巻き上げなどのレリーズに関する
一連の動作を行なう。
センサー１０の視点に対応する部分の信号に基づき、指
定された撮影モードにしたがって露出定数（シャッター
速度絞り値‥‥）を求める。そしてレリーズの要求がな
されたならば、算出された絞り値への絞り駆動シャッタ
ーの開閉、フィルムの巻き上げなどのレリーズに関する
一連の動作を行なう。
【０１３４】ついで、瞳孔輪部（瞳孔エッジ）位置Ｄｉ
を求めるルーチンの詳細について述べる。図１６、図１
７にそのフローチャートを示す。
を求めるルーチンの詳細について述べる。図１６、図１
７にそのフローチャートを示す。
【０１３５】前述の様に視線検出のルーチンに入ると、
メモリー内容の初期化、赤外発光ダイオード（ｉＲＥ
Ｄ）の発光センサーからの信号出力の読み込みを行な
う。そしてその出力信号を基にしてプルキンエ像の検出
を行ない、その結果をメモリーに記憶する。
メモリー内容の初期化、赤外発光ダイオード（ｉＲＥ
Ｄ）の発光センサーからの信号出力の読み込みを行な
う。そしてその出力信号を基にしてプルキンエ像の検出
を行ない、その結果をメモリーに記憶する。
【０１３６】水平方向の瞳孔輪部検出のルーチンに入る
と、まず１ライン分のデーターを読み込み、このライン
について瞳孔のエッジの位置検出を行なう。読み込んだ
１ライン分のデータより最大値（ｍａｘ）を最小値（ｍ
ｉｎｉ）を求める。この二つの量はそれまでに読み込ま
れたラインの最大値、最小値であり、全画面中の最大
値、最小値とは必ずしも一致するものではない。
と、まず１ライン分のデーターを読み込み、このライン
について瞳孔のエッジの位置検出を行なう。読み込んだ
１ライン分のデータより最大値（ｍａｘ）を最小値（ｍ
ｉｎｉ）を求める。この二つの量はそれまでに読み込ま
れたラインの最大値、最小値であり、全画面中の最大
値、最小値とは必ずしも一致するものではない。
【０１３７】次にＭ．Ｐ．Ｕは出力信号がｎ画素に渡っ
て単調減少しているか否かを調べる。
て単調減少しているか否かを調べる。
【０１３８】即ち、図５に示す様にまず単調減少の開始
点にあたる。
点にあたる。
【０１３９】ｄ〔ｊ〕＞ｄ〔ｊ＋１〕＞ｄ〔ｊ＋２〕 を満たす点を求め、条件を満たした点をｄｐ１としてメ
モリーに記憶する。ついで ｄ〔ｊ＋２〕＞ｄ〔ｊ＋３〕＞‥‥‥ｄ〔ｊ＋ｎ〕 を満たす点、即ち（ｎ−２）画素に渡って単調減少して
いる点をさがす。（ｎ−２）画素とすることで前の条件
と合わせｎ画素に渡り単調減少している位置を求めるこ
とになる。
モリーに記憶する。ついで ｄ〔ｊ＋２〕＞ｄ〔ｊ＋３〕＞‥‥‥ｄ〔ｊ＋ｎ〕 を満たす点、即ち（ｎ−２）画素に渡って単調減少して
いる点をさがす。（ｎ−２）画素とすることで前の条件
と合わせｎ画素に渡り単調減少している位置を求めるこ
とになる。
【０１４０】二つめの条件に関する処理は、条件を満た
している間はｊをカウントアップしていき、条件を満た
さなくなったときに、そのループを抜け、そのときの位
置をｄｐ２としてメモリーに記憶する。ただし一度も条
件を満たさずにループを抜けたときは、メモリーへの記
憶を行なわず、隣りの画素に処理を移す。
している間はｊをカウントアップしていき、条件を満た
さなくなったときに、そのループを抜け、そのときの位
置をｄｐ２としてメモリーに記憶する。ただし一度も条
件を満たさずにループを抜けたときは、メモリーへの記
憶を行なわず、隣りの画素に処理を移す。
【０１４１】次いでスロープの最小値にあたるｄｐ２が
それまで読み込まれたラインの最小値（ｍｉｎｉ）に略
等しい値かどうか調べ、さらにスロープの最大値にあた
るｄｐ１がそれまでに読み込まれたラインの最大値と最
小値の平均値（ｍｉｎｉ＋ｍａｘ）／２より小さいかど
うかを調べる。これにより、信号強度が最大値、最小値
の平均値以下である虹彩部から、信号強度が最小値に略
等しい瞳孔部への立ち下りのスロープを検出することが
できる。更にｄｐ１，ｄｐ２が先に求められたプルキン
エ像の周辺に無いかを調べることにより、プルキンエ像
の影響による誤検出を防いでいる。
それまで読み込まれたラインの最小値（ｍｉｎｉ）に略
等しい値かどうか調べ、さらにスロープの最大値にあた
るｄｐ１がそれまでに読み込まれたラインの最大値と最
小値の平均値（ｍｉｎｉ＋ｍａｘ）／２より小さいかど
うかを調べる。これにより、信号強度が最大値、最小値
の平均値以下である虹彩部から、信号強度が最小値に略
等しい瞳孔部への立ち下りのスロープを検出することが
できる。更にｄｐ１，ｄｐ２が先に求められたプルキン
エ像の周辺に無いかを調べることにより、プルキンエ像
の影響による誤検出を防いでいる。
【０１４２】以上の四つの条件を満たしたものを瞳孔の
エッジと見なし、ｄｐ１とｄｐ２の平均値を、瞳孔エッ
ジ情報（ｄｐＬ）として、そのライン番号Ｌとともにメ
モリーに記憶する。四つの条件を満たすものがあったな
らば、メモリーに記憶したのち反対側の瞳孔エッジを検
出するルーチンへ移り、逆に条件を満たさない場合は、
隣りの画素に処理を移す。
エッジと見なし、ｄｐ１とｄｐ２の平均値を、瞳孔エッ
ジ情報（ｄｐＬ）として、そのライン番号Ｌとともにメ
モリーに記憶する。四つの条件を満たすものがあったな
らば、メモリーに記憶したのち反対側の瞳孔エッジを検
出するルーチンへ移り、逆に条件を満たさない場合は、
隣りの画素に処理を移す。
【０１４３】この反対側の瞳孔エッジを検出するルーチ
ンにおいても同様の処理が行なわれる。即ち、 （４−１）単調増加の開始点にあたるｄ〔ｊ〕＜ｄ〔ｊ
＋１〕＜ｄ〔ｊ＋２〕を満足する点及び単調増加の終了
点にあたるｄ〔ｊ＋２〕＜ｄ〔ｊ＋３〕＜‥‥‥‥＜ｄ
〔ｊ＋ｎ〕を満足する点が存在する。 （４−２）スロープの最小値にあたるｄｐ１（＝ｄ
〔ｊ〕）が最小値 （ｍｉｎｉ）に略等しい。 （４−３）スロープの最大値にあたるｄｐ２（＝ｄ〔ｊ
＋ｎ〕）が最大値（ｍａｘ）と最小値（ｍｉｎｉ）の平
均値以下である。 （４−４）先に求められたプルキンエ像の周辺に無い。
の四つの条件を満たした場合はその位置を瞳孔のエッジ
とみなし、その位置の情報としてｄｐｒ（＝（ｄｐ１＋
ｄｐ２）／２）とライン番号Ｌをメモリーに記憶し、隣
りの画素に処理を移す。
ンにおいても同様の処理が行なわれる。即ち、 （４−１）単調増加の開始点にあたるｄ〔ｊ〕＜ｄ〔ｊ
＋１〕＜ｄ〔ｊ＋２〕を満足する点及び単調増加の終了
点にあたるｄ〔ｊ＋２〕＜ｄ〔ｊ＋３〕＜‥‥‥‥＜ｄ
〔ｊ＋ｎ〕を満足する点が存在する。 （４−２）スロープの最小値にあたるｄｐ１（＝ｄ
〔ｊ〕）が最小値 （ｍｉｎｉ）に略等しい。 （４−３）スロープの最大値にあたるｄｐ２（＝ｄ〔ｊ
＋ｎ〕）が最大値（ｍａｘ）と最小値（ｍｉｎｉ）の平
均値以下である。 （４−４）先に求められたプルキンエ像の周辺に無い。
の四つの条件を満たした場合はその位置を瞳孔のエッジ
とみなし、その位置の情報としてｄｐｒ（＝（ｄｐ１＋
ｄｐ２）／２）とライン番号Ｌをメモリーに記憶し、隣
りの画素に処理を移す。
【０１４４】以上の処理を一ラインづつ全画面に渡って
行ない、複数個の瞳孔エッジの位置を求める。
行ない、複数個の瞳孔エッジの位置を求める。
【０１４５】全画面の処理が終了したならば、鉛直方向
の瞳孔輪部検出のルーチンへ入る。このルーチンにおい
ても全く同様の処理を行ない瞳孔輪部を求める。ただし
水平方向の瞳孔輪部検出のルーチンですでに全画面の信
号に対する最大値、最小値が求まっているので、このル
ーチンにおいてはこの値を演算に用いているので最大
値、最小値の算出は行なわない。
の瞳孔輪部検出のルーチンへ入る。このルーチンにおい
ても全く同様の処理を行ない瞳孔輪部を求める。ただし
水平方向の瞳孔輪部検出のルーチンですでに全画面の信
号に対する最大値、最小値が求まっているので、このル
ーチンにおいてはこの値を演算に用いているので最大
値、最小値の算出は行なわない。
【０１４６】水平、鉛直両方向の瞳孔輪部抽出が終了し
たならば、それらの情報を用いて瞳孔中心Ｄｃ（ｘ0 ，
ｙ0 ）を求める。その方法としては、瞳孔を円とみな
し、最小二乗法を用いるのが有効である。
たならば、それらの情報を用いて瞳孔中心Ｄｃ（ｘ0 ，
ｙ0 ）を求める。その方法としては、瞳孔を円とみな
し、最小二乗法を用いるのが有効である。
【０１４７】以上のように本発明の瞳孔輪部検出方法の
実施例１、２では （４−イ）ｎ画素以上連続して単調増加、単調減少して
いる。 （４−ロ）スロープの最小値が全信号の最小値に略等し
い。 （４−ハ）スロープの最大値が全信号の最大値と最小値
の平均値以下である。 （４−ニ）先に求められたプルキンエ像の周辺に無い。
の四つの条件を満たすものを、瞳孔エッジとすることで
従来例の問題点を解決し、精度良く瞳孔のエッジを抽出
している。
実施例１、２では （４−イ）ｎ画素以上連続して単調増加、単調減少して
いる。 （４−ロ）スロープの最小値が全信号の最小値に略等し
い。 （４−ハ）スロープの最大値が全信号の最大値と最小値
の平均値以下である。 （４−ニ）先に求められたプルキンエ像の周辺に無い。
の四つの条件を満たすものを、瞳孔エッジとすることで
従来例の問題点を解決し、精度良く瞳孔のエッジを抽出
している。
【０１４８】
【発明の効果】本発明によれば以上のように眼球からの
反射光束に基づく各特異点に基づくイメージセンサー
（２次元撮像素子）から得られる信号を適切に処理する
ことにより瞳孔中心や瞳孔輪部を高精度に検出し、即ち
眼球の視線を高精度に検出することができる瞳孔中心検
出方法及び瞳孔輪部検出方法を得ることができる。
反射光束に基づく各特異点に基づくイメージセンサー
（２次元撮像素子）から得られる信号を適切に処理する
ことにより瞳孔中心や瞳孔輪部を高精度に検出し、即ち
眼球の視線を高精度に検出することができる瞳孔中心検
出方法及び瞳孔輪部検出方法を得ることができる。
【図１】 本発明を一眼レフカメラに適用したときの
要部ブロック図
要部ブロック図
【図２】 本発明を一眼レフカメラに適用したときの
要部概略図
要部概略図
【図３】 本発明における視線検出のフローチャート
【図４】 本発明における瞳孔中心位置の検出の実施
例１のフローチャート図
例１のフローチャート図
【図５】 本発明におけるイメージセンサで得られる
信号の説明図
信号の説明図
【図６】 本発明における瞳孔中心を検出するフロー
チャート図
チャート図
【図７】 本発明における瞳孔中心を検出するフロー
チャート図
チャート図
【図８】 本発明における推定瞳孔中心位置と推定瞳
孔径を用いて瞳孔エッジ選択を行うフローチャート図
孔径を用いて瞳孔エッジ選択を行うフローチャート図
【図９】 本発明における推定瞳孔中心位置と推定瞳
孔径を用いて瞳孔エッジ選択を行うフローチャート図
孔径を用いて瞳孔エッジ選択を行うフローチャート図
【図１０】 本発明における瞳孔中心位置検出の実施例
２のフローチャート図
２のフローチャート図
【図１１】 本発明における瞳孔中心位置検出の実施例
２のフローチャート図
２のフローチャート図
【図１２】 本発明における瞳孔エッジ選択を行うフロ
ーチャート図
ーチャート図
【図１３】 本発明における瞳孔エッジ選択を行うフロ
ーチャート図
ーチャート図
【図１４】 本発明における視線検出の他のフローチャ
ート
ート
【図１５】 本発明における瞳孔輪部位置の検出の実施
例１のフローチャート
例１のフローチャート
【図１６】 本発明における瞳孔輪部位置の検出の実施
例２のフローチャート
例２のフローチャート
【図１７】 本発明における瞳孔輪部位置の検出の実施
例２のフローチャート
例２のフローチャート
【図１８】 従来の視線検出装置の要部概略図
【図１９】 図１８の一部分の説明図
【図２０】 図１８のセンサーから得られる信号波形図
【図２１】 図１８のセンサーから得られる信号波形図
【図２２】 図１８のセンサーから得られる信号波形図
【図２３】 図１８のセンサーから得られる信号波形図
１ マイクロプロセッシングユニット ２ メモリ ３ インターフェイス回路 ４ 検出手段 ４ａ イメージセンサ ４ｂ 駆動回路 ４ｃ 受光レンズ ５ 発光制御回路 ６ 位置センサ ７ 投光手段 ７ａ 発光ダイオード ７ｂ 投光レンズ ８ ＡＦセンサー １０ 測光センサー
Claims (13)
- 【請求項１】 投光手段からの光束を眼球に入射させ、
該眼球からの反射光束に基づく像を利用して、該眼球の
瞳孔中心の位置を検出する際、多数の瞳孔輪部位置を求
め、次いで該多数の瞳孔輪部位置の平均値と標準偏差を
求め、これらの量によって定められる範囲内の値を用い
て瞳孔中心の検出を行ったことを特徴とする瞳孔中心検
出方法。 - 【請求項２】 投光手段からの光束を眼球に入射させ、
該眼球からの反射光束に基づく像を利用して、該眼球の
瞳孔中心の位置を検出する際、該眼球に対して水平方向
と垂直方向の同一ライン上で検出された対の瞳孔輪部位
置の平均値より該眼球の瞳孔中心の検出を行ったことを
特徴とする瞳孔中心検出方法。 - 【請求項３】 投光手段からの光束を眼球に入射させ、
該眼球からの反射光束に基づく像を利用して該眼球の瞳
孔中心の位置を検出する際、該眼球に対して水平方向と
垂直方向の多数の瞳孔中心位置を求め、次いで該多数の
瞳孔中心位置の平均値と標準偏差を求め、これらの量に
よって定められる範囲内の値を用いて瞳孔中心の検出を
行ったことを特徴とする瞳孔中心検出方法。 - 【請求項４】 投光手段からの光束を眼球に入射させ、
該眼球からの反射光束に基づく像を利用して該眼球の瞳
孔中心の位置を検出する際、多数の瞳孔輪部位置を求
め、次いで該多数の瞳孔輪部位置の情報を用いて該眼球
の瞳孔中心位置と瞳孔径を推定し、該推定した瞳孔中心
位置と瞳孔径によって定められた範囲内の値を用いて瞳
孔中心の検出を行ったことを特徴とする瞳孔中心検出方
法。 - 【請求項５】 投光手段からの光束を眼球に入射させ、
該眼球からの反射光束に基づく像を複数のセンサーより
成る検出手段で検出し、該検出手段からの出力信号を用
いて該眼球の瞳孔輪部の位置を検出する際、該センサー
からの出力信号が数画素以上連続して単調増加又は単調
減少している位置を瞳孔輪部の位置として検出するよう
にしたことを特徴とする瞳孔輪部検出方法。 - 【請求項６】 投光手段からの光束を眼球に入射させ、
該眼球からの反射光束に基づく像を複数のセンサーより
成る検出手段で検出し、該検出手段からの出力信号を用
いて該眼球の瞳孔輪部の位置を検出する際、該センサー
からの出力信号のうち最小値を求め、該センサーからの
出力信号が数画素以上連続して単調増加している部分の
開始点と数画素以上連続して単調減少している部分の終
了点が該最小値に略等しいときに該単調増加と単調減少
している位置を瞳孔輪部として検出するようにしたこと
を特徴とする瞳孔輪部検出方法。 - 【請求項７】 投光手段からの光束を眼球に入射させ、
該眼球からの反射光束に基づく像を複数のセンサーより
成る検出手段で検出し、該検出手段からの出力信号を用
いて該眼球の瞳孔輪部の位置を検出する際、該センサー
からの出力信号のうち最大値と最小値を求め、該センサ
ーからの出力信号が数画素以上連続して単調増加してい
る部分の終了点と数画素以上連続して単調減少している
部分の終了点が該最大値と最小値の平均値より小さいと
きに該単調増加と単調減少している位置を瞳孔輪部とし
て検出するようにしたことを特徴とする瞳孔輪部検出方
法。 - 【請求項８】 投光手段からの光束を眼球に入射させ、
該眼球からの反射光束に基づくプルキンエ像を複数のセ
ンサーより成る検出手段で検出し、該検出手段からの出
力信号を用いて該眼球の瞳孔輪部の位置を検出する際、
該プルキンエ像の位置を求め、該センサーからの出力信
号が数画素以上連続して単調増加している部分の開始点
と終了点が共に該プルキンエ像の近傍にないとき、該セ
ンサーからの出力信号が数画素以上連続して単調減少し
ている部分の開始点と終了点が共に該プルキンエ像近傍
にないとき、該単調増加と単調減少している位置を瞳孔
輪部の位置として検出するようにしたことを特徴とする
瞳孔輪部検出方法。 - 【請求項９】 投光手段からの光束を眼球に入射させ、
該眼球からの反射光束に基づく像を利用して、該眼球の
瞳孔輪部の位置を検出する際、該眼球に対して水平方向
と垂直方向の出力信号に同様の信号処理、演算を行うこ
とにより瞳孔輪部の位置を求めるようにしたことを特徴
とする瞳孔輪部検出方法。 - 【請求項１０】 投光手段からの光束を眼球に入射さ
せ、該眼球からの反射光束に基づくプルキンエ像を利用
して、該眼球の瞳孔輪部の位置を検出する際、該プルキ
ンエ像の位置の検出結果に基づいて、該瞳孔輪部の位置
の検出演算の開始点としたことを特徴とする瞳孔輪部検
出方法。 - 【請求項１１】 前記瞳孔輪部の位置の検出演算の開始
点を複数のプルキンエ像の位置の平均値としたことを特
徴とする請求項１０の瞳孔輪部検出方法。 - 【請求項１２】 前記瞳孔輪部の位置の検出演算の開始
点を複数のプルキンエ像の位置の１つとしたことを特徴
とする請求項１０の瞳孔輪部検出方法。 - 【請求項１３】 投光手段からの光束を眼球に入射さ
せ、該眼球からの反射光束に基づく像を検出手段で検出
し、該検出手段からの信号を利用して、該眼球の瞳孔輪
部の位置を検出する際、該検出手段で得られる全信号の
うち最低輝度部分を推定し、該推定した部分より瞳孔輪
部の位置の検出演算を開始したことを特徴とする瞳孔輪
部検出方法。
Priority Applications (5)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP12006292A JP3214057B2 (ja) | 1992-04-14 | 1992-04-14 | 瞳孔中心検出方法、瞳孔中心検出装置、瞳孔輪部検出方法および瞳孔輪部検出装置 |
| US08/045,194 US5469234A (en) | 1992-04-14 | 1993-04-13 | Method of detecting eye component information for determining sight axis direction, and sight axis direction detection apparatus |
| US08/430,855 US5657109A (en) | 1992-04-14 | 1995-04-28 | Method of detecting eye component information for determining sight axis direction and sight axis direction detection apparatus |
| US08/431,293 US5652641A (en) | 1992-04-14 | 1995-04-28 | Method of detecting eye component information for determining sight axis direction, and sight axis direction detection apparatus |
| US08/431,300 US5657110A (en) | 1992-04-14 | 1995-04-28 | Method of detecting eye component information for determining sight axis direction, and sight axis direction detection apparatus |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP12006292A JP3214057B2 (ja) | 1992-04-14 | 1992-04-14 | 瞳孔中心検出方法、瞳孔中心検出装置、瞳孔輪部検出方法および瞳孔輪部検出装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH05285113A true JPH05285113A (ja) | 1993-11-02 |
| JP3214057B2 JP3214057B2 (ja) | 2001-10-02 |
Family
ID=14776947
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP12006292A Expired - Fee Related JP3214057B2 (ja) | 1992-04-14 | 1992-04-14 | 瞳孔中心検出方法、瞳孔中心検出装置、瞳孔輪部検出方法および瞳孔輪部検出装置 |
Country Status (2)
| Country | Link |
|---|---|
| US (4) | US5469234A (ja) |
| JP (1) | JP3214057B2 (ja) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP0694281A1 (en) * | 1994-07-29 | 1996-01-31 | Canon Kabushiki Kaisha | Viewpoint detecting device |
| JP2004518497A (ja) * | 2001-02-21 | 2004-06-24 | カール ツァイス イェナ ゲーエムベーハー | 前眼部における距離決定方法 |
| CN105816148A (zh) * | 2015-01-28 | 2016-08-03 | 视乐有限公司 | 对眼睛进行测量的系统及其控制方法 |
Families Citing this family (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP3214057B2 (ja) * | 1992-04-14 | 2001-10-02 | キヤノン株式会社 | 瞳孔中心検出方法、瞳孔中心検出装置、瞳孔輪部検出方法および瞳孔輪部検出装置 |
| JP3490520B2 (ja) * | 1994-12-12 | 2004-01-26 | 株式会社ニデック | 眼科装置 |
| US5790234A (en) * | 1995-12-27 | 1998-08-04 | Canon Kabushiki Kaisha | Eyeball detection apparatus |
| US6036316A (en) * | 1996-10-02 | 2000-03-14 | Canon Kabushiki Kaisha | Visual axis detecting device and apparatus including visual axis detecting device |
| US6027216A (en) * | 1997-10-21 | 2000-02-22 | The Johns University School Of Medicine | Eye fixation monitor and tracker |
| US20040015098A1 (en) * | 2002-07-19 | 2004-01-22 | Souvestre Philippe A. | Dynamic ocular visual monitoring system |
| DE102006053098A1 (de) * | 2006-11-10 | 2008-05-15 | Carl Zeiss Meditec Ag | Ophthalmologische Vorrichtung und ophthalmologisches Verfahren zum Positionieren eines Auges eines Patienten in einer vorbestimmten Soll-Position |
| JP4309927B2 (ja) * | 2007-03-14 | 2009-08-05 | 株式会社豊田中央研究所 | まぶた検出装置及びプログラム |
| US7575322B2 (en) * | 2007-05-11 | 2009-08-18 | Amo Development Llc. | Auto-alignment and auto-focus system and method |
| US7802883B2 (en) | 2007-12-20 | 2010-09-28 | Johnson & Johnson Vision Care, Inc. | Cosmetic contact lenses having a sparkle effect |
| JP5180997B2 (ja) * | 2010-07-14 | 2013-04-10 | 株式会社豊田中央研究所 | まぶた検出装置及びプログラム |
| TWI471808B (zh) * | 2012-07-20 | 2015-02-01 | Pixart Imaging Inc | 瞳孔偵測裝置 |
| EP3638095B1 (de) * | 2017-06-12 | 2023-06-07 | Rodenstock GmbH | Verfahren zum hochgenauen bestimmen eines pupillendurchmessers eines auges und eine diesbezügliche vorrichtung |
Family Cites Families (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPS61172552A (ja) * | 1985-01-28 | 1986-08-04 | 株式会社トプコン | 視線方向検出装置 |
| US4836670A (en) * | 1987-08-19 | 1989-06-06 | Center For Innovative Technology | Eye movement detector |
| JP2950546B2 (ja) * | 1988-08-31 | 1999-09-20 | キヤノン株式会社 | 視線検出装置及び視線検出装置を有するカメラ |
| NL8902314A (nl) * | 1989-09-15 | 1991-04-02 | Michiel Kassies | Werkwijze en inrichting voor het detecteren van een voorwerp. |
| JPH03109030A (ja) * | 1989-09-22 | 1991-05-09 | Canon Inc | 注視点検出装置 |
| JP2910258B2 (ja) * | 1991-01-08 | 1999-06-23 | キヤノン株式会社 | 視線検出装置 |
| JP3166179B2 (ja) * | 1991-01-22 | 2001-05-14 | キヤノン株式会社 | 視線検出装置 |
| JP3214057B2 (ja) * | 1992-04-14 | 2001-10-02 | キヤノン株式会社 | 瞳孔中心検出方法、瞳孔中心検出装置、瞳孔輪部検出方法および瞳孔輪部検出装置 |
-
1992
- 1992-04-14 JP JP12006292A patent/JP3214057B2/ja not_active Expired - Fee Related
-
1993
- 1993-04-13 US US08/045,194 patent/US5469234A/en not_active Expired - Lifetime
-
1995
- 1995-04-28 US US08/431,293 patent/US5652641A/en not_active Expired - Lifetime
- 1995-04-28 US US08/430,855 patent/US5657109A/en not_active Expired - Lifetime
- 1995-04-28 US US08/431,300 patent/US5657110A/en not_active Expired - Fee Related
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP0694281A1 (en) * | 1994-07-29 | 1996-01-31 | Canon Kabushiki Kaisha | Viewpoint detecting device |
| US5737641A (en) * | 1994-07-29 | 1998-04-07 | Canon Kabushiki Kaisha | Viewpoint detecting device using stored information when detecting is improper |
| JP2004518497A (ja) * | 2001-02-21 | 2004-06-24 | カール ツァイス イェナ ゲーエムベーハー | 前眼部における距離決定方法 |
| US7284858B2 (en) | 2001-02-21 | 2007-10-23 | Carl Zeiss Meditec Ag | Method for determining distances in the anterior ocular segment |
| CN105816148A (zh) * | 2015-01-28 | 2016-08-03 | 视乐有限公司 | 对眼睛进行测量的系统及其控制方法 |
| JP2016137245A (ja) * | 2015-01-28 | 2016-08-04 | バーフェリヒト ゲゼルシャフト ミット ベシュレンクテル ハフツング | 眼の測定を行うシステム及びその制御方法 |
| US10524657B2 (en) | 2015-01-28 | 2020-01-07 | Wavelight Gmbh | System and controlling method thereof for performing measurements of an eye |
Also Published As
| Publication number | Publication date |
|---|---|
| US5652641A (en) | 1997-07-29 |
| US5657109A (en) | 1997-08-12 |
| JP3214057B2 (ja) | 2001-10-02 |
| US5469234A (en) | 1995-11-21 |
| US5657110A (en) | 1997-08-12 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP3186072B2 (ja) | 視線検出装置を有する機器 | |
| US5386258A (en) | Optical apparatus having a visual axis direction detecting device | |
| JPH04240438A (ja) | 視線検出装置 | |
| JP3214057B2 (ja) | 瞳孔中心検出方法、瞳孔中心検出装置、瞳孔輪部検出方法および瞳孔輪部検出装置 | |
| JPH06304142A (ja) | 視線検出装置 | |
| JPH06269412A (ja) | 視線検出装置及びそれを有した光学装置 | |
| JPH0323431A (ja) | 視線検出手段を有した機器 | |
| JP3297481B2 (ja) | 視線検出装置 | |
| US5402199A (en) | Visual axis detecting apparatus | |
| JPH02189128A (ja) | 注視点検出手段を有した光学装置 | |
| JP2861349B2 (ja) | 視線検出手段を有した光学装置 | |
| JPH02264632A (ja) | 視線検出装置 | |
| JP3256294B2 (ja) | 視線検出装置および視線検出方法 | |
| JP3134320B2 (ja) | 視線検出装置 | |
| JP3605081B2 (ja) | 視線検出装置 | |
| JP2995878B2 (ja) | 視線検出装置を有した光学装置 | |
| JPH04138431A (ja) | 視線検出手段を有したカメラ | |
| JPH0686757A (ja) | 画像信号検出方法及びそれを用いた視線検出装置 | |
| JP3176147B2 (ja) | 視線検出装置 | |
| JP3211427B2 (ja) | 視線検出装置 | |
| JP3184634B2 (ja) | 視線検出装置を有する光学装置 | |
| JP3219491B2 (ja) | 視線検出装置 | |
| JP2925147B2 (ja) | 視線検出装置及び光学機器 | |
| JP3605080B2 (ja) | 視線検出装置 | |
| JP3186249B2 (ja) | 視線検出装置及び視線検出方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080727 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080727 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090727 Year of fee payment: 8 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090727 Year of fee payment: 8 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100727 Year of fee payment: 9 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100727 Year of fee payment: 9 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110727 Year of fee payment: 10 |
|
| LAPS | Cancellation because of no payment of annual fees |