JP3251985B2

JP3251985B2 - アイポインター

Info

Publication number: JP3251985B2
Application number: JP28158292A
Authority: JP
Inventors: 智雄袴田
Original assignee: チノン株式会社
Priority date: 1992-10-20
Filing date: 1992-10-20
Publication date: 2002-01-28
Anticipated expiration: 2017-01-28
Also published as: JPH06125875A

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、眼球からの視線方向を
検知するアイポインターに関する。

【０００２】

【従来の技術】従来から、人間の視線方向を検知しよう
とする試みは行なわれており、その目的の一つは、人間
の無意識の視線の動きを客観的に調査研究しようとする
ものである。このような試みは研究レベルで行なわれて
おり、実用化されているが、工業製品、例えばコンピュ
ータ入力装置等として、実用化されているものは少な
い。

【０００３】このように、工業製品として実用化されな
いことの大きな原因として、視線方向検出のために人間
の体の自由な動きを制約しなければならないことが挙げ
られる。たとえば図７で示す従来の視線方向検出装置で
あり、11は眼球で、この眼球11はいわゆる黒目である角
膜12を有し、この眼球11を有する図示しない頭部に、同
じく図示しないゴーグルをかけ、このゴーグルにより視
線検出部13を、眼球11の前方下部に位置固定させてい
る。この視線検出部13の、眼球11との対向面の上部に
は、水平方向検出用光源としての赤外発光ダイオード14
およびこの赤外発光ダイオード14両側に配置された水平
方向検出用センサーとしてのフォトダイオード15，16
と、これらフォトダイオード15，16の下部に設けられた
垂直方向検出用光源としての赤外発光ダイオード17およ
び垂直方向検出用センサーとしてのフォトダイオード18
とが設けられている。

【０００４】この視線検出部13の検出原理は、眼球11か
らの反射光量の変化を３つのフォトダイオード15，16，
18で捕らえ、これらフォトダイオード15，16，18の検出
データをマイクロコンピュータ19に与え、このマイクロ
コンピュータ19により比較演算処理を行なって視線位置
を検出し、これを画像出力装置20に出力するものであ
る。そして、３つのフォトダイオード15，16，18への入
射光量は、角膜12の位置によりそれぞれ変化するので、
予め数箇所の視線位置に対して非線形処理による校正を
行なっておけば視線方向を検出することができる。

【０００５】すなわち、この視線検出部13では、眼球の
白目である鞏膜と、黒目となる角膜12との反射率の違い
を利用して、赤外発光ダイオード14，17から投射され、
眼球11により反射された後に各フォトダイオード15，1
6，18に入射される反射光の、眼球11の回転に伴う光量
変化を検出し、この反射光量の変化を演算処理して視線
方向を求めるものである。

【０００６】また、この装置では、前述した図示しない
ゴーグルの上部に、眼球11の目視先を撮像するＣＣＤカ
メラ22を取付けている。このように眼球11の目視先を撮
像するＣＣＤカメラ22を取り付けたことにより、顔面姿
勢の変化にかかわらず、視線方向をＣＣＤカメラ22によ
り撮像した画像出力上の視点位置として表示することが
できる。

【０００７】さらに、図８は別の従来例を示しており、
赤外発光ダイオード等の検出用光源24から眼球11に対し
て光を照射し、眼球11の角膜12面による光の反射方向を
ＣＣＤアレイ25によって検出し、ＣＣＤドライバ26およ
び処理部27により視線方向として捕らえるものである。
すなわち、眼球11の回転により、角膜12の曲率中心の位
置が変化し、反射方向が変化することでＣＣＤアレイ25
への光量分布が変化し、この光量分布の変化を処理部27
において眼球の回転量に演算処理している。

【０００８】これら従来の視線方向検出装置は、いずれ
も基本的に人間の頭に対する眼球11の動きを検知するも
のであり、眼球11の動きを基に人間の視線方向として認
知するには、人間の頭の３次元的な位置と方向を同時に
検出する必要がある。

【０００９】ここで、図７に示す従来例では、視線検出
部13とともにＣＣＤカメラ22を顔面上に設置しているの
で、前述のように、顔面姿勢の変化にかかわらず、視線
方向をＣＣＤカメラ22による画像出力上の視点位置とし
て表示することができる。したがって、この装置は視線
方向の調査研究にはある程度使用できるかもしれない
が、コンピュータ等の機械入力装置として用いるために
は、前述のように、ＣＣＤカメラ22により撮像した画像
出力上で位置を検出する必要があり、大規模な画像処理
システムが必要になる。

【００１０】一方、このような頭の動きに対する対応を
採らない図８に示す従来例の場合等では、人間の頭の位
置を規定位置に固定させる必要がある。しかし、このよ
うな人体の動きを制約することは、たとえばコンピュー
タ入力装置として用いる場合、オペレータに大きな苦痛
を与えることとなり、実用的でない。

【００１１】

【発明が解決しようとする課題】このように、頭の動き
を考慮したものでは大規模な画像処理システムが必要に
なり、また、頭の動きを考慮しないものでは、人間の頭
の位置を固定しなければならず実用的でない等の問題点
を有している。

【００１２】本発明の目的は、大規模な画像処理システ
ムを必要とせず、また、頭部の固定も必要とすることな
く、人間の視線方向を検知することができ、工業製品と
して実用化が可能となるアイポインターを提供すること
にある。

【００１３】

【課題を解決するための手段】本発明は、眼球からの視
線が目標物のどのポイントを目視しているかを検出する
アイポインターにおいて、眼球に対し所定の光路を介し
て視線検出光を出射する視線検出用光源、および、眼球
からの反射光を所定の光路を介して入射し予め設定した
基準点に対する入射点の偏差方向および偏差量に対応す
る信号を出力するセンサーを有し、互いに直交する２方
向に対して前記視線検出用光源部分を支点として首振可
能に支持された視線検出手段と、前記センサーからの信
号に基づき前記基準点に対する偏差をなくす方向に前記
視線検出手段を首振動作させる駆動機構と、前記目標物
に向かって視線表出光を出射する視線表出用光源を有
し、この視線表出用光源部分を支点として互いに直交す
る２方向に対して首振可能に支持された視線表出手段
と、前記視線検出用光源から視線検出光に対して反対向
きに延出する第１の角度伝達アームおよび視線表出用光
源から視線表出光に対して反対向きに延出し先端が前記
第１の角度伝達アームの先端と折曲可能に連結した第２
の角度伝達アームを有し、この第１の角度伝達アームの
長さと第２の角度伝達アームの長さとの比が、前記視線
検出用光源から前記眼球の角膜の曲率中心までの光路長
と角膜の曲率中心から眼球の回転中心までの長さとの比
と、常に等しくなるように構成された連動機構とを備え
たものである。

【００１４】

【作用】本発明では、まず視線検出手段により視線方向
を検出する。すなわち、眼球からの反射光を入射させ、
入射点と予め設定した基準点との偏差量および偏差方向
を検出し、検出光が眼球の角膜の曲率中心に入射される
ように視線検出用光源の角度を変化させる。一方、視線
表出手段からは、目視方向に向かって視線表出光を出射
させ、この視線表出用光源の角度を視線検出用光源の角
度変化に連動して変化させることにより、この視線表出
光を眼球の回転角度、すなわち、視線方向に対応せるこ
とができ、この視線表出光により視線方向を表示するこ
とができる。

【００１５】

【実施例】以下、本発明のアイポインターの一実施例を
図面を参照して説明する。

【００１６】まず、図１により概念構成を説明する。図
１において、31は視線検出手段で、この視線検出手段31
は、図示しないゴーグル等により人間の顔面に取り付け
られ、後述する視線検出用光源を有し、眼球11に対して
所定の光路を介して視線検出光を出射する。また、この
視線検出光に対する眼球11からの反射光を所定の光路を
介して入射し、予め設定した基準点との偏差に基づき、
眼球11の回転角度、すなわち、視線11A の方向を検出す
る。そして、この検出された眼球11の角度を基に、視線
検出光が眼球11の角膜12の曲率中心に入射されるよう
に、視線検出用光源の角度を変化させる。

【００１７】また、32は視線表出手段で、この視線表出
手段32は、同じく図示しないゴーグル等により人間の顔
面に取り付けられ、後述する視線表出用光源を有し、こ
の視線表出用光源から目標物33に向かって、視線表出光
34を出射する。この視線表出用光源と視線検出用光源と
は連動機構35により互いに連結され、視線検出用光源の
角度変化に連動して視線表出用光源の角度も変化するよ
うに構成してある。この結果、視線表出光34は、眼球11
の角度、すなわち、視線方向の変化に対応した角度で出
射される。したがって、この視線表出光34の目標物33上
の照射点が眼球11による目視部分に相当し、この視線表
出光34の照射点により視線11A 方向が表示されたことと
なる。

【００１８】次に、図３によって具体的な構造を説明す
る。視線検出手段31はボックス状の視線検出用モジュー
ル37を有し、この視線検出用モジュール37内の右側面に
は、視線検出用光源38が設けられている。この視線検出
用光源38は、この視線検出用光源38の前方に設けられた
収束用レンズ39および斜めに設置された受光用ハーフミ
ラー40を透過して左方に視線検出光41a を出射する。こ
の視線検出光41a は図示しない所定の光路を介して図１
で示した眼球11に達する。

【００１９】この視線検出光41a に基づく眼球11からの
反射光41b は所定の光路を経て視線検出用モジュール37
に入射され、ハーフミラー40により図示下方に反射され
る。また、視線検出用モジュール37内の底面には、ハー
フミラー40により反射された反射光41b の受光点を検出
するセンサー43が設けられており、ハーフミラー40によ
り反射された反射光41b は、収束用レンズ42を介してセ
ンサー43に入力される。このセンサー43は、図４で示す
ように、受光領域をＡ，Ｂ，Ｃ，Ｄと４分割したもの
で、視線検出光41a が、図２で示すように、眼球11の角
膜12の曲率中心ＰまたはＰ₁に正しく入射された場合の
反射光41b のセンサー43への入射点を基準点として予め
設定されている。そして、図４に示す装置では、４分割
された受光領域Ａ，Ｂ，Ｃ，Ｄの基準点43a が基準点と
なるように設定している。

【００２０】ここで、各受光領域Ａ，Ｂ，Ｃ，Ｄが反射
光41b を受光したことにより出力する電流値をｉａ，ｉ
ｂ，ｉｃ，ｉｄとする。そして、基準点43a に反射光41
b が入射されている場合、すなわち、視線検出光41a が
角膜12の曲率中心ＰまたはＰ₁に正しく入射された場合
は、センサー43の出力電流はゼロとなる。これに対し、
視線検出光41a が角膜12の曲率中心ＰまたはＰ₁に対し
て水平方向であるＸ方向にずれていると、センサー43は
（ｉａ＋ｉｂ）−（ｉｃ＋ｉｄ）なる電流値を出力す
る。また、垂直方向であるＹ方向にずれていると、セン
サー43は（ｉａ＋ｉｃ）−（ｉｂ＋ｉｄ）なる電流値を
出力する。

【００２１】また、視線検出用モジュール37は、ＸＹ支
持機構45により、視線検出用光源38部分を支点として、
互いに直交する２方向、すなわち水平および垂直方向で
あるＸＹ方向に対して首振可能に支持されている。

【００２２】さらに、視線表出手段32は円筒状の視線表
出用モジュール47を有し、この視線表出用モジュール47
内の左側面には、視線表出用光源48が設けられており、
視線表出用光源48の前方に設けられたコリメータレンズ
49を透して右方に視線表出光34を出射する。この視線表
出光34は、図１で示した目標物33上に達し、視線方向を
表示する。また、この視線表出用モジュール47も、ＸＹ
支持機構50により、視線表出用光源48部分を支点とし
て、互いに直交する２方向であるＸＹ方向に対して首振
可能に支持されている。

【００２３】また、連動機構35は、視線検出用モジュー
ル37の視線検出用光源38から、視線検出光41a に対して
反対向きに延出する第１の角度伝達アーム52と、視線表
出用モジュール47の視線表出用光源48から、視線表出光
34に対して反対向きに延出する第２の角度伝達アーム53
とを有する。そして、これら第１の角度伝達アーム52の
先端と第２の角度伝達アーム53の先端とは、ＸＹ両方向
に対して折曲可能に連結される。また、第１の角度伝達
アーム52は伸縮可能に構成されている。このため、後述
する視線検出用光源38の角度変化に対して、第１の角度
伝達アーム52の長さと第２の角度伝達アーム53の長さと
の比が、視線検出用光源38から図２で示した前記眼球11
の角膜12の曲率中心ＰまたはＰ₁までの光路長とこの角
膜12の曲率中心ＰまたはＰ₁から眼球11の回転中心Ｏま
での長さとの比と、常に等しくなる。

【００２４】図３に戻って、55は駆動機構で、この駆動
機構55は、図示しないがＸ方向およびＹ方向に沿うリニ
アモータを有し、第１の角度伝達アーム52をＸ方向およ
びＹ方向に駆動する。この結果、視線検出用モジュール
37は、その視線検出用光源38の部分を支点としてＸ方向
およびＹ方向に首振動作する。この駆動機構55は、サー
ボ回路56を持っており、センサー43からの出力信号に基
づき、反射光41b のセンサー43への入射点と、図４で示
した基準点43a との偏差をなくす方向に視線検出用モジ
ュール37を首振動作させる。すなわち、センサー43から
出力される（ｉａ＋ｉｂ）−（ｉｃ＋ｉｄ）なる電流値
をゼロにするべくＸ方向リニアモータが駆動され、（ｉ
ａ＋ｉｃ）−（ｉｂ＋ｉｄ）なる電流値をゼロにするべ
くＹ方向リニアモータが駆動される。

【００２５】次に、図２により動作原理を説明する。

【００２６】図２では、説明を解り易くするため、眼球
11の回転中心、視線検出用光源38および視線表出用光源
48を同一直線上に描いている。

【００２７】ここで、眼球11の回転中心を点Ｏ、視線検
出用光源38を点Ｏ₁、視線表出用光源48を点Ｏ₂とす
る。また、点Ｏ、点Ｏ₂を結ぶ２点鎖線に示す一直線上
にあるときの角膜12の曲率中心をＰ、第１および第２の
角度伝達アーム52，53の連結点をＱとする。さらに、眼
球11が角度θだけ回転したときの角膜曲率中心をＰ₁、
これに対応して視線検出光41a の反射が、角膜12の面に
おいて垂直となるように、すなわち、視線検出光41a が
変化した角膜曲率中心Ｐ₁に入射されるように、視線検
出用光源38を角度ＰＯＰ₁だけ回転させたときの第１お
よび第２の角度伝達アーム52，53の連結点をＱ₁とす
る。

【００２８】上記関係において、眼球11の回転角θ＝０
のときの第１および第２の角度伝達アーム52，53の長さ
の比率を、角膜曲率中心Ｐから視線検出用光源38までの
光路長と眼球11の回転中心Ｏから角膜曲率中心Ｐまでの
長さとの比率と等しく設定する。すなわち、Ｏ₂Ｑ／Ｑ
Ｏ₁＝ＯＰ／ＰＯ₁の関係に設定する。この関係は、眼
球11が任意の角度θ回転した場合も維持される。すなわ
ち、角度θにおいても、第１の角度伝達アーム52が伸縮
可能であるため、Ｏ₂Ｑ₁／Ｑ₁Ｏ₁＝ＯＰ₁／Ｐ₁Ｏ
₁の関係が成り立つ。したがって、ΔＯ₂Ｏ₁Ｑ₁とΔ
ＯＯ₁Ｐ₁とが相似関係となり、視線表出用光源48の回
転角度ＱＯ₂Ｑ₁は、眼球11の回転角度θと等しくな
る。

【００２９】このように、眼球11が回転し、視線11A 方
向が角度θに変化した場合、視線検出手段31は、眼球11
からの反射光41b の、センサー43への入射点の変化から
視線変化を検出し、視線検出光41a が、この回転した眼
球11の角膜曲率中心Ｐ₁に入射されるように、図３で示
した駆動機構55により、視線検出用光源38を所定角度、
すなわちセンサー43からの出力電流値がゼロになるまで
回転させる。この視線検出用光源38の回転に伴い、連動
機構35を介して視線表出手段32の視線表出用光源48も所
定角度回転する。

【００３０】ここで、連動機構35の第１の角度伝達アー
ム52が伸縮可能であるため、第１および第２の角度伝達
アーム52，53の長さの比率と、角膜曲率中心Ｐから視線
検出用光源38までの光路長と眼球11の回転中心Ｏから角
膜曲率中心Ｐまでの長さとの比率とを等しく保ったま
ま、角度θのみが変化する。したがって、前述したΔＯ
₂Ｏ₁Ｑ₁とΔＯＯ₁Ｐ₁との相似関係が維持され、視
線表出用光源48は、眼球11の回転角度θと同じ角度回転
し、視線表出光34は視線と同じ方向に偏向され、視線変
化を表現する。

【００３１】図５は、図２で示した動作原理に基づいた
実際的な構成例を示している。すなわち、図２では、眼
球11の視野を光学系が覆うこととなり、また、眼球11か
らの視線11A と視線表出光34とは、平行ではあるものの
完全には一致せず、ずれが生じる。そこで、図５に示す
装置では、眼球11の視野範囲内に、２枚のハーフミラー
58，59を互いに反対方向に傾斜させて設置し、さらに、
これらハーフミラー58，59により反射された光を反射す
るための２枚の全反射ミラー60，61を設け、視線検出手
段31および視線表出手段32を視野の範囲外である、図示
上方に設置している。この場合、視線表出用光源48から
後方に位置するハーフミラー59までの光路距離を、眼球
11の回転中心Ｏから同ハーフミラー59までの光路距離と
等しくなるように設定する。

【００３２】ここで、視線11A はハーフミラー58，59を
透過する。そして、視線検出光41aは視線検出用モジュ
ール37内の、図３で示したハーフミラー40を透過した
後、全反射ミラー60およびハーフミラー58でそれぞれ反
射され、眼球11の角膜12の表面に達する。また、この角
膜12の表面で反射した反射光41b は、ハーフミラー58お
よび全反射ミラー60でそれぞれ反射され、さらに、視線
検出用モジュール37内の、図３で示したハーフミラー40
で反射され、センサー43に入射される。一方、視線表出
光34は、全反射ミラー61およびハーフミラー59で反射さ
れ、図１で示した目標物33に向かって投射される。

【００３３】なお、眼球11が、角度θ回転した場合、眼
球11からの反射光41b の、センサー43への入射点に基づ
き、駆動機構55によって視線検出用光源38の角度を変化
させ、同時に連動機構35によって視線表出用光源48の角
度を変化させて、視線表出光34を視線方向の変化に連動
して偏向させる動作は、図２により説明した動作と同じ
である。

【００３４】上記構成によると、視線表出用モジュール
47内の視線表出用光源48は、眼球11の回転中心Ｏで回転
しているのと光学的に等価となる。したがって、視線表
出光34は、図示のように、眼球11の視線11A と全く一致
することとなる。

【００３５】図５の構成例では、視線検出手段31および
視線表出手段32を、２つの全反射ミラー60，61間に設置
しているが、ハーフミラー58と全反射ミラー60との間
や、あるいは、全反射ミラー61とハーフミラー59との間
に設置してもよい。すなわち、視線検出光41a の眼球11
までの反射回数と視線表出光34の反射回数との和が偶数
であればよい。これにより、眼球11の回転方向に視線表
出光34が偏向される。

【００３６】また、図６は、図５で示した構成を簡略化
した実施例を示している。すなわち、視線11A の目標物
が比較的遠い場合に利用されるもので、図５で示した全
反射ミラー61とハーフミラー59を省略している。この場
合、視線11A と視線表出光34とは完全に一致せず、目標
物上でも眼球11の視点と視線表出点とに多少のずれが生
じるが、使用目的によってこのずれを許容できる場合に
は、装置全体がコンパクトになるなど、実用価値は高ま
る。

【００３７】そして、各実施例で用いられる視線表出用
光源48には、使用目的から、赤外光または可視光が用い
られ、場合によっては、これら赤外光と可視光とを切換
えて使用してもよい。

【００３８】また、上記装置をコンピュータ等の機械入
力装置として用いる場合は、図１で示した目標物33上に
光センサーを配置し、これを選択入力パネルとして用い
ればよい。

【００３９】

【発明の効果】本発明のアイポインターによれば、眼球
からの反射光を入射させ、入射点と予め設定した基準点
との偏差量および偏差方向を検出し、検出光が眼球の角
膜の曲率中心に入射されるように視線検出用光源の角度
を変化させ、視線表出手段からは目視方向に向かって視
線表出光を出射させ、この視線表出用光源の角度を視線
検出用光源の角度変化に連動して変化させることによ
り、この視線表出光を眼球の回転角度である視線方向に
対応させることができ、この視線表出光により視線方向
を表示することができるため、眼球の視線に合わせた光
照射を行なえるので、顔面の動きに関係なく、常に眼の
注視点を表示することができる。また、従来のように複
雑なコンピュータ処理を必要とせず、簡素な構造とする
ことができる。

【図面の簡単な説明】

【図１】本発明のアイポインターの一実施例を示す概要
図である。

【図２】同上装置の動作原理を説明する説明図である。

【図３】同上図１で示した装置の具体例を示す斜視図で
ある。

【図４】同上図３で示したセンサーを説明する平面図で
ある。

【図５】同上装置の実際的な構成例を示す図である。

【図６】同上図５の簡略構成例を示す図である。

【図７】同上従来例の構成を示す構成図である。

【図８】同上他の従来例の構成を示す構成図である。

【符号の説明】

11 眼球 11A 視線 12 角膜 31 視線検出手段 32 視線表出手段 34 視線表出光 35 連動機構 38 視線検出用光源 43 センサー 48 視線表出用光源 52 第１の角度伝達アーム 53 第２の角度伝達アーム 55 駆動機構

Claims

(57)【特許請求の範囲】

【請求項１】眼球からの視線が目標物のどのポイント
を目視しているかを検出するアイポインターにおいて、眼球に対し所定の光路を介して視線検出光を出射する視
線検出用光源、および、眼球からの反射光を所定の光路
を介して入射し予め設定した基準点に対する入射点の偏
差方向および偏差量に対応する信号を出力するセンサー
を有し、互いに直交する２方向に対して前記視線検出用
光源部分を支点として首振可能に支持された視線検出手
段と、前記センサーからの信号に基づき前記基準点に対する偏
差をなくす方向に前記視線検出手段を首振動作させる駆
動機構と、前記目標物に向かって視線表出光を出射する視線表出用
光源を有し、この視線表出用光源部分を支点として互い
に直交する２方向に対して首振可能に支持された視線表
出手段と、前記視線検出用光源から視線検出光に対して反対向きに
延出する第１の角度伝達アームおよび視線表出用光源か
ら視線表出光に対して反対向きに延出し先端が前記第１
の角度伝達アームの先端と折曲可能に連結した第２の角
度伝達アームを有し、この第１の角度伝達アームの長さ
と第２の角度伝達アームの長さとの比が、前記視線検出
用光源から前記眼球の角膜の曲率中心までの光路長と角
膜の曲率中心から眼球の回転中心までの長さとの比と、
常に等しくなるように構成された連動機構とを備えたこ
とを特徴とするアイポインター。