JPH06261863A - 視線方向計測装置 - Google Patents

Abstract

(57)【要約】 【目的】 １台のカメラで視線方向を計測し、低価格化
を図った視線方向計測装置を提供する。 【構成】 不可視光を発生する第１の光源Ａ１０２と共
軸系に配置されたカメラ１０１によって人間の眼球部１
１１を撮像するとともに、第１の光源Ａ１０２とは別の
場所に配置された不可視光を発生する第２の光源Ｂ１０
３を設け、カメラ１０１で撮像した画像から、眼球の瞳
孔中心位置を通る直線の式、第１の光源の反射光位置を
通る直線の式、および第２の光源の反射光位置を通る直
線の式を演算し、この演算された第１の光源の反射光位
置を通る直線の式および第２の光源の反射光位置を通る
直線の式より角膜球の中心位置を演算し、瞳孔中心位置
および角膜球の中心位置から人間の視線方向を演算して
いる。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、視線方向を非接触で計
測する視線方向計測装置に関する。

【０００２】

【従来の技術】この種の従来の視線方向計測装置は、例
えば特開平２−１３４１３０号公報に開示されているよ
うに、光源と共軸系をなすカメラによって人間の角膜球
を写し、光源の反射光の座標とカメラの座標とを結び、
角膜球の中心を通る直線の式を求めるとともに、また同
時に瞳孔の中心座標を求めるという作業を互いに離隔し
て設けられた２台のカメラによって行い、この求めた２
本の直線の交点からなる角膜球の中心座標と瞳孔の中心
座標とを結ぶ直線を視線方向として検出している。

【０００３】

【発明が解決しようとする課題】上述した従来の視線方
向計測装置では、視線方向を検出するために２台のカメ
ラを必要とするため、装置の価格が高くなるという問題
がある。

【０００４】本発明は、上記に鑑みてなされたもので、
その目的とするところは、１台のカメラで視線方向を計
測し、低価格化を図った視線方向計測装置を提供するこ
とにある。

【０００５】

【課題を解決するための手段】上記目的を達成するた
め、本発明の視線方向計測装置は、人間に向けられ、か
つ人間に不可視な光を撮像するＴＶカメラと、該ＴＶカ
メラと共軸系に配置され、かつ人間に不可視な光を人間
の眼球部に照明する第１の光源と、該第１の光源とは別
の場所に設置され、かつ人間に不可視な光を人間の眼球
部に照明する第２の光源と、前記カメラで撮像された画
像から、眼球の瞳孔中心位置を通る直線の式、前記第１
の光源の反射光位置を通る直線の式、および前記第２の
光源の反射光位置を通る直線の式を演算する第１の演算
手段と、該第１の演算手段により演算された前記第１の
光源の反射光位置を通る直線の式および前記第２の光源
の反射光位置を通る直線の式より角膜球の中心位置を演
算する第２の演算手段と、前記第１の演算手段により検
出された瞳孔中心位置を通る直線の式および前記第２の
演算手段により演算された角膜球の中心位置から人間の
視線方向を演算する第３の演算手段とを有することを要
旨とする。

【０００６】

【作用】本発明の視線方向計測装置では、不可視光を発
生する第１の光源と共軸系に配置されたカメラによって
人間の眼球部を撮像するとともに、第１の光源とは別の
場所に配置された不可視光を発生する第２の光源を設
け、カメラで撮像した画像から、眼球の瞳孔中心位置を
通る直線の式、第１の光源の反射光位置を通る直線の
式、および第２の光源の反射光位置を通る直線の式を演
算し、この演算された第１の光源の反射光位置を通る直
線の式および第２の光源の反射光位置を通る直線の式よ
り角膜球の中心位置を演算し、瞳孔中心位置および角膜
球の中心位置から人間の視線方向を演算している。

【０００７】

【実施例】以下、図面を用いて本発明の実施例を説明す
る。

【０００８】図１は、本発明の一実施例に係わる視線方
向計測装置の構成を示すブロック図である。同図に示す
視線方向計測装置は、一例として検出した視線方向によ
ってコンピュータの表示画面上のカーソル表示位置を制
御する装置に適用されているものである。

【０００９】図１に示す視線方向計測装置は、眼球１１
１を撮像するカメラ１０１、このカメラ１０１のレンズ
の前面にカメラ１０１の光軸と照射方向が一致するよう
に取り付けられたＬＥＤ等からなる第１の光源Ａ１０
２、該第１の光源Ａ１０２との相対位置関係が既知の位
置に設置されたＬＥＤ等からなる第２の光源Ｂ１０３、
カメラ１０１から出力された画像データをディジタルデ
ータに変換するＡ／Ｄ変換部１０４、該Ａ／Ｄ変換部１
０４から入力された画像データから角膜反射像および瞳
孔中心を抽出する特徴抽出部１０５、該特徴抽出部１０
５で抽出された角膜反射像および瞳孔中心の存在位置か
ら視線方向を算出する視線方向算出部１０６、該視線方
向算出部１０６で算出された視線方向に対応したコンピ
ュータ画面１１０上にカーソルを表示するカーソル制御
部１０７、前記第１の光源Ａ１０２および第２の光源Ｂ
１０３の発光を制御する照明発光制御部１０８、装置全
体の動作を制御する全体制御部１０９、および人間が注
視しているコンピュータ画面１１０から構成されてい
る。なお、第１の光源Ａ１０２および第２の光源Ｂ１０
３は、人間には不可視であり、カメラ１０１には受光さ
れる近赤外を発生する。

【００１０】次に、本発明の作用を説明する前に、本視
線方向計測装置による視線検知原理について図２および
図３を参照して説明する。

【００１１】図２は、眼球を外部から照明した時の様子
を示している。同図に示すように、眼球１１１を光源１
０２，１０３等のＬＥＤで照明すると、角膜表面での正
反射光がカメラ１０１に捕捉され、輝点として観測され
る。これを角膜反射像と称する。図２は、角膜を構成す
る球（中心をＯとする角膜球）上の点Ｐで正反射が発生
し、点Ｒに角膜反射像（虚像）が発生した様子を示して
いる。これらの点は、特にカメラ１０１と光源１０２，
１０３を共軸系に配置した場合に同一直線上にのる。

【００１２】すなわち、本視線方向計測装置に用いてい
る共軸系センサで眼球を観測すると、カメラ上の角膜反
射像位置と光源の位置（カメラの焦点位置）を結ぶ直線
上に角膜球中心Ｏが存在することになる。また、図２の
構成で眼球を観測すると、角膜反射像位置とカメラ焦点
を結ぶ直線上の正反射位置Ｐが存在することにある。

【００１３】更に、共軸系センサで眼球を観測すると、
瞳孔を通過した光束が網膜上で反射して入射方向に戻
り、瞳孔から出射してカメラに達し、瞳孔領域が明るく
観察される。これは、カメラで人間の顔をストロボ撮影
した時、瞳孔が赤く光る赤目現象として知られたもので
あり、こうして生じる像を網膜反射像と呼んでいる。

【００１４】人間の眼球の構成をモデル化したものを図
３に示す。

【００１５】網膜反射像は、一般に楕円形状に観測さ
れ、その重心位置は瞳孔中心Ｑと一致すると考えられ
る。すなわち、カメラ上の網膜反射像の重心位置とカメ
ラ焦点を結ぶ直線上に瞳孔中心Ｑが存在することにな
る。

【００１６】本視線方向計測装置は、これらの情報か
ら、角膜球中心Ｏおよび瞳孔中心Ｑの３次元位置を求
め、角膜球中心Ｏおよび瞳孔中心Ｑを通過する視線を計
測するものである。

【００１７】次に、図１に示す実施例の視線方向計測装
置の作用を図４に示すフローチャートを参照して説明す
る。

【００１８】まず、全体制御部１０９から計測開始信号
を出力する（ステップ４１０）。そして、照明発光制御
部１０８から第１の光源Ａ１０２にトリガ信号が送ら
れ、第１の光源Ａ１０２が点灯する（ステップ４２
０）。同時に、カメラ１０１から画像を取り込む（ステ
ップ４３０）。この画像はＡ／Ｄ変換部１０４によって
Ａ／Ｄ変換されて、ディジタル画像Ｉ1 （ｘ，ｙ）が生
成される。画像入力が完了したら、第１の光源Ａ１０２
を消灯する（ステップ４４０）。

【００１９】次に、照明発光制御部１０８から第２の光
源Ｂ１０３にトリガ信号が送られ、第２の光源Ｂ１０３
が点灯する（ステップ４５０）。同時に、カメラ１０１
から画像を取り込む（ステップ４６０）。この画像はＡ
／Ｄ変換部１０４によってＡ／Ｄ変換されて、ディジタ
ル画像Ｉ2 （ｘ，ｙ）が生成される。画像入力が完了し
たら、第２の光源Ｂ１０３を消灯する（ステップ４７
０）。なお、この２枚の画像入力は、ほぼ同時に実行さ
れ、同一時刻に入力された画像のペアが得られるものと
する。

【００２０】次に、特徴抽出部１０５において、前記画
像Ｉ1 （ｘ，ｙ），Ｉ2 （ｘ，ｙ）から、視線計測に必
要な特徴である角膜反射像および網膜反射像を抽出し、
それぞれの重心を算出する（ステップ４８０，４９
０）。そして、これらから角膜球中心Ｏおよび瞳孔中心
Ｑを決定し、この角膜球中心Ｏおよび瞳孔中心Ｑから視
線方向を決定する（ステップ５００〜５２０）。

【００２１】この角膜反射像および網膜反射像の抽出、
角膜球中心Ｏおよび瞳孔中心Ｑの決定、視線方向の決定
については図５〜図８を参照して詳細に説明する。

【００２２】まず、角膜反射像の抽出について図５を参
照して行う。角膜反射像は非常に明るい輝点として観測
されるため、画像Ｉ1 （ｘ，ｙ），Ｉ2 （ｘ，ｙ）をあ
るしきい値Ｔｈ１で２値化処理することによって、容易
に抽出することができる。

【００２３】すなわち、 Ｉ1 （ｘ，ｙ）≧Ｔｈ１の時、角膜反射像 Ｉ2 （ｘ，ｙ）≧Ｔｈ１の時、角膜反射像 と判断する。こうして抽出された領域の重心位置を求め
て、角膜反射像位置とする。

【００２４】次に、瞳孔中心の抽出について図６を参照
して説明する。上述したように、共軸系の照明・カメラ
を用いることにより、明るい網膜反射像が観測される
が、その重心位置は瞳孔中心に一致する。また、この像
の明るさは角膜反射像よりも暗くなる。従って、画像Ｉ
1 （ｘ，ｙ）をあるしきい値Ｔｈ２（Ｔｈ２＜Ｔｈ１）
で２値化することによって、瞳孔の候補領域を抽出する
ことができる。

【００２５】すなわち、 Ｉ1 （ｘ，ｙ）≧Ｔｈ２の時、瞳孔候補領域 と判断することができる。こうして抽出された結果に
は、一般に、瞳孔以外のノイズが混入しているため、瞳
孔のみを特定する処理を行う。

【００２６】これは、瞳孔候補領域を表す画像に対して
ラペリング処理を行った後、各領域の面積を求め、予想
される瞳孔面積Ｓに対して、面積Ｓ−αからＳ＋α（α
はしきい値、α＞０）の領域のみを選出するものであ
る。本処理によって、領域が唯１つに確定すればよい
が、複数選出された時は、各領域の円形度を求め、最も
円に近い領域を瞳孔とすればよい。

【００２７】上述したように、角膜反射像位置（ｘ1 ，
ｙ2 ），（ｘ2 ，ｙ2 ）、瞳孔中心位置（ｘp ，ｙp ）
が抽出される。この関係が図７に示されている。

【００２８】次に、図８を参照して、視線方向算出部１
０６において視線方向の算出を説明する（ステップ５２
０）。

【００２９】上述したように、光源とカメラの光軸を一
致させれば、照明位置・角膜反射像・角膜球中心は１直
線上にあるか、カメラの焦点とカメラのＣＣＤ面上の角
膜反射像を結ぶ直線は、角膜球中心を通過すると考えら
れる。すなわち、角膜球中心０は直線Ｆ1 Ｂ上にある。

【００３０】また、瞳孔中心Ｑは直線Ｆ1 Ａ上にある。

【００３１】カメラ１０１の焦点距離をｆ、その焦点位
置を原点Ｆ1 （０，０，０）とし、ＣＣＤ面のｘ軸（水
平軸）方向をＸ軸、ｙ軸（垂直軸）方向をＹ軸、カメラ
の光軸方向をＺ軸とするワールド座標系Ｆ1 −ＸＹＺを
考える。

【００３２】また、第２の光源Ｂ１０３はＦ2 （ａ，
ｂ，ｃ）にあるものとする。

【００３３】第２の光源Ｂ１０３の照明光は、角膜表面
で正反射してカメラに観測される。従って、その正反射
点Ｐは、直線Ｆ1 Ｃ上にある。

【００３４】ここで、人間の角膜球の半径は、人によら
ずほぼ一定で、約７．８mmである。従って、直線Ｆ1 Ｃ
上に正反射点Ｐを仮置きし、半径７．８mmの球面Ａを描
けば、球面Ａと直線Ｆ1 Ｂの交点として、角膜球中心の
候補点Ｏが一意に定まる。なお、２つの交点のうち、カ
メラから遠方側をＯとする。

【００３５】ここで、点Ｐでの正反射条件

【数１】∠Ｆ1 ＰＴ（Ｔは半直線ＯＰの延長上の点）＝
∠Ｆ2 ＰＴ が満足されていることを確認できれば、点Ｏが決定す
る。

【００３６】更に、角膜球中心と瞳孔中心（水晶体前
面）の距離は約４．２mmであるので、決定した点Ｏを中
心とする半径４．２mmの球面Ｂと直径Ｆ1 Ａの交点を求
めれば、瞳孔中心Ｑが決定し、視線ベクトルＯＱが決定
する。また、２つの交点のうち、カメラに近い側をＱと
する。なお、眼球の各光学定数は、Gullstrandの模型眼
によるものである。

【００３７】次に、カーソル制御部１０７において、算
出した視線方向がコンピュータ画面１１０のどこをみて
いるかを判定し（ステップ５３０）、その位置にカーソ
ルを表示する（ステップ５４０）。

【００３８】これは、算出した視線方向の式とコンピュ
ータ画面の交点を求め、その位置にカーソルを表示する
ことで実現される。

【００３９】このように、本視線方向計測装置を用いる
ことにより、視線によるカーソル移動、ウインドウ制
御、メニュー選択等を実現することができ、非接触マン
マシン・インタフェースを構築することができる。

【００４０】なお、上述した実施例における角膜反射像
および瞳孔中心の抽出は、以下のように行ってもよい。

【００４１】光源Ａ，Ｂを点滅発光させ、点灯時の画像
と消灯時の画像をそれぞれ入力する。

【００４２】すなわち、光源Ａのみ点灯時の画像をＩ1o
n （ｘ，ｙ），光源Ｂのみ点灯時の画像をＩ2on （ｘ，
ｙ）、光源Ａ，Ｂともに消灯時の画像をＩoff （ｘ，
ｙ）とした時これら点灯時、消灯時の画像の差分をとる
ことにより、角膜反射像、網膜反射像を強調することが
できる。すなわち、以下に示すＩ1 （ｘ，ｙ），Ｉ2
（ｘ，ｙ）を生成する。

【００４３】

【数２】 Ｉ1 （ｘ，ｙ）＝Ｉ1on （ｘ，ｙ）−Ｉoff （ｘ，ｙ） Ｉ2 （ｘ，ｙ）＝Ｉ2on （ｘ，ｙ）−Ｉoff （ｘ，ｙ） こうして得られたＩ1 （ｘ，ｙ），Ｉ2 （ｘ，ｙ）に、
上述した画像処理を施せば、角膜反射像、瞳孔中心を抽
出できる。この時、Ｉ1 （ｘ，ｙ），Ｉ2 （ｘ，ｙ）
は、すでに角膜反射像、網膜反射像が強調されているた
め、差分をとらない時に比べ、容易に特徴抽出が可能と
なる。

【００４４】また、図８で示した正反射点Ｐを更に効率
的に探索する手順について補足説明する。

【００４５】点Ｐの存在範囲は光源Ｂの照明範囲から推
定できるので、この範囲をＺとする。そして、この範囲
Ｚの中点に、図１１に示すようにＰ点の第１候補Ｐ1 を
設定する。

【００４６】この点Ｐ1 において、∠Ｆ1 Ｐ1 Ｔと∠Ｆ
2 Ｐ1 Ｔを求める。∠Ｆ1 Ｐ1 Ｔ＞∠Ｆ2 Ｐ1 Ｔの時、
ＵとＰ1 の中点に、第２候補Ｐ2 を設定する。また、∠
Ｆ1Ｐ1 Ｔ＜∠Ｆ2 Ｐ1 Ｔの時、ＶとＰ1 の中点に、第
２候補Ｐ2 を設定する。

【００４７】そして、∠Ｆ1 Ｐ1 Ｔ＝∠Ｆ2 Ｐ1 Ｔの
時、Ｐ1 をＰ点に決定する。上述した処理をＰ点が決定
するまで繰り返す。このような探索により、範囲Ｚ上の
全ての点を探索せずに、効率的に点Ｐを探すことができ
る。

【００４８】したがって、本実施例によれば、カメラ１
台で視線計測ができるので、低価格化を実現することが
できる。

【００４９】図９および図１０は、本発明の他の実施例
を示すものである。

【００５０】この実施例では、本発明の視線方向計測装
置を車両用視線スイッチとして適用したものである。

【００５１】図９に示すように、本実施例は、ステアリ
ング５に設置されたメインスイッチ３、ステアリングス
イッチ４、ステアリング５の左側に配設されたＣＣＤカ
メラ１と近赤外光線Ａ１０を共軸系に配したセンサ、ス
テアリング５の右側に配設された近赤外光線Ｂ２、ウイ
ンドシールド８上に表示された視線スイッチエリア６、
ＨＵＤ表示エリア７とから構成されている。

【００５２】次に、図９および図１０に示す実施例の作
用についてエアコンの設定温度を変更する場合を例にと
って説明する。

【００５３】ドライバがエアコンを操作したいと考えた
時、ウインドシールド８上の視線スイッチエリア６のう
ち、エアコンの領域を注視する。同時に、ドライバは、
ステアリング５のメインスイッチ３を押す。すると、図
１の実施例に示したものと同じ視線方向計測装置８０１
が動作を開始し、上述した処理によってドライバの視線
方向の計測が行われる。

【００５４】視線方向の計測を複数回繰り返し、視線停
留判断部８０６において、視線方向が視線スイッチエリ
ア６のエアコン領域に一定時間（例えば０．３秒）停留
していることが認識されると、ドライバがエアコンスイ
ッチを見ていると判断し、ＨＵＤ表示エリア７に現在の
エアコン設定温度が表示される。それと同時に、視線方
向計測装置８０１の動作が停止し、視線計測が終了す
る。

【００５５】ＨＵＤ表示エリア７にエアコン表示がなさ
れると、ステアリングスイッチ４のアップ・ダウンボタ
ン（図９（ｂ））がエアコン設定温度の上下を行うよう
に機能するようになる。

【００５６】ドライバは、ステアリングスイッチ４のア
ップ・ダウンボタンを操作してＨＵＤ表示７を見なが
ら、所定の設定温度にセットする。セットした情報は、
コントローラ切り替え部８０８を通して、エアコンコン
トローラ８０９に送られ、所定の温度制御が行われる。
一定時間（例えば５秒間）、ステアリングスイッチ４の
操作が行われないと、操作が終了したものと判断し、初
期状態に戻る。

【００５７】以上説明したように、本実施例によれば、
視線を前方からそらすことなくスイッチ操作ができるよ
うになるため、運転時の安全性が高まるという効果が得
られる。また、インスツルメントパネル、センターコン
ソール周辺のスイッチを減らすことができるため、デザ
イン上の自由度が大きくなるという効果も得られる。さ
らに、１台で視線計測できるので、低価格化を実現する
ことができる。

【００５８】

【発明の効果】以上説明したように、本発明によれば、
不可視光を発生する第１の光源と共軸系に配置されたカ
メラによって人間の眼球部を撮像するとともに、第１の
光源とは別の場所に配置された不可視光を発生する第２
の光源を設け、カメラで撮像した画像から、眼球の瞳孔
中心位置を通る直線の式、第１の光源の反射光位置を通
る直線の式、および第２の光源の反射光位置を通る直線
の式を演算し、この演算された第１の光源の反射光位置
を通る直線の式および第２の光源の反射光位置を通る直
線の式より角膜球の中心位置を演算し、瞳孔中心位置お
よび角膜球の中心位置から人間の視線方向を演算してい
るので、すなわち１台のカメラで眼球を観測し、得られ
た画像をコンピュータ処理して視線方向を求めるように
したため、低価格化および装置の簡単化を図ることがで
きる。

【図面の簡単な説明】

【図１】本発明の一実施例に係わる視線方向計測装置の
構成を示すブロック図である。

【図２】角膜反射像の生成を説明するために眼球を外部
から照明した場合の様子を示す図である。

【図３】人間の眼球の構成をモデル化した図である。

【図４】図１に示す視線方向計測装置の作用を示すフロ
ーチャートである。

【図５】角膜反射像の抽出処理を示す説明図である。

【図６】瞳孔中心の抽出処理を示す説明図である。

【図７】画像処理結果を示す図である。

【図８】図１の視線方向計測装置に使用されている視線
方向算出部による視線方向の算出処理を示す説明図であ
る。

【図９】本発明の他の実施例を示す図である。

【図１０】図９に示す他の実施例の構成を示すブロック
図である。

【図１１】正反射点Ｐを探索する説明図である。

【符号の説明】

１０１ カメラ １０２ 第１の光源Ａ １０３ 第２の光源Ｂ １０５ 特徴抽出部 １０６ 視線方向算出部 １０７ カーソル制御部 １０８ 照明発光制御部 １０９ 全体制御部 １１０ コンピュータ画面 １１１ 眼球

Claims (2)

【特許請求の範囲】
1. 【請求項１】 人間に向けられ、かつ人間に不可視な光
   を撮像するＴＶカメラと、 該ＴＶカメラと共軸系に配置され、かつ人間に不可視な
   光を人間の眼球部に照明する第１の光源と、 該第１の光源とは別の場所に設置され、かつ人間に不可
   視な光を人間の眼球部に照明する第２の光源と、 前記カメラで撮像された画像から、眼球の瞳孔中心位置
   を通る直線の式、前記第１の光源の反射光位置を通る直
   線の式、および前記第２の光源の反射光位置を通る直線
   の式を演算する第１の演算手段と、 該第１の演算手段により演算された前記第１の光源の反
   射光位置を通る直線の式および前記第２の光源の反射光
   位置を通る直線の式より角膜球の中心位置を演算する第
   ２の演算手段と、 前記第１の演算手段により検出された瞳孔中心位置を通
   る直線の式および前記第２の演算手段により演算された
   角膜球の中心位置から人間の視線方向を演算する第３の
   演算手段とを有することを特徴とする視線方向計測装
   置。
2. 【請求項２】 前記第１の光源及び前記第２の光源が、
   近赤外光を発する近赤外光源であることを特徴とする請
   求項１に記載の視線方向計測装置。