JPH01185241A - 視線方向検出方法 - Google Patents

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】 〔産業上の利用分野〕 この発明は、視線方向を検出することにより、操作者の
作業を補助するシステムの構成に資する視線方向検出方
式に関するものである。

〔従来の技術〕

視線方向を測定する従来の装置（通称アイカメラ）は、
次のように構成されている。

操作者は、左右の眼球を照射する発光素子、視線方向を
検出するための固体撮像カメラ、眼球の角膜で反射され
る反射光を固体撮像カメラに導くための光学部品（ハー
フミラ−等）および操作者の視野領域を撮影するための
視野カメラ等を内蔵したヘルメットを装着する。

前述の視野方向検出用固体撮像カメラを用いて眼球の角
膜における発光素子の反射光を得、これを視野カメラの
画像に重畳する。この重畳に際しては、操作者の視線方
向に対応する上記発光素子の反射光が視向の操作者の見
ている方向と合致するように前述の光学部品を調整する
。

（発明が解決しようとする課題〕 従来装置・では、このようなヘルメットを装着する必要
があるため、吹のような問題がある。

まず、ヘルメットは各種の部品を内蔵しているためその
重畳は数百グラムと重い。このため、長時間の装置使用
は操作者に大きな負担をかけることになる。また、操作
時に頭部を動かすと上記のヘルメットの固定位置かずれ
、視線方向を高い精度で検出することは困難である。

この発明は、上記欠点を解決するためになされたもので
、操作者に負担をかけることなく、精度の良い視線方向
の検出を行うことができる方式を提供することを目的と
する。

〔課題を解決するための手段〕

この発明にかかる視線方向検出方式は、発光素子を直線
状に配置した光源を、操作者にメガネ等を用いて装着、
あるいは操作者の前方に配置し、これらの発光素子を順
次点灯する際、操作者の角膜における投影像を操作者の
前方に配置した複数台のカメラで撮影し、光源像の座標
等をもとに操作者の眼球および視線方向を検出するもの
である。

〔作用） この発明においては、カメラ内における発光素子の座標
位置、２台のカメラの設定間隔、各カメラの光軸方向お
よび焦点距離から３次元空間内における両眼味の座標を
検出するとともに、２台のカメラで同時に撮影される線
状の発光素子の角膜面上の端点から各々の眼球の視軸方
向を検出し、両眼の視線方向を検出する。

〔実施例〕

第１図はこの発明による視線方向検出方式の一実施例を
示す構成図である。この図において、１は操作者、２は
メガネフレーム、３．．３□・・・・・・（以下個別に
区別する必要がないときは、単に３を用いる。他の符号
についても同じ。）はメガネフレーム２の内側にフレー
ムに沿って装着した複数の赤外線等の発光素子、４はメ
ガネのつる、５は前記メガネのつる４に装着した発光素
子３の駆動部、６−１．’６−２は操作者１の眼球、７
−１．７−２は前記眼球６−１．６−２の角膜、８は入
力装置、９は前記入力装置８の表示部、１０−１．１０
−２は眼球６−１．６−２を撮影するためのカメラ、１
１−１．１１−２は前記カメラ１０の焦点距離を可変で
きる自動焦点調節部、１２−１．１２−２は前記カメラ
１０の向き（光軸）を任意の方向に設定する自動首振り
調節部、１３は前記カメラ１０−１．１０−２から得ら
える発光素子３−１．３−２の投影像の座標を検出し出
力する座標データ出力部、１４は前記座標データ出力部
１３の値をもとに眼球位置および視線方向を検出するた
めの視線データ検出部、１５は前記人力装置８の中央制
御部である。

次に動作について、眼球６−２側の場合で説明する。

操作者１はメガネフレーム２を装着して表示部９を見る
。駆動部５をＯＮ’Ｌ／て発光素子３１．３２・・・・
・・を順次周期的に点灯する。点灯の順序は両眼を交互
にあるいは片側から連続的に行う。この点灯によって、
メガネフレーム２に装着した発光素子３＋　、３２・・
・・・・の光源像が眼球６−２の角膜７−２に投影され
る。この投影像をカメ”う１〇−１，１０−２を用いて
撮影する。撮影に際して、各発光素子３に対応する投影
像が各カメラ１〇−１，１０−２て得らえるように、自
動焦点調節部１１−１．１１−２を調節する。この調節
は発光素子３の発光に同期する撮影像が２台のカメラ１
０−１．１０−２で得られるようにする。すなわち、カ
メラ１０−１．１０−２の焦点距離を始め短くして広域
の画角を得るようにし、次いで、焦点距離を大きくして
眼球６−２の部分を拡大して撮影する。このようにして
、２台のカメラ１０−１．１０−２により同一の発光素
子３について各２個の撮影像を得る。なお、ズームアツ
プ時に眼球６−２がカメラ１０−１．１０−２の視野か
らはずれないように、自動首振り調節部１２を用いてカ
メラ１０−１．１０−２の光軸が顔面の中央にくるよう
に調節する。座標データ出力部１３は、各投影像のＸお
よびＹ座標を出力する。これは、発光素子３の発光に同
期する投影像を固体撮像素子（通称ＣＣＤセンサ）を用
いることによって検出する。

次に、両眼球６−１．６−２の位置および視線方向を検
出する方法について説明する。まず、両眼球６−１．６
−２の位置検出方法について述べる。なお、第２図も第
１図に合せて眼球６−２の場合で説明する。

第２図は発光素子３．カメラ１０−１．１０−２が同一
平面にある場合の例である。この図において、Ｑ＋　、
Ｑ２は左右の眼球６−１．６−２の中心、Ｄは２台のカ
メラ１０−１．１０−２の距離、ｆ、、ｆ２はカメラ１
０−１．１０−２の焦点距離、Ｉｌ＋　、ｆ１２は両投
影画像における発光素子３のＸ座標、θ１．θ、は発光
素子３の眼球６−２における反射位置と自動首振り調節
部１２によって設定されたカメラ１０−１．１０−２の
基線がなす角度、Ｌはあらかじめ測定しておいた操作者
２の両眼間隔、２Ｒは同じくあらかじめ測定しておいた
操作者１の角膜直径である。

以上の各数値が既知であるとき、左右の眼球６−１．６
−２における反射位置のＸ−Ｙ座標を求めればよい。

次に、Ｘ座標の場合について示す。

発光素子３により発せられた光線は、角膜７−２におい
て反射し、２台のカメラ１０−１．１０−２に入射する
。この入射光は焦点距離ｆ、、ｆ２に設置された固体撮
像素子の受光面に像を結像する。この像の位置がＩｌｌ
、Ｂ−２で示す点Ｐ−１゜Ｐ−２である。この結果、第
２図の相似関係から次式が成立する。

１　＋　／　ｆ　ｌ＝　Ｘ　／　Ｙ　　　　　　　　＝
・＝・（１）ｆＬ２／１２＝　（Ｄ−Ｘ）／Ｙ　　　　
・・・・・・　（２）上記第　（１）　、　（２）式よ
り、 Ｘ＝ｆ２ｊ２＋　Ｄ／　（ｊ２２ｆ＋　＋ｊ！＋　ｆ２
）が得られる。

両眼球６−１．６−２の３次元空間内における座標値を
もとに眼間距離を算出し、これをあらかじめ求めておい
た操作者１の両眼間隔りと比較・対比することによって
各座標値Ｘ、Ｙを確認することができる。角膜７−１．
７−２の直径は約１ｃｍであり、カメラ１０−１．１０
−２と眼球６−１．６−２との距離は通常これに比べて
十分太きい。シタがって、同一発光素子３から各々のカ
メラ１０−１．１０−２に入射する光線の角膜７−２に
おける反射位置は極く近傍にある。両カメラ１０−１．
１０−２から見て角膜７−１．７−２上の発光素子３の
反射位置を同一点とみなせば反射位置は３角測量の方法
を用いて表すことができる。すなわち角膜７−１．７−
２を完全な球体の一部とみなし、球体の３次元空間にお
ける位置座標を決定するためには、球面上の少なくとも
３点の位置が判ればよい。したがって、異なる位置にあ
る３個の発光素子３を順次点灯することによって、角膜
７−１．７−２面上の反射位置を上述の方法によって３
点求め、これにより角膜７−１゜７−２が属する球体の
中心と半径Ｒを求める。

次に視線方法を検出する場合について述べる。

各眼球６−１．６−２を照らす発光素子３の角膜７−１
．７−２における投影像は、視線方向とカメラ１０−１
．１０−２の向きとの関係によって種々の形状に変化す
る。

第３図は光源像が角膜７に投影されている場合の一例を
示す。角膜７は通常他の部分に比べて高い反射率を有し
ており、その境界を容易に検出することができる。角膜
７は上述した球体の一部であり、その周囲は円形をなく
している。したがりて、この中心と球体の中心とを結ぶ
方向が視線方向である。球体の座標は前述の方法によっ
て求められているから円形の皿、すなわち角１！７の中
心を求めれば視線方向が得られる。この時、角膜７の直
径があらかじめ判っていれば、角膜７の円周部の少なく
とも２点を検出すれば前記球体における角膜７の位置は
、この２点を通る既知の直径の円を求めることによって
決定することができる。

第３図に示す円形部分は、角膜７の境界部分であり、１
６−１．１６−２は発光素子３を順次点灯してきた場合
、角膜７面上で反射光が得らえる２つの端点てあり、こ
れが角膜７の境界を示すことになる。これより円の中心
を求め、球中心とを結ぶ方向を得る。なお、発光素子３
の像が角膜７に投影されるようにメガネフレーム２の形
状を調整しておく。また、駆動部５は無線により中央制
御部１５と同期して駆動すればリード線等が不要となり
、操作者１の負担がより少なくなる。このようにして、
左右の視線方向を検出する。

次に、両眼の視線が合致する位置を求める。この位置は
、両眼の座標および視線方向がわかっているから３角測
量の方法を用いて容易に算出できる。この座標値を表示
部９内における座標値に変換し、この値を中央制御部１
５に投入してカーソルを操作者１の視線方向に合致する
ように設定する。

以上はメガネをした場合であるが、本検出方法はメガネ
を使用しない場合でも用いることができる。これについ
て次に述べる。

発光素子３−１．３−２を直線状に配置した光源を操作
者１の前方に配置する。この光源の長さは角膜７−１．
７−２の境界を検知できる程度に十分長くしておく。こ
の光源は、操作者１によって負担にならなければ可視光
であってもよい。この光源内の各発光素子３を順次点灯
し、操作者１の角膜７−１．７−２における反射像を得
る。その他の各構成部および検出方法は前述した場合と
同じである方法である。

木方式では、２台のカメラ１０−１．１０−２を用いて
操作者１の顔面を投影することにしたが、より多くのカ
メラを３次元空間に配置することによって任意に選択し
た２台のカメラ１〇−１，１０−２でメガネフレーム２
に装着した光源あるいは部屋の周囲に装着した光源が角
膜７−１．７−２に投影される像を前述と同様に測定し
て、操作者１の視線の動きを常に把握することも可能で
ある。

なお、木方式では、光源として１つの直線像の光源を用
いたが、角膜７−１．７−２の端点を正確に求めるため
にこれを複数あるいは形の定まった曲線状としてもよい
ことは当然である。この場合は、操作者１の角膜７−１
．７−２の直径２Ｒをあらかじめ求めておく必要はない
。

〔発明の効果） この発明は、発光素子を直線状に配置した光源を、操作
者にメカネ等を用いて装着、あるいは操作者の前方に配
置し、これらの発光素子を順次点灯する際、操作者の角
膜における投影像を操作者の前方に配置した複数台のカ
メラで撮影し、光源像の座標等をもとに操作者の眼球お
よび視線方向を検出するようにしたので、次の効果があ
る。

■　まず、操作者は複数の発光素子を直線状に配置した
光源を内蔵した簡単なメガネを装着するだけでよいから
、操作時に負担を大幅に軽減することができる。空間的
な余裕がある場合には直線状の光源を操作者の前方に配
置するだけでよいから操作者の負担は全くない。

■　各光源に同期する光源像を２台カメラで得るだけで
あるから、光源、すなわちメガネフレーム等の位置を微
妙に調整する必要がないので、装置の操作性を大幅に向
上することができる。

■　複数のカメラを用いることによって操作者の視線の
動きを操作者に負担を与えることなく、常に測定するこ
とができるから、各種入力システムに有効に利用するこ
とができる。

【図面の簡単な説明】

第１図はこの発明による視線方向検出方式の一実施例の
構成を示す図、第２図は両眼およびカメラが同一平面に
ある場合の動作説明図、第３図は角膜における光源の投
影像の一例を示す図である。 図中、１は操作者、２はメガネフレーム、３はメガネフ
レームの内側にフレームに沿って装着した複数の発光素
子、４はメガネのつる、５はメガネのつるに装着した発
光素子の駆動部、６−１゜６−２は操作者の眼球、７−
１．７−２は眼球の角膜、８は人力装置、９は入力装置
の表示部、１０−１．１０−２はカメラ、１１−１．１
１−２はカメラの焦点距離を可変できる自動焦点調節部
、１２−１．１２−２はカメラの向き（光軸）を任意の
方向に設定する自動首振り調節部、１３はカメラから得
られる発光素子の投影像の座標を検出し出力する座標デ
ータ出力部、１４は座標データ出力部の値をもとに眼球
位置および視線方向を検出するための視線データ検出部
、１５は入力第１図 ］：操作者 ２：メガネフレーム ４、メガネのフる　　　　　１　　　′−ゝ５≧２ゝ３
：発光棄子 ６−ｔ６−２　：眼球　　　　　　　　２７−１　　７
−２４）１５：駆動部 ７−１．７−２　：角膜 ８：入力装置　　　　　　　　　　　　　　　　　−１
９、表示部　　　　６−１１ １０−１．１０−２　：カメラ　　　　　　　　　　　
　　　　　　　　１１１−１．１１−２°自自動点！ｌ
ｆＩｗＪ部３２３０３１１１２−１．１２−２　：　自
動首振”ｊｍｌＮ節部　　　　　　　　−３２１「 ■ １０−１；１’ ■ 一一一一一″を燻１０−２　　。 著 第２図 リピ摩耗二　； １′、３ 第３図

Claims (1)

【特許請求の範囲】
1. 複数の発光素子を線状に配置した光源を操作者に装着あ
   るいは操作者の前方に配置し、前記各発光素子を順次周
   期的に点灯する駆動部と、前記発光素子の発光に同期し
   て操作者の眼球の角膜に投影される光源像を撮影する少
   なくとも２台のカメラを有し、このカメラ内における前
   記発光素子の座標値、前記２台のカメラの設定間隔、前
   記各カメラの光軸方向および焦点距離から３次元空間に
   おける両眼球の座標を検出するとともに、前記各発光素
   子を順次点灯する際、前記２台のカメラで同時に撮影さ
   れる前記線状の発光素子の前記角膜面上の端点の位置か
   ら各々の眼球の視軸方向を検出し、両眼の視線方向を検
   出することを特徴とする視線方向検出方式。