JPH02224637A - 視線検出方法 - Google Patents

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】 ［産業上の利用分野コ この発明は視線検出方式に関し、特にヒユーマンインタ
フェース、知的画像通信などの分野において、画像撮影
装置で捉えられた画像から抽出される主として顔の特徴
点、Ｉ！孔、角膜反射像を用いて非接触で視線を検出す
るような視線検出方式［従来の技術］ 近年、コンピュータはその進歩により複雑かつ豊富な機
能を実現できるようになり、適用範囲がますます拡がり
つつある。一方、その利用者も専門家から非専門家に範
囲を拡げつつある。ここに、より複雑化するシステムを
より簡単に使用できるようにするヒユーマンインタフェ
ースの技術が重要になる。人間同士のコミュニケーショ
ンでは言葉だけでなく、表情や仕草から相手の意思を推
測することによって円滑な対話が行なわれており、特に
眼の動きは意思疎通に重要な役割を果たしている。

すなわち、視点の動きには人の糸が大きく反映されると
考えられる。コンピュータや通信システムインタフェー
スでは、利用者は何らかの表示装置に長い時間向かい合
うことになるため、表示装置の画面上の視点の動きを常
時検出できれば、利用者の意図を抽出する大きな手掛か
りになると考えられる。端的には、利用者がどこを見て
いるのか、その先には何に関心があるのか、迷いは何か
などである。

そこで、本願発明者等は、利用者の操作意図を汲み取り
、柔軟な応答を返すインタフェース機能を実現すること
、さらに知的通信の分野において受信者の視線の動きか
ら受信者の関心のある視対象を抽出し、送信側にフィー
ドバックすることによって、臨場感のある受手主体の画
像通信を実現することなどを狙いとして、視線の効率的
な検出方法の重要性を指摘してきた。

上述のような視線を検出する装置として、従来よりアイ
カメラが知られている。しかしながら、アイカメラは眼
鏡を装着しなければならず、利用者が相対しているデイ
スプレィの座標系で視点を求めるためには、頭部を固定
する必要があるなどの制約があるため、視線をインタフ
ェースや画像通信に利用する目的には必ずしも向いてい
ない。

すなわち、人に特別なものを装管させることな（、非接
触で視線を検出するためには、画像処理によって検出す
る方法の方が有利である。

第１９図は非接触視線検出方式の構造として考えられる
一例を示す図である。第１９図を参照して、デイスプレ
ィ１の両側にはカメラ２，３と照明装置４．５とが設け
られている。このような非接触視線検出装置において、
第１の課題は照明装置４，５で照明された両者の画像を
カメラ２．３により撮影し、撮影された画像から視線検
出に必要な複数の特徴点を抽出することにある。第２の
課題はそれらの特徴点の空間位置を高速、高精度で計測
することである。第３の課題は、特徴点の位置から視線
の方向およびデイスプレィの注視点位置を求めることで
ある。

人物の動き、特に視線の動きは高速なため、これに追従
して動きを正確に検出するためには、まず明瞭な画像を
撮影し、簡単な画像処理で特徴点を抽出できるようにす
る必要がある。しかし、実際の室内では、利用者に対し
てデイスプレィからの光の放射があり、さらに螢光灯な
ど外部照明の影響もあるので、利用者の照明条件が変化
する。

したがって、常に安定な画像が得られるとは限らない。

入力画像の質が悪ければ、雑音除去などに時間がかかり
、高速化が不可能である。

これを解決するための手段として、撮影対象である人物
に照明を当てる方法が考えられるが、この方法には以下
の問題点がある。すなわち、１つの問題は自然なインタ
フェース環境を得るのが困難である。すなわち、照明装
置としては、従来白熱ランプ、午セノンランプ、ハロゲ
ンランプなどがよく知られているが、これらは波長域が
広く可視域を中心に分布するため、この光で利用者を前
方から照射する方法は、自然なインタフェースの点から
適さない。

第２の問題点は、装置の大型化および発熱化の問題であ
る。すなちわ、インタフェースに使用する状況を考慮し
、従来の照明装置の照明条件を改善しようとすれば、照
明源の先にバンドパスフィルタや偏光板などの光学部品
を取付ける必要がある。たとえば、人に知覚されない近
赤外の照明を利用し、この反射光を捉える場合を考える
と、可視域を遮断する必要がある。しかし、上述の従来
から知られた照明装置は発行の効率が悪く、発熱量が大
きいために周囲の温度が上昇してしまう。

このため、光源と光学素子を一体化するなどして小型に
することができず、したがって照明装置は大型のものを
使用せざるを得ない。

次に、照明は使用方法によっては、明瞭な画像が得られ
、特徴点抽出に効果があるが、半面、目的に合った使用
方法をとらなければ雑音源なり、逆効果となる。人物ま
たは眼球の特徴点を抽出する場合を例にとって詳しく説
明する。

第２０図は従来の照明装置と撮影装置とを用いて人物の
顔に合った青色のマークを特徴点として、これを抽出す
る実験を行なった例を示す図であり、第２１図および第
２２図は第２０図に示した実験によって顔の特徴点を抽
出した例を示す図である。

人物の顔には第２１図に示すように、４カ所に青色のマ
ーカ６が貼られている。第２０図に示した照明装置８か
ら撮影対象１０に参照光りを照射し、その反射光をカメ
ラ１３で捉えて撮影した画像から青色成分を抽出し、２
値化処理した結果が第２２図に示す画像である。第２２
図から明らかなように、青色マーク６の外に雑音成分７
が捉られており、問題のあることがわかる。この原因は
以下のように考えられる。

すなわち、撮影対象１０に参照光９を照射させたとき、
反射する光は大きく２種類の成分に分けられる。一方は
、撮影対象１０の表面で拡散反射する光１１であり、反
射する材質の光学的性質を反映している。したがって、
視線検出などに必要な特徴点のうち、後述の角膜反射像
を除いて、顔の要素（口、まつげ、目もと、目尻、鼻な
ど）および瞳孔などの特徴点抽出において有益な成分で
ある。他方は、撮影対象１０の表面で正反射する成分１
２であり、光源の光学的性質をそのまま反映している。

すなわち、撮影対象１０の性質を反映していない成分で
あるため、雑音となりやすい。

後者は撮影対象１０の滑らかな部分に多く含まれる。具
体的には、撮影対象が人物の場合、顔についた汗の部分
、眼鏡の縁、眼鏡レンズ、人物に周囲にあるプラスチッ
クやガラスなどの構造物がこれにあたる。第２２図に示
した例では、雑音７は汗の汗の箇所である。

第２１図および第２２図に示した例では、顔に貼った青
色のマークを抽出する場合を述べたが、他の色のマーク
を用い、この色成分を抽出する場合も同様である。また
、マークを用いることなく、自然画像から眼、鼻１口、
まつげなどの各部分を抽出する場合でも、正反射成分１
２は雑音となることが多い。さらに、マークを用いない
で人物の顔の形状を検出する他の例として、モアレ法、
光切断法に代表されるように、予め制御された形状パタ
ーンを撮影対象に照射し、この反射像から２値画像（反
射パターン）を抽出し、この反射パターンの形を特徴と
して、撮影対象の三次元形状を計測するいわゆるアクテ
ィブステレオビジョンがあるが、この方法においても、
撮影対象が正反射しやすい場合には、この正反射によっ
て作られる像が雑音となり、撮影対象の特徴である反射
パターンの特徴に支障があることが多い。

次に、従来の照明装置の配置と瞳孔特徴点抽出効率に関
する問題点について説明する。利用者には、何も装着せ
ずに、利用者の視線を非接触で検出するには、後述する
ように複数の特徴点を画像処理により抽出する必要があ
る。瞳孔は虹彩の開口部である。瞳孔は大きさが適当で
瞼の影響を受けに＜＜、視線への変換にも便利であるた
め、適当な抽出法があれば、適応性の広い特徴点と言え
る。しかし、瞳孔は一般に黒く観察されるため、虹彩が
黒褐色の場合、これを区別して瞳孔だけを抽出する必要
がある。

瞳孔の抽出はアイカメラなどでも例があり、いくつかの
方法が知られており、たとえばＵＳＰ４゜１０２．５６
４、ＵＳＰ４，１４５，１２２、ＵＳＰ３，６８９，１
３５、ＵＳＰ４，０７５，６５７、ＵＳＰ４，７５５，
０４５、ＵＳＰ４，３０３．３９４、ＵＳＰ４，６５１
，１４５、ｔＪｓＰ４，７０２，５７５などに記載され
ている。

成る種のアイカメラでは、眼鏡に光源を組込んで眼球に
光を照射し、この反射光を撮影し、瞳孔と虹彩の反射光
の強度を測定する方法を用いている。アイカメラのよう
に装置を頭に装着して使用する場合は、照明装置と撮影
装置との距離が近く、かつ頭部の動きに連動するため、
照明装置は眼球だけを照明すればよく、また撮影装置は
眼球だけを撮影すればよい。つまり、雑音の影響を受け
にくく、したがって瞳孔と虹彩の反射光の強度差のみで
も瞳孔の抽出が可能である。

しかし、インタフェースへの利用を考えた視線検出では
、上述のように非接触である必要から、撮影範囲は眼球
部分だけではなく、頭の動きを許容する広い範囲が望ま
れる。たとえば、顔全体を撮影した画像から瞳孔を抽出
する必要がある。このような場合、前述の方法では、瞳
孔部分を背景雑音から分離することは困難である。

第２３図は瞳孔の他の抽出法として、瞳孔から光を入射
し、網膜で反射する光を捉える方法を示す図である。第
２３図を参照して、カメラ２０の撮影レンズ２１の光軸
２２上にハーフミラ−２３が設けられ、このハーフミラ
−２３を用いて光軸を合わせるように従来の照明装置２
４が配置される。なお、１つの光源を用いた照明装置で
瞳孔内の反射強度分布が均一であるように、つまり、強
度分布の偏りが少ないような瞳孔画像を得るためには、
このようなハーフミラ−２３を用いるのは不可欠である
。

照明装置２４の前方には可視遮断フィルタ２５が配置さ
れ、この可視遮断フィルタ２５によって照明装置２４か
らの光のうち可視波長成分が遮断され、ハーフミラ−２
３のレンズ２１の光軸２２に一致され、人物２６に照射
される。この光は人物２６の瞳孔から入り、網膜で反射
し、再びハーフミラ−２３を通過してカメラ２０によっ
て捉えられる。したかっ、瞳孔が虹彩に対して明るく撮
影される。

［発明が解決しようとする課題］ しかしながら、第２３図に示した方法では、以下のよう
な問題がある。すなわち、ハーフミラ−２３を用いてい
るため装置が大型になる。撮影範囲が眼球周辺でな（、
たとえば顔全体というように拡がる場合、この方法でも
同様に雑音の影響が大さ（なり、安定な瞳孔抽出が困難
となる。雑音の影響を少なくするためには、照明を強く
することも考えられるが、可視遮断フィルタ２５によっ
て光量が落ち、ハーフミラ−２３でさらに１／２に減少
されて照射され、反射光がＩ＼−フミラー２３でさらに
１／２に減少するため、照明装置２４の光がカメラ２０
で捉えられる間の損失が大きく、効率が悪い。照明を強
くすれば、消費電力が大きくなり、発熱量も大きくなっ
てしまう。別の影響を少なくするためには、各部品を離
して実装する工夫も必要であり、装置がさらに大型化す
る。また、照明を強くすることは利用者の眼に生理的負
担を与えてしまい望ましくない。したがって、この方法
も視線検出用カメラをデイスプレィの横に取付けてイン
タフェースへ利用するような目的には適さない。

角膜反射像は眼球に光を照射したとき、角膜の凸面で正
反射した光が作る像であり、視線の動きにほぼ比例して
眼球と同じ方向に動くため、視線検出に有効な特徴点で
ある。抽出の問題点は、背景雑音からの分離である。

第２４図は角膜反射像をカメラで撮影する装置の一例を
示す図である。第２４図を参照して、光源３１からの光
が利用者３０の眼に照射されると、視線検出に必要な角
膜反射像がカメラ３２によって撮影される。しかし、利
用者３０の眼には参照光源３１からの光だけでなく、利
用者が相対しているディスブｌノイ３３の表示面からの
光や螢光灯などの外部照明３４からの光も光源となり、
これらの光が角膜で反射して虚像を作る。したがって、
カメラ３２で捉えた画像において、眼球の中には、いく
つもの角膜反射像が発生し、それが雑音となるため、参
照光源３１からの光による角膜反射像の抽出を困難にす
る。

人物や眼球など、動きのある対象を撮影する場合、ブレ
のない画像を得るためには、撮影時間は短い方がよい。

このために、最近では電子シャッタ付カメラが実用化さ
れている。撮影時間が短いこのようなカメラでは、強い
照明が必要とされる。

しかし、インタフェースにおいて、人物の照明に従来の
照明装置を用いることを考えると、熱より強い光で長い
時間照射されるため、眼球や生体に与える影響が問題と
なる。

一方、特徴点の空間位置の計測については、ステレオ画
像計測法が知られているが、従来特徴点の抽出が上述の
ごとく困難であったため、インタフェースへの使用を踏
まえて顔や眼球の特徴点の空間位置をリアルタイムで計
測した検討例はない。

画像処理による視線検出について、従来、いくつかの方
法が提案されている。しかし、いずれも特徴点の効率的
な抽出が困難なこと、空間位置の高速な検出が困難なこ
となどの理由から、視線検出に多くの条件を設けており
、適用範囲が限定される場合が多い。構成としては、１
台の白黒カメラを用いる方式が多い。その−例について
以下に説明する。

第２５図は撮影された画像上で、白眼の中の黒眼の位置
を検出し、視線に変換する方法を説明するための図であ
る。第２５図を参照して、人物の顔がカメラ４１によっ
て撮影され、撮影された顔画像から眼の部分４２が抽出
され、眼の中の黒眼４３と白眼４４の領域が分離される
。次に、白眼４４の領域の長さａと白眼４４の端から黒
眼４３の中心までの長さＸが求められる。視線の方向は
近似的にＸ　／　ａに比例するとして求められる。白眼
４４．黒眼４３の領域の抽出処理は高速化が難しいため
、リアルタイム検出は実現されていない。

この方法では、顔の位置と方向とを何らかの方法で求め
ない限り、自由度が眼球の回転運動だけに制限される。

さらに、眼球の回転運動についても、眼の大きさは表情
によって変化するため、高い検出精度は得られない。特
に、上下の眼の動きについては、黒眼４３の領域が瞼の
影響で変化するため、検出が困難である。

第２６図は瞳孔と角膜反射像を特徴点として用い、１台
のカメラで視線を検出する方法を説明するための図であ
る。第２６図を参照して、参照光源５１の位置はカメラ
５０の座標系に対して既知とする。参照光源５１からの
参照光によって生じる角膜反射像５３の空間位置および
瞳孔５４の空間位置は眼球５２の回転中心の位置と、眼
球の上下、左右の回転角α、βによりそれぞれ独立に決
まる。したがって、角膜反射像５３の位置と、瞳孔５４
の位置と、眼球５２の構造パラメータである眼球半径ａ
と、角膜の曲率半径Ｃは、眼球中心と角膜曲率中心との
間の距ｉ１ｂとが分かれば、眼球５２の回転中心と眼球
５２の回転角が決まり、したがって視線が求められる。

角膜反射像５３と瞳孔５４との位置は、カメラ５０から
眼球５２までの距離がほぼ一定とする条件を設ければ、
１枚の投影画像から求めることができる。このようにし
て、眼球５２の左右の回転角αおよび上下の回転角βに
対して視線を求めることができるが、上述の制約条件か
ら顔が２軸方向に動くと、精度が悪くなるという欠点が
ある。

また、上述の第２５図および第２６図に示した例はカメ
ラが１台であるため、注視点を求める難しさもある。上
述のいずれかの方法をインタフェースに利用する場合、
デイスプレィのどこを見ているかを知る必要があり、し
たがってデイスプレィ座標系で注視点を求める必要があ
る。デイスプレィ座標系で利用者がどこを見ているか知
るためには、デイスプレィ表示面の予め定められた点を
利用者に見てもらい、そのデータをもとに構成する必要
がある。しかし、カメラが１台の場合、この構成パラメ
ータは多くなるため、構成の方法が複雑になり、精度が
悪くなってしまう。

それゆえに、この発明の主たる目的は、利用者が特別な
装置を装着することなく、画像撮影装置によって撮影さ
れた撮影対象からの画像に基づいて、利用者の視線の動
きを非接触で検出し得る視線検出方式を提供することで
ある。

さらに、この発明の他の目的は、利用者の頭部の自由な
動きを許容しながら、高速かつ高精度で視線を検出し得
る視線検出方式を提供することである。

さらに、この発明の他の目的は、利用者が実際に見てい
る表示座標系で注視点を検出でき、この際に構成を簡単
に行なえるような視線検出方式を提供することである。

［課題を解決するための手段］ 第１請求項に係る発明は、画像撮影装置によって撮影さ
れた顔画像から視線を検出する視線検出方式であって、
画像撮影装置によって撮影された顔画像から頭部の位置
と方向とを検出し、画像撮影装置によって撮影された顔
画像から眼の特徴点を検出し、検出された頭部の位置と
方向および眼の特徴点位置からの視線を求めるように構
成したものである。

第２請求項に係る発明は、眼の特徴点を検出するために
、眼の瞳孔、黒眼または角膜反射像の位置が検出される
。

第３請求項に係る発明は、画像撮影装置によって撮影さ
れた顔画像から頭部の位置と方向とを検出し、検出され
た頭部の位置に対して移動１回転の各処理を施すことに
より、眼球の回転運動によらず、位置の変化が少ない眼
球中心位置を検出し、撮影された顔画像から眼の特徴点
としての瞳孔中心または黒眼中心の位置を検出し、検出
された眼球中心位置と眼の特徴点位置から視線を求める
ように構成される。

第４請求項に係る発明は、画像撮影装置によって撮影さ
れた顔画像から顔上の皮膚の動きの少ない少なくとも３
つの特徴点を抽出し、抽出した各点を用いて頭部をモデ
ル化し、頭部の位置と方向とを検出し、検出された頭部
の位置に対して移動。

回転の各処理を施すことにより、眼球の回転運動によら
ず、位置の変化が少ない眼球中心位置を検出し、撮影さ
れた顔画像から眼の特徴点である瞳孔中心または黒眼中
心の位置を検出し、検出された眼球中心位置と眼の特徴
点とから視線を求めるように構成される。

第５ｗＩ求項に係る発明は、第４請求項に係る発明に加
えて、眼鏡フレームの周辺の少なくとも３力所に特徴抽
出が容易なマーク物体が設けられた眼鏡が撮影対象に装
着されて、頭部がマーク物体でモデル化されていて、マ
ーク物体の位置から頭部の位置と方向とを検出するよう
に構成される。

第６請求項に係る発明は、顔画像の上に参照光を照射し
、画像撮影装置によって撮影された顔画像から頭部の位
置と方向とを検出し、検出された頭部の位置に対して移
動９回転の各処理を施すことにより、眼球の回転運動に
よらず、位置の変化が少ない眼球中心位置を検出し、参
照光により生成される角膜反射像の位置を検出し、検出
された眼球中心位置と角膜反射像の位置から視線を求め
るように構成される。

第７請求項に係る発明は、顔画像の上に参照光を照射し
、画像撮影装置によって撮影された顔画像から角膜反射
像と瞳孔とを抽出し、顔画像の特徴点の空間位置を検出
し、検出された特徴点位置から視線を求めるように構成
される。

第８請求項に係る発明は、第３請求項ないし第７請求項
の発明に加えて、画像撮影装置が少なくとも２台設けら
れ、頭部を反映する顔画像の特徴点、マーク物体からな
る各特徴点および眼の特徴点の位置が２台の撮影装置に
よって撮影された画像と三角測量法を用いて検出するよ
うに構成される。

［作用］ この発明に係る視線検出方式は、頭部の位置と方向とを
検出することにより、眼球中心の位置を観測座標系に対
して求める。この過程で必要なパラメータは近似的には
１つの定数ベクトルでよく、構成が簡単であり、眼球中
心と瞳孔の空間位置を求めることにより、非接触で利用
者の頭部の動きによらず視線の方向を求めることができ
る。

さらに、撮影された画像から頭上の皮膚の動きの少ない
少なくとも３つの特徴点が抽出され、これらの点を用い
て頭部がモデル化され、頭部の位置と方向とが検出され
、検出された頭部の位置に対して移動回転の各処理を施
すことにより、眼球の回転運動によらず、位置の変化が
少ない眼球中心位置が検出されるとともに、撮影された
画像から眼の特徴点である瞳孔中心または黒眼中心の位
置が検出され、検出された眼球中心位置と眼の特徴点位
置から視線が求められる。

さらに、眼鏡フレームの周辺の少なくとも３カ所に特徴
抽出が容易なマーク物体が設けられ、眼鏡を装着するこ
とにより、頭部がマーク物体によってモデル化され、マ
ーク物体の位置から頭部の位置と方向とが検出される。

さらに、参照光が照射され、撮影された画像から頭部の
位置と方向とが検出され、検出された頭部の位置に対し
て移動１回転の各処理が施され、眼球の回転運動によら
ず、位置の変化が少ない眼球中心位置が検出されるとと
もに、撮影された画像から参照先により生成される角膜
反射像の位置が検出され、検出された眼球中心位置と角
膜反射像の位置から視線が求められる。

さらに、画像撮影装置が少なくとも２台設けられ、頭部
を反映する顔特徴点とマーク物体からなる特徴点と眼の
特徴点の位置が２台の画像撮影装置によって撮影された
三角測量法とを用いて視線が検出される。

［発明の実施例］ 第２図はこの発明の一実施例に適用される画像撮影装置
を示す図であり、第３図は第２図に示した撮影レンズの
前方から見た図であり、第４図は同じ（側面から見た図
である。

第２図を参照して、カメラユニット６０の前方には照明
装置６１とレンズ６５とが配置される。

照明装置６１は第４図に示すように、レンズの周囲に配
置される複数の発光ダイオード６６を含む。

発光ダイオード６６の前方には直線偏光板６３が配置さ
れ、レンズ６５の前方には可視遮断フィルタ６８が配置
される。直線偏光板６３は発光ダイオード６６の光を偏
光化し、可視遮断フィルタ６８は蛍光灯などの外部照明
から可視光を遮断する。

さらに、レンズ６５の光軸から離れた位置に照明装置６
２が配置される。この照明装置６２は発光ダイオード６
４とその前方に設けられる直線偏光板６７とを含む。

カメラユニット６０は、３個のプリズム６０７６０８お
よび６０９を含み、プリズム６０７と６０８との間には
波長分離膜６１０が形成されていて、プリズム６０８と
６０９との間にはハーフミラ−６１１が配置されている
。さらに、プリズム６０７の光出射面に対向して偏光板
６１５とＣＣＤ撮像素子６１２が配置され、プリズム６
０８の光の出射面にはＣＣＤ撮像素子６１４が配置され
、プリズム６０９の光の出射面には偏光板６１６とＣＣ
Ｄ撮像素子６１３とが配置される。偏光板６１５および
６１６は、照明装置６１．６２の前方に設けられている
直線偏光板６３．６７に対して偏光面が直交している。

ＣＣＤ撮像素子６１３および６１４の出力は差分画像演
算手段６１７に与えられて角膜反射像が抽出される。Ｃ
ＣＤ撮像素子６１２および６１３の出力は差分演算手段
６１８に与えられて瞳孔が抽出される。

第２図に示した照明装置６１．６２に用いられる発光ダ
イオード６４．６６は人の眼に知覚されない近赤外のも
のが用いられる。この例では、発光ダイオード６４は波
長λ１が８５０ｎｍであり、発光ダイオード６６は波長
λ２が９５０ｎｍのものが用いられる。発光ダイオード
６４．６６は波長の半値幅が狭いため、中心波長が１１
００ｎ程度離れたものを用いれば、それぞれの発光ダイ
オード６４．６６から発光される２つの光が干渉しない
。また、この波長では人の眼にほとんど知覚されない。

もし、人の眼に知覚されるようであれば、発光波長をさ
らに長波長側に移してもよい。

次に、第２図に示した画像撮影装置の動作について説明
する。照明装置６１．６２の発光ダイオード６４．６６
でそれぞれ発光された光は偏光板６７．６３によってそ
れぞれ偏光され、人物に照射され、その反射光は可視遮
断フィルタ６８からレンズ６５を介してプリズム６０７
に入射される。

ここで、波長λ２　（９５０ｎｍ）の光は波長分離膜６
１０によって分離され、偏光板６１５を介してＣＣＤ撮
像素子６１２に入射され、像を結像する。仮に、照明装
置６２によって照明の偏光を横方向とすると、偏光板６
１５の偏光方向を９０゜ずらして縦方向とすることによ
り、ＣＣＤ撮像素子６１２の感光面には正反射成分が遮
断された像、すなわち拡散反射成分の像が結像される。

正反射は撮影対象に滑らかな面で起きるため、正反射成
分は光源の光学的性質をよく保っている。

一方、拡散反射成分は、撮影対象の吸収・反射特性によ
って変調を受けており、顔の特徴点や瞳孔、黒眼などの
抽出には、雑音を抑えかつＳ／Ｎを改善する点から拡散
反射像を用いるのが好ましい。一方、波長λ１の反射光
は可視遮断フィルタ６８、レンズ６５およびプリズム６
０７を通過し、プリズム６０８と６０９との界面に設け
られたハーフミラ−６１１で分割される。分割された一
方の光は偏光板６１６を介してＣＣＤ撮像素子６１３に
入射されて像を結像し、他方の光はそのままＣＣＤ撮像
素子６１４に入射され、像を結像する。

したがって、ＣＣＤ撮像素子６１４の出力には、正反射
成分と拡散反射成分との両方の像が含まれる。ＣＣＤ撮
像素子６１３の出力には、拡散反射成分の像だけが含ま
れる。なお、偏光板６１５゜６１６を通過した光は強度
が１／２になるため、ハーフミラ−６１１では分割比を
１対２にし、ＣＣＤ撮像素子６１３と６１４との像の強
度がほぼ同程度になるようにしている。

次に、角膜反射像の抽出について説明する。角膜反射像
は前述の角膜の表面で参照光源の光が正反射して作る像
である。したがって、この場合は正反射像は求める信号
となる。角膜反射像の抽出は、第２図において、ＣＣＤ
撮像素子６１３と６１４との像の差分を差分演算手段６
１７によって抽出することによって行なわれる。角膜反
射像の抽出において、従来問題であったことは、前述の
ごとく外部表面デイスプレィの光が角膜で反射して像を
作り、参照光源の像に重なることである。

しかしながら、第２図に示した画像撮影装置では、発光
ダイオード６４の光が偏光化されているため、これと直
交する偏光板６１６によって発光ダイオード６４からの
光の反射像による角膜反射像が反射されて拡散反射像が
残る。したがって、上述のごとく差分演算手段６１７に
より角膜反射像が背景から抽出される。

しかし、外部照明は一般に偏光していないため、ＣＣＤ
撮像素子６］３と６１４とでは同様な画像が撮影され、
差分をとると消えてしまう。このようにして、差分演算
手段６１７から得られる差分画像は雑音が少ないため、
Ｓ／Ｈの高い角膜反射像の抽出が可能である。

次に、瞳孔の抽出について説明する。第２図に示すよう
に、第１の照明装置６１は第３図に示すように、レンズ
６５の光軸を囲むように配置された発光ダイオード６６
を含む。この照明装置６１からの照明による反射像、す
なわちＣＣＤ撮像素子６１２から出力される像では、瞳
孔が背景に対して明るく撮影される。背景に対する瞳孔
強調化は、これだけでは十分とは言えないが、適用範囲
を限定すれば瞳孔の抽出が可能である。

一方、第２の照明装置６２はレンズ６５の光軸から離れ
て配置されていて、この照明装置６２の照明による反射
像、すなわち、ＣＣＤ撮像素子６１３または６１４から
得られた像は、瞳孔が暗く撮影される。したがって、Ｃ
ＣＤ撮像素子６１２から得られる画像とＣＣＤ撮像素子
６１３から得られる画像との差分処理またはＣＣＤ撮像
素子６１２から得られる画像とＣＣＤ撮像素子６１４か
ら得られる画像との差分処理により、瞳孔は背景から一
層強調され、抽出が容易になる。

なお、第２の照明装置６２は、上述のごとく設置条件が
厳しくないため、螢光灯などの外部照明で代用してもよ
い。しかし、この場合照明の反射光がＣＣＤ撮像素子６
１３または６１４に到達することが必要であり、したが
って外部照明は近赤外の成分を持つものとするか、ある
いはレンズ可視遮断フィルタ６８を除く必要がある。

次に、視線検出装置について説明するが、その詳細な説
明に先立って視線について説明する。

第５図は眼球の構造を模式的に示した図である。

第５図を参照して、眼の前面を覆っている透明な膜が角
膜１６１であり、網膜１６２への集光はほとんど角膜１
６１によって行なわれるが、指標に視点を合わせるため
の微調整（調節作用）は水晶体１６３の厚みを変えて行
なわれる。角膜１６１゜水晶体１６３の光軸の延長上に
網膜１６２の中で最も分解能が高い中心窩１６４と呼ば
れる部分が存在する。人は対象を注視するときには、こ
の中心窩１６４にその像が結像するように眼を動かす。

したがって、視線は近似的には結像光軸上にあると見て
よい。また、瞳孔１６５の中心、眼球の回転中心もこの
光軸の近くにあるため、視線は瞳孔中心位置および眼球
中心位置を求めることで基本的には検出が可能である。

以下、眼球中心と瞳孔中心とを結ぶ線を視線と近似し、
検出アルゴリズノ、について説明する。なお、視線の方
向が厳密には異なる場合の補正は、後で述べる。

次に、視線検出に必要な上述の特徴点の位置を利用者が
見ているデイスプレィの画面上にワールド座標系をとり
、この座標系で計測するステレオ画像計測法について説
明する。

第１図はこの発明の一実施例のステレオ画像針ｆｔ１ｌ
Ｊ法を説明するための図である。第１図を参照しり、デ
イスプレィ画面と重なっているものとする。

ミラー１６４はステレオ計ハ）系を較正するときにのみ
、ワールド座標系］６１のＺ軸方向の所定の（ｘ、ｙ、
ｚ）はミラー１６４を用いて得られるワールド座標系１
６１と表面対象な座標系であり、対象座標系１６２と呼
ばれる。（ｘ、　　ｙ、　　ｚ）は撮影カメラの座標系
１６３であり、原点０はレンズの視点である。視点０か
ら焦点距離ｆのところに撮像面１６５かある。

カメラが撮影する対象は、対象座標系１６２の中の対象
物であり、この座標系１６２の座標をワールド座標系（
Ｘ、　Ｙ、　　Ｚ）に変換する必要がある。詳しくは後
述するが、この座標変換７トリクスを上述のごとく導入
したミラー１６４を用いる鏡面対象走査により獲得する
ことができる。また、対象座標系１６２は、デイスプレ
ィに相対した座標系であり、インターフェイス型の環境
では利用者かはほこの座標系０あたりに来るものとする
。

この発明では、視線インタフェースに利用することが最
終目的であり、したがってデイスプレィ座標系で視線の
検出が必要であり、デイスプレィ座標系で人物の特徴点
を正確に求める必要がある。

一般に、カメラ座標系１６３で捉えた特徴点の位置をカ
メラ座標系１６３とは異なる座標系に変換して求めるた
めに較正が必要である。較正するには、変換しようとす
る座標系に位置が予めわかっている点を用意し、このカ
メラによって捉え、変換パラメータを求める方法がとら
れる。この発明の目的では、デイスプレィ座標系で７１
１１定したいため、基本的１とはデイスプレィに位置の
明確な点を表示し、これをカメラで捉えて較正すればよ
い。

しかし、このようにすると、当然のことながらカメラは
デイスプレィの方向を向けることになり、デイスプレィ
に相対している利用者を捉えることはできない。

そこで、この発明の実施例では、第１図に示すように、
較正時にワールド座標系１６１の前にミラー１６４が設
けられ、このミラー１６４に写ったデイスプレィ上の虚
像が較正用のデータとじて用いられる。この虚像をカメ
ラで捉え、後述のアルゴリズムを用いることにより、ワ
ールド座標系１６１における空間の位置が正確に求めら
れる。

すなわち、第１図において、ワールド座標系１６１の点
Ｐはミラー１６４で反射し、その鏡像は対象座標系１６
２の点Ｐに現われる。光は第１図に示す矢印■のように
ミラー１６４で反射するが、カメラ座標系１６３から見
ると、矢印■のように、対象座標系１６２からの光とし
て計測される。

次に、ミラー１６４は、ワールド座標系１６１に対して
、位置と方向が予め既知にあるように配置される。この
ようにすると、ワールド座標系１６１と対象座標系１６
２の変換が容易となる。たとえば、上述のごとく、ワー
ルド座標系１６１のＺ軸に直交してミラー１６４を配置
すると、対象座標系１６２での空間位置座標は、Ｚ軸方
向の符号を反転するだけでワールド座標系１６１に変換
することができる。つまり、ワールド座標系１６１と対
象座標系１６２との変換が容易であれば、カメラ座標系
１６３と対象座標系１６２との変換法を確立することに
より、カメラ座標系１６３とワールド座標系１６１、す
なわちデイスプレィ座標系の変換が可能となる。

したがって、以下の説明においては、第１図において、
特徴点Ｐの対称座標系１６２での空間位置を、カメラで
捉えたその特徴点の二次元位置データを元に求める方法
について説明する。

まず、空間の点Ｐを考える。この点Ｐはカメラの撮像面
座標では（ξ、η）、カメラ座標（Ｘ。

Ｙ、Ｚ）、および対称座標（Ｘ、　Ｙ、　　Ｚ）の関係
について述べる。第１図から明らがなように、である。

対称座標系１６２でのＰ点の座標をＰ（Ｘ、Ｙ、Ｚ）と
すると、 であり、カメラ座標系１６３での座標をＰ　（ｘ。

ｙ、ｚ）とすると、 離）　　　・・・（１） である。すなわち、撮像面上で像の座標が既知のとき（
計測では既知であるが）、被写体はその方向のみ明らか
であり、カメラ座標系１６３における点Ｐの方向ベクト
ルは、第１図において、点Ｐのフィルム上の像の座標を
ｐ′ すると、第（２）式より マーア−ｔ　−Ｒ−（Ｙ−Ｘ’、）　）すなわち、 （ξ、η）と ｔはパラメータ 逆変換は第（２）式および第（３）式よりＸ＝Ｒ−’ｘ
＋Ｘ。

上述の第（６）式において、ξ、η、　Ｘ、　ＹＺを人
力として与え、位置パラメータであるＲ−１ｆ、Ｘｏ、
ｙｏ、ｚｏを出力として求めることを考える。すなわち
、対称座標系１６２　（Ｘ、Ｙ。

Ｚ）において、カメラ位置の傾き、焦点距離を求める方
法について以下に説明する。

対称座標の既知なＮ個の点ｐ、（ｘ、、ｙＺ　　）（ｉ
−１〜Ｎ）を撮影し、その画像の位置座標（ξ１．η、
）（ｔ−１〜Ｎ）を測定することにより、カメラの位置
（Ｘ（１、ＹＯ，Ｚ６　）カメラの光軸方向とカメラの
傾きを決定する回転角（α、β、γ）および焦点距離ｆ
を決定する。

第（５）式を展開すると、次の第（７）式が得られる。

一ξ、／ｆ ＋Ｒ１２ 一η、／ｆ ＋Ｒ２２ ＋Ｒ３ ＲｉＪ　　（ｉ、　　ｊ の各要素であり、 Ｒ７，謂ｃｏｓβ Ｒ，２−ｓｉｎα 拳５ｉｎ Ｒ１３■−ＣＯＳ ５ｉｎ Ｒ２１寵−ｅＯｓ Ｒ２゜調−５ｉｎ φ　Ｃ０８ Ｒ２３胃ＣＯＳα ψ　ＣＯ８ ””Ｒ＋　　＋　　（Ｘ −Ｙ　ｏ　）＋Ｒｌ −Ｒ２、（Ｘ −ｙｏ　）＋Ｒ２ −Ｒ，，（Ｘ −ＹＱ　　）＋Ｒ。

一１〜Ｎ） −Ｘｏ） 、　（Ｚ、−Ｚｏ　） −Ｘｏ） ３　（ｚ、−Ｚｏ　＞ −Ｘｏ） 、　　（Ｚ、−ｚｏ　　） ・・・　（７） −１〜３）は回転マトリックス 次のとおりである。

・　ＣＯ８γ ・Ｓｌｎβ”　ｅＯｓ　７　＋ｃｏｓ　（１γ α・ＳＩｎβａＣＯ３γ＋Ｓｉｎα γ β−５ｉｎ　γ　　　　　　・・・（８）αやｓｉｎβ
争ｓｉｎ　７　＋ｃｏｓ　ａγ ０ＳｉＩｌβ０ｓｉｎ　７　＋ｓｉｎ　ａγ Ｒｓ　　＋　　＝ｓｉｌ　　β Ｒ３２−ｓｉｎ　　α”　ＣＯ８β Ｒ３３冒−ｃｏｓ　　α’　ｃｏｓ　　β上述の第（７
）式の第３式を第１式および第２式に代入してｔｌを消
去すると、次の第（９）式が得られる。

（Ｒ＋＋＋ξ＋　／　ｆ　’Ｒ３１）（Ｘ＋　　Ｘｏ　
）＋　（Ｒ，２＋ξ＋　／　ｆ　”　Ｒ３２）（Ｙｔ　
　Ｙｏ　）＋（ＲＩ３＋ξＩ／　ｆ　”Ｒａ　ｓ　）（
Ｚ＋　　ｚ、、　）−〇 （Ｒ２＋　＋７７＋　／　ｆ　−Ｒａ　＋　）（Ｌ　　
Ｘｏ　）＋（Ｒ２２＋７７＋／ｆ’Ｒｓｚ）（Ｙｔ　　
Ｙｏ）＋　（Ｒ２，十ηｌ　／ｆ−Ｒ３３）（Ｚ、　−
Ｚ、　）−〇 （１−１〜Ｎ）　　　　　　・・・　（９）ここで、求
めるべき未知数は（Ｘｏ、ＹＯ，ＺＯ）、　（α、β、
γ）およびｆの７個である。したがって、Ｎ２２でなけ
ればならない。実際には、以下の解法に示すように、最
小二乗法により最確値を決定するので、Ｎは成る程度大
きい方が望ましい。ここで、解法について説明する。測
定誤差などのため、実際には第（９）式の左辺は０にな
らず、誤差σ１．ε１を生じる。そこで、誤差の２乗和
Σ（（Ｂ’　十ε１′）を最小とする方法で解を求める
ことができる。

このようにして、予め空間位置が予め明らかな複数の点
をカメラで撮影することにより、カメラ座標、カメラの
向き、焦点距離などが対称座標系１６２で求まる。対称
座標系１６２は前述のごとく、容易にワールド座標系１
６１に変換できるため、結局ワールド座標系１６１に対
して４１１１定系のパラメータをすべて求めることがで
きる。

次に、三次元位置の計１４ＦＩについて説明する。

第６図および第７図はワールド座標系に対して、任意に
設定された２台のカメラで撮影した画像により、その三
次元位置を求める方法を説明するための図である。

第６図を参照して、ワールド座標系における２台のカメ
ラ１６５，１６６は、カメラレンズ主点の座１％（Ｘｏ
＋、ＹＯ＋＋　　ＺＯ＋）１元〒ｍ力同とカメラ１６５
．１６６の傾きを決める回転角（α２．β１．γ、）お
よび焦点距離ｆ、（ｉ−１〜２）が既知である。ワール
ド座標系１６１の、Ｐ撮影した画像の座標をそれぞれ（
ξ１．η、）。

（ξ２．η２）とする。画像（ξ６．η１）からレンズ
主点へ向かう方向ベクトルをそれぞれＡ、。

Ａ２とすると、 Ｐ、−ＡＨｔｌ　＋ＸＯ１（ｔｌ　、　ｔ２はＰ２−Ａ
２　ｔ２±ｘｏ　２　　　パラメータ）Ａ、、Ａ２は第
（６）式から ・・・　（１１） である。Ａ＋　、Ａ２　、Ｘｏ　Ｉ　、ｘｏ　２は前述
の較正により求まり既知である。したがって、ｔ、。

ｔ２が求ま屯ば、ｐ、、ｐ２が決まる。誤差がなければ
、Ｐ、、Ｐ２は一致し、第（１０）式をＰ、−Ｐ２とし
て解けばよい。第（１０）式からはｔＩ＋　　ｉ２を求
めることができる。しかし、実際には測定誤差によりＰ
、、Ｐ２が一致しないので、最も接近した点が求められ
る。このようにして、２枚の画像を用いてワールド座標
系１６１で任意の点の空間位置が計ｎ１できる。

次に、顔の位置、方向と瞳孔、黒目の中心位置を用いた
視線検出法について説明する。眼球中心と瞳孔の座標か
らこれを結ぶ線として視線の方向を求めることができる
。瞳孔は直接カメラで捉えることができるので、前述の
ステレオ画像計測アルゴリズムにより、そのワールド座
標値を得ることができる。眼球中心の位置は直接Ａｌ１
定できないが、頭上の３つの特徴点より形成される頭部
座標系において、固定された位置にあると考えられる。

そこで、頭部座標系で与えられた眼球中心の座標をワー
ルド座標系１６１へ変換する。

第８図は視線検出の実施例を示す図である。前述のステ
レオ画像計測法では、第８図において、ワールド座標系
１６１をデイスプレィ座標系と考えてもよい。この方法
を用いると、直接カメラで捉えることのできるすべての
特徴点は、ワールド座標系１６１においてその空間位置
がわかる。

第８図において、頭部座標系は三角形（Ｐｌ。

ｐ２．ｐ、）の重心ＰＧに原点があり、ＰｌとＰ２を結
ぶ線分の方向をＸ軸、Ｘ軸に直交する方向をｙ軸、三角
形の法線方向を２軸とする。ｅ　（ｘ。、Ｙｅｔ　　Ｚ
ｅ）は頭部座標系において眼球中心１７１の位置ベクト
ルである。このペクトは現時点では未知数であるが、定
数ベクトルである。何らかの方法で重心ＰＧからの位置
を測定することができる。後述するように、このベクト
ルは較正により求めることができる。そこで、以下の説
明では、入力データとして与えることができるものとす
る。

したがって、入力データとしては、■頭上の３特徴点Ｐ
＋　　（Ｘ＋　、Ｙｔ　、Ｚ＋　）（ｉ＝１〜３）、■
頭部座標系（ｘ、ｙ、ｚ）における眼球中心座標ｅ　（
Ｘｅ、Ｙｅｔ　　Ｚｅ）である。出力データは眼球中心
のワールド座標値Ｃ（Ｘｃ、Ｙｃ、Ｚｃ）である。この
結果がわかれば、視線の方向は第３５図において、Ｄ　
（Ｘｏ　、　Ｙｏ　、Ｚｏ　）　　Ｃ（Ｘ。、Ｙｃ、Ｚ
ｃ）として求まる。

以上の命題は、頭部座標系（ｘ、ｙ、ｚ）をワえる。

第９図は、原点の移動と座標軸の回転が伴う座標変換を
説明するための図である。第９図を参照して、原点の移
動と座標軸の回転が伴う座標変換は、一般に次の第（１
２）式により可能である。

また、逆変換は、次の第（１３）式で表わされる。

また、Ｒ−１はワールド座標系をｙ軸まわりにβ回転さ
せ、続いてＸ軸のまわりにα回転させ、Ｚ軸の方向にγ
回転して頭部座標系に一致させるとすると、次の第（１
４）式で表イフされる。

Ｐａ　　ＣＸａ、ＹＧ、ＺＧ）は計δＩＩＩされるため
、ｓｉｎα、ｓｉｎβ、　　５ｉｎ７．　　ｃｏＳａ、
　　ｃ。

Ｓβ、ｃｏｓγがわかればよい。これを求める方法につ
いて以下に説明する。

第１０図は第８図において、顔の中の特徴点Ｐであるワ
ールド座標系の原点を移動した図である。頭部座標系の
２方向は顔の３点が作る三角形の法線ベクトルＮに等し
いものとする。ワールド座標系における三角形の法線ベ
クトルの方向余弦は次の第（１５）式となる。

ｎｘ謬ｃｏｓθ ｎｙ−ＣＯ５φ　　　　−（１５） ｎｚ＝ｃＯ５ψ この値はワールド座標系で計ｄｐｊされる顔の３点の位
置座標から以下のようにして求めることができる。第９
図において、平面の方程式を次の第（１６）式で示す。

Ａ−Ｘ＋Ｂ−Ｙ＋Ｃ−Ｚ＋Ｄ−０−（１６）ｘ、　ｙ、
　ｚは３点Ｐｉ　　（Ｘ＋　＋　Ｙ＋　、ｚ、　）　　
（１−１〜３）をとるので、 上述の第（１７）式は、Ａ　−Ｂ　−Ｃ−Ｄ　−０以外
の解を持つことから、係数の行列式は０であり、平面の
方程式は次の第（１８）式となる。

すなわち、 ・・・　（２１） したがって、このとき平面１７０の法線ベクトルＮは次
のようになる。

また、三角形の法線ベクトルの方向余弦（ｒ＋ｘ。

ｎｙ＋ｎｚ）は、ワールド座標系がＹ軸のまわりにβ回
転し、次にＸ軸のまわりにα回転して、Ｚ軸を頭部座標
系の２軸に合わせる条件からも同様にして求めることが
できる。

第１．１８図において、■はワールド座標系がＹ軸のま
わりにβ回転することを示す。このとき、（Ｘ、Ｙ、Ｚ
）は、破線に示す（Ｘ’、Ｙ’　　　Ｚ′）になる。続
いて、■はＸ′のまわりにワールド座標系がα回転する
ことを示している。この操作により、２′軸は２軸に一
致する。したがって、第１１図から、方向余弦（ｎｘ　
＊　ｎｙ　＋　　ｎｚ　）は、ｎｘ−＋＋ｎｃｏｓｃｒ
＊ｓｉｎβ ｎｙ−−ｓｉｎα　　　　　　　　・・・（２４）口ｚ
ＷｃＯ５α−５ｉｎβ となる。このように、して、Ｚ軸の方向が決定され、第
（２３）式および第（２４）式より、５ｉｎａ、ｓｉｎ
β、５ｉｎ７．ｃｏｓａ、ｃｏｓａ。

ＣＯＳγを求めるための１つの条件ができる。

次に、第１１図において、■に示ずように頭部座標の２
軸（すなわちＮ）のまわりにワールド座標系が７回転し
、Ｘ′軸が頭部座標系のＸ軸に重なるように、すなわち
Ｘ軸、Ｙ軸も頭部座標系に平行になるようにする。

Ｐ、Ｐ２とＸＺ平面のなす角をδとすると、第１１図か
られかるように、 ｓｉｎδ−Ｙ、、−Ｙ。

（Ｘ２−Ｘ＋　）　”（Ｙ　２−Ｙｌ　）　”（Ｚ　２
−Ｚｌ　）坤ｃｏｓα１１ｓｉｎ７　　　　　　　−（
２５）である。これをｍと置くと、回転角α、β、γは
第（２３）式、第（２４）式および第（２５）式から次
のｍ（２６）式で表わされる。

ｓ１ｎα−−ｎｙ　　　　、ｃｏｓａ−ＪＦらｓ１ｎβ
−ｎ　Ｘ　／　４　ＣＯ８β−ｎｚ４ｓｉｎγ−ｍ　／
　−ｆ璽Ｗ　、８０８γ閣４／４上述の第（２６）式の
値を第（２０）式に代入すれば、Ｒ−１が求まる。した
がって、ｍ（２１）式により、頭部座標系の点はワール
ド座標系に変換される。したがって、眼球中心の位置は
ワールド座標系で求まる。

次に、視線の計算方法について説明する。前述の第８図
において、眼球中心のワールド座標値Ｃ（Ｘｃ　、　Ｙ
、ｃ、　Ｚｃ　）が求まれば、これと瞳孔座標Ｄ　（Ｘ
ｏ　＋　Ｙｏ　＋　　Ｚｏ　）を結んだ線が視線となる
。視線上の任意の点のベクトルは次のように表わすこと
ができる。

Ａ−Ｃ＋ｔ　　争　　（Ｄ−Ｃ）　　　　　　　　　　
　・・・　（２７）ここで、ｔは視標までの距離を示す
パラメータであり、様々な方法で求めることができる。

ワールド座標系に設けられたデイスプレィが平面であれ
ば（たとえば第８図においてＹＺ平面がデイスプレィ面
である。）、視線ベクトル（Ｄ　−Ｃ）の原点と方向が
検出されているので、このベクトルがデイスプレィに当
たる点は、デイスプレィ座標で一意に求まる。

また、この発明では、左右の眼の視線方向を独立に検出
できるため、平面上の注視点でなくとも検出できる。す
なわち、空間上の注視点も抽出できる。すなわち、左右
の視線上の任意の点へのベクトルをそれぞれＡＩ、Ａ２
とすれば、第（２７）式より、次の第（２８）式が得ら
れる。

ｔｌ、ｔ２をパラメータとして、Ａ１．Ａ２が最も近く
なる点を求めれば、それが注視点である。

このように、この発明では、注視点と同時に両眼の輻轢
角も検出できる。

次に、眼球中心座標の推計について説明する。

眼球中心の位置は頭部座標系において固定されていると
考え、前述の説明ではインプットデータとした。しかし
、実際に眼球中心の座標を正確に与えることは難しいの
で、以下の方法で推計する。

今、被験者にワールド座標の既知なＭ個の点Ｌ（Ｘ、、
Ｙ、、Ｚ、）を順次見つめさせ、そのときの瞳孔のワー
ルド座標り、（ＸＤ、、ｙ。

Ｚｏ　Ｉ）および頭部座標を形成する頭上の３特徴点の
ワールド座標Ｐ＋　＋　　（Ｘ＋　＋　、Ｙ、＋　、Ｚ
ｌ）・　Ｐ２１（Ｘ２１・Ｙ２ｉ・　Ｚ２１）・　Ｐ３
（Ｘｉ＋、Ｙ３１．　　Ｚ３１）を測定する。これらの
測定値を用いて、頭部座標系における眼球中心座標ｅ　
（Ｘｅ、Ｙｅ＋　　Ｚｅ）を最小自乗法によりその最確
値を推計する。

第１２図において、頭部座標系における眼球中心へのベ
クトルをｅとし、点し、を見つめているときの瞳孔中心
、頭上の３特徴点の重心２点り。

へのベクトルをそれぞれワールド座標系でＤＩｎＰＣ＋
＋Ｌ＋　とする。ベクトルｅをワールド座標系で表示す
ると、Ｒ，−１・ｅであるので、第１２図から明らかな
ように、次の第（２９）式が成立する。

Ｌｌ　　＋　ｔ　（ＣＤ、　　Ｊ　）−Ｒ＋　−’　ｅ
＋ＰＧ（ｉ−１〜Ｍ）　　　　　　　　　　　・・・（
２９）ｔ、はパラメータ（ｔ、＞１） すなわち次の第（３０）式に示す連立方程式とここで％
　　ｒｌ　ｌ　！　＋　　’＋　２１　””３３１　は
回転マトリックスＲ１−１の各要素であり、第（２０）
式に第（２６）式を代入したものである。第（２８）式
からｔｌを消去して、Ｘｅ＋　　Ｙｅ＋　　Ｚｅについ
て整理すると次の第（３１）式が得られる。

Ｕ＋　＋　　Ｘｓ　＋Ｕ２　Ｉ　ｙｅ　十Ｕ３　＋　　
Ｚｅ　＋ＵＯ＋−〇 Ｖ＋　ＩＸｅ　＋Ｖ２　Ｉｙｅ　＋Ｖ３１　Ｚｅ　＋ｖ
Ｑ　ｉ−〇 （ｉ−１〜Ｎ）　　　　　　　　　　　　　・・・　（
３１）ここ”ＣＳＵ＋　Ｉ　＋　　ＬＪｚ＋　＋　　Ｉ
Ｊ３ｉ　＋　ＵＯＩｒ　ｖ。

＋　＋　ｖ２＋　＋　ｖ、ｉ　＊　ｖｏ　＋　は１ｌｆ
ｌｌＪ定データとして得られるものである。したがって
、未知数ｘｅ＋ｙｅ＋　　ｚｅの解については、第（２
つ）式の右辺をそれぞれδ１．δ１と置き、誤差の二乗
和Σ（δＩ′十ε、′）が最小になるようにして求めれ
ばよい。

上述の説明では、較正により求めなければならないパラ
メータは、頭部座標における眼球中心位置のみである。

したがって、較正をするために、被験者に提示する視標
の数は少なくて済む。また、較正が簡単であるので、被
験者のばらつきによる誤差が少なく、精度が高くなる。

なお、上述の説明においては、視線は瞳孔と眼球中心を
結ぶとして説明してきたが、厳密にはずれる場合がある
。

第１３図は、瞳孔と中心窩を結ぶ線分上に眼球中心がな
い場合を示す図である。第１３図を参照して、瞳孔と中
心窩を結ぶ線分上に眼球中心がない場合には、眼球中心
を仮定し、この点から中心窩へのベクトルを何らかの方
法で求めるか、定数ベクトルとして、較正法の中で求め
てもよい。いずれにしても、眼球の回転によらず、位置
の変化が少ない眼球中心点を求めることが視点検出に有
効に作用することは明らかであり、上述の問題はこの発
明の改良の中で処理できるものである。また、被験者か
眼鏡をかけている場合には、眼鏡レンズの影響を考慮し
た補正が必要であるが、この場合についても同様であり
、この発明の改良により較正が可能である。

瞳孔と角膜反射像を用いる方法は、眼の中の特徴点だけ
を用いる方法である。光源の位置を既知とし、眼球構造
を一定とすると、角膜反射像は眼球中心の位置と瞳孔の
位置（眼球の回転に対応する）により一意に決まる。し
たがって、眼球中心の位置は眼球構造パラメータを用い
て角膜反射像と瞳孔の位置から求めることができる。視
線は眼球中心と瞳孔の位置から求めることができる。眼
球構造パラメータとは、眼球の半径、角膜の曲率半径、
眼球中心と角膜の曲率中心との間の距離である。これら
は予め計測するか、使用時に利用者にデイスプレィの特
定箇所を見てもらい、較正することができる。

次に、頭上の特徴点の選び方について説明する。

デイスプレィに向かった利用者は表情をあまり変えない
ことが多い。したがって、皮膚の動きも少ない。また、
仮に動いていてもすぐに元に戻ることが多い。このよう
なことから視線検出に支障のない範囲で動きの少ない部
分が存在する。具体例としては、目頭、鼻の頭９上唇の
中間部などである。このような点は表情を大きく変えな
い限り変化は少ない。また、周辺と色が異なるため、画
像処理により特徴を抽出しやすい。すなわち、エツジ抽
出、２値化処理により特徴点部位を同定できる。なお、
視線検出の精度を上げるためには、眼の周辺を大きく拡
大して撮影した方がよいため、顔特徴点を眼の周辺から
選択するのが望ましい。

眼のまわりにもこのような点は多い。また、簡単な画像
処理により視線を高速に検出したい場合には、このよう
な点にマーカを貼ってもよい。

第１４図はマーカ付眼鏡を用いた頭部骨格のモデル例を
示すである。顔にマーカを貼るのが難しい場合には、第
１４図に示すように、眼鏡１７１のフレーム枠の周辺３
箇所ずつマーカ１７２を取付け、この眼鏡１７１を装着
することにより、頭部骨格がマーカ１７２でモデル化さ
れる。なお、マーカ１７２の抽出方法については、瞳孔
の抽出と兼ねて後で説明する。なお、第１４図に示した
例は、頭上の３点でモデル化する場合について説明した
が、さらに多くの点でモデル化してもよい。

第１５図は４点でモデル化した図であり、この例では第
１の三角形１７３が特徴点抽出の失敗で求まらなかった
ような場合、第１の三角形１７３に代えて第２の三角形
１７４によって眼球中心を求めるものである。実際、人
の頭は様々な動きをするため、各特徴点が常にカメラで
捉えられているとは限らない。そこで、実用上は複数の
三角形を用意しておき、随時切換えることにより、絶え
間なく視線を検出することができる。

また、頭上において、皮膚の動きの少ない点は多くは存
在しない。このような点は抽出が難しい場合もある。そ
こで、頭上の特徴点は４つ以上できるだけ多く捉え、こ
れらの点から変化の少ない仮想の点を３つ以上再較正し
、この点により頭部骨格をモデル化することが考えられ
る。

第１６図および第１７図は２つの顔特徴点から不動の仮
想特徴点を求める例を示す図である。目尻、目頭の部分
は、第１６図に示すように眼を開いた場合に比べて、第
１７図に示すように眼を細めるとその位置が変化する。

しかし、両側の眼を同時に細めると（通常、人はそのよ
うにする）、２つの目尻特徴点の中心の位置はほとんど
変化しない。同様のことが、鼻の角、まつげなどににつ
いても言える。皮膚は顔面筋肉より動くため、有る部分
が伸びるとき、必ず縮む部分が存在する。

このように、表情と皮膚の動きをデータベースとして用
意しておくことにより、仮想的に皮膚の動きの少ない特
徴点を得ることができる。このような仮想特徴点を用い
ることにより、視線検出の精度はさらに向上する。将来
的には、表情と視線を同時に捉えるのが望ましい。

第１８図は視線検出の他の実施例を説明するための図で
ある。第１８図を参照して、照明装置１８１が設けられ
、この照明装置１８１から参照光１８２が照射される。

角膜は凸レンズとみなせるため、参照光１８２がほぼ平
行光の場合角膜の中には虚像が結像し、あたかもこの点
に光源があるように観測される。これを角膜反射像１８
３と呼ぶ。角膜反射像１８３の位置Ｅは眼球中心１８４
の位置と角膜の光軸上の点（たとえば角膜曲率中心１８
５）の位置と角膜の曲率半径ｇｅにより一意に決まる。

ここで、眼球中心の位置はＡ＋’Ｂであり、前述のよう
にして求めることができる。したがって、角膜曲率中心
１８５の位置が得られれば視線を求めることができる。

角膜曲率中心１８５の位置は眼球中心と角膜曲率中心と
の距離ｄｅおよび角膜曲率半径ｇｅとが既知であれば、
眼球中心１８４の位置と角膜反射像の位置Ｅから幾何学
的に求めることができる。このようにして、視線は顔特
徴点と角膜反射像１８３を用いても検出できる。なお、
ｇｅ、ｄｅは実際の計測ができない場合は未知数として
前述の較正を行なって決定することも可能である。

［発明の効果］ 以上のように、この発明によれば、顔の位置と方向と瞳
孔の位置とを用いて視線を検出するようにしているため
、利用者の注視点を求めるための較正パラメータを少な
くでき、較正が簡単であり、精度を高くして利用者への
負担を少なくできる。

さらに、頭部の位置と方向とを検出して眼球中心の位置
を観測座標系に対して求めることにより、必要なパラメ
ータとして近似的に１つの定数ベクトルでよく、較正が
簡単であり、眼球中心と瞳孔の空間位置を求めることに
より、非接触で利用者の頭部の動きによらず視線の方向
を求めることができる。しかも、較正のパラメータが少
ないため、猜度を高めることができる。さらに、両眼の
視線方向を別々に求めることが可能であり、眼の輻轢を
検出でき、現点は平面だけでなく奥行き方向についても
求めることができる。さらに、視線検出の処理過程にお
いて、瞳孔の面積を求めることができ、視線方向と同時
に瞳孔の拡がりも検出できる。

さらに、頭部３つの点でモデル化することにより、頭上
の３点から頭部の位置と方向を検出できる。また、３点
が予め決められていれば、この点にマークを貼るなどで
きるため、３点の抽出が容易であり、高速な視線検出が
可能となる。

さらに、眼鏡フレームの周辺の少なくとも３カ所に特徴
抽出の容易なマーク物体を設けるだけで頭部をモデル化
でき、頭部の位置を簡単に求めることができる。眼鏡が
顔からずれない限り頭部の位置が正確に求まり、視線を
簡単かつ精度良く求めることができる。

さらに眼球中心と角膜反射像との空間位置を求めること
により、非接触で利用者の頭部の動きによらず視線の方
向を検出できる。さらに、画１象撮影装置を少なくとも
２台設け、頭部を反映する顔特徴点のマーク物体からな
る顔特徴点と眼の特徴点の位置が２台の画像撮影装置に
よって撮影された画像と三角ｉｌｌ　ｆｆｉ法とを用い
て視線を検出できる。

【図面の簡単な説明】 第１図はこの発明の一実施例のステレオ画像計測法を説
明するための図である。第２図はこの発明の一実施例に
用いられる画像撮影装置の一例を示す図である。第３図
は第２図に示した撮影レンズの前方から見た図である。 第４図は同じく側面から見た図である。第５図は眼球の
構造を模式的に示した図である。第６図および第７図は
ワールド座標系に対して任意に設定された２台のカメラ
で撮影した画像により、その三次元位置を求める方法を
説明するための図である。第８図は視線検出の一実施例
を示す図である。第９図は原点の移動と座標軸の回転が
伴う座標変換を説明するための図である。第１０図は第
８図において、顔の中の特徴点Ｐ、であるワールド座標
系の原点を移動した状態を示す図である。第１１１図は
ワールド座標系を回転した状態を示す図である。第１２
図は頭部座標系における眼球中心のベクトルを説明する
ための図である。第１３図は瞳孔と中心窩を結ぶ線分上
に眼球中心がない場合を示す図である。 第１４図はマーカ付眼鏡を用いた頭部骨格のモデル例を
示す図である。第１５図は頭部骨格を４点でモデル化し
た例を示す図である。第１６図および第１７図は２つの
特徴点から不動の仮想特徴点を求める例を示す図である
。第１８図は脱線検出方式の他の実施例を説明するため
の図である。第１９図は従来の非接触視線検出装置の一
例を示す図である。第２０図は従来の照明装置と撮影装
置とを用いて人物の顔に合った青色のマークを特徴点と
して抽、出する実験を行なった例を示す図である。第２
１図および第２２図は第２０図に示した実験によって顔
の特徴点を抽出した例を示す図である。第２３図は瞳孔
の池の抽出法として、瞳孔から光を入射し、網膜で反射
する光を捉える方法を示す図である。第２４図は角膜反
射像をカメラで撮影する装置の一例を示す図である。第
２５図は撮影された画像上で、白眼の中の黒眼の位置を
検出し、視線に変換する方法を説明するための図である
。第２６図は瞳孔と角膜反射像を特徴点として用い、１
台のカメラで抽出する方法を説明するための図である。 図において、６０はカメラユニット、６１．６２は照明
装置、６４．６６は発光ダイオード、６Ｂ、６７．６１
５，６１６は偏光板、６５はレンズ、６８は可視遮断フ
ィルタ、６０７，６０８゜６０９はプリズム、６１０は
波長分離膜、６１１はハーフミラ−１６１２，６１３，
６１４はＣＣＤ撮像素子、６１７，６１８は差分画像演
算手段を示す。 特許出願人　株式会社エイ・ティ・アール通信♀ 第１ 図 第５ 図 第６ 図 ス 第７図 第８ 図 ＋Ａ′Ｊ１０１Ａ 第１５図 第２＋図 第２２図 第１８図 第２３図 第２４図

Claims (8)

【特許請求の範囲】
1. （１）画像撮影装置によって撮影された顔画像から視線
   を検出する視線検出方式であって、前記画像撮影装置に
   よって撮影された顔画像から頭部の位置と方向とを検出
   し、 前記画像撮影装置によって撮影された顔画像から眼の特
   徴点を検出し、 前記検出された頭部の位置と方向および前記眼の特徴点
   位置からの視線を求めるようにしたことを特徴とする、
   視線検出方式。
2. （２）前記眼の特徴点は、眼の瞳孔、黒眼または角膜反
   射像の位置を求めることによって検出することを特徴と
   する、請求項第１項記載の視線検出方式。
3. （３）画像撮影装置によって撮影された顔画像から視線
   を検出する視線検出方式であって、前記画像撮影装置に
   よって撮影された顔画像から頭部の位置と方向とを検出
   し、 前記検出された頭部の位置に対して移動、回転の各処理
   を施すことにより、眼球の回転運動によらず、位置の変
   化が少ない眼球中心位置を検出し、前記撮影された顔画
   像から眼の特徴点としての瞳孔中心または黒眼中心の位
   置を検出し、 前記検出された眼球中心位置と前記眼の特徴点位置から
   視線を求めるようにしたことを特徴とする、視線検出方
   式。
4. （４）画像撮影装置によって撮影された顔画像から視線
   を検出する視線検出方式であって、前記画像撮影装置に
   よって撮影された顔画像から顔上の皮膚の動きの少ない
   少なくとも３つの特徴点を抽出し、抽出した各点を用い
   て頭部をモデル化し、前記頭部の位置と方向とを検出し
   、前記検出された頭部の位置に対して移動、回転の各処
   理を施すことにより、眼球の回転運動によらず、位置の
   変化が少ない眼球中心位置を検出し、前記撮影された顔
   画像から眼の特徴点である瞳孔中心または黒眼中心の位
   置を検出し、 前記検出された眼球中心位置と前記眼の特徴点とから視
   線を求めるようにしたことを特徴とする、視線検出方式
   。
5. （５）さらに、眼鏡フレームの周辺の少なくとも３ヵ所
   に特徴抽出が容易なマーク物体が設けられた眼鏡が前記
   撮影対象に装着されて、頭部が該マーク物体でモデル化
   されていて、 前記マーク物体の位置から前記頭部の位置と方向とを検
   出することを特徴とする、請求項第４項記載の視線検出
   方式。
6. （６）画像撮影装置によって撮影された顔画像から視線
   を検出する視線検出方式であって、前記顔画像の上に参
   照光を照射し、前記画像撮影装置によって撮影された顔
   画像から頭部の位置と方向とを検出し、 前記検出された頭部の位置に対して移動、回転の各処理
   を施すことにより、眼球の回転運動によらず、位置の変
   化が少ない眼球中心位置を検出し、前記参照光により生
   成される角膜反射像の位置を検出し、 前記検出された眼球中心位置と前記検出された角膜反射
   像の位置から視線を求めることを特徴とする、視線検出
   方式。
7. （７）画像撮影装置によって撮影された顔画像から視線
   を検出する視線検出方式であって、前記顔画像の上に参
   照光を照射し、前記画像撮影装置によって撮影された顔
   画像から角膜反射像と瞳孔とを抽出し、前記顔画像の特
   徴点の空間位置を検出し、 前記検出された特徴点位置から視線を求めることを特徴
   とする、視線検出方式。
8. （８）前記画像撮影装置は少なくとも２台設けられ、 前記頭部を反映する顔画像の特徴点、マーク物体からな
   る各特徴点および眼の特徴点の位置は、前記２台の撮影
   装置によって撮影された画像と三角測量法を用いて検出
   することを特徴とする、請求項第３項ないし第７項のい
   ずれかに記載の視線検出方式。