JP4604190B2 - 距離イメージセンサを用いた視線検出装置 - Google Patents

Description

この発明は、非接触で被験者の視線方向を正確に検出する方法及び装置に関する。

非接触で被験者の視線方向を正確に検出するためには、三次元空間内での瞳孔もしくは眼球中心の座標と、それらの座標とカメラを結ぶ直線と視線とのなす角度の情報が必要である。従来は、広角の２台のカメラを用いて三角法による瞳孔の３次元位置を検出(たとえば特許文献１参照)する、もしくは、顔に３個以上のマーカーを取り付けて眼球中心を推定(たとえば特許文献２参照)したりした。しかし、これらのような方法では、カメラを２台以上必要とするし、ステレオカメラのカメラ較正が面倒であるなどの問題があった。
また、カメラから被験者までの距離を知る方法として、超音波距離計(たとえば特許文献３，４参照)が知られている。
この場合、カメラの近傍に超音波発信機をとりつけて、超音波を発射し、眼を反射して戻ってくるまでの時間を計測し、超音波の速度を乗じ、２で割ることにより、カメラから眼までの距離がわかる。しかし、このような超音波を用いたTOF（Time of flight）法では、超音波の指向性が弱い等の問題で、実際には超音波は眼の周囲の広い範囲で反射し、正確に瞳孔までの距離を測定できない。
特許第２７３９３３１号 特開平１０−０６６６７８号公報 特開２００３−１８６４１１号公報 特表平１０−５０９９３３号公報

この発明では、１台のカメラの方向と、そのカメラと瞳孔までの距離と、その距離により求まる拡大率により、瞳孔の三次元位置を特定することを目的とする。さらに基本的に画像中の瞳孔中心と角膜反射中心の相対位置関係から求まる視線ベクトルに基づき、その視線ベクトルと既知の視対象平面との交点から被験者の注目点(視点)を決定することを目的とする。また２つの瞳孔の視線ベクトルから、その視線ベクトルの交差する位置、すなわち被験者の注目点(視点)を決定することをさらなる目的とする。
このために、本発明では超音波ではなく光を発射して物体に反射して戻ってくるまでの遅延時間を計測(光飛行時間型計測)し、それに光の伝播速度を乗ずることにより、物体までの距離を画素ごとに計測できるだけでなく、画像も普通に写すことのできるカメラを使用するものである。
このカメラは、高速応答可能なCMOSセンサを２次元配列したイメージセンサを備えている。距離測定時には、パルス光を対象物に照射し、その照射光と反射光との時間差を計測することにより距離を決定する。この時間差の計測方式には種々の方式が考えられる。そのひとつとして、カウンタとパルス信号源とを設けて、照射開始時にカウント動作を開始し、反射光のピークでカウント動作を停止させる方式がある。

この発明では、カメラ(１)の近傍もしくは既知の位置に光源(２)を有し、その光源を高速に繰り返し点滅させる。このカメラは一般には広角のカメラであり、顔全体が写る程度である。光源は不可視の近赤外線を用い、光源が点灯するたびに、距離計測が画素ごとになされる。
しかし、瞳孔自体はその性質上距離を計測したとしても、それは眼底（網膜）までの距離であり、瞳孔までの距離計測は困難である。
一方で、光源の角膜反射は非常に明るく工夫しだいで外乱光にほとんど影響を受けずに距離計測ができるため、本発明では角膜反射を用いることが望ましい。

簡単のためにカメラと光源は同一の位置にあるとし、カメラから角膜反射の生じている原因となっている角膜表面(簡単のため、角膜反射の位置と呼ぶことにする)までの距離を計測するものとする。この角膜反射の位置は、瞳孔中心位置と奥行きについて数mmしか違わないため、角膜反射位置までの距離を瞳孔中心までの距離とみなすか、もしくは適当な値で補正すればよい。上記の方法によりカメラから瞳孔中心までの距離がわかり、しかも、予めカメラの特性を調べておけば、カメラの光軸をｚ軸、水平軸をｘ軸、垂直軸をｙ軸とするようなカメラ座標系において、カメラの画像中の瞳孔中心座標を用いて、カメラから瞳孔中心を見た方向がわかり、前記のカメラから瞳孔までの距離情報と合わせて、瞳孔中心の三次元位置が推定できる。

さらに、カメラと瞳孔中心を結ぶ直線と視線（瞳孔中心を通る）のなす角度は、画像中の角膜反射中心と瞳孔中心との相対座標から推定する。この関係は、被験者に依存するために、あらかじめ視線較正を行う必要がある。視線較正は、最低、カメラ座標系において３次元位置が既知である１点と光源（カメラ）を順次被験者に見させることによって行う。視線検出においては、視線較正によって得られた較正式を用いて角膜反射中心と瞳孔中心の相対位置を角度に変換し、その角度と角膜反射の３次元位置を用いて、視線の式を決定する。また視線と、式で表現されている対象物体との交点を視点として決定する。

図１には、カメラ(１)と光源(２)と眼球との関係が２次元的に図示されている。カメラと光源の位置は一致しているとし、この点をＯとし、カメラと瞳孔中心を結ぶ直線と視線とのなす角度θを維持した状態で点Ｏ周りに眼球が回転したとすると、点Ｏから瞳孔中心Ｐまでの距離と点Ｏから一定値が保たれる。このとき、画像中の瞳孔と角膜反射は移動するが、それらの相対位置は変化しない。

また、図２(ａ)に示すように、θの大小に依存して、画像中の角膜反射中心と瞳孔中心間距離|ｒ|は変化し、θと|ｒ|の関係は、一般に、|ｒ|＝ｆ(θ)のように関数として表現できる。この関数は、眼球の形状の違いなどにより被験者によって異なるため、被験者ごとに較正が必要である。角度θが小さいときには概ねθと|ｒ|とは正比例の関係にあり、平均的な値を用いて概算することもできる。この場合には予め位置が判明している較正ポイントを被験者に注視させ、概算した位置情報との差により較正する。較正ポイントを数点設ければ、角度θの大きいところでも較正可能である。ただし、角膜反射中心が角膜領域を外れて白目領域に入るほど角度θが大きい場合には較正ポイントとして無意味である。
ただし、角膜反射が白目領域に入ると、一般に角膜反射よりも大きく、複雑な形状の像となって写る。しかし、角膜反射同様に非常に輝度の高い像である。ところで、視線の大まかな方向は、瞳孔の楕円度（長軸/短軸）と短軸の方向からでも推定できる。しかし、たとえば、右40度を見ても、左40度を見ても、同様に瞳孔は楕円度が同じ縦長の楕円となり、どちらを見ているのか区別がつかない。このようなとき、瞳孔に対してどちら側に白目が光っているかは、それを区別する手段となる。さらに、白目の光った部分までの距離計測をすることにより、θが大きいときにも大まかな視線検出ができる。

視線ベクトルがカメラに向いているときには図２(ｂ)のように、カメラから見た瞳孔中心と角膜反射中心とは一致し、|ｒ|＝０である。これら瞳孔中心位置及び角膜反射位置の取得は、カメラ画像から抽出することによりなされる。この処理は情報取得手段(３)で行われるが、この情報取得手段(３)はカメラ(１)に内蔵するものであってもよい。また、関数の演算などの計算処理は演算手段(４)で行われるが、この演算手段(４)は情報取得手段(３)に内蔵されていてもよいし、離れた場所にあるパーソナルコンピュータ内のＣＰＵがその機能を実行するものであってもよい。

今、図３のように、θを一定に保ったまま、カメラから瞳孔中心までの距離が変化した場合、角膜反射中心と瞳孔中心の相対距離は変化する。この変化は、カメラから瞳孔中心までの距離が増大すると、角膜反射中心と瞳孔中心の見かけの距離は減少し、通常反比例の関係にあるので、この関係を利用するか、予め距離と拡大率との関係を計測しておき、その関係を利用して補正する必要がある。
視線は、瞳孔中心を通る。カメラＯと瞳孔中心Ｐを通る直線と視線のなす角度θは、前述のように、角膜反射中心と瞳孔中心間距離|ｒ|と関数ｆから求めることにより、視線が求まる。

図４に示すように、カメラの視野角を既知とすると、カメラから見た瞳孔中心の位置角度ζが画像中の瞳孔中心の座標から決定できる。また、瞳孔までの距離と角膜反射の生じる角膜上の位置までの距離はδだけ相違があるが、これは十分に小さいとして、カメラ−瞳孔中心間距離をカメラ−角膜反射間距離で代用するか、およその推定値δで補正する。なお、カメラ−角膜反射間距離は、検出しやすい瞳孔像の近傍にある明るい小さな点として角膜反射を検出し、それらの画素における距離情報の平均値を求めるなどして求める。

図５に示すように、予めわかっているカメラ座標系の原点Ｏにカメラおよび光源が設置してあるとする。１つもしくは２つの眼が写っているものとする。今、図６(ａ)のように写っている眼において、瞳孔と角膜反射を画像処理によって検出し、それぞれの中心座標を求める。ベクトルＯＰの方向ベクトルは、画像中においてカメラ光軸に相当する座標から瞳孔中心を結ぶベクトルｑの大きさ|ｑ|と水平軸となす角度η'および前期カメラ−瞳孔中心間距離より瞳孔中心の３次元座標を計算する。このとき、角度ζは|ｑ|について単純増加の関係がある。この関係を、関数ｇを用いて、ζ＝ｇ(|ｑ|)で表現できるとし、関数ｇを既知とすると、ζ＝ｇ(|ｑ|)でζを算出できる。

カメラ−瞳孔中心間距離をLとすると、図５のカメラの光軸をｚ軸、カメラの水平軸と垂直軸をそれぞれｘ軸、ｙ軸とする座標系において、瞳孔中心の三次元位置Ｐ(xp, yp, zp)は、
zp = L cosζ
yp = L cosζcosη'
xp = L cosζsinη'
により算出できる。
カメラ−瞳孔中心間を結ぶ直線と視線のなす角度θは、画像中の角膜反射中心―瞳孔中心間距離|ｒ|に依存し、前述のようにθ＝ｆ（|ｒ|）で表わせる。

図５において、カメラのｚ軸を法線とし点Ｏを含む平面が、直線ＯＰが法線となるように、カメラの水平を保ったまま点Ｏを中心に回転させたとき（ｘ軸周りにβ回転させ、ｙ'軸周りにα回転させる）にできる平面を仮想視点平面Ｈとする。いま、被験者が視対象平面状の点Ｑを見ているときに、視線ＰＱは、平面Ｈの点Ｇで交点を持つ。平面Ｈの水平軸ｘ'とベクトルOGのなす角度をφとすると、φは、図６(ｂ)に示した角膜反射中心から瞳孔中心へ向かうベクトルｒとカメラの水平軸とのなす角度φ'と等しいとみなせる（φ＝φ'）。
したがって、逆に瞳孔中心Ｐとθとφが明らかになれば、視線の式と点Ｇが求まり、さらに視対象平面の式が分かっていれば、視線との交点として視点Ｑが分かることとなる。

視対象平面が不明なときは、両方の瞳孔から視線ベクトルを求め、両視線ベクトルの交点を視点Ｑとする。この交点は、両視線ベクトルが交点を持たずねじれの関係にあったり、測定誤差により必ずしも存在するものではないが、その際には近似解としての交点を求めることとする。
精度は悪いが瞳孔の楕円度(短軸／長軸)からも視線方向は推定できる。
ここまで、瞳孔中心と角膜反射中心とから視線ベクトルを求めるものとして説明を行ったが、視線ベクトルの精度はやや落ちるが瞳孔の楕円度から求めることも可能である。この場合には瞳孔を円板状のものとして近似し、斜めから見たときの長径と短径との比率、及び長径または短径の方向により視線ベクトルを求めることができる。これは、θの小さいときには瞳孔中心と角膜反射中心とから視線ベクトルを求め、θの大きいときには瞳孔の楕円度から求めるように切換えて算出するものであってもよい。

例えば、カメラと瞳孔を結ぶ軸から±３０〜４０度程度の方向を被験者が見ており、角膜反射が画像中に存在しているときには、角膜反射と瞳孔中心との関係から視線を精度よく決定し、±３０〜４０度を超えて角膜反射が存在しないときは、瞳孔の楕円度からおよその視線方向を検出するように構成する。
これは、被験者の顔の正面に提示された物のどこを見ているかは、正確に知る必要があり、かつ、横見をしているときには視線方向を正確に知る必要がない場合には有効な手段であり、±７０度〜±８０度程度の視線検出が可能になる。
また、視線ベクトルの角度変化が大きいときには、被験者の周囲にカメラを複数個配置し、そのカメラのうちθの小さい画像から視線ベクトルを求めることにより、精度の高い視線ベクトル検出が可能となる。

一般に、θが大きいときは、光源の反射像（一般には、角膜反射）が角膜反射領域を外れて白目領域に入り、角膜反射とは異なって不規則な像（白目反射像）となる。しかし、この場合も、輝度の高い像であり、この像における距離情報を角膜反射までの距離情報の代わりに利用することも可能である。また、瞳孔の楕円度より視線方向を求める場合、例えば、被験者が点Oに対して右４０度を見ていても左４０度を見ていても一般に同じ楕円度を示すので左右が区別できない。その場合、白目反射が瞳孔のどちら側に生じているかを調べることにより区別する。

通常、照明なしでは、瞳孔は検出しにくい。しかし、距離計測に使用する光源を、瞳孔を検出しやすくするために利用できる。理想的なのはカメラの開口をリング状に取り囲むように配置することである。このように光源をカメラの開口近くに配置すると、瞳孔は周囲よりも明るく写る傾向がある。しかし、顔全体を撮影した場合、瞳孔より明るく写る部分はたくさんあり、瞳孔検出は必ずしも簡単ではない。その場合、カメラ開口部から遠い位置に別の光源を設ける。この光源により、瞳孔は周囲よりも暗く写る傾向を得る。しかし、この場合も瞳孔より暗く写る部分が存在する。そこで、これらカメラの開口に近い光源と遠い光源をビデオのフレームもしくはフィールドに同期させ交互に点灯させ、得られる明瞳孔の顔画像と暗瞳孔の顔画像を差分することで瞳孔を浮き立たせることができ、瞳孔検出および瞳孔中心検出が容易になる。

この場合、瞳孔までの距離は何通りかの求め方が考えられる。仮定したように、光源とカメラの位置を同じとすると、カメラの開口から近い光源が点灯したときの角膜反射までの距離情報を利用するのが妥当である。（このように配置すると、角膜反射として、角膜にはそのリング状の光源が小さく写る。そこで、２値化などをして、角膜反射の領域を区別し、その領域内の画素からもとまる距離の平均などを求めることで、それを角膜までの距離とする。）しかし、カメラ開口部から離れた光源により距離計測することも可能である。その一つの方法として、カメラの開口の中心から点対称の位置に光源を複数設置する。例えば、左右、もしくは、上下に設置する。これらの光源の中間位置は、開口中心に一致することから、ここでも各光源までの距離の平均として角膜反射までの距離とし、それもしくは、先述のような補正をし、瞳孔までの距離として使用する。
カメラの開口から近い光源と遠い光源のそれぞれにより求まる距離情報の両方を利用することもできる。

１．最低１台のカメラと１個の光源で両目の視線が同時測定できることで、輻輳角(両目の視線のなす角度)が計測でき、奥行き方向の視点（両目の視線の交差点）が計測でき、どのくらいの距離のところを見ているかもわかる。結果的に３次元空間における視点がわかる（両目の視線の交差した点、３Ｄ視点）。
２．瞳孔の三次元位置を計測することができる。瞳孔は、視線の出所であり、したがってユーザがどこから見ているか（どこを見ているかではなく）がわかる。したがって、どこから見ているかを厳密に知る必要のあるシステムにおいて有効である。
（従来は、頭部に磁気センサ等を取り付けて頭の動きを計ることによってこれを実現しなければならなかったが、頭部にセンサを取り付けねばならないだけでなく、瞳孔のありかを正確に測ることができなかった）
３．本方式は、駆動部がなく、カメラは固定されているので、実現が容易である。
また、カメラの感度さえあれば、カメラの開口部を小さくできるし、光源も高輝度のものを製作すれば、小型化が容易である。
４．カメラを小型化できるので、被験者の周辺に複数台配置することが可能となり、被験者頭部の角度変化に対応できる。

カメラと光源と眼球との関係を２次元的に示した図 瞳孔中心位置を保ったまま、視線が変化した場合を示す図 θを一定に保ったまま、カメラから瞳孔中心までの距離が変化した場合を示す図 カメラから見た瞳孔中心の位置角度ζを示す図 カメラ、瞳孔中心及び視線ベクトルを三次元的に示す図 (ａ)は瞳孔中心とカメラの光軸とを結ぶ直線と水平軸との角度ηを示す図、(ｂ)は瞳孔中心と角膜反射中心とを結ぶ直線と水平軸との角度φ’を示す図

符号の説明

１ カメラ
２ 光源
３ 情報取得手段
４ 演算手段

Claims (2)

1. ＣＭＯＳセンサを２次元に配列した光飛行時間型距離イメージセンサを備えたカメラ(１)と、パルス光を発生する光源(２)と、前記距離イメージセンサの出力から被験者の瞳孔中心及び角膜反射中心の画像情報ならびに前記距離イメージセンサから瞳孔中心または角膜反射中心までの距離情報を求める情報取得手段(３)と、前記画像情報及び距離情報から被験者の瞳孔中心の三次元位置及び視線ベクトルを決定する演算手段(４)とからなり、
   前記演算手段は、カメラから被験者に対するベクトルと視線ベクトルとの交差角が、前記光源の反射像が被験者の角膜領域を外れて白目領域に入るほどに大きい場合に、瞳孔の楕円情報と瞳孔に対する白目反射の生じる方向を参照して視線ベクトルを決定する、
   距離イメージセンサを用いた視線検出装置。
2. 請求項１記載の視線検出装置を被験者を取り囲むように複数台配置することにより、広範囲の視線ベクトルを検出可能にしてなる距離イメージセンサを用いた視線検出装置。
   

Images