JP4452836B2

JP4452836B2 - 瞳孔を検出する方法及び装置

Info

Publication number: JP4452836B2
Application number: JP2006208355A
Authority: JP
Inventors: 嘉伸海老澤
Original assignee: Shizuoka University NUC
Current assignee: Shizuoka University NUC
Priority date: 2006-07-31
Filing date: 2006-07-31
Publication date: 2010-04-21
Anticipated expiration: 2026-07-31
Also published as: JP2008029702A

Description

本発明は、撮影した画像によって、対象者の瞳孔を検出する方法及びそのための装置に関するものである。

対象者の瞳孔を検出する技術は、例えば、肢体が不自由な対象者の意志伝達のための視線検知、対象者の瞳孔の動きによって指を用いることなくコンピュータやゲーム機器への入力を行う瞳孔マウス、自動車を運転中の対象者の視線検知などに活用され得る。本発明者は、カメラによって撮影した画像から瞳孔を検出する技術を開発してきた。例えば、特許文献１では、検出した瞳孔の位置座標をカーソル位置制御信号とする技術を開示している。特許文献２では、２台のカメラと２個の光源により瞳孔と角膜反射点の位置を検出して対象者が見ている視点の三次元位置を決定する技術を開示している。

これらの技術においては、瞳孔の検出には、カメラにより撮影した明瞳孔画像と暗瞳孔画像を差分することで、瞳孔部分を周囲画像から区別する方法を用いている。カメラの開口近くに近赤外線等の光源を設け、カメラの光軸に沿うようにして光を対象者の顔に照射して撮影すると、光は瞳孔から網膜に達して反射し、水晶体、角膜を通ってカメラの開口に戻る。このときの画像は、瞳孔が明るく撮影されており、その画像を明瞳孔画像という。一方、カメラの開口から離した光源による光を対象者の顔に照射して撮影すると、網膜から反射した光はカメラの開口にはほとんど入射しないために、瞳孔は暗く撮影され、その画像を暗瞳孔画像という。瞳孔は周囲の明るさで大きさが変化し、特に明るい場所では小さくなって検出し難くなる。また、メガネ着用者では、瞳孔近傍のメガネの一部が反射を起こしたりすることから、瞳孔の検出は、明瞳孔画像又は暗瞳孔画像のどちらを用いても単独の画像から行うことは困難を伴う。しかし、明瞳孔を撮影した画像から暗瞳孔を撮影した画像を差し引く差分を行うと、瞳孔部以外の周囲部分は両画像においてほぼ同じような明るさであることから、互いに相殺して、明るさに差がある瞳孔部だけが浮き彫りになる。これによって、瞳孔を容易に検出することができる。

このような明瞳孔画像と暗瞳孔画像の差分から瞳孔部を検出する際に、瞳孔部がより明瞭に浮き彫りになるような工夫もなされている。例えば、特許文献３では、明瞳孔を撮影する時の照明よりも暗瞳孔を撮影する時の照明を明るくしておき、明瞳孔画像から暗瞳孔画像を差し引いた差分画像を求めることとしている。そうすると、瞳孔部以外の箇所では、差分値が通常は負になることから、多少の外乱や演算時のノイズがあっても、差分値が正の値として現れるのは瞳孔部のみとなり、差分画像において、瞳孔部を明確にすることができる。
特開２００５−１８２２４７号公報特開２００５−１９８７４３号公報特開平０９−２５１５３９号公報

しかし、これらの瞳孔検出の技術では、明瞳孔撮影用の光源と暗瞳孔撮影用の光源を交互に点灯して撮影することから、明瞳孔画像と暗瞳孔画像の撮影は時間差を伴っており、その間に対象者の顔が動くと、両画像における明瞳孔と暗瞳孔の位置にずれが生じることになり、画像差分によって瞳孔の位置を正確に検出できない場合がある。例えば、ＮＴＳＣ方式のカメラ撮影における１／３０秒毎の１フレームを構成する奇数フィールドと偶数フィールドとをそれぞれ明瞳孔画像と暗瞳孔画像とした場合、両画像の撮影には、１／６０秒の時間差があり、その間の顔の移動によって、両画像における瞳孔の位置にずれが生じる。それでも、両画像における瞳孔部分が一部分重なっていれば、その重なり部分には、両画像の差分を取った効果が現れて、重なり部分が輝度の高い箇所となって検知できる。しかしながら、この場合でも、この重なり部分を瞳孔の位置とすると、明瞳孔撮影時の瞳孔の位置とも暗瞳孔撮影時の瞳孔の位置とも異なるその中間時の位置となり、正確な瞳孔位置を表さないことになる。

さらに、両画像における瞳孔の位置が重なることのない状態までにずれてしまうと、画像を差分する効果がないことになり、瞳孔の位置の検出が困難になる。また、瞳孔の近くでメガネの反射等の高輝度の部分があると、明瞳孔画像と暗瞳孔画像におけるそれらの高輝度部分の位置が一致していれば差分を取ることで消去されるにもかかわらず、両画像がずれていると差分をしても高輝度部分として残るために瞳孔と区別が付かなくなることもある。このように、明瞳孔を撮影した画像と暗瞳孔を撮影した画像がずれると、瞳孔を精度よく検出することが困難になる。

そのために、本発明者は、明瞳孔を撮影した画像及び暗瞳孔を撮影した画像のそれぞれにおける鼻孔の位置を検出し、その間の鼻孔の位置のずれを顔の移動量として、そのずれの量の分だけ先の画像を後の画像の位置にずらす位置補正をした上で、両画像の差分をとって瞳孔の位置を検出する技術を開発し、特願２００６−９８５１２号として出願している。しかし、瞳孔とともに鼻孔を撮影するためには、カメラの位置を下方に設置して対象者の顔を下方から見上げる方向に撮影せざるを得ない制約がある。また、鼻孔と瞳孔の位置が離れていることから、鼻孔の移動と瞳孔の移動が必ずしも同じでないことや、鼻孔が比較的に大きいことから、両画像での精密な鼻孔の位置を特定しづらい場合も生じる。さらに、対象者の視線を検知しようとする場合は、瞳孔中心の位置と、光源からの光が角膜で反射した角膜反射位置との相対位置から視線を求めることになるため、これに加えて鼻孔の位置検出を行うと、瞳孔、角膜反射位置、鼻孔の３つの位置検出が必要となり、演算負担が大きくなる問題もある。

本発明は、これらの問題を解決するためになされたものであり、明瞳孔を撮影した画像と暗瞳孔を撮影した画像の時間差による瞳孔部分の位置のずれを容易に解消して、ロバスト性と精度の高い瞳孔の検出方法及び装置を提供することを目的とする。

このような目的を達成するために、本発明の瞳孔を検出する方法は、明瞳孔画像と暗瞳孔画像を差分することにより瞳孔を検出するための方法であって、ある時点に明瞳孔を撮影した画像と、その後の時点又はその前の時点に暗瞳孔を撮影した画像とにおける角膜反射位置を検出し、両画像の撮影の時点の間に顔が移動したことに伴う角膜反射位置のずれ量に対応する分だけずれを打ち消す方向に、明瞳孔を撮影した画像又は暗瞳孔を撮影した画像を移動する位置補正を行い、位置補正後の両画像を差分するようにしたものである。

本発明によれば、明瞳孔と暗瞳孔を撮影した２つの画像における角膜反射位置のずれ量を検出して、明瞳孔を撮影した画像又は暗瞳孔を撮影した画像を、角膜反射位置のずれ量に対応する分だけずれを打ち消す方向に移動する位置補正を行うことで、両画像の瞳孔部を実質的に一致させることができ、その上で、画像の差分をするようにした。そのため、両画像の取得に時間差があるにもかかわらず、明瞳孔と暗瞳孔は位置が一致した状態で差分されて周囲から浮き彫りにされ瞳孔検出が精度よくなされる。角膜反射位置をずれの検出のための基準とすることから、瞳孔とともに角膜部の撮影ができればよいことから、鼻孔のように必ずしも下方から撮影しなければならないというような制約が除かれる。また、角膜反射点は面積が小さく輝度も高いことから、その位置を精度良く検知できるために、精密なずれの量を求めることができる。また、角膜反射位置は、瞳孔に極めて近い位置にあることから、顔の移動の際に瞳孔と近似的な移動がなされ、顔のずれに伴う瞳孔の位置合わせの精度が高いものになる。また、ずれ検知の基準とする角膜反射位置と検出しようとする瞳孔とが極めて位置が近いことから、互いの位置の誤認の可能性が低下する。さらに、顔にもともと備わっている角膜を利用することから、顔に検出基準のためのマーカ等を付ける必要もない。

ここで、両画像の撮影の時点の間に顔が移動したことに伴う角膜反射位置のずれ量に対応する分とは、両画像における角膜反射位置のずれが、顔が移動したことによる瞳孔のずれ量とほぼ同じと考えられるときは、両画像における角膜反射位置のずれ量と同じ量とすればよい。しかし、例えば、明瞳孔撮影時と暗瞳孔撮影時の光源の構成や配置位置によっては、顔が移動しないときでも、明瞳孔を撮影した画像と暗瞳孔を撮影した画像において、角膜反射位置に一定のずれが生じることがあり、そのような場合は、顔が移動しない場合の角膜反射位置のずれ量を補正した上で、角膜反射位置のずれ量に対応する分とすることは当然である。また、位置補正のために移動して差分を行う画像は、明瞳孔を撮影した画像又は暗瞳孔を撮影した画像の全体であっても、瞳孔周辺の一部であってもよい。

また、本発明において、位置補正において移動する明瞳孔を撮影した画像又は暗瞳孔を撮影した画像を、瞳孔及び角膜反射位置を含むように設定したウインドウ領域の画像であることとする場合は、角膜反射位置のずれに対応して位置補正をして、瞳孔検出のための解析を行う画像領域を、瞳孔及び角膜反射位置を含む必要最小限の画像領域とできることから、瞳孔検出の演算効率を高めることができる。

また本発明において、位置補正を、先に撮影した画像を後に撮影した画像の位置へ移動するものであることとする場合は、後に撮影した画像における瞳孔位置が求まることになる。すなわち最新の画像における瞳孔位置を求め、これを基準として、さらにその後に続く瞳孔の検出を行うことができる。

また、本発明において、位置補正後の画像における角膜反射位置は、検出された瞳孔の位置とともに、視線の検知に用いるものであることとする場合は、瞳孔の検出の基準とするために求めた角膜反射位置を、検出された瞳孔の位置とともに、視線の検知に使用することができ、演算の負担をさらに少なくすることができる。また、結果的に、得られる角膜反射位置と瞳孔位置との取得時間が同一であると見なせるため、それらの中心座標から検出する視線精度も向上する。

また、本発明の瞳孔を検出する装置は、明瞳孔画像と暗瞳孔画像を差分することにより瞳孔を検出するための装置であって、明瞳孔及び暗瞳孔を撮影する手段と、ある時点に明瞳孔を撮影した画像とその後の時点又はその前の時点に暗瞳孔を撮影した画像とにおける角膜反射位置のずれ量を検出する手段と、明瞳孔を撮影した画像又は暗瞳孔を撮影した画像を、角膜反射位置のずれ量に対応する分だけずれを打ち消す方向に移動する位置補正を行う手段と、位置補正後の両画像を差分することにより瞳孔の位置を求める手段とを備える。

本発明の瞳孔を検出する装置によれば、撮影手段によって明瞳孔と暗瞳孔を撮影した２つの画像における角膜反射位置のずれ量を検出手段によって検出して、明瞳孔を撮影した画像又は暗瞳孔を撮影した画像を、角膜反射位置のずれ量に対応する分だけずれを打ち消す方向に移動する位置補正を位置補正手段によって行うことで、両画像の瞳孔部を実質的に一致させることができ、その上で、画像の差分をすることにより瞳孔の位置を求めることができる。そのため、両画像の取得に時間差があるにもかかわらず、明瞳孔と暗瞳孔は位置が一致した状態で差分されて瞳孔が周囲から浮き彫りにされ瞳孔位置検出が精度良くなされる。

なお、本明細書における明瞳孔及び暗瞳孔について述べると、周囲の明るさ等の条件によっては、明瞳孔であっても、必ずしも瞳孔部の画像が周囲の画像よりも明るいとは限らず、暗瞳孔であっても瞳孔部の画像が周囲の画像よりも暗いとは限らない。本明細書における明瞳孔、暗瞳孔とは、そのときに撮影した２つの画像における瞳孔の間に相対的な明るさの違いがあり、明瞳孔は暗瞳孔に比べて相対的に明るいものであるということである。

本発明は、明瞳孔を撮影した画像と暗瞳孔を撮影した画像の時間差による瞳孔部分の位置のずれを容易に解消して、ロバスト性と精度の高い瞳孔の検出方法及び装置を提供することができる。

以下、図面に基づいて、本発明による瞳孔を検出する方法及び装置の好適な実施形態について詳細に説明する。図１は、本実施形態の瞳孔検出に使用する装置の概念図である。瞳孔検出装置１には、撮影手段としてのカメラ２と光源３が含まれる。カメラ２としては、ＮＴＳＣ方式のＣＣＤカメラを用いることができる。ＮＴＳＣ方式では、１秒間に３０枚得られる１フレームは、奇数ラインだけの奇数フィールドと偶数ラインだけの偶数フィールドから構成されることから、奇数フィールドの画像と偶数フィールドの画像とが１／６０秒の間隔で交互に得られる。対象者の顔を照明する近赤外線の光源３は、カメラの開口（又は開口の延長部分）２１の周囲の近い位置にリング状に配置した多数のＬＥＤから構成するリング状光源３１と、カメラの開口２１から遠い位置にリング状光源３１の外周に配置した多数のＬＥＤから構成するリング状光源３２からなる。ＬＥＤから発光される光は、例えば８５０ｎｍ程度の近赤外線としておくことで、照明を受ける対象者の瞳孔の収縮等の影響を与えない。カメラ２の奇数フィールドの撮影時にカメラの開口２１に近い位置の光源３１を点灯するようにし、偶数フィールドの撮影時にカメラの開口２１から遠い位置の光源３２を点灯するようにすると、奇数フィールドでは明瞳孔が撮影され、偶数フィールドでは暗瞳孔が撮影されることになる。

撮影手段の制御と撮影された画像の解析には、コンピュータ４を用いている。明瞳孔画像と暗瞳孔画像は、６０分の１秒ごとに交互に撮影されるが、それぞれの画像の撮影時にシャッターが長く開いていると、その間の顔の移動によってぶれが生じることから、シャッター速度は、例えば２０００分の1秒程度以下の短い時間にすることが望ましい。そのため、奇数フィールドの撮影時と偶数フィールドの撮影時のそれぞれにおいて、シャッターが開いている期間に合わせて、光源３１と光源３２を点灯させるように制御する。図１の例では、カメラ２からのビデオ信号によって、奇数フィールド,偶数フィールドの判定を行う。次に、奇数、偶数フィールド信号発生回路５からの信号によって、ファンクションシンセサイザ６から、それぞれのフィールドの開始からの遅延信号を発生させて、シャッターが開く時刻に合わせて、ストロボ調光ユニット７によって、光源３１，３２を発光させる。

次に、図２により、瞳孔Ｐと角膜反射位置Ｃについて説明する。カメラ２によって撮影された瞳孔Ｐについては、カメラ開口２１に近い光源３１からの光による照明では、網膜で反射してカメラ開口２１に入射することから、撮影された瞳孔Ｐは明瞳孔となり、カメラ開口２１から遠い光源３２からの照明では、網膜で反射した光がカメラ開口２１に入射しないことから、暗瞳孔となる。そして、明瞳孔と暗瞳孔のそれぞれの画像からは、瞳孔Ｐを検出することが困難であるが、これらを重ね合わせて、明瞳孔画像から暗瞳孔画像を輝度によって差し引くと、瞳孔Ｐを浮き彫りにして検出することができる。一方、角膜反射位置Ｃは、各光源３１，３２からの光が、ほぼ球面状をなす角膜で反射してカメラ開口２１に入射した場合の、角膜での反射点の位置を表している。この角膜反射位置Ｃは、面積では瞳孔Ｐよりも小さなものであるが、輝度が高く、明瞳孔画像と暗瞳孔画像のそれぞれ単独の画像においても、識別可能である。

また、光源３１と光源３２は、ともにリング状でその中心が同じであることから、どちらの光源によって撮影した場合でも、顔の移動や視線の移動がなければ、角膜反射位置Ｃは同じ箇所に現れる。なお、このようなリング状の光源を用いず、カメラ開口２１から近い位置と遠い位置に２つの光源を設けた場合には、顔の移動も視線の移動もない場合であっても、角膜反射位置Ｃは異なった箇所に現れることになるため、後述する瞳孔検出のための位置補正においては、さらにこの初期的な位置ずれを補正しておく必要がある。

ここで、撮影された時点の対象者の視線ベクトルと、カメラ−瞳孔中心Ｐａのベクトルとの関係については、前記特許文献２に詳述しているため、ここでは簡単に述べると、視線ベクトルと、カメラ−瞳孔中心Ｐａのベクトルのなす角度は、瞳孔中心Ｐａと角膜反射位置Ｃの間隔と線形関係にあり、視線ベクトルの、カメラ−瞳孔中心Ｐａベクトルの周りにおける水平面からの角度は、瞳孔中心Ｐａと角膜反射位置Ｃとを結ぶ直線が水平面となす角度φと等しい。例えば、視線がカメラの開口２１を向いているときは、角膜反射位置Ｃが瞳孔中心Ｐａと一致する。このように、瞳孔中心Ｐａと角膜反射位置Ｃの座標が分かれば、視線を検知することができ、また、左右の視線から視点を検知することもできる。なお、角膜反射位置Ｃは、瞳孔Ｐに重なって撮影される場合もあるが、以下の図では、見易いように、角膜反射位置Ｃは、瞳孔Ｐから外れた場所に図示をする。

図３により、本実施形態の瞳孔検出に関する基本的な考え方を説明する。図３は、対象者の明瞳孔と暗瞳孔を交互に撮影する６０分の１秒の間に、顔がＦ１からＦ２に移動し、次の６０分の１秒の間にＦ２からＦ３に移動し、さらに次の６０分の１秒の間にＦ３からＦ４に移動した場合の概念図である。なお、左右の目とも同様の検出を行うが、簡単のために、右目だけについて説明する。奇数フィールドの画像において、明瞳孔Ｐ１と角膜反射位置Ｃ１を含む明瞳孔画像１が得られている。ここで、角膜反射位置Ｃ１は、ある程度位置の予測がついていれば、１つの画像からでも判別分析法などによって画像明るさを２値化して検出することができるが、瞳孔Ｐ１については、この１つの画像からだけでは、前記のとおり検出が困難である。そこで、次の時点の偶数フィールドの暗瞳孔画像２における暗瞳孔Ｐ２と画像差分を行って、瞳孔を検出するのであるが、１／６０秒の間に顔がＦ１からＦ２の位置に矢印のように移動していると、明瞳孔Ｐ１と暗瞳孔Ｐ２とが図のようにずれてしまっており、差分をとっても瞳孔が周囲に対して浮き彫りになることなく、瞳孔の位置を検出することができない。

ところが、この暗瞳孔画像２でも角膜反射位置Ｃ２の位置は検出できることから、２つの画像の撮影の間に角膜反射位置がＣ１からＣ２に矢印のように位置がずれた量を求めることができる。そして、そのずれ量の分だけ明瞳孔Ｐ１を撮影した画像を暗瞳孔Ｐ２を撮影した画像の位置に移動する補正を行った上で、画像の差分を取ると、瞳孔の位置が一致していることから、瞳孔が、後に撮影された偶数フィールドの画像位置である差分画像上で、浮き彫りになって検出することができる。その場合、画像全体を移動させたのでは、演算の負担が大きく、しかも解析する画像が広いと瞳孔と紛らわしい部分が解析対象となることもあるために、図に示すように、瞳孔が含まれていると予測される部分にウインドウＷ１、Ｗ２を取り、明瞳孔Ｐ１のウインドウＷ１の画像を暗瞳孔Ｐ２のウインドウＷ２の画像に、角膜反射位置のずれ量だけ移動する補正を行って、その領域の差分を演算すればよい。

なお、図２において説明したことから理解できるように、顔がＦ１からＦ２に移動する間に、カメラ２と瞳孔中心Ｐａのベクトルを基準として、視線のベクトルが変わらない場合、すなわち対象者の視線に変化がなければ、Ｆ１での角膜反射位置Ｃ１と瞳孔Ｐ１の中心との位置関係と、Ｆ２での角膜反射位置Ｃ２と瞳孔Ｐ２の中心の位置関係とは相対的に同じであることから、Ｃ１からＣ２へのずれ量は瞳孔のＰ１からＰ２へのずれ量と全く同じ量となって、完全な位置補正ができる。ただし、対象者の視線に変化がある場合でも、顔の移動に対して角膜反射位置と瞳孔中心間の相対位置の変化が小さいことから、瞳孔検出のための十分な位置補正となり得る。

図３において、明瞳孔画像１と暗瞳孔画像２との間で顔の移動に伴う位置補正を行って、瞳孔の検出を行った後は、同じ作業を明瞳孔画像３と暗瞳孔画像４との間で行えばよい。この場合、１フレーム単位中の後の画像である暗瞳孔の画像における瞳孔が求まることから、暗瞳孔画像が１／３０秒間隔で得られるものなら、瞳孔の検出もその間隔でなされることになる。あるいは、図３において、明瞳孔画像１と暗瞳孔画像２との間での位置補正と瞳孔検出処理と、明瞳孔画像３と暗瞳孔画像４との間の位置補正と瞳孔検出処理との間に、さらに、暗瞳孔画像２と明瞳孔画像３との間で、角膜反射位置がＣ２からＣ３にずれた量に基づいて、明瞳孔画像３における角膜反射位置Ｃ３を基準として暗瞳孔画像２のウインドウＷ２を明瞳孔画像３のウインドウＷ３に移動させる位置補正と明瞳孔画像３から暗瞳孔画像２を差し引く画像差分による瞳孔検出処理を行ってもよい。このように、隣接する各画像間での連続的な処理を行う場合は、暗瞳孔画像２での瞳孔位置が求まった後には、次の明瞳孔画像３での瞳孔位置、またその次の暗瞳孔画像４での瞳孔位置というように、最新の瞳孔位置を連続的に求めることができることになり、明瞳孔画像と暗瞳孔画像の間隔が１／６０秒で得られるものなら、瞳孔の位置も同じ間隔で得られることになる。

次に、本実施形態において、瞳孔を検出する具体的な手順を、図４，５によって説明する。瞳孔検出作業の立ち上がり時点では、角膜反射位置も瞳孔も未だ検出されていないことから、かなり広い画像から瞳孔又は角膜反射位置を探索しなければならない。その場合、顔が１／６０秒の間にほとんど移動しない状況では、瞳孔検出の方が、明瞳孔と暗瞳孔の画像の差分を取って瞳孔を際立たせることができることから、面積の小さな角膜反射位置を検出するよりも容易である。そのため、顔がほとんど移動しないという条件の下で、先ず瞳孔検出を行う。この瞳孔検出は、明瞳孔を撮影した画像と暗瞳孔を撮影した画像を得て、両画像を差分して差分画像を形成し、設定した輝度によって２値化を行い、左右瞳孔の候補を見出した後、これらが所定の条件を備えているかによって、瞳孔かどうかを決定する。

角膜反射位置は瞳孔の近傍や瞳孔に重なる場所にあることから、検出された瞳孔の位置によって角膜反射位置が存在すると予測される範囲にウインドウを設けることができる。角膜反射点は輝度が高いことから、ウインドウ内の画像において、Ｐタイル法などによって輝度の閾値を決定し、２値化を行うことで、角膜反射位置を探索することができる。図４（Ａ）に示すように、明瞳孔画像において、ウインドウＷＣ１内の画像に前記処理を施すことで角膜反射位置Ｃ１の位置座標を決定できる。なお、この際に、ウインドウＷＣ１内での角膜反射と考えられる最大輝度の部分に、さらに小さな例えば縦横１０画素程度のウインドウを設けて、その中で、２値化を行って角膜反射に相当する画素を特定して、それらの画素の輝度と座標を用いて輝度重心を求めることにより角膜反射位置Ｃ１の決定を行ってもよい。前の時点で角膜反射位置が求まっていれば、次の時点の角膜反射位置は、カルマンフィルターなどの予測モデルによって、予測可能なことからその予測される範囲に次のウインドウを設けることができる。そして、そのウインドウ内の画像に前記の処理を行って、角膜反射位置を決定することができる。

図４は、先の時点の明瞳孔画像（Ａ）において、角膜反射位置Ｃ１を探索するためのウインドウＷＣ１が設けられ、また、その後の暗瞳孔画像（Ｂ）において角膜反射位置Ｃ２を探索するためのウインドウＷＣ２が設けられたことを示している。そして、それぞれの角膜反射位置Ｃ１，Ｃ２の位置座標が決定されると、その差をとることで、両画像の撮影時の間における顔の移動量を求めることができる。

次に、図５のとおり、後の時点の暗瞳孔画像（Ｂ）において、暗瞳孔が含まれていると予測される部分に暗瞳孔探索のためのウインドウＷＰ２を設ける。なお、このウインドウＷＰ２は、図４におけるウインドウＷＣ２と同じでもよい。この暗瞳孔画像における角膜反射位置Ｃ２の座標に先の時点の明瞳孔画像（Ａ）の角膜反射位置Ｃ１の座標が一致し、かつ暗瞳孔画像（Ｂ）の角膜反射位置C２とウインドウＷＰ２との関係位置と同じになるように、角膜反射位置Ｃ１との位置関係でウインドウＷＰ１を明瞳孔画像（Ａ）に設ける。これによって、先の時点の明瞳孔画像（Ａ）を、角膜反射位置がずれた分だけずれを解消するように、後の時点の暗瞳孔画像（Ｂ）に一致させることができる。このような位置補正を行った後に、明瞳孔画像（Ａ）から暗瞳孔画像（Ｂ）の輝度を差し引く差分画像を求めることで、瞳孔部分を浮き彫りにして、瞳孔位置を検出することができる。瞳孔の中心座標を求める場合は、例えばモーメント法などで輝度重心を演算することで決定することができる。決定された瞳孔位置と既に分かっている角膜反射位置の座標から、前記のとおり、対象者の視線を求めることもできる。

本実施形態によれば、角膜反射位置のずれ量を基準として、明瞳孔を撮影した画像と暗瞳孔を撮影した画像における瞳孔を実質的に一致させることができ、その上で、画像の差分をするようにした。そのため、対象者の顔が短時間内に移動して、明瞳孔画像と暗瞳孔画像の取得に時間差があることに起因して、画像にずれを生じていても、解析に当たっては、明瞳孔と暗瞳孔は位置がほぼ一致した状態で差分されて周囲から浮き彫りにされ、瞳孔検出がロバスト性と精度がよくなされる。

また、本実施形態によれば、角膜反射位置を検出してこれを位置補正の基準としているために、鼻孔を基準とするような場合に比べて、必ずしも下方から撮影しなければならないというような制約が除かれる。また、角膜反射点は面積が小さく輝度も高いことから、その位置を精度良く検知できるために、精密なずれの量を求めることができる。また、角膜反射位置は、瞳孔に極めて近い位置にあることから、顔の移動の際に瞳孔と近似的な移動がなされることから、顔のずれに伴う瞳孔の位置合わせの精度が高いものになり、さらに、互いの位置の誤認の可能性が低下する。また、顔にもともと備わっている角膜を利用することから、顔に検出基準のためのマーカ等を付ける必要もない。

また、解析を行う領域は、ウインドウを設定した画像領域とすることで、瞳孔検出の演算効率を高めることができる。また、位置補正を、先に撮影した画像を後に撮影した画像の位置へ移動することにより、後に撮影した画像における瞳孔位置が求まることになる。すなわち最新の画像における瞳孔位置を求め、これを基準として、さらにその後に続く瞳孔の検出を行うことができる。さらに、位置補正後の画像における角膜反射位置は、検出された瞳孔の位置とともに、視線の検知に用いることもでき、その場合は、演算の負担をさらに少なくすることができる。

本実施形態では、奇数フィールドにおいて明瞳孔を撮影し、偶数フィールドにおいて暗瞳孔を撮影したが、この逆であってもよい。また、カメラについては、ＮＴＳＣ方式のカメラを使用する場合について主に説明したが、カメラは奇数フィールドと偶数フィールドに分かれることのないノンインターレース方式等のものでもよく、その場合は１フレーム毎に明瞳孔と暗瞳孔のそれぞれを撮影する画像とすればよい。さらに、明瞳孔と暗瞳孔を得るためには、光源の設置位置を変える以外にも、光源の波長を変える手段を用いてもよい。その場合、例えば、８５０ｎｍ程度と９５０ｎｍ程度の波長の異なる光源を用いると、網膜反射率が異なることから、８５０ｎｍ程度の光源で撮影した画像が明瞳孔で、９５０ｎｍ程度の光源で撮影した画像が暗瞳孔となる。

本実施形態に沿って行った実験結果について、以下、説明する。実験は、図１の装置によって行った。対象者とカメラ２の距離を約７０ｃｍとし、対象者は、約６０ｃｍ離れたディスプレイ上の指標に視線を固定しつつ、頭を左右に動かした。そのときの動画を１００フレーム分撮影し、各フレームにおける奇数フィールドと偶数フィールドの画像を差分して瞳孔中心を求めた。その際に、本発明の実施例として角膜反射位置による位置補正を行った場合と、比較例としての位置補正を行わなかった場合との比較をした。図６は、１つのフレームにおける縦横４０画素のウインドウ内の差分画像である。位置補正を行わなかった差分画像（Ａ）においては、角膜反射位置Cが明瞳孔画像と暗瞳孔画像で一致していないことから、差分画像において輝度の高い箇所として残っており、瞳孔Pも明瞳孔画像と暗瞳孔画像で完全に重なっていないことから輪郭がかすんでいる。それに対して、位置補正を行った差分画像（Ｂ）においては、明瞳孔画像と暗瞳孔画像の角膜反射位置Cどうしが重なっていることから、高い輝度であっても輝度が相殺しており、瞳孔Pも明瞳孔画像と暗瞳孔画像が重なっていることから、比較的明確になっている。

図７は、求めた瞳孔中心のＸ座標（水平方向座標）を縦軸に取り、横軸には１番目のフレームから１００番目のフレームまでを取っており、瞳孔中心座標の時間変化を示している。位置補正をしなかった場合は、位置補正を行った場合に比べて位相が遅れている。これは、位置補正において、前記のとおり、時間的に後のフィールドの画像に先のフィールドの画像を一致させるようにしているために、後のフィールドにおける瞳孔中心が求められているのに対し、位置補正なしの場合は、明瞳孔画像と暗瞳孔画像における瞳孔の位置に差があれば、その一部重なる部分は両画像の中間的な位置になること、あるいは重なりのない部分については、暗瞳孔があまり暗くないのに対して明瞳孔が非常に明るいこと等に起因すると考えられる位相の遅れが生じている。しかし、一般には、明瞳孔があまり明るくないのに対して暗瞳孔が非常に暗いという場合もあり、検出される瞳孔中心座標は、不確定な位相遅れを生じることになることが容易に予想できる。

図８は、瞳孔中心と角膜反射位置の中心との相対座標の時間変化を示している。この実験では、対象者は頭を動かしても視線は変えていないために、瞳孔中心と角膜反射位置中心の相対座標は、ほぼ一定のはずである。位置補正を行った場合は、そのとおりに、ほぼ一定を示しているが、補正を行わなかった場合は、頭の動きに伴って大きく変化している。このことは、視線検出を行ったとすると視線が動いていないにもかかわらず、動いたと判断されてしまうことになる。
以上のとおり、本実施例により、顔が移動する場合において、角膜反射位置による位置補正を行って、瞳孔の位置を検出する本発明の有効性が確認できた。

本発明の実施形態の瞳孔検出のための装置を示す概念図である。瞳孔中心と角膜反射位置についての説明図である。本発明の実施形態の基本的な概念を示す図である。本発明の実施形態での角膜反射位置の探索を示す図である。本発明の実施形態での瞳孔の探索を示す図である。本発明の実施例及び比較例での差分画像の一例を示す図である。本発明の実施例及び比較例での瞳孔中心の時間変化を示す図である。本発明の実施例及び比較例での瞳孔中心と角膜反射位置の相対座標の時間変化を示す図である。

符号の説明

１‥瞳孔検出装置、２‥カメラ、２１‥カメラの開口中心、３‥光源、３１‥カメラ開口に近い光源、３２‥カメラ開口から遠い光源、４‥コンピュータ、５‥奇数偶数フィールド信号発生回路、６‥ファンクションシンセサイザ、７‥ストロボ調光ユニット、Ｐ‥瞳孔、Ｃ‥角膜反射位置

Claims

明瞳孔画像と暗瞳孔画像を差分することにより瞳孔を検出するための方法であって、ある時点に明瞳孔を撮影した画像と、その後の時点又はその前の時点に暗瞳孔を撮影した画像とにおける角膜反射位置を検出し、両画像の前記撮影の時点の間に顔が移動したことに伴う前記角膜反射位置のずれ量に対応する分だけずれを打ち消す方向に、前記明瞳孔を撮影した画像又は前記暗瞳孔を撮影した画像を移動する位置補正を行い、位置補正後の両画像を差分した後に、瞳孔を検出する方法。
前記位置補正において移動する前記明瞳孔を撮影した画像又は前記暗瞳孔を撮影した画像は、瞳孔及び角膜反射位置を含むように設定したウインドウ領域の画像であることを特徴とする請求項１に記載の瞳孔を検出する方法。
前記位置補正は、先に撮影した画像を後に撮影した画像の位置へ移動するものであることを特徴とする請求項１又は２に記載の瞳孔を検出する方法。
前記位置補正後の画像における角膜反射位置は、検出された瞳孔の位置とともに、視線の検知に用いるものであることを特徴とする請求項１〜３のいずれかに記載の瞳孔を検出する方法。
明瞳孔画像と暗瞳孔画像を差分することにより瞳孔を検出するための装置であって、明瞳孔及び暗瞳孔を撮影する手段と、ある時点に明瞳孔を撮影した画像とその後の時点又はその前の時点に暗瞳孔を撮影した画像とにおける角膜反射位置のずれ量を検出する手段と、両画像の前記撮影の時点の間に顔が移動したことに伴う前記角膜反射位置のずれ量に対応する分だけずれを打ち消す方向に、前記明瞳孔を撮影した画像又は前記暗瞳孔を撮影した画像を移動する位置補正を行う手段と、位置補正後の両画像を差分した後に、瞳孔を検出する手段とを備える、瞳孔を検出する装置。