WO2017154370A1 - 視線検出装置および視線検出方法 - Google Patents

Abstract

【課題】対象者が眼鏡を着用している場合であっても、眼鏡のフレームやレンズなどからの反射光による影響を抑えて、瞳孔の検出を正確に行うことができる視線検出装置及び視線検出方法を提供することを目的とする。 【解決手段】明瞳孔画像と暗瞳孔画像をそれぞれ取得し、明瞳孔画像と暗瞳孔画像の差分画像を作成する瞳孔画像抽出部と、差分画像を二値化した二値画像を作成する画像処理部と、二値画像における１つ以上の輝点のそれぞれについて、明瞳孔画像において対応する領域の輝度特徴量を算出するとともに、暗瞳孔画像において対応する領域の輝度特徴量を算出する輝度算出部と、輝点のそれぞれについて、輝度算出部で算出した、明瞳孔画像において対応する領域の輝度特徴量と暗瞳孔画像において対応する領域の輝度特徴量とを互いに比較し、その比較結果に基づいて、その輝点が瞳孔であるか否かを判定する判定部とを備える。

Description

視線検出装置および視線検出方法

　本発明は、車両の運転者その他の対象者の視線方向を検出可能な視線検出装置および視線検出方法に関する。

　特許文献１に記載の瞳孔検知方法においては、対象者が眼鏡を着用した場合でも確実にドライバの瞳孔位置を検出することを目的として、明瞳孔画像と暗瞳孔画像との差分画像から瞳孔候補領域を抽出するとともに、明瞳孔画像と暗瞳孔画像とのＡＮＤ演算画像から角膜反射像を抽出し、抽出された瞳孔候補領域と角膜反射像とを比較することによって瞳孔候補領域を選定している。

特開２００９－２５４５２５号公報

　しかしながら、明瞳孔画像取得用光源と暗瞳孔画像取得用光源は、出射光の波長やカメラに対する位置が異なっているため、明瞳孔画像と暗瞳孔画像において現れる、眼鏡のフレームやレンズなどからの反射光による像は、位置、輝度、または大きさが互いに異なった形で現れる。このため、明瞳孔画像と暗瞳孔画像との差分画像を取得しても、眼鏡からの反射光像を完全に除去することは困難である。さらに、眼鏡からの反射光像は、瞳孔画像と比べて輝度が高いことが多いため、反射光像を誤って瞳孔画像として検出してしまい正確に視線を検知できないおそれがある。

　そこで本発明は、対象者が眼鏡を着用している場合であっても、眼鏡のフレームやレンズなどからの反射光による影響を抑えて、瞳孔の検出を正確に行うことができる視線検出装置及び視線検出方法を提供することを目的とする。

　上記課題を解決するために、本発明の視線検出装置は、明瞳孔画像と暗瞳孔画像をそれぞれ取得し、明瞳孔画像と暗瞳孔画像の差分画像を作成する瞳孔画像抽出部と、差分画像を二値化した二値画像を作成する画像処理部と、二値画像における１つ以上の輝点のそれぞれについて、明瞳孔画像において対応する領域の輝度特徴量を算出するとともに、暗瞳孔画像において対応する領域の輝度特徴量を算出する輝度算出部と、輝点のそれぞれについて、輝度算出部で算出した、明瞳孔画像において対応する領域の輝度特徴量と暗瞳孔画像において対応する領域の輝度特徴量とを互いに比較し、その比較結果に基づいて、その輝点が瞳孔であるか否かを判定する判定部とを備えることを特徴としている。輝度特徴量としては、対応する領域の輝度の平均値、メジアン値、最大値、最小値、ヒストグラム、あるいは、それらを組み合わせて用いることが好ましい。

　本発明の視線検出方法は、明瞳孔画像と暗瞳孔画像をそれぞれ取得するステップと、明瞳孔画像と暗瞳孔画像の差分画像を作成し、差分画像を二値化した二値画像を作成するステップと、二値画像における１つ以上の輝点のそれぞれについて、明瞳孔画像において対応する領域の輝度特徴量を算出するとともに、暗瞳孔画像において対応する領域の輝度特徴量を算出する輝度特徴量算出ステップと、１つ以上の輝点のそれぞれについて、輝度特徴量算出ステップで算出した、明瞳孔画像において対応する領域の輝度特徴量と暗瞳孔画像において対応する領域の輝度特徴量とを互いに比較する輝度比較ステップと、輝度比較ステップの比較結果に基づいて、１つ以上の輝点のそれぞれについて、瞳孔であるか否かを判定するステップとを備えることを特徴としている。

　瞳孔画像は明瞳孔画像と暗瞳孔画像とで輝度特徴量の差が大きいのに対して、眼鏡からの反射光や角膜反射光等は輝度特徴量の差が小さいことから、明瞳孔画像と暗瞳孔画像における輝度特徴量を互いに比較することによって、差分画像中の複数の瞳孔候補から瞳孔を正確に選択することができる。したがって、対象者が眼鏡を着用しており、眼鏡のフレームやレンズからの反射光が存在する場合であっても、このような反射光による影響を抑えて、瞳孔の検出を正確に行うことができる。

　本発明の視線検出装置では、判定部における比較により、明瞳孔画像と暗瞳孔画像において輝点に対応する領域の輝度特徴量の差が所定値以上であったとき、判定部は、その輝点が瞳孔であると判定することが好ましい。
　これにより、瞳孔と眼鏡からの反射光等とを確実に区別することができ、精度の高い視線検出に資することができる。

　本発明の視線検出装置では、明瞳孔画像と暗瞳孔画像において輝点に対応する領域の輝度特徴量が所定の範囲内であったとき、判定部は、その輝点が瞳孔であると判定することが好ましい。
　これにより、瞳孔画像よりも輝度の高い眼鏡からの反射光等を瞳孔候補から除外しやすくなり、判定精度を高めることができる。

　本発明の視線検出装置では、判定部によって瞳孔であると判定された輝点に基づいて楕円形状の範囲を算出し、この楕円形状の中心を瞳孔の中心として算出する瞳孔中心算出部を備えることが好ましい。
　または、判定部によって瞳孔であると判定された輝点に基づいて、輝点の重心を算出し、この重心を瞳孔の中心として算出する瞳孔中心算出部を備えることが好ましい。
　または、判定部によって瞳孔であると判定された輝点に基づいて、輝点の占める領域の中央値を算出し、この中央値を瞳孔の中心として算出する瞳孔中心算出部を備えることが好ましい。
　これにより、さまざまな対象者の眼の形状に合わせて適切な範囲を設定することができ、正確な瞳孔中心算出に資することができる。

　本発明の視線検出装置は、互いに離れて配置されてそれぞれが少なくとも目を含む領域の画像を取得する第１カメラおよび第２カメラと、第１カメラに接近して配置された第１光源と、第２カメラに接近して配置された第２光源とを備え、瞳孔画像抽出部は、それぞれのカメラで取得した画像から明瞳孔画像と暗瞳孔画像を取得することが好ましい。
　点灯させた光源と略同軸のカメラで明瞳孔画像を取得するとともに、非同軸のカメラで暗瞳孔画像を取得する視線検出装置において、眼鏡からの反射光等による影響を抑えて、瞳孔の検出を正確に行うことができる。

　本発明の視線検出方法は、二値画像における１つ以上の輝点のそれぞれについて、特徴情報を測定する特徴情報測定ステップと、特徴情報測定ステップにおいて測定した特徴情報が、所定の範囲内にある輝点のみを輝度特徴量算出ステップの対象に決定するステップとを備えることが好ましい。ここで、特徴情報は、輝点のサイズ、縦横比、充填率を含むことが好ましい。
　これにより、瞳孔画像が有する形状などの特徴によって瞳孔候補の選択ができるため、明瞳孔画像と暗瞳孔画像における輝度特徴量による判定と合わせて精度の高い瞳孔の判定を行うことが可能となる。また、輝度特徴量による判定の前にこのステップを実行することにより、輝度特徴量による判定の対象を減らすことができるため、輝度特徴量の判定にかかる演算処理の負担を軽減させることができる。

　本発明によると、対象者が眼鏡を着用している場合であっても、眼鏡のフレームやレンズなどからの反射光による影響を抑えて、瞳孔の検出を正確に行うことができる視線検出装置及び視線検出方法を提供することができる。

本発明の実施形態に係る視線検出装置の構成を示すブロック図である。 （Ａ）は明瞳孔画像の例、（Ｂ）は暗瞳孔画像の例、（Ｃ）は（Ａ）の明瞳孔画像と（Ｂ）の暗瞳孔画像の差分画像を示す図である。 本発明の実施形態に係る視線検出方法の処理の流れを示すフローチャートである。

　以下、本発明の実施形態に係る視線検出装置および視線検出方法について図面を参照しつつ詳しく説明する。
　図１と図２を参照して、本実施形態に係る視線検出装置１０の構成について説明する。図１は、本実施形態に係る視線検出装置１０の構成を示すブロック図である。図２（Ａ）は明瞳孔画像の例、図２（Ｂ）は暗瞳孔画像の例、図２（Ｃ）は図２（Ａ）の明瞳孔画像と図２（Ｂ）の暗瞳孔画像の差分画像を示す図である。図２（Ａ）、（Ｂ）、（Ｃ）は瞳孔画像の検出範囲８１を拡大して示している。図２（Ａ）と図２（Ｂ）は瞳孔の画像と反射光像を明りょうに示すために、検出範囲８１を取り出して概念的に示している。

　図１に示すように、視線検出装置１０は、２つの光源１１、１２、２つのカメラ２１、２２、制御部３０、２つの光源制御部３１、３２、２つの画像取得部４１、４２、瞳孔画像抽出部５１、瞳孔中心算出部５４、角膜反射光中心検出部５５、視線方向算出部５６、画像処理部５７、輝度算出部５８、および、判定部５９を備える。視線検出装置１０は、車両の車室内の、例えばインストルメントパネルやウインドシールドの上部などに、対象者としての運転者の顔に向けるように設置される。

　カメラ２１、２２は、光軸が所定距離だけ互いに離間するように配置されている。カメラ２１、２２は、撮像素子として、例えばＣＭＯＳ（相補型金属酸化膜半導体）を有している。この撮像素子は運転者の眼を含む顔の画像を取得し、水平方向および垂直方向に配列された複数の画素で光が検出される。

　第１光源１１と第２光源１２は、それぞれ、例えば複数個のＬＥＤ（発光ダイオード）光源からなる。第１光源１１は、例えば、第１カメラ２１のレンズの外側において、レンズを囲むように配置され、第２光源１２は、例えば、第２カメラ２２のレンズの外側において、レンズを囲むように配置されている。これらのカメラ２１、２２においては、２つの光源１１、１２から出射される検知光の波長に合わせたバンドパスフィルタを配置していることが好ましい。これにより、瞳孔画像抽出部５１における瞳孔画像の抽出や、視線方向算出部５６における視線方向の算出を精度良く行うことができる。

　第１光源１１のＬＥＤ光源、および、第２光源１２のＬＥＤ光源は、ともに、８００ｎｍ以上１０００ｎｍ以下の赤外光（近赤外光）を出射し、この検知光を運転者の眼に与えることができるように配置されている。特に、８５０ｎｍは、人の眼の眼球内での光吸収率が低い波長であり、この光は眼球の奥の網膜で反射されやすい。

　第１カメラ２１と第１光源１１のＬＥＤ光源の光軸間距離は、視線検出装置１０と運転者としての運転者との距離を考慮して、第１カメラ２１と第２カメラ２２の光軸間距離に対して十分に短くしている。そのため、第１光源１１は第１カメラ２１に対して互いの光軸が略同軸であるとみなすことができる。同様に、第２カメラ２２と第２光源１２のＬＥＤ光源の光軸間距離は、第１カメラ２１と第２カメラ２２の光軸間距離に対して十分に短くしているため、第２光源１２は第２カメラ２２に対して互いの光軸が略同軸であるとみなすことができる。

　これに対して、第１カメラ２１と第２カメラ２２の光軸間距離を十分に長くとっているため、第１光源１１と第２カメラ２２の光軸、および、第２光源１２と第１カメラ２１の各光軸とは、同軸ではない。以下の説明においては、上記配置を、２つの部材が略同軸である等と表現し、２つの部材が非同軸である等と表現することがある。
　なお、以上の説明では２つの光源１１、１２からの出射光の波長を、両者とも、眼球内での光吸収率が低い波長としていたが、一方の光源からの出射光の波長を光吸収率が高く、網膜まで到達しづらい波長とし、明瞳孔画像撮影用の光源と暗瞳孔画像撮影用の光源としてもよい。また、光源やカメラの数は２台ずつに限定されない。

　２つの光源制御部３１、３２、２つの画像取得部４１、４２、瞳孔画像抽出部５１、瞳孔中心算出部５４、角膜反射光中心検出部５５、視線方向算出部５６、画像処理部５７、輝度算出部５８、および、判定部５９は、コンピュータのＣＰＵやメモリで構成されており、各部による処理は、予めインストールされたソフトウエアを実行することで行われる。

　光源制御部３１および光源制御部３２は、制御部３０からの指示信号にしたがって、第１光源１１と第２光源１２の点灯・非点灯をそれぞれ制御する。カメラ２１、２２は、制御部３０からの指示信号にしたがって画像を取得し、カメラ２１、２２で撮影された画像は、フレームごとに画像取得部４１、４２にそれぞれ取得される。

　画像取得部４１、４２で取得された画像は、フレームごとに瞳孔画像抽出部５１に読み込まれる。瞳孔画像抽出部５１は、明瞳孔画像検出部５２と暗瞳孔画像検出部５３とを備えている。明瞳孔画像検出部５２では、以下の明瞳孔撮影条件（ａ）のいずれかを満たす、光源とカメラの組み合わせのときの眼の画像が検出され、暗瞳孔画像検出部５３では、以下の暗瞳孔撮影条件（ｂ）のいずれかを満たす、光源とカメラの組み合わせのときの眼の画像が検出される。
（ａ）明瞳孔撮影条件
　（ａ－１）第１光源１１の点灯期間に、これと略同軸の第１カメラ２１で画像を取得
　（ａ－２）第２光源１２の点灯期間に、これと略同軸の第２カメラ２２で画像を取得
（ｂ）暗瞳孔撮影条件
　（ｂ－１）第１光源１１の点灯期間に、これと非同軸の第２カメラ２２で画像を取得
　（ｂ－２）第２光源１２の点灯期間に、これと非同軸の第１カメラ２１で画像を取得

　第１光源１１から出射する赤外光は、運転者の眼の網膜に至る眼球内での吸収率が低いため、網膜で反射されやすい。したがって、第１光源１１が点灯したときに、第１光源１１と略同軸の第１カメラ２１で取得される画像では、網膜で反射された赤外光が瞳孔を通じて検出され、瞳孔が明るく見える。この画像は、明瞳孔画像として明瞳孔画像検出部５２で抽出される。これは、第２光源１２が点灯したときに、これと略同軸の第２カメラ２２で取得される画像についても同様である。

　これに対して、第１光源１１を点灯したときに、第１光源１１と非同軸の第２カメラ２２で画像を取得する場合には、網膜で反射された赤外光が第２カメラ２２にほとんど入射しないため、瞳孔が暗く見える。したがって、この画像は暗瞳孔画像として、暗瞳孔画像検出部５３で抽出される。これは、第２光源１２が点灯したときに、非同軸の第１カメラ２１で取得される画像についても同様である。

　瞳孔画像抽出部５１では、明瞳孔画像検出部５２で検出された明瞳孔画像から、暗瞳孔画像検出部５３で検出された暗瞳孔画像がマイナスされて差分画像が作成される。さらに、瞳孔検出範囲８１（図２）として、両眼を含む所定の大きさの範囲が切り出される。切り出された画像は、画像処理部５７に与えられ、画像処理によって二値化されて二値画像が作成される。作成された二値画像は画像処理部５７内のメモリに保存される。画像処理部５７においては、ラベリングの画像処理が施され、二値画像における１つ以上の輝点のそれぞれに対してラベルが付される。それぞれの輝点、および、輝点に付されたラベルは輝度算出部５８と判定部５９へ出力される。

　判定部５９では、二値画像中の各輝点の特徴情報が測定され、この特徴情報に基づいて、瞳孔画像の瞳孔候補としての輝点が選択される。特徴情報としては、例えば、輝点のサイズ、縦横比、充填率がある。ここで、サイズは輝点の最大径や面積であり、縦横比は例えば縦方向の最大値と横方向の最大値の比であり、充填率とは、外周形状から想定される仮想の楕円形状の面積に対する、輝度がゼロでない画素の面積の割合である。判定部５９は、特徴情報が所定の範囲内にある輝点を瞳孔候補として選択する。所定の範囲とは、例えば、一般的な瞳孔のサイズ、縦横比、充填率の平均値の範囲や、視線検出装置１０が備え付けられた車両の運転者等の瞳孔として登録された特徴情報の範囲である。瞳孔画像の瞳孔候補の選択結果は輝度算出部５８へ出力される。

　輝度算出部５８では、判定部５９で選択された瞳孔候補について、明瞳孔画像と暗瞳孔画像においてそれぞれ対応する領域の輝度特徴量が算出される。輝度特徴量としては、例えば、輝度の平均値、輝度のメジアン値、輝度の最大値、輝度の最小値、輝度分布があるが、ここでは平均輝度を用いる。この輝度特徴量の算出においては、まず明瞳孔画像において瞳孔候補に対応する領域の平均輝度が算出され、次に暗瞳孔画像において瞳孔候補に対応する領域の平均輝度が算出される。ここで、上述のとおり、明瞳孔画像と暗瞳孔画像とでは光源とカメラの関係が異なるため、明瞳孔画像において算出対象となる領域の位置は、差分画像における瞳孔候補の位置と直接対応する一方で、暗瞳孔画像における算出対象領域の位置は、差分画像における瞳孔候補の位置とずれが生じている。このずれ量（シフト量）は、明瞳孔画像と暗瞳孔画像において互いに対応する輝点間の距離であり、光源１１、１２の互いの位置関係や光源１１、１２と対象者との距離に基づいて算出する。輝度算出部５８では、明瞳孔画像において平均輝度が算出された後に、明瞳孔画像上の領域の位置に上記シフト量を加算することによって、暗瞳孔画像における算出対象領域の位置が算出され、この領域における平均輝度が算出される。輝度算出部５８による平均輝度の算出結果は判定部５９へ出力される。

　判定部５９は、特徴情報が所定の範囲内にあった瞳孔候補としての輝点のみについて、明瞳孔画像において対応する領域の平均輝度と、暗瞳孔画像において対応する領域の平均輝度とを互いに比較し、その比較結果に基づいて、対象となった輝点が瞳孔であるか否かを判定する。この比較は、対象となる２つの平均輝度の差や比をとることによって行い、差や比が所定値以上であったときは、その輝点が瞳孔であると判定する。ここで、光源１１、１２から出射する赤外光は眼の網膜に至る眼球内での吸収率が低いものであり、明瞳孔画像の取得においては、光源と略同軸のカメラで画像を取得するために瞳孔が明るく見える。これに対して、暗瞳孔画像の取得においては、光軸と非同軸のカメラで画像を取得するために、瞳孔が暗く見える。したがって、明瞳孔画像と暗瞳孔画像で対象となる領域の平均輝度を比較すると、その差や比は大きなものとなる。一方、眼鏡のフレームやレンズ等からの反射光像や、角膜反射像は、明瞳孔画像と暗瞳孔画像における平均輝度の差が小さい。このような特性の違いに基づいて、判定部５９においては、瞳孔画像と、眼鏡からの反射光や角膜反射光の画像とを区別して、対象の輝点が瞳孔であるか否かを判定する。

　さらに、判定部５９は、対象となる輝点の平均輝度が、あらかじめ設定された値（想定輝度）よりも低く、所定の範囲内であったときは、その輝点が瞳孔であると判定する。眼鏡からの反射光像は、明瞳孔画像と暗瞳孔画像のいずれにおいても、瞳孔画像に対して輝度が大きい。このため、眼鏡からの反射光像として想定される輝度（想定輝度）よりも低く、また、瞳孔画像として認識可能な最小限の輝度よりも大きな輝度を有していれば瞳孔として判定することが可能となる。

　判定部５９において瞳孔であると判定された輝点については、瞳孔中心算出部５４において、瞳孔の形状と面積に対応するエリア画像が算出される。さらに、このエリア画像を含む楕円が抽出され、この楕円形状の中心、すなわち、楕円形状の長軸と短軸との交点が瞳孔の中心位置として算出される。この楕円の抽出（楕円フィッティング）は、各種の手法を用いることができ、例えばエリア画像が内接する楕円を算出し、この楕円を選択する。瞳孔中心算出部５４は、算出した瞳孔の中心位置の座標データを視線方向算出部５６へ送出する。

　ここで、瞳孔の中心位置の算出は、楕円形状に基づいて算出する方法に限定されない。例えば、判定部５９において瞳孔であると判定された輝点に基づいて、輝点の重心を算出し、この重心を瞳孔の中心として算出することもできる。また、判定部５９によって瞳孔であると判定された輝点に基づいて、輝点が占める領域の中央値を算出し、この中央値を瞳孔の中心として算出してもよい。

　一方、暗瞳孔画像検出部５３で検出された暗瞳孔画像信号は、角膜反射光中心検出部５５に与えられる。暗瞳孔画像信号は、角膜の反射点からの反射光による輝度信号が含まれている。角膜の反射点からの反射光はプルキニエ像を結像するものであり、カメラの撮像素子では、きわめて小さい面積のスポット画像として取得される。角膜反射光中心検出部５５では、このスポット画像が画像処理されて、反射光中心座標として、暗瞳孔画像における、角膜の反射点からの反射光（角膜反射光）の中心の座標が求められる。角膜反射光中心検出部５５は、算出した角膜反射光の中心座標を視線方向算出部５６へ送出する。

　瞳孔中心算出部５４で算出された瞳孔中心算出値と角膜反射光中心検出部５５で算出された角膜反射光中心算出値は、視線方向算出部５６に与えられる。視線方向算出部５６では、瞳孔中心算出値と角膜反射光中心算出値とから視線の向きが検出される。

　ここで、図２（Ａ）に示す明瞳孔画像６１と図２（Ｂ）に示す暗瞳孔画像６２が得られた場合について説明する。図２（Ａ）、（Ｂ）、（Ｃ）は、明瞳孔画像６１、暗瞳孔画像６２、および、差分画像６３の検出範囲８１をそれぞれ拡大して示した図である。
　明瞳孔画像６１と暗瞳孔画像６２の差分画像６３においては、明瞳孔画像６１における瞳孔の画像７１から暗瞳孔画像６２における瞳孔の画像７１をマイナスすることによって瞳孔画像７２が得られる。

　また、明瞳孔画像６１には眼鏡からの反射光像７３が現れており、暗瞳孔画像６２にも眼鏡からの反射光像７４が現れている。これらの反射光像７３、７４は眼鏡の同じ部分からの反射光によるものであるが、明瞳孔画像と暗瞳孔画像を取得するときの光源とカメラの位置関係の違いによって、現れる位置がずれている。すなわち、明瞳孔画像６１上の反射光像７３は、直線Ｌ上に中心が位置する円形状であるのに対して、暗瞳孔画像６２上の反射光像７４は、直線Ｌから中心がずれた円形状となっている。したがって、明瞳孔画像６１から暗瞳孔画像６２をマイナスしても反射光像７３、７４は完全に消えることがなく、図２（Ｃ）に示すように、三日月状の残存画像７５が残る。

　これに対して、本実施形態の視線検出装置１０によれば、図２（Ｃ）に示すように、差分画像やこれを二値化した二値画像に、瞳孔画像のほかに、眼鏡からの反射光などの残存画像が現れていたとしても、輝度算出部５８によって算出された平均輝度に基づいて判定部５９において輝点が瞳孔であるか否かを判定することができるため、対象者が眼鏡をかけていた場合などにおいても、瞳孔画像を特定することができ、これによって瞳孔の検出や視線方向の算出を正確に行うことができる。

　次に、図３を参照して、本実施形態に係る視線検出方法における処理の流れについて説明する。図３は、本実施形態に係る視線検出方法の処理の流れを示すフローチャートである。図３は、明瞳孔画像と暗瞳孔画像の取得から瞳孔座標の取得までの処理の流れを示している。

　まず、第１カメラ２１の動作について説明する。制御部３０の制御により、瞳孔画像取得のために第１光源１１が点灯され、この点灯に合わせて画像を取得する事で明瞳孔画像を得る（ステップＳ１）。また、第２光源１２が点灯され、この点灯に合わせて画像を取得する事で暗瞳孔画像を得る（ステップＳ２）。

　次に、第２カメラ２２の動作について説明する。第１カメラの場合と同様に、制御部３０の制御により、瞳孔画像取得のために第１光源１１が点灯され、この点灯に合わせて画像を取得すると、第２カメラ２２では暗瞳孔画像が得られる（ステップＳ１）。また、第２光源１２が点灯され、この点灯に合わせて画像を取得すると、第２カメラ２２では明瞳孔画像が得られる（ステップＳ２）。

　ステップＳ１において、第１カメラ２１で撮影された画像は画像取得部４１から瞳孔画像抽出部５１の明瞳孔画像検出部５２に読み込まれ、明瞳孔画像検出部５２において明瞳孔画像が検出される。また、第２カメラ２２で撮影された画像は画像取得部４２から瞳孔画像抽出部５１の暗瞳孔画像検出部５３に読み込まれ、暗瞳孔画像検出部５３において暗瞳孔画像が検出される。
　ステップＳ２において、第１カメラ２１で撮影された画像は画像取得部４１から瞳孔画像抽出部５１の暗瞳孔画像検出部５３に読み込まれ、暗瞳孔画像検出部５３において暗瞳孔画像が検出される。また、第２カメラ２２で撮影された画像は画像取得部４２から瞳孔画像抽出部５１の明瞳孔画像検出部５２に読み込まれ、明暗瞳孔画像検出部５２において明瞳孔画像が検出される。

　瞳孔画像抽出部５１では、明瞳孔画像検出部５２で検出された明瞳孔画像から、暗瞳孔画像検出部５３で検出された暗瞳孔画像がマイナスされて差分画像が作成される（ステップＳ３）。さらに瞳孔画像抽出部５１では、検出範囲８１（図２）として、対象者の両眼を含む所定の大きさの範囲の画像が切り出される（ステップＳ４）。

　上記ステップＳ４で切り出された画像は画像処理部５７に送られ、画像処理によって二値画像が作成される（ステップＳ５）。作成された二値画像は画像処理部５７内のメモリに保存される。この二値画像に対して、画像処理部５７はラベリング処理を実行し、二値画像に含まれる１つ以上の輝点のそれぞれについてラベルが付される。輝点を含む二値画像はラベルとともに判定部５９へ出力され、判定部５９では、各輝点の特徴情報として、輝点のサイズ、縦横比、充填率などが測定される（ステップＳ６、特徴情報測定ステップ）。

　つづいて、判定部５９では、取得した特徴情報が所定の範囲にあるかどうかが判定され、所定の範囲内にある輝点が瞳孔候補として選択される（ステップＳ７）。この判定の結果、瞳孔候補があった場合（ステップＳ７でＹ）、選択された瞳孔候補とラベルが輝度算出部５８へ出力される。ここで、瞳孔候補が複数ある場合は、ラベルの順に画像が選択され、輝度算出部５８へデータが出力される。

　瞳孔候補の情報を受けた輝度算出部５８では、二値画像における瞳孔候補の位置に対応する明瞳孔画像の領域が算出される。明瞳孔画像上の座標が二値画像上の座標にそのまま対応していれば、二値画像上で瞳孔候補が占める範囲が明瞳孔画像上で対応する領域となる。つづいて、輝度算出部５８は、算出した領域の画素の輝度の平均値を算出する（ステップＳ８、輝度特徴量算出ステップ）。

　次に、輝度算出部５８は、明瞳孔画像と暗瞳孔画像において互いに対応する輝点間の距離のずれ量（シフト量）を算出する（ステップＳ９）。さらに輝度算出部５８は、ステップＳ８で対象とした瞳孔候補の明瞳孔画像上における領域の座標値に上記ずれ量を加算したシフト座標を算出する（ステップＳ１０）。輝度算出部５８は、暗瞳孔画像において上記シフト座標に対応する領域の画素の輝度特徴量を算出する（ステップＳ１１、輝度特徴量算出ステップ）。　輝度特徴量としては、例えば、平均輝度を用いる。上記ステップＳ８で算出された明瞳孔画像上での瞳孔候補の領域の平均輝度のデータと、同一の瞳孔候補に対応する領域について算出された暗瞳孔画像上での平均輝度のデータ（ステップＳ１１）とは判定部５９へ出力される。

　上記平均輝度のデータ（ステップＳ８、Ｓ１１）を受けた判定部５９では、輝度比較ステップとして、明瞳孔画像と暗瞳孔画像における平均輝度のデータが互いに比較され、また、判定ステップとして、それぞれの平均輝度が想定輝度よりも低く、所定の範囲内であるか否かが判定される（ステップＳ１２）。平均輝度の差が所定値以上であり、かつ、明瞳孔画像と暗瞳孔画像における平均輝度が想定輝度よりも低く、所定の範囲内である場合（ステップＳ１２でＹ）、判定部５９は、対象となっている瞳孔候補が瞳孔であると判定し、瞳孔画像が確定する（ステップＳ１３）。

　瞳孔画像が確定すると、瞳孔中心算出部５４において、瞳孔の形状と面積に対応するエリア画像が算出される。さらに、瞳孔中心算出部５４では、算出されたエリア画像を含む楕円形状が抽出され（楕円フィッティング）（ステップＳ１４）、楕円形状の中心位置の座標（ＸＰ，ＹＰ）が算出される（ステップＳ１５）。

　上記ステップＳ１２において、（１）平均輝度の差が所定値未満であり、または、（２）明瞳孔画像と暗瞳孔画像における平均輝度が想定輝度以上である、もしくは、平均輝度が所定の範囲内にない場合（ステップＳ１２でＮ）、判定部５９は、対象としていた瞳孔候補は瞳孔ではないと判定し、この瞳孔候補以外に判定を行っていない未判定画像があるか否かを判定する（ステップＳ１６）。未判定画像があると判定した場合（ステップＳ１６でＹ）、次のラベルの瞳孔候補について、上記ステップＳ８からの処理が実行される。

　一方、上記ステップＳ１６において未判定画像がないと判定した場合（ステップＳ１６でＮ）、および、上記ステップＳ７において瞳孔候補が存在しないと判定した場合（ステップＳ７でＮ）、瞳孔中心の算出のための楕円形状の抽出はできないものと判定する（ステップＳ１７）。

　以上のように構成されたことから、上記実施形態によれば、次の効果を奏する。
（１）二値画像における１つ以上の輝点のそれぞれについて、明瞳孔画像と暗瞳孔画像のそれぞれにおいて対応する領域の平均輝度を算出し、算出した平均輝度を互いに比較した結果に基づいて、対象とした輝点が瞳孔の画像であるか否かを判定している。ここで、瞳孔画像は明瞳孔画像と暗瞳孔画像とで平均輝度の差が大きいのに対して、眼鏡からの反射光や角膜反射光等は平均輝度の差が小さいことから、明瞳孔画像と暗瞳孔画像における平均輝度を互いに比較することによって、差分画像中の複数の瞳孔候補から瞳孔を正確に選択することができる。したがって、対象者が眼鏡を着用しており、眼鏡のフレームやレンズからの反射光が存在する場合であっても、このような反射光による影響を抑えて、瞳孔の検出を正確に行うことができ、ひいては正確な視線検出に資することができる。

（２）判定部５９における比較により、明瞳孔画像と暗瞳孔画像において輝点に対応する領域の平均輝度の差が所定値以上であったとき、対象とした輝点が瞳孔であると判定しているため、瞳孔画像と眼鏡からの反射光等とを確実に区別することができ、精度の高い視線検出に資することができる。
　さらに、明瞳孔画像と暗瞳孔画像において輝点に対応する領域の平均輝度が所定の範囲内であったとき、判定部は、その輝点が瞳孔であると判定している。これにより、瞳孔画像よりも輝度の高い眼鏡からの反射光等を瞳孔候補が除外しやすくなることから、判定精度を高めることができる。

（３）判定部５９によって瞳孔画像であると判定された輝点に基づいて楕円形状の範囲を算出し、この楕円形状の中心を瞳孔の中心として算出するため、さまざまな対象者の眼の形状に合わせて適切な範囲を設定することができ、正確な瞳孔中心算出に資することができる。

（４）離れて配置されてそれぞれが少なくとも目を含む領域の画像を取得する第１カメラ２１および第２カメラ２２と、第１カメラ２１に接近して配置された第１光源１１と、第２カメラ２２に接近して配置された第２光源１２とを備え、瞳孔画像抽出部５１は、それぞれのカメラで取得した画像から明瞳孔画像と暗瞳孔画像を取得している。この構成においては、点灯させた光源と略同軸のカメラで明瞳孔画像を取得するとともに、非同軸のカメラで暗瞳孔画像を取得しており、この構成において上記判定を実行することにより、眼鏡からの反射光等による影響を抑えて、瞳孔の検出を正確に行うことができる。

（５）二値画像における１つ以上の輝点のそれぞれについて、特徴情報を測定する特徴情報測定ステップと、特徴情報測定ステップにおいて測定した特徴情報が、所定の範囲内にある輝点のみを平均輝度算出ステップの対象に決定するステップとを備える。ここで、特徴情報は、輝点のサイズ、縦横比、充填率を含むことが好ましい。これにより、瞳孔画像が有する形状などの特徴によって瞳孔候補の選択ができるため、明瞳孔画像と暗瞳孔画像における平均輝度による判定と合わせて精度の高い瞳孔画像の判定を行うことが可能となる。また、平均輝度による判定の前にこのステップを実行することにより、平均輝度による判定の対象を減らすことができるため、平均輝度の判定にかかる演算処理の負担を軽減させることができる。
　本発明について上記実施形態を参照しつつ説明したが、本発明は上記実施形態に限定されるものではなく、改良の目的または本発明の思想の範囲内において改良または変更が可能である。

　以上のように、本発明に係る視線検出装置および視線検出方法は、対象者が眼鏡を着用しており、眼鏡のフレームやレンズからの反射光が存在する場合であっても、このような反射光による影響を抑えて、瞳孔の検出を正確に行うことができる点で有用である。

　１０　　視線検出装置
　１１　　第１光源
　１２　　第２光源
　２１　　第１カメラ
　２２　　第２カメラ
　３０　　制御部
　３１、３２　光源制御部
　４１、４２　画像取得部
　５１　　瞳孔画像抽出部
　５２　　明瞳孔画像検出部
　５３　　暗瞳孔画像検出部
　５４　　瞳孔中心算出部
　５５　　角膜反射光中心検出部
　５６　　視線方向算出部
　５７　　画像処理部
　５８　　輝度算出部
　５９　　判定部
　６１　　明瞳孔画像
　６２　　暗瞳孔画像
　６３　　差分画像
　７１　　瞳孔の画像
　７２　　瞳孔画像
　７３、７４　反射光像
　７５　　残存画像
　８１　　検出範囲

Claims (12)

1. 　明瞳孔画像と暗瞳孔画像をそれぞれ取得し、前記明瞳孔画像と前記暗瞳孔画像の差分画像を作成する瞳孔画像抽出部と、
   　前記差分画像を二値化した二値画像を作成する画像処理部と、
   　前記二値画像における１つ以上の輝点のそれぞれについて、前記明瞳孔画像において対応する領域の輝度特徴量を算出するとともに、前記暗瞳孔画像において対応する領域の輝度特徴量を算出する輝度算出部と、
   　前記輝点のそれぞれについて、前記輝度算出部で算出した、前記明瞳孔画像において対応する領域の輝度特徴量と前記暗瞳孔画像において対応する領域の輝度特徴量とを互いに比較し、その比較結果に基づいて、その輝点が瞳孔であるか否かを判定する判定部とを備えることを特徴とする視線検出装置。
2. 　前記判定部における比較により、前記明瞳孔画像と前記暗瞳孔画像において前記輝点に対応する領域の輝度特徴量の差が所定値以上であったとき、前記判定部は、その輝点が前記瞳孔であると判定することを特徴とする請求項１に記載の視線検出装置。
3. 　前記明瞳孔画像と前記暗瞳孔画像において前記輝点に対応する領域の輝度特徴量が所定の範囲内であったとき、前記判定部は、その輝点が前記瞳孔であると判定することを特徴とする請求項２に記載の視線検出装置。
4. 　前記輝度特徴量が、前記対応する領域の、輝度の平均値、輝度のメジアン値、輝度の最大値、輝度の最小値、輝度分布、のいずれかを含むことを特徴とする請求項１から３のいずれか１項に記載の視線検出装置。
5. 　前記判定部によって前記瞳孔であると判定された前記輝点に基づいて楕円形状の範囲を算出し、この楕円形状の中心を前記瞳孔の中心として算出する瞳孔中心算出部を備えることを特徴とする請求項１から請求項４のいずれか１項に記載の視線検出装置。
6. 　前記判定部によって前記瞳孔であると判定された前記輝点に基づいて、前記輝点の重心を算出し、この重心を前記瞳孔の中心として算出する瞳孔中心算出部を備えることを特徴とする請求項１から請求項４のいずれか１項に記載の視線検出装置。
7. 　前記判定部によって前記瞳孔であると判定された前記輝点に基づいて、前記輝点が占める領域の中央値を算出し、この中央値を前記瞳孔の中心として算出する瞳孔中心算出部を備えることを特徴とする請求項１から請求項４のいずれか１項に記載の視線検出装置。
8. 　互いに離れて配置されてそれぞれが少なくとも目を含む領域の画像を取得する第１カメラおよび第２カメラと、前記第１カメラに接近して配置された第１光源と、前記第２カメラに接近して配置された第２光源とを備え、
   　前記瞳孔画像抽出部は、それぞれのカメラで取得した画像から前記明瞳孔画像と前記暗瞳孔画像を取得することを特徴とする請求項１から請求項７のいずれか１項に記載の視線検出装置。
9. 　明瞳孔画像と暗瞳孔画像をそれぞれ取得するステップと、
   　前記明瞳孔画像と前記暗瞳孔画像の差分画像を作成し、前記差分画像を二値化した二値画像を作成するステップと、
   　前記二値画像における１つ以上の輝点のそれぞれについて、前記明瞳孔画像において対応する領域の輝度特徴量を算出するとともに、前記暗瞳孔画像において対応する領域の輝度特徴量を算出する輝度特徴量算出ステップと、
   　前記１つ以上の輝点のそれぞれについて、前記輝度特徴量算出ステップで算出した、前記明瞳孔画像において対応する領域の輝度特徴量と前記暗瞳孔画像において対応する領域の輝度特徴量とを互いに比較する輝度比較ステップと、
   　前記輝度比較ステップの比較結果に基づいて、前記１つ以上の輝点のそれぞれについて、瞳孔であるか否かを判定するステップとを備えることを特徴とする視線検出方法。
10. 　前記二値画像における１つ以上の輝点のそれぞれについて、特徴情報を測定する特徴情報測定ステップと、
    　前記特徴情報測定ステップにおいて測定した特徴情報が、所定の範囲内にある前記輝点のみを前記輝度特徴量算出ステップの対象に決定するステップとを備えることを特徴とする請求項９に記載の視線検出方法。
11. 　前記特徴情報は、前記輝点のサイズ、縦横比、充填率を含むことを特徴とする請求項１０に記載の視線検出方法。
12. 　前記輝度特徴量が、前記対応する領域の、輝度の平均値、輝度のメジアン値、輝度の最大値、輝度の最小値、輝度分布、のいずれかを含むことを特徴とする請求項９から１１のいずれか１項に記載の視線検出方法。

Images