JPWO2016031666A1 - 視線検出装置 - Google Patents

Abstract

１度の検知光照射によって明瞳孔像と暗瞳孔像の生成のための画像を取得し、これによって、視線検出の処理の高速化を実現する視線検出装置を提供する。画像取得部は、光軸が互いに略同軸とならない所定距離だけ離間されるように配置された複数のカメラから画像を取得し、複数の光源は、複数のカメラのいずれかに対して、光軸が略同軸となるようにそれぞれ配置され、複数の光源のうちの１つの第１光源から与えた検知光についての第１画像取得として、第１光源と略同軸のカメラで明瞳孔画像を抽出するための画像を取得し、第１光源と略同軸とならないカメラで暗瞳孔画像を抽出するための画像を取得する。【選択図】図１

Description

本発明は、車の運転者その他の対象者の視線方向を検出可能な視線検出装置に関する。

特許文献１に記載の注視点検出方法は、２台以上のカメラと、これらのカメラの開口部外側に設けた光源とを用いて、対象者の顔画像を明瞳孔画像及び暗瞳孔画像として生成し、これらの画像に基づいて、カメラと瞳孔を結ぶ基準線に垂直な平面上における対象者の角膜反射点から瞳孔までのベクトルを計算し、このベクトルをもとに各カメラの基準線に対する対象者の視線の方向を所定の関数を用いて計算する。さらに、各カメラに対応して計算した視線の方向が近くなるように前記関数を補正し、補正された関数を用いて視線の方向を計算して視線の所定の平面上の交点を求めることによって対象者の所定平面上の注視点を検出することができる。

特許文献１に記載の注視点検出方法においては、前記光源として、互いに異なる波長の光を出力する発光素子が設けられており、これらの発光素子を交互に発光させることによって、一方の発光素子によって対象者の目に照明光が照射されたときに明瞳孔像を生成し、他方の発光素子によって照明光が照射されたときに暗瞳孔像を生成する。

国際公開２０１２／０２０７６０号公報

しかしながら、特許文献１に記載の注視点検出方法においては、明瞳孔像と暗瞳孔像を生成するために２回の照明光の照射が必要となるため、瞳孔像の取得に時間を要し、ひいては、これらの瞳孔像を用いて行う、注視点や視線の検出処理の高速化を困難にしていた。

そこで本発明は、１回の検知光照射によって明瞳孔像と暗瞳孔像の生成のための画像を取得することができ、視線検出の処理の高速化を実現できる視線検出装置を提供することを目的とする。

上記課題を解決するために、本発明は、離れて配置されてそれぞれが少なくとも目を含む領域の画像を取得する第１カメラならびに第２カメラと、前記第１カメラに接近して配置された第１光源と、前記第２カメラに接近して配置された第２光源と、それぞれのカメラで取得した明瞳孔画像と暗瞳孔画像とから瞳孔画像を抽出する瞳孔画像抽出部とを有する視線検出装置において、
前記第１光源を点灯させて前記第１カメラで明瞳孔画像を取得し前記第２カメラで暗瞳孔画像を取得する第１画像取得と、前記第２光源を点灯させて前記第２カメラで明瞳孔画像を取得し前記第１カメラで暗瞳孔画像を取得する第２画像取得と、が行われることを特徴とするものである。

本発明の視線検出装置は、前記暗瞳孔画像から角膜反射光を検出する角膜反射光中心検出部と、前記瞳孔画像と前記角膜反射光とから前記対象者の視線方向を算出する視線方向算出部とを有するものとすることが可能である。

本発明の視線検出装置は、第１光源と第２光源の一方が発光しているときに明瞳孔画像と暗瞳孔画像を取得することができ、視線検出処理を高速に行うことが可能となる。

本発明の視線検出装置では、前記第１光源が点灯しているときに、前記第１カメラと前記第２カメラが同時に画像を取得し、前記第２光源が点灯しているときに、前記第１カメラと前記第２カメラが同時に画像を取得することが好ましい。

明瞳孔画像を抽出するための画像の取得と暗瞳孔画像を抽出するための画像の取得を同時に行うことにより、２つのカメラで明瞳孔画像と暗瞳孔画像を取得するための周期を短くすることができ、視線検出処理をさらに高速に行うことができる。

なお、本発明では、第１光源が点灯している期間に、第１カメラによる画像取得と第２カメラによる画像取得とが、重複しないように交互に行われ、第２光源が点灯している期間にも、第１カメラによる画像取得と第２カメラによる画像取得とが、重複しないように交互に行われてもよい。
本発明は、第１画像取得と第２画像取得とが交互に行われることが好ましい。

この場合に、前記第１画像取得で得られた画像の明るさをモニターし、その次の第１画像取得では、カメラで画像を取得するための露光条件を、前記モニター結果に基づいて制御する露光制御部が設けられていることが好ましい。

また、前記第２画像取得で得られた画像の明るさをモニターし、その次の第２画像取得では、カメラで画像を取得するための露光条件を、前記モニター結果に基づいて制御する露光制御部が設けられていることが好ましい。

例えば、本発明は、第１画像取得で得られた画像の明るさと、第２画像取得で得られた画像の明るさと比較する画像比較部と、前記画像比較部による比較結果に応じて、第１画像取得と第２画像取得の少なくとも一方において前記露光条件を制御する前記露光制御部とが設けられているものとなる。

この場合に、前記画像比較部では、第１画像取得で得られた明瞳孔画像となる画像の明るさと、前記第２の画像取得で得られた暗瞳孔画像となる画像との明るさが比較される。

また、前記画像比較部では、第１画像取得で得られた暗瞳孔画像となる画像の明るさと、前記第２の画像取得で得られた明瞳孔画像となる画像の明るさとが比較される。

あるいは、前記画像比較部では、前記第１画像取得、または、前記第２画像取得で得られた画像とターゲット値とが比較される。

上記発明では、複数の光源の輝度等の違いに起因する、取得画像の明るさのばらつきを抑えることができるため、一定の画質の明瞳孔画像と暗瞳孔画像を得ることができ、これにより高精度の視線検出が可能となる。

本発明の視線検出装置は、前記露光条件は、前記光源の発光時間及び発光強度、並びに、前記カメラによる画像取得時間、ゲインのうちの少なくとも一つであることが好ましい。

本発明の視線検出装置において、前記露光条件が前記カメラによる画像取得時間を含んでおり、第１画像取得と第２画像取得の少なくとも一方において、前記第１カメラによる画像取得時間と前記第２カメラによる画像取得時間のうちの長い方の時間に合わせて光源の発光時間を制御することが好ましい。

これにより、明瞳孔画像と暗瞳孔画像のための画像の取得について複雑な制御が不要となる。

本発明によると、第１光源と第２光源の一方を点灯している期間に、明瞳孔像と暗瞳孔像の生成のための画像を取得することができるため、視線検出の処理の高速化を実現することが可能となる。

また、本発明によると、光源の輝度の変動などに起因する、取得画像の明るさのばらつきを抑えることができるため、一定の画質の明瞳孔画像と暗瞳孔画像を得ることができ、これにより高精度の視線検出が可能となる。

本発明の実施形態に係る視線検出装置の構成を示す正面図である。 本発明の実施形態に係る視線検出装置の構成を示すブロック図である。 人の目の視線の向きとカメラとの関係を示す平面図である。 瞳孔中心と角膜反射光の中心とから視線の向きを算出するための説明図である。 本発明の実施形態の視線検出装置における画像取得のタイミングを示すチャートである。 光源の発光とカメラによる画像取得のタイミングを示すチャートである。

以下、本発明の実施形態に係る視線検出装置について図面を参照しつつ詳しく説明する。

＜視線検出装置の構造＞
図１は、本実施形態の視線検出装置の構成を示す正面図、図２は、本実施形態の視線検出装置の構成を示すブロック図、図３は、人の目の視線の向きとカメラとの関係を示す平面図、図４は、瞳孔中心と角膜反射光の中心とから視線の向きを算出するための説明図である。

本実施形態の視線検出装置は、図２に示すように、２つの受像装置１０、２０と、演算制御部ＣＣとを備え、自動車の車室内の、例えばインストルメントパネルやウインドシールドの上部などに、対象者としての運転者の顔に向けるように設置される。

図１と図３に示すように、２つの受像装置１０、２０は所定距離Ｌ１０だけ離間して配置されて、それぞれが備えるカメラ１２、２２の光軸１３Ｃ、２３Ｃが運転者などの目５０に向けられている。カメラ１２、２２は、ＣＭＯＳ（相補型金属酸化膜半導体）やＣＣＤ（電荷結合素子）などの撮像素子を有しており、運転者の目を含む顔の画像を取得する。撮像素子では、二次元的に配列された複数の画素で光が検出される。

図１と図２に示すように、受像装置１０は、第１光源１１と第１カメラ１２とを備え、第１光源１１は、１２個のＬＥＤ（発光ダイオード）光源１１１からなる。これらのＬＥＤ光源１１１は、カメラ１２のレンズ１２Ｌの外側において、それらの光軸１１１Ｃとカメラ１２の光軸１２Ｃとが距離Ｌ１１だけ離れて円状になるように配置されている。受像装置２０は、第２光源２１と第２カメラ２２とを備え、第２光源２１は、１２個のＬＥＤ光源２１１からなる。これらのＬＥＤ光源２１１は、第２カメラ２２のレンズ２２Ｌの外側において、それらの光軸２１１Ｃと第２カメラ２２の光軸２２Ｃとが距離Ｌ２１だけ離れて円状になるように配置されている。

第１カメラ１２と第２カメラ２２においては、光源１１、２１が射出する検知光の波長に合わせたバンドパスフィルタを配置していることが好ましい。これにより、検知光以外の波長の光の入射を抑えることができるため、画像比較部３３における画像の明るさの比較や、瞳孔画像抽出部４０における瞳孔画像の抽出や、視線方向算出部４５における視線方向の算出を精度良く行うことができる。

第１光源１１のＬＥＤ光源１１１、及び、第２光源２１のＬＥＤ光源２１１は、検知光として、例えば波長が８５０ｎｍの赤外光（近赤外光）を出射し、この検知光を対象者の目に与えることができるように配置されている。ここで、８５０ｎｍは、人の目の眼球内で光吸収率の低い波長であり、この波長の光は眼球の奥の網膜で反射されやすい。

第１カメラ１２とＬＥＤ光源１１１の光軸間距離Ｌ１１は、視線検出装置と対象者としての運転者との距離を考慮して、第１カメラ１２と第２カメラ２２の光軸間距離Ｌ１０に対して十分に短いため、第１光源１１は第１カメラ１２に対して互いの光軸が略同軸であるとみなすことができる。同様に、第２カメラ２２とＬＥＤ光源２１１の光軸間距離Ｌ２１は、第１カメラ１２と第２カメラ２２の光軸間距離Ｌ１０に対して十分に短いため、第２光源２１は第２カメラ２２に対して互いの光軸が略同軸であるとみなすことができる。なお、光軸間距離Ｌ１０は、例えば人の両目の間隔とほぼ一致する寸法に設定されている。

これに対して、第１カメラ１２と第２カメラ２２の光軸間距離Ｌ１０は十分に長いために、第１光源１１及び第１カメラ１２の各光軸と、第２光源２１及び第２カメラ２２の各光軸とは、互いに同軸ではない。以下の説明において、上記状態に関し、２つの部材が略同軸である等と表現し、２つの部材が非同軸である等と表現することがある。

演算制御部ＣＣは、コンピュータのＣＰＵやメモリで構成されており、図２に示す各ブロックの機能は、予めインストールされたソフトウエアを実行することで演算が行われる。

図２に示す演算制御部ＣＣには、光源制御部３１、３２と、画像比較部３３と、画像取得部３４、３５と、露光制御部３６と、瞳孔画像抽出部４０と、瞳孔中心算出部４３と、角膜反射光中心検出部４４と、視線方向算出部４５とが設けられている。

光源制御部３１及び光源制御部３２は、露光制御部３６からの指示信号にしたがって、第１光源１１及び第２光源２１の点灯・非点灯をそれぞれ制御する。カメラ１２、２２で取得された画像は、フレームごとに画像取得部３４、３５にそれぞれ取得される。

画像比較部３３は、画像取得部３４、３５で取得された画像、すなわち、明瞳孔画像又は暗瞳孔画像を抽出するための画像について、第１画像取得において取得した画像の明るさと、第２画像取得において取得した画像の明るさと、を互いに比較する。

ここで、第１画像取得とは、第１光源１１から検知光を与えたときに第１カメラ１２及び第２カメラ２２から同時又は略同時に画像をそれぞれ取得する行程を意味し、第２画像取得とは、第２光源２１から検知光を与えたときに第１カメラ１２及び第２カメラ２２から同時又は略同時に画像をそれぞれ取得する行程を意味する。なお、第２光源から検知光を与えるときが第１画像取得で、第１光源から検知光を与えるときが第２画像取得であってもよい。

画像比較部３６では、第１画像取得において、明瞳孔画像を得るために第１カメラ１２で取得された画像と、第２画像取得において、暗瞳孔画像を得るために第１カメラ１２で取得された画像との明るさが比較される。また、第１画像取得において、暗瞳孔画像を得るために第２カメラ２２で取得された画像と、第２画像取得において、明瞳孔画像を得るために第２カメラ２２で取得された画像との明るさが比較される。この比較結果を露光制御部３６に与えることにより、第１画像取得と第２画像取得において、第１カメラ１２で得られる明瞳孔画像と暗瞳孔画像との明るさの差（瞳孔部以外の顔画像の明るさの差）を無くしまたは少なくでき、また第２カメラ２２で得られる暗瞳孔画像と明瞳孔画像との明るさの差（瞳孔部以外の顔画像の明るさの差）を無くしまたは少なくできる。

また、他の実施の形態での画像比較部３６の動作として、第１画像取得において、第１カメラ１２で取得された明瞳孔画像を得るための画像と、次の第１画像取得において、第１カメラ１２で取得された明瞳孔画像を得るための画像とで明るさを比較し、第１画像取得において、第２カメラ１２で取得された暗瞳孔画像を得るための画像と、次の第１画像取得において、第２カメラ１２で取得された暗瞳孔画像を得るための画像とで明るさを比較してもよい。

同様に、第２画像取得と、その次の第２画像取得とで、明瞳孔画像を得るための画像どうしで明るさを比較し、第２画像取得と、その次の第２画像取得とで、暗瞳孔画像を得るための画像どうしで明るさを比較してもよい。この比較結果を露光制御部３６に与えることにより、第１画像取得と第２画像取得において、明るさのばらつきの少ない明瞳孔画像と暗瞳孔画像を得ることができるようになる。

あるいは、予め画像の明るさの基準をターゲット値として決めておく。画像比較部３３では、第１画像取得において、第１カメラ１２で取得された明瞳孔画像を得るための画像の明るさと、明瞳孔画像用のターゲット値とを比較し、また、第２カメラ２２で取得された暗瞳孔画像を得るための画像の明るさと、暗瞳孔画像用のターゲット値とを比較し、その比較結果が露光制御部３６に与えられてもよい。この制御では、先に行われた第１画像取得での画像の明るさを最適化するように、次の第１画像取得での露光条件が変更される。これは第２画像取得においても同じである。

画像どうしの明るさの比較、あるいは画像の明るさとターゲット値との比較は、例えば、画像取得部３４、３５で取得された画像全体の輝度値の平均値の比較若しくは合計値の比較である。あるいは、輝度の最大値と最小値の差の比較であってもよいし、輝度値の標準偏差を互いに比較してもよい。

露光制御部３６は、画像比較部３３による比較結果に応じて、第１画像取得と第２画像取得で取得する、比較すべく画像間の明るさの差が所定範囲内に収まるように、撮像のための露光条件を制御する。

露光制御部３６で制御する露光条件は、例えば、第１光源１１と第２光源２１の発光時間及び発光強度、並びに、第１カメラ１２と第２カメラ２２による画像取得時間（カメラの露光時間）、センサーゲインのうちの少なくとも１つを制御する。この制御に対応する信号は、露光制御部３６から、光源制御部３１、３２、第１カメラ１２、及び第２カメラ２２に出力され、光源制御部３１、３２では、制御信号にしたがって、第１光源１１と第２光源２１の発光時間及び発光強度が設定され、第１カメラ１２及び第２カメラ２２では、制御信号にしたがって、シャッタの開口時間に対応する画像取得時間、およびセンサーゲインが設定される。

画像取得部３４、３５で取得された画像は、フレームごとに瞳孔画像抽出部４０に読み込まれる。瞳孔画像抽出部４０は、明瞳孔画像検出部４１と暗瞳孔画像検出部４２とを備えている。

＜明瞳孔画像と暗瞳孔画像＞
図３は、対象者の目５０の視線の向きとカメラとの関係を模式的に示す平面図である。図４は、瞳孔中心と角膜反射光の中心とから視線の向きを算出するための説明図である。図３（Ａ）と図４（Ａ）では、対象者の視線方向ＶＬが受像装置１０と受像装置２０との中間に向けられており、図３（Ｂ）と図４（Ｂ）では、視線方向ＶＬがカメラの光軸１３Ｃの方向へ向けられている。

目５０は前方に角膜５１を有し、その後方に瞳孔５２と水晶体５３が位置している。そして最後部に網膜５４が存在している。

第１光源１１と第２の光源２１から発せられる波長８５０ｎｍの赤外光は、眼球内での吸収率が低く、その光は網膜５４で反射されやすい。そのため、第１光源１１が点灯したときに、第１光源１１と略同軸の第１カメラ１２で取得される画像では、網膜５４で反射された赤外光が瞳孔５２を通じて検出され、瞳孔５２が明るく見える。この画像が明瞳孔画像として明瞳孔画像検出部４１で抽出される。これは、第２光源２１が点灯したときに、これと略同軸の第２カメラ２２で取得される画像についても同様である。

これに対して、第１光源１１を点灯したときに、第１光源１１と非同軸の第２カメラ２２で画像を取得する場合には、網膜５４で反射された赤外光が第２カメラ２２で検知されにくくなるため、瞳孔５２が暗く見える。したがって、この画像は暗瞳孔画像として、暗瞳孔画像検出部４２で抽出される。これは、第２光源２１が点灯したときに、これと非同軸の第１カメラ１２で取得される画像についても同様である。

図２に示す瞳孔画像抽出部４０では、明瞳孔画像検出部４１で検出された明瞳孔画像から暗瞳孔画像検出部４２で検出された暗瞳孔画像がマイナスされ、好ましくは瞳孔５２以外の画像が相殺されて、瞳孔５２の形状が明るくなった瞳孔画像信号が生成される。この瞳孔画像信号は、瞳孔中心算出部４３に与えられる。瞳孔中心算出部４３では、瞳孔画像信号が画像処理されて二値化され、瞳孔５２の形状と面積に対応する部分のエリア画像が算出される。さらに、このエリア画像を含む楕円が抽出され、楕円の長軸と短軸との交点が瞳孔５２の中心位置として算出される。あるいは、瞳孔画像の輝度分布から瞳孔５２の中心が求められる。

また、暗瞳孔画像検出部４２で検出された暗瞳孔画像信号は、角膜反射光中心検出部４４に与えられる。暗瞳孔画像信号には、図３と図４に示す、角膜５１の反射点５５から反射された反射光による輝度信号が含まれている。

図３（Ａ）に示すように、いずれかの光源が点灯しているときには、その光源からの光が、角膜５１の表面で反射されて、その光が第１カメラ１２と第２カメラ２２の双方で取得され、明瞳孔画像検出部４１と暗瞳孔画像検出部４２で検出される。特に、暗瞳孔画像検出部４２では、瞳孔５２の画像が比較的暗いため、角膜５１の反射点５５から反射された反射光が明るくスポット画像として検出される。

角膜５１の反射点５５からの反射光はプルキニエ像を結像するものであり、図４に示すように、カメラ１２，２２の撮像素子には、きわめて小さい面積のスポット画像が取得される。角膜反射光中心検出部４４では、スポット画像が画像処理されて、角膜５１の反射点５５からの反射光の中心が求められる。

瞳孔中心算出部４３で算出された瞳孔中心算出値と角膜反射光中心検出部４４で算出された角膜反射光中心算出値は、視線方向算出部４５に与えられる。視線方向算出部４５では、瞳孔中心算出値と角膜反射光中心算出値とから視線の向きが検出される。

図３（Ａ）に示す場合では、人の目５０の視線方向ＶＬが、２つの受像装置１０，２０の中間に向けられている。このとき、図４（Ａ）に示すように、角膜５１からの反射点５５の中心が瞳孔５２の中心と一致している。これに対して、図３（Ｂ）に示す場合では、人の目５０の視線方向ＶＬが、やや左方向へ向けられているため、図４（Ｂ）に示すように、瞳孔５２の中心と角膜５１からの反射点５５の中心とが位置ずれする。

視線方向算出部４５では、瞳孔５２の中心と、角膜５１からの反射点５５の中心との直線距離αが算出される（図４（Ｂ））。また瞳孔５２の中心を原点とするＸ−Ｙ座標が設定され、瞳孔５２の中心と反射点５５の中心とを結ぶ線とＸ軸との傾き角度βが算出される。さらに、前記直線距離αと前記傾き角度βとから、視線方向ＶＬが算出される。

前記の瞳孔画像抽出と、角膜反射光中心の検出と、これらを利用した視線方向ＶＬの算出は、２つのカメラ１２，２２で得られたステレオ画像に基づいて行われるため、視線方向ＶＬの検出を三次元的に求めることが可能になる。

＜撮像ならびに検知動作＞
視線検出装置においては、第１画像取得で、第１光源１１を発光させて、この間に、第１カメラ１２と第２カメラ２２で同時又は略同時に画像を取得する。第２の画像取得で、第２光源を発光させ、この間に、第１カメラ１２と第２カメラ２２で同時又は略同時に画像を取得する。

第１画像取得ならびに第２の画像取得と、明瞳孔画像ならびに暗瞳孔画像の検知との関係は以下の通りである。
（Ａ）第１画像取得：第１光源１１が点灯、
（Ａ−１）第１カメラ１２で、明瞳孔画像を得るための画像取得。
（Ａ−２）第２カメラ２２で、暗瞳孔画像を得るための画像取得。

（Ｂ）第２画像取得：第２光源１２が点灯、
（Ｂ−１）第２カメラ２２で、明瞳孔画像を得るための画像取得。
（Ｂ−２）第１カメラ１２で、暗瞳孔画像を得るための画像取得。

前記（Ａ）第１画像取得と（Ｂ）第２画像取得は、基本的に交互に行なわれる。
第１画像取得と第２画像取得を１回ずつ行った後において、画像比較部３３は、画像取得を行うたびに、直前に行った、第１画像取得と第２画像取得で取得した画像の明るさを互いに比較し、比較結果を露光制御部３６へ送出する。比較結果を受けた露光制御部３６は、その比較結果に応じて、今後の画像取得で取得する画像の明るさが所定範囲内に収まるように光源の露光条件を制御するための制御信号を生成する。この制御信号は、次の画像取得で用いる光源に対応する光源制御部３１，３２、及び、画像取得部３４、３５に送出され、例えば、光源においては発光時間又は発光強度が調整され、カメラにおいては露光時間、ゲインが調整される。

また、この実施の形態では、第１画像取得において、第１カメラで明瞳孔画像が取得され第２カメラで暗瞳孔画像が取得され、この時点で、明瞳孔画像と暗瞳孔画像から瞳孔画像を得て、さらに角膜反射光を得て、視線方向を算出できる。同様に、第２画像取得においても、第１カメラで暗瞳孔画像が取得され第２カメラで明瞳孔画像が取得されるため、この時点で、瞳孔画像と角膜反射光とから視線方向を算出できる。

このように、第１画像取得と第２画像取得のそれぞれの時点で視線方向を算出できるので、視線検出動作を高速化することが可能である。

以下、図５を参照して、より具体的に説明する。図５は、本実施形態の視線検出装置における画像取得のタイミングを示すチャートである。図５の（ａ）〜（ｄ−４）は、それぞれ以下の信号等のタイミングを示している。
（ａ）：第１光源１１の発光タイミング
（ｂ−１）：第１カメラ１２の露光開始を指示するトリガ信号（ＴＥ１、ＴＥ２、ＴＥ３、ＴＥ４、ＴＥ５、．．．）
（ｂ−２）：第１カメラ１２から画像取得部３４への画像取得の開始を指示するトリガ信号（ＴＤ１、ＴＤ２、ＴＤ３、ＴＤ４、ＴＤ５、．．．）
（ｂ−３）：第１カメラ１２における画像取得（露光）
（ｂ−４）：第１カメラ１２から画像取得部３４へのデータ転送
（ｃ）：第２光源２１の発光タイミング
（ｄ−１）：第２カメラ２２の露光開始を指示するトリガ信号
（ｄ−２）：第２カメラ２２から画像取得部３５への画像取得の開始を指示するトリガ信号
（ｄ−３）：第２カメラ２２における画像取得（露光）
（ｄ−４）：第２カメラ２２から画像取得部３５へのデータ転送

ここで、（ｂ−１）と（ｄ−１）のトリガ信号のタイミングは同一であって、これにより、第１カメラ１２と第２カメラ２２から同時に画像が取得される。また、図５に示す例では、画像取得ごとの、（ａ）又は（ｃ）の発光時間と、（ｂ−３）と（ｄ−３）の露光時間と、は同じ長さとしている。

図５に示す例では、第１画像取得として、第１光源１１の発光Ｌ１に合わせて、第１カメラ１２における露光Ｅ１１及び第２カメラ２２における露光Ｅ１２が同時に行われる。第１光源１１と略同軸の第１カメラ１２で取得する画像は明瞳孔画像抽出のための画像であって、第１光源１１と非同軸の第２カメラ２２で取得する画像は暗瞳孔画像抽出のための画像である。

発光Ｌ１が終了すると、同時に露光Ｅ１１、Ｅ１２が終了し、露光の終了と同時に、第１カメラ１２及び第２カメラ２２から画像取得部３４、３５へのデータ転送Ｄ１１、Ｄ１２（詳しくはデータ転送とフレームへの展開）がそれぞれ開始される。データ転送Ｄ１１、Ｄ１２の時間ＴＧは、光源１１、２１の露光時間に拘わらず、各区間において同一である。

次に、第２画像取得として、第２光源２１の発光Ｌ２に合わせて、第１カメラ１２における露光Ｅ２１及び第２カメラ２２における露光Ｅ２２が同時に行われる。第２光源２１と略同軸の第２カメラ２２で取得する画像は明瞳孔画像抽出のための画像であって、第２光源２１と非同軸の第１カメラ１２で取得する画像は暗瞳孔画像抽出のための画像である。発光Ｌ２が終了すると、同時に露光Ｅ２１、Ｅ２２が終了し、露光の終了と同時に、第１カメラ１２及び第２カメラ２２から画像取得部３４、３５へのデータ転送Ｄ２１、Ｄ２２がそれぞれ開始される。ここまでの発光Ｌ１、Ｌ２の時間、及び、露光Ｅ１１、Ｅ１２、Ｅ２１、Ｅ２２の時間は、予め設定した同一の時間である。

ここで、画像比較部３３は、先に行われた第１画像取得と第２画像取得とで得られた画像の明るさを互いに比較し、比較結果を露光制御部３６へ送出する。この比較では、第１画像取得で得られた明瞳孔画像のための画像の明るさと、第２画像取得で得られた暗瞳孔画像のための画像の明るさとが比較される。また、第１画像取得で得られた暗瞳孔画像のための画像の明るさと、第２画像取得で得られた明瞳孔画像のための画像の明るさ、とが比較される。

図５は、第１光源１１の発光Ｌ１による第１画像取得で得られた画像の明るさが、第２光源２１の発光Ｌ２による第２画像取得で得られた画像の明るさよりも低下している例を示している。したがって、露光制御部３６では、次の期間の第１画像取得で、第１光源１１の発光Ｌ３における露光条件を高め（例えばカメラの画像取得時間（露光）を長くし）、受光量を高めるようにしている。そのため、第１光源２１が発光Ｌ３となる２回目の第１画像取得では、先の第１画像取得に比べて明るい画像が取得される。

さらに、図５に示す例では、第２光源２１の発光Ｌ２による第２画像取得と、第１光源１１の発光Ｌ３による２回目の第１画像取得とが比較された結果、第２光源２１の発光Ｌ４となる２回目の第２画像取得において、画像取得の露光条件が長く補正されている。

なお、前述のように、第１画像取得で得られた画像の明るさどうしを比較して、その比較結果から、後の第１画像取得で露光条件を変化させ、第２画像取得で得られた画像の明るさどうしを比較して、その比較結果から、後の第２画像取得で露光条件を変化させてもよい。

あるいは、先の第１画像取得で得られた画像（明瞳孔画像、暗瞳孔画像）を所定のターゲット値（しきい値）と比較し、その比較の結果として次の第１画像取得において露光状態を変更してもよい。これは第２画像取得においても同じである。

次に、図６は、（ａ）が光源１１または２１の発光ＬＡのタイミングを、（ｂ）は第１カメラ１２における露光ＥＡ１のタイミングを、（ｃ）は第２カメラ２２における露光ＥＡ２のタイミングを、それぞれ示している。

図６に示す例では、２つの受像装置１０、２０の位置関係や、カメラ１２、２２の受光性能の違いや、明瞳孔画像と暗瞳孔画像を抽出するために適切となる画像に明るさの違いなどを考慮し、光源が発光ＬＡとなっている画像取得において、第１カメラ１２における画像取得時間（露光時間）ＥＡ１と、第２カメラ２２における画像取得時間（露光時間）ＥＡ２とを相違させている。

この場合に、光源の発光ＬＡの長さを、時間の長い露光ＥＡ２１の終了に合わせている。これにより、明瞳孔画像と暗瞳孔画像のための画像の取得について複雑な制御が不要となる。

また、上述の実施形態では、第１光源１１からの検知光と第２光源２１からの検知光の波長を８５０ｎｍとしていたが、眼球内での吸収率が同程度であればこれ以外の波長でもよい。

以上のように構成されたことから、上記実施形態によれば、次の効果を奏する。
（１）第１画像取得又は第２画像取得として、第１光源１１と第２光源２１の一方から検知光を与えたときに、光源と略同軸のカメラで明瞳孔画像を抽出するための画像を取得し、光源と非同軸のカメラで暗瞳孔画像を抽出するための画像を取得することにより、視線検出処理を高速に行うことが可能となる。また、明瞳孔画像を抽出するための画像の取得と、暗瞳孔画像を抽出するための画像の取得と、を同時に行うことにより、複数の光源からの検知光射出のサイクルを短くすることができるため、視線検出処理をさらに高速に行うことができる。第１画像取得と第２画像取得を交互に行うことによって得られる、瞳孔画像を抽出するための複数の画像を用いることにより、視線検出を高い精度で実現することができる。

（２）第１画像取得において取得した２枚の画像の明るさと、第２画像取得において取得した２枚の画像の明るさと、を比較する画像比較部と、画像比較部による比較結果に応じて、第１画像取得と第２画像取得で取得する、画像の明るさが所定範囲内に収まるように、光源の露光条件を制御する露光制御部と、を備えることにより、複数の光源それぞれの輝度等の違いに起因する、取得画像の明るさのばらつきを抑えることができるため、一定の画質の明瞳孔画像と暗瞳孔画像を得ることができ、これにより高精度の視線検出が可能となる。

本発明について上記実施形態を参照しつつ説明したが、本発明は上記実施形態に限定されるものではなく、改良の目的または本発明の思想の範囲内において改良または変更が可能である。

以上のように、本発明に係る視線検出装置は、車両の車室内に配置して運転者の視線を検出する場合のように、高精度かつ高速に検出することが求められる場合に有用である。

１０、２０ 受像装置
１１ 第１光源
１２ 第１カメラ
１２Ｃ 光軸
２１ 第２光源
２２ 第２カメラ
２２Ｃ 光軸
３３ 画像比較部
３４、３５ 画像取得部
３６ 露光制御部
４０ 瞳孔画像抽出部
４１ 明瞳孔画像検出部
４２ 暗瞳孔画像検出部
４３ 瞳孔中心算出部
４４ 角膜反射光中心検出部
４５ 視線方向検出部
５０ 目

図１と図２に示すように、受像装置１０は、第１光源１１と第１カメラ１２とを備え、第１光源１１は、１２個のＬＥＤ（発光ダイオード）光源１１１からなる。これらのＬＥＤ光源１１１は、第１カメラ１２のレンズ１２Ｌの外側において、それらの光軸１１１Ｃと第１カメラ１２の光軸１２Ｃとが距離Ｌ１１だけ離れて円状になるように配置されている。受像装置２０は、第２光源２１と第２カメラ２２とを備え、第２光源２１は、１２個のＬＥＤ光源２１１からなる。これらのＬＥＤ光源２１１は、第２カメラ２２のレンズ２２Ｌの外側において、それらの光軸２１１Ｃと第２カメラ２２の光軸２２Ｃとが距離Ｌ２１だけ離れて円状になるように配置されている。

第１カメラ１２と第２カメラ２２においては、第１、第２光源１１、２１が射出する検知光の波長に合わせたバンドパスフィルタを配置していることが好ましい。これにより、検知光以外の波長の光の入射を抑えることができるため、画像比較部３３における画像の明るさの比較や、瞳孔画像抽出部４０における瞳孔画像の抽出や、視線方向算出部４５における視線方向の算出を精度良く行うことができる。

画像比較部３３は、画像取得部３４、３５で取得された画像、すなわち、明瞳孔画像および暗瞳孔画像を抽出するための画像について、第１画像取得において取得した画像の明るさと、第２画像取得において取得した画像の明るさと、を互いに比較する。

ここで、第１画像取得とは、第１光源１１から検知光を与えたときに第１カメラ１２及び第２カメラ２２から同時又は略同時に画像をそれぞれ取得する行程を意味し、第２画像取得とは、第２光源２１から検知光を与えたときに第１カメラ１２及び第２カメラ２２から同時又は略同時に画像をそれぞれ取得する行程を意味する。なお、第２光源２１から検知光を与えるときが第１画像取得で、第１光源１１から検知光を与えるときが第２画像取得であってもよい。

画像比較部３３では、第１画像取得において、明瞳孔画像を得るために第１カメラ１２で取得された画像と、第２画像取得において、暗瞳孔画像を得るために第１カメラ１２で取得された画像との明るさが比較される。また、第１画像取得において、暗瞳孔画像を得るために第２カメラ２２で取得された画像と、第２画像取得において、明瞳孔画像を得るために第２カメラ２２で取得された画像との明るさが比較される。この比較結果を露光制御部３６に与えることにより、第１画像取得と第２画像取得において、第１カメラ１２で得られる明瞳孔画像と暗瞳孔画像との明るさの差（瞳孔部以外の顔画像の明るさの差）を無くしまたは少なくでき、また第２カメラ２２で得られる暗瞳孔画像と明瞳孔画像との明るさの差（瞳孔部以外の顔画像の明るさの差）を無くしまたは少なくできる。

また、他の実施の形態での画像比較部３３の動作として、第１画像取得において、第１カメラ１２で取得された明瞳孔画像を得るための画像と、次の第１画像取得において、第１カメラ１２で取得された明瞳孔画像を得るための画像とで明るさを比較し、第１画像取得において、第２カメラ２２で取得された暗瞳孔画像を得るための画像と、次の第１画像取得において、第２カメラ２２で取得された暗瞳孔画像を得るための画像とで明るさを比較してもよい。

＜明瞳孔画像と暗瞳孔画像＞
図３は、対象者の目５０の視線の向きとカメラとの関係を模式的に示す平面図である。図４は、瞳孔中心と角膜反射光の中心とから視線の向きを算出するための説明図である。図３（Ａ）と図４（Ａ）では、対象者の視線方向ＶＬが受像装置１０と受像装置２０との中間に向けられており、図３（Ｂ）と図４（Ｂ）では、視線方向ＶＬが第１カメラ１２の光軸１３Ｃの方向へ向けられている。

＜撮像ならびに検知動作＞
視線検出装置においては、第１画像取得で、第１光源１１を発光させて、この間に、第１カメラ１２と第２カメラ２２で同時又は略同時に画像を取得する。第２の画像取得で、第２光源２１を発光させ、この間に、第１カメラ１２と第２カメラ２２で同時又は略同時に画像を取得する。

（Ｂ）第２画像取得：第２光源２１が点灯、
（Ｂ−１）第２カメラ２２で、明瞳孔画像を得るための画像取得。
（Ｂ−２）第１カメラ１２で、暗瞳孔画像を得るための画像取得。

前記（Ａ）第１画像取得と（Ｂ）第２画像取得は、基本的に交互に行なわれる。
第１画像取得と第２画像取得を１回ずつ行った後において、画像比較部３３は、画像取得を行うたびに、直前に行った、第１画像取得と第２画像取得で取得した画像の明るさを互いに比較し、比較結果を露光制御部３６へ送出する。比較結果を受けた露光制御部３６は、その比較結果に応じて、今後の画像取得で取得する画像の明るさが所定範囲内に収まるように光源の露光条件を制御するための制御信号を生成する。この制御信号は、次の画像取得で用いる光源に対応する光源制御部３１または３２、及び、画像取得部３４および３５に送出され、例えば、光源においては発光時間又は発光強度が調整され、カメラにおいては露光時間、ゲインが調整される。

また、この実施の形態では、第１画像取得において、第１カメラ１２で明瞳孔画像が取得され第２カメラ２２で暗瞳孔画像が取得され、この時点で、明瞳孔画像と暗瞳孔画像から瞳孔画像を得て、さらに角膜反射光を得て、視線方向を算出できる。同様に、第２画像取得においても、第１カメラ１２で暗瞳孔画像が取得され第２カメラ２２で明瞳孔画像が取得されるため、この時点で、瞳孔画像と角膜反射光とから視線方向を算出できる。

発光Ｌ１が終了すると、同時に露光Ｅ１１、Ｅ１２が終了し、露光の終了と同時に、第１カメラ１２及び第２カメラ２２から画像取得部３４、３５へのデータ転送Ｄ１１、Ｄ１２（詳しくはデータ転送とフレームへの展開）がそれぞれ開始される。データ転送Ｄ１１、Ｄ１２の時間ＴＧは、第１、第２光源１１、２１の露光時間に拘わらず、各区間において同一である。

ここで、画像比較部３３は、先に行われた第１画像取得と第２画像取得とで得られた画像の明るさを互いに比較し、比較結果を露光制御部３６へ送出する。この比較では、第１画像取得で得られた明瞳孔画像抽出のための画像の明るさと、第２画像取得で得られた暗瞳孔画像抽出のための画像の明るさとが比較される。また、第１画像取得で得られた暗瞳孔画像抽出のための画像の明るさと、第２画像取得で得られた明瞳孔画像抽出のための画像の明るさ、とが比較される。

図５は、第１光源１１の発光Ｌ１による第１画像取得で得られた画像の明るさが、第２光源２１の発光Ｌ２による第２画像取得で得られた画像の明るさよりも低下している例を示している。したがって、露光制御部３６では、次の期間の第１画像取得で、第１光源１１の発光Ｌ３における露光条件を高め（例えば第１カメラ１２の画像取得時間（露光）を長くし）、受光量を高めるようにしている。そのため、第１光源１１が発光Ｌ３となる２回目の第１画像取得では、先の第１画像取得に比べて明るい画像が取得される。

なお、前述のように、第１画像取得で得られた画像の明るさどうしを比較して、その比較結果から、その次の第１画像取得で露光条件を変化させ、第２画像取得で得られた画像の明るさどうしを比較して、その比較結果から、その次の第２画像取得で露光条件を変化させてもよい。

次に、図６は、（ａ）が第１光源１１または第２光源２１の発光ＬＡのタイミングを、（ｂ）は第１カメラ１２における露光ＥＡ１のタイミングを、（ｃ）は第２カメラ２２における露光ＥＡ２のタイミングを、それぞれ示している。

図６に示す例では、２つの受像装置１０、２０の位置関係や、第１カメラ１２、第２カメラ２２の受光性能の違いや、明瞳孔画像と暗瞳孔画像を抽出するために適切となる画像の明るさの違いなどを考慮し、光源が発光ＬＡとなっている画像取得において、第１カメラ１２における画像取得時間（露光時間）ＥＡ１と、第２カメラ２２における画像取得時間（露光時間）ＥＡ２とを相違させている。

Claims (12)

1. 離れて配置されてそれぞれが少なくとも目を含む領域の画像を取得する第１カメラならびに第２カメラと、前記第１カメラに接近して配置された第１光源と、前記第２カメラに接近して配置された第２光源と、それぞれのカメラで取得した明瞳孔画像と暗瞳孔画像とから瞳孔画像を抽出する瞳孔画像抽出部とを有する視線検出装置において、
   前記第１光源を点灯させて前記第１カメラで明瞳孔画像を取得し前記第２カメラで暗瞳孔画像を取得する第１画像取得と、前記第２光源を点灯させて前記第２カメラで明瞳孔画像を取得し前記第１カメラで暗瞳孔画像を取得する第２画像取得と、が行われることを特徴とする視線検出装置。
2. 前記暗瞳孔画像から角膜反射光を検出する角膜反射光中心検出部と、前記瞳孔画像と前記角膜反射光とから前記対象者の視線方向を算出する視線方向算出部とを有する請求項１記載の視線検出装置。
3. 前記第１光源が点灯しているときに、前記第１カメラと前記第２カメラが同時に画像を取得し、前記第２光源が点灯しているときに、前記第１カメラと前記第２カメラが同時に画像を取得する請求項１または２記載の視線検出装置。
4. 第１画像取得と第２画像取得とが交互に行われる請求項１ないし３のいずれかに記載の視線検出装置。
5. 前記第１画像取得で得られた画像の明るさをモニターし、その次の第１画像取得では、カメラで画像を取得するための露光条件を、前記モニター結果に基づいて制御する露光制御部が設けられている請求項１ないし４のいずれかに記載の視線検出装置。
6. 前記第２画像取得で得られた画像の明るさをモニターし、その次の第２画像取得では、カメラで画像を取得するための露光条件を、前記モニター結果に基づいて制御する露光制御部が設けられている請求項１ないし５のいずれかに記載の視線検出装置。
7. 第１画像取得で得られた画像の明るさと、第２画像取得で得られた画像の明るさと比較する画像比較部と、
   前記画像比較部による比較結果に応じて、第１画像取得と第２画像取得の少なくとも一方において前記露光条件を制御する前記露光制御部とが設けられている請求項１ないし５のいずれかに記載の視線検出装置。
8. 前記画像比較部では、第１画像取得で得られた明瞳孔画像となる画像の明るさと、前記第２画像取得で得られた暗瞳孔画像となる画像との明るさが比較される請求項７記載の視線検出装置。
9. 前記画像比較部では、第１画像取得で得られた暗瞳孔画像となる画像の明るさと、前記第２画像取得で得られた明瞳孔画像となる画像の明るさとが比較される請求項７または８記載の視線検出装置。
10. 前記画像比較部では、前記第１画像取得、または、前記第２画像取得で得られた画像とターゲット値とが比較される請求項７記載の視線検出装置。
11. 前記露光条件は、前記光源の発光時間及び発光強度、並びに、前記カメラによる画像取得時間、ゲインのうちの少なくとも一つである請求項５ないし１０のいずれかに記載の視線検出装置。
12. 前記露光条件が前記カメラによる画像取得時間を含んでおり、第１画像取得と第２画像取得の少なくとも一方において、前記第１カメラによる画像取得時間と前記第２カメラによる画像取得時間のうちの長い方の時間に合わせて光源の発光時間を制御する請求項８記載の視線検出装置。

Images